日立、データ分析の前処理をAIで効率化するサービスを提供：製造ITニュース

日立製作所は、データ分析の準備作業となるデータ前処理をAIで効率化する「Data Preparation Service」の提供を開始した。さまざまなデータの整形や加工作業を効率化し、幅広い用途でデータの利活用を支援する。

[MONOist]

　日立製作所は2019年10月2日、データ分析の準備作業となるデータ前処理をAI（人工知能）で効率化する「Data Preparation Service」の提供を開始した。さまざまなデータの整形や加工作業を効率化し、高品質なデータをデータレイク（リポジトリ）に格納することで、幅広い用途でデータの利活用を支援する。

「Data Preparation Service」の概要（クリックで拡大） 出典：日立製作所

　同サービスでは、ユーザーやプロジェクトごとに専用の環境を用意する。そこへ投入されたデータの仕様や欠損値などをAIが提案する機能、データ加工方法のノウハウを登録、共有する機能などを提供する。

　具体的には、速度や緯度経度といったデータの示す名称をAIで推測する「データ項目名推定」機能、データの特徴や傾向をAIが解析し、不要なデータや形式の統一、変換が必要なデータなどをグラフで可視化する「データプロファイル」機能、データ統合に必要な関連性を各データの特徴量から自動で判断する「データ間関連性分析」機能を提供する。これにより、項目名や外れ値の推定など、データの理解をAIで支援する。

　また、欠損値の補完、異常値の排除を行うクレンジングや統合に関するデータの加工方法を共有する「前処理ロジック共有」機能も備える。登録済みの標準的なロジックだけでなく、よく使われる汎用的なロジック、熟練者の専門ロジックをチームやプロジェクト内で共有できるため、前処理のためのロジック検証を効率化する。

　検証した前処理ロジックは、「前処理ロジックエクスポート」機能により、ユーザー任意のETL（Extract Transform Load）ツールに連携可能だ。ロジックを個別にETLツールに実装する必要がなく、リアルタイムに発生するデータの前処理を効率的に定常運用へ移行できる。