100兆のセンサーデータを安価なPCで高速処理、IoT向けのDB新技術

三菱電機が100兆件規模のセンサーデータを安価なPCで高速に処理可能な「高性能センサーデータベース」技術を開発した。センサーデータの蓄積と検索、集計処理に適した技術としての実用化を進める。

[渡邊宏，MONOist]

　2020年には500億ものモノがつながるといわれるIoTの実現が目前に迫る中、センサーから大量に収集されるデータをどのように処理するのが現実解か――。

　三菱電機は2016年2月3日、安価なハードウェア構成でも100兆件規模のセンサーデータが高速に処理可能な「高性能センサーデータベース」技術を開発したと発表した。センサーデータの蓄積と検索、集計処理に適したデータベース技術としての実用化を進める。

三菱電機が発表した「高性能センサーデータベース」の技術概要

　新開発の技術は「センサーデータの最適化」を軸としたもので、適用することでセンサーデータの容量を既存リレーショナルデータベース（Postgre SQL 9.4利用）使用時の1000分の1まで低減し、検索・集計処理についても最大1000倍（同）の高速化を実現する。

　同社によれば、100兆件のセンサーデータを処理する際、既存リレーショナルデータベース（Postgre SQL 9.4）ではストレージが約950TB、蓄積に要する時間が約430分、検索集計に要する時間が約1700秒であるに対して、新技術では必要容量約15TB／蓄積時間約8.8分／検索集計時間約2秒にまで、低減・高速化可能だという。この低減・高速化によって、これまでならばデータベース用サーバを10〜数千台利用する必要があった大規模データベースであっても、1〜2 CPUのPCが1台ないし数台あればまかなうことが可能になるとしている。

　肝となるセンサーデータの最適化については、取得したセンサーデータの「圧縮方式最適化」と「ストレージブロック内のデータ配置最適化」「並列処理に適したデータ処理単位の最適化」によって行われる。

　圧縮方式最適化については、データ内容に合わせて700以上の圧縮方式から最適な方法を選択することでサイズを最小化する仕組みが導入されており、ここにストレージブロックでデータを検索時に取り出しやすいよう並べる配置最適化、キャッシュメモリ内で処理できるサイズにデータ量を調整する処理単位最適化を組み合わせ、効率的なデータ蓄積と高速な検索および集計を可能とした。

三次元計測した道路の表面データを処理。既存方式では約603秒必要だった処理が新方式ではわずか0.61秒で完了した

　なお、この技術は列指向データベースの考え方に基づくセンサーデータ（座標や温度、高度、輝度、状態変化など）の扱いに特化した技術であって、現在データベースとして主流のSQL Server、DB2など行指向データベースの置き換えは意図しない。WindowsならびLinuxにて動作するがパッケージ販売は行わず、道路の状態監視といった社会インフラ管理や、工場内状況管理といったシステムもしくはソリューションの一環として提供される予定だ。