富士通研究所、データを分単位で活用可能にする並列分散データ処理技術を開発

ビッグデータの分単位での活用が可能に！
ディスクアクセスを大幅に削減する並列データ処理技術を開発



　株式会社富士通研究所（注１）は、ビッグデータと呼ばれる蓄積された大量のデータ、および継続的に入ってくる新しいデータを効率よく処理することで、これらデータを分単位で活用可能にする並列分散データ処理技術を開発しました。

　センサーデータや人の位置情報など多種で大量なデータが増え続けており、これらのビッグデータを高速に分析して活用するために、さまざまなデータ処理技術が開発されています。高速性能を優先する場合はデータをメモリ上で処理する方法が適していますが、大容量のデータに対応するためにはメモリに収まりきらないためディスクベースの技術が用いられるのが一般的です。しかしディスクベースの技術では、新しく到着したデータをすばやく分析結果に反映させようとするとディスクの読み書きが大量に発生し、データの到着ペースに分析処理が追いつかなくなるという課題がありました。

　今回、データの読み書きの傾向に合わせてディスクのデータを動的に再配置することで、ディスクへの読み書きを従来の約１／１０（注２）に削減する技術を開発しました。これにより、従来、新しいデータを分析結果に反映するまでに数時間かかっていたものが数分で可能となります。つまり、従来は難しかった、「大量」と「即応性」を両立させることができるようになります。

　本技術は、あらゆる場所で的確なサービスを提供するヒューマンセントリック・コンピューティングを支える技術の一つとして活用していきます。


＜開発の背景＞
　近年、センサーデータや人の位置情報などの時系列データを代表とする、多種で大量なデータが飛躍的に増え続けています。これら「ビッグデータ」と呼ばれるものから、価値ある情報をいかにすばやく引き出し、各種のナビゲーションなどに役立てられるかが求められています。

　このようなビッグデータを活用するため、すでにさまざまなデータ処理技術が開発されています（図１）。たとえば、大量データを処理する技術としてＨａｄｏｏｐ（注３）などの並列バッチ処理（注４）が注目されています。並列バッチ処理では、大量データを分割して複数のサーバで高速に処理できます。

　一方、到着したデータをリアルタイムに処理する複合イベント処理技術（注５）などの技術も注目されています。これらは処理をメモリ上で行うことで非常に高速な応答が得られます。

　〔図１　大量データ向けの既存技術と開発した技術の位置づけ〕

　　※添付の関連資料「図１」を参照



※以下、リリースの詳細は添付の関連資料を参照