富士通、スパコン技術の活用によりビッグデータ分析を３０倍高速化

スパコン技術の活用により、ビッグデータ分析を３０倍高速化
超大規模データの高速分析により、ビッグデータの分析結果をいち早くビジネスに反映


　当社は、ビッグデータの分析サービス「FUJITSU　Intelligent　Data　Service　データキュレーションサービス」（以下、データキュレーションサービス）の分析基盤において、スーパーコンピュータの開発・提供を通じて培ったハイパフォーマンスコンピューティング（以下、HPC）技術を用いることで、テラバイト以上の超大規模データの分析処理時間を従来比３０倍に高速化（注１）しました。「データキュレーションサービス」を９月２４日より本基盤に移行し、活用を開始します。この高速処理技術を搭載した分析基盤を用いることで、例えば従来１週間かかっていた、数千個の属性データを持つ数百万人分の顧客データといった超大規模データに対する分析を数時間に短縮できます。

　これにより、ビッグデータ活用が実用・商用フェーズに入り、より膨大なデータの分析を必要とされるお客様においても、分析結果をビジネスへいち早く反映することが可能になります。


　［関連リンク］データキュレーションサービス紹介サイト
　http://www.fujitsu.com/jp/solutions/business-technology/intelligent-data-services/convergence/curation/


　※図１は添付の関連資料を参照


＜背景＞
　近年、企業によるビッグデータ分析の活用レベルは、検証フェーズから実用・商用フェーズに移行しつつあります。これに伴い、分析対象とするデータのボリューム・バラエティはともに飛躍的に増大しています。例えば、数千万から数億人規模の顧客を対象とする大規模分析（注２）の場合、ハイスペックなサーバを用いたとしても膨大な時間が必要となります。

　そのため、多くの分析プロジェクトでは、一部のデータを抽出して分析を行うなどの対処を行なっています。しかし、１to１マーケティングや工場プラント異常検知などは、膨大なデータ全体を分析対象とする必要があるため、分析基盤を高速化させることが課題でした。

　※図２は添付の関連資料を参照


＜技術概要＞
　今回、「データキュレーションサービス」用に、自社データセンター内にビッグデータ分析専用のHPCクラスタ（注３）を構築しました。このHPCクラスタは、複数のPCサーバ「FUJITSU　Server　PRIMERGY（プライマジー）」を高速なインターコネクトで接続したもので、専用の並列処理ライブラリを適用することにより、１，０００コアを越えるCPUの並列処理が可能となります。ハードウェアとソフトウェア両面の強化により、従来と比較し約３０倍の超大規模データ高速処理を可能としました。

　また、既存の豊富なオープンソースソフトウェア（RやPythonで書かれたアプリケーション、Hadoop、Spark、DeepLearning系フレームワークなど）の大きな変更なしに運用が可能な高い汎用性を有しています。


＜効果＞
　「データキュレーションサービス」において、この高速処理技術を用いた分析基盤を活用することで、例えば従来１週間かかっていた、数千個の属性データを持つ数百万人分の顧客データといった超大規模データに対する分析を数時間に短縮できます。また、従来は困難だった以下のような超大規模データの分析もビジネスに適用していくことが可能になります。

　・企業の全商品カテゴリ（数万カテゴリ）、全顧客（数千万ユーザー）に対するセグメンテーションやマーケティング施策の検討
　・複数のIoT機器から送信される、数千から数万種類のセンシングデータを束ねた分析
　・日本の全人口（１．２７億人）に対する超大規模な疾病予測


＜「データキュレーションサービス」について＞
　当社は、お客様のデータを、当社のキュレーター（データサイエンティスト）が分析し標準８週間でデータ活用のモデルを作成するサービス「データキュレーションサービス」を、２０１２年４月より提供しています。

　本サービスにより、ビッグデータ分析を始める際の設備投資やデータサイエンティストの準備などのコストを抑えつつ、本格的なデータ活用の可能性を検証することができます。また、データキュレーションサービスは、データそのものに着目し、業種・業態に制限されないため、多様なお客様の様々な課題に対してサービスを提供可能です。

　※図３は添付の関連資料を参照


＜販売価格、および提供時期＞
　サービス名：FUJITSU　Intelligent　Data　Service　データキュレーションサービス
　販売価格（税込）：個別見積
　提供時期：９月２４日より新基盤で稼動


＜商標について＞
　記載されている製品名などの固有名詞は、各社の商標または登録商標です。


以上


＜注釈＞
　注１　超大規模データの分析処理時間を従来比３０倍に高速化：
　　実測値での速度比較。当社調べ。

　注２　大規模分析：
　　セグメント分析での特徴量（ヒント）の次元変換処理における、全データに対する行列演算処理などを想定。

　注３　ビッグデータ分析専用のHPCクラスタ：
　　構築には、株式会社富士通研究所（本社：神奈川県川崎市、代表取締役社長：佐相秀幸）も協力。