富士通、HPCの並列分散処理技術によりビッグデータ処理の高速化を検証

HPC技術の応用によりビッグデータ処理の高速化を検証
株式取引の利益予測や商品需要予測の処理時間を、HPC並列分散処理技術により大幅短縮


　当社は、HPC技術およびプラットフォームの一般業務分野での活用推進の一環として、今般、HPCの並列分散処理技術を用いて、ビッグデータ領域におけるBusiness　Analytics（BA）（注１）業務を計算するベンチマークテストを実施しました。実施したのは、株価予測から取引戦略を策定する金融分野、店舗における商品需要を予測する流通分野の２種のプログラムです。その結果、両分野とも計算時間が、サーバ１台の並列処理で約１２分の１に、また、サーバ２台で約２１分の１に短縮するなど、HPC技術の並列効果がリニアに性能へ反映される良好な結果が得られました。

　これにより、統計分析・予測では、お客様業務のデータ処理量や処理時間短縮の目標に合わせて、最適な規模の並列分散処理用サーバを利用することにより、BA業務を高速化することが期待できます。

　当社は、HPCの高速処理技術の適用分野拡大に向け、今後も様々な分野での性能検証を進めていく予定です。


＜ベンチマークテストの実施内容と結果＞
　従来、BA業務を行う際、データ収集から分析モデルの作成、分析・予測処理まで実行すると、膨大な時間がかかる場合がありました。今回のベンチマークテストでは、分析・予測計算部分だけを別サーバに切り出し、並列分散処理することの効果検証を行いました。

　統計解析向けプログラミング言語「R（注２）」で記述されたシミュレーション・プログラムを、最新のPCクラスタプラットフォームでの並列分散処理に対応させて実行した結果、金融分野、流通分野ともに大幅な処理時間短縮を実現しました。


　※参考資料は添付の関連資料を参照


　１．金融分野
　　過去２年間の株価変動実績から株価を予測し、予測した株価から売買注文ルールごとに利益予測するシミュレーションです。今回、約２，０００銘柄それぞれについて、株価予測と利益予測を行いました。

　　［約２，０００銘柄の株式戦略取引の利益予測計算所要時間］
　　　・並列分散処理対応前：９０分間
　　　・並列分散処理対応後［PCサーバ　PRIMERGY×１台（１６コア）追加］：７分間（約１２分の１）
　　　・並列分散処理対応後［PCサーバ　PRIMERGY×２台（３２コア）追加］：４分間（約２１分の１）

　２．流通分野
　　過去の売上データから店舗別、商品別の需要予測するシミュレーションです。今回、１００店舗における１，０００商品の需要予測を行い、需要予測の精度向上のために複数のシミュレーション手法を用いて予測しました。

　　［１００店舗、それぞれ１，０００商品の需要予測計算所要時間］
　　　・並列分散処理対応前：４５時間
　　　・並列分散処理対応後［PCサーバ　PRIMERGY×１台（１６コア）追加］：４時間（約１１分の１）
　　　・並列分散処理対応後［PCサーバ　PRIMERGY×２台（３２コア）追加］：２時間（約１９分の１）

　結果の詳細については、PCクラスタ性能検証結果に掲載しています。

　当社はHPCの高速処理技術のビッグデータ領域への適用を目指し、今後も引き続き性能検証を実施し、結果を公開していきます。


＜商標について＞
　記載されている製品名などの固有名詞は、各社の商標または登録商標です。


以上


「注釈」
　注１　Business　Analytics：
　　　　各種データを収集、抽出、加工し、定量的な分析・予測を行なうこと。
　注２　R：
　　　　オープンソースの統計解析向けのプログラミング言語とその開発実行環境。


「関連リンク」
　・PCクラスタ紹介サイト
　　http://jp.fujitsu.com/platform/server/primergy/pccluster/
　・PCクラスタ性能検証結果
　　http://jp.fujitsu.com/platform/server/primergy/pccluster/verification/


■本件に関するお問い合わせ
　富士通コンタクトライン
　TEL：０１２０−９３３−２００
　受付時間：９時〜１７時３０分（土曜日・日曜日・祝日・年末年始を除く）