富士通研究所、ビッグデータ処理に最適なソフトウェア制御型SSDを開発

ビッグデータ処理に最適なソフトウェア制御型SSDを開発
世界で初めてインメモリデータベースに適用し、従来比約３倍の高速処理性能を実現


　株式会社富士通研究所（注１）（以下、富士通研究所）は、サーバ上のソフトウェアからフラッシュメモリを直接制御可能なSSDを開発し、インメモリデータベースからのアクセスにデータ配置などを最適化することで、一般的なSSDの約３倍高速な処理性能を実現しました。

　DRAM（Dynamic　Random　Access　Memory）と呼ばれるサーバ上のメモリにデータを展開することで高速な解析を実現するインメモリデータベースでは、データ容量がメモリ容量を超えるとストレージへのアクセス遅延などで処理速度が低下します。このため、高速なSSDを利用してメモリを拡張する技術が求められています。

　今回、個々のフラッシュメモリをソフトウェアから直接読み書き可能な高速SSDと、アクセスパターンに応じて多数のフラッシュメモリから競合することなく並列にデータを読み込む先読み機能を開発しました。インメモリデータベースからのデータ利用に先行してDRAMにデータを展開することで、データ利用とデータ展開を同時に処理できるため、限られた容量のDRAMでもアクセス遅延が発生せず、高速なビッグデータ処理を実現します


　本技術の詳細は、１１月２５日（水曜日）からお茶の水女子大学で開催予定の「第２７回コンピュータシステム・シンポジウム（ComSys２０１５）」にて発表します。


＜開発の背景＞
　近年、様々なセンサーデータなどコンピュータで処理するデータは増加傾向にあります。この大量データから新たな価値を生み出すビッグデータ解析を高速に処理する技術へのニーズが高まっています。

　全データをサーバ上のDRAMに展開することで高速な解析を実現するインメモリデータベースでは、DRAMの容量を超えた場合に大量のデータをそのまま処理することはできません。これを解決する手段として、大容量のSSDを使ってメモリ容量を拡張する方法があり、DRAMとメモリ拡張を使い分ける技術が進展しています（図１）。

　SSDで拡張されたメモリ性能はSSD自体の性能に依存し、これが解析性能に影響するため、より高速なSSDが求められています。

　※図１は添付の関連資料を参照


＜課題＞
　SSDは、多数のフラッシュメモリを搭載していますが、サーバ上のソフトウェアから見るとSSDの内部はブラックボックスであり、内蔵するフラッシュメモリを直接読み書きすることはできません。このため、同じフラッシュメモリに読み書きが競合する場合があり、これが性能低下の要因となっています。


＜開発した技術＞
今回、サーバ上のソフトウェアが個々のフラッシュメモリを直接読み書き可能なSSDと、インメモリデータベースからの読み込みを多数のフラッシュメモリに振り分けて並列動作させるソフトウェアを開発しました。

　開発した技術の特長は以下のとおりです。

　１．サーバ上のソフトウェアから複数のフラッシュメモリに直接読み書き可能なソフトウェア制御型のSSD
　　試作では、一般的なマザーボードに搭載され高速なデータ転送が可能なPCI　Expressと呼ばれるインターフェースを採用しました。広帯域なPCI　Expressを活用するため、１６の制御チャネルと２５６個のフラッシュメモリを搭載し、サーバ上のソフトウェアから個々のフラッシュメモリへ直接読み書きをすることが可能なインターフェースを備えるソフトウェア制御型のSSDを開発しました（図２）。これにより、毎秒約５．５ギガバイトの転送速度を実現しています。

　※図２は添付の関連資料を参照


　２．インメモリデータベースのデータ利用に先行して多数のフラッシュメモリから並列に先読みする技術
　　インメモリデータベースがメモリにアクセスするパターンを解析して、その都度フラッシュメモリからデータを読み出すのではなく、事前に多数のフラッシュメモリから並列に読み出すことにより、アクセス競合せず瞬時にデータを読み込むソフトウェアを開発しました。


＜効果＞
　インメモリデータベースからのアクセスにおいて、今回開発したソフトウェア制御型のSSDとデータの先読み技術により、限られた容量のDRAMであっても一般的な従来のSSDと比べて約３倍処理性能が向上することを確認できました（図３）。これにより、日々増加するビッグデータを高速に解析することが可能となります。

　※図３は添付の関連資料を参照


＜今後＞
　富士通研究所は、データ読み出しの際の並列度の向上やインメモリデータベース以外への応用などの検討を進め、本技術のサーバへの搭載を想定し、２０１７年度中の実用化を目指します。


＜商標について＞
　記載されている製品名などの固有名詞は、各社の商標または登録商標です。


以上


＜注釈＞
　注１　株式会社富士通研究所：
　　　　本社　神奈川県川崎市、代表取締役社長　佐相秀幸。