富士通研究所など、PCなどの単眼カメラで複雑な操作ができる３次元ジェスチャー認識技術を開発

PCやタブレットに搭載の単眼カメラで、より複雑な操作が可能な３次元ジェスチャー認識技術を開発
手の上下・左右方向に加えて手を押し出す奥行き方向の動作検知により操作性を向上



　株式会社富士通研究所（注１）と富士通研究開発中心有限公司（注２）は、PCやタブレットなどに搭載された一台（単眼）のカメラで撮影した映像から上下・左右方向の手の動きだけでなく奥行き方向の手の動きも検知する３次元ハンドジェスチャー認識技術を開発しました。

　従来のハンドジェスチャー認識技術では、マウスのカーソル移動に相当する上下・左右方向の手の動きは検知できましたが、クリック操作に相当する手を前に押し出す動きの検知は困難でした。今回、手のひらモデルをもとに正確かつ高速に手の領域を検出する技術と、手の奥行き方向の動き検知技術を開発することで、直感的な動作である「押す」ジェスチャーによるクリック操作を実現しました。

　本技術により、例えば、PCから離れた場所でも、端末のメニュー選択を上下の手振り操作で行い、メニューの決定を「押す」操作で行ったり、地図などの画面の拡大・縮小を「押す」「引く」の操作で実現できるなど、ハンドジェスチャーでより複雑な操作が可能になります。

　本技術の詳細は、５月２０日（月曜日）から京都・立命館大学で開催される国際会議「International　Conference　on　Machine　Vision　Applications（MVA）　２０１３」にて発表します。

＜開発の背景＞
　近年、人の自然な動作で端末を操作するハンドジェスチャー認識技術が注目を集めています。PCやタブレット端末から人が離れている場合や、手が濡れていたり汚れていたりする場合、あるいは衛生面から不特定多数の人が触る端末に直接触れたくない場合には、カメラで検知した手の動きにより端末を操作する方式が一般的に用いられています。しかし、ハンドジェスチャーをマウス操作の代替として考えたとき、カーソルの移動に相当する上下・左右方向の手の動きは検知できましたが、クリック操作に相当する奥行き方向の動きの検知は困難でした。

＜課題＞
　一台のカメラで手の奥行き方向を検知するには、手のひらの領域の変化を利用します。しかし、ユーザーが半袖を着ていたり、背景が肌色に近い色の場合は手のひらと背景の識別が難しく、手のひらの領域だけを背景から正確に抽出することができませんでした。一方で、距離を測る距離センサーを用いたり、複数のカメラを用いることで奥行きを検知することはできましたが、装置のコストが高くなるという課題がありました。

＜開発した技術＞
　今回、一台（単眼）のカメラで撮影した映像から手の領域を正確に抽出し、時々刻々と変化する手の大きさの変化を安定的に捉える技術を開発しました。開発した技術の特徴は以下の通りです。

１．手のひらモデルに基づく手の領域検出技術
　撮影した画像からまず手の検出を行います。画像をあるブロックサイズごとに切り出し、その中にあらかじめ登録してある手の特徴データ（手のひらモデル）が存在するかを算出します。この操作をブロックの位置とサイズを変えながら画像全体に対して実施することで手の位置とサイズを特定します。次に手の領域を抽出します。手を検出した位置とサイズにおいて、最も手の形を表現するように部分的に色の閾値を変えながら手の領域を抽出します。これらの操作によって、手の領域の安定した検出を実現しました。

　図１　従来方式と開発方式との比較

　　※添付の関連資料「図１」を参照

２．手の大きさの変化に基づく奥行き検知技術
　時々刻々と変化する手の大きさ、角度、中心位置を手の動きの連続性を用いて高精度に推定し、「押す」「引く」の動作を約９０パーセントの精度で検知します。

　図２　本技術による奥行き方向を用いた操作

　　※添付の関連資料「図２」を参照

＜効果＞
　今回開発した技術を用いることで、例えば、端末のメニュー選択を上下の手振り操作で行い、メニューの決定を「押す」操作で行ったり、あるいは、映画・音楽・スポーツなどのコンテンツの選択を左右の手振り操作で行い、コンテンツの決定を「押す」操作で行う、といった使い方が可能になります。さらに、地図などの画面の拡大・縮小を「押す」「引く」の操作で実現できるなど、ハンドジェスチャーでより複雑な操作が可能になります。また、一台（単眼）のカメラで検知できるため、装置を安価に実現できます。

　図３　利用シーン例

　　※添付の関連資料「図３」を参照

＜今後＞
　富士通研究所では、ユーザビリティの評価を行うとともに、手の検出・認識技術の高精度化を進め、２０１４年度中の実用化を目指します。

＜商標について＞
　記載されている製品名などの固有名詞は、各社の商標または登録商標です。

以上

＜注釈＞
　注１：株式会社富士通研究所：
　　　　代表取締役社長　富田達夫、本社　神奈川県川崎市。
　注２：富士通研究開発中心有限公司：
　　　　董事長　佐々木繁、本社　中国北京市。