現在のコンピュータへのユーザー入力には、キーボードとポインティングデバイスが主力です。タッチセンシングディスプレイも使用されますが、平面上でのみ指先の動きを可能にし、自由空間での指先の動きを認識できません。 自由空間での指先追跡は、赤外線やレーザーで動きを追う事が必要であり、複雑で高価な機器を必要とする事から実用的ではありません。また、COVID-19などのパンデミックの環境ではウイルスの感染を防ぐ為に物に触れる事を極力抑えられなければなりません。特に公共の施設では簡便にしかも効果的に触れる事なく入力ができるデバイスが求められています。そこで大いに期待出来るのが当社の開発した通常のカメラ画像を用いた指先認識システムです。
当社の開発した技術を用いると、多くのコンピュータ、スマートフォンやハンドヘルドデバイスに搭載されている通常のカメラからの画像を用いてリアルタイムに指先の動きを追跡する事が出来ます。通常のカメラからキャプチャされた動画は、フレームごとに分析され、背景を削除したのちに、2つの連続のフレームを比較することで指先の動きが分析されます。当社の技術では従来の様に体の端の一部を認識するのでは無く一本一本の指先を認識する事ができる為、キーボードタイプ入力より細かい操作が可能となります。
この技術を応用すればただ単にコンピューターの入力ができるだけでなく、手話翻訳が出来ます。つまりカメラで捉えた手／指／身体部分の手話としての動きの視覚情報を様々な形の言語や情報に翻訳できるのです。さらに手話には、書き言葉や話し言葉が異なるのと同じように、異なるバージョンがあります。例えば英語版手話モーションは、日本語版とは異なります。従って手話の1つのバージョンを別のバージョンに翻訳する、または手話を知らない人が理解できる音声、画像、文字に翻訳すると言った事が可能となる訳です。
また、指の動きは3Dである為、バーチャルリアリティに応用する事も可能です。現在、ハンドヘルドの入力機械で行っている操作を、当社の技術を応用すればただ手を伸ばして、物を掴んだり、移動したり出来る様になります。つまりごく自然な動作でバーチャルリアリティの世界を制御出来るので、もっと現実に近い体験が得られる様になります。
この様に当社の指先認識システムはCOVID-19の接触による感染を防ぐという、これからの新しい生活を支えていく為に必要な技術を提供するだけで無く、あらゆる分野での応用が考えられます。
特許概要
カメラベースの指先追跡システム及びメソッド（フィンガーティップリコグニション）
特許 No. 9,791,938
https://patents.justia.com/patent/9791938
通常のカメラを用いて指先を認識し、PC等の制御ができる特許技術。
特許 No. 9,001,036
https://patents.justia.com/patent/9001036
ビデオフレームの違いを見る事によって指先を認証するという特許。
特許No. 8,199,106
https://patents.justia.com/patent/8199106
ビデオフレームの違いを見る事によって指先を認証するという特許。