Home本研究成果のポイント
〇高速度カメラを使用した指先速度センサを用いて、指のタッピング時刻と位置をリアルタイムで正確に推定する技術を開発
〇CNNによる指先検出とDICによる速度推定を組み合わせ、複数指の動作を500fpsで検出するシステムを構築
〇バーチャルキーボードとのインタラクションにおいて、高精度かつ高速に指のタッピング動作を検証
概 要
本研究では、高フレームレートビデオ処理を駆使した、ソフトウェアベースの指先速度計による新しいコンセプトを提案しています。この技術は、指の先端が何かに接触する際に生じる高周波成分を検出することで、操作者がいつ、どこで指をタップしたかを推定できます。このソフトウェアベースの指先速度センサは、GPUを用いて高速並列処理で実行することにより、複数の指の速度を正確に高速に推定できます。画像のサブピクセル精度での速度推定を行うデジタル画像相関（DIC）と、数十フレームごとに動作するCNNに基づく物体検出を組み合わせ、フレームごとのDIC操作のために指先のROI領域を頑健に更新します。
このシステムは、720×540解像度の画像に対して500fpsでDIC操作を実行し、30fpsでCNNベースの指先検出を行うリアルタイムの複数指タッピング検出システムを開発しました。実際の指タッピング検出の実験結果、特に10指キーボード入力を含むバーチャルキーボードとのインタラクションを含む実時間指タッピング検出の有効性を示しています。
さらに、今後の研究として、背景の干渉を除去し速度推定の精度を向上させるための画像セグメンテーションの導入や、IOTおよび知能ロボティックス制御への応用についても検討しています。
