背景差分と輪郭抽出を用いた空中描画の手法

本論文では、指を空中で動かすことで画面上に描画を行う画像処理技術を用いた新たな空中描画手法を提案する。本手法は手話、空中描画、空中での「筆記」といった幅広い応用に有益である。手法は初期のカメラフレームで移動平均を取りROI（関心領域）の背景画像を準備し、その後ライブカメラフレームから差分をとって二値マスク画像を得ることから始まる。二値画像上の輪郭の頂点をポインタ位置として計算する。その位置にキャンバス上で円を描くことで描画を模擬する。さらにOCRの目的で事前学習済みのTesseractモデルを組み合わせる。誤輪郭を対処するために、背景差分の前にhaarカスケードに基づく手検出を行う。実験環境では空中描画の遅延はわずか100msであった。本研究で用いたコードはGitHub（https://github.com/q-viper/Contour-Based-Writing）で公開されている。