JP2003346162A

JP2003346162A - 手の画像認識による入力システム

Info

Publication number: JP2003346162A
Application number: JP2002154145A
Authority: JP
Inventors: Hiromasa Nakatani; 広正中谷; Hitoshi Saji; 斉佐治
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2002-05-28
Filing date: 2002-05-28
Publication date: 2003-12-05
Anticipated expiration: 2022-05-28
Also published as: JP3863809B2

Abstract

(57)【要約】【課題】手の形状を認識することにより、指示等を入力
できるシステムの提供。【解決手段】カメラ等による入力画像（Ｓ２０２）から
手領域抽出画像（Ｓ２０４）と手領域細線画像（Ｓ２０
６）の２種類の手形状認識画像を生成する。手領域抽出
画像からは、指の太さといった手の見掛け上の特徴を、
手領域細線画像からは、手の方向、指の根本座標といっ
た手の骨格的特徴を画像特徴として抽出する。まず、指
の本数を認識して（Ｓ２０８）、０，５本以外の場合、
得られた画像特徴と手の構造的特徴とを用いて、手の方
向を決定して（Ｓ２１０）、指領域の抽出を行う（Ｓ２
１２）。そして、得られた指領域抽出画像と手形状認識
画像を解析することにより、画像特徴を得て（Ｓ２１
４）、どの指が伸びているかを認識する（Ｓ２１６）。
このようにして、３２通りの手の形状を認識することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータ入力
のヒューマン・インターフェースに関し、特に掌の画像
から立っている指を識別することにより入力することが
できるシステムに関する。

【０００２】

【技術的背景】近年、コンピュータ等の発達によって、
人間の周りの機械類をより利用しやすく、より役に立つ
ものにすることが可能になった。バーチャルリアリテ
ィ、マルチメディア、ヒューマン・インターフェースな
どの発明はこの動きの代表的なものである。その中のヒ
ューマン・インターフェースは、人間と機械の間の情報
のやりとりを如何にして効率良く、理解しやすい形で行
えるかを目的とする発明であり、人とコンピュータとの
間で人にやさしい対話を目的とする上で、人間の動作や
姿勢を機械に理解させることが非常に重要な課題であ
る。例えば、仮想世界の構築を行うためには人体全体に
対する姿勢推定が必要であるし、機械の遠隔操作を想定
するなら、手指の姿勢推定が重要となる。また、各種の
設備や機器にカメラを設置して利用者の行動を数値化で
きれば、ヒューマン・インターフェースの一助となる。
動作認識の中でも、人体の一部である手の形状を入力手
段とする方法は、各種機器とのインターフェースが自然
な形で実現することにつながり、非常に重要な意味を持
っている。しかも、手は人の体の中でもっとも器用な部
分で、その形状や動作による表現が非常に豊富である。
従って、人間像の合成や人の動作の認識の中で手は極め
て重要な部分である。

【０００３】手形状を利用する手法としては、データグ
ローブ等の物理型センサやマーカを用いる接触型の手法
と画像情報から認識をおこなう非接触型の手法がある。
センサーやマーカを用いる接触型の手法は数多く提案さ
れているが、入力画像の特徴点を抽出する際の安定性が
高く処理が速い反面、被観測者にとって物理的なセンサ
の装着に伴う煩わしさがあり、より自然なシステムを構
築するためには問題がある。それに対し、センサやマー
カを用いず画像情報から認識を行う方法も数多く提案さ
れている。画像情報より認識を行う手法には、入力画像
から指などのエッジ成分や輪郭線といった特徴を抽出
し、得られた成分と学習済みの３次元モデルをマッチン
グさせることで形状推定を行う方法がある。しかし、こ
れらの手法は、マッチングの際の計算量が多く処理時間
に問題があり、手を入力手段とする実時間上で動作する
システムを構築するには無理がある。実時間で手の重心
の位置や手の方向、指の本数の認識は行えるものもある
が、これらは手の形状から得られる基本的な情報のみを
認識しており、実際にどの指が伸びているのかを認識す
ることができない。実時間で指を認識することができる
システムもあるが、複数台のカメラを用いて特徴を抽出
し認識を行っており、手をコンピュータの入力装置とす
る自然なマンマシン・ヒューマン・インタフェースを構
築するには無理がある。しかし、ユーザにとって自然で
使いやすいヒューマン・インターフェースを構築するた
めには、物理センサを用いず、被観測者に負担を与えな
い画像情報を利用する手法の方が有用である。

【０００４】

【発明が解決しようとする課題】本発明の目的は、セン
サやマーカを用いず、手の形状の画像情報から、５本の
指のうちどの指が立っているかの認識を行うことによ
り、コンピュータ等に入力できるシステムを提供するこ
とである。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明は手の画像認識による入力システムであっ
て、手の画像を入力する画像入力手段と、該画像入力手
段からの手の画像から、手領域部分を塗りつぶした手領
域抽出画像を得る手領域抽出手段と、該手領域抽出画像
から、手領域細線画像を得る手領域細線画像生成手段
と、前記手領域抽出画像と手領域細線画像とから、立っ
ている指を認識して手の形状を特定する手形状認識手段
とを備え、どの指が立っているかで片手で３２通りの形
状を特定することを特徴とする。前記手領域抽出手段
は、前記手の画像から肌色部分を抽出して、肌色部分に
平滑化処理を行い、平滑化処理後の前記肌色部分の輪郭
線を追跡して輪郭線の長さが最大である座標系列の抽出
を行い、抽出した輪郭線に平滑化処理を行った後、該輪
郭線の内部を塗りつぶして手領域抽出画像を得ることが
できる。さらに、前記輪郭線から、指の数を認識する指
数認識手段を備え、該指数認識手段により、指の数が２
〜４のいずれかであると認識したときに、前記手形状認
識手段で手形状の特定を行い、指の数が０又は５である
と認識したときは、前記手形状認識手段による処理を行
わないようにすることもできる。手形状認識手段は、前
記手領域細線画像から手の方向ベクトルを求め、求めた
該手の方向ベクトルに対して垂直に前記手領域抽出画像
を走査して、手のラン長を求め、該ラン長により指領域
を抽出し、抽出した該指領域を用いて、前記手領域細線
画像から指の部分を抽出することで手の形状を認識する
こともできる。手形状認識手段は、前記手の形状の認識
を行うパラメータを正規化して評価するとよい。上述に
記載した機能を有する入力システムをコンピュータ・シ
ステムに構成させるプログラムやプログラムを格納した
記録媒体も本発明である。

【０００６】

【発明の実施の形態】本発明の実施形態を、図面を参照
して詳細に説明する。図１は、本発明の実施形態におけ
るシステム構成例を示す。手の画像認識による入力シス
テム１００は、ＣＰＵ，ハードディスク等を内蔵するコ
ンピュータ本体１１０，ＣＲＴ等の表示装置１２０，キ
ーボード１１２，マウス等のポインティング・デバイス
１１４等で構成される通常のコンピュータ・システムに
カメラ等の画像入力装置１３０を接続したものである。
画像入力装置１３０から、手の画像をコンピュータ・シ
ステム内に取り込み、画像処理を行うことができる。ま
た、図２は、このシステムで実行される手形状の認識処
理を示すフローチャートである。以下に、このフローチ
ャートを用いて、手形状の認識処理を説明する。まず、
１台のカメラ１３０により、システム内に手形状の画像
を取得する（Ｓ２０２）。以下に説明するこの実施形態
では、取得した入力画像に対して、以下のような制約条
件がある。１．入力画像はＲＧＢ表色系で表されるカラー画像であ
る。２．肌色領域を抽出して手領域とするため、画像中にお
いて手が最大の肌色領域であり、手領域と他の肌色物体
は重ならないようにする。３．カメラのレンズに対してなるべく掌を平行に向ける
ようにし、カメラのレンズに掌が向いているのか手の甲
が向いているのかが分かっている。４．手となる領域がすべて肌で表され、手首より先の領
域は画像枠とは交わらない。５．指同士は重なり合わないようにする。６．指は伸ばしているか伸ばしていないかのいずれかの
状態にあるとする。

【０００７】これらの制約条件を満たし、かつ人間が指
を用いて表現できる手形状は３２種類ある。本発明はこ
の３２種類全ての形状に対してどの指が伸びているかを
認識する。３２種類の手形状の詳細を図３，図４（背景
は黒に統一してある）に示す。図３，図４では、各手形
状に対して、指の位置を２進数の位とし、指が立ってい
る状態を１、畳んでいる状態を０としたときの２進数
（括弧の中は１０進数）も示している。図３に示すよう
に、手形状の３２種類の状態と指による２進数とは１対
１の関係にある。従って、図３に示す手形状を認識でき
ると、それに対応する２進数（１０進数）も入力できる
ことになる。

【０００８】入力した入力画像の例を図５に示す。図５
に示すように、実際の入力画像には、背景等、手の認識
に無関係のものが映っている。次に、図５に示した入力
した画像から、手領域を抽出するための画像を生成する
（Ｓ２０４）。この認識用の画像の生成を行う処理例の
フローチャートを図６に示す。図６に示すように、手領
域抽出画像の生成は、例えば以下の手順で行う。１．ＲＧＢ表色系で表される入力画像を、ＲＢＧ表色系
に対して光の影響が受けにくいＨＳＶ表色系に変換する
（Ｓ３０４）。２．ＨＳＶ表色系画像において肌色成分を抽出し（Ｓ３
０６）、肌色成分とその他の成分に２値化し、２値画像
を生成する（Ｓ３０８）。３．得られた２値画像において面積が最大である領域を
抽出し（Ｓ３１０）、平滑化処理として拡散・収縮を行
った（Ｓ３２２）ものを手領域候補とする。

【０００９】上の手順で得られた画像は、撮影環境など
によっては情報の欠落やノイズを含んでいる場合があ
り、後の細線化処理において不都合が生じる場合があ
る。そこで手領域候補の輪郭線に対しても平滑化を行
う。輪郭線の平滑化は以下の手順で行う。１．手領域候補の輪郭線を抽出し、輪郭線の最大のもの
を手領域候補の輪郭線とする（Ｓ３２４）。２．得られた手領域候補の輪郭線を線分近似パラメータ
εで多角形近似し、多角形近似された領域に対して塗り
つぶし処理を行う（Ｓ３２６）。ここで線分近似パラメ
ータεは手領域候補の面積に対して設定される。３．多角形近似された領域に対して塗りつぶし処理を行
って得られた図形を手領域として決定し、この画像を手
領域抽出画像とする（Ｓ３２８）。以下に各処理の詳細に付いて述べる。

【００１０】（手領域候補の抽出：Ｓ３０２）まず、画
像中の手領域である場所を抽出するために、本発明の実
施形態では肌色抽出を行う。しかしながら、入力画像で
あるＲＧＢ表色系で表されるカラー画像は、色彩情報を
人間が直接推定することが困難となり扱いにくい。した
がって人間が感覚的に取り扱いやすい、明度、彩度、色
度のような属性を持つ表色系に変換することが望まし
い。このような表色系にはＨＳＶ表色系やＬ^＊ａ^＊ｂ^＊
表色系など様々なものがあるが、ＨＳＶ表色系が安定し
て肌色抽出が行える。そこで、本発明の実施形態では、
ＲＧＢ表色系からＨＳＶ表色系に変換し、肌色抽出を行
った。

【００１１】（ＨＳＶ表色系）ＨＳＶ表色系は、色の種
類を表す色相Ｈ（hue）、色の鮮やかさを表す彩度Ｓ（s
aturation）、そして明るさの程度を表す明度Ｖ（valu
e）の3つの要素からなる。変換方法は、ＲＧＢ表色系を
非線形変換する。ただし、Ｒ，Ｇ，Ｂ，Ｓ，Ｖの値域は
［０，１］であり、Ｈは〔０，２π〕の値を持つものと
する。ＲＧＢ表色系からＨＳＶ表色系への変換方法は、
例えば高木・下田監修「画像解析ハンドブック」（東京
大学出版会，ｐｐ．４８５−４９１，１９９１年発行）
に記載されている。

【００１２】（手領域の抽出）本発明では、肌色領域の
閾値は０．１１＜Ｈ＜０．２２０．２＜Ｓ＜０．５のように設定し、この閾値を用いて肌色を抽出する（Ｓ
３０６）。手領域と背景とを分離するために２値化処理
（Ｓ３０８）を行い、手領域の最大面積部を抽出する。
このとき手領域の最大面積部、つまり画素数が１０００
より小さいときは画像中に手領域が存在しないとし、処
理を終る。なお、用いている画像は、横３２０画素・縦
２４０画素の大きさであるとする。得られた手領域最大
部のシルエット画像に対して、平滑化処理として拡散・
収縮処理（Ｓ３２２）を行ったものを手領域候補とする
（図７参照）。拡散・収縮処理のアルゴリズムは、例え
ば長谷川他「画像処理の基本技法−技術入門編−」（技
術評論社１９８６年発行）を用いることができる。

【００１３】（手領域の決定）得られた手領域候補に対
して、輪郭線追跡処理を施して輪郭線抽出画像を作成し
（Ｓ３２４：図８参照）、輪郭線の長さが最大である座
標系列の抽出を行う。この座標系列より、輪郭線の平滑
化処理として多角形近似（Ｓ３２６）を行う。多角形近
似には区分的直線近似法を用いる。（区分的直線近似法）区分的直線近似法とは、ある線分
近似パラメータεを導入した以下の手順のアルゴリズム
で実現されている（長谷川他「画像処理の基本技法−技
術入門編−」（技術評論社１９８６年発行）参照）。
図９は、その動作原理を示したもので（ａ）（ｂ）
（ｃ）（ｄ）という順で処理されている。１．まず、輪郭線図形の追跡開始点Ａから追跡順に直線
線分で結んでいき、その直線線分から最も離れた点Ｃを
見つけ、その最大距離ｈが近似値εより大きければ、そ
の点で２つの直線ＡＣ，直線ＣＢに分割する。最大距離
ｈが近似値εより小さければ手順終了。２．次に、分割した各々の部分線ＡＣ，ＢＣに対し、１
と同様の手順を用いて分割を繰り返す。図９（ｂ）の例
では、直線ＡＣで、再度最大距離ｈが近似値εより大き
い点Ｄが見出されているので、直線ＡＤと直線ＤＣに分
割している（図９（ｃ）参照）。３．分割されたどの直線線分に対しても最大距離がεを
越えなければ分割操作を停止し（図９（ｃ）参照）、分
割点で結ばれた多角形が求める線図形として手順終了
（図９（ｄ）参照）。区分的近似法は、線分近似パラメータ値εを適当に設定
することにより滑らかさの具合も調整できる。

【００１４】しかし、手とカメラとの距離（奥行き値）
によって、フレーム上での手領域面積が異なるため、一
定の線分近似パラメータでは適切な近似ができない。そ
こで本発明の実施形態では、手領域の面積によりそれぞ
れの線分近似パラメータを決定し、奥行き値の影響を軽
減する適切な近似ができるようにした。本発明の実施形
態で用いた近似パラメータの例を表１に示す。

【表１】輪郭線抽出画像を区分的直線近似法を使って実現した、
多角形近似画像の例を図１０に示す。

【００１５】（手領域の決定）得られた多角形近似画像
に対して、スキャン・コンバージョンのアルゴリズムを
用いて多角形近似画像の塗りつぶし処理（Ｓ３２６）を
おこない、得られた画像（図１１参照）を手領域抽出画
像として決定する（Ｓ３２８）。スキャン・コンバージ
ョンは、例えば、阿部圭一「ＯＡのための図面・文書画
像処理４図形の追跡」（画像ラボ，ｐｐ．５２−５
５，１９９９）に記載されている。（手領域細線画像の生成）得られた手領域抽出画像を用
いて手領域細線画像を生成する（図２のＳ２０６）。手
領域抽出画像に対して細線化を行う。細線化のアルゴリ
ズムは、例えば横井他「標本化された２値図形のトポロ
ジカルな性質について」（電子通信学会論文誌（Ｄ），
Ｊ５６−Ｄ，４２，ｐｐ．６６２−６６９，１９７３）
に記載のものを用いた。得られた細線化画像には、図１
２に示すように指先などに小さな枝が付いている場合が
多く、この後の処理に不都合が生じる。そこで枝の除去
処理を行う。枝の除去を行った細線化画像を手領域細線
画像とする（図１３）。（指の本数認識：Ｓ２０８）認識用画像を生成するとと
もに、伸びている指の本数を求める。手領域抽出過程で
得られた輪郭線抽出画像に対して、手領域抽出で用いた
線分近似パラメータとは別の値（表２参照）の線分近似
パラメータεで多角形近似を行う。

【表２】

【００１６】近似された画像は、ｎ個の点とｎ個の直線
から成る多角形である。そこでｎ個の点を近似点と呼
び、図１４に示す様に、近似点をｘ_０，ｘ_１，・・・，
ｘ_ｉ− _１，ｘ_ｉ，・・・，ｘ_ｎ−１と置いて、ベクトル
ｘ_ｉｘ_ｉ＋１，ベクトルｘ_ｉｘ _ｉ−１の成す角をθ_ｉと
する。ここでベクトルｘ_ｉｘ_ｉ＋１＝（ａ_１，ａ_２），
ベクトルｘ_ｉｘ_ｉ−１＝（ｂ_１，ｂ_２）とすると、θ_ｉ
は次の式で求められる。

【数１】この式によって、多角形のすべての近似点によって成さ
れる角が求まる。ここでθ_ｉ≦６０°であるものを特徴
点として抽出しその数を算出する。しかし、上述の式を
用いて内角を求めると、多角形の内角が１８０°以上の
ものも抽出されてしまう。これは、１８０°以上の内角
θは、上述の式では３６０°−θとして計算され、実質
的に多角形の内角が１８０°以上のものも抽出されてし
まうことになる。そこで、図１５に示すように、三角形
△ｐ_ｉ−１ｐ_ｉｐ_ｉ＋１の符号付き面積（例えば、浅野
哲夫「計算幾何学」ｐｐ．７３−７９朝倉書店，１９
９０年参照）を用いて１８０°以上の内角を持つ頂点の
検出を行い、１８０°以上の内角を持つ角を特徴点とし
て抽出しない処理を行う。算出された特徴点の数より指
の本数の認識を行う。特徴点の個数と指の本数との対応
は表３に示す。このとき指が０本と５本に認識された場
合は、処理を終了する。

【表３】指の本数認識の精度であるが、認識実験で用いた画像１
５００枚に対して、認識率は約９９％である。

【００１７】＜指領域抽出処理＞以下に、作成された２
種類の認識用画像より指領域の抽出を行い、認識に必要
な画像特徴を抽出する。手領域抽出画像からは手指の太
さといった手の見かけ特徴を抽出し、手領域細線画像か
らは手の骨格的特徴である座標特徴を抽出する。（手の方向ベクトルの決定：Ｓ２１０）手領域細線画像
（図１３参照）から手の方向ベクトルを決定する。以下
に指ベクトルの抽出方法を説明する。１．手領域抽出細
線画像から端点（ｘ_ｎ０，ｙ_ｎ０）（ｎ＝０，１…，
Ｎ）を求める。ここで、各端点は対応する指先に存在す
る。端点から分岐点または交差点までの線分Ｓｎを抽出
し、指候補線分とする（図１６参照）。２．各線分Ｓ_ｎ
を区分的直線近似法を用いて折れ線近似し、屈折点を
（ｘ_ｎｍ，ｙ_ｎｍ）とする。但し、ｍは端点側より１，
２，…とする。折れ線近似する必要のない線分では、分
岐点または交差点を屈折点（ｘ_ｎ１，ｙ_ｎ１）として抽
出する。また、このときの線分近似パラメータεの値を
７．０とした。３．各線分Ｓ_ｎにおいて、端点
（ｘ_ｎ０，ｙ_ｎ０）と、近似された直線において端点に
最も近い屈折点（ｘ_ｎｌ，ｙ_ｎ１）とを用いて各指ベク
トルｖ_ｎを求める（図１７参照）。但し、ｖ_ｎ＝（ｘ
_ｎ０−ｘ_ｎ１，ｙ_ｎ０−ｙ_ｎ１）である。４．以下の式
を用いて、各指の方向ベクトルの和をとり、手の方向ベ
クトルｖとする（図１８参照）。ただし、Ｎは指の数で
ある。

【数２】本手法では、指領域抽出の際に手の方向ベクトルが必要
であり、画像中の手領域全体の方向より、手首から指先
の方向のベクトルの方が重要である。この手順により求
められた手の方向ベクトルは、指の領域候補より求めら
れているために、手首の曲がり具合に影響されず、手首
から指先の方向を求めることができる。（指領域の決定：Ｓ２１２）得られた手の方向ベクトル
に対して垂直に画像走査し、画像走査とともに画像中の
手領域のラン長のヒストグラム（以下ラン・ヒストグラ
ムとする）を作成する（図１９参照）。各指の太さは、
手首や掌の太さとは大きく異なる。そのため、手の方向
ベクトルに対して垂直に画像を走査すると、指・手首・
掌を横切ることによって定まるランの長さは、指の部分
とその他の部分で大きく異なる。そこで、図２０に示す
様なラン・ヒストグラムを作成して、指領域とそうでな
い領域とを分割するための閾値となるラン長を、判別分
析法により決定することができる。判別分析法は、例え
ば大津展之「判別および最小２乗基準に基づく自動しき
い値選定法」電子通信学会論文誌，Ｊ−６３Ｄ，ｐ．３
４９，１９８０に記載されている。

【００１８】（指領域の抽出）判別分析法により決定さ
れた閾値を用いて、指領域を抽出する。再度、手の方向
ベクトルに対して垂直に画像走査を行い、図２１に示す
ように、画像中の手領域のランが閾値より短い場合、そ
れを指領域として抽出する。図２２の白い部分が抽出さ
れた指領域である。また、図２２（ａ）〜（ｄ）に示さ
れた指領域のランヒストグラムと決定された閾値を図２
３（ａ）〜（ｄ）に示す。しかし、すべての場合この判
別分析法が適用されるとは限らない。判別分析法の特性
上、例えば指が１本のときなどは、閾値が決定されない
場合がある。その場合はランの最長の１／３より小さい
領域を指領域として抽出する。得られた指領域抽出画像
より、手領域細線画像から指領域を抽出する。抽出は、
指領域抽出画像と手領域細線画像の論理積をとるだけな
のだが、そのとき本来の指の本数より多くの線分数が抽
出されてしまう場合がある。そこで指の本数認識（Ｓ２
０８）の結果を用い、指の本数と指領域線分が一致する
ように、指領域線分の長さが小さいものを取り除く処理
を行う。得られる画像を図２４に示す。

【００１９】＜手形状の認識＞これまでの処理または処
理過程より得られた画像より、以下の画像特徴を抽出
し、認識パラメータとする。これらの認識パラメータを
用いて認識関数を作成し、どの指が伸びているのかを認
識する。・指領域のランの平均長・各指線分の長さ・各指同士の間隔・掌に対する指の位置情報以下に、画像特徴から認識パラメータを抽出する過程
（Ｓ２１６）を示す。指領域のランの平均長を求めるに
は、抽出する画像特徴である各指線分の長さ、各指同士
の間隔、掌に対する指の位置情報を数値化する時、画像
中の手の大きさ、つまりカメラと手の位置により値が異
なるため、正規化する必要がある。そこで正規化値を求
めるため、抽出された指領域（図２２参照）に対し、図
２５に示す様に、手の方向ベクトルvに垂直な画像走査
を行い、指領域のランヒストグラムを作成する。得られ
たランヒストグラムの平均値を求め、これを指領域のラ
ンの平均長とし、正規化値Ｔとする。

【００２０】（各指の線分の長さ）指領域抽出細線画像
において、図２６に示すように、指にあたる各線分の両
端点を結ぶ直線の長さをＬ_ｎ（ｎ＝１，２，…，Ｎ）と
する。これを指領域のラン平均長Ｔを用いて正規化す
る。正規化には次式を用い、正規化後の指の長さＦｌ _ｎ
（ｎ＝１，２，…，Ｎ）を求める。

【数３】

【００２１】（各指同士の間隔）指同士の間隔を求める
手順を以下に示す。１．指領域抽出細線画像において、手の方向ベクトルｖ
を用いて、各線分の指の根本に対応する座標を検出す
る。２．得られた指の根本座標を近似する直線Ａを最小２乗
法により求める（図２７（ａ）参照）。３．直線Ａに対して垂直かつ指の根本座標を通る直線Ｂ
_ｎ（ｎ＝１,２，…，Ｎ）を求める（図２７（ｂ）参
照）。４．直線Ａと直線Ｂ_ｎ（ｎ＝1,２，…Ｎ）の交点Ｃ
_ｎ（ｎ＝１，２，…，Ｎ）を求め、Ｃ_ｎとＣ_ｎ＋1の長
さを指同士の間隔とする。５．得られた間隔を指領域のラン平均長Ｔを用いて正規
化を行う。

【００２２】（掌に対する指の位置情報）掌に対する指
の位置情報を求める手順を以下に示す。まず、掌の位置
線分の決定するために、手領域抽出画像に対して、手の
方向ベクトルｖに垂直な画像走査を行う。ラン長が最大
である部分を画像走査によって検出し、その部分を掌の
位置線分とする（図２８（ａ）参照）。また、得られた
位置線分の両端点をそれぞれ端点Ｌ，端点Ｒとする。（指の位置の決定）得られた掌の位置線分に対して、指
の根本座標から垂線を降ろし、掌の位置線分との交点座
標を求める（図２８（ｂ）参照）。図２８（ｂ）に示さ
れる様に、指の位置情報は、交点と掌の位置線分の両端
点Ｌ、Ｒからの距離により求める。また、他のパラメー
タ同様、指領域のランの平均長Ｔを用いて正規化を行
う。＜認識パラメータの特徴＞認識パラメータから得られる
特徴について述べ、これらの特徴を用いて認識を行う
（Ｓ２１６）。

【００２３】（各指の長さ特徴）人間の手の構造上、各
指の長さに違いがある。図２９（ａ）のように指が５本
の時、図２９（ｂ）のグラフに示す様に、親指と小指は
その他の指の長さに比べ短いという特徴が現れる。ま
た、図３０のグラフは、指が５本の時の統計データを示
す（但し、データ数は４７である）。統計データからも
親指と小指がその他の指の長さに比べ短いということが
分かる。しかし、この関係は、図３，図４に示した手の
各形状において異なるため、全ての形状のデータを分析
し、指の長さ特徴として用いる必要がある。図２９
（ｂ）、図３０において、×印は正規化後の指の長さｆ
ｌ_ｎを表し、折れ線部は同じ画像の各指の長さ関係を示
している。

【００２４】（各指同士の間隔特徴）図３１に示すよう
に指の組合せ方によって指同士の間隔は異なる。例え
ば、図３１（ａ）と図３１（ｂ）では、指の組合せ方の
違いから、指の間隔特徴も異なる。そこで、前に述べた
方法で、指の間隔を数値化することにより、指の組合せ
を限定することができ、認識に用いることができる。（掌に対する指の位置特徴）図３２に示すように、どの
指のが伸びているかによって指の位置情報が異なる。図
３２（ａ）は、端点Ｌから最左の交点の距離が小さく、
端点Ｒから最右の交点の距離が大きい。この特徴より小
指が伸びている確率が高く、親指または人指し指が伸び
ている確率が低いことが分かる。また、図３２（ｂ）は
端点Ｌから最左の交点の距離が小さく、端点Ｒからの最
右の交点の距離が大きい。この特徴より小指の伸びてい
る確率が小さく、親指または人指し指の伸びている確率
が高いことが分かる。このように、上述の様にして用い
た各認識パラメータを用いて、どの指が立っているかを
認識する。

【００２５】＜どの指が立っているかの認識手順＞具体
的な認識手順の例を図３３〜図３７に示す。どの指が立
っているかの認識は、指の本数認識処理（Ｓ２０８）よ
り認識した、立っている指の本数毎に行われている。図
３３には１本の指が立っている場合の認識手順、図３４
には２本の指が立っている場合の認識手順、図３５，３
６は３本の指が立っている場合の認識手順、図３７には
４本の指が立っている場合の認識手順が示されている。
示されている手順は、条件欄に示されている条件が、満
たされているか、満たされないかにより、認識結果又は
どの手順にジャンプするかを示している。認識結果が示
されている場合は、認識手順を終了する。これらの認識
手順では、認識結果は、立っている指を図３，図４に示
したような２進法で示している。右の掌をカメラに向け
て、小指が左側，親指が右側に映っている画像を認識し
ている。左手を認識する場合は、指の番号付け・左右の
解釈を変えればよい。指の太さの平均を１として、手の
左右端からの指の位置や指の長さを表す。

【００２６】

【発明の効果】上述するように、各種機器に接続された
カメラの前で手の形を変えることにより、片手を認識す
ることで３２通り、両手だと１０２４通りの指示等を、
本発明の入力システムを用いて、各種機器に入力するこ
とが可能である。

【図面の簡単な説明】

【図１】実施形態のシステム構成例を示す図である。

【図２】実施形態の認識処理の例を示すフローチャート
である。

【図３】実施形態のシステムで認識可能な手の形状を示
す図である。

【図４】実施形態のシステムで認識可能な手の形状を示
す図である。

【図５】入力画像例を示す図である。

【図６】手領域抽出画像の生成する処理例を示すフロー
チャートである。

【図７】手領域候補画像例を示す図である。

【図８】輪郭線抽出画像例を示す図である。

【図９】区分的直線近似法を説明する図である。

【図１０】多角形近似画像例を示す図である。

【図１１】手領域抽出画像例を示す図である。

【図１２】細線化処理後の画像例を示す図である。

【図１３】手領域細線画像例を示す図である。

【図１４】多角形近似を示す図である。

【図１５】１８０°以上の内角を持つ頂点の検出を説明
する図である。

【図１６】指候補線分Ｓ_ｎを説明する図である。

【図１７】各指の方向ベクトルｖ_ｎを示す図である。

【図１８】手の方向ベクトルｖを示す図である。

【図１９】画像走査を説明する図である。

【図２０】画像走査で得られるラン・ヒストグラムを示
す図である。

【図２１】ラン長のヒストグラムで指領域を抽出するこ
とを説明する図である。

【図２２】指領域抽出画像例を示す図である。

【図２３】ラン・ヒストグラムと閾値の例を示す図であ
る。

【図２４】手領域細線画像の指領域抽出例を示す図であ
る。

【図２５】指領域のランの平均長Ｔを説明するための図
である。

【図２６】各指の長さを示す図である。

【図２７】各指の間隔を得る処理を説明する図である。

【図２８】掌に対する指の位置情報を得る処理を説明す
る図である。

【図２９】各指の長さの特徴を示す図である。

【図３０】各指の長さの特徴を示す他の図である。

【図３１】指同士の間隔の特徴例を示す図である。

【図３２】掌に対する指の位置特徴例を示す図である。

【図３３】立っている指が１本の場合の認識手順の例を
示す図である。

【図３４】立っている指が２本の場合の認識手順の例を
示す図である。

【図３５】立っている指が３本の場合の認識手順の例を
示す図である。

【図３６】立っている指が３本の場合の認識手順の続き
を示す図である。

【図３７】立っている指が４本の場合の認識手順の例を
示す図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/00 ３００Ｇ０６Ｔ 7/00 ３００ＦＦターム(参考） 5B057 BA02 BA11 CA01 CA08 CA12 CA16 CE05 CE12 CE16 CG04 DA08 DB02 DB06 DB09 DC09 DC17 5L096 AA02 AA06 BA18 CA02 EA02 EA04 EA06 FA06 FA18 FA35 FA59 GA36 GA38 GA41 JA18

Claims

【特許請求の範囲】

【請求項１】手の画像認識による入力システムであっ
て、手の画像を入力する画像入力手段と、該画像入力手段からの手の画像から、手領域部分を塗り
つぶした手領域抽出画像を得る手領域抽出手段と、該手領域抽出画像から、手領域細線画像を得る手領域細
線画像生成手段と、前記手領域抽出画像と手領域細線画像とから、立ってい
る指を認識して手の形状を特定する手形状認識手段とを
備え、どの指が立っているかで片手で３２通りの形状を
特定することを特徴とする手の画像認識による入力シス
テム。
【請求項２】請求項１に記載の入力システムにおいて、前記手領域抽出手段は、前記手の画像から肌色部分を抽
出して、肌色部分に平滑化処理を行い、平滑化処理後の
前記肌色部分の輪郭線を追跡して輪郭線の長さが最大で
ある座標系列の抽出を行い、抽出した輪郭線に平滑化処
理を行った後、該輪郭線の内部を塗りつぶして手領域抽
出画像を得ることを特徴とする手の画像認識による入力
システム。
【請求項３】請求項２に記載の入力システムにおいて、さらに、前記輪郭線から、指の数を認識する指数認識手
段を備え、該指数認識手段により、指の数が２〜４のいずれかであ
ると認識したときに、前記手形状認識手段で手形状の特
定を行い、指の数が０又は５であると認識したときは、
前記手形状認識手段による処理を行わないことを特徴と
する手の画像認識による入力システム。
【請求項４】請求項１〜３のいずれかに記載の入力シス
テムにおいて、手形状認識手段は、前記手領域細線画像から手の方向ベ
クトルを求め、求めた該手の方向ベクトルに対して垂直
に前記手領域抽出画像を走査して、手のラン長を求め、
該ラン長により指領域を抽出し、抽出した該指領域を用
いて、前記手領域細線画像から指の部分を抽出すること
で手の形状を認識することを特徴とする手の画像認識に
よる入力システム。
【請求項５】請求項１〜４のいずれかに記載の入力シス
テムにおいて、手形状認識手段は、前記手の形状の認識を行うパラメー
タを正規化して評価することを特徴とする手の画像認識
による入力システム。
【請求項６】請求項１〜５のいずれかに記載の入力シス
テムをコンピュータ・システムに構成させるプログラム
を格納した記録媒体。
【請求項７】請求項１〜５のいずれかに記載の入力シス
テムをコンピュータ・システムに構成させるプログラ
ム。