JP6548967B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。

近年では、例えば撮像部によって撮像される被写体（ユーザ）が試着対象の衣服を仮想的に試着すること（以下、仮想試着と表記）を実現する技術が開発されている。

この技術によれば、撮像部によって撮像された被写体を含む画像（以下、被写体画像と表記）上に衣服の画像（以下、衣服画像と表記）を重畳した合成画像を表示することにより、当該被写体は、実際に試着を行うことなく当該被写体が試着対象の衣服を着用した状態を確認することが可能となる。

なお、衣服画像は、例えば衣服を着用したマネキン等をスキャンすることによって予め生成される。

特開２０００−２８７２２３号公報

ところで、被写体画像中の被写体の形状と衣服画像中の衣服の形状とが一致しているような精度の高い合成画像を表示するためには、仮想試着を行う被写体の姿勢と衣服画像を生成した際に衣服を着用していたマネキンの姿勢（以下、衣服画像に対応する姿勢と表記）とが一致していることが好ましい。

しかしながら、あらゆる姿勢のマネキンに衣服を着用させて衣服画像を生成（用意）しておくことは困難であるため、仮想試着時の被写体の姿勢と衣服画像に対応する姿勢とは一致しない場合が多い。

よって、精度の高い合成画像を表示するためには、被写体の姿勢が予め用意されている衣服画像に対応する姿勢（つまり、所定の姿勢）と一致するように当該被写体を誘導する仕組みが必要である。また、マネキンの体型と被写体の体型は必ずしも一致していない。

そこで、本発明が解決しようとする課題は、被写体の体型に合わせて被写体の姿勢と所定の姿勢とのずれを通知することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

実施形態に係る画像処理装置は、第１の取得手段と、第２の取得手段と、判定手段と、出力手段と、算出手段と、格納手段とを具備する。前記第１の取得手段は、第１被写体の形状を表す第１のデータを取得する。前記第２の取得手段は、前記第１被写体とは異なる第２被写体の形状を表す第２のデータを取得する。前記判定手段は、前記第１のデータ及び前記第２のデータ間にずれが生じているかを判定する。前記出力手段は、前記ずれが生じていると判定された場合に、前記ずれを通知するための通知情報を出力する。前記算出手段は、前記第１のデータ及び前記第２のデータの各々によって表される形状間のずれの量を表す評価値を算出する。前記格納手段は、前記評価値が閾値以下であると判定されるタイミングで撮像部によって撮像された前記第１被写体を含む被写体画像を格納する。

実施形態における画像処理システムの外観の一例を示す図。 画像処理システムの構成の一例を示すブロック図。 格納部のデータ構造の一例を示す図。 画像処理装置の処理手順の一例を示すフローチャート。 被写体３次元モデルを取得する処理の概要について説明するための図。 目標３次元モデルを選択する処理の概要について説明するための図。 評価値が算出される部位の一例を示す図。 評価値の一例について具体的に説明するための図。 通知画像の一例を示す図。 通知画像の別の例を示す図。 画像処理システムとして実現される携帯端末の外観の一例を示す図。 携帯端末の利用態様の一例を示す図。

以下、図面を参照して、実施形態について説明する。

図１は、本実施形態に係る画像処理装置を含む画像処理システムの外観の一例を示す。図１に示す画像処理システム１０は、筐体１１、表示部１２、第１撮像部１３及び第２撮像部１４を備える。なお、本実施形態に係る画像処理装置は、筐体１１の内部に設けられているが、図１においては省略されている。

図１に示すように、画像処理システム１０が備える筐体１１は例えば矩形形状を有し、当該筐体１１の一面には表示部１２が組み込まれている。表示部１２は、各種画像等を表示可能な、例えば液晶表示装置のような表示装置である。

更に、筐体１１には、第１撮像部１３及び第２撮像部１４が組み込まれている。第１撮像部１３は、被写体Ｐを連続的に撮像し、当該撮像された被写体Ｐを含む画像（以下、デプス画像と表記）を順次出力するための撮像装置である。このデプス画像（デプスマップ）は、距離画像とも称され、画素毎に第１撮像部１３からの距離が規定された画像である。第１撮像部１３としては、例えばゲーム等において用いられるデプスセンサを利用することができる。なお、第１撮像部１３は、デプス画像（つまり、第１撮像部１３からの距離が規定された画像）を得ることが可能な構成であればよい。このため、第１撮像部１３は、例えば複数のカメラから構成され、ステレオマッチングによりデプス画像を得るような構成であってもよい。

第２撮像部１４は、被写体Ｐを連続的に撮像し、当該撮像された被写体Ｐを含む画像（以下、被写体画像と表記）を順次出力するための撮像装置である。この被写体画像は、ビットマップ画像であり、画素毎に被写体Ｐの色彩及び輝度等を示す画素値が規定された画像である。第２撮像部１４としては、例えばビデオカメラを利用することができる。

第１撮像部１３及び第２撮像部１４は、図１に示す回転台２０に乗っている被写体Ｐを撮像する。すなわち、第１撮像部１３及び第２撮像部１４は、回転台２０に乗っている被写体Ｐを撮像可能な位置に設けられる。なお、第１撮像部１３及び第２撮像部１４は、被写体Ｐを撮像可能であれば図１に示す位置以外に設けられていてもよい。

回転台２０は、例えば任意の角度に回転可能に構成される。また、回転台２０は、当該回転台２０に被写体Ｐが乗っている状態において、当該被写体Ｐが表示部１２（に表示される画像）を視認可能な位置に配置されている。回転台２０は、被写体Ｐが所定の方向を向くように自動または手動操作等により回転する。

図１に示す画像処理システム１０は、例えば人物である被写体Ｐ（ユーザ）が仮想試着をする（試着対象の衣服を仮想的に試着する）際に用いられる。

仮想試着は、予め生成されている衣服画像を被写体Ｐを含む被写体画像上に重畳した合成画像（以下、試着画像と表記）を表示することによって実現される。衣服画像は、例えばマネキン等の被写体が着用した状態の衣服を示す画像であり、例えば当該衣服を着用したマネキンをスキャンすることによって生成される。衣服画像によって示される衣服（の種類）には、例えばインナー、アウター、靴及び帽子等が含まれる。また、アウターには、例えば上半身に着用するトップス（上着）及び下半身に着用するボトムス（スカート、ズボン）等が含まれる。

画像処理システム１０は、仮想試着時に精度の高い試着画像を表示するために、当該仮想試着を行う被写体Ｐの姿勢が衣服画像を生成した際に衣服を着用していたマネキンの姿勢と一致するように被写体Ｐを誘導するための機能を有する。

この機能によれば、衣服画像を生成した際に衣服を着用していたマネキンの姿勢と略同一の姿勢の被写体Ｐを含む被写体画像を得ることができる。

図１においては、画像処理装置が設けられている筐体１１に表示部１２及び撮像部（第１撮像部１３及び第２撮像部１４）が組み込まれた構成が示されているが、画像処理装置、表示部１２及び撮像部は、別個の装置として構成されていてもよい。

図１においては省略されているが、画像処理システム１０には、例えば被写体Ｐによる操作指示に応じて各種情報を入力する（受け付ける）、例えばマウス、ボタン、リモコン、キーボード、マイク等の音声認識装置、及び画像認識装置のうちの１つまたは複数を組み合わせて構成される入力部が更に設けられていてもよい。

上記した表示部１２及び入力部は一体的に構成されていてもよい。具体的には、表示部１２及び入力部は、表示機能及び入力機能の双方を備えたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部として構成されていてもよい。このようなＵＩ部には、タッチパネル付きＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等が含まれる。

また、画像処理システム１０は、例えばネットワークを介して画像処理装置と通信可能に接続される外部のサーバ装置を更に備える構成であっても構わない。

図２は、本実施形態における画像処理システム１０の構成を示すブロック図である。図２においては、画像処理システム１０に含まれる画像処理装置の機能構成について主に説明する。

図２に示すように、画像処理装置１００は、表示部１２、第１撮像部１３、第２撮像部１４及び格納部１５と通信可能に接続されている。図２において、表示部１２、第１撮像部１３、第２撮像部１４及び格納部１５は、画像処理装置１００と別個に設けられているが、これらのうちの少なくとも１つが当該画像処理装置１００と一体的に構成されていても構わない。また、画像処理装置１００は、上記したように筐体１１の内部に設けられるが、例えば筐体１１の外部のサーバ装置等として実現されても構わない。

なお、表示部１２、第１撮像部１３及び第２撮像部１４については、上述した図１において説明した通りであるため、その詳しい説明を省略する。

格納部１５は、複数の体型及び姿勢に対応する人体の形状を表すモデルデータ（つまり、体型及び姿勢に関連づけられた多数のモデルデータ）を予め格納する。格納部１５に格納されているモデルデータは、例えば複数の衣服画像が生成された際に衣服を着用していた各マネキンの形状（と同一の形状）を表す。モデルデータにおいては、当該モデルデータによって表される形状（マネキンの形状）に対応する体型及び姿勢が規定されている。

このモデルデータとしては、例えば３次元ポリゴンデータ（以下、３次元モデルと表記）を用いることができる。３次元モデルは複数の頂点及びそれらを結ぶ複数の面から構成されており、例えば当該複数の頂点の各々には、当該頂点の３次元位置（座標）及び当該頂点を識別するための番号（以下、頂点番号と表記）が付加されているものとする。なお、異なる３次元モデル間において対応する頂点（つまり、３次元モデルにおける構造的に同一の位置の頂点）には同一の頂点番号が付加されている（割り当てられている）。

格納部１５は、筐体１１の内部に設けられていてもよいし、上述した外部のサーバ装置等に設けられていてもよい。

画像処理装置１００は、画像取得部１０１、姿勢推定部１０２、姿勢受付部１０３、モデル選択部１０４、姿勢ずれ評価部１０５、通知情報生成部１０６、画像生成部１０７及び表示処理部１０８を含む。

本実施形態において、これらの各部１０１〜１０８の一部または全ては、例えば画像処理装置１００に備えられるＣＰＵ等のコンピュータにプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、各部１０１〜１０８の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。

画像取得部１０１は、第１撮像部１３によって出力されたデプス画像を取得する。また、画像取得部１０１は、第２撮像部１４から出力された被写体画像を取得する。

姿勢推定部１０２は、画像取得部１０１によって取得されたデプス画像（に含まれる被写体Ｐの領域）に基づいて被写体Ｐの体型及び姿勢を推定する。姿勢推定部１０２は、推定された被写体Ｐの体型及び姿勢に対応する形状を表す３次元モデル（第１のモデルデータ）を取得する。この３次元モデルは、格納部１５または外部のサーバ装置等から取得されてもよいし、画像処理装置１００内で生成されたものであってもよい。以下、姿勢推定部１０２によって取得された３次元モデルを便宜的に被写体３次元モデルと称する。

姿勢受付部１０３は、仮想試着時に被写体Ｐが目標とすべき姿勢（つまり、被写体Ｐが誘導される姿勢）を示すデータ（以下、姿勢データと表記）を受け付ける。

モデル選択部１０４は、姿勢推定部１０２によって推定された被写体Ｐの体型（つまり、被写体３次元モデルによって表される形状に対応する体型）及び姿勢受付部１０３によって受け付けられた姿勢データによって示される姿勢（以下、目標姿勢と表記）に対応する形状を表す３次元モデル（第２のモデルデータ）を、格納部１５に格納されている複数の３次元モデルの中から選択する（つまり、格納部１５から読み出す）。以下、モデル選択部１０４によって選択された３次元モデルを便宜的に目標３次元モデルと称する。

姿勢ずれ評価部１０５は、被写体３次元モデル（被写体Ｐの体型及び姿勢の推定結果）及び目標３次元モデルの各々によって表される形状間のずれ（すなわち、各３次元モデルに規定されている姿勢の空間的なずれ）を評価（検出）する。なお、被写体３次元モデル及び目標３次元モデルの各々に規定されている体型は被写体Ｐの体型であるため、当該各３次元モデルによって表される形状間のずれは主に姿勢のずれを表す。以下の説明においては、被写体３次元モデル及び目標３次元モデルの各々によって表される形状間のずれを便宜的に姿勢ずれと称する。姿勢ずれ評価部１０５は、被写体３次元モデル及び目標３次元モデルに基づいて姿勢ずれの量を表す評価値を算出する。

通知情報生成部１０６は、姿勢ずれ評価部１０５によって算出された評価値（姿勢ずれの検出結果）に基づいて姿勢ずれを被写体Ｐに通知するための通知情報を生成する。

画像生成部１０７は、第２撮像部１４によって撮像された被写体Ｐを含む被写体画像（つまり、第２撮像部１４から出力された被写体画像）上に通知情報生成部１０６によって生成された通知情報を重畳した合成画像（以下、通知画像と表記）を生成する。

表示処理部１０８は、姿勢ずれを被写体Ｐに通知するために、通知情報生成部１０６によって生成された通知情報を出力する処理を実行する。具体的には、表示処理部１０８は、画像生成部１０７によって生成された通知画像を表示部１２に表示する。

図３は、図２に示す格納部１５のデータ構造の一例を示す。図３に示すように、格納部１５には、各体型及び姿勢に対応する人体の形状を表す３次元モデル（ポリゴンメッシュデータ）が格納されている。なお、格納部１５において、体型（β）は、体型の偏差の程度を示すパラメータである。体型（β）は、痩せている体型、太っている体型、男性的な体型及び女性的な体型等をパラメトリックに記述するための複数の数値から構成される。姿勢（θ）は、人体における各関節の角度（曲げ角度）を示すパラメータである。

図３に示す例では、格納部１５には、例えば体型β１及び姿勢θ１に対応する形状を表す３次元モデル１５１が格納されている。

また、３次元モデル１５１と体型が共通する３次元モデルとして、体型β１及び姿勢θ２に対応する形状を表す３次元モデル１５２と、体型β１及び姿勢θ３に対応する形状を表す３次元モデル１５３とが格納されている。

一方、３次元モデル１５１と姿勢が共通する３次元モデルとして、体型β２及び姿勢θ１に対応する形状を表す３次元モデル１５４と、体型β３及び姿勢θ１に対応する形状を表す３次元モデル１５５とが格納されている。

図３に示す３次元モデル１５１〜１５５は、上述したように例えば裸の状態か図１に示した被写体Ｐのように薄着の衣服を着用した状態か衣服画像が生成された際に衣服を着用したマネキンの形状を表す３次元モデルである。なお、図３においては、３次元モデル１５１〜１５５以外の３次元モデルについては省略されている。

なお、格納部１５に格納されている３次元モデルは、当該３次元モデルによって表される形状（つまり、マネキンの形状）の例えば向き（Ｍ）等を適宜変更（規定）して利用することが可能である。向き（Ｍ）は、回転角度を示すパラメータである。

次に、図４に示すフローチャートを参照して、本実施形態に係る画像処理装置１００の処理手順について説明する。

ここでは、仮想試着において試着対象となる多数の衣服を示す衣服画像が予め生成されているものとする。なお、衣服画像は、格納部１５に格納されていてもよいし、外部のサーバ装置等で管理されていてもよい。また、格納部１５には、裸の状態か図１に示した被写体Pのように薄着の衣服を着用した状態か衣服画像が生成された際に当該衣服画像によって示される衣服を着用したマネキンの形状を表す３次元モデルが、当該マネキンの形状（つまり、体型及び姿勢）毎に格納されているものとする。

ここで、仮想試着を行うユーザが画像処理システム１０を利用する場合、当該ユーザは、被写体Ｐとして回転台２０に乗ることができる。これによれば、第１撮像部１３及び第２撮像部１４は、被写体Ｐを撮像可能となる。本実施形態において、被写体Ｐは、第１撮像部１３及び第２撮像部１４によって撮像されている間は、所定の姿勢をとるものとする。

この場合、画像取得部１０１は、第１撮像部１３によって撮像された被写体Ｐを含むデプス画像（被写体Ｐのデプス画像）を当該第１撮像部１３から取得する（ステップＳ１）。

姿勢推定部１０２は、ステップＳ１において取得されたデプス画像に基づいて、被写体Ｐの体型βｈ及び姿勢θｈ（及び向きＭｈ）を推定し、当該推定された被写体Ｐの体型βｈ及び姿勢θｈに対応する形状を表す３次元モデル（つまり、被写体３次元モデル）を取得する（ステップＳ２）。例えば、被写体Ｐが示す体型、及び最初に示した姿勢（現状の姿勢）に対応するデプス画像を取得する。

ここで、図５を参照して、ステップＳ２の処理の概要について説明する。まず、ステップＳ１において、図５に示すデプス画像２０１が取得されているものとする。

この場合、姿勢推定部１０２は、図５に示すように、例えばデプス画像２０１上で格納部１５に格納されている３次元モデルの各々（例えば、図３に示す３次元モデル１５１〜１５５等）を回転させながら、デプス画像２０１中の被写体Ｐの形状と３次元モデルによって表される形状（シルエット）とを対比する。これにより、姿勢推定部１０２は、格納部１５に格納されている３次元モデルの中から、デプス画像２０１中の被写体Ｐと同じ向きとしたときに当該被写体Ｐ（の形状）と最も近い（一致する）形状を表す３次元モデルを特定する。姿勢推定部１０２は、このように特定された３次元モデルによって表される形状に対応する体型及び姿勢を、被写体Ｐの体型βｈ及び姿勢θｈとして推定することができる。姿勢推定部１０２は、推定された被写体Ｐの体型βｈ及び姿勢θｈに対応する形状を表す３次元モデルを被写体３次元モデルとして取得する。

図５に示す例では、３次元モデル１５１によって表される形状がデプス画像２０１中の被写体Ｐの形状と最も近く、当該３次元モデル１５１によって表される形状に対応する体型β１及び姿勢θ１が被写体Ｐの体型βｈ及び姿勢θｈとして推定された場合が示されている。この場合、３次元モデル１５１が被写体３次元モデルとして取得される。

なお、被写体Ｐの体型βｈ及び姿勢θｈの推定には、第１撮像部１３によって撮像された被写体Ｐを含むデプス画像（被写体Ｐのデプス画像）の代わりに３Ｄスキャナ等を用いて取得される被写体Ｐの３次元モデルを利用することも可能である。具体的には、例えば３Ｄスキャナを用いて取得された被写体Ｐの３次元モデル（によって表される形状）と最も近い形状を表す３次元モデルを格納部１５に格納されている３次元モデルの中から特定することによって、被写体Ｐの体型βｈ及び姿勢θｈを推定することができる。

再び図４に戻ると、姿勢受付部１０３は、上記した目標姿勢を示す姿勢データを受け付ける（ステップＳ３）。なお、姿勢データ（によって示される目標姿勢）は、例えば仮想試着において試着対象となる衣服を着用していたマネキンの姿勢θ´及び向きＭ´を含み、例えば当該マネキン等から予め求められているものとする。

具体的には、目標姿勢をとっているマネキンのデプス画像を取得し、当該デプス画像に対して上記したステップＳ２の処理に相当する処理を実行することによって、当該マネキンの形状に対応する体型、姿勢及び向きを取得する（推定する）ことができる。このように取得された体型、姿勢及び向きのうちの姿勢及び向きを姿勢θ´及び向きＭ´（つまり、姿勢データ）として用いる。この場合、姿勢受付部１０３は、姿勢´及び向きＭ´を含む姿勢データを受け付ける。

なお、上記したように取得された向きＭ´は変更されてもよい。具体的には、例えば第１撮像部１３に対して正面を向いている向きＭ´が取得された場合、当該Ｍ´は、第１撮像部１３に対して横方向を向いている向きＭ´´に変更されても構わない。この場合、姿勢受付部１０３は、姿勢θ´及び向きＭ´´を含む姿勢データを受け付ける。上述したように回転台２０に乗っている被写体Ｐを回転させながら撮像する場合には、回転台２０の回転角度に応じてＭ´の値を変更するようにしてもよい。また、姿勢θ´を任意の姿勢θ´´に変更（修正）可能な構成であってもよい。

ここでは、マネキンのデプス画像から予め求められた姿勢θ´及び向きＭ´が姿勢データとして用いられるものとして説明したが、例えば人物のデプス画像から求められた姿勢及び向きが姿勢データとして用いられてもよい。例えば過去の被写体Ｐ（または当該被写体Ｐ以外の人物）のデプス画像から求められた姿勢及び向きを姿勢θ´及び向きＭ´として用いることも可能である。なお、過去の被写体Ｐのデプス画像は、過去に当該被写体Ｐが画像処理システム１０を利用した際に当該画像処理システム１０（例えば、格納部１５等）に蓄積されているものとする。この場合、このように蓄積された過去の被写体Ｐのデプス画像から求められる姿勢及び向きの中から、目標姿勢（姿勢θ´及び向きＭ´）として用いる姿勢及び向きを被写体Ｐが選択可能な構成としてもよい。これによれば、例えば過去にトップスについて仮想試着をしたときの被写体Ｐの姿勢と同様の姿勢でボトムスについての仮想試着をすること等が可能となる。

また、デプス画像に基づくことなく、姿勢データに含まれる姿勢θ´及び向きＭ´を例えば被写体Ｐが直接指定することができるようにしてもよい。

モデル選択部１０４は、格納部１５に格納されている複数の３次元モデルの中から、目標３次元モデルを選択する（ステップＳ４）。具体的には、モデル選択部１０４は、図６に示すように、被写体３次元モデルによって表される形状に対応する体型（つまり、姿勢推定部１０２によって推定された被写体Ｐの体型）βｈと、姿勢受付部１０３によって受け付けられた姿勢データに含まれる姿勢θ´及び向きＭ´（目標姿勢）とに対応する形状を表す目標３次元モデルを選択する。目標３次元モデルは、格納部１５に格納されている被写体Ｐの体型βｈ及び姿勢データに含まれる姿勢θ´に対応する３次元モデルを向きＭ´に基づいて回転させた３次元モデルである。なお、事前に用意されていない場合、被写体の体型βｈの3次元モデルを、姿勢θ´及び向きＭ´を用いて変形して用いてもよい。

次に、姿勢ずれ評価部１０５は、被写体Ｐのデプス画像に基づいて取得された被写体３次元モデルとモデル選択部１０４によって選択された目標３次元モデルとの間の姿勢のずれを評価する（検出する）処理を実行する（ステップＳ５）。この場合、姿勢ずれ評価部１０５は、被写体３次元モデル及び目標３次元モデルの各々によって表される形状間のずれ（姿勢ずれ）の量を表す評価値を算出する。姿勢ずれ評価部１０５によって算出される評価値は、値が小さいほど姿勢ずれが小さいことを表すものとする。

なお、評価値（姿勢ずれの量）は、図７に示すように、被写体３次元モデル及び目標３次元モデルの各々によって表される形状における部位（区分された部位）毎に算出される。これによれば、例えば足の位置、脚の開き方、腰の位置、上半身（腕等）の位置、頭の位置、肩の向き、左右の肘の位置及び左右の手の位置等のずれの量が、評価値として算出される。

ここで、図８を参照して、姿勢ずれ評価部によって算出される評価値について具体的に説明する。ここでは、被写体３次元モデル３０１と目標３次元モデル３０２との間の腕の部位における姿勢ずれを表す評価値を算出する場合について説明する。なお、図８においては、便宜的に、目標３次元モデル３０２の腕の部位以外の部分は省略されている。

この場合、姿勢ずれ評価部１０５は、例えば被写体３次元モデル３０１における腕の部位を構成する頂点Ｖｉを含む直線Ｌｉと目標３次元モデル３０２における腕の部位を構成する複数の頂点によって形成される面との交点Ｐｉを求める。

なお、直線Ｌｉの向きは、頂点Ｖｉを含む複数の頂点によって形成される面の法線方向であるものとする。被写体３次元モデル３０１において頂点Ｖｉは複数の面を形成するが、この場合、直線Ｌｉの方向は、当該頂点Ｖｉによって形成される複数の面の各々の法線方向の平均に相当する方向であるものとする。

また、直線Ｌｉが複数の面と交差する場合があるが、被写体３次元モデル３０１及び目標３次元モデル３０２において複数の頂点によって形成される各面には例えば図７に示すような人体上のどの部位に属するかという情報や表裏等が定義されており、交点Ｐｉを求める対象となる目標３次元モデルにおける面は判別可能であるものとする。具体的には、例えば頂点Ｖｉが被写体３次元モデル３０１によって表される人体形状の腕の部位の外側（胴体とは逆側）の面を形成している場合には、直線Ｌｉが目標３次元モデル３０２によって表される人体形状の腕の部位の外側の面及び内側（胴体側）の面の両方と交差する場合であっても、直線Ｌｉと当該腕の部位の外側の面との交点Ｐｉが求められる。

姿勢ずれ評価部１０５は、頂点Ｖｉの３次元位置及び交点Ｐｉの３次元位置に基づいて、頂点Ｖｉから交点Ｐｉまでの距離（長さ）ｌを算出する。なお、交点Ｐｉが存在しない（つまり、直線Ｌｉが目標３次元モデルと交差しない）場合には、距離ｌは所定の最大値ｍあるいは目標３次元モデル上の最も近い頂点までの距離とする。このような距離ｌを被写体３次元モデルにおける腕の部位を構成する全ての頂点について算出し、当該算出された距離ｌの平均値を当該腕の部位の評価値（姿勢ずれの量）とする。本実施形態においては、このように被写体３次元モデルを基準として評価値が算出される。

ここでは、被写体３次元モデルを基準として評価値を算出するものとして説明したが、目標３次元モデルを基準として評価値が算出されてもよい。この場合には、目標３次元モデル３０２における腕の部位を構成する頂点を含む直線と被写体３次元モデル３０１における腕の部位を構成する複数の頂点によって形成される面との交点が求められる。

また、頂点Ｖｉから交点Ｐｉまでの間の距離ｌ（の平均値）を評価値として用いるものとして説明したが、当該距離ｌは、頂点Ｖｉから目標３次元モデルを構成する複数の頂点によって形成される任意の面までの最短距離としてもよい。また、距離ｌは、被写体３次元モデル３０１を構成する頂点Ｖｉと、当該頂点Ｖｉに対応する目標３次元モデルを構成する頂点との間の距離としてもよい。上記したように異なる３次元モデル間において対応する頂点には同一の頂点番号が付加されているため、被写体３次元モデル３０１を構成する頂点Ｖｉに対応する目標３次元モデルを構成する頂点は、当該頂点Ｖｉに付加されている頂点番号に基づいて特定することができる。

なお、図８においては、説明のために被写体３次元モデル３０１と目標３次元モデル（の腕の部位）３０２が離して示されているが、上述した評価値は、例えば被写体３次元モデル３０１の全体あるいは一部の頂点あるいは面の中心点と目標３次元モデル３０２の全体あるいは一部の頂点あるいは面の中心点とを一致させた状態で算出される。

ここで、被写体３次元モデル３０１は第１撮像部１３によって撮像された被写体Ｐを含むデプス画像に基づいて取得されたものであるため、第１撮像部１３の方向を向いている（つまり、第１撮像部１３によって撮像された）被写体Ｐの面以外の面（の形状）は、実際の被写体Ｐ（の形状）とは一致していない可能性がある。このため、ステップＳ５においては、第１撮像部１３によって撮像された面を形成する頂点Ｖｉから交点Ｐｉまでの距離ｌのみに基づいて評価値を算出するようにしてもよいし、当該第１撮像部１３によって撮像された面以外の面を形成する頂点Ｖｉからの交点Ｐｉまでの距離ｌについては評価値に対して与える影響を低くするように重みを下げてもよい。

なお、本実施形態においてはモデルデータとして３次元モデル（３次元ポリゴンデータ）が用いられるものとして説明したが、モデルデータは、被写体Ｐの姿勢と目標姿勢との姿勢ずれの量（つまり、評価値）を算出可能なデータであればよい。具体的には、モデルデータは、例えば被写体Ｐまたは目標姿勢をとっているマネキンを第１撮像部１３を用いて撮像することによって取得されるデプス画像（データ）であってもよいし、当該デプス画像を構成する画素毎に３次元座標（Ｘ、Ｙ及びＺ座標）が規定された点群データであってもよい。

評価値は、上記した３次元モデル、デプス画像及び点群データのうちの２つ以上を用いて算出されるような構成であってもよい。また、被写体Ｐの姿勢と目標姿勢とを比較可能な形式に変換することによって、例えば被写体Ｐを含むデプス画像及び目標３次元モデルのような異なる属性のモデルデータから評価値が算出されるような構成とすることも可能である。

更に、被写体Ｐの体型βｈを用いることなく、被写体Ｐの姿勢θｈ及び向きＭｈと、姿勢データに含まれる姿勢θ´及び向きＭ´（目標姿勢）とを比較することによって評価値が算出されてもよい。この場合、被写体Ｐの向きＭｈは、上述した姿勢推定部１０２によって体型βｈ及び姿勢θｈとともにデプス画像に基づいて推定されていればよい。

ここで、通知情報生成部１０６は、部位毎に算出された評価値に基づいて姿勢ずれを被写体Ｐに通知する必要があるか否かを判定する（ステップＳ６）。この場合、通知情報生成部１０６は、部位毎に算出された評価値（姿勢ずれの量）の各々が予め定められた値（以下、閾値と表記）以下であるか否かを判定する。評価値が閾値以下であることは、被写体３次元モデル及び目標３次元モデルにおいて、当該評価値が算出された部位の姿勢ずれが小さい（または、当該部位の姿勢が一致している）ことを意味する。一方、評価値が閾値以下でないことは、被写体３次元モデル及び目標３次元モデルにおいて、当該評価値が算出された部位の姿勢ずれが大きいことを意味する。

ステップＳ６においては、部位毎に算出された評価値のうちの少なくとも１つが閾値以下でない場合、姿勢ずれを被写体Ｐに通知する必要があると判定される。一方、部位毎に算出された評価値の全てが閾値以下である場合、姿勢ずれを被写体Ｐに通知する必要がないと判定される。

ここで、本実施形態における画像処理システム１０は上述したように被写体Ｐが仮想試着をする際に用いられるが、仮想試着における試着対象の衣服が着用される位置によっては、被写体Ｐの全ての部位を目標姿勢と一致させる必要がある場合もあるし、被写体Ｐの一部の部位のみを目標姿勢と一致させればよい場合もある。

具体的には、試着対象の衣服がトップスである場合には、被写体Ｐの少なくとも上半身のみを目標姿勢と一致させればよい。また、試着対象の衣服がボトムスである場合には、被写体Ｐの少なくとも下半身のみを目標姿勢と一致させればよい。

このため、本実施形態においては、試着対象の衣服が着用される位置に応じた部位のみが姿勢ずれの評価対象となる（つまり、当該部分のみの姿勢ずれが検出される）ように、評価値が算出される部位毎に異なる閾値が設定されていてもよい。例えば被写体Ｐの上半身のみを評価対象とする場合には下半身の閾値を高く設定すればよいし、被写体Ｐの下半身のみを評価対象とする場合には上半身の閾値を高く設定すればよい。

更に、仮想試着における試着対象の衣服の種類によっては、許容範囲内であれば被写体Ｐの姿勢と目標姿勢との間にずれが生じていてもよい場合がある。

具体的には、試着対象の衣服がインナーまたはタイトな衣服である場合には、姿勢ずれによって試着画像において被写体Ｐ（の領域）が衣服（の領域）からはみ出してしまうため、被写体Ｐの姿勢と目標姿勢との間の姿勢ずれの許容範囲は小さい。一方、試着対象の衣服がアウターまたはルーズな衣服である場合には、姿勢ずれが生じていたとしても試着画像において被写体Ｐ（の領域）が衣服（の領域）からはみ出さない場合があり、被写体Ｐの姿勢と目標姿勢との間の姿勢ずれの許容範囲は大きい。このため、本実施形態においては、試着対象の衣服の種別に応じて、異なる閾値が設定されてもよい。具体的には、試着対象の衣服がインナーまたはタイトな衣服である場合には閾値を低く設定すればよいし、試着対象の衣服がアウターまたはルーズな衣服である場合には閾値を高く設定すればよい。

姿勢ずれを被写体Ｐに通知する必要があると判定された場合（ステップＳ６のＹＥＳ）、通知情報生成部１０６は、姿勢ずれ評価部１０５によって算出された評価値に基づいて、姿勢ずれを被写体Ｐに通知するための通知情報を生成する（ステップＳ７）。この場合、通知情報生成部１０６は、評価値が算出された部位毎に通知情報を生成する。

次に、画像生成部１０７は、第２撮像部１４によって撮像された被写体Ｐを含む被写体画像（カラー画像）上にステップＳ８において生成された通知情報を重畳した通知画像を生成する（ステップＳ８）。

表示処理部１０８は、ステップＳ９において生成された通知画像を表示部１２に表示する（ステップＳ９）。

ここで、ステップＳ９において表示される通知画像について説明する。図９に示すように、通知画像においては、当該通知画像中の被写体Ｐの各部位について算出された評価値に基づいて生成された通知情報として、当該評価値に応じたメッセージ（文字列）４０１等が当該部位の付近に表示される。なお、通知画像において、通知情報として評価値が表示されても構わない。

また、図９に示すように、通知画像においては、例えば目標３次元モデルのシルエット（当該目標３次元モデルによって表される形状の輪郭線）４０２が案内画像として表示されてもよい。なお、目標３次元モデルのシルエット４０２は、例えば目標３次元モデルをスクリーン面に投影すること等によって得ることができる。目標３次元モデルのシルエット４０２は、例えば被写体画像中の被写体Ｐ上の特徴点あるいは特徴領域と当該シルエット４０２上の特徴点あるいは特徴領域とが一致する位置に重畳表示される。

なお、目標３次元モデルのシルエット４０２は、被写体Ｐに姿勢ずれを通知可能なように評価値に基づいて加工されていてもよい。具体的には、例えば姿勢ずれが生じている部位を被写体Ｐに通知するためのマークが付されていてもよいし、当該部位について算出された評価値に応じた色彩が目標３次元モデルのシルエット４０２における当該部位に付与されていてもよい。

また、通知画像においては、目標３次元モデルのシルエットは、全体（全身）が表示されてもよいし、一部のみが表示されてもよい。

図１０に示すように、目標３次元モデルのシルエット４０２に代えて、目標３次元モデル（３次元ポリゴンデータ）４０３が表示されてもよい。

すなわち、本実施形態において姿勢ずれを通知するために出力される通知情報（つまり、通知画像）は、姿勢ずれ評価部１０５によって算出された評価値、当該評価値に基づいて生成されたメッセージ、または当該評価値に基づいて加工された目標３次元モデル（によって表される形状）等を含む。

また、通知画像には、被写体Ｐの姿勢を目標姿勢と一致させるために必要な情報として、例えば被写体Ｐが各部位を移動させるべき方向が例えば矢印等により表示されても構わない。更に、各部位を移動させる距離や位置が表示されても構わない。具体的には、腕の部位において姿勢ずれが生じている場合には、通知画像上で、腕の関節を曲げる方向や当該腕の関節の位置等を表示することができる。また、現在の腕の角度と目標となる腕の角度（数値）をグラフまたはメーター等で示すことも可能である。

なお、上下及び左右方向（つまり、第１撮像部１３及び第２撮像部１４の撮影方向に直交する方向）の姿勢ずれは通知画像上で比較的容易に把握することが可能であるが、奥行き方向（つまり、第１撮像部１３及び第２撮像部１４の撮影方向）の姿勢ずれは通知画像上で把握することは困難である。したがって、通知画像においては、奥行き方向の姿勢ずれが生じている部位についてのみ評価値（メッセージ）または移動方向等が表示されるようにしてもよい。これによれば、全ての部位について評価値または移動方向等を表示する場合と比較して、姿勢ずれを把握することが困難な部位についての当該姿勢ずれの視認性を向上させることができる。

ここでは、被写体画像上に通知情報を重畳した通知画像を表示することによって当該通知情報が出力（通知）されるものとして説明したが、当該通知情報は、画像としてではなく音声等で出力されてもよい。この場合、被写体画像が表示部１２に表示された状態で、例えば評価値等に基づいて生成される「もう少し右手を前に出してください。」または「もう少し左腕を開いて下さい。」等のメッセージが音声で出力されればよい。なお、通知情報は、画像及び音声の組み合わせとして出力されてもよい。具体的には、被写体画像上に目標３次元モデルを重畳した通知画像を表示するとともに、上記したメッセージを音声で出力する構成としてもよい。また、通知情報は、姿勢ずれが生じているか否かを被写体Ｐに通知するための効果音として出力されてもよい。

すなわち、本実施形態において、通知情報は、姿勢ずれを被写体Ｐが知覚可能な情報として生成される。

上記したステップＳ９の処理が実行されると、ステップＳ１に戻って処理が繰り返される。

ここで、被写体Ｐは、表示部１２に表示された通知画像を参照しながら当該被写体Ｐの姿勢を目標姿勢（目標３次元モデルによって表される形状）と一致するように修正することができる。このように姿勢が修正された後にステップＳ１以降の処理が実行された場合には、ステップＳ６において姿勢ずれを被写体Ｐに通知する必要がないと判定される。

このようにステップＳ６において姿勢ずれを被写体Ｐに通知する必要がないと判定された場合（ステップＳ６のＮＯ）、画像取得部１０１は、第２撮像部１４によって撮像された被写体Ｐを含む被写体画像（カラー画像）を取得する（ステップＳ１０）。画像取得部１０１は、第２撮像部１４によって撮像された被写体Ｐを含む被写体画像（カラー画像）にあわせて第１撮像部１３によって出力された被写体Ｐを含む被写体画像（デプス画像）や、姿勢推定部１０２で推定された被写体Ｐの体型及び姿勢を取得してもよい。

画像取得部１０１によって取得された被写体画像は、例えば格納部１５に格納される（ステップＳ１１）。

すなわち、本実施形態においては、被写体３次元モデル及び目標３次元モデルの各々によって表される形状間のずれの量が閾値以下である（つまり、被写体Ｐの姿勢が目標姿勢と一致している）タイミングで第２撮像部１４によって撮像された被写体Ｐを含む被写体画像が格納部１５に格納される。被写体Ｐの姿勢が目標姿勢と一致している（または被写体画像が格納部１５に格納された）旨は、音声または効果音等で被写体Ｐに通知されてもよい。なお、被写体画像は目標姿勢と姿勢が一致している被写体Ｐを含むものであればよく、当該被写体画像が格納部１５に格納されるタイミング（時刻）は、当該被写体Ｐが撮像された時刻と異なっていてもよい。

ステップＳ１１において格納部１５に格納された被写体画像は、上述した仮想試着における試着画像の生成に用いられる。具体的には、格納部１５において格納された被写体画像上に試着対象の衣服を含む衣服画像を重畳した試着画像は、例えば被写体Ｐ（ユーザ）が使用するスマートフォン及びタブレットコンピュータのような携帯端末上で生成及び表示することができる。この場合、格納部１５に格納された被写体画像及び試着対象の衣服を含む衣服画像は、例えば携帯端末に対するユーザの操作に応じて当該携帯端末に送信されればよい。これによれば、ユーザは、当該ユーザが試着対象の衣服を着用した状態（つまり、当該衣服を仮想試着した状態）を携帯端末上で確認することができる。なお、試着画像は、画像処理装置１００内で生成されて表示部１２に表示されてもよいし、携帯端末以外の他の外部機器上で生成及び表示されても構わない。

本実施形態の使用態様の一例として、例えば雑誌等におけるファッションモデルが着用している衣服を含む衣服画像を予め生成しておき、当該ファッションモデルの姿勢を示す姿勢データを受け付けるものとする。これによれば、被写体Ｐは、画像処理システム１０を利用することによって、雑誌等においてファッションモデルが着用している衣服を当該ファッションモデルと同様の姿勢で仮想的に試着することが可能となる。

上記した被写体画像は、格納部１５ではなく、外部のサーバ装置等に格納される（アップロードされる）構成であってもよい。

なお、図４に示す処理においては、例えば足の位置、脚の開き方、腰の位置、上半身の位置、頭の位置、肩の向き、左右の肘の位置及び左右の手の位置等の被写体Ｐの部位毎の姿勢ずれ（を通知するための通知情報）が順番に通知（出力）されてもよい。この場合、被写体Ｐのある部位の姿勢ずれが目標３次元モデルによって表される形状と一致するように修正された後に、次の部位の姿勢ずれを通知するための通知情報が出力されればよい。例えば足の位置のずれを通知するための通知情報が出力された後に、脚の開き方のずれを通知するための通知情報が出力される等、地面に接している部位から関節をたどるような順番で通知情報が出力されるようにすることも可能である。

上記したように本実施形態においては、被写体Ｐの体型及び姿勢に対応する形状を表す被写体３次元モデル（第１のモデルデータ）を取得し、当該被写体Ｐの体型及び目標となる姿勢に対応する形状を表す目標３次元モデル（第２のモデルデータ）を取得し、当該被写体３次元モデル及び当該目標３次元モデルの各々によって表される形状間のずれを表す評価値を算出し、当該評価値に基づいて当該ずれを通知するための通知情報を生成し、当該通知情報を出力する。この場合、被写体画像上に通知情報を重畳することによって生成された通知画像が表示部１２に表示される。また、通知情報は、評価値、当該評価値に基づいて生成されたメッセージ、または当該評価値に基づいて加工された目標３次元モデル等を含む。

本実施形態においては、このような構成により、被写体Ｐの姿勢と所定の姿勢（目標姿勢）とのずれを通知する（通知画像を表示する）ことが可能となるため、被写体Ｐは、当該通知画像を見ながら体幹、腕及び脚等を動かすことによって目標姿勢と同様の姿勢をとることができる。換言すれば、本実施形態によれば、被写体Ｐの姿勢と目標姿勢（予め生成された衣服画像に対応する姿勢）とが一致するように被写体Ｐを誘導することができる。

また、本実施形態においては、評価値が閾値以下であると判定されるタイミングで第２撮像部１４によって撮像された被写体Ｐを含む被写体画像を格納部１５に格納する。本実施形態においては、このような構成により、姿勢が目標姿勢と一致した状態の被写体Ｐを含む被写体画像を記録しておくことが可能となるため、このような被写体画像を用いることによって精度の高い試着画像を生成及び表示することが可能となる。

更に、本実施形態においては、部位毎に評価値を算出し、当該部位毎に算出された評価値の各々が閾値以下であるか否かを判定する構成により、姿勢ずれの有無を部位毎に評価（検出）することが可能となる。また、閾値を部位毎に設定することにより、例えば被写体Ｐに通知すべき部位の姿勢ずれのみを検出することが可能となる。

また、本実施形態においては、被写体Ｐの部位毎に生成された通知情報を段階的に（順番に）出力する（つまり、通知画像を段階的に表示する）ことにより、被写体Ｐは姿勢ずれを部位毎に段階的に修正することが可能となる。更に、通知情報を例えば地面に接している部位（足の位置等）から関節をたどるような順で出力していくことにより、被写体Ｐはより安定した姿勢を保ちながら各部位のずれを修正することが可能となる。

本実施形態においては、１つの姿勢データによって示される目標姿勢と被写体Ｐの姿勢とを一致させるものとして説明したが、例えば複数の姿勢データを用意しておき、被写体Ｐの姿勢を複数の目標姿勢の各々に順次誘導するような構成とすることも可能である。この場合、姿勢データ毎に図４に示す処理が実行されればよい。これによれば、複数の目標姿勢の各々と同様の姿勢の被写体Ｐを含む被写体画像を順次記録していくことが可能となる。

なお、本実施形態においては、被写体Ｐが人物であるものとして主に説明したが、被写体Ｐはマネキン等であってもよい。この場合、本実施形態における画像処理システム１０は、現在のマネキンの姿勢を所定の姿勢に一致させる場合に用いることができる。所定の姿勢とは、予め定められている姿勢及び過去に撮像された際のマネキンの姿勢等を含む。更に、複数の現場で異なるマネキンを撮像するような場合には、ある現場のマネキンの姿勢を他の現場のマネキンの姿勢に合わせるような用途に利用することも可能である。

また、本実施形態に係る画像処理装置１００は、複数の装置を含む構成であっても構わない。具体的には、上述した図４に示す一部の処理が筐体１１内部に設けられている装置によって実行され、図４に示す残りの処理が筐体１１外部に設けられている装置（例えば、サーバ装置）によって実行されるような構成としてもよい。

更に、本実施形態における画像処理システム１０は、図１１に示すように、携帯端末５００として実現されても構わない。このように画像処理システム１０が携帯端末５００として実現される場合、携帯端末５００は、当該画像処理システム１０における筐体１１、表示部１２、第１撮像部１３及び第２撮像部１４にそれぞれ相当する本体５０１、表示部５０２、第１撮像部５０３及び第２撮像部５０４を備える。また、上述した画像処理装置（図示せず）は、本体５０１の内部に設けられている。画像処理装置の構成は、上述した図２と同一である。

このような携帯端末５００によれば、上述した図４に示す処理と同様の処理を実行することが可能であるため、被写体Ｐの姿勢が目標姿勢と一致するように被写体Ｐを誘導することが可能となる。

ここで、被写体Ｐが携帯端末５００を利用する場合、被写体Ｐは、携帯端末５００に備えられる第１撮像部５０３及び第２撮像部５０４によって撮像される必要がある。このため、被写体Ｐは、図１２に示すように、例えば携帯端末５００が先端部に取り付けられた棒状の器具５１０を把持することによって携帯端末５００を利用することができる。しかしながら、この場合には、器具５１０を把持する腕は動かすことができないため、上述した通知画像が表示部５０２に表示されたとしても、被写体Ｐの姿勢を目標姿勢と一致させることは困難である。

そこで、携帯端末５００は、特定の部位（ここでは、左腕）を姿勢ずれの評価対象から除外する機能を有するものとする。これによれば、特定の部位が目標姿勢と一致していない場合であっても、他の部位が目標姿勢と一致している場合には、被写体画像を格納部１５に格納することが可能となる。

評価対象から除外される特定の部位は、例えば被写体Ｐによって指定されるものとする。また、例えば携帯端末５００は図１２に示すような態様で使用されることが想定されるため、他の部位と比較して第１撮像部５０３または第２撮像部５０４の近傍に位置する部位（ここでは、左腕）が自動的に評価対象から除外されてもよい。

本実施形態の処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…画像処理システム、１１…筐体、１２…表示部、１３…第１撮像部、１４…第２撮像部、１５…格納部、２０…回転台、１００…画像処理装置、１０１…画像取得部、１０２…姿勢推定部、１０３…姿勢受付部、１０４…モデル選択部、１０５…姿勢ずれ評価部、１０６…通知情報生成部、１０７…画像生成部、１０８…表示処理部。

Claims (11)

1. 第１被写体の形状を表す第１のデータを取得する第１の取得手段と、
   前記第１被写体とは異なる第２被写体の形状を表す第２のデータを取得する第２の取得手段と、
   前記第１のデータ及び前記第２のデータ間にずれが生じているかを判定する判定手段と、
   前記ずれが生じていると判定された場合に、前記ずれを通知するための通知情報を出力する出力手段と、
   前記第１のデータ及び前記第２のデータの各々によって表される形状間のずれの量を表す評価値を算出する算出手段と、
   前記評価値が閾値以下であると判定されるタイミングで撮像部によって撮像された前記第１被写体を含む被写体画像を格納する格納手段と
   を具備する画像処理装置。
2. 前記撮像部によって撮像された前記第１被写体を含む被写体画像上に前記通知情報を重畳した通知画像を生成する生成手段を更に具備し、
   前記出力手段は、前記通知画像を出力する
   請求項１記載の画像処理装置。
3. 前記算出手段は、前記第１のデータ及び前記第２のデータによって表される形状における部位毎に前記評価値を算出し、
   前記格納手段は、前記部位毎に算出された評価値の各々が閾値以下であると判定されるタイミングで前記撮像部によって撮像された前記第１被写体を含む被写体画像を格納する
   請求項１記載の画像処理装置。
4. 前記閾値は、前記部位毎に定められている請求項３記載の画像処理装置。
5. 前記判定手段は、前記第１被写体の第１部位について前記ずれが生じているかを判定する請求項１又は２記載の画像処理装置。
6. 前記通知情報は、前記第１被写体の第１部位に関する前記ずれを通知するための情報である請求項１又は５記載の画像処理装置。
7. 前記算出手段は、前記第１のデータ及び前記第２のデータの各々によって表される形状間のずれの量を表す評価値を、当該形状における部位毎に算出し、
   前記出力手段は、前記部位毎の通知情報を段階的に出力する
   請求項１又は２記載の画像処理装置。
8. 前記通知情報は、前記評価値、当該評価値に基づいて生成されたメッセージ、または当該評価値に基づいて加工された前記第２のデータを含む
   請求項１又は２記載の画像処理装置。
9. 前記第２被写体の形状は、前記第１被写体が目標とする形状である請求項１乃至８の何れか一項に記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    第１被写体の形状を表す第１のデータを取得するステップと、
    前記第１被写体とは異なる第２被写体の形状を表す第２のデータを取得するステップと、
    前記第１のデータ及び前記第２のデータ間にずれが生じているかを判定するステップと、
    前記ずれが生じていると判定された場合に、前記ずれを通知するための通知情報を出力するステップと、
    前記第１のデータ及び前記第２のデータの各々によって表される形状間のずれの量を表す評価値を算出するステップと、
    前記評価値が閾値以下であると判定されるタイミングで撮像部によって撮像された前記第１被写体を含む被写体画像を格納手段に格納するステップと
    を具備する画像処理方法。
11. 画像処理装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    第１被写体の形状を表す第１のデータを取得するステップと、
    前記第１被写体とは異なる第２被写体の形状を表す第２のデータを取得するステップと、
    前記第１のデータ及び前記第２のデータ間にずれが生じているかを判定するステップと、
    前記ずれが生じていると判定された場合に、前記ずれを通知するための通知情報を出力するステップと、
    前記第１のデータ及び前記第２のデータの各々によって表される形状間のずれの量を表す評価値を算出するステップと、
    前記評価値が閾値以下であると判定されるタイミングで撮像部によって撮像された前記第１被写体を含む被写体画像を格納手段に格納するステップと
    を実行させるためのプログラム。

Images