JPWO2017126036A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

本発明にかかる画像処理装置は、複数の被写体画像を順次取得する被写体画像取得部と、被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、重畳オブジェクト情報生成部が空間情報を生成した時間に応じて、重畳オブジェクトとともに表示部に表示させる重畳対象の被写体画像を決定する表示画像決定部と、検出対象の被写体画像と重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成部と、重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正する空間情報補正部と、空間情報補正部によって補正された重畳オブジェクトを、表示画像決定部によって決定された重畳対象の被写体画像に重畳するオブジェクト重畳部と、を備える。

Description

本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた、細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の画像（被写体画像）を取得できるため、被検体への負担が少なく、普及が進んでいる。

このような内視鏡装置を用いた被写体画像の観察では、画像解析の結果として、病変検出結果などの注目箇所を指示する情報（以下、オブジェクトともいう）が、被写体画像に重畳されて観察画面上に表示される。被写体画像に対してオブジェクトを重畳する技術として、撮像画像内の動き物体（注目箇所）をオブジェクトとして検出して切り出す処理が完了した時点で取得された撮像画像に重畳する技術が知られている（例えば、特許文献１を参照）。

特開２０１４−２２０６１８号公報

しかしながら、特許文献１が開示する技術では、オブジェクトを検出して切り出すまでに時間を要するため、切り出したオブジェクトが、重畳する被写体画像における注目箇所の位置とは異なる位置に重畳されてしまう場合があった。この場合、重畳したオブジェクトが、表示している被写体画像内のオブジェクトを適切に指示できていなかった。

本発明は、上記に鑑みてなされたものであって、検出対象の画像における注目箇所に基づいて生成したオブジェクトを、検出対象の画像とは異なる画像に重畳する場合であっても、重畳対象の画像における注目箇所の位置に対する位置ずれを抑制することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の被写体画像を順次取得する被写体画像取得部と、前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、前記重畳オブジェクト情報生成部が前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定部と、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成部と、前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正部と、前記空間情報補正部によって補正された前記重畳オブジェクトを、前記表示画像決定部によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳部と、を備えることを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理方法は、複数の被写体画像を順次取得し、前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成し、前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定し、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成し、前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正し、補正された前記重畳オブジェクトを、決定された前記重畳対象の被写体画像に重畳する、ことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理プログラムは、複数の被写体画像を取得する被写体画像取得手順と、前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成手順と、前記重畳オブジェクト情報生成手順で前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定手順と、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成手順と、前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正手順と、前記空間情報補正手順で補正された前記重畳オブジェクトを、前記表示画像決定手順によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳手順と、をコンピュータに実行させることを特徴とする。

本発明によれば、検出対象の画像における注目箇所に基づいて生成したオブジェクトを、検出対象の画像とは異なる画像に重畳する場合であっても、重畳対象の画像における注目箇所の位置に対する位置ずれを抑制することができるという効果を奏する。

図１は、本発明の実施の形態１に係る画像処理システムの機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行うオブジェクト重畳処理を説明する図である。 図３は、本発明の実施の形態１に係る画像処理装置が生成するオブジェクト重畳画像を示す図である。 図４は、従来の処理によって生成されるオブジェクト重畳画像を示す図である。 図５は、本発明の実施の形態１に係る画像処理装置が行うオブジェクト重畳処理を示すフローチャートである。 図６は、本発明の実施の形態１の変形例に係る画像処理システムの機能構成を示すブロック図である。 図７は、本発明の実施の形態２に係る画像処理システムの機能構成を示すブロック図である。 図８は、本発明の実施の形態２に係る画像処理装置が行うオブジェクト重畳処理を示すフローチャートである。 図９は、本発明の実施の形態３に係る画像処理システムの機能構成を示すブロック図である。 図１０は、本発明の実施の形態３に係る画像処理装置が行うオブジェクト重畳処理を示すフローチャートである。

以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理システム１の機能構成を示すブロック図である。図１に示す画像処理システム１は、画像処理装置２と、表示装置３とを備える。画像処理装置２は、取得した画像に処理を施すことによって表示装置３が表示する表示用の画像信号を生成する。表示装置３は、映像ケーブルを介して画像処理装置２が生成した画像信号を受信して画像信号に対応する画像を表示する。表示装置３は、液晶または有機ＥＬ（Electro Luminescence）を用いて構成される。なお、図１では、実線の矢印が画像にかかる信号の伝送を示し、破線の矢印が制御にかかる信号の伝送を示している。

画像処理装置２は、画像取得部２１と、重畳オブジェクト情報生成部２２と、表示画像決定部２３と、画像間対応情報生成部２４と、空間情報補正部２５と、オブジェクト重畳部２６と、制御部２７と、記憶部２８とを備える。記憶部２８は、画像取得部２１が取得した被写体画像を記憶する被写体画像記憶部２８１を有する。

画像取得部２１は、外部から被写体画像を含む画像信号を時系列に順次受信する、または記憶部２８に記憶されている画像を時系列に取得する。画像取得部２１は、必要に応じてノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施すことにより、例えばＲＧＢの色成分が付与された３板の被写体画像を含む画像信号を生成する。画像取得部２１は、取得した画像信号、または信号処理後の画像信号を重畳オブジェクト情報生成部２２および記憶部２８に入力する。画像取得部２１は、上述した同時化処理などのほか、ＯＢクランプ処理や、ゲイン調整処理などを行ってもよい。画像としては、人などの被写体を含む画像や、内視鏡（カプセル型内視鏡を含む）により取得された被検体内の体腔画像など、時系列に取得（撮像）され、被写体を含む被写体画像が挙げられる。

重畳オブジェクト情報生成部２２は、画像取得部２１から入力された画像信号に基づく被写体画像を用いて、被写体画像内で注目すべき箇所（以下、注目箇所ともいう）、例えば、被検体内の体内画像であれば病変部を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳して配置する重畳オブジェクトの空間情報を生成する。注目箇所を検出する検出対象の被写体画像は、重畳オブジェクトを重畳する重畳対象の被写体画像とは異なる被写体画像であって、重畳対象の被写体画像よりも時系列で前の被写体画像である検出対象の被写体画像である。ここでいう重畳オブジェクトとは、例えば、被写体画像が被検体内の体腔画像である場合、病変部を取り囲む矩形の枠である。また、空間情報とは、被写体画像を二次元平面でみたときに、重畳オブジェクトの枠が位置する空間の座標情報であって、例えば、矩形の枠の四隅の座標に関する情報である。なお、空間情報は、上述した座標情報のほか、注目箇所を透過する透過窓を有する領域マスクを表す情報や、注目箇所を取り囲む輪郭線を表す情報のいずれかであってもよいし、座標情報、領域マスクおよび輪郭線を組み合わせた情報であってもよい。

重畳オブジェクト情報生成部２２は、例えば、“Object Detection with Discriminatively Trained Part-Based Models” Pedro F. Felzenszwalb, Ross B. Girshick, David McAllester and Deva Ramanan, PAMI2010に記載された技術を用いて重畳オブジェクトの空間情報を生成することができる。

表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報を生成した時間に応じて、表示装置３に表示させる被写体画像を決定する。

画像間対応情報生成部２４は、重畳オブジェクト情報生成部２２が重畳オブジェクトの空間情報を生成した被写体画像（検出対象の被写体画像）と、表示画像決定部２３により決定された被写体画像（重畳対象の被写体画像）との間の対応を推定した情報である画像間対応情報を生成する。具体的に、画像間対応情報生成部２４は、検出対象の被写体画像と重畳対象の被写体画像との間の、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。画像間対応情報の生成には、例えば、特開2007-257287号公報に記載の技術が用いられる。

空間情報補正部２５は、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報を、画像間対応情報生成部２４が生成した画像間対応情報に応じて補正する。本実施の形態１では、空間情報補正部２５は、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報（座標情報）に対して、画像間対応情報生成部２４が生成した画像間対応情報（変換パラメータ）に基づいて空間情報を補正する。

オブジェクト重畳部２６は、空間情報補正部２５によって補正された重畳オブジェクトの空間情報に応じて、表示画像決定部２３によって決定された被写体画像に重畳する。

図２，３は、本発明の実施の形態１に係る画像処理装置２が行うオブジェクト重畳処理を説明する図である。重畳オブジェクト情報生成部２２は、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトを、時間ｔ₀における検出対象の被写体画像Ｗ₁₁から検出し、重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２は、例えば、図２に示すように、被写体画像Ｗ₁₁の外縁に応じたオブジェクト空間Ｐ₁₁における重畳オブジェクトＱ₁，Ｑ₂の四隅の座標を空間情報として生成する。重畳オブジェクトＱ₁，Ｑ₂は、病変部Ｓ₁，Ｓ₂を取り囲む矩形の枠である。なお、矩形の枠のほか、楕円や円の枠であってもよいし、注目箇所に応じた形状や、内部を塗りつぶしたオブジェクトであってもよい。

表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間をｔ₁とすると、この時間ｔ₁に応じた被写体画像Ｗ₁₂（図２参照）を表示装置３に表示させる被写体画像（重畳対象の被写体画像）として決定する。被写体画像Ｗ₁₂には、被写体画像Ｗ₁₁における病変部Ｓ₁，Ｓ₂の位置や向きが変化した病変部Ｓ₁₁，Ｓ₁₂が表示されている。なお、時間ｔ₀から時間ｔ₁までの間には、被写体画像Ｗ₁₁，Ｗ₁₂以外にも複数の被写体画像が入力されている。すなわち、重畳オブジェクト情報生成部２２が空間情報の生成を開始してから完了するまでには、数フレーム分の被写体画像が入力される時間を要する。図２では、説明のために被写体画像Ｗ₁₁，Ｗ₁₂のみを図示している。

画像間対応情報生成部２４は、重畳オブジェクト情報生成部２２が重畳オブジェクトＱ₁，Ｑ₂を生成した被写体画像Ｗ₁₁と、表示画像決定部２３により決定された被写体画像Ｗ₁₂との間の対応を表す変換パラメータを含む画像間対応情報を生成する。

画像間対応情報生成部２４は、被写体画像Ｗ₁₁と被写体画像Ｗ₁₂とについて、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。

空間情報補正部２５は、画像間対応情報生成部２４が生成した画像間対応情報の変換パラメータに基づいて重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報の各座標を変換した空間情報を、補正後の重畳オブジェクト（例えば、重畳オブジェクトＱ₁₁，Ｑ₁₂）の空間情報として生成する。空間情報補正部２５は、例えば、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報の各座標を、行列演算によって変換することによって、補正後の重畳オブジェクトの空間情報を生成する。

オブジェクト重畳部２６は、例えば、空間情報補正部２５によって補正された重畳オブジェクトＱ₁₁，Ｑ₁₂（図２参照）を、表示画像決定部２３によって決定された被写体画像Ｗ₁₂（図２参照）に重畳することによって、図３に示すように、病変部Ｓ₁₁，Ｓ₁₂の一部が重畳オブジェクトＱ₁₁，Ｑ₁₂によって取り囲まれた被写体画像Ｗ_S1を生成する。

上述した処理により、被写体画像Ｗ₁₁から重畳オブジェクトＱ₁，Ｑ₂を抽出し、被写体画像Ｗ₁₁における病変部Ｓ₁，Ｓ₂の位置や向きが変化した病変部Ｓ₁₁，Ｓ₁₂となっている被写体画像Ｗ₁₂に、被写体画像Ｗ₁₁から抽出した重畳オブジェクトを重畳する場合であっても、病変部Ｓ₁₁，Ｓ₁₂に対して重畳オブジェクトを適切な位置に配置することができる。

図４は、従来の処理によって生成されるオブジェクト重畳画像を示す図である。従来のように重畳オブジェクトの空間情報を補正しない場合は、図４に示す被写体画像Ｗ₁₀₀のように、病変部Ｓ₁₁，Ｓ₁₂に対して重畳オブジェクトＱ₁₀₁，Ｑ₁₀₂が適切に配置されないものになってしまう。

図１に戻り、制御部２７は、ＣＰＵ（Central Processing Unit）等を用いて構成され、画像処理装置２を構成する各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。

記憶部２８は、画像処理装置２を含む画像処理システム１を動作させるための各種プログラム、例えば、画像処理プログラムや、画像処理システム１の動作に必要な各種パラメータ等を含むデータを記憶する。記憶部２８は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。

続いて、画像処理装置２の各部が行う処理について図面を参照して説明する。図５は、本発明の実施の形態１に係る画像処理装置２が行う処理を説明するフローチャートである。以下、制御部２７による制御のもと、各部が動作するものとして説明する。

まず、制御部２７は、未使用のスレッドが発生したか否かを判断する（ステップＳ１０１）。制御部２７は、例えばＣＰＵの使用率等を確認することで、未使用のスレッドが発生したか否かを判断する。ここで、制御部２７は、未使用のスレッドが発生していないと判断した場合（ステップＳ１０１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２７は、未使用のスレッドが発生していると判断した場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。

ステップＳ１０２では、制御部２７は、画像取得部２１が取得した被写体画像である最新画像が、重畳オブジェクト決定済みの被写体画像であるか否かを判断する。ここで、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像であると判断した場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０９に移行する。これに対し、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像ではないと判断した場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０３に移行する。なお、本ステップでいう重畳オブジェクト決定済みとは、重畳オブジェクト決定処理が実行済み、または実行中であることを含み、制御部２７は、重畳オブジェクト決定処理が実行済み、または実行中であると判断した場合は、ステップＳ１０９に移行する。

ステップＳ１０３では、重畳オブジェクト情報生成部２２が、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトの空間情報を、検出対象の被写体画像（例えば、上述した被写体画像Ｗ₁₁、図２参照）から生成する。重畳オブジェクト情報生成部２２では、生成した空間情報を、表示画像決定部２３に出力する。

その後、表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じた被写体画像（例えば、上述した被写体画像Ｗ₁₂）を表示装置３に表示させる被写体画像として決定する（ステップＳ１０４）。表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間において最新、またはこの時間の直後に取得された被写体画像を表示させる被写体画像として決定する。

ステップＳ１０４に続くステップＳ１０５では、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が用いた検出対象の被写体画像と、重畳オブジェクトを重畳する重畳対象の被写体画像とについて、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動のうちの少なくとも一つの座標変換によって表現される画像間対応情報を生成する。

ステップＳ１０５に続くステップＳ１０６では、空間情報補正部２５が、画像間対応情報生成部２４が生成した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換した空間情報を空間情報（補正空間情報）として生成する。

ステップＳ１０６に続くステップＳ１０７では、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳することによって、例えば、図３に示すように、病変部Ｓ₁₁，Ｓ₁₂の一部が、重畳オブジェクトＱ₁₁，Ｑ₁₂によって取り囲まれた被写体画像Ｗ_S1（重畳画像）を生成する。

ステップＳ１０７に続くステップＳ１０８では、制御部２７の制御のもと、オブジェクト重畳部２６が生成した被写体画像Ｗ_S1（重畳画像）を表示装置３に表示する制御を行う。制御部２７は、被写体画像を表示装置３に表示後、ステップＳ１０９に移行する。

ステップＳ１０９では、制御部２７が、処理終了の指示入力があるか否かを判断する。ここで、制御部２７は、処理終了の指示入力がないと判断した場合（ステップＳ１０９：Ｎｏ）、ステップＳ１０１に移行して、上述した処理を繰り返す。一方、制御部２７は、処理終了の指示入力があると判断した場合（ステップＳ１０９：Ｙｅｓ）、本処理を終了する。

上述した本実施の形態１では、重畳オブジェクト情報生成部２２が、被写体画像に重畳する重畳オブジェクトの空間情報を、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像に基づいて生成し、表示画像決定部２３が、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じて、表示装置３に表示させる被写体画像を決定するようにした。その後、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が重畳オブジェクトの生成に用いた被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応を推定した情報である画像間対応情報を生成して、空間情報補正部２５が、重畳オブジェクト情報生成部２２が生成した重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正するようにした。重畳オブジェクトの空間情報を補正後、オブジェクト重畳部２６が、この補正された重畳オブジェクトに基づき、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳するようにした。これにより、重畳オブジェクトの検出対象の被写体画像から検出した重畳オブジェクトを、検出対象の画像とは時系列で異なる重畳対象の被写体画像に重畳する場合であっても、重畳対象の被写体画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができる。

なお、上述した実施の形態１において、空間情報補正部２５が、補正した空間情報を微小に変化させた空間情報に対応する時間ｔ₁の被写体画像の画素値と、補正前の空間情報に対応する時間ｔ₀の被写体画像の画素値との差分二乗平均等に基づき、補正した空間情報を微小に変化させてさらに補正した空間情報を生成するようにしてもよい。

また、上述した実施の形態１において、空間情報補正後の重畳オブジェクトに対し、輪郭を強調する処理（エッジ強調処理）などの画像処理を施すようにしてもよい。

また、本実施の形態１では、被写体画像の全画素を用いて画像間対応情報を生成するものであってもよいし、演算量を抑制するため、被写体画像を縮小して、この縮小した被写体画像を用いて、画像間対応情報を生成するようにしてもよい。

（実施の形態１の変形例）
上述した実施の形態１では、重畳オブジェクト情報生成部２２が、画像取得部２１から入力された画像信号に基づく被写体画像内で注目箇所を検出し、注目箇所に応じて重畳オブジェクトの空間情報を生成するものとして説明したが、本発明はこれに限定されない。本変形例では、センサにより検出された情報を取得して、センサが検出した情報をもとに注目箇所を検出して重畳オブジェクトの空間情報を生成する。

図６は、本発明の実施の形態１の変形例に係る画像処理システムの機能構成を示すブロック図である。本変形例にかかる画像処理システム１Ａは、画像処理装置２Ａと、表示装置３とを備える。画像処理装置２Ａは、上述した画像処理装置２の構成に加えて、センサ情報取得部２９をさらに備える。

センサ情報取得部２９は、外部のセンサ、例えば赤外線センサや、レーザ測距装置から検出情報を取得して、注目箇所の位置情報を含むセンサ情報を重畳オブジェクト情報生成部２２に入力する。

重畳オブジェクト情報生成部２２は、センサ情報取得部２９から注目箇所の位置情報を含むセンサ情報を取得すると、センサ情報の位置情報をもとに、注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。

その後は、実施の形態１と同様、表示画像決定部２３が、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じて、表示装置３に表示させる被写体画像を決定する。また、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が重畳オブジェクトの生成に用いた被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応を推定した情報である画像間対応情報を生成する。その後、空間情報補正部２５が、重畳オブジェクトの空間情報を、画像間対応情報に基づいて補正し、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳する。これにより、重畳オブジェクトの検出対象の被写体画像から検出した重畳オブジェクトを、検出対象の画像とは時系列で異なる重畳対象の被写体画像に重畳する場合であっても、重畳対象の被写体画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを抑制することができる。

（実施の形態２）
上述した実施の形態１では、画像間対応情報生成部２４が、異なる時間で取得された二つの被写体画像の間の対応に関する画像間対応情報を生成するものとして説明したが、この画像間対応情報は、二つの被写体画像の全体にわたる画像間対応情報であってもよいし、部分領域における画像間対応情報であってもよいし、いずれかを選択可能であってもよい。図７は、本発明の実施の形態２に係る画像処理システムの機能構成を示すブロック図である。本実施の形態２に係る画像処理システム１Ｂは、画像処理装置２Ｂと、表示装置３とを備える。画像処理装置２Ｂは、上述した画像処理装置２の構成に加えて、類似度算出部３０および画像間対応情報選択部３１をさらに備える。また、画像間対応情報生成部２４は、全体画像間対応情報生成部２４１と、部分画像間対応情報生成部２４２とを有する。

全体画像間対応情報生成部２４１は、検出対象の被写体画像と重畳対象の被写体画像との間の全体画像間対応情報を生成する。検出対象の被写体画像は、重畳オブジェクト情報生成部２２が重畳オブジェクトの空間情報を生成した被写体画像である。重畳対象の被写体画像は、表示画像決定部２３により重畳オブジェクトを重畳する対象として決定された被写体画像である。全体画像間対応情報は、検出対象の被写体画像全体を用いて生成された座標変換によって表現される。すなわち、全体画像間対応情報は、検出対象の被写体画像全体に基づいて生成されている。

部分画像間対応情報生成部２４２は、検出対象の被写体画像と重畳対象の被写体画像との間の部分画像間対応情報を生成する。部分画像間対応情報は、検出対象の被写体画像における重畳オブジェクトの配置領域に対応する領域を用いて生成された座標変換によって表現される。すなわち、部分画像間対応情報は、検出対象の被写体画像における重畳オブジェクトの配置領域に対応する領域に基づいて生成されている。

類似度算出部３０は、検出対象の被写体画像における重畳表示オブジェクトに対応する第１オブジェクト領域と、全体画像間対応情報（変換パラメータ）を用いて第１オブジェクト領域に対応付けられた、重畳対象の被写体画像における第２のオブジェクト領域との全体画像間類似度（第１の類似度）、および、第１のオブジェクト領域と、部分画像間対応情報（変換パラメータ）を用いて第１のオブジェクト領域に対応付けられた、重畳対象の被写体画像における第３のオブジェクト領域との部分画像間類似度（第２の類似度）を算出する。類似度算出部３０は、公知の差分絶対値和（Sum of Absolute Difference：ＳＡＤ）を算出して類似度としてもよいし、差の二乗和（Sum of Squared Difference：ＳＳＤ）を求めて類似度としてもよいし、正規化相関（Normalized Cross-Correction：ＮＣＣ）を求めて類似度としてもよい。なお、ＳＡＤおよびＳＳＤは相違度を示す値であり、類似度として使用する場合は大小関係が逆になる。すなわち、相違度が大きいと類似度は小さくなり、相違度が小さいと類似度は大きくなる。

画像間対応情報選択部３１は、類似度算出部３０が算出した全体画像間類似度および部分画像間類似度に基づいて、全体画像間対応情報および部分画像間対応情報のうちのいずれかを画像間対応情報として選択する。画像間対応情報選択部３１は、全体画像間類似度および部分画像間類似度のうちの高い方の類似度に対応する画像間対応情報を選択する。

続いて、画像処理装置２Ｂの各部が行う処理について図面を参照して説明する。図８は、本発明の実施の形態２に係る画像処理装置２Ｂが行う処理を説明するフローチャートである。以下、制御部２７による制御のもと、各部が動作するものとして説明する。

まず、制御部２７は、未使用のスレッドが発生したか否かを判断する（ステップＳ２０１）。制御部２７は、例えばＣＰＵの使用率等を確認することで、未使用のスレッドが発生したか否かを判断する。ここで、制御部２７は、未使用のスレッドが発生していないと判断した場合（ステップＳ２０１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２７は、未使用のスレッドが発生していると判断した場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行する。

ステップＳ２０２では、制御部２７は、画像取得部２１が取得した被写体画像である最新画像が、重畳オブジェクト決定済みの被写体画像であるか否かを判断する。ここで、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像であると判断した場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２１１に移行する。これに対し、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像ではないと判断した場合（ステップＳ２０２：Ｎｏ）、ステップＳ２０３に移行する。なお、本ステップでいう重畳オブジェクト決定済みとは、重畳オブジェクト決定処理が実行済み、または実行中であることを含み、制御部２７は、重畳オブジェクト決定処理が実行済み、または実行中であると判断した場合は、ステップＳ２１１に移行する。

ステップＳ２０３では、重畳オブジェクト情報生成部２２が、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトの空間情報を、検出対象の被写体画像（例えば、上述した被写体画像Ｗ₁₁）から生成する。重畳オブジェクト情報生成部２２では、生成した空間情報を、表示画像決定部２３に出力する。

その後、表示画像決定部２３は、重畳オブジェクト情報生成部２２が空間情報の生成を完了した時間に応じた被写体画像を表示装置３に表示させる被写体画像として決定する（ステップＳ２０４）。

ステップＳ２０４に続くステップＳ２０５では、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２が用いた検出対象の被写体画像と、重畳オブジェクトを重畳する重畳対象の被写体画像とについて、座標変換によって表現される画像間対応情報を生成する。本ステップＳ２０４では、全体画像間対応情報生成部２４１が、上述した全体画像間対応情報を生成するとともに、部分画像間対応情報生成部２４２が、上述した部分画像間対応情報を生成する。

ステップＳ２０５に続くステップＳ２０６では、類似度算出部３０が、上述した全体画像間類似度および部分画像間類似度を算出する。その後のステップＳ２０７では、画像間対応情報選択部３１が、類似度算出部３０が算出した全体画像間類似度および部分画像間類似度に基づいて、全体画像間対応情報および部分画像間対応情報のうちのいずれかを画像間対応情報として選択する。

ステップＳ２０７に続くステップＳ２０８では、空間情報補正部２５が、画像間対応情報選択部３１が選択した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換した空間情報を、補正後の重畳オブジェクトの空間情報として生成する。

ステップＳ２０８に続くステップＳ２０９では、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳することによって、例えば、図３に示すように、病変部Ｓ₁₁，Ｓ₁₂の一部が、重畳オブジェクトＱ₁₁，Ｑ₁₂によって取り囲まれた被写体画像Ｗ_S1を生成する。

ステップＳ２０９に続くステップＳ２１０では、制御部２７の制御のもと、オブジェクト重畳部２６が生成した被写体画像（重畳オブジェクトが重畳された画像）を表示装置３に表示する制御を行う。制御部２７は、被写体画像を表示装置３に表示後、ステップＳ２１１に移行する。

ステップＳ２１１では、制御部２７が、処理終了の指示入力があるか否かを判断する。ここで、制御部２７は、処理終了の指示入力がないと判断した場合（ステップＳ２１１：Ｎｏ）、ステップＳ２０１に移行して、上述した処理を繰り返す。一方、制御部２７は、処理終了の指示入力があると判断した場合（ステップＳ２１１：Ｙｅｓ）、本処理を終了する。

上述した本実施の形態２によれば、画像間対応情報生成部２４が、被写体画像において異なる領域を対象として複数の画像間対応情報を生成し、類似度算出部３０は、複数の画像間対応情報のそれぞれについて、類似度を算出し、画像間対応情報選択部３１が、算出された類似度を用いて画像間対応情報を選択するようにした。これにより、重畳オブジェクトに対応する領域が画像全体と連動して動く場合、領域の情報が乏しくても精度よく空間情報を補正することができるとともに、重畳オブジェクトに対応する領域と画像全体が異なる動きを伴う場合に、領域の画像間対応情報を用いて空間情報を補正するため、空間情報を一層高精度に補正することができる。

（実施の形態３）
本実施の形態３では、順次入力される被写体画像に対して、重畳オブジェクト情報生成部２２Ａが、座標変換によって表現される画像間対応情報を生成し、隣接座標変換情報として記憶部２８に蓄積させる処理を行う。

図９は、本発明の実施の形態３に係る画像処理システムの機能構成を示すブロック図である。本実施の形態３に係る画像処理システム１Ｃは、画像処理装置２Ｃと、表示装置３とを備える。画像処理部２Ｃは、上述した画像処理装置２の重畳オブジェクト情報生成部２２および記憶部２８に代えて、重畳オブジェクト情報生成部２２Ａおよび記憶部２８Ａを備える。重畳オブジェクト情報生成部２２Ａは、複数の演算部（本実施の形態３では、演算部２２１，２２２）を有する。記憶部２８Ａは、被写体画像記憶部２８１と、重畳オブジェクト情報記憶部２８２と、隣接座標変換情報記憶部２８３とを有する。

重畳オブジェクト情報生成部２２Ａは、上述した重畳オブジェクト情報生成部２２と同様、画像取得部２１から入力された画像信号に基づく被写体画像内の注目箇所を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２Ａは、複数の演算部（演算部２２１，２２２）により、画像取得部２１から順次入力される被写体画像内の注目箇所を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２Ａは、複数の演算部がそれぞれ生成した重畳オブジェクトの空間情報を重畳オブジェクト情報記憶部２８２に順次蓄積していく。

画像間対応情報生成部２４は、画像取得部２１から入力された画像信号に基づく被写体画像と、被写体画像記憶部２８１に記憶されている被写体画像であって、画像取得部２１から入力された被写体画像と隣接した時間における被写体画像とについて変換パラメータを含む隣接座標変換情報（一次画像間対応情報）を生成し、隣接座標情報記憶部２８３に順次蓄積する。なお、隣接した時間とは、順次取得される複数の被写体画像に対し、間引き処理等によって抽出された間欠的に隣接する被写体画像を含み、実際に被写体画像を取得した時間で隣接する以外の被写体画像の組み合わせを含んでいる。

また、画像間対応情報生成部２４は、重畳オブジェクト情報生成部２２Ａが重畳オブジェクトを検出した被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応に関する画像間対応情報を生成する場合、重畳オブジェクト情報生成部２２Ａが生成した重畳オブジェクトの空間情報である座標情報、および隣接座標変換情報記憶部２８３に蓄積されている一つまたは複数の隣接座標変換情報を参照し、隣接座標変換情報を累積することによって、重畳オブジェクト情報生成部２２Ａが重畳オブジェクトを検出した被写体画像と、表示画像決定部２３により決定された被写体画像との間の対応に関する画像間対応情報を生成する。

このように、上述した実施の形態１，２では、被写体画像Ｗ₁₁と被写体画像Ｗ₁₂との間に存在する複数の被写体画像について、重畳オブジェクトの空間情報や、画像間対応情報は生成されていなかったが、本実施の形態３では、未使用スレッドが発生していれば、順次入力される被写体画像について、重畳オブジェクトの空間情報がそれぞれ生成される。

続いて、画像処理装置２Ｃの各部が行う処理について図面を参照して説明する。図１０は、本発明の実施の形態３に係る画像処理装置２Ｃが行う処理を説明するフローチャートである。以下、制御部２７による制御のもと、各部が動作するものとして説明する。

まず、制御部２７は、被写体画像の入力があるか否かを判断する（ステップＳ３０１）。制御部２７は、被写体画像の入力がないと判断した場合（ステップＳ３０１：Ｎｏ）、被写体画像の入力確認を繰り返す。これに対し、制御部２７は、被写体画像の入力があると判断した場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行する。

ステップＳ３０２では、画像間対応情報生成部２４は、画像取得部２１から入力された画像信号に基づく被写体画像と、被写体画像記憶部２８１に記憶されている被写体画像であって、画像取得部２１から入力された被写体画像と隣接した時間における被写体画像とについて座標変換により表現される隣接座標変換情報（一次画像間対応情報）を生成し、隣接座標情報記憶部２８３に順次蓄積する。

その後、制御部２７は、隣接座標変換情報の蓄積処理を終了する指示の入力があるか否かを判断する（ステップＳ３０３）。制御部２７は、蓄積処理を終了する指示の入力がないと判断した場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０１に戻り、上述した処理を繰り返す。これに対し、制御部２７は、蓄積処理を終了する指示の入力があると判断した場合（ステップＳ３０３：Ｙｅｓ）、蓄積処理を終了する。なお、隣接座標変換情報の蓄積処理を終了する指示の入力は、図示しない入力装置を介して入力された信号の入力であってもよいし、最後の被写体画像の入力があってから所定時間経過しても新たな被写体画像の入力がない場合に蓄積処理を終了する指示の入力があったと判断してもよい。

上述した蓄積処理と並行して、制御部２７は、重畳オブジェクトの重畳処理を行う。まず、制御部２７は、未使用のスレッドが発生したか否かを判断する（ステップＳ３１１）。制御部２７は、例えばＣＰＵの空き容量を確認することで、未使用のスレッドが発生したか否かを判断する。ここで、制御部２７は、未使用のスレッドが発生していないと判断した場合（ステップＳ３１１：Ｎｏ）は、未使用スレッドが発生したか否かの確認を繰り返す。一方、制御部２７は、未使用のスレッドが発生していると判断した場合（ステップＳ３１１：Ｙｅｓ）、ステップＳ３１２に移行する。なお、この際、重畳オブジェクト情報生成部２２Ａは、複数の演算部（演算部２２１，２２２）のいずれかの演算部により、画像取得部２１から入力される被写体画像内の注目箇所を検出し、検出した注目箇所を示すオブジェクトであって、被写体画像の注目箇所に重畳する重畳オブジェクトの空間情報を生成する。重畳オブジェクト情報生成部２２Ａは、演算中ではない演算部を選択して重畳オブジェクトの空間情報を生成させ、生成した重畳オブジェクトの空間情報を重畳オブジェクト情報記憶部２８２に蓄積していく。

ステップＳ３１２では、制御部２７は、画像取得部２１が取得した被写体画像である最新画像が、重畳オブジェクト決定済みの被写体画像であるか否かを判断する。ここで、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像であると判断した場合（ステップＳ３１２：Ｙｅｓ）、ステップＳ３２０に移行する。これに対し、制御部２７は、最新画像が、重畳オブジェクト決定済みの被写体画像ではないと判断した場合（ステップＳ３１２：Ｎｏ）、ステップＳ３１３に移行する。なお、本ステップでいう重畳オブジェクト決定済みとは、重畳オブジェクト決定処理が実行済み、または実行中であることを含み、制御部２７は、重畳オブジェクト決定処理が実行済み、または実行中であると判断した場合は、ステップＳ３２０に移行する。

ステップＳ３１３では、重畳オブジェクト情報生成部２２Ａが、画像取得部２１から入力された被写体画像に重畳する重畳オブジェクトの空間情報を検出対象の被写体画像から生成する、または重畳オブジェクト情報記憶部２８２に記憶されている重畳オブジェクトの空間情報を取得する。重畳オブジェクト情報生成部２２Ａでは、未処理の被写体画像が重畳オブジェクト情報記憶部２８２にあれば、この被写体画像の重畳オブジェクトを優先し、生成または取得した空間情報を、表示画像決定部２３に出力する。

その後、表示画像決定部２３は、重畳オブジェクト情報生成部２２Ａが空間情報の生成を完了した時間、または重畳オブジェクトを重畳オブジェクト情報記憶部２８２から取得した時間に応じた被写体画像を表示装置３に表示させる被写体画像として決定する（ステップＳ３１４）。

ステップＳ３１４に続くステップＳ３１５では、画像間対応情報生成部２４が、重畳オブジェクト情報生成部２２Ａが生成した重畳オブジェクトの空間情報、および隣接座標変換情報記憶部２８３に蓄積されている一つまたは複数の隣接座標変換情報を取得して、隣接座標変換情報を順次累積していく。画像間対応情報生成部２４は、累積の都度、必要なすべての隣接座標変換情報累積処理が終了したか否かを判断し、必要なすべての隣接座標変換情報累積処理が終了していないと判断した場合（ステップＳ３１５：Ｎｏ）、隣接座標変換情報記憶部２８３を参照して隣接座標変換情報を取得する。これに対して、画像間対応情報生成部２４は、必要なすべての隣接座標変換累積が終了したと判断した場合（ステップＳ３１５：Ｙｅｓ）、ステップＳ３１６に移行する。

ステップＳ３１６では、画像間対応情報生成部２４が、ステップＳ３１５で隣接画像間対応情報を累積して得られた情報を画像間対応情報とする。

ステップＳ３１６に続くステップＳ３１７では、空間情報補正部２５が、画像間対応情報生成部２４が生成した画像間対応情報の変換パラメータに基づいて空間情報の各座標を変換した空間情報を空間情報として生成する。

ステップＳ３１７に続くステップＳ３１８では、オブジェクト重畳部２６が、空間情報補正部２５によって補正された重畳オブジェクトを、表示画像決定部２３によって決定された被写体画像に重畳することによって、例えば、図３に示すように、病変部Ｓ₁₁，Ｓ₁₂の一部が、重畳オブジェクトＱ₁₁，Ｑ₁₂によって取り囲まれた被写体画像Ｗ_S1を生成する。

ステップＳ３１８に続くステップＳ３１９では、制御部２７の制御のもと、オブジェクト重畳部２６が生成した被写体画像（重畳オブジェクトが重畳された画像）を表示装置３に表示する制御を行う。制御部２７は、被写体画像を表示装置３に表示後、ステップＳ３２０に移行する。

ステップＳ３２０では、制御部２７が、処理終了の指示入力があるか否かを判断する。ここで、制御部２７は、処理終了の指示入力がないと判断した場合（ステップＳ３２０：Ｎｏ）、ステップＳ３１１に移行して、上述した処理を繰り返す。一方、制御部２７は、処理終了の指示入力があると判断した場合（ステップＳ３２０：Ｙｅｓ）、本処理を終了する。

上述した本実施の形態３によれば、順次入力される被写体画像に対して、重畳オブジェクト情報生成部２２Ａが、重畳オブジェクトの空間情報を生成し、画像間対応情報生成部２４が、画像間対応情報を生成し、隣接座標変換情報として記憶部２８Ａに蓄積させる処理を行い、画像間対応情報生成部２４が、検出対象の被写体画像と、重畳対象の被写体画像との間で生成された隣接座標変換情報を累積することによって検出対象の被写体画像と重畳対象の被写体画像の間の画像間対応情報を生成して、重畳オブジェクトの空間情報を補正するようにした。これにより、検出対象の被写体画像と重畳対象の被写体画像の間に存在する被写体画像における動きを加味して画像間対応情報を生成することができ、重畳対象の被写体画像における注目箇所の位置に対する重畳オブジェクトの位置ずれを一層確実に抑制することができる。

なお、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。

このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。

以上のように、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、検出対象の画像における注目箇所に基づいて生成したオブジェクトを、検出対象の画像とは異なる画像に重畳する場合であっても、重畳対象の画像における注目箇所の位置に対する位置ずれを抑制するのに有用である。

１，１Ａ，１Ｂ，１Ｃ 画像処理システム
２，２Ａ，２Ｂ，２Ｃ 画像処理装置
３ 表示装置
２１ 画像取得部
２２ 重畳オブジェクト情報生成部
２３ 表示画像決定部
２４ 画像間対応情報生成部
２５ 空間情報補正部
２６ オブジェクト重畳部
２７ 制御部
２８ 記憶部
２９ センサ情報取得部
３０ 類似度算出部
３１ 画像間対応情報選択部
２２１，２２２ 演算部
２４１ 全体画像間対応情報生成部
２４２ 部分画像間対応情報生成部
２８１ 被写体画像記憶部
２８２ 重畳オブジェクト情報記憶部
２８３ 隣接座標変換情報記憶部

Claims (14)

1. 複数の被写体画像を順次取得する被写体画像取得部と、
   前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成部と、
   前記重畳オブジェクト情報生成部が前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定部と、
   前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成部と、
   前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正部と、
   前記空間情報補正部によって補正された前記重畳オブジェクトを、前記表示画像決定部によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳部と、
   を備える画像処理装置。
2. 前記重畳オブジェクト情報生成部は、前記複数の被写体画像に対して、前記重畳オブジェクトの空間情報を生成する処理を行う複数の演算部
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体画像に関する情報を記憶する記憶部をさらに備え、
   前記画像間対応情報生成部は、前記被写体画像取得部が新たに被写体画像を取得した場合に、今回取得した被写体画像と、前回取得した被写体画像との間の一次画像間対応情報を生成し、
   前記記憶部は、生成された前記一次画像間対応情報を順次記憶し、
   前記画像間対応情報生成部は、前記記憶部に記憶された複数の前記一次画像間対応情報を累積することによって、前記重畳オブジェクト情報生成部が前記重畳オブジェクトの空間情報を生成した前記検出対象の被写体画像と、前記表示画像決定部により決定された前記重畳対象の被写体画像との間の前記画像間対応情報を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像間対応情報生成部は、前記検出対象の被写体画像全体に基づいた、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の全体画像間対応情報、および、前記検出対象の被写体画像における前記重畳オブジェクトの配置領域に対応する領域に基づいた、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の部分画像間対応情報を生成し、
   前記検出対象の被写体画像における前記重畳オブジェクトに対応する第１のオブジェクト領域と、前記全体画像間対応情報を用いて前記第１オブジェクト領域に対応付けられた、前記重畳対象の被写体画像における第２のオブジェクト領域との第１の類似度、および、前記第１のオブジェクト領域と、前記部分画像間対応情報を用いて前記第１のオブジェクト領域に対応付けられた、前記重畳対象の被写体画像における第３のオブジェクト領域との第２の類似度を算出する類似度算出部と、
   前記第１の類似度および第２の類似度に基づいて、前記全体画像間対応情報および前記部分画像間対応情報のうちのいずれかを前記画像間対応情報として選択する選択部と、
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記画像間対応情報生成部は、前記検出対象の被写体画像全体を用いて、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の前記画像間対応情報を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記画像間対応情報生成部は、前記検出対象の被写体画像における前記重畳オブジェクトの配置領域に対応する領域を用いて、前記検出対象の被写体画像と前記重畳対象の被写体画像との間の前記画像間対応情報を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記空間情報補正部は、前記画像間対応情報に基づいて前記重畳オブジェクトの空間情報を補正した後、前記検出対象の被写体画像の画素値と、前記重畳対象の被写体画像の画素値とに基づいて前記空間情報をさらに補正する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記画像間対応情報生成部は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換および平行移動からなる群の少なくとも一つの座標変換によって表現される情報を前記画像間対応情報として生成する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記空間情報は、代表座標、領域マスク、輪郭線からなる群の少なくとも一つである
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記重畳オブジェクトは、画像処理が施されている
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記重畳オブジェクト情報生成部は、前記検出対象の被写体画像に基づいて前記重畳オブジェクトの空間情報を生成する
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記重畳オブジェクト情報生成部は、センサからの検出情報に基づいて前記重畳オブジェクトの空間情報を生成する
    ことを特徴とする請求項１に記載の画像処理装置。
13. 複数の被写体画像を順次取得し、
    前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成し、
    前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定し、
    前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成し、
    前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正し、
    補正された前記重畳オブジェクトを、決定された前記重畳対象の被写体画像に重畳する
    画像処理方法。
14. 複数の被写体画像を取得する被写体画像取得手順と、
    前記被写体画像に重畳する重畳オブジェクトであって、重畳対象の被写体画像とは異なる被写体画像である検出対象の被写体画像から検出した注目箇所に対応させて配置する重畳オブジェクトの空間情報を生成する重畳オブジェクト情報生成手順と、
    前記重畳オブジェクト情報生成手順で前記空間情報を生成した時間に応じて、前記重畳オブジェクトとともに表示部に表示させる前記重畳対象の被写体画像を決定する表示画像決定手順と、
    前記検出対象の被写体画像と前記重畳対象の被写体画像との間の対応を推定した情報である画像間対応情報を生成する画像間対応情報生成手順と、
    前記重畳オブジェクトの空間情報を、前記画像間対応情報に基づいて補正する空間情報補正手順と、
    前記空間情報補正手順で補正された前記重畳オブジェクトを、前記表示画像決定手順によって決定された前記重畳対象の被写体画像に重畳するオブジェクト重畳手順と、
    をコンピュータに実行させる画像処理プログラム。

Images