WO2004038661A1

WO2004038661A1 - 画像処理方法および画像処理装置

Info

Publication number: WO2004038661A1
Application number: PCT/JP2003/013489
Authority: WO
Inventors: Kenichi Kitahama
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-10-22
Filing date: 2003-10-22
Publication date: 2004-05-06
Anticipated expiration: 2005-04-22
Also published as: AU2003275588A1; JP4075892B2; JPWO2004038661A1

Abstract

　本発明の画像処理方法においては、基準画像と参照画像とを用いたステレオマッチングによって対象物の形状を復元するにあたり、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定する。このとき、参照画像に設定されたウィンドウの並び順を基準画像における複数のウィンドウの並び順と一致させるように、参照画像における複数のウィンドウの並び順を修正する。並び順に基づいてマッチングの修正を行うため、基準画像と参照画像との間のステレオマッチングを容易に行うことができ、画像処理時間の短縮を図ることが可能となる。

Description

明細

画画像像処処理理方方法法おおよよびび画画像像処処理理装装置置

技技術術分分野野

【【00 00 00 11】】本本発発明明ははスステテレレオオママッッチチンンググにによよっってて物物体体をを 33次次元元立立体体物物ととししてて 55 復復元元すするる画画像像処処理理方方法法おおよよびび画画像像処処理理装装置置にに関関すするる。。

背背景景技技術術

【【00 00 00 22】】近近年年、、画画像像処処理理技技術術のの発発達達にに伴伴いい、、異異ななるる方方向向かからら対対象象物物をを撮撮影影ししたた複複数数のの画画像像にに基基づづいいてて、、対対象象物物のの立立体体モモデデルルをを画画像像処処理理にによよっってて得得るる方方法法ががああるる。。ここののよよううなな画画像像処処理理方方法法ととししててはは、、たたととええばば特特開開 22 00 00 00—— 99 99 77 66 00号号

1100 公公報報（（33ペペーージジ、、図図 22 )) にに開開示示さされれたた 33次次元元モモデデルル生生成成方方法法ががああるる。。ここのの 33次次元元モモデデルル生生成成方方法法でではは、、複複数数のの異異ななるる方方向向かからら物物体体をを観観測測ししててスステテレレォォ画画像像をを取取得得しし、、ここののスステテレレオオ画画像像にに基基づづいいてて物物体体のの 33次次元元輪輪郭郭線線をを生生成成すするるとと共共にに、、 33次次元元領領域域（（テテククススチチャャ領領域域ややシシェェーーデディィンンググ領領域域））をを生生成成すするる。。 33次次元元輪輪郭郭線線情情報報、、及及びび、、 33次次元元領領域域情情報報にに基基づづいいてて、、既既存存のの 33次次元元モモデデルルとと適適合合すするるももののががああるる場場

1155 合合ははここれれららのの情情報報をを更更新新しし、、適適合合すするるももののががなないい場場合合ははここれれららのの情情報報をを新新たたなな 33 次次元元モモデデルルととししてて登登録録すするる。。ままたた、、物物体体のの 33次次元元モモデデルル全全体体がが完完成成ししてていいなないい場場合合はは、、観観測測方方向向をを移移動動ししてて全全体体ののモモデデルルをを生生成成すするる。。

【【00 00 00 33】】上上記記公公報報にに開開示示さされれたた 33次次元元モモデデルル生生成成方方法法でではは、、 33次次元元輪輪郭郭線線をを生生成成（（復復元元））すするる際際にに、、スステテレレオオ画画像像（（基基準準画画像像とと参参照照画画像像））かからら物物体体ののエエツツ

2200 ジジをを抽抽出出ししててセセググメメンントトにに分分割割しし、、画画像像間間ののセセググメメンントト毎毎のの対対応応をを探探索索すするるスステテレレオオママッッチチンンググ処処理理をを行行っってていいるる。。ここののスステテレレオオママッッチチンンググはは、、たたととええばば、、面面のの連連続続性性をを考考慮慮ししてて、、ああるる評評価価関関数数がが最最小小ととななるるよよううににスステテレレオオママツツチチンンググのの対対応応

【【00 00 00 44】】上上述述ししたた特特開開 22 00 00 00—— 99 99 77 66 00号号公公報報にに記記載載ののスステテレレオオママッッ 2255 ·· チチンンググににおおいいててはは、、ミミススママッッチチンンググがが生生じじるるとと、、対対象象物物をを正正確確にに復復元元すするるここととががででききななくくななるるとといいうう問問題題ががああっったた。。ままたた、、ここののよようう * 繰り返しの計算が多く、処理が遅くなってしまうという問題があった。

発明の開示

【0 0 0 5】本発明の課題は、基準画像と参照画像におけるステレオマツチングを正確に行うことができるようにするとともに、画像処理時間の短縮を図った画像処理方法および装置を提供することにある。

【0 0 0 6】上記課題を解決する本発明の画像処理方法は、基準画像撮影手段および参照画像撮影手段で同一の対象物を撮影し、基準画像撮影手段で撮影された基準画像および参照画像撮影手段で撮影された参照画像を用いたステレオマッチングによって対象物の形状を復元するものである。そして、本発明の画像処理方法は、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、基準画像に設定した複数のウィンドゥの並び順と、参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行い、前記対象物の形状を復元する。

【0 0 0 7】基準画像に設定した複数のウィンドウの並び順と、参照画像に設定した複数のウィンドウの並ぴ順との関係に基づいて、前記基準画像のウィンドゥと前記参照画像のウィンドウとのステレオマッチングを行うので、基準画像と参照画像におけるステレオマッチングを容易に行うことができるようになり、画像処理時間の短縮を図ることができる。

【0 0 0 8】ここで、ステレオマッチング時に、前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドゥの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けの適否を判断することが好ましい。

【0 0 0 9】このように、基準画像と対象画像との両画像に複数のウィンドウを設定し、この複数のウィンドウの並び順に基づいて基準画像と対象画像との対応付けの適否を判断することで、参照画像におけるゥィンドウの並び順を基準画像におけるウィンドウの並び順に一致させることにより、基準画像と参照画像の対応付けを行うことができる。したがって、ステレオマッチングを正確に行うことができるようになり、対象物を確実に復元することができる。

【0 0 1 0】また、ステレオマッチング時に、参照画像における複数のウィンドウの並び順が、基準画像における複数のウィンドウの並び順と一致するように参照画像における複数のウィンドウの並び順を修正することが好ましい。

【0 0 1 1】このように、基準画像および参照画像における複数のウィンドウの並び順を修正するにあたり、所定の相関関係に基づいて複数のウィンドウを基準画像および参照画像の双方に設定する。それから、参照画像における複数のゥインドウの並び順が、基準画像における複数のウィンドウの並び順に一致するように、参照画像における複数のウィンドウの並び順を修正している。このため、参照画像における複数のウィンドウの並び順を修正する際の精度を向上させることができ、さらに正確にステレオマッチングを行うことが可能となり、より確実に対象物を復元することができる。

【0 0 1 2】さらに、ここで、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しい参照画像における正対応ウィンドウのうち、誤対応ウインドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

【0 0 1 3】このように、基準画像におけるウィンドウの並び順に対する参照画像における対応が正しい正対応ウィンドウを利用して、誤対応ウィンドウを対応付けすることにより、各ウィンドウに対する個別に対応が取れているか否かの判断を省略することができる。このため、参照画像における並び順の修正を迅速に行うことができる。

【0 0 1 4】あるいは、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しい参照画像における正対応ウィンドウのうち、誤対応ウィンドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの位置に重み付けを行い、重み付けがされた正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

【0 0 1 5】このように、正対応ウィンドウを利用して誤対応ウィンドウを対応させるにあたり、正対応ウィンドウに重み付けを行うことで、重み付けによつて、修正が容易な誤対応ウィンドウを先に選択して並び順の修正を行うことができるので、より迅速にウィンドウの並び順の修正を行うことができる。

【0 0 1 6】また、本発明の画像処理装置は、基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドウを設定するウィンドゥ設定手段と、基準画像に設定した複数のウィンドゥの並び順と参照画像に設定した複数のウィンドゥの並び順との関係に基づいて、基準画像に対する参照画像の対応付けを行い、対象物の形状を復元するステレオマツチング手段とを備えるものである。

【0 0 1 7】ここで、ステレオマッチング手段が、参照画像における複数のゥィンドウの並び順が、基準画像における複数のウィンドウの並び順と一致するように、参照画像における複数のウィンドウの並び順を修正することが好ましい。

【0 0 1 8】また、ステレオマッチング手段は、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しいである参照画像における正対応ウィンドウのうち、誤対応ウインドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

【0 0 1 9】あるいは、ステレオマッチング手段は、基準画像におけるウィンドゥの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しい参照画像における正対応ウィンドゥのうち、誤対応ウィンドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの位置に重み付けを行い、重み付けがされた正対応ゥィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

図面の簡単な説明

【0 0 2 0】図 1は、本発明に係る画像処理装置のブロック構成図である。図 2は、画像処理装置による画像処理の工程を示すフローチャートである。図 3は、参照画像における誤対応ウィンドゥの並び順の修正を行う工程の詳細を示すフローチャートである。

図 4 Aは、基準画像を示す図である。

図 4 Bは、参照画像を示す図である。

図 5 Aは、誤対応ウィンドウの並び順を修正する工程を概略的に説明する基準画像に関する説明図である。

図 5 Bは、誤対応ウィンドウの並び順を修正する工程を概略的に説明する参照画像に関する説明図である。

図 6 Aは、図 4 Bに続く参照画像を示しており、参照画像における正対応ウインドウが生成される工程を示す図である。

図 6 Bは、図 6 Aに続く参照画像を示しており、参照画像における正対応ウインドウが生成される工程を示す図である。

図 7 Aは、図 6 Bに続く参照画像を示しており、参照画像における正対応ウインドウが生成される工程を示す図である。

図 7 Bは、図 7 Aに続く参照画像を示しており、参照画像における正対応ウインドウが生成される工程を示す図である。

図 8は、第 2の実施形態に係る誤対応ウィンドウと正対応ウィンドウとの関係を示す図である。図 9は、第 2の実施形態に係る誤対応ウィンドウの並ぴ順を修正する工程を説明するための説明図である。

図 1 0は、第 3の実施形態に係る誤対応ウィンドウと正対応ウィンドウとの関係を示す図である。

図 1 1は、第 3の実施形態に係る誤対応ウィンドウの並び順を修正する工程を説明するための説明図である。

発明を実施するための最良の形態

【0 0 2 1】以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

【0 0 2 2】図 1は、本発明の第 1の実施形態に係る画像処理装置のプロック構成図である。図 1に示すように、本実施形態に係る画像処理装置 1には、基準画像カメラ 2と、参照画像カメラ 3と、モニタ 4とが接続されている。また、画像処理装置 1は、前処理部 1 1と、ウィンドウ生成部 1 2と、ステレオマツチング部 1 3とを備えている。画像処理装置 1、カメラ 2， 3、および、モニタ 4は. たとえば図示しない車両に取り付けられている。具体的には、たとえば画像処理装置 1は車室内の適宜の位置に設置されている。また、基準画像カメラ 2および参照画像力メラ 3は、たとえば車両の側面における互いに近傍位置に設けられている。さらに、モニタ 4は、たとえば車室内におけるドライバの視界が届く位置、たとえばィンストルメントパネルに取り付けられている。

【0 0 2 3】基準画像カメラ 2と参照画像カメラ 3は、いずれも C C Dカメラからなり、同一対象物をアナログ画像として撮影している。基準画像カメラ 2および参照画像カメラ 3で撮影されたアナログ画像は、画像処理装置 1における前処理部 1 1に出力される。画像処理装置 1に出力されたアナログ画像は、画像処理装置 1における前処理部 1 1、ウィンドウ生成部 1 2、およびステレオマッチング部 1 3で所定の画像処理が施された後、デジタル画像からなる投影像（ 3次元物体を二次元平面上に表示した像）としてモニタ 4に出力される。画像処理装置 1における画像処理手順については後述する。モニタ 4は、ステレオマツチングされて画像処理装置 1から出力された投影像を画面に表示する。

【0 0 2 4】次に、画像処理装置 1による画像処理の手順について説明する。図 2は、画像処理装置による画像処理の工程を示すフローチャートである。ここでは、画像処理の全体的な流れについて説明する。

【0 0 2 5】画像処理装置 1における画像処理を行うために、基準画像力メラ 2および参照画像力メラ 3で同一対象物を撮影する。基準画像力メラ 2で対象物が撮影された基準画像は、画像処理装置 1における前処理部 1 1に出力される。同様に、参照画像カメラ 3で対象物が撮影された参照画像は、画像処理装置 1における前処理部 1 1に出力される。こうして、画像処理装置 1による画像処理が開始される。

【0 0 2 6】画像処理が開始されると、前処理部 1 1において、前処理として、基準画像および参照画像に対してカメラキヤリブレーションを行ヽ（ S 1 ) 、続いて基準画像おょぴ参照画像の平行化を行う（S 2 ) 。これらの前処理が施された画像は、前処理部 1 1からウィンドウ生成部 1 2に出力される。

【0 0 2 7】ウィンドウ生成部 1 2では、基準画像おょぴ参照画像のそれぞれを複数の領域に分割する領域分割を行う（S 3 ) 。続いて、基準画像および参照画像において分割された各領域をウィンドウとして設定する（S 4 ) 。基準画像および参照画像でウィンドウが設定されたら、各画像がステレオマツチング部 1 3に出力され、基準画像におけるウィンドウおよび参照画像におけるウィンドウの間で、相関演算を行って対応付け（ウィンドウマッチング）が行われる（S

5 ) 。この相関演算では、各ウィンドウにおける色、輝度、明度等の相関があるしきい値を超えたときに対応付けされるなどとして、対応付けの判断を行っている。

【0 0 2 8】続いて、参照画像におけるウィンドウの並ぴ順の修正を行う（S

6 ) 。並び順の修正は、参照画像における複数のウィンドウのうち、対応付けを行つた結果、基準画像における複数のウィンドウとの並ぴ順が異なる誤対応ゥィンドウを検出し、誤対応ウィンドウの並び順の修正を行う。この修正を行った後、レ、まだ誤対応が修正されていないウィンドウを再探索するなどして、参照画像におけるウィンドウの並び順の修正を完了させる（S 6 ) 。ウィンドウの並び順の修正を行う工程については、後に詳述する。このように、ウィンドウ生成部 1 2 では、ウィンドウの設定、基準画像と参照画像との間のウィンドウの対応付け、およびウィンドウの並び順の修正を行っており、ウィンドウ生成部 1 2は、本発明のウィンドウ設定手段として機能する。また、ステレオマッチング手段は、基準画像と参照画像とのウィンドウもマッチング（対応付け、及び、その修正）を行い、対象となる物体 3次元物体として復元するステレオマッチング手段として機能する。

【0 0 2 9】こうして、ウィンドウの並び順の修正が済んだら、参照画像におけるウィンドウ間の隙間を埋めるためのウィンドウの変形を行う（S 7 ) 。ウインドウの変形が完了した時点で、全ウィンドウ内がーつの平面となっているか否かを判断する（S 8 ) 。その結果、全ウィンドウ内が一つの平面となっていない場合には、同一の平面から外れたウィンドウ（該当ウィンドウ）を再分割し（S 9 ) 、再び相関演算を行う（S 1 0 ) 。それから、ステップ S 7に戻って、ウインドウの変形を行い、再び全ウィンドウ内が一つの平面か否かを判断する（S 8 ) 。この工程を繰り返した後、ステップ S 8で全ウィンドウ内が一つの平面であると判断されたら、各ウィンドウの 4隅の 3次元座標が計算される（S l l ) 。【0 0 3 0】ステレオマッチング部 1 3では、各ウィンドウの 4隅の 3次元座標に基づいて、立体プリミティブのあてはめ（立体を球、直方体、円錐などのプリミティブと呼ばれる基本立体の組み合わせで表現すること）が行われる（S 1 2 ) 。そして、投影像を生成して（S 1 3 ) 、画像処理が終了する。こうして生成された投影像は、モニタ 4に出力され、表示される。

【0 0 3 1】上記の画像処理工程において、本実施形態では、参照画像におけるウィンドウの並び順の修正（S 6 ) に特徴がある。以下に、この特徴的な工程についてさらに説明する。

【0 0 3 2】図 3は、参照画像における誤対応ウィンドウの並び順の修正を行う工程の詳細を示すフローチャートである。

【0 0 3 3】ウィンドウの並び順の修正を行うにあたり、各画像における複数のウィンドウにおける各行の列の出現順を調べる（S 2 1 ) 。本実施形態では、図 4 Aに示すように、基準画像では対象物である自動車の画像 Vに対して、 1 0 行のウィンドウ列が設定されている。このうち 1行目には 8列、 2行目には 1 2 列、 3行目には 1 4列、 4行目には 1 5列、 5行目および 6行目には 1 6列のゥインドウ W， W…がそれぞれ設定されている。また、 7行目には 1 5列、 8行目には 1 1列、 9行目には 1 0列、 1 0行目には 5列のウィンドウ W, W…がそれぞれ設定されている。なお、図 4 Bには、ウィンドウの整列が完了する前の参照画像を示している。

【0 0 3 4】このように設定された複数のウィンドウについて、参照画像に対応付けされたウィンドウの設定手順を、図 5 A及び図 5 Bを用いて説明する。図 5 Aに模式的に示すように、基準画像では、第 1行から第 3行の 3行と、 A列〜 F列の 6列のウィンドウが設定されたとする。これに対して、参照画像では、図 5 Bに模式的に示すように、所定の相関関係に基づいて、基準画面の各ウィンドゥともつとも相関関係が高い位置を対応するウィンドウとして設定される。このとき、基準画像における第 1行ウィンドウ A 1〜F 1に対して、参照画像におけるそれぞれの相関関係のもっとも高い領域をウィンドウ A 1〜F 1として設定する。同様にして、基準画像における第 2行、第 3行ウィンドウ A 2〜F 2、 A 3 〜F 3に対して、参照画像におけるそれぞれの相関関係のもっとも高い領域をゥインドウ A 2〜F 2、 A 3〜F 3として設定する。こうして対応付けがされた図 5 Bにおける参照画像の各行について列の出現順を調べる。

【0 0 3 5】いま、基準画像に設定されたウィンドウの並び順と参照画像に出現したウィンドウの並び順の関係について説明する。基準画像に設定されたウインドウは、第 1行〜第 3行とも、左から順に AB CD EF列が並んで設定されている。これに対して、参照画像では、第 1行でウィンドウが左から順に AB CD

EF列の順番で並んで出現している。.次に、第 2行でウィンドウが左から順に A CBDEFの順番で並んで出現している。また、第 3行でウィンドウが左から順に ABD EC F列の順番に並んで出現している。ここまでが、図 3のフローチヤートの S 21である。

【0036】このようにして列の出現の順番を調べたら、次に、出現順のつながり（対応）が正しいウィンドウを正対応ウィンドウとし、残りを誤対応ウィンドウとして、誤対応ウィンドウの数 (総数 =K) を検出する（S 2 2) 。

【0037】このときの検出状態の正誤判断では、基準画像におけるウィンドゥと参照画像におけるウィンドウそれぞれの両側に隣接するウィンドウの種類を判別し、両側に隣接するウィンドウがいずれも一致している場合に、そのウィンドウは正対応していると判断する。一方、両側に隣接するウィンドウのうちの一方または双方が相違する場合には、基準画像と参照画像でのウィンドウが誤対応していると判断する。 ' 【0038】さらに具体的に説明すると、基準画像における第 1行のウィンドゥと参照画像における第 1行のウィンドウでは、 V、ずれも左から順に A B C D Ε

F列に並んでおり、いずれのウィンドウも正対応していると判断する。なお、最外端のウィンドウ A2は、片側にしかウィンドウがないので、この片側にウィンドゥが一致しているか否かで対応の正誤を判断する。他の最外端のウィンドウについても、同様にして対応の正誤を判断する。

【0039】次に、第 2行では、 AB CD列は両側に隣接するウィンドウの一方または両方が一致していないので、誤対応であると判断する。そして、 EF列は、両側に隣接するウィンドウが一致しているので、正対応であると判断する。また、第 3行では、 A列のみが両側に隣接するウィンドウが一致しているので、正対応であると判断する。その他の B列〜 F列では、両側に隣接するウィンドウの一方または両方が一致していないので誤対応と判断する。

【0 0 4 0】このような処理にしたがい、参照画像における各ウィンドウの基準画像に対する対応の正誤が判断される。図 4 Bには、参照画像の各ウィンドウのうち、基準画像のウィンドウに正対応しているウィンドウのみを示し、誤対応のウィンドウは示していない。

【0 0 4 1】こうして、ウィンドウの正対応と誤対応とを判断したら、誤対応ウィンドゥの並び順の修正を行う。この並び順の修正は、誤対応ウィンドウのうち、周囲（近傍）に正対応のウィンドウの数が多いものから少ないものの順で行う。このため、周囲の正対応ウィンドウ数をカウントするための N nが設定される（S 2 3 ) 。いま、図 5 A及び図 5 Bの場合、各ウィンドウにおける周囲（近傍）のウィンドウの数は 8 (最大）であるので、 N nはまず初期値 8に設定される。続いて、誤対応している全ウィンドウについて、周囲の正対応ウィンドウの数をそれぞれ検出する（S 2 4 ) 。そして、周囲に N n (ここでは初期値 8 ) 個の正対応ウィンドウを有する誤対応ウィンドウが存在するか否かを判断する（S 2 5 ) 。

【0 0 4 2】周囲に 8個の正対応ウィンドウがある対応ウィンドウが存在する場合には、その数を J ( J≤K) とする。 S 2 5が肯定され、周囲に 8個の正対応ウィンドウがある誤対応ウィンドウがある場合には、その J個の誤対応ウインドウについて、周囲の正対応ウィンドウに基づいて探索範囲を絞って再探索

(再ステレオマッチング）を行い（S 2 6 ) 、誤対応ウィンドウの並び順の修正を行う。

【0 0 4 3】この再探索による並び順の修正が済んだら、誤対応ウィンドウの総数から、周囲の正対応ウィンドウ数が N n (ここでは初期値 8 ) である誤対応ウィンドウの総数 Jを減算し（S 2 7 ) 、新たな Kとする。そして、誤対応ゥインドウの総数 K == 0となったか否かを判断する（S 2 8 ) 。ステップ S 2 8が否定され、誤対応ウィンドウが残っている（K≠ 0) 場合には、再度ステップ S 2 3からの制御が実行される。このように、隣接する正対応ウィンドウ数が多い方から順に誤対応ウィンドウを修正していくことにより、誤対応ウィンドウの修正が容易となる。このため、画像処理全体としての演算量を少なくすることができ、さらには、演算時間の短縮を図ることができる。

【0044】ステップ S 2 9が否定された後、全ての誤対応ウィンドウについて、再度その周囲（近傍）の正対応しているウィンドウの数を検出し（S 24) 、その数が Νη (ここでは初期値 8) となる誤対応ウィンドウが存在するか否かを判断する（S 2 5) 。ここで、周囲（近傍）の正対応しているウィンドウの数が Νη (ここでは初期値 8) となる誤対応ウィンドウが存在する場合には、上記の場合と同様に再度ステップ S 26に進むが、上述した J個の誤対応ウィンドウについては再探索が行われているので、周囲の正対応ウィンドウ数が初期値の 8のままである誤対応ウィンドウは修正されていることが多く、最終的にはステップ S 2 6は否定される。この場合には、 Nnを 1減算し（S 2 9) 、 Nn = 7とする。そして、 Nn = 7の条件の下で、再びステップ S 2 5に戻って、その後、周囲の正対応ウィンドウ数が 7となる誤対応ウィンドウが存在するか否かを判断し (S 26) 、同様な再検索による修正が行われる（S 2 7) 。

【004 5】この工程を繰り返すことにより、参照画像における誤対応ウィンドウが徐々に減少していく。参照画像における誤対応ウインドウが減少する工程について、図 4 Bに続く参照画像を図 6 A、図 6 B、図 7 A、及び、図 7 Bに示す。図 6A、図 6 B、図 7A、及び、図 7 Bに示す参照画像では、図 4 Bに示す画像から、図 3に示すフローチヤ一トのステップ S 2 5からステップ S 2 8のェ程を 1回経るごとに変化する状態を示している。図 6 Aに示す画像では、図 4B に対して、正対応ウィンドウ W, W…の近傍位置に新たに正対応ウィンドウ W, W…が表示されているのがわかる。また、図 6 Aに対して、図 6 Bに示す画像では、さらに多くの正対応ウィンドウ W， W…が表示されているのがわかる。そして、図 7 Aに示すように、ほとんどのウィンドウが正対応ウィンドウ W， W…として表示され、最後には、図 7 Bに示すように、すべてのウィンドウが正対応ゥインドウ W， W…として表示され、誤対応ウィンドウの並び順の修正が完了する。そして、対応付けが完了した後に、図 2のフローチャートのステップ S 7以降の処理がなされて、基準画像と参照画像との間のステレオマッチングが完了し、自動車の画像 Vを立体物として復元することができる。

【0 0 4 6】このようにして、基準画像に対する参照画像の並び順の修正を行うことにより、基準画像と参照画像との対応付けが明確となるので、確実なステレオマッチングを行うことができ、対象物を確実に復元することができる。また、基準画像におけるウィンドウの並び順に一致させるように、参照画像におけるゥィンドウの並び順を修正するので、ステレオマッチングおよび対象物の復元を高い精度で実現することができる。しかも、この対応付けを行う際に、並び順の変更にあたつて相関関係の大小を参照したり、ウィンドウのズレ量を判断したりする必要はないので、そのためのしきい値を設定する必要がない。したがって、演算処理量を過大にすることがなくなるので、演算に掛かる時間や負担を軽減することができる。

【0 0 4 7】次に、一つの誤対応ウィンドウの周囲に正対応ウィンドウが 8個ある場合の再探索の手順について詳しく説明する。

【0 0 4 8】図 8は、本実施形態における誤対応ウィンドウと正対応ウィンドゥとの関係を示す図である。図 8に示す状態では、 8個の正対応ウィンドウ L 1 〜L 8がすでに対応付けられている。ここでは、これらの正対応ウィンドウ L 1 〜 L 8に基づいて、誤対応ウインドウ M 1の並び順を修正する。

【0 0 4 9】いま、各正対応ウィンドウ L 1〜L 8の中点（重心）の X座標をそれぞれ x l〜x 8とし、各ウィンドウ M l， L 1〜L 8の X軸方向の幅を X 0、 Y軸方向の幅を y 0とする。このときの誤対応ウィンドウ M lの再探索する探索範囲を設定するにあたり、まず以下の式（1 ) より平均値 X 9を求める。この平均値 x 9は、正対応ウィンドウ L 1〜L 8の X軸方向に沿つた位置の平均値を求めたものである。

【0 0 5 0】 9 = [ ( 1 - X 0) + ( x 2 - 0) + x 3 + ( x 4 + x 0) + ( x 5 + x 0 ) + (x 6 + x 0) + x 7 + (x 8 - x 0) ]/8 … (1)

平均値 x 9を求めたら、下記（2) 式の範囲に探索範囲 Xを絞って設定する。 Max (x 9 - X 0/2, x 5) < x <Min (x 9 + x 0/2 , 1 ) ··· (2) 【005 1】このように、探索範囲 xの X座標を、 x 9— χ θΖ2と x 5のうちの大きい方の値を超え、 χ 9 + χ θ/2と X 1のうちの小さい方の値未満に設定している。ここで、図 9に示すように、正対応ウィンドウ L 1〜L 8が離間している場合であっても、少なくとも正対応ウィンドウ L 5、 L 1の間で誤対応ゥィンドウの再探索を行うことができるので、正対応ウィンドウ L 5、 L 1に対して、誤対応ウィンドゥの並び順が逆転しない範囲で、誤対応ウィンドウ M 1に代わる正対応ウィンドウとして再探索することができる。こうして設定した探索範囲 X内を探索して誤対応ウィンドウの位置を修正することにより、正対応ウィンドウの位置によらず、誤対応ウィンドウの位置の修正を行うことができる。このため正対応ウィンドウの位置による場合分けを行う必要がなくなるので、演算処理を迅速に行うことができる。また、誤対応ウィンドウに隣接する正対応ウィンドウ L 5、 L 1の X軸方向の中点（重心）位置 x 5、 X 1を考慮して探索範囲 X を限定している。このため、正対応ウィンドウ L 5、 L 1に対する誤対応ウィンドウ Mlの位置関係を逆転させないようにして、正対応ウィンドウを設定することができる。

【005 2】次に、本発明の第 2の実施形態について説明する。本実施形態に係る画像処理装置は、上記第 1の実施形態における図 1に示したものと同一の画像処理装置を利用することができる。本実施形態では、正対応ウィンドウの位置から誤対応ウィンドウの再探索位置を絞り込む際、正対応ウィンドウに重み付けを行う。重み付けを行う際には、誤対応ウィンドウの周囲（近傍）にあり、誤対応ウィンドウに対する影響力が大きく、支配的な位置にある正対応ウィンドウに大きな重み付けを行う。逆に、誤対応ウィンドウから遠い位置にあるなど、誤対応ウィンドウに対する影響力が小さい正対応ウィンドウには、小さな重み付けを行う。その態様について、以下に具体的に説明する。

【0053】図 10は、本実施形態における誤対応ウィンドウと正対向ウィンドウとの関係を示す図である。図 10に示す状態では、 8個の正対応ウィンドウ P 1〜P 8がすでに対応付けられており、これらの正対応ウィンドウ P 1〜P 8 に基づいて誤対応ウィンドウ Q 1の並び順を修正する。

【0054】いま、各正対応ウィンドウ P 1〜P 8の中点（重心）の X座標をそれぞれ X 1〜χ 8とし、各ウィンドウ Q 1, P 1〜P 8の X軸方向の幅を X 0、 Y軸方向の幅を y 0とする。このときの誤対応ウィンドウ Q1の再探索する探索範囲を設定するにあたり、（3) 式を用いて重み付けした平均値 X 10を求める。【0055】各正対応ウィンドウ P 1〜P 8に設定された重み付けは、その影響力によって設定され、具体的には次のとおりである。まず、誤対応ウィンドウ Q 1が設定されるべき位置の四隅に位置するウィンドウは、誤対応ウィンドウ Q 1に対する影響力が比較的小さいので、その重み付けを 1W (W) とする。次に、誤対応ウィンドウ Q 1が設定されるべき位置の両隣は、四隅よりも影響力が大きいので、その重みを 2Wとする。そして、誤対応ウィンドウ Q 1が設定されるべき位置の上下は、その影響力がもっとも大きいので、その重みを 3Wとする。 1)、かる重み付けを考慮した（3) 式を以下に示す。

[0056 ] X 10 = [ ( 1 X 2 - X 0) + ( x 2 - x 0) + ( x 3 X 3) + ( x 4 + x 0 ) + (x 5 X 2 + X 0) + (x 6 + 0) + (x 7 X 3) + ( x 8— χ θ) ]/ (2+ 1 + 3+ 1 + 2+ 1 + 3 + 1) … (3)

こうして、重み付けした平均値 X 10を求めたら、下記（4) 式の範囲に探索範囲 Xを絞って設定する。 Max ( x 1 0 - x 0 / 2 , x 5 ) < x < Min ( x l O + x O / 2 , 1 ) ( 4 )

【0 0 5 7】以下、この探索範囲 x内を探索して誤対応ウィンドウの位置を修正することにより、正対応ウィンドウの位置によらず、誤対応ウィンドウの位置の修正を行うことができる。

【0 0 5 8】本実施形態に係る態様では、上記第 1実施形態で述べた作用効果のほか、誤対応ウィンドウを設定する位置に影響力の大きい正対応ウィンドウに大きな重み付けを行っている。このため、誤対応ウィンドウを設定すべき位置に対して支配的な正対応ウィンドウの影響を大きくすることができ、誤対応ウィンドウをさらに容易に適正な位置に修正することができる。

【0 0 5 9】また、図 1 0に示すように、正対応ウィンドウが正方形状に並んでいる場合のみならず、種々の並び順の場合でも適宜の重み付けをすることができる。その例を、図 1 1を参照して説明する。図 1 1における参照画像では、正対応ウィンドウ R 1〜R 1 2が示されているほか、誤対応ウィンドウ S 1〜S 4 が示されている。これらのほかに、第 2行における正対応ウィンドウ R 1 2、 R

7の間に 3つの誤対応ウィンドウの修正位置（空白部分）が存在する。これらの誤対応ウィンドウの修正位置を求める際に、各正対応ウィンドウ R 1〜R 1 2に重み付けを行う。たとえば、第 2行における左から 2番目に位置する誤対応ウインドウの修正位置では、正対応ウィンドウ R 6、 R 7の重みを大きく、この位置から遠ざかるにしたがって、その重みを小さくしていき、もっとも遠い位置の正対応ウィンドウ R 3、 R 1 1の重みをもっとも小さくする。このようにして各正対応ウィンドウの重みを設定することにより、誤対応ウィンドウを設定する位置対して支配的な正対応ウィンドウの影響をさらに大きくすることができ、誤対応ウィンドウをさらに容易に適正な位置に修正することができる。

【0 0 6 0】以上、本発明の好適な実施形態について説明したが、本発明は上記各実施形態に限定されるものではない。たとえば、上記実施形態においては、並び順を水平方向に沿って設定しているが、鉛直方向に沿って、または斜め方向に沿って設定することができる。画像処理装置 1によって生成された画像は、モユタ 4に表示するようにしているが、モニタ 4に表示することなく、他の画像処理の用途に使用することもできる。

産業上の利用可能性

【0 0 6 1】以上のとおり、本発明によれば、基準画像と参照画像におけるステレオマッチングを容易に行うことができるようにすることにより、画像処理時間の短縮を図つた画像処理方法および装置を提供することができる。

Claims

言青求の範囲

クレーム 1 . 基準画像撮影手段で対象物を撮影して基準画像を取得すると共に、参照画像撮影手段で同一の対象物を撮影して参照画像を取得し、前記基準画像および前記参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、

前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマツチングを行い、前記対象物の形状を復元することを特徴とする画像処理方法。

クレーム 2 . ステレオマッチング時に、前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドゥの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けの適否を判断するクレーム 1に記載の画像処理方法。

クレーム 3 . ステレオマッチング時に、前記参照画像における複数のゥインドゥの並び順が、前記基準画像における複数のウィンドウの並び順と一致するように、前記参照画像における複数のウィンドウの並び順を修正するクレーム 1に記載の画像処理方法。

クレーム 4 . 前記基準画像のウィンドウの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並ぴ順との対応が正しい前記参照画像上の正対応ウィンドウとについて、前記誤対応ウィンドウの並び順を修正するにあたり、

前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合に基づいて、前記誤対応ウィンドウの並び順を修正する順序を決定するタレーム 3に記載の画像処理方法。

クレーム 5 . 前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいほど、該誤対応ウィンドウの並び順を修正する順序が早いクレーム 4に記載の画像処理方法。

クレーム 6 . 前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいものから小さいものの順に、該誤対応ウィンドゥの並び順を修正するクレーム 4に記載の画像処理方法。

クレーム 7 . 前記誤対応ウィンドウに対する前記正対応ウィンドウの位置に基づいて、該正対応ウィンドウに重み付けを行い、

重み付けがされた前記正対応ウィンドウに基づいて、前記誤対応ウィンドウの並び順を修正するクレーム 4に記載の画像処理方法。

クレーム 8 . 前記基準画像のウインドウの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並ぴ順との対応が正しい前記参照画像上の正対応ウィンドウとについて、前記誤対応ウィンドウの並び順を修正するにあたり、

前記誤対応ウィンドウに対する前記正対応ウィンドウの位置に基づいて、該正対応ウィンドウに重み付けを行い、重み付けがされた前記正対応ウィンドウに基づいて、前記誤対応ウィンドウの並び順を修正するクレーム 3に記載の画像処理方法。

クレーム 9 . 基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドゥを設定するウィンドウ設定手段と、

前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けを行い、前記対象物の形状を復元するステレオマツチング手段とを備えることを特徴とする画像処理装置。

クレーム 10. 前記ステレオマッチング手段が、前記参照画像における複数のウィンドウの並び順が、前記基準画像における複数のウィンドウの並び順と一致するように、前記参照画像における複数のウィンドウの並び順を修正するクレーム 9に記載の画像処理装置。

クレーム 11. 前記ステレオマッチング手段は、前記基準画像のウィンドゥの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並び順との対応が正しい前記参照画像上の正対応ウィンドウについて、前記誤対応ウィンドウの並び順を修正するにあたり、

前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合に基づいて、前記誤対応ウィンドウの並び順を修正する順序を決定するクレーム 10に記載の画像処理装置。

クレーム 12. 前記ステレオマッチング手段は、前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいほど、該誤対応ウィンドウの並び順を修正する順序を早くするクレーム 11 に記載の画像処理装置。

クレーム 13. 前記ステレオマッチング手段は、前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいものから小さいものの順に、該誤対応ウィンドウの並び順を修正するクレーム 11 に記載の画像処理装置。

クレーム 14. 前記ステレオマッチング手段は、前記誤対応ウィンドウに対する前記正対応ウィンドウの位置に基づいて該正対応ウィンドウに重み付けを行い、重み付けがされた前記正対応ウィンドウに基づいて前記誤対応ウィンドウの並び順を修正するクレーム 11に記載の画像処理装置。

クレーム 15. 前記ステレオマッチング手段は、前記基準画像のウィンドゥの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドゥの並び順との対応が正しい前記参照画像上の正対応ウィンドウとについて、前記誤対応ウィンドウの並び順を修正するにあたり、

前記誤対応ウィンドウに隣接する前記正対応ウィンドウの位置に重み付けを行

V、、重み付けがされた前記正対応ウィンドウに基づいて、前記誤対応ウィンドウの並ぴ順を修正するクレーム 9に記載の画像処理装置 ,