WO2005095886A1

WO2005095886A1 - ３次元形状検出装置、３次元形状検出方法、３次元形状検出プログラム

Info

Publication number: WO2005095886A1
Application number: PCT/JP2005/005859
Authority: WO
Inventors: Hiroyuki Sasaki
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2004-03-31
Filing date: 2005-03-29
Publication date: 2005-10-13
Anticipated expiration: 2006-09-30
Also published as: US7672505B2; JP2005293075A; US20070031029A1

Description

明細書

3次元形状検出装置、 3次元形状検出方法、 3次元形状検出プログラム技術分野

[0001] 本発明は、パターン光の撮像枚数を増カロさせることなぐ高速にパターン光の境界をサブピクセル精度で検出することができる 3次元形状検出装置、 3次元形状検出方法、 3次元形状検出プログラムに関する。

背景技術

[0002] 従来より、対象物体に 1本のスリット光を順次投影し、各投影光の方向 φごとに撮像手段によって画像を入力し、画像中のスリット光の軌跡から撮像手段から対象物体を見る方向 Θを得ることで、対象物体の位置を検出するスリット光投影法を利用して対象物体の 3次元形状を検出する 3次元形状検出装置が知られている。

[0003] しかし、このスリット光投影法では、分解能はスリットの本数によって決定され、 1本のスリット像を得るのに 1枚のビデオフレームを必要とするので、本数の多いスリット画像を得ようとすると長時間を要するという問題点があった。

[0004] この問題を解決するべぐ「空間コード化による距離画像入力」、佐藤宏介、他 1名、電子通信学会論文誌、 85Z3Vol. J 68— D No3 p369〜375 (以下、文献 1と記す）には、所謂空間コード法が提案されている。空間コード法では、対象物体に n 枚の縦縞状のパターン光を投影し、空間を 2ⁿ個の細い扇状領域に分割する。各領域には nビットの 2進コード (空間コード)を割り当てることができ、 n回のパターン光の投影で、 2ⁿ本のスリット画像と同等な画像を得ることができるので、スリット光投影法に比ベて高速な計測を行うことができる。

[0005] し力しながら、ノターン光の分割は有限である事や撮像素子の解像度との関係から検出されるパターン光の境界には誤差が含まれ、結果的に対象物体の 3次元形状を高精度に検出することができないという問題点があった。

[0006] 「三次元画像計測」、佐藤宏介、他 1名、株式会社昭晃堂、 plO 9〜117 (以下、文献 2と記す）には、このような問題を解決することのできる 3次元形状検出の技術が開示されている。具体的には、文献 2に開示される技術によれば、ポジ（陽画)のパターン光と、そのポジのパターン光と明暗を反転したネガ（陰画)のパターン光との 2種類のパターン光を対象物体に投影し、その撮像画像の輝度分布から、パターン光の境界の内挿を行い、ノターン光の境界をサブピクセル精度で検出することで、パターン光の境界座標に含まれる誤差が低減され、高精度に対象物体の 3次元形状が検出される。

発明の開示

[0007] し力しながら、パターン光の境界をサブピクセル精度で検出すベぐ上述した文献 2 に記載された方法を利用した場合には、ポジ Zネガのパターン光投影画像 2 * n枚と非投影画像 1枚とを撮像する必要があり、パターン光の投影回数、パターン光の撮像枚数が嵩み、計測に長時間を要するという問題点があった。

[0008] また、上述した空間コード法においては、コードィ匕における誤差を軽減すベぐ投影されるパターン光としては、純 2進コードで明暗付けられたものではなぐダレイコード (交番 2進コード）と呼ばれる特殊なパターン光を投影する必要があった。

[0009] 本発明は、上述した問題点を解決するためになされたものであり、パターン光の撮像枚数を増加させることなぐ高速にパターン光の境界をサブピクセル精度で検出することができる 3次元形状検出装置、 3次元形状検出方法、 3次元形状検出プロダラムを提供することを目的として!、る。

[0010] 上記目的を達成する為、本発明の一つの側面により提供されるのは、 3次元形状検出装置であって、明と暗とを交互に並べてなる複数種類のパターン光の各々を時系列に被写体に投影する投影手段と、その投影手段力ゝら各パターン光が投影されて V、る状態の被写体を撮像する撮像手段と、その撮像手段によって撮像される各撮像画像力ゝら各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成手段と、その輝度画像生成手段によって生成される複数の輝度画像に対して所定の閾値による閾値処理を行った結果により、各画素毎に所定のコードを割り当てたコード画像を生成するコード画像生成手段と、そのコード画像生成手段によって生成されるコード画像を利用して被写体の 3次元形状を算出する 3次元形状算出手段とを備える。この 3次元形状検出装置は、さらに、コード画像におけるパターン光と交差する方向の検出位置において、着目コードを有する画素に隣接し、その着目コードとは異なるコードを有する第 1画素を検出する第 1画素検出手段と、その第 1画素検出手段で検出される第 1画素と対応する位置において、明と暗との境界を有する輝度画像を複数の輝度画像の内から抽出する輝度画像抽出手段と、第 1画素に隣接する所定領域の画素からなる画素領域を特定する画素領域特定手段と、その画素領域特定手段で特定される画素領域において抽出輝度画像における輝度の変化を表す近似式を算出する近似式算出手段と、その近似式算出手段によって算出される近似式において輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて着目コードの境界座標を検出する境界座標検出手段とを備える。 3次元形状算出手段は、コード画像を利用して境界座標検出手段で検出される境界座標に基づき、被写体の 3次元形状を算出する。

[0011] このように構成された 3次元形状検出装置によれば、着目コードに隣接し、その着目コードとは異なるコードを有する第 1画素が、コード画像におけるパターンと交差する方向の検出位置において第 1画像検出手段によって画素単位で検出される。第 1 画素が検出されると、その第 1画素と対応する位置において、明と暗との境界を有する輝度画像が、輝度画像抽出手段によって複数の輝度画像の内から抽出される。そして、画素領域特定手段で特定される画素領域において、抽出輝度画像における輝度の変化を表す近似式が近似式算出手段によって算出される。この近似式において輝度に関する所定の閾値を有する位置を境界座標検出手段によって算出することで、検出位置におけるサブピクセル精度の境界位置が算出できる。即ち、検出位置の座標と、近似式において輝度に関する所定の閾値を有する位置の座標とからなる境界座標が算出され、この境界座標を利用して 3次元形状算出手段によって被写体の 3次元形状が算出される。

[0012] したがつてこの 3次元形状検出装置によれば、所定の検出位置におけるパターン光の明と暗との境界座標は、その境界座標を含む所定の画素領域における輝度の変化を表す近似式が算出され、その近似式における輝度に関する所定の閾値を有する位置として検出される。したがって、検出位置における明と暗との境界をコード画像における明と暗との境界に比べて高い精度で算出することができる。よって、その結果を利用して 3次元形状を算出すれば、高精度に被写体の 3次元形状を算出することができるという効果が得られる。

[0013] 本発明の別の側面により提供されるのは、 3次元形状検出方法であって、明と暗とを交互に並べてなる複数種類のパターン光の各々を時系列に被写体に投影する投影工程と、その投影工程力各パターン光が投影されて、る状態の被写体を撮像する撮像工程と、その撮像工程によって撮像される各撮像画像力ゝら各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成工程と、その輝度画像生成工程によって生成される複数の輝度画像に対して所定の閾値による閾値処理を行った結果により、各画素毎に所定のコードを割り当てたコード画像を生成するコード画像生成工程と、そのコード画像生成工程によって生成されるコード画像を利用して被写体の 3次元形状を算出する 3次元形状算出工程とを備える。この 3次元形状検出方法は、更に、コード画像生成工程の後に、コード画像におけるパターン光と交差する方向の検出位置において、着目コードを有する画素に隣接し、その着目コードとは異なるコードを有する第 1画素を検出する第 1画素検出工程と、その第 1画素検出工程で検出される第 1画素と対応する位置において、明と暗との境界を有する輝度画像を複数の輝度画像の内から抽出する輝度画像抽出工程と、第 1画素に隣接する所定領域の画素からなる画素領域を特定する画素領域特定工程と、その画素領域特定ェ程で特定される画素領域において抽出輝度画像における輝度の変化を表す近似式を算出する近似式算出工程と、その近似式算出工程によって算出される近似式において輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて着目コードの境界座標を検出する境界座標検出工程とを備える。 3次元形状算出工程は、コード画像を利用して境界座標検出工程で検出される境界座標に基づき、被写体の 3次元形状を算出する。

[0014] このような構成の 3次元形状検出方法によれば、着目コードに隣接し、その着目コ一ドとは異なるコードを有する第 1画素が、コード画像におけるパターンと交差する方向の検出位置において第 1画像検出工程によって画素単位で検出される。第 1画素が検出されると、その第 1画素と対応する位置において、明と暗との境界を有する輝度画像が、輝度画像抽出工程によって複数の輝度画像の内から抽出される。そして、画素領域特定工程で特定される画素領域において、抽出輝度画像における輝度の変化を表す近似式が近似式算出工程によって算出される。この近似式において輝度に関する所定の閾値を有する位置を境界座標検出工程によって算出することで、検出位置におけるサブピクセル精度の境界位置が算出できる。即ち、検出位置の座標と、近似式において輝度に関する所定の閾値を有する位置の座標とからなる境界座標が算出され、この境界座標を利用して 3次元形状算出工程によって被写体の 3 次元形状が算出される。

[0015] したがつてこの 3次元形状検出方法によれば、所定の検出位置におけるパターン光の明と暗との境界座標は、その境界座標を含む所定の画素領域における輝度の変化を表す近似式が算出され、その近似式における輝度に関する所定の閾値を有する位置として検出される。したがって、検出位置における明と暗との境界をコード画像における明と暗との境界に比べて高い精度で算出することができる。よって、その結果を利用して 3次元形状を算出すれば、高精度に被写体の 3次元形状を算出することができるという効果が得られる。

[0016] 本発明の別の側面により提供されるのは、 3次元形状検出プログラムであって、明と暗とを交互に並べてなる複数種類のパターン光の各々を時系列に被写体に投影する投影ステップと、その投影ステップ力も各パターン光が投影されてヽる状態の被写体を撮像する撮像ステップと、その撮像ステップによって撮像される各撮像画像から各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成ステップと、その輝度画像生成ステップによって生成される複数の輝度画像に対して所定の閾値による閾値処理を行った結果により、各画素毎に所定のコードを割り当てたコード画像を生成するコード画像生成ステップと、そのコード画像生成ステップによって生成されるコード画像を利用して被写体の 3次元形状を算出する 3次元形状算出ステップとを備える。この 3次元形状検出プログラムは、更に、コード画像におけるパターン光と交差する方向の検出位置において、着目コードを有する画素に隣接し、その着目コードとは異なるコードを有する第 1画素を検出する第 1画素検出ステップと、その第 1画素検出ステップで検出される第 1画素と対応する位置において、明と暗との境界を有する輝度画像を複数の輝度画像の内から抽出する輝度画像抽出ステップと、第 1画素に隣接する所定領域の画素からなる画素領域を特定する画素領域特定ステップと、その画素領域特定ステップで特定される画素領域において抽出輝度画像における輝度の変化を表す近似式を算出する近似式算出ステップと、その近似式算出ステップによって算出される近似式において輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて着目コードの境界座標を検出する境界座標検出ステップとを備える。 3次元形状算出ステップは、コード画像を利用して境界座標検出ステツプで検出される境界座標に基づき、被写体の 3次元形状を算出する。

[0017] このように構成された 3次元形状検出プログラムによれば、着目コードに隣接し、その着目コードとは異なるコードを有する第 1画素が、コード画像におけるパターンとは直交する方向の検出位置から第 1画像検出ステップによって画素単位で検出される。第 1画素が検出されると、その第 1画素と対応する位置において、明と暗との境界を有する輝度画像が、輝度画像抽出ステップによって複数の輝度画像の内から抽出される。そして、画素領域特定ステップで特定される画素領域において、抽出輝度画像における輝度の変化を表す近似式が近似式算出ステップによって算出される。この近似式にぉ、て輝度に関する所定の閾値を有する位置を境界座標検出ステップによって算出することで、検出位置におけるサブピクセル精度の境界位置が算出できる。即ち、検出位置の座標と、近似式において輝度に関する所定の閾値を有する位置の座標とからなる境界座標が算出され、この境界座標を利用して 3次元形状算出工程によって被写体の 3次元形状が算出される。

[0018] したがつてこの 3次元形状検出プログラムによれば、所定の検出位置におけるパターン光の明と暗との境界座標は、その境界座標を含む所定の画素領域における輝度の変化を表す近似式が算出され、その近似式における輝度に関する所定の閾値を有する位置として検出される。したがって、検出位置における明と暗との境界をコード画像における明と暗との境界に比べて高い精度で算出することができる。よって、その結果を利用して 3次元形状を算出すれば、高精度に被写体の 3次元形状を算出することができると!/ヽぅ効果が得られる。

図面の簡単な説明

[0019] [図 1]画像入出力装置の外観斜視図である。

[図 2]撮像ヘッドの内部構成を示す図である。 [図 3]図 3 (a)は画像投影部の拡大図であり、図 3 (b)は光源レンズの平面図であり、図 3 (c)は投影 LCDの正面図である。

[図 4]図 4 (a)力図 4 (c)は、 LEDアレイの配列に関する説明をするための図である。圆 5]画像入出力装置の電気的なブロック図である。

[図 6]メイン処理のフローチャートである。

[図 7]デジカメ処理のフローチャートである。

[図 8]webcam処理のフローチャートである。

[図 9]投影処理のフローチャートである。

[図 10]立体画像処理のフローチャートである。

[図 11]図 11 (a)は、空間コード法の原理を説明するための図であり、図 11 (b)は図 1

1 (a )とは異なるマスクパターン (グレイコード)を示す図である。

[図 12]図 12 (a)は 3次元形状検出処理のフローチャートである。図 12 (b)は撮像処理のフローチャートである。図 12 (c)は 3次元計測処理のフローチャートである。圆 13]コード境界座標検出処理の概略を説明するための図である。

[図 14]コード境界座標検出処理のフローチャートである。

[図 15]コード境界座標をサブピクセル精度で求める処理のフローチャートである。

[図 16]PatID [i]のマスクパターン番号を持つ輝度画像について、境界の CCDY値を求める処理のフローチャートである。

[図 17]図 17 (a)から図 17 (c)は、レンズ収差補正処理を説明するための図である。

[図 18]図 18 (a)及び図 18 (b)は、 CCD空間における座標から 3次元空間における 3 次元座標を算出する法を説明するための図である。

[図 19]平面化画像処理のフローチャートである。

圆 20]図 20 (a)から図 20 (c)は、原稿姿勢演算処理を説明するための図である。

[図 21]平面変換処理のフローチャートである。

[図 22]図 22 (a)は、湾曲計算処理についての大略を説明するための図であり、図 22 (b)は平面変換処理によって平面化された平面化画像を示す図である。

[図 23]図 23 (a)は光源レンズの他の例を示す側面図であり、図 23 (b)は図 23 (a)の光源レンズを示す平面図である。 [図 24]図 24 (a)は、光源レンズを固定した状態を示す斜視図であり、図 24 (b)はその部分的な断面図である。

符号の説明

[0020] 1 画像入出力装置

13 画像投影部

14 画像撮像部

18, 50 光源レンズ

19 投影 LCD

20 投影光学系

21 撮像光学系

22 CCD

発明を実施するための最良の形態

[0021] 以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図 1は

、画像入出力装置 1の外観斜視図である。尚、本発明の実施形態としての投影装置および 3次元形状検出装置は、画像入出力装置 1に含まれる装置である。

[0022] 画像入出力装置 1は、デジタルカメラとして機能するデジカメモード、ウェブカメラとして機能する webcamモード、 3次元形状を検出して立体画像を取得するための立体画像モード、湾曲した原稿等を平面化した平面化画像を取得するための平面化画像モード等の種々のモードを備えて、る。

[0023] 図 1では、特に、立体画像モードや平面化画像モードにおいて、被写体としての原稿 Pの 3次元形状を検出するために、後述する画像投影部 13から明暗を交互に並べてなる縞状のパターン光を投影して、る様子を図示して、る。

[0024] 画像入出力装置 1は、略箱状に形成された撮像ヘッド 2と、その撮像ヘッド 2と一端が連結されたパイプ状のアーム部材 3と、そのアーム部材 3の他端と連結され、平面視略 L型に形成されたベース 4とを備えて、る。

[0025] 撮像ヘッド 2は、その内部に後述する画像投影部 13や画像撮像部 14を内包するケースである。撮像ヘッド 2の正面において、中央部には筒状の鏡筒 5が配置され、鏡筒 5の斜め上方にファインダ 6が配置され、さらに、ファインダ 6の反対側にフラッシュ 7が配置されている。撮像ヘッド 2の正面のファインダ 6とフラッシュ 7との間には、後述する画像撮像部 14の一部である撮像光学系 21のレンズの一部が外面に露出している。撮像光学系のこの露出部分を介して被写体の画像が入力される。

[0026] 鏡筒 5は、撮像ヘッド 2の正面カゝら突出するよう形成されるとともに、その内部に画像投影部 13の一部である投影光学系 20を内包して、るカバーである。この鏡筒 5によつて、投影光学系 20が保持され、投影光学系 20全体を焦点調節のため移動可能とされ、且つ、投影光学系 20が傷つくのが防止されている。鏡筒 5端面からは、画像投影部 13の一部である投影光学系 20のレンズの一部が外面に露出しており、この露出部分カゝら投影面に向かって画像信号光が投影される。

[0027] ファインダ 6は、撮像ヘッド 2の背面カゝら正面を通して配設される光学レンズで構成されている。撮像ヘッド 2の背面力も使用者がのぞき込んだ時に、撮像光学系 21が C CD22上に結像する範囲とほぼ一致する範囲が見えるようになつている。

[0028] フラッシュ 7は、例えば、デジカメモードにぉ、て、必要な光量を補足するための光源であり、キセノンガスが充填された放電管で構成されている。よって、撮像ヘッド 2 に内蔵されているコンデンサ（図示せず)からの放電により繰り返し使用することができる。

[0029] 撮像ヘッド 2の上面において、手前側にはレリーズボタン 8が配置され、レリーズボタン 8の奥方にモード切替スィッチ 9が配置され、さらに、モード切替スィッチ 9の反対側にモニタ LCD10が配置されている。

[0030] レリーズボタン 8は、「半押し状態」と「全押し状態」との 2種類の状態に設定可能な 2 段階の押しボタン式のスィッチで構成されて、る。レリーズボタン 8の状態は後述するプロセッサ 15に管理されている。プロセッサ 15の制御の下、レリーズボタン 8の「半押し状態」で周知のオートフォーカス (AF)および自動露出 (AF)機能が起動され、ピント、絞り、シャツタスピードが調節される。レリーズボタン 8の「全押し状態」では、撮像等が行われる。

[0031] モード切替スィッチ 9は、デジカメモード、 webcamモード、立体画像モード、平面化画像モード、オフモード等の種々のモードに設定する為のスィッチである。モード切替スィッチ 9の状態はプロセッサ 15に管理されており、モード切替スィッチ 9の状態がプロセッサ 15によって検出されることで各モードの処理が実行される。

[0032] モニタ LCD10は、液晶ディスプレイ（Liquid Crystal Display)で構成されており、プロセッサ 15からの画像信号を受けて画像を使用者に表示する。例えば、モニタ LCD10には、デジカメモードや webcamモードにおける撮像画像や、立体画像モードにおける 3次元形状検出結果画像、平面化画像モードにおける平面化画像等が表示される。

[0033] 撮像ヘッド 2の側面において、その上方には、 RF (無線)インターフェイスとしてのァンテナ 11と、撮像ヘッド 2とアーム部材 3とを連結する連結部材 12とが配置されている。

[0034] アンテナ 11は、後述する RFドライバ 24を介してデジカメモードで取得した撮像画像データや立体画像モードで取得した立体画像データ等を外部インターフェイスに無線通信によって送信する為に用いられる。

[0035] 連結部材 12は、リング状に形成され、かつその内周面には雌ねじが形成されている。連結部材 12は、撮像ヘッド 2の側面に回動可能に固定されている。アーム部材 3 の一端側には雄ねじが形成されている。連結部材 12の雌ねじとアーム部材 3の雄ねじとを嵌合させることで、撮像ヘッド 2とアーム部材 3とを着脱自在に連結することができると共に、撮像ヘッド 2を任意の角度で固定することができるようになつている。従つて、撮像ヘッド 2をアーム部材 3から取り外すことで、撮像ヘッド 2を通常のデジタル力メラとして使用できる。

[0036] アーム部材 3は、撮像ヘッド 2を所定の撮像位置に変化可能に保持するためのものであり、任意の形状に屈曲可能な蛇腹状のパイプで構成されている。よって、アーム部材 3によって、撮像ヘッド 2を任意の位置に向けることができる。

[0037] ベース 4は、机上等の載置台に載置され、撮像ヘッド 2とアーム部材 3とを支持する。ベース 4は平面視略 L字型に形成されているので、安定して撮像ヘッド 2等を支持することができる。ベース 4とアーム部材 3とは着脱自在に連結されており、このことが画像入出力装置 1の持ち運びを便利にし、また、画像入出力装置 1を省スペースで収納することも可能にする。

[0038] 図 2は、撮像ヘッド 2の内部構成を模式的に示す図である。撮像ヘッド 2の内部には、画像投影部 13と、画像撮像部 14と、プロセッサ 15とが内蔵されている。

[0039] 画像投影部 13は、投影面に任意の投影画像を投影するためのユニットである。画像投影部 13は、投影方向に沿って、基板 16と、複数個の LED17 (その総称として以下「LEDアレイ 17A」という）と、光源レンズ 18と、投影 LCD19と、投影光学系 20とを備えている。尚、この画像投影部 13については、図 3 (a)から図 3 (c)を参照して後に詳細に説明する。

[0040] 画像撮像部 14は、被写体としての原稿 Pを撮像するためのユニットである。画像撮像部 14は、光の入力方向に沿って、撮像光学系 21と、 CCD22とを備えている。

[0041] 撮像光学系 21は、複数枚のレンズで構成されている。撮像光学系 21は、周知のォ一トフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部力もの光を CC D22上に結像する。

[0042] CCD22は、マトリクス状に配列された CCD (Charge Coupled Device)素子などの光電変換素子を有する。 CCD22は、撮像光学系 21を介して CCD22の表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ 15に出力する。

[0043] プロセッサ 15には、フラッシュ 7、レリーズボタン 8、モード切替スィッチ 9、外部メモリ 27、およびキャッシュメモリ 28が電気的に接続されている。さらに、プロセッサ 15には、モニタ LCDドライバ 23を介してモニタ LCD10が接続され、 RFドライバ 24を介してアンテナ 11が接続され、電源インターフェイス 25を介してバッテリ 26が接続され、光源ドライバ 29を介して LEDアレイ 17Aが接続され、投影 LCDドライバ 30を介して投影 LCD19が接続され、さらに、 CCDインターフェイス 31を介して CCD22が接続されている。プロセッサ 15に接続されたこれらの構成部品は、プロセッサ 15によって管理される。

[0044] 外部メモリ 27は、着脱自在なフラッシュ ROMであり、デジカメモードや webcamモード、そして立体画像モードにお！ヽて撮像された撮像画像や 3次元情報を記憶する。具体的には、外部メモリ 27として、 SDカード、コンパクトフラッシュ (登録商標)カード等を使用することができる。

[0045] キャッシュメモリ 28は、高速な記憶装置である。例えば、デジカメモードにぉ、て撮像した撮像画像を高速でキャッシュメモリ 28に転送し、プロセッサ 15で画像処理を行つてから外部メモリ 27に格納されるように使われる。具体的には、 SDRAM, DDRR AM等を使用することができる。

[0046] 電源インターフェイス 25、光源ドライバ 29、投影 LCDドライバ 30、 CCDインターフェイス 31は、 IC (Integrated Circuit:集積回路）によって構成されている。電源インタ一フェイス 25、光源ドライバ 29、投景 LCDドライバ 30、 CCDインターフェイス 31は、それぞれ、ノッテリ 26、 LEDアレイ 17A、投影 LED19、 CCD22を制御する。

[0047] 図 3 (a)は画像投影部 13の拡大図であり、図 3 (b)は光源レンズ 18の平面図であり、図 3 (c)は投影 LCD19と CCD22との配置関係を示す図である。上述した通り、画像投影部 13は、投影方向に沿って、基板 16と、 LEDアレイ 17Aと、光源レンズ 18と、投影 LCD19と、投影光学系 20とを備えている。

[0048] 基板 16は、 LEDアレイ 17Aを実装すると共に、 LEDアレイ 17Aとの電気的な配線をするためのものである。具体的には、基板 16として、アルミ製基板に絶縁榭脂を塗布してカゝら無電解メツキにてパターンを形成したものや力ラエポ基材をコアとする単層または多層構造の基板を使用することができる。

[0049] LEDアレイ 17Aは、投影 LCD19に向けて放射状の光を発光する光源である。 LE Dアレイ 17Aは、基板 16上に千鳥状に配列された複数個の LED17 (発光ダイォード)からなる。これらの複数の LED17は、銀ペーストを介して基板 16に接着され、ボンデイングワイヤを介して基板 16に電気的に結線されて、る。

[0050] このように光源として複数個の LED17を使用することで、光源として白熱電球、ノヽロゲンランプ等を使用する場合に比べて、電気を光に変換する効率 (電気光変換効率)を高め、同時に赤外線や紫外線の発生を抑えることができる。よって、本実施形態によれば、光源を省電力で駆動でき、節電化、長寿命化を図ることができる。また、装置の温度上昇を低減させることができる。

[0051] この様に、 LED17はハロゲンランプ等に比べて熱線の発生が極めて低いので、後述する光源レンズ 18や投影光学系 20として、榭脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、光源レンズ 18,投影光学系 20を安価で軽量に構成することができる。 [0052] LEDアレイ 17Aを構成する各 LED17は、各々同じ発光色を発光する。各 LED17 は、材料に Al、 In、 Ga、 Pの 4元素が用いられており、アンバー色を発光する。よって、複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなぐ色収差を補正するために投影光学系 20として色消しレンズを採用する必要はないので、簡単な面構成および安価な材料の投影手段を提供すると!、う効果がある。

[0053] また、他の発光色に比べて電気光変換率が約 801umenZWと高い 4元素材料のアンバー色 LEDを採用することで、一層、高輝度、節電、長寿命化を図ることができる。尚、各 LED17を千鳥状に配置する事に関する効果については、図 4 (a)から図 4 (c)を参照して説明する。

[0054] 具体的には、 LEDアレイ 17Aは 59個の LED17からなり、各 LED17は 50mW(20 mA, 2. 5V)で駆動される。したがって、全 59個の LED17は略 3Wの消費電力で駆動される。各 LED17から発光される光力光源レンズ 18、投影 LCD19を通過して投影光学系 20から照射される場合の光束値としての明るさは、全面照射の場合であつても 25ANSIルーメン程度に設定されて!、る。

[0055] この明るさを採用することで、例えば、立体画像モードにおいて、人や動物の顔面等の被写体の 3次元形状を検出する場合に、人や動物に眩しさを与えず、人や動物が目をつぶっていない状態の 3次元形状を検出することができる。

[0056] 光源レンズ 18は、 LEDアレイ 17Aから放射状に発光される光を集光する集光光学系としてのレンズであり、その材質はアクリルに代表される光学樹脂で構成されている

[0057] 具体的には、光源レンズ 18は、 LEDアレイ 17Aの各 LED17に対向する位置に投影 LCD19側に向けて凸設された凸状のレンズ部 18aと、そのレンズ部 18aを支持するベース部 18bと、そのベース部 18bの内部空間であって LEDアレイ 17Aを内包する開口に充填される、 LED17の封止および基板 16と光源レンズ 18との接着を目的としたエポキシ封止材 18cと、ベース部 18bから基板 16側に突設され、光源レンズ 18 と基板 16とを接続する位置決めピン 18dとを備えている。

[0058] 光源レンズ 18は、開口の内部に LEDアレイ 17Aを内包させつつ、基板 16に穿設されている長孔 16に位置決めピン 18dを差し込むことによって、基板 16上に固定される。

[0059] よって、省スペースで光源レンズ 18を配置することができる。また、基板 16に LED アレイ 17Aを実装するという機能の他に、光源レンズ 18を支持するという機能をも備えさせることによって、光源レンズ 18を支持する部品を別途設ける必要がなくなり、部品点数を削減することができる。

[0060] 各レンズ部 18aは、 LEDアレイ 17Aの各 LED17と 1対 1の関係で対向する位置に配置されている。

[0061] よって、各 LED17から発光される放射状の光は、各 LED17に対向する各レンズ部 18aによって効率良く集光され、図 3 (a)に示すような指向性の高い放射光として投影 LCD19に照射される。この様に指向性を高めたのは、投影 LCD19に略垂直に光を入射させることによって、面内の透過率ムラが抑制され得るためである。また、指向性を高めた理由は、投影光学系 20はテレセントリック特性を持ち、その入射 NAが 0. 1程度であるため、垂直 ± 5° 以内の光のみが内部の絞りを通過できるように規制されているためである。従って、 LED17からの光を出射角度を投影 LCD19に対し垂直に揃え、且つ、 ± 5° にほとんどの光束を入れることが画質向上の要点となる。なぜなら投影 LCD19に垂直力も外れた光を入射すると、液晶の旋光性により、透過率が入射角度に依存して変わってしまい、透過率ムラとなる力もである。

[0062] 投影 LCD19は、光源レンズ 18を通過して集光された光に空間変調を施して、投影光学系 20に向けて画像信号光を出力する空間変調素子である。具体的には、投影 LCD 19は、縦横のサイズの異なる板状の液晶ディスプレイ（Liquid Crystal Disp lay)で構成されている。

[0063] 図 3 (c)に示すように、投影 LCD 19を構成する各画素は、投影 LCD 19の長手方向に沿って一直線状に並べられた 1の画素列と、その 1の画素列とは投影 LCD19の長手方向において所定間隔ずれた他の画素列とが交互に並列に並べられた状態となるように配置されている。

[0064] 尚、図 3 (c)にお、て、紙面手前側が撮像ヘッド 2の正面側に対応し、紙面裏側から光が投影 LCD19に向けて照射される。また、図 3 (c)では、被写体力もの光は紙面手間側から奥側に向か、、 CCD22上に被写体像が結像される。 [0065] このように、投影 LCD19を構成する画素を長手方向において千鳥状に配置することで、長手方向と直交する方向（短手方向）において、投影 LCD19によって空間変調が施される光を 1Z2ピッチで制御することができる。従って、細いピッチで投影パターンを制御でき、分解能を上げて高精度に 3次元の形状を検出することができる。

[0066] 特に、後述する立体画像モードや平面化画像モードにお!、て、被写体の 3次元形状を検出すベぐ被写体に向けて明暗を交互に並べてなる縞状のパターン光を投光する場合に、その縞方向を投影 LCD19の短手方向に一致させることで、明暗の境界を 1Z2ピッチで制御することができる。したがって、高精度に 3次元の形状を検出することができる。

[0067] 撮像ヘッド 2の内部において、投影 LCD19と CCD22とは、図 3 (c)に示すような関係で配置される。具体的には、投影 LCD19の幅広面と CCD22の幅広面とは略同一の方向に向、て配置されて、るので、投影 LCD 19から投影面に投影されて、る画像を CCD22に結像させる場合に、投影画像をノヽーフミラー等で屈曲させることなぐそのままの状態で投影画像を結像させることができる。

[0068] CCD22は、投影 LCD19の長手方向側（画素列が延びる方向側）に配置されている。この場合、特に、立体画像モードや平面化画像モードにおいて、三角測量の原理を利用して被写体の 3次元形状を検出する場合には、 CCD22と被写体とのなす傾きを 1Z2ピッチで制御することができるので、高精度に 3次元の形状を検出することが可能になる。

[0069] 投影光学系 20は、投影 LCD 19を通過した画像信号光を投影面に向けて投影する複数のレンズからなる。投影光学系 20は、ガラス及び榭脂の組み合わせカゝらなるテレセントリックレンズで構成されている。テレセントリックとは、投影光学系 20を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。このようにテレセントリックにすることで、前述のように投影 LCD19を垂直士 5° で通過する光のみを投影し得るので、画質を向上させることができる。

[0070] 図 4 (a)から図 4 (c)は、 LEDアレイ 17Aの配列に関する説明をするための図である。図 4 (a)は光源レンズ 18を通過した光の照度分布を示す図であり、図 4 (b)は LED アレイ 17Aの配列状態を示す平面図であり、図 4 (c)は投影 LCD19面における合成照度分布を示す図である。

[0071] 図 4 (a)に示すように、光源レンズ 18を通過した光は、半値拡がり半角 Θ (=略 5° )で、図 4 (a)右側に図示するような照度分布を有する光として投影 LCD19の表面に到達するように設計されて、る。

[0072] 図 4 (b)に示すように、複数の LED17は基板上 16に千鳥状に配列されている。具体的には、複数個の LED17を dピッチで直列に並べた LED列力 3/2dピッチで並列に複数並べられており、更に、このように並列に並べられた複数の LED列において、 1列おきの列は隣の列に対して同じ方向に lZ2d移動された状態になっている。

[0073] 換言すれば、 1の LED17と、その 1の LED17の周辺の LED17との間隔は dになるように設定されて、る（すなわち、 LED17は三角格子配列となって、る）。

[0074] この dの長さは、 LED17の 1つから出射された光によって投影 LCD19において形成される照度分布の半値全幅（FWHM (Full Width Half Maximum) )以下となる様に決定されている。

[0075] よって、光源レンズ 18を通過して投影 LCD19の表面に到達する光の合成照度分布は、図 4 (c)に示すように小さなリップルを含んだ略直線状になり、投影 LCD19の面に略均一に光を照射することができる。従って、投影 LCD19における照度ムラを抑制することができ、結果的に、高品質な画像を投影することができる。

[0076] 図 5は、画像入出力装置 1の電気的なブロック図である。尚、既に上述した構成ついては、その説明を省略する。プロセッサ 15は、 CPU35と、 ROM36と、 RAM37とを備えている。

[0077] CPU35は、 ROM36に記憶されたプログラムにした力^、、 RAM37を利用して各種の処理を行う。 CPU35の制御の下で行われる処理には、レリーズボタン 8の押下げ操作の検知、 CCD22から画像データの取り込み、その画像データの転送、格納、モード切替スィッチ 9の状態の検出等が含まれる。

[0078] ROM36には、カメラ制御プログラム 36aと、パターン光撮影プログラム 36bと、輝度画像生成プログラム 36cと、コード画像生成プログラム 36dと、コード境界抽出プログラム 36eと、レンズ収差補正プログラム 36fと、三角測量演算プログラム 36gと、原稿姿勢演算プログラム 36hと、平面変換プログラム 36iとが格納されて、る。

[0079] カメラ制御プログラム 36aは、図 6に示すメイン処理を含む画像入出力装置 1全体の制御に関するプログラムである。

[0080] ノターン光撮影プログラム 36bは、原稿 Pの 3次元形状を検出するために被写体にノターン光を投影した状態と、投影して、な、状態とを撮像するプログラムである。

[0081] 輝度画像生成プログラム 36cは、パターン光撮影プログラム 36bによってパターン光を投影した状態で撮像されたパターン光有画像と、ノターン光を投影して、なヽ状態で撮像されたパターン光無画像との差分をとり、投影されたパターン光の輝度画像を生成するプログラムである。

[0082] また、パターン光は複数種類のものが時系列に投影され各パターン光毎に撮像され、撮像された複数枚のパターン光有画像の各々とパターン光無画像との差分がとられ、複数種類の輝度画像が生成される。

[0083] コード画像生成プログラム 36dは、輝度画像生成プログラム 36cによって生成される複数枚の輝度画像を重ね合わせ、各画素毎に所定のコードを割り当てたコード画像を生成するプログラムである。

[0084] コード境界抽出プログラム 36eは、コード画像生成プログラム 36dによって生成されるコード画像と、輝度画像生成プログラム 36cによって生成される輝度画像とを利用して、コードの境界座標をサブピクセル精度で求めるプログラムである。

[0085] レンズ収差補正プログラム 36fは、コード境界抽出プログラム 36eによってサブピクセル精度で求められてヽるコードの境界座標に対して、撮像光学系 20の収差補正を行うプログラムである。

[0086] 三角測量演算プログラム 36gは、レンズ収差補正プログラム 36fによって収差補正がなされたコードの境界座標から、その境界座標に関する実空間の 3次元座標を演算するプログラムである。

[0087] 原稿姿勢演算プログラム 36hは、三角測量演算プログラム 36gで演算された 3次元座標から原稿 Pの 3次元形状を推定して求めるプログラムである。

[0088] 平面変換プログラム 36iは、原稿姿勢演算プログラム 36hで演算される原稿 Pの 3次元形状に基づき、原稿 Pの正面力も撮像したような平面化画像を生成するプログラムである。

[0089] RAM37には、パターン光有画像格納部 37aと、パターン光無画像格納部 37bと、輝度画像格納部 37cと、コード画像格納部 37dと、コード境界座標格納部 37eと、 ID 格納部 37fと、収差補正座標格納部 37gと、 3次元座標格納部 37hと、原稿姿勢演算結果格納部 37iと、平面変換結果格納部 37jと、投影画像格納部 37kと、ヮーキングエリア 371とが記憶領域として割り当てられて、る。

[0090] パターン光有画像格納部 37aは、パターン光撮影プログラム 36bによって原稿 Pにノターン光を投影した状態を撮像したパターン光有画像を格納する。パターン光無画像格納部 37bは、パターン光撮影プログラム 36bによって原稿 Pにパターン光を投影して、な、状態を撮像したパターン光無画像を格納する。

[0091] 輝度画像格納部 37cは、輝度画像生成プログラム 36cによって生成される輝度画像を格納する。コード画像格納部 37dは、コード画像生成プログラム 36dによって生成されるコード画像を格納する。コード境界座標格納部 37eは、コード境界抽出プログラム 36eによって、抽出されるサブピクセル精度で求められた各コードの境界座標を格納する。 ID格納部 37fは、境界を有する画素位置において明暗の変化を有する輝度画像に割り当てられる ID等を格納する。収差補正座標格納部 37gは、レンズ収差補正プログラム 36fによって収差補正がなされたコードの境界座標を格納する。 3 次元形状座標格納部 37hは、三角測量演算プログラム 36gによって演算される実空間の 3次元座標を格納する。

[0092] 原稿姿勢演算結果格納部 37iは、原稿姿勢演算プログラム 36hによって演算される原稿 Pの 3次元形状に関するパラメータを格納する。平面変換結果格納部 37jは、平面変換プログラム 36はって生成される平面変換結果を格納する。投影画像格納部 3 7kは、画像投影部 13から投影する画像情報を格納する。ワーキングエリア 371は、 C PU15での演算のために一時的に使用するデータを格納する。

[0093] 図 6は、 CPU35による制御の下で実行されるメイン処理のフローチャートである。尚、このメイン処理におけるデジカメ処理（S605)、 webcam処理（S607)、立体画像処理（S607)、平面化画像処理（S611)

、ての詳細は後述する。

[0094] メイン処理では、まず、電源が起動されると（S601)、プロセッサ 15やその他のインターフェイス等が初期化される (S602)。

[0095] そして、モード切替スィッチ 9の状態を判別するキースキャンが行われ（S603)、モード切替スィッチ 9の設定がデジカメモードか否かが判断され（S604)、デジカメモードであれば（S604 : Yes)、後述するデジカメ処理に移行する（S605)。

[0096] 一方、デジカメモードでなければ（S604 : No)、モード切替スィッチ 9の設定が web camモードか否かが判断され（S606)、 webcamモードであれば（S606 : Yes)、後述する webcam処理に移行する（S607)。

[0097] 一方、 webcamモードでなければ（S605 : No)、モード切替スィッチ 9の設定が立体画像モードか否かが判断され（S608)、立体画像モードであれば（S608 : Yes)、後述する立体画像処理に移行する（S609)。

[0098] 一方、立体画像モードでなければ（S608 : No)、モード切替スィッチ 9の設定が平面化画像モードか否かが判断され (S610)、平面化画像モードであれば (S610 : Ye s)、後述する平面化画像処理に移行する（S611)。

[0099] 一方、平面化画像モードでなければ（S610 : No)、モード切替スィッチ 9がオフモードか否かが判断され（S612)、オフモードでなければ（S612 : No)、 S603からの処理が繰り返される。ステップ S612において、オフモードであれると判定された場合には（S612 :Yes)、当該処理を終了する。

[0100] 図 7は、デジカメ処理（図 6の S605)のフローチャートである。デジカメ処理は、画像撮像部 14によって撮像した画像を取得する処理である。

[0101] この処理では、まず、 CCD22に高解像度設定信号が送信される（S701)。これにより高品質の撮像画像を使用者に提供することができる。

[0102] 次に、モニタ LCD10にファインダ画像 (ファインダ 6を介して見える範囲の画像）が表示される（S702)。よって、使用者は、ファインダ 6を覼き込むことなぐモニタ LCD

10に表示された画像によって実際の撮像の前に、撮像画像 (撮像範囲）を確認することができる。

[0103] 次に、レリーズボタン 8をスキャンし（S703a)、レリーズボタン 8が半押しされたか否かを判断する（S703b)。半押しされていれば（S703b : Yes)、オートフォーカス (AF )および自動露出 (AE)機能を起動し、ピント、絞り、シャツタスピードを調節する（S7 03c)。半押しされていなければ（S703b :No)、 S703aからの処理を繰り返す。

[0104] 次に、再び、レリーズボタン 8をスキャンし（S703d)、レリーズボタン 8が全押しされたか否かを判断する（S703e)。全押しされていれば（S703e : Yes)、フラッシュモードか否かを判断する（S704)。

[0105] その結果、フラッシュモードであれば（S704 : Yes)、フラッシュ 7を投光して（S705)

、撮影が行われる（S706)。フラッシュモードでなければ（S704 : No)、フラッシュ 7を投光することなく撮影する（S706)。尚、 S703eの判断において、全押しされていなければ (S703e： No)、 S703a力らの処理を繰り返す。

[0106] 次に、撮影した撮像画像を CCD22からキャッシュメモリ 28に転送し（S707)、キヤッシュメモリ 28に記憶された撮像画像をモニタ LCD10に表示する（S708)。このように、撮像画像をキャッシュメモリ 28に転送することでメインメモリに転送する場合に比較して、撮像画像を高速にモニタ LCD10に表示させることができる。そして、その撮像画像を外部メモリ 27に格納する（S709)。

[0107] 最後に、モード切替スィッチ 9に変化が無いか否かを判断し (S710)、変化が無ければ（S710 :Yes)、 S702からの処理を繰り返す。ステップ S710において変化があると判定された場合には（S710 :No)、当該処理を終了する。

[0108] 図 8は、 webcam処理（図 6の S607)のフローチャートである。 webcam処理は、画像撮像部 14で撮像した撮像画像 (静止画および動画を含む)を外部ネットワークに送信する処理である。尚、本実施形態では、撮像画像として動画を外部ネットワークに送信する場合を想定して、る。

[0109] この処理では、まず、 CCD22に低解像度設定信号を送信し (S801)、周知のォートフォーカス及び自動露出機能を起動して、ピント、絞り、シャッター速度を調節した後に（S802)、撮影を開始する（S803)。

[0110] そして、撮影された撮像画像をモニタ LCD10に表示し (S804)、ファインダ画像を投影画像格納部 37kに格納し (S805)、後述する投影処理を行い（S806)、投影画像格納部 37kに格納されている画像を投影面に投影する。

[0111] また、撮像画像を CCD22からキャッシュメモリ 28に転送し（S807)、キャッシュメモリ 28に転送された撮像画像を RFインターフェイスを介して外部ネットワークに送信する（S808)。

[0112] そして、最後に、モード切替スィッチ 9に変化が無いか否かを判断し (S809)、変化が無ければ（S809 :Yes)、 S802からの処理を繰り返し、変化があれば（S809 :No) 、当該処理を終了する。

[0113] 図 9は投影処理（図 8の S806)のフローチャートである。この処理は、投画像投影部 13から投影画像格納部 37kに格納されている画像を投影面に投影する処理である。この処理では、まず、投影画像格納部 37kに画像が格納されているカゝ否かを確認する（S901)。格納されていれば（S901 : Yes)、投影画像格納部 37kに格納されている画像を投影 LCDドライバ 30に転送し（S902)、投影 LCDドライバ 30から、その画像に応じた画像信号を投影 LCD19に送り、投影 LCDに画像を表示する（S903)

[0114] 次に、光源ドライバ 29を駆動し (S904)、その光源ドライバ 29からの電気信号によつて LEDアレイ 17Aを点灯し（S905)、当該処理を終了する。

[0115] こうして、 LEDアレイ 17Aが点灯すると、 LEDアレイ 17Aから発光する光は、光源レンズ 18を介して投影 LCD 19に到達し、投影 LCD19において、投影 LCDドライバ 3 0から送信される画像信号に応じた空間変調が施され、画像信号光として出力される。そして、その投影 LCD19から出力される画像信号光は、投影光学系 20を介して投影面に投影画像として投影される。

[0116] 図 10は立体画像処理（図 6の S609)のフローチャートである。立体画像処理は、被写体の 3次元形状を検出し、その立体画像としての 3次元形状検出結果画像を取得、表示、投影する処理である。

[0117] この処理では、まず、 CCD22に高解像度設定信号を送信し (S1001)、モニタ LC D10にファインダ画像を表示する（S 1002)。

[0118] 次に、レリーズボタン 8をスキャンし（S1003a)、レリーズボタン 8が半押しされたか否かを判断する（S 1003b)。半押しされていれば（S 1003b : Yes)、オートフォーカス (AF)および自動露出 (AE)機能を起動し、ピント、絞り、シャツタスピードを調節する (S 1003c)。半押しされていなければ（S 1003b : No)、 S 1003aからの処理を繰り返す。 [0119] 次に、再び、レリーズボタン 8をスキャンし（S1003d)、レリーズボタン 8が全押しされたか否かを判断する（S1003e)。全押しされていれば（S1003e : Yes)、フラッシュモード力否かを判断する（S1003f)。

[0120] その結果、フラッシュモードであれば（S1003f : Yes)、フラッシュ 7を投光して（S 10 03g)、撮影が行われる（S1003h)。フラッシュモードでなければ（S1003f :No)、フラッシュ 7を投光することなく撮影する（S1003h)。 S1003eの判断において、全押しされてヽなければ (S1003e： No)、 S 1003aからの処理を繰り返す。

[0121] 次に、後述する 3次元形状検出処理を行い、被写体の 3次元形状を検出する（S10 06)。

[0122] 次に、 3次元形状検出処理 (S1006)における 3次元形状検出結果を外部メモリ 27 に格納し（S1007)、 3次元形状検出結果をモニタ LCD10に表示する（S1008)。尚、この 3次元形状検出結果とは、各計測頂点の実空間における 3次元座標 (XYZ)の集合体として表示する。

[0123] 次に、 3次元形状検出結果としての計測頂点をポリゴンで結んでそのサーフェスを表示した立体画像（3Dの CG画像）としての 3次元形状検出結果画像を投影画像格納部 37kに格納し (S1009)、図 8の S806の投影処理と同様な投影処理を行う（S10 10)。尚、この場合には、図 18 (a)及び図 18 (b)に関して説明する投影 LCD19上の座標を 3次元空間座標に変換する式の逆関数を利用して、求められた 3次元座標に対する投影 LCD19上の座標を求めることで、 3次元形状結果座標を投影面に投影させることがでさる。

[0124] そして、モード切替スィッチ 9に変化が無いか否かを判断し（S1011)、変化が無ければ（S1011 :Yes)、 S702からの処理を繰り返す。変化があれば（S1011 :No)、当該処理を終了する。

[0125] 図 11 (a)は、上述した 3次元形状検出処理（図 10の S1006)において、 3次元形状を検出するために利用する空間コード法の原理を説明するための図である。図 11 (b )は、図 11 (a)とは異なるパターン光を示す図である。パターン光にはこれら図 11 (a) 、図 11 (b)に示されるいずれのものが用いられても良ぐ更には、多階調コードであるグレイレベルコードが用いられても良、。 [0126] この空間コード法につての詳細は、佐藤宏介、他 1名、「空間コードィ匕による距離画像入力」、電子通信学会論文誌、 85Z3Vol. J 68-D No3 p369〜375に詳細に開示されている。

[0127] 空間コード法は、投影光と観測画像間の三角測量に基づいて被写体の 3次元形状を検出する方法の 1種であり、図 11 (a)に示すように、投影光源 Lと観測器 Oとを距離 Dだけ離して設置し、空間を細長!/ヽ扇状領域に分割しコード化することを特徴とする

[0128] 図中の 3枚のマスクパターン A, B, Cを MSB力順番に投影すると、各扇状領域はマスクによって明「1」と暗「0」とにコード化される。例えば、点 Pを含む領域は、マスク

A, Bでは光が当たらず、マスク Cでは明になるので、 001 (A=0、 B = 0、 C= l)とコード化される。

[0129] 各扇状の領域には、その方向 φに相当するコードが割り当てられ、それぞれのコードの境界を 1本のスリット光線とみなすことができる。そこで各マスクごとに情景を観測機器としてのカメラで撮影し、明暗パターンを 2値ィ匕してメモリの各ビットプレーンを構成していく。

[0130] こうして、得られた多重ビットプレーン画像の横方向の位置 (アドレス）は、観測方向

Θに相当し、このアドレスのメモリの内容は投影光コード、即ち、 φを与える。この Θと Φとから注目点の座標を決定する。

[0131] また、この方法で使用するマスクパターンとしては、図 11 (a)ではマスクパターン A,

B, Cのような純 2進コードを用いる場合を図示している力マスクの位置ズレが起こると領域の境界で大きな誤差が生ずる危険性がある。

[0132] 例えば、図 11 (a)の点 Qは領域 3 (011)と領域 4 (100)の境界を示している力もしマスク Aの 1がずれ込むと領域 7 (111)のコードが生ずる可能性がある。換言すれば、隣接する領域間でハミング距離が 2以上のところで、大きな誤差が発生する可能性がある。

[0133] そこで、この方法で使用するマスクパターンとしては、図 11 (b)に示すように、隣接する領域間でハミング距離が常に 1であるコードを使うことで、上述したようなコードィ匕誤差を避けることができるとされて、る。 [0134] 図 12 (a)は、 3次元形状検出処理（図 10の S1006)のフローチャートである。この処理では、まず、撮像処理を行う（S1210)。この撮像処理は、図 11 (a)に示す複数枚の純 2進コードのマスクパターンを利用して画像投影部 13から、明暗を交互に並べてなる縞状のパターン光（図 1参照）を時系列的に被写体に投影し、各パターン光が投影されてヽる状態を撮像したパターン光有画像と、ノターン光が投影されてヽな状態を撮像したパターン光無画像とを取得する処理である。

[0135] 撮像処理を終了すると（S1210)、 3次元計測処理を行う（S1220)。 3次元計測処理は、撮像処理によって取得したパターン光有画像とパターン光無画像とを利用して、実際に被写体の 3次元形状を計測する処理である。こうして、 3次元計測処理を終了すると（S1220)、当該処理を終了する。

[0136] 図 12 (b)は、撮像処理（図 12 (a)の S1210)のフローチャートである。この処理は、ノターン光撮影プログラム 36aに基づき実行され、まず、画像投影部 13からパターン光を投影することなぐ画像撮像部 14によって被写体を撮像することで、パターン光無画像を取得する（S1211)。尚、取得したパターン光無画像はパターン光無画像格納部 37bに格納される。

[0137] 次に、カウンタ iを初期化し（S1212)、そのカウンタ iの値が最大値 imaxか否かを判断する（S1213)。尚、最大値 imaxは使用するマスクパターンの数によって決定される。例えば、 8種類のマスクパターンを使用する場合には、最大 imax ( = 8)となる。

[0138] そして、判断の結果、カウンタ iの値が最大値 imaxより小さい場合には（S1213 : Ye s)、使用するマスクパターンの内、 i番のマスクパターンを投影 LCD 19に表示し、その i番のマスクパターンによって投影される i番のパターン光を投影面に投影し（S121 4)、そのパターン光が投影されている状態を画像撮像部 14によって撮影する（S12 15)。

[0139] こうして、被写体に i番のパターン光が投影された状態を撮像したパターン光有画像を取得する。尚、取得したパターン光有画像は、パターン光有画像格納部 37aに格納される。

[0140] 撮影を終了すると、 i番のパターン光の投影を終了し（S1216)、次のパターン光を投影すべく、カウンタ iに「 1」を加算して（S1217)、 S1213からの処理を繰り返す。 [0141] そして、カウンタ iの値が最大値 imaxより大きいと判断すると（S1213 :No)、当該処理を終了する。即ち、この撮像処理においては、 1枚のパターン光無画像と、最大値 i max枚のパターン光有画像とを取得することになる。

[0142] 図 12 (c)は、 3次元計測処理（図 12 (a)の S1220)のフローチャートである。この処理は、輝度画像生成プログラム 36cに基づき実行される。この処理では、まず、輝度画像を生成する（S1221)。ここで、輝度は、 YCbCr空間における Y値であり、各画素の RGB値より Y=0. 2989 -R+O. 5866 -G + 0. 1145 · Βから計算される値である。各画素について Υ値を求めることにより、各パターン光有及び無し画像に関する輝度画像を生成する。生成した輝度画像は、輝度画像格納部 37cに格納される。また、パターン光の番号に対応した番号を各輝度画像に割り付けておく。

[0143] 次に、コード画像生成プログラム 36dにより、上述した空間コード法を利用して、生成した輝度画像を組み合わせることで、各画素毎にコード化されたコード画像を生成する（S1222)。

[0144] このコード画像は、輝度画像格納部 37cに格納したパターン光有画像に関する輝度画像の各画素について、あら力じめ設定した輝度閾値と比較し、その結果を結合させることで生成することができる。生成されたコード画像はコード画像格納部 37dに格納される。

[0145] 次に、コード境界抽出プログラム 36eにより、後述するコード境界座標検出処理を行い（S1223)、各画素毎に割り当てられたコードの境界座標をサブピクセル精度で検出する。

[0146] 次に、レンズ収差補正プログラム 36fにより、レンズ収差補正処理を行う（S1224)。

この処理によって、撮像光学系 21の歪みなどの影響で誤差を含んでいる S1223で検出されるコード境界座標の誤差を補正することができる。

[0147] 次に、三角測量演算プログラム 36gにより、三角測量原理による実空間変換処理を行う（S1225)。この処理によって収差補正が施された後の CCD空間上のコード境界座標は、実空間における 3次元座標に変換され、 3次元形状検出結果としての 3次元座標が求められる。

[0148] 図 13は、コード境界座標検出処理（図 12の S1223)の概略を説明するための図である。上側の図は、 CCD空間において実際のパターン光の明暗の境界を境界線 K で示し、そのパターン光を上述した空間コード法でコード化し、 1のコードと他のコードとの境界を図中太線で示した図である。

[0149] 即ち、上述した空間コード法におけるコードィ匕は、各画素単位で行われるため、実際のパターン光の境界線 Kと、コード化された境界（図中太線）とではサブピクセル精度の誤差が生ずる。そこで、このコード境界座標検出処理は、コードの境界座標をサブピクセル精度で検出することを目的とする。

[0150] この処理では、まず、ある検出位置（以下「curCCDX」と称す）にお、て、ある着目コード (以下「curCode」 t 、う）力も他のコードに変化する第 1画素 Gを検出する（第 1 画素検出工程)。

[0151] 例えば、 curCCDXにおいて、上から順番に各画素を検出すると、境界 (太線)までは curCodeを有する画素である力境界の次の画素、即ち、第 1画素 Gにおいて、 c urCodeは変化して!/、るので、これを第 1画素 Gとして検出する。

[0152] 次に、その第 1画素 Gの画素位置において、図 12の S1221において輝度画像格納部 37cに格納された輝度画像の内から、明暗の変化を持つ輝度画像の全部を抽出する (輝度画像抽出工程)。

[0153] 次に、近似に利用するための画素領域を特定するために検出位置を「2」左側に移動させ、検出位置 curCCDX— 2の位置において、コード画像を参照して、着目コード（curCode)力他のコードに変化する画素（境界画素（curCCDX— 2の検出位置では画素 H) )を探し、その画素を中心に予め定めた範囲 (本実施例の場合 Y軸方向に 3画素と + 2画素の範囲）の画素範囲を特定する（画素領域特定手段の一部)。

[0154] 次に、その予め定めた範囲内において、図中の下側の左側のグラフに示すように、 Y方向の画素位置と輝度とに関する近似式（図中実線で示す)を求め、その近似式における輝度閾値 bThとの交点における Y座標 Y1を求める（境界座標検出工程の一部)。

[0155] 尚、輝度閾値 bThは、予め定められた範囲内から算出（例えば、各画素の輝度の平均の 2分の 1)しても良ぐ予め与えられた固定値であっても良い。これにより、明と暗との境界をサブピクセル精度で検出することができる。 [0156] 次に、検出位置を curCCDX—2から「1」右側に移動させ、 curCCDX—lにおいて上述したのと同様な処理を行、、 curCCDX- 1における代表値を求める（境界座標検出工程の一部)。

[0157] このように、境界画素を中心に Y軸方向に予め定めた範囲と、 X軸方向における cu rCCDX- 2から curCCDX+ 2の範囲とで構成される画素領域（図中右下がり斜線部参照）において、各検出位置における代表値を求める。

[0158] これまでの処理を curCodeから他のコードへ変化する画素を持つ輝度画像の全てに行い、各輝度画像についての代表値の加重平均値を最終的に curCodeにおける境界座標として採用する (境界座標検出工程の一部)。

[0159] これにより、コードの境界座標を高精度にサブピクセル精度で検出することができ、この境界座標を利用して上述した三角測量原理による実空間変換処理 (図 12の S1 225)を行うことで、高精度に被写体の 3次元形状を検出することができる。

[0160] また、このように輝度画像に基づき算出される近似式を利用して境界座標をサブピクセル精度で検出することができるため、従来のように撮像枚数を増カロさせることもなぐまた、純 2進コードで明暗付けられたパターン光であっても良ぐ特殊なパターン光であるグレイコードを用いる必要はな、。

[0161] 尚、本実施例では、各検出位置において境界画素を中心に Y軸方向に「一 3」から「 + 2」の範囲と、 X軸方向における検出位置としての curCCDX— 2から curCCDX + 2の範囲とで構成される領域を、近似を求めるための画素領域として説明したが、この画素領域の Y軸、 X軸の範囲はこれらに限定されるものではない。例えば、 curC CDXの検出位置における境界画素を中心とした Y軸方向への所定範囲だけを画素領域としても良い。

[0162] 図 14は、コード境界座標検出処理（図 12 (c)の S1223)のフローチャートである。この処理は、コード境界抽出プログラム 36eに基づき実行される。この処理では、まず、 CCD空間におけるコード境界座標列の各要素を初期化し (S 1401)、 curCCDXを開始座標に設定する（S1402)。

[0163] 次に、 curCCDXが終了座標以下力否かを判断し（S 1403)、終了座標以下であれば（S 1403 : Yes)、 curCodeを「0」に設定する（S1404)。即ち、 curCodeは当初、最小値に設定される。

[0164] 次に、 curCodeが最大コードより小さいか否かを判断する（S1405)。 curCodeが最大コードより小さければ（S 1405 :Yes)、 curCCDXにおいてコード画像を参照して、 curCodeの画素を探し（S 1406)、 curCodeの画素が存在するか否かを判断する（S1407)。

[0165] その結果、 curCodeの画素が存在していれば（S 1407 : Yes)、 curCCDXにおいて、その curCodeよりも大きな Codeの画素をコード画像を参照して探し（S 1408)、その curCodeよりも大きな curCodeの画素が存在するか否かを判断する（S 1409)。

[0166] その結果、 curCodeよりも大きな Codeの画素が存在していれば（S 1409 : Yes)、後述する境界をサブピクセル精度で求める処理を行う（S1410)。そして、次の curC odeについて境界座標を求めるベぐ curCodeに「1」を加算して（S1411)、 S 1405 からの処理を繰り返す。

[0167] 即ち、境界は、 curCodeを有する画素の画素位置または curCodeよりも大きな Cod eの画素の画素位置に存在しているため、本実施例では、暫定的に境界は、 curCod eより大きな curCodeの画素の画素位置にあると仮定して処理を進めるものである。

[0168] また、 curCodeが存在していない場合や（S 1407 : No)、 curCodeよりも大きな Co deの画素が存在して!/ヽな、場合には（S1409： No)、次の curCodeにつ!/、て境界座標を求めるベぐ curCodeに「1」をカ卩算して（S1411)、 S1405からの処理を繰り返す。

[0169] こうして、 0から最大コードまでの curCodeについて、 S1405力ら S1411までの処理を繰り返し、 curCodeが最大コードより大きくなると（S 1405 : No)、検出位置を変更すべぐ curCCDXに「dCCDX」を加算し（S 1412)、新たな検出位置において、上述したのと同様に S1403からの処理を繰り返す。

[0170] そして、 curCCDXを変更してゆき、最終的に curCCDXが終了座標より大きくなると（S1403)、即ち、開始座標力も終了座標までの検出が終了すると、当該処理を終了する。

[0171] 図 15は、コード境界座標をサブピクセル精度で求める処理（図 14の S1410)のフロ一チャートである。 [0172] この処理では、まず、図 12 (c)の S1221において輝度画像格納部 37cに格納された輝度画像の内から、図 14の S1409において検出された curCodeよりも大きな Cod eを有する画素の画素位置において、明暗の変化を持つ輝度画像の全部を抽出する（S1501)。

[0173] そして、その抽出した輝度画像のマスクパターン番号を配列 PatID[]へ格納し、その抽出した輝度画像の画像数を noPatIDへ格納する（S1502)。尚、配列 PatID[] と noPatIDとは ID格納部 37fに格納される。

[0174] 次に、カウンタ iを初期化し（S1503)、カウンタ iの値力 ¾oPatIDより小さいか否かを判断する（S 1504)。その結果、小さいと判断されれば（S 1504 : Yes)、カウンタこ対応する PatID[i]のマスクパターン番号を持つ輝度画像について、境界の CCDY 値を求め、その値を f CCDY[i]へ格納する（S 1505)。

[0175] この S1505の処理を終了すると、カウンタ iに「1」をカロ算し（S1506)、 S1504力らの処理を繰り返す。そして、 S1504において、カウンタ iの値力 oPatIDより大きいと判断されると（S1504 :No)、即ち、 S1501で抽出された全部の輝度画像について S 1505の処理が終了すると、 S1505の処理で求めた fCCDY[i]の加重平均値を計算し、その結果を境界値とする（S 1507)。

[0176] 尚、加重平均値に代えて、 S1505の処理で求めた fCCDY[i]の中央値を計算し、その結果を境界値としたり、統計的な計算により境界値を計算したりすることもできる

[0177] 即ち、境界座標は、 curCCDXの座標と、 S 1507で求められる加重平均値とで表現され、この境界座標をコード境界座標格納部 37eに格納して、当該処理を終了する。

[0178] 図 16は、 PatID[i]のマスクパターン番号を持つ輝度画像について、境界の CCD

Y値を求める処理（図 15の S1505)のフローチャートである。

[0179] この処理では、まず、「curCCDX— dx」と「0」との内、大きい値を ccdxとして設定する「ccdx=MAX(curCCDX—dx, 0)」で表される処理を行うと共に、カウンタ jを初期化する（S1601)。

[0180] 具体的には、 S1601でいう「0」は CCDX値の最小値を意味し、例えば、今、検出位置としての curCCDX値が「1」で、予め設定されている dx値が「2」であったとすると、「curCCDX— dx」は「一 1」となり、 CCDX値の最小値である「0」よりも小さくなるため、「一 1」における以降の処理は、「ccdx=0」として設定する処理を行う。

[0181] 即ち、 CCDX値の最小値よりも小さい位置については、以降の処理を除外する処理を行う。

[0182] 尚、この「dx」の値は、予め「0」を含む適当な整数に設定することができ、図 13で説明した例では、この「dx」は「2」に設定されており、図 13の例に従えば、この ccdxは「 curCCDX- 2 Jに設定されること〖こなる。

[0183] 次に、 ccdx< = MIN (curCCDX + dx, ccdW—l)であるか否かを判断する（S16 02)。つまり、左辺の「MIN (curCCDX+dx, ccdW— 1)」は、「curCCDX+dx」と、 CCDX値の最大値「ccdW」から「1」を減算した「ccdW— 1」との内、小さい値であることを意味して、るので、その値と「ccdx」値との大小を比較する。

[0184] 即ち、 CCDX値の最大値よりも大きい位置については、以降の処理を除外する処理を行う。

[0185] そして、判断の結果、 ccdxが MIN (curCCDX+dx, ccdW—l)よりも小さければ（ S1602 :Yes)、コード画像と PatID[i]が割り当てられた輝度画像とを参照して、境界の存在する画素の画素位置の eCCDY値を求める（S 1603)。

[0186] 例えば、検出位置を図 13に示す curCCDX— 1であるとすると、画素 Iを境界が存在する画素候補として検出し、画素 Iの位置において eCCDY値を求める。

[0187] 次に、 PatID[i]のマスクパターン番号を持つ輝度画像から、 MAX(eCCDY—dy , 0) < =ccdy< =MIN (eCCDY+dy - 1, ccdH—l)の範囲で、 ccdy方向における輝度に関する近似多項式 Bt = fb (ccdy)を求める（S1604)。

[0188] 次に、その近似多項式 Btと輝度閾値 bThとの交差する ccdy値を求め、その値を ef CCDY [j]へ格納する（SI 605)。この S1604と S1605とによって、サブピクセル精度の境界座標の検出をすることができる。

[0189] 次に、 ccdxとカウンタ jとに各々「1」を加算し（S1605)、 S1602からの処理を繰り返す。即ち、 curCCDXを中心とした左右の所定範囲内における各検出位置において、サブピクセル精度の境界を検出するのである。 [0190] そして、 S1602において、「ccdx」カ「MIN (curCCDX+dx, ccdW— 1)」より大きいと判断されると（S1602 : No)、 curCCDX—dxから curCCDX+dxの範囲で計算された efCCDY[j]について、 ccdy=fy (ccdx)の近似多項式を求める（S 1606)。この処理によって S1605において検出された各値を用いるので、 1つの検出位置において境界座標を検出しょうとする場合に比べて、境界座標の検出精度を向上させることができる。

[0191] こうして得られた近似多項式と curCCDXとの交点を、 PatID[i]のマスクパターン番号を持つ輝度画像についての境界の CCDY値として（S 1607)、当該処理を終了する。ここまでの処理を図 15のフローチャートに示すように、抽出した全部の輝度画像の 1枚、 1枚に実行し、求められた境界座標について加重平均値を計算して、その結果を最終的な境界座標としているので (S 1507)、更に、境界座標の検出精度を向上させることができる。

[0192] 図 17 (a)から図 17 (c)は、レンズ収差補正処理（図 12 (c)の S 1224)を説明するための図である。レンズ収差補正処理は、図 17 (a)に示すように、撮像光学系 21の収差により、入射した光束が理想レンズにより結像すべき位置力ずれてしまうことに対して、撮像された画素の位置を本来結像すべき位置へ補正する処理である。

[0193] この収差補正は、例えば、図 17 (b)に示すように、撮像光学系 21の撮像範囲において、入射光の角度である半画角 Maをパラメータとして光学系の収差を計算して求めたデータを基に補正する。

[0194] この収差補正処理では、レンズ収差補正プログラム 36fに基づき実行され、コード境界座標格納部 37eに格納されて、るコード境界座標にっ、て行なわれ、収差補正処理がなされたデータは、収差補正座標格納部 37gに格納される。

[0195] 具体的には、実画像における任意点座標（ccdx、 ccdy)を理想カメラ画像での座標（ccdcx、 ccdcy)に変換する次の（1)から（3)のカメラキャリブレーション (近似式）を用いて補正する。

[0196] 本実施例では、収差量 dist (%)は、半画角 Ma (deg)を用いて dist=f (Ma)と記述する。また、撮像光学系 21の焦点距離を focallength (mm)、 ccd画素長 pixelleng th (mm)、 CCD22におけるレンズの中心座標を（Centx、 Centv)とする。 [0197] (l) ccdcx= (ccdx - Centx) / ( 1 + dist/ 100) +Centx

(2) ccdcy= (ccdy - Centy) / ( 1 + dist/ 100) +Centy

(3) hfa=arctan[ ( ( (ccdx— Centx) ² + (ccdy— Centy) ²) ) X pixellength Z focallength]

図 18 (a)及び図 18 (b)は、三角測量原理による実空間変換処理（図 12 (c)の S 12 25)において、 CCD空間における座標から、 3次元空間における 3次元座標を算出する方法を説明するための図である。

[0198] 三角測量原理による実空間変換処理では、三角測量演算プログラム 36gによって、収差補正座標格納部 37gに格納されている収差補正がなされたコード境界座標についての 3次元空間における 3次元座標が算出される。こうして算出される 3次元座標は、 3次元座標格納部 37hに格納される。

[0199] 本実施形態では、撮像される横方向に湾曲した原稿 Pに対する画像入力出力装置 1の座標系として、撮像光学系 21の光軸方向を Z軸、その Z軸に沿って撮像光学系 2 1の主点位置力 VPZ離れた地点を原点、画像入出力装置 1に対して水平方向を X 軸、垂直方向を Y軸とする。

[0200] また、 3次元空間 (X, Υ, Z)への画像投影部 13からの投影角度 θ p、撮像レンズ光学系 20の光軸と画像投影部 13の光軸との距離を D、撮像光学系 21の Y方向の視野を Yftopから Yfbottom、 X方向の視野を Xfstartから Xfend、 CCD22の Y軸方向の長さ（高さ）を Hc、 X軸方向の長さ（幅）を Wcとする。尚、投影角度 Θ pは、各画素毎に割り当てられたコードに基づき与えられる。

[0201] この場合、 CCD22の任意座標 (ccdx, ccdy)に対応する 3次元空間位置 (X, Y, Z)は、 CCD22の結像面上の点と、パターン光の投影点と、 X— Y平面に交差する点とで形成される三角形について 5つの式を解くことで得ることができる。 (l) Y= - (ta η Θ p) Z + PPZ+tan θ p— D + cmp (Xtarget) (2) Y = - (Ytarget/VPZ) Z+Yt arget

(3) X =— (Xtarget/ VP) Z+ Xtarget

(4) Ytarget = Yftop - (ccdcy/Hc) X (Yftop— Yf bottom)

(5) Xtarget = Xfstart + (ccdcx/Wc) X (Xf end—Xfstart) 尚、上記式（1)における cmp (Xtarget)は、撮像光学系 20と画像投影部 13とのズレを補正する関数であり、ズレが無い理想的な場合には cmp (Xtarget) =0とみなすことができる。

[0202] 一方、上述したのと同様に、画像投影部 13に含まれる投影 LCD19上の任意座標

(lcdcx、 lcdcy)と 3次元空間中の 3次元座標 (X, Υ, Z)との関係は次の（1)から (4) の式で表せる。

[0203] 尚、本実施例では、画像投影部 13の主点位置 (0, 0, PPZ)、画像投影部 13の Y 方向の視野を Ypftopから Ypf bottom, X方向の視野を Xpfstartから Xpfend、投景 LCD19の Y軸方向の長さ（高さ）を Hp、 X軸方向の長さ（幅) Wpとする。

(1) Y =— ( Yptarget/PPZ) Z + Yptarget

(2) X= - (Xptarget/PPZ) Z+Xptarget

(3) Yptarget = Ypftop - (lcdcy/Hp) X (Xpf top— Xpf bottom)

(4) Xptarget = Xpfstart + (lcdcx/Wp) X (Xpfend— Xpfstart)

この関係式を利用することで、 3次元空間座標 (X, Υ, Z)を上記（1)から (4)の式に与えることで、 LCD空間座標を (lcdcx, lcdcy)を算出することができる。よって、例えば、 3次元空間に任意の形状、文字を投影するための LCD素子パターンを算出することができる。

[0204] 図 19は、平面化画像処理（図 6の S611)のフローチャートである。平面化画像処理は、例えば、図 1に示すような湾曲した状態の原稿 Pを撮像した場合や矩形状の原稿を斜め方向から撮像した場合 (撮像された画像は台形状になる)であっても、その原稿が湾曲していない状態や鉛直方向から撮像したような状態に平面化された平面化画像を取得、表示する処理である。

[0205] この処理では、まず、 CCD22に高解像度設定信号を送信し（S1901)、モニタ LC D10にファインダ画像を表示する（S1902)。

[0206] 次に、レリーズボタン 8をスキャンし（S1903a)、レリーズボタン 8が半押しされたか否かを判断する（S 1903b)。半押しされていれば（SI 903b : Yes)、オートフォーカス (AF)および自動露出 (AE)機能を起動し、ピント、絞り、シャツタスピードを調節する (S1903c)。尚、半押しされていなければ（S1903b :No)、 S1903a力らの処理を繰り返す。

[0207] 次に、再び、レリーズボタン 8をスキャンし（S1903d)、レリーズボタン 8が全押しされたか否かを判断する（S1903e)。全押しされていれば（SI 903e : Yes)、フラッシュモード力否かを判断する（S1903f)。

[0208] その結果、フラッシュモードであれば（S1903f : Yes)、フラッシュ 7を投光して（S 19 03g)、撮影が行われる（S1903h)。フラッシュモードでなければ（S1903f :No)、フラッシュ 7を投光することなく撮影する（S1903h)。尚、 S1903eの判断において、全押しされて、なければ（S 1903e： No)、 S 1903aからの処理を繰り返す。

[0209] 次に、上述した 3次元形状検出処理（図 10の S1006)と同一の処理である 3次元形状検出処理を行い、被写体の 3次元形状を検出する（S1906)。

[0210] 次に、 3次元形状検出処理 (S1906)によって得られた 3次元形状検出結果に基づき、原稿 Pの姿勢を演算する原稿姿勢演算処理を行う（S1907)。この処理によって原稿 Pの姿勢パラメータとして、原稿 Pの画像入力装置 1に対する位置 Lや角度 Θ、湾曲 φ (X)が演算される。

[0211] 次に、その演算結果に基づき、後述する平面変換処理を行い (S1908)、たとえ、原稿 Pが湾曲して、たとしても湾曲して、な、状態に平面化された平面化画像を生成する。

[0212] 次に、平面変化処理 (S1908)によって得られた平面化画像を外部メモリ 27に格納し（S1909)、平面化画像をモニタ LCD10に表示する（S1910)。

[0213] そして、モード切替スィッチ 9に変化が無いか否かを判断し (S1911)、その結果、変化が無ければ（S1911 :Yes)、再び、 S702からの処理を繰り返す。変化があれば (S1911 :No)、当該処理を終了する。

[0214] 図 20 (a)から図 20 (c)は、原稿姿勢演算処理（図 19の S1907)を説明するための図である。尚、本等の原稿の仮定条件として、原稿 Pの湾曲は y方向に一様であるとする。この原稿姿勢演算処理では、まず、図 20 (a)に示すように、 3次元座標格納部 37hに格納されているコード境界に関する座標データから 3次元空間位置において 2列に並ぶ点を回帰曲線近似した 2本の曲線を求める。

[0215] 例えば、パターン光を投影した範囲の上下それぞれ 4分の 1の位置情報 (コード 63 とコード 64の境界と、コード 191とコード 192との境界とに関する境界）から求めることができる。

[0216] その 2本の曲線の X軸方向の位置が「0」における点を結ぶ直線を想定し、この直線が Z軸と交わる点、つまり、光軸が原稿 Pと交差する点を、原稿 Pの 3次元空間位置 (0 , 0,ひとし、この直線力 ¾—Y平面となす角を原稿 Pの X軸まわりの傾き Θとする。

[0217] 次に、図 20 (b)に示すように、原稿 Ρを、先に求めた X軸まわりの傾き Θ分だけ逆方向に回転変換し、つまり、原稿 Ρを Χ—Υ平面に対して平行にした状態を想定する。

[0218] そして、図 20 (c)に示すように、 X— Ζ平面における原稿 Ρの断面にっ、て、 Ζ軸方向の変位を Xの関数として湾曲 φ (X)で表すことができる。こうして、原稿姿勢パラメータとして、原稿 Ρの位置 Lや角度 0、湾曲 φ (X)が演算され、当該処理を終了する

[0219] 図 21は、平面変換処理（図 19の S1908)のフローチャートである。この処理は、まず、 RAM37のワーキングエリア 371に当該処理の処理領域を割り当て、当該処理に用いるカウンタ bの変数を初期値 (b = 0)に設定する（S2101)。

[0220] 次に、原稿姿勢演算プログラム 36hでの演算結果による原稿 Pの位置 Lと、傾き Θと、湾曲 φ (X)とに基づき、パターン光無画像格納部 37bに格納されたパターン光無画像の 4隅の点を、それぞれ、 Z方向に— L移動し、 X軸方向に— Θ回転し、更に φ ( X)にする湾曲の逆変換 (後述する「湾曲処理」と同等な処理）により求められる点で構成される矩形領域 (つまり、原稿 Pの文字等が書かれた面が略直交方向から観察されたような画像となる矩形領域)を設定すると共に、この矩形領域内に含まれる画素数 aを求める（S2102)。

[0221] 次に、設定された矩形領域を構成する各画素に対応するパターン光無画像上の座標を求めて、この座標周辺の画素情報から、平面化画像の各画素の画素情報を設定する。

[0222] つまり、まず、カウンタ bが画素数 aに到達したか否かを判断する（S2103)。カウンタ bが画素数 aに到達していなければ (S2103 :No)、矩形領域を構成する 1つの画素について、 Y軸を中心に湾曲 φ (X)回転移動させる湾曲計算処理を行い（S2104 )、 X軸を中心に傾き Θ回転移動させ (S2105)、 Z軸方向に距離 Lだけシフトさせる（ S2106)。

[0223] 次に、求められた 3次元空間位置を、先の 3角測量の逆関数により理想カメラで写された CCD画像上の座標 (ccdcx, ccdcy)を求め（S2107)、使用している撮像光学系 20の収差特性に従って、先のカメラキャリブレーションの逆関数により、実際のカメラで写された CCD画像上の座標（ccdx, ccdy)を求め（S2108)、この位置に対応するパターン光無画像の画素の状態を求めて、 RAM37のワーキングエリア 371に格納する（S2109)。

[0224] そして、次の画素について上述した S2103から S2109までの処理を実行すベぐカウンタ bに「1」を加算する（S2110)。

[0225] こうして、 S2104から S2110までの処理をカウンタ bが画素数 aになるまで繰り返すと（S2103 :Yes)、 S2101において、当該処理を実行するためにワーキングエリア 3 71に割り当てた処理領域を開放して（S2111)、当該処理を終了する。

[0226] 図 22 (a)は、湾曲処理（図 21の S2104)についての概略を説明するための図であり、図 22 (b)は平面変換処理（図 19の S 1908)によって平面化された原稿 Pを示している。尚、この湾曲処理についての詳細については、電子情報通信学会論文誌 DII Vol.J86-D2 No.3 p409「アイスキャナによる湾曲ドキュメント撮影」に詳細に開示されている。

[0227] 湾曲 Ζ= φ (X)は、求められたコード境界座標列（実空間）で構成される 3次元形状を、任意の Y値における XZ平面に平行な平面切断された断面形状を、最小 2乗法により多項式で近似した式で表現される。

[0228] 湾曲する曲面を平面化する場合、図 22 (a)に示すように、 Ζ= φ (χ)上の点に対応する平面化された点は、 Ζ= φ (0)から Ζ= φ (X)までの曲線の長さによって対応付けられることになる。

[0229] こうした湾曲処理を含む平面変換処理によって、例えば、図 1のように湾曲している状態の原稿 Ρを撮像した場合であっても、図 22 (b)に示すように、平面化された平面画像を取得することができ、このように平面化された画像を用いれば OCR処理の精度を高めることができる。したがって、その画像によって、原稿に記載された文字や図形等を明確に認識することができる。 [0230] 図 23 (a)及び図 23 (b)は、上述した実施形態における光源レンズ 18に関する別の例としての一群の光源レンズ 50を説明するための図であり、図 23 (a)は光源レンズ 5 0を示す側面図であり、図 23 (b)は光源レンズ 50を示す平面図である。尚、上述した実施形態における構成部品と同一な部材には、同一の符号を付し、その説明は省略する。

[0231] 上述の実施形態における光源レンズ 18は、各 LED 17に対応する凸状の非球面形状からレンズ部 18aをベース 18b上に一体的に並べて配置して構成されているのに対し、図 23 (a)及び図 23 (b)に示す例では、 LED17の各々を内包する砲弾型に形成された榭脂製レンズが各々別体に構成されてヽる。

[0232] このように、各 LED17を内包する光源レンズ 50を各々別体に構成することで、各々の LED17とそれに対応する各々の光源レンズ 50との位置が 1対 1で決められるので、相対的な位置精度を高めることができ、光の出射方向が揃うという効果がある。

[0233] これに対し、基板 16上にレンズアレイをまとめて位置合わせをすると、各々の LED 17がダイボンディングされる際の位置決め誤差やレンズアレイと基板の線膨張係数の違いから、光の出射方向がバラバラになってしまう恐れがある。

[0234] 従って、投影 LCD19の面には、 LED17からの光の入射方向が投影 LCD19の面に垂直にそろった光が照射され、投影光学系 20の絞りを均一に通過できる様になる。したがって、投影画像の照度ムラを抑えることができ、結果的に高品質な画像を投影することができる。尚、光源レンズ 50に内包されている LED17はリードおよびリフレクタカなる電極 51を介して基板 16に実装されている。

[0235] 1群の光源レンズ 50の外周面には、各光源レンズ 50を束ねて所定の方向に規制する枠状の弾性を有する固定部材 52が配置されている。この固定部材 52は、ゴム、プラスチック等の榭脂製材料で構成されて、る。

[0236] 光源レンズ 50は各 LED17に対して各々別体に構成されているので、各光源レンズ 50の凸状の先端部が形成する光軸の角度を正しく揃えて投影 LCD19と対向するように設置することが困難である。

[0237] そこで、図 23 (a)及び図 23 (b)に示す例では、この固定部材 52によって 1群の光源レンズ 50を取り囲み、各光源レンズ 50の外周面同士を接触させ、各光源レンズ 50 の光軸が投影 LCD19と正しい角度で対向するように各光源レンズ 50の位置が規制されている。このような構成によれば、各光源レンズ 50力投影 LCD19に向けて光を略垂直に照射させることができる。よって、投影 LCD19の面に垂直にそろった光が照射され、投影レンズの絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができる。従って、一層、高品質な画像を投影することができる。

[0238] 尚、この固定部材 52は、予め所定の大きさに規定された剛性を有するものであっても良ぐ弾性力を有する材料で構成してその弾性力によって各光源レンズ 50の位置を所定の位置に規制するようにしても良、。

[0239] 図 24 (a)及び図 24 (b)は、図 23 (a)及び図 23 (b)で説明した光源レンズ 50を所定位置に規制する固定部材 52に関する別の例としての固定部材 60を説明するための図である。図 24 (a)は光源レンズ 50を固定した状態を示す斜視図であり、図 24 (b) はその部分的な断面図である。尚、上述したのと同一の部材には、同一の符号を付し、その説明は省略する。

[0240] この固定部材 60は、各光源レンズ 50の外周面に沿った断面を有する断面視円錐形状の貫通孔 60aが穿設された板状に形成されている。各光源レンズ 50は、この各貫通孔 60aに差し込まれて固定される。

[0241] この固定部材 60と基板 16との間には弾性を有する付勢プレート 61が介装されており、更に、この付勢プレート 61と各光源レンズ 50の下面との間には、電極 51を囲むように弾性を有する環状の Oリング 62が配置されて、る。

[0242] 尚、光源レンズ 50に内包される LED17は、付勢プレート 61、基板 16に穿設されたスルーホールを貫通する電極 51を介して基板 16に実装されている。

[0243] 上述した固定部材 60によれば、各光源レンズ 50を、そのレンズの外周面に沿った断面を有する各貫通孔 60aに各々貫通させて固定するので、上述した固定部材 50 よりも、一層確実に光源レンズ 50の光軸を正しい角度で投影 LCD19に向くように固定することができる。

[0244] また、組立時に、 Oリング 62の付勢力によって LED17を正しい位置に付勢して固定することができる。

[0245] また、本装置 1を運搬する場合等に生ずる可能性のある衝撃力を、 Oリング 62の弾性力によって吸収することができ、その衝撃の影響で光源レンズ 50の位置がずれてしまい、光源レンズ 50から垂直に投影 LCD19に向けて光を照射できないという不都合を防止することができる。

[0246] 上記実施形態において、図 12 (b)の S1211、 S1215の処理は、撮像手段、撮像工程、撮像ステップと位置付けられる。図 12 (c)の S1221の処理は、輝度画像生成手段、輝度画像生成工程、或いは輝度画像生成ステップと位置付けられる。図 12 (c )の S1222の処理は、コード画像生成手段、コード画像生成工程、或いはコード画像生成ステップと位置付けられる。図 10の S 1006の処理は、 3次元形状算出手段、 3 次元形状算出工程、或いは 3次元形状算出ステップと位置付けられる。

[0247] 図 14の S1408の処理は、第 1画素検出手段、第 1画素検出工程、或いは第 1画素検出ステップと位置付けられる。図 15の S1501の処理は、輝度画像抽出手段、輝度画像抽出工程、或いは輝度画像抽出ステップと位置付けられる。図 16の S1603、 S 1604の一部の処理は、画素領域特定手段、画素領域特定工程、或いは画素領域特定ステップと位置付けられる。図 16の S1604—部の処理は、近似式算出手段、近似式算出工程、或いは近似式算出ステップと位置付けられる。図 15の S1505、 S15 07の処理は、境界座標算出手段、境界座標算出工程、或いは境界座標算出ステツプと位置付けられる。

[0248] 以上実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものでなぐ本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

[0249] 例えば、上記実施形態では、平面化画像モードとして、平面化された画像を取得、表示する処理を説明したが、周知の OCR機能を搭載させ、平面化された平面画像をこの OCR機能によって読み取らせるように構成しても良い。この場合には、 OCR機能によって湾曲した状態の原稿を読み取る場合に比べて高精度に原稿に記載された文章を読み取ることができる。

[0250] また、上記実施形態における図 15の S1501においては、明暗の変化を持つ輝度画像の全部を抽出し、その全部について暫定的な CCDY値を求める場合について説明したが、抽出する輝度画像としては、全部である必要はなぐ 1枚以上であれば、その枚数に限定されることはない。抽出する枚数を減らすことで境界座標を高速に求めることができる。

[0251] また、上記実施形態における図 15の S1507では、 fCCDY[i]を加重平均し、図 1 6の S1607では efCCDY[j]を近似多項式として、各値を平均化する場合について説明したが、各値を平均化する方法としては、これらに限定されるものではない。例えば、各値の単純平均値を採る方法、各値の中央値を採用する方法、各値の近似式を算出し、その近似式における検出位置を境界座標とする方法、統計的な演算により求める方法等であっても良い。

[0252] 本発明の一つの実施形態において、境界座標検出手段により検出される着目コードの境界座標は、撮像手段の分解能よりも高い分解能にて算出されても良い。

[0253] このような構成によれば、境界座標検出手段または境界座標検出工程により検出される着目コードの境界座標は、撮像手段または撮像工程の分解能よりも高ヽ分解能 (サブピクセル精度）にて算出されるので、高精度に被写体の 3次元形状を算出することができるという効果が得られる。

[0254] 本発明の一つの実施形態において、画素領域特定手段は、コード画像を参照して第 1画素を含む画素列とは別に、第 1画素を含む画素列から連続して並ぶ少なくとも 1列以上の画素列力も画素領域を特定しても良い。また、近似式算出手段は、画素領域の画素列毎に近似式を算出しても良い。境界座標検出手段は、その近似式毎に輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて着目コードの境界座標を検出しても良い。

[0255] このような構成によれば、少なくとも 2列以上の画素列に基づいて算出される少なくとも 2以上の近似式毎に所定の閾値を有する位置が算出されるので、 1つの近似式を利用して境界座標を求める場合より、境界座標を検出する精度を向上させることができる。よって、一層高精度に被写体の 3次元形状を算出することができるという効果が得られる。

[0256] 本発明の一つの実施形態において、輝度画像抽出手段は、抽出輝度画像を少なくとも 1枚以上抽出しても良い。また、画素領域特定手段は、各抽出輝度画像についてコード画像を参照して画素領域を特定しても良い。近似式算出手段は、各抽出輝度画像力も検出される画素領域内の画素列毎に近似式を算出しても良い。また、この場合、境界座標検出手段は、その近似式毎に輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて着目コードの境界座標を検出しても良い。

[0257] このような構成によれば、少なくとも 2以上の抽出輝度画像に基づいて少なくとも 2 以上の近似式毎に所定の閾値を有する位置が算出されるので、 1つの近似式を利用して境界座標を求める場合より、境界座標を検出する精度を向上させることができる。よって、一層高精度に被写体の 3次元形状を算出することができるという効果が得られる。

[0258] 本発明の一つの実施形態において、輝度画像抽出手段は、抽出輝度画像を少なくとも 1枚以上抽出しても良い。また、画素領域特定手段は、各抽出輝度画像について、コード画像を参照して第 1画素を含む画素列とは別に、第 1画素を含む画素列から連続して並ぶ少なくとも 1列以上の画素列力画素領域を特定しても良い。近似式算出手段は、各抽出輝度画像について、画素領域内の画素列毎に近似式を算出しても良い。この場合、境界座標検出手段は、各抽出輝度画像について、その近似式毎に輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出しても良、。

[0259] このような構成によれば、少なくとも 2以上の抽出輝度画像の各々について、少なくとも 2列以上の画素列に基づ、て算出される少なくとも 4以上の近似式毎に所定の閾値を有する位置が算出されるので、 1つの近似式を利用して境界座標を求める場合より、境界座標を検出する精度を向上させることができる。よって、一層高精度に被写体の 3次元形状を算出することができるという効果が得られる。

[0260] 本発明の一つの実施形態において、境界座標検出手段は、近似式毎に算出される位置の加重平均値または中央値を算出し、その算出結果に基づいて着目コードの境界座標を検出しても良い。

[0261] このような構成によれば、境界座標検出手段または境界座標検出工程は、近似式毎に算出される位置の加重平均値または中央値を算出し、その算出結果に基づいて着目コードの境界座標を検出する。したがって、簡単な計算付加ですみ演算装置に要する負担を軽減でき、処理の高速ィ匕を図ることができると、う効果が得られる。 [0262] 本発明の一つの実施形態において、境界座標検出手段は、近似式毎に算出される位置の近似式を算出し、その算出結果に基づいて着目コードの境界座標を検出しても良い。

[0263] このような構成によれば、境界座標検出手段または境界座標検出工程は、近似式毎に算出される位置の近似式を算出し、その算出結果に基づいて着目コードの境界座標を検出する。したがって、加重平均値または中央値を算出するのに比べて、高精度で 3次元形状を算出することができるという効果が得られる。

[0264] 本発明の一つの実施形態において、境界座標検出手段は、抽出輝度画像単位で近似式毎に算出される位置の近似式を算出し、その算出結果に基づいて着目コードの境界座標を算出し、各抽出輝度画像単位で算出した着目コードの境界座標について、加重平均または中央値を算出し、その結果に基づいて着目コードの境界座標を検知しても良い。

[0265] このような構成によれば、境界座標検出手段は、抽出輝度画像単位で近似式毎に算出される位置の近似式を算出し、その算出結果に基づいて着目コードの境界座標を算出し、各抽出輝度画像単位で算出した着目コードの境界座標について、加重平均または中央値を算出し、その結果に基づいて着目コードの境界座標を検知する。したがって、簡単な計算付加ですみ演算装置に要する負担を軽減でき、処理の高速化を図ることができると、う効果が得られる。

Claims

請求の範囲

[1] 明と暗とを交互に並べてなる複数種類のノターン光の各々を時系列に被写体に投影する投影手段と、その投影手段力各パターン光が投影されて、る状態の被写体を撮像する撮像手段と、その撮像手段によって撮像される各撮像画像力ゝら各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成手段と、その輝度画像生成手段によって生成される複数の輝度画像に対して所定の閾値による閾値処理を行つた結果により、各画素毎に所定のコードを割り当てたコード画像を生成するコード画像生成手段と、そのコード画像生成手段によって生成されるコード画像を利用して被写体の 3次元形状を算出する 3次元形状算出手段とを備えた 3次元形状検出装置であって、

前記コード画像における前記パターン光と交差する方向の検出位置において、着目コードを有する画素に隣接し、その着目コードとは異なるコードを有する第 1画素を検出する第 1画素検出手段と、

その第 1画素検出手段で検出される第 1画素と対応する位置において、明と暗との境界を有する輝度画像を前記複数の輝度画像の内から抽出する輝度画像抽出手段と、

前記第 1画素に隣接する所定領域の画素からなる画素領域を特定する画素領域特定手段と、

その画素領域特定手段で特定される画素領域において前記抽出輝度画像における輝度の変化を表す近似式を算出する近似式算出手段と、

その近似式算出手段によって算出される近似式において輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出する境界座標検出手段とを備え、

前記 3次元形状算出手段は、前記コード画像を利用して前記境界座標検出手段で検出される境界座標に基づき、被写体の 3次元形状を算出することを特徴とする 3次元形状検出装置。

[2] 前記境界座標検出手段により検出される前記着目コードの境界座標は、前記撮像手段の分解能よりも高い分解能にて算出されることを特徴とする請求項 1に記載の 3 次元形状検出装置。

[3] 前記画素領域特定手段は、前記コード画像を参照して前記第 1画素を含む画素列とは別に、前記第 1画素を含む画素列から連続して並ぶ少なくとも 1列以上の画素列から前記画素領域を特定し、

前記近似式算出手段は、前記画素領域の画素列毎に前記近似式を算出し、前記境界座標検出手段は、その近似式毎に輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出することを特徴とする請求項 1に記載の 3次元形状検出装置。

[4] 前記輝度画像抽出手段は、前記抽出輝度画像を少なくとも 1枚以上抽出し、

前記画素領域特定手段は、各抽出輝度画像について前記コード画像を参照して前記画素領域を特定し、

前記近似式算出手段は、各抽出輝度画像から検出される前記画素領域内の画素列毎に前記近似式を算出し、

前記境界座標検出手段は、その近似式毎に輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出することを特徴とする請求項 1に記載の 3次元形状検出装置。

[5] 前記輝度画像抽出手段は、前記抽出輝度画像を少なくとも 1枚以上抽出し、

前記画素領域特定手段は、各抽出輝度画像について、前記コード画像を参照して前記第 1画素を含む画素列とは別に、前記第 1画素を含む画素列から連続して並ぶ少なくとも 1列以上の画素列から前記画素領域を特定し、

前記近似式算出手段は、各抽出輝度画像について、前記画素領域内の画素列毎に前記近似式を算出し、

前記境界座標検出手段は、各抽出輝度画像について、その近似式毎に輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出することを特徴とする請求項 1に記載の 3次元形状検出装置。

[6] 前記境界座標検出手段は、前記近似式毎に算出される位置の加重平均値または中央値を算出し、その算出結果に基づいて前記着目コードの境界座標を検出することを特徴とする請求項 3から 5のいずれかに記載の 3次元形状検出装置。

[7] 前記境界座標検出手段は、前記近似式毎に算出される位置の近似式を算出し、その算出結果に基づいて前記着目コードの境界座標を検出することを特徴とする請求項 3に記載の 3次元形状検出装置。

[8] 前記境界座標検出手段は、抽出輝度画像単位で前記近似式毎に算出される位置の近似式を算出し、その算出結果に基づいて前記着目コードの境界座標を算出し、前記各抽出輝度画像単位で算出した前記着目コードの境界座標について、加重平均または中央値を算出し、その結果に基づいて前記着目コードの境界座標を検知することを特徴とする請求項 5に記載の 3次元形状検出装置。

[9] 明と暗とを交互に並べてなる複数種類のノターン光の各々を時系列に被写体に投影する投影工程と、その投影工程力各パターン光が投影されて、る状態の被写体を撮像する撮像工程と、その撮像工程によって撮像される各撮像画像から各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成工程と、その輝度画像生成工程によって生成される複数の輝度画像に対して所定の閾値による閾値処理を行つた結果により、各画素毎に所定のコードを割り当てたコード画像を生成するコード画像生成工程と、そのコード画像生成工程によって生成されるコード画像を利用して被写体の 3次元形状を算出する 3次元形状算出工程とを備えた 3次元形状検出方法であって、

前記コード画像生成工程の後に、前記コード画像における前記パターン光と交差する方向の検出位置において、着目コードを有する画素に隣接し、その着目コードとは異なるコードを有する第 1画素を検出する第 1画素検出工程と、

その第 1画素検出工程で検出される第 1画素と対応する位置において、明と暗との境界を有する輝度画像を前記複数の輝度画像の内から抽出する輝度画像抽出工程と、

前記第 1画素に隣接する所定領域の画素からなる画素領域を特定する画素領域特定工程と、

その画素領域特定工程で特定される画素領域において前記抽出輝度画像における輝度の変化を表す近似式を算出する近似式算出工程と、

その近似式算出工程によって算出される近似式において輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出する境界座標検出工程とを備え、

前記 3次元形状算出工程は、前記コード画像を利用して前記境界座標検出工程で検出される境界座標に基づき、被写体の 3次元形状を算出することを特徴とする 3次元形状検出方法。

明と暗とを交互に並べてなる複数種類のパターン光の各々を時系列に被写体に投影する投影ステップと、その投影ステップ力各パターン光が投影されて、る状態の被写体を撮像する撮像ステップと、その撮像ステップによって撮像される各撮像画像力ゝら各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成ステップと、その輝度画像生成ステップによって生成される複数の輝度画像に対して所定の閾値による閾値処理を行った結果により、各画素毎に所定のコードを割り当てたコード画像を生成するコード画像生成ステップと、そのコード画像生成ステップによって生成されるコード画像を利用して被写体の 3次元形状を算出する 3次元形状算出ステップとを備えた 3次元形状検出プログラムであって、

前記コード画像における前記パターン光と交差する方向の検出位置において、着目コードを有する画素に隣接し、その着目コードとは異なるコードを有する第 1画素を検出する第 1画素検出ステップと、

その第 1画素検出ステップで検出される第 1画素と対応する位置において、明と暗との境界を有する輝度画像を前記複数の輝度画像の内から抽出する輝度画像抽出ステップと、

前記第 1画素に隣接する所定領域の画素からなる画素領域を特定する画素領域特定ステップと、

その画素領域特定ステップで特定される画素領域において前記抽出輝度画像における輝度の変化を表す近似式を算出する近似式算出ステップと、

その近似式算出ステップによって算出される近似式において輝度に関する所定の閾値を有する位置を算出し、その算出結果に基づいて前記着目コードの境界座標を検出する境界座標検出ステップとを備え、

前記 3次元形状算出ステップは、前記コード画像を利用して前記境界座標検出ステツプで検出される境界座標に基づき、被写体の 3次元形状を算出することを特徴とする 3次元形状検出プログラム。