JP4140391B2 - ３次元計測装置および３次元計測方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、測定対象となる物体にレーザ光を走査しながら照射して、その反射光を読み取ることで物体の３次元形状を計測する３次元計測装置および３次元計測方法に関する。
【０００２】
【従来の技術】
物体の３次元形状情報を取得する手段として光切断法がある。これは、図７に示すように、被写体にスリット光をスキャンしながら投影し、その反射光をカメラのイメージセンサで受光し、各画素毎に反射光を受光するタイミングを計測することによって、三角測量の原理により、イメージセンサの撮像面から被計測物体までの距離を計測するというものである（例えば、特許文献１、特許文献２参照。）。
【０００３】
通常、以上のような光切断法では、受光用のセンサとして一般的なＣＣＤイメージセンサが使用されるが、この場合、フレームレートが３０ｆｐｓ程度に制限されるため、ある程度距離分解能を維持しようとするとスキャンニングを遅くしなければならず、動いている物体をリアルタイムに計測するような用途では適用できない。
【０００４】
それに対し、イメージセンサを工夫することにより、高速な計測を可能にするシステムが特願２００１−２８７６２５号で提案されている。これは、イメージセンサ内部で高フレームレートによる差分演算を実行することにより、各画素がスリット光の通過タイミングを高速に検出できるようにしたものである。上記システムではイメージセンサによる差分演算を３．３ｋｆｐｓで行うことにより、１５ｆｐｓまたは３０ｆｐｓで距離画像の計測が可能となっている。
【０００５】
【特許文献１】
特開２００１−２８０９２６号公報
【特許文献２】
特開２００１−１０８４１８号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、このイメージセンサでは、高速なフレーム操作により反射光を検出するという原理上、受光時間が制限されるため、遠方の物体を計測する、もしくはスリット光の反射率の悪い物体を計測するといった情況では投光光強度を上げるか、もしくはフレーム間差分演算を行うためのコンパレータ回路の感度を上げるといった操作が必要となる。
【０００７】
この場合、用途として、例えば人の顔形状データを取得するといった装置への応用では、人の目に当てる光強度の安全性の面から、投光強度を上げるには限度が存在する。一方、コンパレータ回路の感度を上げる場合、センサが光強度変化の検出に敏感になり、環境光のわずかな変化に反応してしまい、いわゆる誤検出が多く出現するようになる。
【０００８】
よって、以上のようなリアルタイムで３次元計測を行うシステムで、なおかつ投光用光線の安全性、もしくは消費エネルギーを節約する目的から光源の出力を弱める必要のあるシステムでは、何らかの手段により、環境光の変化と投光光線の通過による光の変化との区別を容易にする手段が必要とされている。
【０００９】
【課題を解決するための手段】
本発明は、このような課題を解決するために成されたものである。すなわち、本発明は、計測対象の物体にレーザ光を走査しながら照射し、その反射光を読み取ることで物体の３次元形状を計測する装置において、レーザ光をスリット光にして所定の角度で分離して複数本を物体に照射する光学手段と、光学手段によって物体に照射された複数本のレーザ光の反射光を読み取りにより、各レーザ反射光の識別を行う識別手段とを備えており、識別手段によって各レーザ反射光であることを認識した場合のみそのレーザ反射光を用いた光切断法による物体の３次元形状の演算を行うものである。
【００１０】
また、計測対象の物体にレーザ光を走査しながら照射し、その反射光を読み取ることで前記物体の３次元形状を計測する方法において、レーザ光をスリット光にして所定の角度で分離して複数本を物体に照射し、その照射された複数本のレーザ光の物体からの反射光の読み取りにより、各レーザ反射光の識別を行って、各レーザ反射光であることを認識した場合のみそのレーザ反射光を用いた光切断法による物体の３次元形状を計測する行う方法でもある。
【００１１】
このような本発明では、レーザ光を所定の角度で分離して複数本にして計測対象の物体に走査しながら照射し、その反射光を読み取って識別し、所定の角度に対応した間隔になっているか否かを演算しており、読み取った反射光が所定の角度に対応した間隔になっている場合には物体からの反射光であるとして３次形状データを生成し、所定の角度に対応した間隔になっていない場合には外乱光として３次元形データの生成には使用しないよう除外する。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づき説明する。にその実施例について説明する。図１は、本実施形態に係る３次元計測装置の概要を説明する図である。本実施形態の３次元計測装置は、レーザ光を出射するレーザ光源１と、レーザ光源１から出射されたレーザ光１０を所定の角度に分離して複数本にするホログラムプレート２と、ホログラムプレート２で分離されて成る複数本のレーザ光を反射して被計測物Ｓに対してレーザ光を走査するスキャニングミラー３とを備えている。
【００１３】
ホログラムプレート２は、レーザ光源１から出射されたレーザ光１０を任意のパターンに変換できる。ここでは、レーザ光源１から出射されたレーザ光１０を、所定の角度から成る２本の線状のレーザ光（スリット光Ａ、スリット光Ｂ）に分割できるようになっている。
【００１４】
スキャニングミラー３は予め設定された角度内で揺動運動をするようになっており、ホログラムプレート２からの複数本のレーザ光（スリット光Ａ、スリット光Ｂ）を被計測物Ｓに向けて反射している。
【００１５】
図２は、図１に示す本実施形態の３次元計測装置を上から見た図である。レーザ光源１から発せられたビーム状の光線はホログラムプレート２を通過後、一定の角度で２本のスリット状光線に変換される。そして、通常の光切断法のシステムと同様にスキャン動作するスキャニングミラー３を介して被計測物である物体に照射される。
【００１６】
ここで、センサ４はスリット状光線の反射光を検出するが、２本のスリット光Ａ、スリット光Ｂは常に一定の角度を保って掃引動作されるので、スキャニングミラー３のスキャン動作が等速であるならば、各画素に着目した場合、スリット光Ａを検出後、必ず一定時間後、つまり一定数のフレーム操作後にスリット光Ｂを検出することになる。本実施形態では、この２本のスリット光Ａ、Ｂを識別することで３次元形状を正確に捉える点に特徴がある。
【００１７】
ここで、従来の技術では、１本のスリット光の通過を光強度の時間変化（フレーム間の信号差分演算）により検出したため、環境からの外乱光により光の変化を検出した場合、レーザの通過と区別不可能なため誤検出の要因となり、正確な３次元計測ができないという問題が生じている。
【００１８】
一方、本実施形態の３次元計測装置のように、スリット光を２本とし、一定時間をおいて、２本のスリット光を検出した場合のみレーザの通過と判断することにより、容易に外乱光との区別が可能となる。
【００１９】
また、特願２００１−２８７６２５号に示されているセンサでは、レーザ反射光の通過を検出するためのフレーム間差分演算を実行するために、コンパレータを備えているが、これまではコンパレータ感度が高いと容易に微弱な外乱光を検出してしまい、正確な３次元計測ができなくなるので、意図的にフレーム間でオフセットバイアスを設定し、微弱な外乱光の検出を防ぐようにしている。
【００２０】
しかし、このオフセットは一方で、レーザ反射光による光強度変化の検出感度も落とす方向に働くので、これにより、高速、または弱い出力光源による計測を困難としていた。
【００２１】
そこで、本実施形態のように、２本のスリット光を設けることによって外乱光を単に除去できるだけでなく、外乱光による誤検出がなくなるので、オフセットバイアスを無くすかもしくはより小さくすることができ、レーザ反射光の変化の検出感度も向上させることが可能となる。
【００２２】
図３は、レーザ光源からスキャニングミラー周辺までの光学的関係図である。レーザ光源１より発せられたビーム状光線はホログラムプレート２を通過後、θfの角度で２本のスリット光Ａ、スリット光Ｂに分離される。
【００２３】
そして、これらのスリット光Ａ、スリット光Ｂは、スキャニングミラー３の回転中心に２本のスリット光の中心が一致するように投光される。それぞれのスリット光（スリット光Ａ、スリット光Ｂ）はスキャニングミラー３への入射角に応じて反射され、被計測物に照射される。
【００２４】
ここで被計測物からみたスリット光の光学系は、光源がＰ１にあるのと同等であり、この点より２本のスリットが出ているとみなすことができる。そして、ミラーがθr回転すると光源点がＰ１からＰ２に移動し、Ｐ１時のスリット光Ａの光線方向と、Ｐ２時のスリット光Ｂの光線方向とが一致することとなる。
【００２５】
よって、Ｐ１時にスリット光Ａの通過を検出したセンサの画素は、Ｐ２時にはスリット光Ｂを観測する。この関係はスキャニングミラー３がいずれの角度にスキャンしている時でも成り立ち、センサの各画素はスリット光Ａを検出後、スキャニングミラー３がθr回転後にスリット光Ｂを検出する。
【００２６】
ここで、Ｐ１時のスリット光ＡとＰ２時のスリット光Ｂとの光線経路が完全に一致せず、並行シフト分の光路ずれΔＬが存在するが、ΔＬに対し被計測物体は十分遠方にあるので、センサの各画素から見た場合、一致しているものとみなすことができる。
【００２７】
以下、具体的な数値例をあげて説明する。ホログラムプレートからミラーまでの距離ΔＤは、およそ４ｍｍ程度で設定され、２本のスリット光の分離角はおよそθf＝２°である。このような設定にすると、スキャニングミラー３上でのスリット光の分離幅は０．１４ｍｍであり、スキャニングミラー３から１ｍ先の被計測物体に照射すると分離幅はおよそ３．５ｃｍとなる。この時、行路ずれΔＬは振り角θm＝３０°とするとΔＬ＝０．１６ｍｍ（ΔＬ＝（２・ΔＤsin(θf／２)）／ｃｏｓ(θm)）
である。これはレーザスポット径がおよそ２ｍｍ〜３ｍｍであることを考慮すると十分に小さい値である。
【００２８】
また、スキャニングミラー３のスキャン操作を、スピード１５Ｈｚ、振り角のレンジを６０度とし、センサを１．６ｋフレーム／ｓで操作するとすると、センサは１スキャン内に約１０６フレーム操作、つまり１０６分割して反射光の検出操作が可能であり、これは、ミラー振り角を０．５７度づつ分解することに相当する。よって、２本のスリットの分離角が２度の場合、各画素はスリット光Ａを検出後約４フレーム後にスリット光Ｂを検出することになる。
【００２９】
特願２００１−２８７６２５号に記載されるセンサではスリット光の通過を検出すると各画素はデータ１を出力し、それ以外はデータ０を出力する。よって、スリット光Ａ、スリット光Ｂを検出した画素は、連続する５つのフレーム操作によるデータパターンが”１０００１”となる。
【００３０】
なお、以上の設定は理想的な場合に説明したものであり、たとえば、２本のスリットの中心をミラーの回転中心にするとか、ミラーの回転スピードが一定であるといったことは、全体のシステムがその誤差を許容し得るものであれば、それに限定する必要はない。
【００３１】
次に、反射光を受光後の演算手段を図４のブロック図に基づき説明する。すなわち、センサ４からは画像信号、３次元計測信号がそれぞれ別の出力部より出力される。このうち、画像信号は通常のＣＭＯＳイメージセンサと同様に、画像信号処理部５１に入力され、画像情報（画像信号データ）に変換される。
【００３２】
一方、３次元計測信号は３次元計測処理部（識別手段）５２に入力されるが、その３次元計測処理部５２は、データ格納用のフレームメモリ５３と、フレーム数をカウントするためのフレームカウンタ５４に接続される。センサ４からの出力は、フレームごとに全画素のレーザ反射光の有無を順次出力する。
【００３３】
ここで、上記と同様に、レーザ反射光を検出した画素のデータを“１”、検出しない画素のデータを“０”とし、スリット光Ａとスリット光Ｂとの間隔が４フレームであるとする。
【００３４】
また、フレームメモリ５３は、１画素あたり５ｂｉｔ分のフレームごとのレーザ検出有無を記憶するデータ領域と、このデータ領域の書き込み位置を指定するためのデータカウンタト値の記憶領域３ｂｉｔ、フレームカウント数を記憶するために７ｂｉｔの記憶領域を持つ。
【００３５】
フレームカウンタ５４はスキャニングミラーのスキャン開始と同期してカウントを開始し、上記例においてセンサ４内では一回のスキャン動作の間に１０６回のフレーム操作が行われるので、この時、２本のスリット光を確認できた時のフレームカウント数値を７ｂｉｔのデータ領域に格納する。これより、メモリー全体は全画素数×１４ｂｉｔのデータを格納するのに十分な容量を保持する。
【００３６】
センサ４からのレーザ反射光検出データは、まず、順次、３次元計測信号処理部５２に読み出される。また、それと同時にその画素に対応した、３ｂｉｔのデータカウント値がフレームメモリ５３より読み出される。このデータにより３次元信号処理部５２は、まず画素が既にレーザスリットを検出している画素であるか否かを判別する。
【００３７】
データカウント値は、画素が未だ検出していない画素であれば、データカウント値は”０００”であるが、先頭スリット光Ａを検出するとそれ以降のフレーム数をカウントする。そして、画素が未検出状態の場合、センサからのデータを読み取り、データが”１”であればフレームデータの先頭ｂｉｔに”１”を立て、さらに、データカウント値を”００１”とする。
【００３８】
一方、センサからのデータが”０”であれば、まだスリット光が検出されていないことを意味するので、フレームメモリ５３への書き込み操作は行わず、そのまま次の動作に移行する。
【００３９】
さらに、画素がスリットを検出した次のフレーム操作に入った場合、上記操作によりデータカウント値は”００１”が立っているので、以降のデータを確認することになる。まず、２番目のデータＤ１としてセンサからのデータを判定する。ここで、データが”０”であれば、正しいデータ列（”１０００１”）としてフレームデータのＤ１領域に書き込まれ、そして、データカウント値を”０１０”に変更される。
【００４０】
以下、同様な操作をフレームデータの５ｂｉｔ目（Ｄ４）まで続ける。最終的に５ｂｉｔまでのデータが当初のレーザパターン”１０００１”と一致すれば、そこで初めてその画素はレーザを検出したことが確証されたことになり、その時の７ｂｉｔのフレームカウント値がフレームカウントデータ領域に記憶される。
【００４１】
つまり、レーザパターン”１０００１”をテンプレートデータとして保持しておき、５ｂｉｔ目までのデータとを比較することで、一致していれば被計測物からの反射レーザ光を検知したことになり、一致していなければ外乱光であるとしてそのデータを計測演算から除外するようにする。
【００４２】
その後、一回のミラースキャン動作が終わった時点で、各画素のフレームカウントデータがシステムの外に読み出される。このフレームカウント値はミラースキャンの角度と一義的に対応するので、センサから物体までの距離に対応する。
【００４３】
よって、システムの外側において、このカウント値から事前にキャリブレーションした基準となる平面のカウントデータを差し引き、距離換算操作を行えば、実際の距離データの導出が可能となる。
【００４４】
以上のような操作をした場合、例えば、外乱光により、レーザ反射光を検出していないにも関わらず”１”データが立ったとしても、外乱光ノイズが時間的にランダムに発生するのであれば、その後のデータが”０００１”と続く可能性は極めて低くなるため、容易に外乱ノイズとレーザ反射光の区別が可能となる。
【００４５】
上記説明した実施形態では、２本のスリット光を設定した場合について説明したが、環境光の変化の激しい環境では、確率的に先に説明したようなデータパターン（例えば、”１０００１”）が偶然にも生ずる可能性がある。その場合、スリット光をさらに３本以上にすることにより、環境光によるデータパターンとの区別をより明確にすることが可能となる。また、さらに、投光パターンは必ずしもスリット形状である必要はなく、パターンの複数の点を反射光検出のための認識対象とするのであれば、任意の形状が可能である。
【００４６】
また、上記実施形態では固定のデータパターンについての判別を前提としたが、実際のシステムでは、スキャニングミラーの回転スピードばらつきなどによる時間的な誤差が生ずる可能性がある。よって、スリット光の検出パターン（テンプレートデータ）をただ一種類に限定するのではなく、“１０００１”、“１００１０”、のどちらかのパターンと一致した時など、冗長性を持たせた設定が可能である。
【００４７】
また、図３では、ホログラムプレート２はレーザ光源１とスキャニングミラー３との間に設定されているが、図５のようにスキャニングミラー３の後段にホログラムプレート２を配置することも可能である。これは、レーザ光源１とスキャニングミラー３とが一体の装置構成になっている場合、スキャニングミラー３からのレーザ光の出射口となる装置筐体にホログラムプレート２を貼り付けるだけで本実施形態の光学手段を容易に構成でき、しかもレーザ光源１とスキャニングミラー３との間隔を狭くして光学手段の小型化を図ることが可能となる。
【００４８】
また、スキャニングミラー３の存在を前提にするのではなく、図６に示すように、ホログラムプレート２、レーザ光源１をともに回転させることも可能である。ホログラムプレート２を回転中心とすれば、先に説明した光路差ΔＬを原理上０にすることが可能になる。また、誤差が問題とならないのであれば、レーザを回転中心にするなど、回転中心の変更も可能である。
【００４９】
このような本実施形態の３次元計測装置は、例えばゲーム作成、ゲーム機、パーソナルコンピュータへの適用として、３Ｄ（立体）モデリング、ジェスチャー認識、ユーザインタフェース、ロボットへの適用として、障害物検出、物体認識、顔認識（背景削除）、ジェスチャー認識、ユーザインタフェース、セキュリティーへの適用として、顔認識、人物特徴認識、侵入物検知、車載への適用として、障害物検知、車内人物検知、テレビ電話、テレビ会議、動画像通信への適用として背景抜き取りなど、各種分野へ応用することが可能である。
【００５０】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。すなわち、複数本のレーザ光を計測対象となる物体に走査しながら照射することで、その反射光によって物体からの反射光か外乱光かを的確に判別することが可能となる。これにより、レーザ光の投光光強度を弱くしても反射光検出における外乱光を容易に分離でき、リアルタイムに３次元計測を行うことが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係る３次元計測装置の概要を説明する図である。
【図２】図１に示す本実施形態の３次元計測装置を上から見た図である。
【図３】レーザ光源からスキャニングミラー周辺までの光学的関係図である。
【図４】演算手段を説明するブロック図である。
【図５】ホログラムプレートの他の配置例を説明する図である。
【図６】レーザ光源とホログラムプレートとをともに回転させる例を説明する図である。
【図７】従来の光切断法による３次元計測を説明する図である。
【符号の説明】
１…レーザ光源、２…ホログラムプレート、３…スキャニングミラー、４…センサ、５１…画像信号処理部、５２…３次元計測信号処理部、５３…フレームメモリ、５４…フレームカウンタ、Ｓ…被計測物

Claims (10)

1. 計測対象の物体にレーザ光を走査しながら照射し、その反射光を読み取ることで前記物体の３次元形状を計測する装置において、
   前記レーザ光をスリット光にして所定の角度に分離して複数本を前記物体に照射する光学手段と、
   前記光学手段によって前記物体に照射された複数本のレーザ光の反射光の読み取りにより、各レーザ反射光の識別を行う識別手段とを備えており、
   前記識別手段によって前記各レーザ反射光であることを認識した場合のみそのレーザ反射光を用いた光切断法による前記物体の３次元形状の演算を行う
   ことを特徴とする３次元計測装置。
2. 前記識別手段は、前記光学手段によって照射された複数本のレーザ光の反射光を読み取って前記所定の角度に対応した間隔になっているか否かを演算し、前記所定の角度に対応した間隔になっている場合のみ前記物体の３次元形状を演算させるためのデータとして記憶する
   ことを特徴とする請求項１記載の３次元計測装置。
3. 前記光学手段は、前記レーザ光を所定の角度に分離して複数本にするホログラムプレートを備えている
   ことを特徴とする請求項１記載の３次元計測装置。
4. 前記光学手段は、前記レーザ光を出射するレーザ光源と、前記レーザ光源から出射されたレーザ光を所定の角度に分離して複数本にするホログラムプレートと、前記ホログラムプレートで分離されて成る複数本のレーザ光を走査するスキャニングミラーとを備えている
   ことを特徴とする請求項１記載の３次元計測装置。
5. 前記光学手段は、前記レーザ光を出射するレーザ光源と、前記レーザ光源から出射されたレーザ光を走査するスキャニングミラーと、前記スキャニングミラーで走査されたレーザ光を所定の角度に分離して複数本のレーザ光にするホログラムプレートとを備えている
   ことを特徴とする請求項１記載の３次元計測装置。
6. 前記光学手段は、前記レーザ光を出射するレーザ光源と、前記レーザ光源から出射されたレーザ光を所定の角度に分離して複数本のレーザ光にするホログラムプレートと、前記レーザ光源および前記ホログラムプレートを同時に回転させる回転手段とを備えている
   ことを特徴とする請求項１記載の３次元計測装置。
7. 計測対象の物体にレーザ光を走査しながら照射し、その反射光を読み取ることで前記物体の３次元形状を計測する方法において、
   前記レーザ光をスリット光にして所定の角度に分離して複数本を前記物体に照射し、その照射された複数本のレーザ光の前記物体からの反射光の読み取りにより、各レーザ反射光の識別を行って、前記各レーザ反射光であることを認識した場合のみそのレーザ反射光を用いた光切断法による前記物体の３次元形状を計測する
   ことを特徴とする３次元計測方法。
8. 計測対象の物体にレーザ光を走査しながら照射し、その反射光を読み取ることで前記物体の３次元形状を計測する方法において、
   前記レーザ光をスリット光にして所定の角度に分離して複数本を前記物体に照射し、その照射された複数本のレーザ光の前記物体からの反射光を読み取って前記所定の角度に対応した間隔になっているか否かを演算し、前記所定の角度に対応した間隔になっている場合のみそのレーザ反射光を用いた光切断法による前記物体の３次元形状を計測する
   ことを特徴とする３次元計測方法。
9. 前記所定の角度に対応した間隔になっているか否かは、読み取った反射光のデータと、所定のテンプレートデータとの比較によって行う
   ことを特徴とする請求項８記載の３次元計測方法。
10. 前記テンプレートデータは複数パターン用いる
    ことを特徴とする請求項９記載の３次元計測方法。

Images