JP2019211231A - 距離画像生成カメラ及び距離画像生成方法 - Google Patents

Abstract

【課題】距離画像生成カメラにおいて、受光量の減少とノイズ重畳による距離測定精度の低下を防止すること。【解決手段】距離画像生成カメラ１において、第１の距離画像生成部１３は、受光処理部１２で生成された画素毎の遅延時間や受光量から物体までの距離を算出して第１の距離画像を生成する。第２の距離画像生成部１４は、第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する。その際画素群選択部１４１は、フィルタ処理に利用する画素群として、受光処理部１２で生成された遅延時間と受光量、及び第１の距離画像生成部１３で生成された第１の距離画像のうち、少なくとも１つの生成値がノイズ成分値以上であるような画素群を選択する。【選択図】図１０

Description

本発明は、ＴＯＦ（Time Of Flight）方式により距離画像生成を行う距離画像生成カメラ及び距離画像生成方法に関する。

ＴＯＦ方式による距離測定技術に関し、特許文献１には、ＴＯＦ測定時のノイズを最小限に抑えながら、より正確な飛行時間を測定するために、位相データおよび信頼度データを含む、シーンからの飛行時間データをビニングする方法について記載されている。すなわちその方法は、複数の変調された信号でシーンを照明することによって複数のＴＯＦデータを取得するステップと、各々の変調された信号を、位相および信頼度データそれぞれによって定義されたベクトルに関連付けるステップと、ビニングされたベクトルを得るために複数のベクトルを加算するステップと、ビニングされたベクトルの位相および信頼度を決定するステップと、シーンの奥行きデータを得るためにビニングされたベクトルの位相および信頼度データを処理するステップと、を含む構成となっている。

特表２０１７−５２９１７号公報

特許文献１は、ＴＯＦ型距離測定において、反射光の遅延時間（位相）と光量（振幅）からなるベクトルをビニング対象画素分だけベクトル加算することでビニングベクトルを求め、このビニングベクトルの遅延時間で距離を算出するものである。しかし、特許文献１では、遠距離や低反射の物体の場合、また段差のある物体のエッジ部分において、その反射光の光量が減少することに関して特に考慮されていない。すなわち、反射光の光量が少ない状態で、環境ノイズやセンサ内ノイズが重畳した場合、文献にあるようなビニング法を採用したとしても、受光素子が検出する受光量に対するノイズの割合が大きくなり、距離測定の精度が低下するという課題がある。

以上を鑑みて、本発明の目的は、受光量の減少とノイズ重畳による距離測定精度の低下を防止可能な距離画像生成カメラ及び距離画像生成方法を提供することである。

本発明の距離画像生成カメラは、撮影空間へ照射光を発光する発光処理部と、撮影空間からの反射光を所定数の画素で受光し、照射光の発光タイミングから反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における反射光の受光量を生成する受光処理部と、受光処理部で生成した画素毎の遅延時間から物体までの距離を算出して第１の距離画像を生成する第１の距離画像生成部と、第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する第２の距離画像生成部と、を備える。第２の距離画像生成部には、フィルタ処理に利用する画素群を選択する画素群選択部を有し、画素群選択部は、受光処理部で生成された遅延時間と受光量、及び第１の距離画像生成部で生成された第１の距離画像のうち、少なくとも１つの生成値が生成値に含まれるノイズ成分値以上であるような画素群を選択する。

本発明の距離画像生成方法は、撮影空間へ照射光を発光する発光処理ステップと、撮影空間からの反射光を所定数の画素で受光し、照射光の発光タイミングから反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における反射光の受光量を生成する受光処理ステップと、受光処理ステップで生成した画素毎の遅延時間から物体までの距離を算出して第１の距離画像を生成する第１の距離画像生成ステップと、第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する第２の距離画像生成ステップと、を備える。第２の距離画像生成ステップには、フィルタ処理に利用する画素群を選択する画素群選択ステップを有し、画素群選択ステップでは、受光処理ステップで生成された遅延時間と受光量、及び第１の距離画像生成ステップで生成された第１の距離画像のうち、少なくとも１つの生成値が生成値に含まれるノイズ成分値以上であるような画素群を選択する。

本発明によれば、距離画像生成カメラにおいて、受光量の減少とノイズ重畳による距離測定精度の低下を防止できる。

ＴＯＦ型距離画像生成カメラの構成を示すブロック図（実施例１）。 ＴＯＦ型距離画像生成カメラの動作フローチャートを示す図。 ＴＯＦ型距離画像生成カメラの動作タイミングチャートを示す図。 ＴＯＦ型距離画像生成カメラにおける距離測定の原理を説明する図。 間接式距離測定方法を説明する図。 受光量の低下とノイズ重畳による測定精度への影響を説明する図。 第１の課題（受光量の低下）による測定時の誤差発生を説明する図。 第１の課題（受光量の低下）による測定時の誤差発生を説明する図。 複数画素間でのフィルタ処理の効果を説明する図（第１の課題なし）。 複数画素間でのフィルタ処理の効果を説明する図（第１の課題あり）。 第１条件に従い画素群を選択した場合のフィルタ処理結果を示す図。 図９のフィルタ処理で得られる第２の距離画像のイメージ図。 図１０のフィルタ処理で得られる第２の距離画像のイメージ図。 第２の課題（物体のエッジ部）によるフィルタ処理結果への影響を示す図（実施例２）。 第２条件に従い画素群を選択した場合のフィルタ処理結果を示す図。 図１３のフィルタ処理で得られる第２の距離画像のイメージ図。 図１４のフィルタ処理で得られる第２の距離画像のイメージ図。

本発明の実施形態を図面を用いて説明する。以下で説明する実施例は一例であり、技術的に容易に類推できる変形例を排除するものではない。

実施例１では、ＴＯＦ型距離画像生成カメラの基本構成と動作を説明した後、第１の課題として、反射光の光量が少ない状態で、環境ノイズやセンサ内ノイズが重畳した場合への対応について説明する。

図１は、ＴＯＦ型距離画像生成カメラの構成を示すブロック図である。ＴＯＦ型距離画像生成カメラ１は、光の飛行時間により物体までの距離を測定し距離画像を生成するもので、発光処理部１１と、受光処理部１２と、第１の距離画像生成部１３と、第２の距離画像生成部１４と、制御部１５と、輝度画像生成部１６と、通信部１７とを備える。

発光処理部１１は、撮影空間へ向け照射光を発光する。受光処理部１２は、撮影空間からの反射光を所定数の画素で受光する受光部１２１と、発光処理部１１での照射光の発光タイミングから受光部１２１での反射光の受光タイミングまでの遅延時間を画素毎に生成する遅延時間生成部１２２と、所定期間における反射光の受光量を生成する受光量生成部１２３と、を有する。具体的には、受光部１２１は、前記画素に対応して２次元状に配置された複数の受光素子で構成する。なお、遅延時間生成部１２２は、受光量生成部１２３で生成した受光量を基に、遅延時間を間接的に算出することができる。

第１の距離画像生成部１３は、受光処理部１２で生成した画素毎の遅延時間から第１の距離画像を生成する。すなわち、遅延時間から被写体までの距離を算出し、距離に応じて例えば色相を変えるカラー化処理を行った画像を生成する。

第２の距離画像生成部１４は、第１距離画像生成部１３で生成した第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い、第２の距離画像を生成するフィルタ処理部１４２と、フィルタ処理に利用する画素群を選択する画素群選択部１４１と、を有する。フィルタ処理を行うことで、距離画像の各画素に含まれるノイズの影響を低減する効果がある。例えば画素群選択部１４１は、フィルタ処理の対象画素とその隣接画素からなる画素群（３画素×３画素）をフィルタ利用画素群の候補とし、後述する選択条件に従い適合する画素を選択する。

輝度画像生成部１６は、受光処理部１２での画素毎の受光量から輝度画像を生成する。つまり輝度画像は、被写体からの反射光の強度に対応した通常の撮影画像に相当する。通信部１７は、第１の距離画像、第２の距離画像、輝度画像、制御情報を外部と送受信する。

制御部１５は、各部を制御する。すなわち、発光処理部１１への発光開始／終了の指示、受光処理部１２への受光開始／終了の指示、遅延時間生成と受光量生成の指示を行う。また、第１の距離画像生成部１３への第１の距離画像生成の指示、第２の距離画像生成部１４へのフィルタ利用画素群選択と第２の距離画像生成の指示、輝度画像生成部１６への輝度画像生成の指示を行う。また、通信部１７への第１の距離画像、第２の距離画像、輝度画像の送受信の指示を行う。
なお、ＴＯＦ型距離画像生成カメラ１においては、距離画像を生成するのが主目的であるから、輝度画像生成部１６を備えていない構成としてもよい。

次に、ＴＯＦ型距離画像生成カメラの動作概要を説明する。
図２は、ＴＯＦ型距離画像生成カメラの動作フローチャートを示す図である。また図３は、ＴＯＦ型距離画像生成カメラの動作タイミングチャートを示す図である。ここでは両者を参照して説明する。

図２の動作フローと、図３の動作タイミングは、通信部１７を介して外部から距離画像生成の指示を受けると、制御部１５により制御される。また、図２の各動作フローに付与した符号Ｓ２１０〜Ｓ２７０は、図３の各動作タイミングでの符号Ｔ２１０〜Ｔ２７０と対応している。さらに、図３には、図２の動作フローに伴う各種状態変化として、撮影空間の照射光と反射光の状態、遅延時間や受光量、第１及び第２の距離画像、輝度画像の生成タイミングを示している。また、図２の動作フローと図３の動作タイミングは、１回の画像生成動作を示すもので、これを繰り返し実行する。以下、動作フロー（動作タイミング）を順に説明する。

Ｓ２１０（Ｔ２１０）では、発光処理部１１は発光を開始し、受光処理部１２は受光を開始する。また受光処理部１２は、遅延時間生成と受光量生成を開始する。
Ｓ２２０では、発光処理部１１での発光動作が所定の発光時間を経過したか否かを判定する。Ｙｅｓの場合はＳ２３０へ進み、Ｎｏの場合はＳ２２０を繰り返す。
Ｓ２３０（Ｔ２３０）では、発光処理部１１は発光を終了する。

Ｓ２４０では、受光処理部１２での受光動作が所定の受光時間を経過したか否かを判定する。Ｙｅｓの場合はＳ２５０へ進み、Ｎｏの場合はＳ２４０を繰り返す。ここでは受光時間を１つの期間として示しているが、後述するように、２つの期間に分けて受光する。
Ｓ２５０（Ｔ２５０）では、受光処理部１２は受光を終了し、遅延時間生成と受光量生成を終了する。ここに遅延時間は、照射光を発光してから反射光を受光するまでの時間であり、受光量は、受光時間内に受けた反射光の光量である。後述するように、遅延時間は２つの受光期間の受光量から算出する。また、第１の距離画像生成部１３は、遅延時間に基づいて第１の距離画像を生成し、輝度画像生成部１６は、受光量に基づいて輝度画像を生成する。

Ｓ２６０（Ｔ２６０）では、第２の距離画像生成部１４は、第１の距離画像や輝度画像に基づいてフィルタ処理を施し、第２の距離画像を生成する。
Ｓ２７０（Ｔ２７０）では、通信部１７は、生成した第１及び第２の距離画像と輝度画像の通信を行う。

図４は、ＴＯＦ型距離画像生成カメラにおける距離測定の原理を説明する図である。撮影空間上で同一場所と見なせる位置に発光処理部１１と受光処理部１２を配置し、これらと距離Ｄだけ離れた位置に物体Ｐがあるとする。ここで、発光処理部１１がパルス状の照射光２１を発光すると、この照射光は物体に当たり反射され、その反射光が受光処理部１２に戻る。この際、発光処理部１１での照射光の発光タイミングと受光処理部１２での反射光の受光タイミングには、発光処理部１１（受光処理部１２）と物体との間の往復距離分の光の飛行時間分だけ遅延時間Ｔｄが発生する。

この距離Ｄと遅延時間Ｔｄとの関係は、（１）式で表すことができる。
距離Ｄ＝遅延時間Ｔｄ×光速×（１／２）・・・（１）
すなわち、遅延時間Ｔｄを測定することで、距離Ｄを算出できることになる。

この測定方法では遅延時間を高精度に測定することが要求されるので、高速のクロックを駆動させてカウントする必要がある。これに対し、遅延時間Ｔｄを直接測定せずに、受光量から遅延時間Ｔｄを間接的に求める実用的な方法があり、本実施例ではこの間接式測定方法を採用する。

図５は、間接式距離測定方法（間接式ＴＯＦ測距）を説明する図である。間接式ＴＯＦ測距では、光の飛行時間による遅延時間を受光量から間接的に測定するものである。また、この受光量を測定するため、受光部１２１には受光素子を用いる。

間接式ＴＯＦ測距では、１回の発光動作に対し、受光動作は２つの期間（第１及び第２の受光期間）に分けて行う。照射光の発光期間（発光時間）をＴｉ、その開始時刻をｔｉｓ、終了時刻をｔｉｅで示す。一方、反射光の受光期間は、第１の受光期間Ｔ１と第２の受光期間Ｔ２からなり、それぞれ発光期間Ｔｉの長さと等しい。受光タイミングは、第１の受光期間Ｔ１の開始時刻ｔ１ｓは発光開始時刻ｔｉｓと等しく、第２の受光期間Ｔ２の開始時刻ｔ２ｓは発光終了時刻ｔｉｅと等しくする。この方法で、第１の受光期間Ｔ１での受光量Ｓ１と第２の受光期間Ｔ２での受光量Ｓ２を測定する。

このときの遅延時間Ｔｄと物体までの距離Ｄは、受光量Ｓ１，Ｓ２を用いて（２）（３）（４）式で算出できる。
全受光量Ｓ＝第１の受光量Ｓ１＋第２の受光量Ｓ２・・・（２）
遅延時間Ｔｄ＝発光時間Ｔｉ×第２の受光量Ｓ２／全受光量Ｓ・・・（３）
距離Ｄ＝遅延時間Ｔｄ×光速×（１／２）
＝Ｔｉ×Ｓ２／（Ｓ１＋Ｓ２）×光速×（１／２）・・・（４）
すなわち、第１の受光量Ｓ１と第２の受光量Ｓ２とを測定することで、距離Ｄを算出するものである。この間接式測定方法によれば、遅延時間を高精度に測定する必要がないので実用的であるが、受光量の測定精度が要求されることになる。

次に、間接式距離測定方法（間接式ＴＯＦ測距）において測定精度を劣化させる要因について説明する。実施例１では、劣化要因として受光量の低下とノイズ重畳を取り上げる。

図６は、受光量の低下とノイズ重畳による測定精度への影響を説明する図である。物体までの距離が遠距離である場合や物体の反射率が小さい場合は、物体からの反射光の強度Ｓｓが減衰し、各受光期間Ｔ１，Ｔ２における受光量Ｓ１ｓ，Ｓ２ｓが低下する。また、受光時には、ランダム発生する環境ノイズやセンサノイズ（ショットノイズ等）等がノイズ受光量Ｓ１ｎ，Ｓ２ｎとして重畳する。これらの要因により、前記（３）式における受光量Ｓ２のＳ／Ｎ比が低下し、遅延時間Ｔｄの算出精度すなわち距離Ｄの測定精度を劣化させることになる。なお、測定時の環境ノイズやセンサノイズは一定に存在するとしても、受光量が低下することでＳ／Ｎ比を低下させることになる（以下、第１の課題と呼ぶ）。

図７Ａと図７Ｂは、第１の課題（受光量の低下）による測定時の誤差発生を説明する図である。図７と同様に、反射光の強度Ｓｓが減衰し、各受光期間Ｔ１，Ｔ２における受光量Ｓ１ｓ，Ｓ２ｓのレベルが低下している。

図７Ａでは、第２の受光期間Ｔ２に、ランダムな環境ノイズとセンサノイズＳ２ｎが混入し、受光量Ｓ２ｓに対し減算するように重畳している。このため、受光量Ｓ２は真値より小さく測定され、（３）（４）式の遅延時間Ｔｄと距離Ｄは真値より小さく算出されることになる。

一方図７Ｂでは、第２の受光期間Ｔ２に、ランダムな環境ノイズとセンサノイズＳ２ｎが混入し、受光量Ｓ２ｓに対し加算するように重畳している。このため、受光量Ｓ２は真値より大きく測定され、（３）（４）式の遅延時間Ｔｄと距離Ｄは真値より大きく算出されることになる。

ここまで１つの画素位置における測定精度について述べてきたが、複数の画素がマトリクス状に配列された受光部１２１においては、第２の距離画像生成部１４のフィルタ処理部１４２により隣接画素間でフィルタ処理を行う。フィルタ処理は、自身の画素を含む隣接する複数画素の測定値の平均値を求めて自身の画素の測定値とするものであり、ランダムに発生するノイズの影響を低減する効果がある。しかし、第１の課題のように、受光量が低下することでＳ／Ｎ比が低下した状態では、単純なフィルタ処理では測定誤差を十分低減することができない。

なお、本来は、第１の距離画像生成部１３で各画素の遅延時間から第１の距離画像を生成し、画素群選択部１４１でその各画素とその周囲の画素を選択し、フィルタ処理部１４２で距離情報をフィルタ処理することで第２の距離画像を生成するものである。しかし、距離情報と遅延時間は線形関係にあるため、以降では、距離情報の代わりに遅延時間を用いて説明する。

図８と図９は、複数画素間でのフィルタ処理の効果を説明する図である。図８は、受光量が大きくノイズの影響が相対的に小さい場合（第１の課題なし）、図９は、受光量が低下しノイズの影響が相対的に大きい場合（第１の課題あり）である。

ここでは、図８、図９とも、平坦な壁Ｗ１を測定対象としている。また、カメラの受光部１２１は、ｘｙ平面に配置された９×９画素分の受光素子群を有している。なお、各画素をその座標（ｘ，ｙ）で表記して区別する。画素群選択部１４１は、フィルタ処理用の周辺画素としてフィルタ対象画素を中心に３×３＝９個の画素群を選択し、フィルタ処理部１４２では選択された画素群を用いて単純平均フィルタ処理を行う。ここには、フィルタ対象画素（５，５）を中心とした画素位置（４，４）と（６，６）を対角とする９画素群について、各画素で測定した受光量とこれに基づき算出した遅延時間を示す。なお、測定対象が平坦な壁Ｗ１であるため、各画素での受光量と遅延時間の真値は一定である。さらに遅延時間に対しては、フィルタ処理部１４２によるフィルタ処理の結果として単純平均値Ａｖを示している。

まず、図８の場合は、各画素の受光量は、その真値に対してノイズの影響が小さい範囲に収まっている状態である。また、これら受光量に基づく各画素の遅延時間も、その真値に対してノイズの影響が小さい範囲に収まっている状態となる。この場合、９画素群における遅延時間の単純平均値Ａｖは、その真値に対する算出誤差が小さい結果となる。すなわち、フィルタ処理の効果が認められる。

一方、図９の場合は、各画素の受光量は、その真値に対してノイズの影響を大きく受けた画素（４，５）、（６，５）（×印で示す）が含まれた状態である。従って、これら受光量に基づく各画素の遅延時間も、その真値に対してノイズの影響が大きな画素（×印）が含まれた状態となる。この場合の、９画素群における遅延時間の単純平均値Ａｖは、その真値に対する算出誤差が大きい結果となる。すなわちこの場合は、フィルタ処理の効果が認められず、むしろ誤差を増大させている。

以上のように、物体までの距離が遠距離である場合や物体の反射率が小さい場合は、受光量が低下することでＳ／Ｎ比が低下し、単純なフィルタ処理では測定誤差を十分低減することができない。その原因は、フィルタ処理における周辺画素群の選択は、フィルタ処理対象画素との位置関係（例えば隣接していること）だけで決定しているからであり、その結果、ノイズ影響大の画素を含めてフィルタ処理を行うことになったものである。

そこで本実施例では、これを解決するため、画素群選択部１４１は、周辺画素群のうちノイズ影響大の画素群を排除し、ノイズ影響小の画素群のみを選択するようにした。そしてフィルタ処理部１４２では、選択されたノイズ影響小の画素群のみを用いてフィルタ処理を行うようにした。これにより、物体からの受光量が低下してＳ／Ｎ比が低下しても、距離測定の誤差が大きくなることを防止するようにした。つまり実施例１で定める画素群選択の条件（以下、第１条件）は、受光量生成部１２３での受光量が、それに含まれるノイズ成分値以上である画素を選択することである。

図１０は、画素群選択の第１条件を満足するように画素群を選択した場合のフィルタ処理結果を示す図である。ここでは、図９で示したようにノイズが大きい場合（第１の課題）で、第１条件として、受光量がそれに含まれるノイズ成分値以上となる画素を選択している。ここではノイズ成分値のレベルを閾値として示している。

すなわち、選択候補の９画素（ｘ＝４〜６，ｙ＝４〜６）の受光量のレベルについて、閾値以上のもの（図中Ｈ印）と、閾値未満のもの（図中Ｌ印）のいずれかを判定する。そしてフィルタ処理用の画素群選択では、Ｌ印の画素を排除し（図中×印）、Ｈ印の７個の画素のみを採用している（図中○印）。

従って、フィルタ対象画素（５，５）に対する単純平均値Ａｖは、ノイズの影響が大きな画素群（図中×印）の影響を受けず、ノイズ影響の小さな７個の画素群（図中○印）のみの単純平均として得られる。その結果、真値に対する算出誤差が小さい結果を得ることができる。

図１１と図１２は、それぞれ図９、図１０のフィルタ処理で得られる第２の距離画像のイメージ図である。カメラの各画素についてそれぞれの遅延時間にフィルタ処理を施し、フィルタ処理後の各画素の遅延時間に基づいて第２の距離画像を生成する。距離画像は、距離情報の遠近度を各画素の濃淡で表している。

図１１では、図９のフィルタ処理において第１の課題（受光量の低下によるＳ／Ｎ比の劣化）があるため、距離情報が真値に近い画素と真値から遠い画素が混在する。よって距離画像は、ところどころ不均一になっている。つまり、平坦な壁Ｗ１の状態を反映していない。

一方図１２では、図１０のようにノイズ影響の小さな画素群のみでフィルタ処理を行っているので、第１の課題を解決し、全画素の距離情報は真値に近い。よって距離画像は、全画像にわたり均一になっており、平坦な壁Ｗ１の状態を忠実に反映した距離画像が得られる。

ここでは画素選択の第１条件として、受光量生成部１２３での受光量が、それに含まれるノイズ成分値以上であるような画素を選択したが、受光量の代わりに、遅延時間生成部１２２での遅延時間、第１の距離画像生成部１３での距離画像、または輝度画像生成部１６での輝度画像を参照してもよい。あるいは、これらの生成値のうち少なくとも１つがノイズ成分値以上であるとしてもよい。さらには、ノイズ成分値に代えて、各生成値が生成演算の精度以上であるような画素を選択することでもよい。

実施例１によれば、受光量が低下してＳ／Ｎ比が低下した場合でも測定距離の誤差を低減できるので、高精度の距離画像を提供することができる。

実施例２では、測定精度の劣化要因として、物体のエッジ部での反射光量の低下とＳ／Ｎ比の劣化（第２の課題）を取り上げる。

図１３は、物体のエッジ部によるフィルタ処理結果への影響を示す図である。ここでは、直角段差のある平坦な壁Ｗ２を測定対象としている。すなわち、画素領域（ｘ＝４，ｙ＝４〜６）と画素領域（ｘ＝５〜６，ｙ＝４〜６）とでは、壁の段差分だけ距離が異なり（２つの距離帯）、受光量と遅延時間の真値も異なっている。

画素（４，６）、（５，４）以外のエッジ部から遠い各画素の受光量は、その真値に対して、ノイズの影響が小さい範囲に収まっている。また、これら受光量に基づく各画素の遅延時間も、その真値に対して、ノイズの影響が小さい範囲に収まっている。

一方、エッジ部に近い（４，６）と（５，４）の各画素の受光量は、その真値よりも大幅に低下し、ノイズの影響が大きい状態となる。これは、エッジ部からの反射光がカメラの受光部に正しく到達されないためである。また、これら受光量に基づく各画素の遅延時間も、その真値に対して、ノイズの影響が大きい状態となる。

このようなエッジ部を含む画素間でのフィルタ処理では、算出誤差が大きくなる。つまり、フィルタ利用画素群内に測定値の真値が複数（ここでは２通り）あることや、エッジ部でノイズの影響を大きく受けることにより、中心画素（５，５）に対する単純平均値Ａｖは、その真値に対する算出誤差が大きくなってしまう。

以上のように物体のエッジ部では、複数の距離帯に属する画素群を含めてフィルタ処理を行うとともに、エッジ部でのＳ／Ｎ比が低下することから、単純なフィルタ処理では測定誤差を低減することができない。

そこで本実施例では、これを解決するため、画素群選択部１４１は、複数の距離帯のうち最多画素数の距離帯に属する画素群のみを選択し、少数画素数の距離帯に属する画素群を排除するようにした。そしてフィルタ処理部１４２では、最多画素数の距離帯に属する画素群のみを用いてフィルタ処理を行う。これにより、物体のエッジ部で距離測定の誤差が大きくなることを防止するようにした。すなわち実施例２で定める画素群選択の条件（以下、第２条件）は、受光量生成部１２３での受光量の度数分布を参照し、最も度数が高い階級に属する画素を選択することである。

図１４は、画素群選択の第２条件を満足するように画素群を選択した場合のフィルタ処理結果を示す図である。ここでは、図１３と同様に直角段差のある平坦な壁Ｗ２を測定対象とし（第２の課題）、第２条件として、受光量の度数分布が最も高い階級に属する画素を選択している。

第２条件では、各画素を受光量のレベルで複数のグループに分類する。ここでは、符号Ａ、Ｂ、Ｃの３グループに分類できる。そして、最も度数分布の高い階級に属する画素を選択する。この例では、受光量の度数分布は、グループＡが２回、Ｂが２回、Ｃが５回である。よって、最も度数分布の高いグループＣに属する５個の画素を選択する。すなわち画素群選択では、９画素の候補のうち、５個の画素（ｘ＝５，ｙ＝５〜６）、（ｘ＝６、ｙ＝４〜６）を選択する（図中○印）。これにより排除される画素群（図中×印）は、フィルタ対象画素（５，５）とは有意な距離の差がある画素群や、物体のエッジ部で戻り光が少なくノイズの影響が大きい画素群である。

従って、フィルタ対象画素（５，５）に対する単純平均値Ａｖは、度数分布の低い階級に属する画素群（図中×印）の影響を受けず、度数分布の高い階級に属する５個の画素群（図中○印）のみの単純平均として得られる。その結果、真値に対する算出誤差が小さい結果を得ることができる。

図１５と図１６は、それぞれ図１３、図１４のフィルタ処理から得られる第２の距離画像のイメージ図である。カメラの各画素についてそれぞれの遅延時間にフィルタ処理を施し、フィルタ処理後の各画素の遅延時間に基づいて第２の距離画像を生成し、距離情報の遠近度を各画素の濃淡で表している。

図１５では、図１３のフィルタ処理において第２の課題（段差の存在とエッジ部でのＳ／Ｎ比の劣化）があるため、段差部が緩やかな傾斜面を示す距離画像になっている。つまり、本来の壁Ｗ２のシャープな段差を反映していない。

一方図１６では、図１４のように最も度数分布の高い階級に属する画素群のみでフィルタ処理を行っているため、第２の課題を解決し、有意な距離の差がある画素群やノイズの大きな画素群の影響を受けない。その結果、直角段差のある壁Ｗ２の状態を忠実に反映した距離画像を得ることができる。

ここでは第２条件として、受光量生成部１２３での受光量の度数分布を参照し、最も度数が高い階級に属する画素を選択したが、受光量の代わりに、遅延時間生成部１２２での遅延時間、第１の距離画像生成部１３での距離画像、あるいは輝度画像生成部１６での輝度画像を参照して画素を選択してもよい。また、選択する階級は１つでなく、度数の高い順に複数の階級に属する画素を選択してもよい。

実施例２によれば、物体のエッジ部付近で距離に有意な差が存在する場合でも測定距離の誤差を低減できるので、高精度の距離画像を提供することができる。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１…ＴＯＦ型距離画像生成カメラ、
１１…発光処理部、
１２…受光処理部、
１２１…受光部、
１２２…遅延時間生成部、
１２３…受光量生成部、
１３…第１の距離画像生成部、
１４…第２の距離画像生成部、
１４１…画素群選択部、
１４２…フィルタ処理部、
１５…制御部、
１６…輝度画像生成部、
１７…通信部。

Claims (6)

1. 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成カメラにおいて、
   撮影空間へ照射光を発光する発光処理部と、
   前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理部と、
   前記受光処理部で生成した画素毎の遅延時間から物体までの距離を算出して第１の距離画像を生成する第１の距離画像生成部と、
   前記第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する第２の距離画像生成部と、を備え、
   前記第２の距離画像生成部には、前記フィルタ処理に利用する画素群を選択する画素群選択部を有し、
   該画素群選択部は、前記受光処理部で生成された遅延時間と受光量、及び前記第１の距離画像生成部で生成された第１の距離画像のうち、少なくとも１つの生成値が該生成値に含まれるノイズ成分値以上であるような画素群を選択することを特徴とする距離画像生成カメラ。
2. 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成カメラにおいて、
   撮影空間へ照射光を発光する発光処理部と、
   前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理部と、
   前記受光処理部で生成した画素毎の遅延時間から物体までの距離を算出して第１の距離画像を生成する第１の距離画像生成部と、
   前記第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する第２の距離画像生成部と、を備え、
   前記第２の距離画像生成部には、前記フィルタ処理に利用する画素群を選択する画素群選択部を有し、
   前記画素群選択部は、前記受光処理部で生成された遅延時間と受光量、及び前記第１の距離画像生成部で生成された第１の距離画像のうち、少なくとも１つの生成値の度数分布を参照し、度数が高い順に所定数の階級に属する画素群を選択することを特徴とする距離画像生成カメラ。
3. 請求項１または２に記載の距離画像生成カメラにおいて、
   前記受光処理部での画素毎の受光量から輝度画像を生成する輝度画像生成部を備え、
   前記画素群選択部は、画素群を選択するときに参照する前記生成値の１つとして、前記輝度画像生成部での輝度画像を含めることを特徴とする距離画像生成カメラ。
4. 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成方法において、
   撮影空間へ照射光を発光する発光処理ステップと、
   前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理ステップと、
   前記受光処理ステップで生成した画素毎の遅延時間から物体までの距離を算出して第１の距離画像を生成する第１の距離画像生成ステップと、
   前記第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する第２の距離画像生成ステップと、を備え、
   前記第２の距離画像生成ステップには、前記フィルタ処理に利用する画素群を選択する画素群選択ステップを有し、
   該画素群選択ステップでは、前記受光処理ステップで生成された遅延時間と受光量、及び前記第１の距離画像生成ステップで生成された第１の距離画像のうち、少なくとも１つの生成値が該生成値に含まれるノイズ成分値以上であるような画素群を選択することを特徴とする距離画像生成方法。
5. 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成方法において、
   撮影空間へ照射光を発光する発光処理ステップと、
   前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理ステップと、
   前記受光処理ステップで生成した画素毎の遅延時間から物体までの距離を算出して第１の距離画像を生成する第１の距離画像生成ステップと、
   前記第１の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第２の距離画像を生成する第２の距離画像生成ステップと、を備え、
   前記第２の距離画像生成ステップには、前記フィルタ処理に利用する画素群を選択する画素群選択ステップを有し、
   測定対象である前記物体が段差を含む形状である場合、前記画素群選択ステップでは、前記受光処理ステップで生成された遅延時間と受光量、及び前記第１の距離画像生成ステップで生成された第１の距離画像のうち、少なくとも１つの生成値の度数分布を参照し、度数が高い順に所定数の階級に属する画素群を選択することを特徴とする距離画像生成方法。
6. 請求項４または５に記載の距離画像生成方法において、
   前記受光処理ステップでの画素毎の受光量から輝度画像を生成する輝度画像生成ステップを備え、
   前記画素群選択ステップでは、画素群を選択するときに参照する前記生成値の１つとして、前記輝度画像生成ステップでの輝度画像を含めることを特徴とする距離画像生成方法。

Images