JP2002500367A - 3次元距離画像を撮影するための方法及び装置 - Google Patents
3次元距離画像を撮影するための方法及び装置Info
- Publication number
- JP2002500367A JP2002500367A JP2000526831A JP2000526831A JP2002500367A JP 2002500367 A JP2002500367 A JP 2002500367A JP 2000526831 A JP2000526831 A JP 2000526831A JP 2000526831 A JP2000526831 A JP 2000526831A JP 2002500367 A JP2002500367 A JP 2002500367A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- pixel
- integration
- light
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/10—Field detection presence sensors
- B60N2210/16—Electromagnetic waves
- B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
関する。
おいてますます重要性を持ちつつある。例えばレーザレーダのような周知の光学
的レーダシステムは、レーザパルス伝播時間測定の原理又はオブジェクト距離の
導出のために変調されたレーザ光の位相差の測定に基づく。3次元画像供給シス
テムの構成のためには、付加的な機械的スキャン装置が必要である。これは比較
的高価な電子的及び機械的コストをもたらす。このコストはこのような3次元シ
ステムの使用を数少ない特別な適用に限定する。
ラに対してはテレビジョン(TV)規準が使用される。従って、単に比較的長い
読み出し時間しか実現されない。
て、コスト高な機械的装置なしで空間的オブジェクトに対する3次元距離画像を
得るための迅速かつコスト的に有利な方法を提供することである。
される。
解能)を有しかつランダムに読み出し可能であり、さらに積分時間を詳細に調整
可能である光電センサを使用することによって、3次元距離画像のきわめて迅速
な画像撮影が可能である、という認識に基づいている。このために、オブジェク
トは1つ又は複数の非常に短い光パルスで照明され、次いで同じ長さの光パルス
がこのオブジェクトから散乱されて戻ってくる。これらの散乱されて戻ってくる
光パルスは相応の光学系を介して光電チップに導かれる。センサからの異なるオ
ブジェクト点の異なる距離に基づいて、それぞれの箇所に対応する散乱されて戻
ってくる光パルスはそれぞれ異なる時間でセンサに到達する。距離測定に対して
は、時間測定窓がオープンされる。この時間測定窓の持続時間は予め設定可能な
積分時間に相応する。積分時間は、送信される光パルスの長さ、すなわち反射さ
れる光パルスの長さより小さいか又は等しい。従って、積分時間の終了時点には
散乱されて戻ってくる光パルスの統一的なカットがセンサにおいて行われること
が保障される。画素素子毎に時間遅延して入射する光パルスは後の方でカットさ
れる。この結果、光電センサのラスタにおける異なる電荷に基づいて、異なる伝
播時間が異なる電荷差に変換されうる。この電荷差から3次元距離画像が計算さ
れる。
ルスの代わりに、急勾配のエッジを有する光強度上昇だけを使用し、センサにお
いて相応に撮影し評価するように構成される。これによって、測定結果は光パル
スの下がりエッジの経過に依存しなくなる。他方で例えばセンサ素子の動作熱に
より発生される暗電流の影響ならびに周囲光(妨害光)の成分が精確に各画素毎
に補償される。全体として3回の連続する測定によってまず最初に暗電流及び周
囲光が検出され、その後で露光との関連においてオブジェクトにより反射されセ
ンサで受信された光量がセンサ信号の形式で積分される。これが続いて比較的大
きい積分時間で繰り返される。ここから、相応の補間によって各オブジェクト点
毎に光の伝播時間がもとめられる。これは伝播時間、すなわちオブジェクトまで
の距離を同時に精確に測定することにおいて比較的少ない光出力の使用をもたら
す。
まず最初に記述した測定と同時に、又は、その後で時間シフトしてこれらの全て
の光パルスの完全な長さで受信する。これは正規化に利用され、この結果、オブ
ジェクトの反射特性における差異が識別され、補償される。
端に短い画像撮影時間が実現される。使用される光電センサは一般的にCMOS
センサと呼ばれ、これは半導体構成素子の技術的な名称でしかない。このような
センサによって50nsecから30nsecまでの最小積分時間が実現される(ジッタ
はほぼ0.1%よりも小さい)。技術的な発展は積分時間においてさらに前進し ている。
これらの2つの光パルスの所属のオブジェクト点はCMOSセンサに対して異な
る距離を有する。
ル値画像を同時に検出するためのセンサの概略図を示す。
の信号及び受信側のセンサ信号が図示されている。
ドの送信側の動作が及び図6bではこのセンサにおいて継続される積分により得
られるセンサ信号が図示されている。
において示しており、図7に下方に示された測定信号は短い積分時間との関連に
おいて及び非常に長い積分時間との関連において図示されている。
ンサの照明制御に関連する2つの異なる短い積分時間が設けられている。
元距離画像を連続的又は同時的に検出乃至は生成するための方法を記述する。こ
の方法は、3次元オブジェクトから散乱されて戻ってくる光パルスの伝播時間差
を短い積分時間内のセンサにおける画素同期(ピクセル同期)検出において利用
する。この場合、CMOSセンサが使用される。このセンサは例えば1mLux
の感光性を有する。さらに、このセンサは107までの高い強度ダイナミック特 性を有し、個々の画素(ピクセル)へのランダムなアクセスならびに調整可能な
積分時間(サンプル・アンド・ホールド)を有する。測定には、個々の画素の露
出による電荷量Q(t)が使用される。
レルな検出ならびに明らかにCCDカメラの読み出し時間を下回る短い画像撮影
時間の実現のような特別な利点が得られる。さらに、このCMOSはコスト高な
機械的シャッタを必要とせず、さらに短時間露出のために出力の高いレーザ光源
を使用する必要もない。
る。
ブジェクトの照明に対して例えば短い光パルス<100nsが供給される。この照
明は例えばパルス制御されるレーザダイオードによるレーザ光によって又は例え
ばパルス制御されるLEDダイオードのような光源によって行われる。この方法
は、照明の角度には依存しない。この照明を一般的な検出方向の中心部にどうし
ても行う必要はない。よって、例えば同軸的な照明及び検出においてもリング光
を使用することが考えられる。図1に図示された装置は動作原理の概略的な説明
のためだけに使用される。
た短い積分時間ΔA≦ΔL内に検出される。電子的なトリガパルスによってこの場
合送信された光パルス2とこのCMOSセンサにおける積分時間窓のオープンと
の間には固定的な時間関係が形成される。光の伝播時間のために、オブジェクト
距離Rに応じて異なる時間的ずれ τ=2R/Vc (Vc=光速) が送信された光パルスとCMOSセンサにおいて検出される光パルスとの間に生
じる。画素において積分時間ΔA内に測定される電荷QAはこれによってセンサと
オブジェクト点Gとの間の距離Rに依存する。これについては図2を参照のこと
。
ダイナミック特性によって検出されうる。通常は3次元シーンのオブジェクトは
異なる表面反射を有する。
使用される。このために第2の画像撮影の際にはCMOSセンサにおいて照明光
パルスの長さに比べて非常に大きい積分時間ΔBが調整される;ΔB≫ΔL、例え ば1マイクロ秒。今や散乱されて戻ってくる全ての光パルス3はその伝播時間に
は無関係にその完全な大きさにおいてCMOSセンサにおいて検出される。画素
において測定される電荷QBは QB ∝ I0・OR・ΔL (2) である。得られる画像は、照明強度I0、所属のオブジェクト点の表面反射係数 OR、ならびに光パルス長ΔLにのみ依存する。
的なスケーリングの後で直接的に距離画像QRとして出力される。トリガ遅延時 間tDが0に等しくない場合、距離画像QRの全ての点に一定のオフセット RD=tD/(Vc*ΔL) (5) ただしここでRDはtDにおける距離値(電荷オフセット)、 が加算される。
にパラレルな検出の実施に関連している。このために、チップ・アーキテクチャ
及びピクセル相対積分時間は次のように選択される。すなわち、CMOSセンサ
上の図3に相応する直接隣接するピクセルAとピクセルBとは3次元シーンの散
乱されて戻ってくる光パルス3を短い積分時間ΔA≦ΔL(ピクセルA) 及びΔB≫
ΔL(ピクセルB)で同時に検出するように選択される。チップ上に集積された電 子回路によって直接的に割り当てられたピクセルA及びピクセルBの2次元距離
画像 QR=(QA−QB)/QB (6) が計算され、出力される。
上の2つの可能な配置を概略的に示す。これに対して他の変形も可能である。強
度画像及び3次元距離画像の同時検出はとりわけ移動する3次元シーンの分析に
おいて重要であり、例えば人物の身振り又はオブジェクト追跡の検出である。本
発明の他の特別な特徴は、 ・ 必要な場合には、周囲光に関する3次元距離画像の付加的な正規化を実施で
きる。このためにはまず最初に3次元シーン乃至はオブジェクトの照明なしで画
素の電荷を短い積分時間及び長い積分時間で検出し、さらに照明によって測定さ
れた電荷QA及びQBから引く。続いて距離画像QRの計算が行われる。
が小さい場合にノイズに対してこの方法の感度の向上が達成される。
これが予期される場合、0.1nsの間の伝播時間差がまだ検出されうる。ここか ら、測定不確実性は距離測定に対して3cmよりも小さいと推論される。
積測定評価方法に結びついた車両の内部空間の監視に関する。車両における光学
的な内部空間監視の課題は、例えば人物、チャイルドシート、その他のオブジェ
クトのような座席占有状態の識別、人物の座席位置の検出及び盗難保護、すなわ
ち、外部からの車両内部への不許可の侵入の検出である。人物及びその座席位置
の識別はエアバック(スマート・エアバック)の段階的なトリガに対して安全性
に関連して大いに意味があり、これは衝突事故において非常に確実にかつ短い測
定時間で行われなければならない。本発明はこれらの要求を車両内部の3次元距
離画像の迅速かつ確実な生成によって満たし、体積測定評価方法を使用する。こ
の場合、立体角要素Ωにおける距離値Rから、オブジェクト1により占められる
車両内部空間における実効体積成分が、空っぽの車両内部空間における距離値に
対する差として測定される(これについては図4参照)。
間の3次元距離画像(3次元基準画像QRO)と人物又はその他のオブジェクトが
座席にいる場合の瞬時に評価すべき3次元距離画像QRPとの差形成によって行わ
れる。この場合、座席占有状態の実効体積VPには次式が成り立つ:
人物乃至はその他のオブジェクトが座席にいる場合の距離値であり、dFは微分
面積である。
をアダプティブに検出することが実施される。回帰的又は確率的評価方法を適用
することによって、差検出の確実性がさらに向上する。
積比較クラス(Volumen- Vergleichsklassen)を介して可能である。
外側の位置(Extrempositionen)(x、y、z)が決定される。
的追跡。運動分析から人物及び身振りの識別。
能にし、さらに例えばオブジェクト識別のために画像における輪郭、角、辺のよ
うな特徴の検出に頼る必要がない。評価時間は3次元画像撮影及び体積測定的評
価に10msかからない。
になる。この場合、例えば50ns(ナノ秒)のLED光パルスによる3次元画像撮
影においてオブジェクトが露出される。CMOSセンサにおける積分時間は画像
撮影QAに対して50nsに選択され、画像撮影QBに対して0.5μsに選択される
。車両内部の検出すべきシーン・ダイナミック特性は200:1であるべきであ
る。距離値Rは測定不確実性<15cm(光パルスの相応する伝播時間差=1ns)
で1.5m(伝播時間10ns)までの測定領域において検出される。
1の強度ダイナミック特性が必要となる。3次元距離画像QRのデジタル的検出 はこれにより12ビットA/D変換器によって保障される。50×50画素のセ ンサ局所分解能に対して、短い積分時間を有する画像撮影A及び長い積分時間を
有する画像撮影Bには最大104回の読み出し動作が必要不可欠である。この最 大104回の読み出し動作は、例えば2MHzの読み出し周波数において最大5m
sの3次元距離画像の全画像撮影時間をもたらす。2500個の距離値からの差 体積の計算は例えば200MHzのペンティアムのような高速プロセッサによっ
てさらに5msで難なく実施可能である。
破線の矢印は人物の座っていない時の座席を表す。直線の矢印は人物の座ってい
る時の座席を表す。大局的オブジェクト識別及び位置測定においては、被覆実効
体積成分は人物の座っている時の車両における3次元距離データ及び人物の座っ
ていない時の車両における3次元距離データから決定される。自動車座席の人物
又はその他のオブジェクトの実効体積VPは式(7)によって計算される。
づいており、伝播時間はT0=UP/Uges*ΔAである。ただしここで、 T0=光伝播時間、ΔA=積分時間、Uges=ΔBにおける測定信号マイナスΔBに おける暗電流成分、UP=Ugesマイナス(ΔAにおける測定信号成分マイナスΔA における暗電流成分)である。
信された測定信号を補間法によって評価する。この場合、光源からオブジェクト
を介してセンサまでの光の伝播時間は、暗電流成分の曲線と交差する図8の測定
信号の曲線の交点によって得られる。この光伝播時間には T0=2R/Vc が成り立つ。これから距離値Rが得られる。
わけ空間、例えば自動車内部空間の自動監視にとって必要不可欠である。距離画
像/間隔画像の精度にあまりにも高度な要求が課せられるわけではない。ほぼ1 000画素を有する距離画像で大抵の場合には空間監視には十分である。通常の
三角測量法はこの場合コストの理由からならびに大きな必要不可欠な測定ベース
のために除外される。
つコスト的に有利な撮影を実現しうる。補間を介して評価に必要不可欠な光の伝
播時間をセンサ4の各画素毎に得る方法は例として図8に図示されている。ここ
では、定められた長さを有する光パルスの代わりに、急勾配のエッジを有する光
強度上昇だけが評価される。センサで受信されるオブジェクトから反射されたレ
ーザパルスは2つの異なる積分時間によってカットされる。これによって、一方
で測定信号は光パルスの下がりエッジの経過には依存しなくなり、さらに他方で
例えばセンサの動作熱により生じる暗電流及び周囲光の影響が各画素毎に精確に
補償される。
ーザダイオードの矩形状に形成された光パルスが図示されている。その下には受
信側で測定される測定信号が図示されている。座標系の原点から電圧Udに向か う直線は実施された第1の測定であり、暗電流成分プラス未知の光成分を含んで
いる。Udは他の積分時間T1よりも大きい積分時間T2まで測定される。次いで オブジェクト1はレーザダイオードで照明され、この後まず最初に個々の画素に
おいて未知の光成分と共に暗電流だけが積分される。光伝播時間T0に基づいて 付加的な光がオブジェクト点Gから散乱されて戻ってくる場合、測定信号は時点
T0からそれぞれの画素の輝度に相応してより大きく上昇する。所定の積分時間 T1の後で全ての画素に対して電圧U1が読み出され格納される。同一の過程が第
1の暗電流測定から既知の積分時間T2で繰り返される。T1は例えば30nsであ
り、T2は例えば60nsである。測定信号が時間T1乃至はT2と交差する箇所に おいて、もっともこれは受信された光パルスをカットすることによっても同じで
あるが、点U1乃至はU2が得られる。関係式ΔU=U2−U1が成り立つ。光伝播
時間T0は図5に示されている公式によって計算される。点U1及びU2を通る直 線を延長すると、この直線は下の方へ向かって暗電流を示す直線にこの座標系の
原点と電圧UDとの間で交差する。この交点において光伝播時間T0が読みとれる
。U1及びU2乃至はΔUに対する全ての値は同様に全ての画素に対して読み出さ
れ格納される。比較的大きい暗電流UDであっても、所定の積分時間T1及びT2 に関連して各画素毎に格納された電圧UD、U1、U2及びΔUから明確に及び精 確に各画素毎に伝播時間T0が計算される。この場合、次式が成り立つ: T0=(U1・ΔT−ΔU・T1)/(UD・ΔT/T2−ΔU) これは伝播時間の、つまりオブジェクトへの距離の精確な同時測定において比較
的小さい光出力の使用をもたらす。
の低減のために、上記の過程の複数回の繰り返しを連続して行う。U1、UD及び
ΔUの得られる値はCMOSセンサの多重露出の最後に初めて読み出され、デジ
タル化される。これについては図6a及び6bを参照のこと。CMOSセンサに
おける多重露出に対するアナログ的な平均値形成は、後で行うデジタル的な平均
化の際の比較的長い読み出し時間を回避する。測定値の信号/ノイズ比の最適化 に関するオブジェクトのそれぞれの反射率に対するアダプティブな調整は、次の
ことによって実現される。すなわち、少ないテスト画像において、全体画像の特
定の個数の画素において値n(U1+ΔU)の飽和が生じるまで露出の数を増大 させることによって実現される。ただしここでn=多重露出の数である。
を多重露出の後で初めて行い、次いでデジタル化が行われることが可能になり、
さらに、オブジェクト反射率に相応してアダプティブな調整が行われることが可
能になる。これらの手段によってこれまで必要不可欠であったレーザ出力をファ
クタ10から20までだけ下げることができ、乃至は、精度を高めることができ
る。
に基づく積分法である。このフォトダイオードは電子的短時間積分器の構成部材
であり、この電子的短時間積分器はさらにコンデンサ及び複数のトランジスタを
有する。回路構成は次のように行われる。すなわち、例えばこのコンデンサのキ
ャパシタンスがこのフォトダイオードに入射する光に依存して放電されるように
行われる。これはいわゆるシャッタ・トランジスタを介して制御される。次いで
例えばこのコンデンサに残っている電位が読み出される。同期化された照明を保
障するために、この電子的短時間積分器のタイミング制御部は光源を制御するた
めのいわゆるストロボ信号を発生する。センサ4の各画素素子に対して、このよ
うな電子的短時間積分器(電子的シャッタ)が使用される。測定の終了時にコン
デンサに残っている電位の代わりに、既に放電されてしまった電位を測定値とし
て使用することもできる。
いる。図6bには例として積分時間T1とそれぞれの電圧U1及び暗電流成分UD との関係が図示されている。同じことはT2、U2及びUDに対してもプロットで きる。各露出乃至は多重露出に対して光伝播時間T0の値が得られる。
間を有する。それぞれ真ん中に図示されている、図8の例えば30ns及び60ns
のシャッタ時間及び図7の非常に長いレーザパルス時間と結びつくシャッタ時間
60nsがセンサにおける積分時間を決定することになる。図7において上方に送
信側の照明とレーザパルスの受信側の入射との間の時間的な関係が図示されてい
る。図5から8においてそれぞれ図示されている実施例はトリガ遅延時間を持た
ない。これは、受信側でセンサパルスの開始によって測定窓がオープンされるこ
とを意味する。これは、図7の図示においては、短時間シャッタ(60ns)が受
信されたレーザパルスを、それぞれオブジェクト点乃至は画素点に関して、時間
ΔAでカットすることを意味する。このレーザパルスの持続時間は送信側でも受 信側でもΔLである。明瞭なことは、様々な光伝播時間に基づいて、センサにお ける電子的短時間積分器はそれぞれ電位を測定値として供給し、この伝播時間に
依存して時点T0からΔAの終わりまで積分が行われることである。積分時間ΔB は図7の場合にはオブジェクト1における反射率の相違を補償するために使用さ
れる。この場合、暗電流及び未知の光成分がもとめられ、この暗電流及び未知の
光成分が測定信号から相応に引かれる。
る。図8の真ん中には2つの短時間シャッタ時間が図示されている。これらは図
7の場合と同じようにセンサ4に入射するレーザパルスをカットするために使用
される。従って、比較的短い積分時間T1及び比較的長い積分時間T2が生じる。
測定信号は図7及び8において暗電流及び未知の光成分を有する。従って、この
測定信号はこの暗電流及び未知の光成分への光電流成分の加算から得られる。言
い換えれば、光電流成分は、測定信号からこの暗電流及び未知の光成分を引くこ
とによってもとめられる。光伝播時間T0は、到達する反射光パルスによって測 定信号が暗電流成分及び未知の光成分のノーマルな経過から逸脱する時間軸上の
箇所において得られる。というのも、光電流成分はもはやゼロではないからであ
る。光伝播時間T0を得る評価は図5との関連において既に記述した。
される。照明と評価とは同時に行われる。従って、オブジェクト1は部分的に連
続的に照明され、そしてその都度評価される。その都度複数の光源10のうちの
1つにオブジェクト1の所定の部分が割り当てられている。さらに光源10の、
例えばレーザの強度の上昇時間は明瞭に短縮され、例えば0.1nsに短縮される 。
ェクト1をそれぞれ所定の領域11において照明する。センサ4はオブジェクト
1の部分的な領域11に相応する反射された光成分を受信し、この光成分を後続
処理する。この構成は、例えばレーザを有する照明ユニットのレーザ出力の制限
を可能にする。連続的な照明及び検出はコスト的に有利に実現可能であり、所定
の規準によって予め設定された最大レーザ出力を問題なく下回る。さらに、これ
に伴って、レーザ強度の上昇時間も明らかに例えば0.1nsecに短縮される。
これらの2つの光パルスの所属のオブジェクト点はCMOSセンサに対して異な
る距離を有する。
ル値画像を同時に検出するためのセンサの概略図を示す。
の信号及び受信側のセンサ信号が図示されている。
ドの送信側の動作が及び図6bではこのセンサにおいて継続される積分により得
られるセンサ信号が図示されている。
において示しており、図7に下方に示された測定信号は短い積分時間との関連に
おいて及び非常に長い積分時間との関連において図示されている。
ンサの照明制御に関連する2つの異なる短い積分時間が設けられている。
Claims (29)
- 【請求項1】 各画素素子(9)に存在する電子的短時間積分器を有する画
素分解能光電センサ(4)を使用して空間的オブジェクトの3次元距離画像を撮
影するための方法において、 積分時間は調整可能であり、前記方法は次のステップから成る、すなわち、 前記オブジェクト(1)は予め設定された持続時間ΔLの少なくとも1つの光 パルス(2)によって照明されるステップと、 オブジェクト点(G)から散乱されて戻ってくる光パルス(3)は前記センサ
(4)の所属の画素において予め設定された短い積分時間ΔA内に検出され、た だしここでΔA≦ΔLであり、前記積分時間ΔAの開始時点は散乱されて戻ってく る最初の光パルス(3)の到達の前であり、該散乱されて戻ってくる最初の光パ
ルス(3)は最も近くにあるオブジェクト点(G)に相応するステップと、 光パルスの異なる伝播時間に相応して結果的に得られる前記散乱されて戻って
くる光パルス(3)の測定された異なる強度から、距離値がもとめられるステッ
プとから成る、各画素素子(9)に存在する電子的短時間積分器を有する画素分
解能光電センサ(4)を使用して空間的オブジェクトの3次元距離画像を撮影す
るための方法。 - 【請求項2】 各画素素子(9)に存在する電子的短時間積分器を有する画
素分解能光電センサ(4)を使用して空間的オブジェクトの3次元距離画像を撮
影するための方法において、 積分時間は調整可能であり、前記方法は次のステップから成る、すなわち、 暗電流及び周囲光を表すセンサ信号の測定及び積分はこの測定及び積分の開始
から予め設定された積分時間T2まで行われるステップと、 オブジェクト(1)の露出の開始は照明装置(5)によってセンサ(4)にお
ける前記センサ信号の測定及び積分の開始と同時であり、前記センサ(4)にお
いて受信される光の光強度上昇の内に積分時間T1まで積分が行われ、ただしこ こでT1はT2よりも小さい、ステップと、 前記オブジェクト(1)の繰り返される露出は前記照明装置(5)によって前
記センサ(4)におけるセンサ信号の測定及び積分の開始と同時に行われ、前記
センサ(4)において受信される光の光強度上昇の内に積分時間T2まで積分が 行われるステップと、 時点T1及びT2には全ての画素に対してセンサ信号のそれぞれ積分された値が
読み出され格納されるステップと、 格納された値から各画素毎に前記照明装置(5)から前記オブジェクト(1)
を介して前記センサ(4)までの光の伝播時間T0ならびに相応する距離値が計 算されるステップとから成る、各画素素子(9)に存在する電子的短時間積分器
を有する画素分解能光電センサ(4)を使用して空間的オブジェクトの3次元距
離画像を撮影するための方法。 - 【請求項3】 個々の方法ステップはセンサ信号を得るためにそれぞれ複数
回繰り返され、これらから結果的に得られる信号は個々の画素毎に積分され、多
重露出の後で初めて前記センサ信号の読み出し、格納及び評価が行われる、請求
項1又は2記載の方法。 - 【請求項4】 格納される値はデジタル化される、請求項1から3のうちの
1項記載の方法。 - 【請求項5】 オブジェクト(1)のそれぞれの反射率に対するアダプティ
ブな調整は次のことによって行われる、すなわち、 全体画像の所定の数の画素において積分された強度値がT1及びT2において飽
和に近づくまで、多重露出の数は増大されることによって行われる、請求項3又
は4記載の方法。 - 【請求項6】 全体画像の各画素毎にT1及びT2において個々の積分された
強度値が飽和に近づくまで、多重露出の数又はレーザビームの強度は増大される
、請求項5記載の方法。 - 【請求項7】 積分されたセンサ信号はランダムな画素アクセスにおいて各
画素毎に又は画素のセグメント毎に読み出され、1セグメントは光電センサの1
行である、請求項5又は6記載の方法。 - 【請求項8】 空間的オブジェクト(1)は該オブジェクトを部分的に照明
する複数の光源(10)によって照明され、これらの光源(10)は連続的に活
性化され、評価は相応にそれぞれの照明の際に行われる、請求項1から7のうち
の1項記載の方法。 - 【請求項9】 積分時間は画素毎に調整可能である、請求項1から8のうち
の1項記載の方法。 - 【請求項10】 オブジェクト(1)の表面反射の同時的な又は後続の最適
化のために、付加的に全ての散乱されて戻ってくる光パルス(3)が長い積分時
間ΔB≫ΔLによって完全に検出される、請求項1、3から9のうちの1項記載の
方法。 - 【請求項11】 積分時間ΔA;ΔBの開始は、送信パルスに対するトリガパ ルス遅延に結びつけられている、請求項1、3から10のうちの1項記載の方法
。 - 【請求項12】 積分時間ΔAは100nsよりも小さい、請求項1、3から 11のうちの1項記載の方法。
- 【請求項13】 積分時間ΔBはほぼ1μsである、請求項1、3から12の
うちの1項記載の方法。 - 【請求項14】 光パルス長は100nsよりも小さい、請求項1から13の
うちの1項記載の方法。 - 【請求項15】 3次元画像及びグレースケール値画像の同時撮影のために
、センサ(4)において行毎に異なる積分時間ΔA乃至はΔB又はT1乃至はT2が
調整される、請求項1から14のうちの1項記載の方法。 - 【請求項16】 3次元画像及びグレースケール値画像の同時撮影のために
、センサ(4)において画素毎に異なる積分時間ΔA乃至はΔB又はT1乃至はT2 が交互に調整される、請求項1から15のうちの1項記載の方法。 - 【請求項17】 オブジェクト(1)はレーザの光パルス又はパルス制御さ
れる発光ダイオードの光パルスによって照明される、請求項1から16のうちの
1項記載の方法。 - 【請求項18】 センサ(4)はランダムに読み出し可能である、請求項1
から17のうちの1項記載の方法。 - 【請求項19】 センサ(4)はCMOSセンサである、請求項1から18
のうちの1項記載の方法。 - 【請求項20】 センサ(4)から少なくとも1つの点までの距離が基準距
離として既知である、請求項1から19のうちの1項記載の方法。 - 【請求項21】 車両における使用の際に、基準点はドアフレームに位置決
めされている、請求項20記載の方法。 - 【請求項22】 静止オブジェクト及び/又は運動経過の識別が行われる、 請求項1から21のうちの1項記載の方法。
- 【請求項23】 空間内又は車両内の対象物又は人物のようなオブジェクト
を監視する、請求項22記載の方法。 - 【請求項24】 車両又はクレーン装置が監視される及び/又はナビゲーシ ョンシステムにおける一般的な位置測定が行われる、請求項22記載の方法。
- 【請求項25】 車両における座席占有状態及び/又は例えば人物の座席位 置が識別される、請求項22又は23記載の方法。
- 【請求項26】 3次元距離画像の撮影のための装置において、該装置は次
のものを有する、すなわち、 照明装置(5)を有し、該照明装置(5)は光パルス(2)を光学系(6)を
介してオブジェクト(1)に送信し、 前置接続された光学系(7)を有する光電センサ(4)を有し、該光電センサ
(4)は前記オブジェクト(1)から散乱されて戻ってくる光パルス(3)を検
出し、前記センサ(4)は多数の画素素子(9)によって画素分解能を有して構
成され、ランダムに読み出し可能であり、さらに積分時間は画素毎に調整可能で
あり、 前記照明装置(5)と前記センサ(4)との間の時間的調整のためのトリガ装
置(8)を有し、 前記センサ(4)の前記画素素子(9)の相応の電荷から3次元画像を計算す
るための計算ユニットを有する、3次元距離画像の撮影のための装置。 - 【請求項27】 センサ(4)の画素素子(9)において行毎に又は列毎に
交互に短い積分時間ΔA乃至はT1及び長い積分時間ΔB乃至はT2が調整される、
請求項26記載の装置。 - 【請求項28】 センサ(4)の画素素子(9)において交互に短い及び長
い積分時間ΔA乃至ΔB又はT1乃至はT2が調整される、請求項26記載の装置。 - 【請求項29】 計算ユニットはセンサ(4)に設けられている、請求項2
6から28のうちの1項記載の装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19757595A DE19757595C2 (de) | 1997-12-23 | 1997-12-23 | Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes |
| DE19757595.1 | 1997-12-23 | ||
| DE19833207.6 | 1998-07-23 | ||
| DE19833207A DE19833207A1 (de) | 1998-07-23 | 1998-07-23 | Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes |
| PCT/DE1998/003344 WO1999034235A1 (de) | 1997-12-23 | 1998-11-14 | Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002500367A true JP2002500367A (ja) | 2002-01-08 |
| JP3860412B2 JP3860412B2 (ja) | 2006-12-20 |
Family
ID=26042787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000526831A Expired - Lifetime JP3860412B2 (ja) | 1997-12-23 | 1998-11-14 | 3次元距離画像を撮影するための方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6373557B1 (ja) |
| EP (1) | EP1040366B1 (ja) |
| JP (1) | JP3860412B2 (ja) |
| KR (1) | KR100508277B1 (ja) |
| DE (1) | DE59809883D1 (ja) |
| WO (1) | WO1999034235A1 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006153771A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 計測装置 |
| KR100770805B1 (ko) * | 2001-08-06 | 2007-10-26 | 지멘스 악티엔게젤샤프트 | 3차원 거리측정 이미지를 기록하기 위한 방법 및 장치 |
| JP2008145348A (ja) * | 2006-12-12 | 2008-06-26 | Denso Corp | 光センサ、距離検出装置、および距離検出方法 |
| JP2008249430A (ja) * | 2007-03-29 | 2008-10-16 | Nippon Hoso Kyokai <Nhk> | 3次元情報検出方法及びその装置 |
| JP2009047475A (ja) * | 2007-08-15 | 2009-03-05 | Hamamatsu Photonics Kk | 固体撮像素子 |
| JP2011530097A (ja) * | 2008-08-03 | 2011-12-15 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | ローリングカメラシステム |
| JP2012127811A (ja) * | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | 乗員検知装置 |
| JP2013068606A (ja) * | 2011-08-19 | 2013-04-18 | Semiconductor Energy Lab Co Ltd | 半導体装置の駆動方法 |
| JP2013137242A (ja) * | 2011-12-28 | 2013-07-11 | Hamamatsu Photonics Kk | 距離測定装置 |
| KR101367281B1 (ko) | 2007-11-13 | 2014-02-25 | 삼성전자주식회사 | 깊이 영상 생성 방법 및 장치 |
| JP2014509462A (ja) * | 2010-12-15 | 2014-04-17 | マイクロソフト コーポレーション | 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み |
| JP2016529491A (ja) * | 2013-12-24 | 2016-09-23 | ソフトキネティク センサーズ エヌブイ | 飛行時間型カメラシステム |
| WO2016151918A1 (ja) * | 2015-03-26 | 2016-09-29 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
| JP2016534343A (ja) * | 2013-08-14 | 2016-11-04 | フーフ・ヒュルスベック・ウント・フュルスト・ゲーエムベーハー・ウント・コンパニー・カーゲーHuf Hulsbeck & Furst Gmbh & Co. Kg | 自動車の操作ジェスチャを認識するためのセンサ構成 |
| JPWO2014207983A1 (ja) * | 2013-06-27 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 距離測定装置および固体撮像素子 |
| JP2019219400A (ja) * | 2018-06-21 | 2019-12-26 | アナログ ディヴァイスィズ インク | 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること |
| US12265157B2 (en) | 2018-12-14 | 2025-04-01 | Miraxia Edge Technology Corporation | Imaging device |
Families Citing this family (98)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8152198B2 (en) * | 1992-05-05 | 2012-04-10 | Automotive Technologies International, Inc. | Vehicular occupant sensing techniques |
| JP4105801B2 (ja) * | 1998-07-02 | 2008-06-25 | ペンタックス株式会社 | 3次元画像入力装置 |
| DE19908215A1 (de) * | 1999-02-25 | 2000-09-21 | Siemens Ag | Vorrichtung und Verfahren zum optischen Erfassen eines Objektes oder einer Person im Innenraum eines Fahrzeugs |
| US6323942B1 (en) * | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
| US6822687B1 (en) * | 1999-07-08 | 2004-11-23 | Pentax Corporation | Three-dimensional image capturing device and its laser emitting device |
| US6581961B1 (en) | 1999-12-17 | 2003-06-24 | Trw Vehicle Safety Systems Inc. | Deactivation of second stage of air bag inflator |
| US6671771B2 (en) * | 1999-12-21 | 2003-12-30 | Intel Corporation | Hash CAM having a reduced width comparison circuitry and its application |
| WO2001096147A2 (en) * | 2000-06-15 | 2001-12-20 | Automotive Systems Laboratory, Inc. | Occupant sensor |
| US6810135B1 (en) | 2000-06-29 | 2004-10-26 | Trw Inc. | Optimized human presence detection through elimination of background interference |
| DE10051505C2 (de) * | 2000-10-17 | 2002-09-12 | Astrium Gmbh | Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern |
| WO2002041031A1 (de) * | 2000-11-14 | 2002-05-23 | Siemens Aktiengesellschaft | Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung |
| US6950135B2 (en) * | 2001-01-24 | 2005-09-27 | Hewlett-Packard Development Company, L.P. | Method and apparatus for gathering three dimensional data with a digital imaging system |
| ATE336717T1 (de) * | 2001-05-17 | 2006-09-15 | Xenogen Corp | Verfahren und vorrichtung zur feststellung von zieltiefe, helligkeit und grösse in einer körperregion |
| US7298415B2 (en) | 2001-07-13 | 2007-11-20 | Xenogen Corporation | Structured light imaging apparatus |
| JP2003149717A (ja) * | 2001-11-19 | 2003-05-21 | Mitsubishi Heavy Ind Ltd | 撮像方法及び撮像装置 |
| DE10163534A1 (de) * | 2001-12-21 | 2003-07-10 | Siemens Ag | Vorrichtung zur Überwachung von Raumbereichen |
| DE10213754A1 (de) * | 2002-03-18 | 2003-12-04 | Sick Ag | Sensor-Maschinen-Interface und Verfahren zu dessen Betrieb |
| US7616985B2 (en) * | 2002-07-16 | 2009-11-10 | Xenogen Corporation | Method and apparatus for 3-D imaging of internal light sources |
| US7599731B2 (en) * | 2002-07-16 | 2009-10-06 | Xenogen Corporation | Fluorescent light tomography |
| DE10253437B4 (de) * | 2002-11-12 | 2007-02-15 | Iris-Gmbh Infrared & Intelligent Sensors | Vorrichtung und Verfahren zum Erfassen einer Topografie in drei Dimensionen |
| EP1636610B1 (de) * | 2003-03-25 | 2008-12-03 | THOMSON Licensing | Erfassung elektromagnetischer strahlung |
| US7242460B2 (en) * | 2003-04-18 | 2007-07-10 | Sarnoff Corporation | Method and apparatus for automatic registration and visualization of occluded targets using ladar data |
| JP2005067281A (ja) * | 2003-08-20 | 2005-03-17 | Toshiba Corp | 距離検出装置、エアバッグ制御装置および距離検出方法 |
| US7274815B1 (en) | 2003-10-09 | 2007-09-25 | Sandia Corporation | Parallel phase-sensitive three-dimensional imaging camera |
| GB0324179D0 (en) * | 2003-10-15 | 2003-11-19 | Isis Innovation | Device for scanning three-dimensional objects |
| DE10360174B4 (de) | 2003-12-20 | 2007-03-08 | Leuze Lumiflex Gmbh + Co. Kg | Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel |
| US7652241B2 (en) * | 2004-01-09 | 2010-01-26 | Aptina Imaging Corporation | Image acquisition timing system and method |
| JP4161910B2 (ja) * | 2004-01-28 | 2008-10-08 | 株式会社デンソー | 距離画像データ生成装置及び生成方法,プログラム |
| US7697748B2 (en) * | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
| US7236235B2 (en) * | 2004-07-06 | 2007-06-26 | Dimsdale Engineering, Llc | System and method for determining range in 3D imaging systems |
| WO2006011674A1 (en) * | 2004-07-30 | 2006-02-02 | Matsushita Electric Works, Ltd. | Image processing device |
| JP4466260B2 (ja) * | 2004-07-30 | 2010-05-26 | パナソニック電工株式会社 | 画像処理装置 |
| DE102004038302A1 (de) * | 2004-08-04 | 2006-03-16 | Iris-Gmbh Infrared & Intelligent Sensors | Expertensystem und mobiles Assistenzgerät |
| EP1668384B1 (en) * | 2004-09-17 | 2008-04-16 | Matsushita Electric Works, Ltd. | A range image sensor |
| JP3906859B2 (ja) * | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
| FR2877279B1 (fr) * | 2004-11-03 | 2008-06-27 | Faurecia Sieges Automobile | Systeme de detection de presence d'un occupant sur un siege de vehicule automobile, siege adapte a ce systeme et vehicule comportant un tel systeme |
| DE102005016556A1 (de) | 2005-04-11 | 2006-10-12 | Sick Ag | Verfahren zum Betrieb eines optoelektronischen Sensors |
| US8044996B2 (en) * | 2005-05-11 | 2011-10-25 | Xenogen Corporation | Surface construction using combined photographic and structured light information |
| US7591583B2 (en) * | 2005-05-18 | 2009-09-22 | Federal-Mogul World Wide, Inc. | Transient defect detection algorithm |
| KR100665321B1 (ko) * | 2005-06-03 | 2007-01-09 | 주식회사 삼성산업 | Spc가 피복된 강관의 구조 |
| EP1748304A1 (en) * | 2005-07-27 | 2007-01-31 | IEE International Electronics & Engineering S.A.R.L. | Method for operating a time-of-flight imager pixel |
| US7947939B2 (en) * | 2005-09-15 | 2011-05-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Detection of optical radiation using a photodiode structure |
| DE102005046950B3 (de) * | 2005-09-30 | 2006-12-21 | Siemens Ag | Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern |
| DE102005056265A1 (de) | 2005-11-14 | 2007-05-16 | Pilz Gmbh & Co Kg | Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage |
| DE102006016026A1 (de) | 2006-04-05 | 2007-10-11 | Sick Ag | Distanzmessvorrichtung |
| DE102006029025A1 (de) * | 2006-06-14 | 2007-12-27 | Iris-Gmbh Infrared & Intelligent Sensors | Vorrichtung und Verfahren zur Abstandsbestimmung |
| US10775308B2 (en) * | 2006-08-24 | 2020-09-15 | Xenogen Corporation | Apparatus and methods for determining optical tissue properties |
| US10335038B2 (en) | 2006-08-24 | 2019-07-02 | Xenogen Corporation | Spectral unmixing for in-vivo imaging |
| JP5073273B2 (ja) * | 2006-11-21 | 2012-11-14 | スタンレー電気株式会社 | 遠近判定方法およびその装置 |
| DE102007006566A1 (de) * | 2007-02-09 | 2008-08-14 | Siemens Ag | Verfahren zur zentralen Überwachung sowie Anordnung zur Aufnahme, Auswertung und selektiven Anzeige von Bildern ruhender Personen |
| DE102007009244A1 (de) * | 2007-02-22 | 2008-08-28 | Sick Ag | Verfahren zur Überprüfung der Funktionsweise und/oder Justierung einer optoelektronischen Sensoranordnung und optoelektronische Sensoranordnung |
| US7745771B2 (en) * | 2007-04-03 | 2010-06-29 | Delphi Technologies, Inc. | Synchronous imaging using segmented illumination |
| JP5171158B2 (ja) | 2007-08-22 | 2013-03-27 | 浜松ホトニクス株式会社 | 固体撮像装置及び距離画像測定装置 |
| DE102007046562A1 (de) | 2007-09-28 | 2009-04-02 | Siemens Ag | Verfahren und Vorrichtung zum Bestimmen eines Abstands mittels eines optoelektronischen Bildsensors |
| GB0724064D0 (en) * | 2007-12-10 | 2008-01-16 | Selex Sensors & Airborne Sys | Imaging system |
| DE102008006449A1 (de) * | 2008-01-29 | 2009-07-30 | Kaba Gallenschütz GmbH | Verfahren und Vorrichtung zur Überwachung eines Raumvolumens |
| US7554652B1 (en) | 2008-02-29 | 2009-06-30 | Institut National D'optique | Light-integrating rangefinding device and method |
| EP2260325B1 (en) | 2008-02-29 | 2015-08-05 | Leddartech Inc. | Light-integrating rangefinding device and method |
| DE102008018718B4 (de) | 2008-04-14 | 2010-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optischer Abstandsmesser und Verfahren zur optischen Abstandsmessung |
| DE102008045387B4 (de) * | 2008-09-02 | 2017-02-09 | Carl Zeiss Ag | Vorrichtung und Verfahren zum Vermessen einer Oberfläche |
| FR2940463B1 (fr) | 2008-12-23 | 2012-07-27 | Thales Sa | Systeme d'imagerie passive equipe d'un telemetre |
| JP5476190B2 (ja) | 2010-03-31 | 2014-04-23 | 本田技研工業株式会社 | 固体撮像装置 |
| DE102011010102B4 (de) * | 2011-02-01 | 2012-09-13 | Diehl Bgt Defence Gmbh & Co. Kg | Verfahren zum Messen einer Entfernung und Vorrichtung zur Durchführung des Verfahrens |
| US8620113B2 (en) * | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US9723233B2 (en) | 2012-04-18 | 2017-08-01 | Brightway Vision Ltd. | Controllable gated sensor |
| US10324033B2 (en) * | 2012-07-20 | 2019-06-18 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for correcting an error in depth |
| US9000350B1 (en) * | 2012-09-11 | 2015-04-07 | Rockwell Collins, Inc. | Time-domain overlap imagery detecting system and method of using same |
| DE102013003515A1 (de) * | 2013-03-04 | 2014-09-04 | Jenoptik Robot Gmbh | Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mittels einer Lasereinrichtung |
| DE102013007961B4 (de) * | 2013-05-10 | 2023-06-22 | Audi Ag | Optisches Messsystem für ein Fahrzeug |
| JP6435513B2 (ja) * | 2013-06-26 | 2018-12-12 | パナソニックIpマネジメント株式会社 | 測距撮像装置及びその測距方法、固体撮像素子 |
| US9507015B2 (en) * | 2013-10-07 | 2016-11-29 | Avaya Inc. | Device proximity detection |
| US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
| DE102013112553A1 (de) | 2013-11-14 | 2015-06-03 | Odos Imaging Ltd. | Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts |
| US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
| DE102014013099B4 (de) | 2014-09-03 | 2019-11-14 | Basler Aktiengesellschaft | Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes |
| DE102014220322B4 (de) * | 2014-10-07 | 2020-02-13 | Conti Temic Microelectronic Gmbh | Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes |
| AT516044B1 (de) * | 2014-10-09 | 2016-02-15 | Trumpf Maschinen Austria Gmbh | Biegewinkel-Messvorrichtung |
| DE102014117097B3 (de) | 2014-11-21 | 2016-01-21 | Odos Imaging Ltd. | Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands |
| DE102014117705B3 (de) | 2014-12-02 | 2016-02-18 | Odos Imaging Ltd. | Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands |
| DE102015201901B4 (de) | 2015-02-04 | 2021-07-22 | Volkswagen Aktiengesellschaft | Bestimmung einer Position eines fahrzeugfremden Objekts in einem Fahrzeug |
| US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
| US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
| DE102016014851A1 (de) * | 2016-12-14 | 2018-06-14 | Alexander Zielbach | Umrisspulsmodulationsmessung |
| DE102017106076B3 (de) | 2017-03-21 | 2018-07-26 | Elmos Semiconductor Aktiengesellschaft | Vorrichtung zur Signalverzögerung unter Benutzung eines Referenzoszillators und deren Anwendung in einer TOF-Kamera |
| DE102017106073B3 (de) | 2017-03-21 | 2018-03-29 | Elmos Semiconductor Aktiengesellschaft | Verfahren zur Erfassung der Verzögerung zwischen einem Spannungspuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit |
| DE102017106078B3 (de) | 2017-03-21 | 2018-07-26 | Elmos Semiconductor Aktiengesellschaft | Vorrichtung zur Signalverzögerung unter Benutzung eines MEMS Oszillators und deren Anwendung in einer TOF-Kamera |
| DE102017106071B3 (de) | 2017-03-21 | 2018-03-29 | Elmos Semiconductor Aktiengesellschaft | Verfahren zur Erfassung der Verzögerung zwischen einem Lichtpuls und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit |
| DE102017106072B3 (de) | 2017-03-21 | 2018-03-29 | Elmos Semiconductor Aktiengesellschaft | Verfahren zur Erfassung der Verzögerung zwischen einem Strompuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit |
| DE102017106077B3 (de) | 2017-03-21 | 2018-07-26 | Elmos Semiconductor Aktiengesellschaft | Vorrichtung zur Signalverzögerung unter Benutzung eines Quarz-Oszillators und deren Anwendung in einer TOF-Kamera |
| DE102017207317B4 (de) * | 2017-05-02 | 2022-03-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur Ermittlung eines Abstands zu einem Objekt sowie entsprechendes Verfahren |
| DE102017008666A1 (de) | 2017-09-14 | 2018-03-01 | Daimler Ag | Verfahren zur Erfassung der Umgebungshelligkeit |
| EP3640677B1 (en) | 2018-10-17 | 2023-08-02 | Trimble Jena GmbH | Tracker of a surveying apparatus for tracking a target |
| EP3640590B1 (en) | 2018-10-17 | 2021-12-01 | Trimble Jena GmbH | Surveying apparatus for surveying an object |
| EP3696498B1 (en) | 2019-02-15 | 2025-04-09 | Trimble Jena GmbH | Surveying instrument and method of calibrating a survey instrument |
| CN110509055B (zh) * | 2019-09-04 | 2021-04-06 | 恩坦华汽车零部件(镇江)有限公司 | 一种汽车玻璃升降器微型直流电机齿轮壳装配方法 |
| DE102020103597A1 (de) | 2020-02-12 | 2021-08-12 | Saf-Holland Gmbh | Verfahren und System zum Ermitteln einer Ausrichtung eines Anhängers gegenüber einem Zugfahrzeug |
| DE102021100913A1 (de) | 2020-03-10 | 2021-09-16 | Elmos Semiconductor Se | Pixel für ein bildgebendes Lichtlaufzeitmesssystem mit einer verbesserten Fertigungsausbeute |
| WO2021253308A1 (zh) * | 2020-06-18 | 2021-12-23 | 深圳市汇顶科技股份有限公司 | 图像采集装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3608547A (en) * | 1967-07-29 | 1971-09-28 | Olympus Optical Co | Method for determining the distance of an object from an edoscope |
| DE3404396A1 (de) | 1984-02-08 | 1985-08-14 | Dornier Gmbh, 7990 Friedrichshafen | Vorrichtung und verfahren zur aufnahme von entfernungsbildern |
| US5013917A (en) * | 1988-07-07 | 1991-05-07 | Kaman Aerospace Corporation | Imaging lidar system using non-visible light |
| DE3839513A1 (de) | 1988-11-23 | 1990-05-31 | Messerschmitt Boelkow Blohm | Bildsensor |
| US5056914A (en) * | 1990-07-12 | 1991-10-15 | Ball Corporation | Charge integration range detector |
| US5446529A (en) * | 1992-03-23 | 1995-08-29 | Advanced Scientific Concepts, Inc. | 3D imaging underwater laser radar |
| US5793034A (en) * | 1995-09-18 | 1998-08-11 | Daedalus Enterprises, Inc. | Target detection system utilizing multiple optical criteria |
-
1998
- 1998-11-14 JP JP2000526831A patent/JP3860412B2/ja not_active Expired - Lifetime
- 1998-11-14 KR KR10-2000-7007058A patent/KR100508277B1/ko not_active Expired - Lifetime
- 1998-11-14 DE DE59809883T patent/DE59809883D1/de not_active Expired - Lifetime
- 1998-11-14 US US09/581,091 patent/US6373557B1/en not_active Expired - Lifetime
- 1998-11-14 EP EP98962257A patent/EP1040366B1/de not_active Expired - Lifetime
- 1998-11-14 WO PCT/DE1998/003344 patent/WO1999034235A1/de not_active Ceased
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100770805B1 (ko) * | 2001-08-06 | 2007-10-26 | 지멘스 악티엔게젤샤프트 | 3차원 거리측정 이미지를 기록하기 위한 방법 및 장치 |
| JP2006153771A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 計測装置 |
| JP2008145348A (ja) * | 2006-12-12 | 2008-06-26 | Denso Corp | 光センサ、距離検出装置、および距離検出方法 |
| JP2008249430A (ja) * | 2007-03-29 | 2008-10-16 | Nippon Hoso Kyokai <Nhk> | 3次元情報検出方法及びその装置 |
| JP2009047475A (ja) * | 2007-08-15 | 2009-03-05 | Hamamatsu Photonics Kk | 固体撮像素子 |
| KR101367281B1 (ko) | 2007-11-13 | 2014-02-25 | 삼성전자주식회사 | 깊이 영상 생성 방법 및 장치 |
| JP2011530097A (ja) * | 2008-08-03 | 2011-12-15 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | ローリングカメラシステム |
| JP2012127811A (ja) * | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | 乗員検知装置 |
| JP2014509462A (ja) * | 2010-12-15 | 2014-04-17 | マイクロソフト コーポレーション | 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み |
| JP2013068606A (ja) * | 2011-08-19 | 2013-04-18 | Semiconductor Energy Lab Co Ltd | 半導体装置の駆動方法 |
| JP2013137242A (ja) * | 2011-12-28 | 2013-07-11 | Hamamatsu Photonics Kk | 距離測定装置 |
| JPWO2014207983A1 (ja) * | 2013-06-27 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 距離測定装置および固体撮像素子 |
| JP2016534343A (ja) * | 2013-08-14 | 2016-11-04 | フーフ・ヒュルスベック・ウント・フュルスト・ゲーエムベーハー・ウント・コンパニー・カーゲーHuf Hulsbeck & Furst Gmbh & Co. Kg | 自動車の操作ジェスチャを認識するためのセンサ構成 |
| US10638118B2 (en) | 2013-12-24 | 2020-04-28 | Sony Depthsensing Solutions Sa/Nv | Time-of-flight camera system |
| JP2016529491A (ja) * | 2013-12-24 | 2016-09-23 | ソフトキネティク センサーズ エヌブイ | 飛行時間型カメラシステム |
| US12219119B2 (en) | 2013-12-24 | 2025-02-04 | Sony Depthsensing Solutions Sa/Nv | Time-of-flight camera system |
| US11863734B2 (en) | 2013-12-24 | 2024-01-02 | Sony Depthsensing Solutions Sa/Nv | Time-of-flight camera system |
| US10397552B2 (en) | 2013-12-24 | 2019-08-27 | Sony Depthsensing Solutions Sa/Nv | Time-of-flight camera system |
| US11172186B2 (en) | 2013-12-24 | 2021-11-09 | Sony Depthsensing Solutions Sa/Nv | Time-Of-Flight camera system |
| CN107407728B (zh) * | 2015-03-26 | 2020-05-22 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
| WO2016151918A1 (ja) * | 2015-03-26 | 2016-09-29 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
| US10908288B2 (en) | 2015-03-26 | 2021-02-02 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
| JPWO2016151918A1 (ja) * | 2015-03-26 | 2018-01-11 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
| US12189031B2 (en) | 2015-03-26 | 2025-01-07 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
| CN107407728A (zh) * | 2015-03-26 | 2017-11-28 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
| US11092678B2 (en) | 2018-06-21 | 2021-08-17 | Analog Devices, Inc. | Measuring and removing the corruption of time-of-flight depth images due to internal scattering |
| JP2019219400A (ja) * | 2018-06-21 | 2019-12-26 | アナログ ディヴァイスィズ インク | 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること |
| JP7071312B2 (ja) | 2018-06-21 | 2022-05-18 | アナログ ディヴァイスィズ インク | 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること |
| US12265157B2 (en) | 2018-12-14 | 2025-04-01 | Miraxia Edge Technology Corporation | Imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1040366A1 (de) | 2000-10-04 |
| US6373557B1 (en) | 2002-04-16 |
| WO1999034235A1 (de) | 1999-07-08 |
| KR100508277B1 (ko) | 2005-08-17 |
| EP1040366B1 (de) | 2003-10-08 |
| JP3860412B2 (ja) | 2006-12-20 |
| DE59809883D1 (de) | 2003-11-13 |
| KR20010033549A (ko) | 2001-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3860412B2 (ja) | 3次元距離画像を撮影するための方法及び装置 | |
| EP3789792B1 (en) | Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same | |
| DE19757595C2 (de) | Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes | |
| EP3365700B1 (en) | System and method for determining a distance to an object | |
| US6535275B2 (en) | High resolution 3-D imaging range finder | |
| US6392747B1 (en) | Method and device for identifying an object and determining its location | |
| US5703639A (en) | Charge coupled device pulse discriminator | |
| US7466359B2 (en) | Image-pickup apparatus and method having distance measuring function | |
| JP2004538491A (ja) | 三次元距離画像を記録するための方法及び装置 | |
| EP1167127A2 (en) | Optimized human presence detection through elimination of background interference | |
| EP1903299A1 (en) | Method and system for acquiring a 3-D image of a scene | |
| WO2018065429A1 (en) | System and method for determining a distance to an object | |
| WO2009097516A1 (en) | Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras | |
| US7947939B2 (en) | Detection of optical radiation using a photodiode structure | |
| EP3301478A1 (en) | System for determining a distance to an object | |
| EP3705913A1 (en) | Lidar imaging apparatus for a motor vehicle | |
| Mengel et al. | Fast range imaging by CMOS sensor array through multiple double short time integration (MDSI) | |
| CN113597534B (zh) | 测距成像系统、测距成像方法和程序 | |
| US20220091236A1 (en) | Techniques for detecting and mitigating interference among multiple lidar sensors | |
| US7791714B2 (en) | Device and method for recording distance-measuring images | |
| WO2019050024A1 (ja) | 距離測定方法および距離測定装置 | |
| EP4382960A1 (en) | Guided flash lidar | |
| CN109309794B (zh) | 一种检测距离的方法 | |
| JP2001268445A (ja) | 光センサおよび三次元形状計測装置 | |
| JP7176364B2 (ja) | 距離情報取得装置および距離情報取得方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041105 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050202 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060921 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |