JP6032141B2 - 走行路面標示検知装置および走行路面標示検知方法 - Google Patents
走行路面標示検知装置および走行路面標示検知方法 Download PDFInfo
- Publication number
- JP6032141B2 JP6032141B2 JP2013138970A JP2013138970A JP6032141B2 JP 6032141 B2 JP6032141 B2 JP 6032141B2 JP 2013138970 A JP2013138970 A JP 2013138970A JP 2013138970 A JP2013138970 A JP 2013138970A JP 6032141 B2 JP6032141 B2 JP 6032141B2
- Authority
- JP
- Japan
- Prior art keywords
- range
- bird
- detection
- sign
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
生成手段は、車両周辺を撮影する複数のカメラ(3)により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する。標示物検出手段は、生成手段により生成された鳥瞰画像から路面の標示物を検出する。
なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
[実施例]
(1)標示物認識システム1の構成
標示物認識システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、複数の車載カメラ3と、表示手段5と、走行路面標示検知装置7と、を備えている。
表示手段5は、画像を表示する液晶ディスプレイであって、走行路面標示検知装置7から入力される信号に従って画像を表示する。本実施例では、走行中の車両が走行車線から逸脱すると予測されたときに警告画面を表示する。
この走行路面標示検知装置7は、図示しないCPUと、CPUが実行するプログラム等を記憶するROMと、CPUによるプログラム実行時に作業領域として使用されるRAMと、電気的にデータを書き換え可能なフラッシュメモリやEEPROM等の不揮発性メモリとしてのNVRAMなどを備えるコンピュータシステムとして構成されており、プログラムの実行により所定の処理を実行する。
走行路面標示検知装置7により実行される車線逸脱警告処理について、図2に示すフローチャートに基づいて説明する。本処理は、一例として車両の走行が開始されたとき(車速が所定の閾値を超えたとき)に開始され、所定の時間間隔で繰り返し実行される。
S2では、取得した撮影画像を鳥瞰画像に変換する。この処理は、上述した視点変換部13により実現される。
続くS3では、汚れなどの固定ノイズ、およびエッジ適性値を検出する。この処理は、上述した画像検知処理部16により実現される。
画像検知処理部16は、撮影画像に基づいて、車載カメラ3のレンズ汚れ等の同一の部分に継続して発生する固定ノイズを検出する。汚れ等の固定ノイズ検知の方法は公知であるが、一例として、特開2003−259358号公報に記載の手法を用いることができる。この固定ノイズ検出は鳥瞰画像に基づいて行ってもよい。画像検知処理部16が、本発明におけるノイズ検知手段の一例である。
画像検知処理部16は、各鳥瞰画像からエッジを検出し、検出されたエッジについて、白線の検出しやすさの度合を示すパラメータ(以降、単にエッジ適性値とも記載する)を算出する。このパラメータは、エッジ強度、エッジ数、およびエッジ角度から求まるパラメータである。
カメラ搭載パラメータ補正部12は、撮影画像に基づいて、車載カメラ3の現在の位置情報および現在の撮影方向の情報を推定する。推定されたカメラ搭載パラメータと、記憶されているカメラ搭載パラメータ12aと、を比較し、所定の閾値以上相違していれば、新たに推定されたパラメータをカメラ搭載パラメータ12aとして更新する。
続くS5では、カメラ搭載位置に基づいて解像度分布を計算する。この処理は、上述した解像度分布計算部14により実現される。
続くS6では、車載カメラ3それぞれに対応する鳥瞰画像ごとの画像処理範囲を決定する。鳥瞰画像における画像処理範囲は、他の鳥瞰画像と撮影範囲が重複しない部分と、他の鳥瞰画像と撮影範囲が重複する重複部分のうち画像範囲選択処理部15により割り当て範囲として設定される部分と、を合せた範囲である。
図5を用いて具体的な割り当て範囲の設定方法を説明する。鳥瞰画像41、42はそれぞれ異なる車載カメラ3にて撮影された撮影画像を鳥瞰画像に変換したものである。鳥瞰画像41、42において互いに重複する部分をそれぞれ重複部分41a、42aとする。これらは同一の大きさであるため画素の配置が等しくなっており、同じ位置の画素は同じ撮影範囲に対応する。
また、複数の重複部分の元解像度の比較結果に基づいて厳密に割り当て範囲を設定せずに、図7に示すように、元解像度の比較結果に基づいて定められる境界線43を境界として割り当て範囲を設定してもよい。この境界線43は、一方の重複部分における他方の重複部分よりも元解像度の大きい部分(画素)が、その一方の重複部分の割り当て範囲に含まれるように設定される。
上述した画像範囲選択処理部15が、本発明における範囲設定手段の一例である。また、重複部分41aにおいて重複部分42aよりも元解像度の大きい画素または画素の集合が、重複部分41aを基準としたときの本発明における第1領域の一例であり、重複部分42aにおける重複部分41aよりも元解像度の小さい画素または画素の集合が本発明における第2領域の一例である。
(c)白線検出
画像検知処理部16は、各鳥瞰画像からエッジを抽出し、白線検出を行う。具体的な方法は公知であるため説明を割愛する。各鳥瞰画像における撮影範囲が互いに重複する重複部分それぞれにおいては、割り当て範囲として設定された部分において白線検出を行う。
続くS8では、S7にて白線検出処理を行った結果を統合し、車両を基準とした白線の位置を判定する。この処理は、上述した標示認識結果統合判定部17により実現される。
本実施例の標示物認識システム1では、複数の鳥瞰画像が重複する重複部分では割り当て範囲において白線の検出を行う。各重複部分の割り当て範囲同士は互いに重複しないため、同一の撮影範囲に対して重複して白線の検出を行うことを抑制でき、画像処理による検出負荷を低減することができる。
以上本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
Claims (8)
- 車両周辺を撮影する複数のカメラ(3)により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する生成手段(13、S2)と、
前記生成手段により生成された前記鳥瞰画像からエッジを検出し、該エッジに基づいて路面の標示物を検出する標示物検出手段(16、S7)と、を備え、
前記標示物検出手段は、2つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分(41a、42a)それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において前記標示物の検出を行うものであり、
前記割り当て範囲は、前記重複部分のうち、前記標示物検出手段により検出されるエッジに基づく前記標示物の検出しやすさの度合を示すパラメータが所定の閾値以上である部分から設定される
ことを特徴とする走行路面標示検知装置(7)。 - 車両周辺を撮影する複数のカメラ(3)により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する生成手段(13、S2)と、
前記生成手段により生成された前記鳥瞰画像から路面の標示物を検出する標示物検出手段(16、S7)と、
前記撮影画像における同一の部分に継続して発生する、前記カメラのレンズの汚れによるノイズである固定ノイズを検知するノイズ検知手段(16、S3)と、を備え、
前記標示物検出手段は、2つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分(41a、42a)それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において前記標示物の検出を行うものであり、
前記割り当て範囲は、前記重複部分のうち前記ノイズ検知手段により前記固定ノイズが検知されていない部分の中から設定される
ことを特徴とする走行路面標示検知装置(7)。 - 前記標示物検出手段は、前記鳥瞰画像からエッジを検出して該エッジに基づいて前記標示物を検出するものであり、
前記重複部分のうち、他の前記鳥瞰画像における前記重複部分と比較して、前記標示物検出手段により検出されるエッジの前記標示物の検出しやすさの度合を示すパラメータが大きい部分を含む範囲を、前記割り当て範囲として設定する範囲設定手段(15)を備える
ことを特徴とする請求項2に記載の走行路面標示検知装置。 - 前記重複部分の一部または全部を占める第1領域であって、前記撮影画像における前記第1領域と対応する部分の解像度である元解像度が、他の前記鳥瞰画像における前記第1領域と撮影範囲が重複する第2領域の前記元解像度よりも大きい前記第1領域を含むように、前記割り当て範囲が設定される
ことを特徴とする請求項1から請求項3のいずれか1項に記載の走行路面標示検知装置。 - 前記重複部分それぞれの前記元解像度に基づいて、前記割り当て範囲を設定する範囲設定手段(15、S6)を備える
ことを特徴とする請求項4に記載の走行路面標示検知装置。 - 前記カメラの搭載位置を検知する位置検知手段(12、S4)と、
前記位置検知手段により検知された前記搭載位置に基づいて、前記重複部分の前記元解像度を算出する算出手段(14、S5)と、を備え、
前記範囲設定手段は、前記算出手段により算出された前記元解像度に基づいて前記重複部分の前記割り当て範囲を設定する
ことを特徴とする請求項5に記載の走行路面標示検知装置。 - 車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法であって、
前記複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ(S2)と、
前記画像生成ステップにおいて生成された前記鳥瞰画像からエッジを検出し、該エッジに基づいて前記標示物が検出される標示物検出ステップ(S7)と、を備え、
前記標示物検出ステップでは、2つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から前記標示物の検出が行われ、
前記割り当て範囲は、前記重複部分のうち、前記標示物検出ステップにおいて検出されるエッジに基づく前記標示物の検出しやすさの度合を示すパラメータが所定の閾値以上である部分から設定される
ことを特徴とする走行路面標示検知方法。 - 車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法であって、
前記複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ(S2)と、
前記画像生成ステップにおいて生成された前記鳥瞰画像から前記標示物が検出される標示物検出ステップ(S7)と、
前記撮影画像における同一の部分に継続して発生する、前記カメラのレンズの汚れによるノイズである固定ノイズを検知するノイズ検知ステップ(S3)と、を備え、
前記標示物検出ステップでは、2つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から前記標示物の検出が行われ、
前記割り当て範囲は、前記重複部分のうち前記ノイズ検知ステップにおいて前記固定ノイズが検知されていない部分の中から設定される
ことを特徴とする走行路面標示検知方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013138970A JP6032141B2 (ja) | 2013-07-02 | 2013-07-02 | 走行路面標示検知装置および走行路面標示検知方法 |
| PCT/JP2014/003301 WO2015001747A1 (ja) | 2013-07-02 | 2014-06-19 | 走行路面標示検知装置および走行路面標示検知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013138970A JP6032141B2 (ja) | 2013-07-02 | 2013-07-02 | 走行路面標示検知装置および走行路面標示検知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015011665A JP2015011665A (ja) | 2015-01-19 |
| JP6032141B2 true JP6032141B2 (ja) | 2016-11-24 |
Family
ID=52143350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013138970A Expired - Fee Related JP6032141B2 (ja) | 2013-07-02 | 2013-07-02 | 走行路面標示検知装置および走行路面標示検知方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6032141B2 (ja) |
| WO (1) | WO2015001747A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102375411B1 (ko) * | 2015-05-11 | 2022-03-18 | 삼성전자주식회사 | 차량 주변 영상 제공 방법 및 장치 |
| JP6594039B2 (ja) | 2015-05-20 | 2019-10-23 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
| CN108509942A (zh) * | 2018-05-28 | 2018-09-07 | 清华大学 | 检验装置及其检验方法 |
| US12142143B1 (en) | 2019-07-30 | 2024-11-12 | Terry Tedford | Vehicle alert system and method of use |
| US20240292991A1 (en) * | 2021-06-08 | 2024-09-05 | L&T Technology Services Limited | Method and system for detecting floor stains using surround view images |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010245802A (ja) * | 2009-04-06 | 2010-10-28 | Sanyo Electric Co Ltd | 操縦支援装置 |
| JP4970516B2 (ja) * | 2009-09-30 | 2012-07-11 | 日立オートモティブシステムズ株式会社 | 周囲確認支援装置 |
| JP5521599B2 (ja) * | 2010-02-08 | 2014-06-18 | 富士通株式会社 | 映像合成装置、及び映像合成プログラム |
-
2013
- 2013-07-02 JP JP2013138970A patent/JP6032141B2/ja not_active Expired - Fee Related
-
2014
- 2014-06-19 WO PCT/JP2014/003301 patent/WO2015001747A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015001747A1 (ja) | 2015-01-08 |
| JP2015011665A (ja) | 2015-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2546602B1 (en) | Stereo camera apparatus | |
| JP5375958B2 (ja) | 画像処理装置および画像処理方法 | |
| US20160335510A1 (en) | Vehicle vision system with structure and motion estimation | |
| US10099617B2 (en) | Driving assistance device and driving assistance method | |
| JP6032034B2 (ja) | 物体検知装置 | |
| JP6586849B2 (ja) | 情報表示装置及び情報表示方法 | |
| JP2010016805A (ja) | 画像処理装置、運転支援システム、及び画像処理方法 | |
| JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
| JP2007274377A (ja) | 周辺監視装置、プログラム | |
| JP5163165B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| JP6152261B2 (ja) | 車載用駐車枠認識装置 | |
| US20220174254A1 (en) | A camera assembly and a method | |
| JP2014106739A (ja) | 車載画像処理装置 | |
| JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
| JP6327115B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
| WO2019156072A1 (ja) | 姿勢推定装置 | |
| JP6802999B2 (ja) | 区画線検出システム | |
| JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
| CN113903103B (zh) | 局部图像生成装置、局部图像生成方法以及存储介质 | |
| JP2009059132A (ja) | 物体認識装置 | |
| JP6960827B2 (ja) | 路面領域検出装置 | |
| JP5235843B2 (ja) | 車両周辺監視装置および車両周辺監視方法 | |
| JP4598011B2 (ja) | 車両用表示装置 | |
| CN113170057A (zh) | 摄像部控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161010 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6032141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |