JP6036601B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6036601B2 JP6036601B2 JP2013166292A JP2013166292A JP6036601B2 JP 6036601 B2 JP6036601 B2 JP 6036601B2 JP 2013166292 A JP2013166292 A JP 2013166292A JP 2013166292 A JP2013166292 A JP 2013166292A JP 6036601 B2 JP6036601 B2 JP 6036601B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- vehicle
- center line
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
[全体構成]
本発明の画像生成システム1は、車両後方の撮像画像から車両の乗員(例えば運転者)に表示する表示用画像を生成するためのものであり、図1に示すように、撮像部10と、記憶部20と、画像処理部30と、表示部40と、を備える。
次に、画像処理部30(具体的にはCPU31)がプログラムに従い実行する画像生成処理(画像処理方法)について、図5のフローチャートを用いて説明する。画像生成処理は、運転者が操作するシフトレバーのポジションがリバース(後方走行)となっている状態において、予め定められた期間毎(本実施形態では、撮像部10から撮像画像が出力される毎)に繰り返し実行される。
次にS110では、自車両写り込み領域を検出する。撮像画像において、(例えば図4に示す後方ボディ22のように)自車両が写り込む領域を自車両写り込み領域という。本ステップでは、自車両写り込み領域R1(図6参照)を、記憶部20に記憶されているカメラパラメータと、車両の外観形状を表す3D情報とに基づいて、計算によって求める。
[効果]
以上説明したように、本実施形態の画像処理部30は、車両2の長手方向の中心線である車両中心線からずれた位置に配置された撮像部10による撮像画像の一部を、表示用画像として抽出する。具体的には、画像処理部30は、表示用画像の中心位置が車両中心線にできるだけ近く、かつ、表示用画像における特定位置の画素について、拡大率の逆数が所定の下限値以上となるように、撮像画像における表示用画像の抽出位置を決定する。拡大率の逆数が所定の下限値以上となることは、言い換えれば、縮小度合い(拡大率)が当該下限値の逆数(第1の所定値)以下となることを意味する。
画像処理部30が「画像処理装置」の一例に相当する。また、図5に示す処理のS120−S160が「画像処理手段」としての処理及び「画像処理ステップ」の一例に相当し、S180が「歪補正手段」としての処理の一例に相当する。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。
Claims (9)
- 車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置であって、
前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する画像処理手段(S120−S160)を備え、
前記画像処理手段は、前記表示用画像の中心位置が前記車両中心線にできるだけ近く、かつ、前記特定位置の画素が表す被写体の縮小度合いが、予め定められた第1の所定値以下となるように、前記抽出位置を決定すること、
を特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記第1の所定値は、前記表示用画像の中心位置を前記車両中心線に一致させたときの前記特定位置の画素が表す被写体の縮小度合いよりも小さいこと、を特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記画像処理手段は、前記表示用画像における自車両の写り込み状況に応じて、前記撮像画像における前記表示用画像の抽出位置を決定すること、を特徴とする画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記画像処理手段は、前記表示用画像における自車両写り込みが占める割合が第2の所定値以下となるように、前記撮像画像における前記表示用画像の抽出位置を決定すること、を特徴とする画像処理装置。 - 請求項1から4のいずれか一項に記載の画像処理装置であって、
前記特定位置の画素は、前記表示用画像において前記車両中心線側の端部に位置する画素であること、を特徴とする画像処理装置。 - 車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置であって、
前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する画像処理手段(S120−S160)を備え、
前記特定位置の画素は、前記表示用画像において前記車両中心線側の端部に位置する画素であること、
を特徴とする画像処理装置。 - 請求項5または6に記載の画像処理装置であって、
前記特定位置の画素は、前記車両中心線側端部に位置する画素のうち端部に位置する画素であること、を特徴とする画像処理装置。 - 請求項7に記載の画像処理装置であって、
前記特定位置の画素は、前記撮像画像において自車両のバンパ側の端部に位置する画素であること、を特徴とする画像処理装置。 - 請求項1から8のいずれか一項に記載の画像処理装置であって、
前記撮像画像の歪補正を行う歪補正手段(S180)を備えること、を特徴とする画像処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013166292A JP6036601B2 (ja) | 2013-08-09 | 2013-08-09 | 画像処理装置及び画像処理方法 |
| CN201480044328.1A CN105453536B (zh) | 2013-08-09 | 2014-07-30 | 图像处理装置以及图像处理方法 |
| EP14834382.5A EP3016370B1 (en) | 2013-08-09 | 2014-07-30 | Image processing device, and image processing method |
| US14/910,464 US10315570B2 (en) | 2013-08-09 | 2014-07-30 | Image processing apparatus and image processing method |
| PCT/JP2014/003994 WO2015019579A1 (ja) | 2013-08-09 | 2014-07-30 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013166292A JP6036601B2 (ja) | 2013-08-09 | 2013-08-09 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015035145A JP2015035145A (ja) | 2015-02-19 |
| JP6036601B2 true JP6036601B2 (ja) | 2016-11-30 |
Family
ID=52460936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013166292A Expired - Fee Related JP6036601B2 (ja) | 2013-08-09 | 2013-08-09 | 画像処理装置及び画像処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10315570B2 (ja) |
| EP (1) | EP3016370B1 (ja) |
| JP (1) | JP6036601B2 (ja) |
| CN (1) | CN105453536B (ja) |
| WO (1) | WO2015019579A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6036601B2 (ja) | 2013-08-09 | 2016-11-30 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
| JP2016046747A (ja) * | 2014-08-26 | 2016-04-04 | 富士通テン株式会社 | 画像処理装置、画像処理方法、及び、画像表示システム |
| US10911645B2 (en) * | 2014-09-19 | 2021-02-02 | Nec Corporation | Image processing device, image processing method, and recording medium |
| JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| KR101795180B1 (ko) * | 2015-12-11 | 2017-12-01 | 현대자동차주식회사 | 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법 |
| US10325339B2 (en) * | 2016-04-26 | 2019-06-18 | Qualcomm Incorporated | Method and device for capturing image of traffic sign |
| JP6688277B2 (ja) * | 2017-12-27 | 2020-04-28 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
| WO2019135099A1 (en) * | 2018-01-05 | 2019-07-11 | Volvo Truck Corporation | Camera monitoring system with a display displaying an undistorted portion of a wide angle image adjoining at least one distorted portion of the wide angle image |
| US10839523B2 (en) * | 2018-05-16 | 2020-11-17 | Otis Elevator Company | Position-based adjustment to display content |
| JP7314486B2 (ja) * | 2018-09-06 | 2023-07-26 | 株式会社アイシン | カメラキャリブレーション装置 |
| US11544895B2 (en) * | 2018-09-26 | 2023-01-03 | Coherent Logix, Inc. | Surround view generation |
| CN112991216B (zh) * | 2021-03-18 | 2022-05-13 | 支付宝(杭州)信息技术有限公司 | 鱼眼图像的矫正方法、系统、智能货架以及图像处理方法 |
| JP7659425B2 (ja) * | 2021-03-25 | 2025-04-09 | 本田技研工業株式会社 | 制御装置、制御装置の動作方法及びプログラム |
| JP7657628B2 (ja) | 2021-03-26 | 2025-04-07 | 本田技研工業株式会社 | 制御装置、制御装置の動作方法及びプログラム |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4258979A (en) * | 1978-12-08 | 1981-03-31 | Mahin William E | Rear view mirror assembly |
| US6717712B2 (en) * | 2000-01-06 | 2004-04-06 | Donnelly Corporation | Exterior mirror plano-auxiliary reflective element assembly |
| JP4512293B2 (ja) | 2001-06-18 | 2010-07-28 | パナソニック株式会社 | 監視システムおよび監視方法 |
| JP4956880B2 (ja) | 2001-09-27 | 2012-06-20 | アイシン精機株式会社 | 車両用監視装置 |
| WO2004068414A1 (ja) * | 2003-01-27 | 2004-08-12 | Fujitsu Limited | 注目物体の出現位置表示装置 |
| US7420756B2 (en) * | 2003-05-20 | 2008-09-02 | Donnelly Corporation | Mirror reflective element |
| JP2005086279A (ja) * | 2003-09-04 | 2005-03-31 | Equos Research Co Ltd | 撮像装置、及び撮像装置を備えた車両 |
| US20060026017A1 (en) * | 2003-10-28 | 2006-02-02 | Walker Richard C | National / international management and security system for responsible global resourcing through technical management to brige cultural and economic desparity |
| US7590310B2 (en) * | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
| US20060206246A1 (en) * | 2004-10-28 | 2006-09-14 | Walker Richard C | Second national / international management and security system for responsible global resourcing through technical management to brige cultural and economic desparity |
| JP2006129149A (ja) | 2004-10-29 | 2006-05-18 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
| US8924078B2 (en) * | 2004-11-18 | 2014-12-30 | Gentex Corporation | Image acquisition and processing system for vehicle equipment control |
| JP2008172441A (ja) * | 2007-01-10 | 2008-07-24 | Omron Corp | 検出装置および方法、並びに、プログラム |
| JP4967666B2 (ja) * | 2007-01-10 | 2012-07-04 | オムロン株式会社 | 画像処理装置および方法、並びに、プログラム |
| JP2008203992A (ja) * | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
| WO2008117386A1 (ja) * | 2007-03-23 | 2008-10-02 | Pioneer Corporation | 車両用画像処理装置及び車両用画像処理プログラム |
| US8218007B2 (en) * | 2007-09-23 | 2012-07-10 | Volkswagen Ag | Camera system for a vehicle and method for controlling a camera system |
| JP5347257B2 (ja) * | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
| WO2009066475A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | 表示装置 |
| JP4874280B2 (ja) * | 2008-03-19 | 2012-02-15 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
| AU2009270324A1 (en) * | 2008-07-14 | 2010-01-21 | National Ict Australia Limited | Detection of vehicles in images of a night time scene |
| TW201009757A (en) * | 2008-08-29 | 2010-03-01 | Automotive Res & Testing Ct | Object position detecting device and method |
| KR101244498B1 (ko) * | 2008-10-22 | 2013-03-18 | 주식회사 만도 | 차선을 인식하는 방법 및 장치 |
| US8564502B2 (en) * | 2009-04-02 | 2013-10-22 | GM Global Technology Operations LLC | Distortion and perspective correction of vector projection display |
| US8427395B2 (en) * | 2009-04-02 | 2013-04-23 | GM Global Technology Operations LLC | Full-windshield hud enhancement: pixelated field of view limited architecture |
| US8358207B2 (en) * | 2009-05-29 | 2013-01-22 | GM Global Technology Operations LLC | System for pre-attentively communicating information to a driver of a vehicle |
| JP5596938B2 (ja) * | 2009-06-02 | 2014-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5427577B2 (ja) * | 2009-12-04 | 2014-02-26 | パナソニック株式会社 | 表示制御装置及び表示画像形成方法 |
| JP5491235B2 (ja) * | 2010-03-02 | 2014-05-14 | 東芝アルパイン・オートモティブテクノロジー株式会社 | カメラキャリブレーション装置 |
| JP2012156672A (ja) * | 2011-01-25 | 2012-08-16 | Clarion Co Ltd | 車両周辺監視装置 |
| JP5811327B2 (ja) | 2011-06-11 | 2015-11-11 | スズキ株式会社 | カメラキャリブレーション装置 |
| JP6036601B2 (ja) | 2013-08-09 | 2016-11-30 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
-
2013
- 2013-08-09 JP JP2013166292A patent/JP6036601B2/ja not_active Expired - Fee Related
-
2014
- 2014-07-30 US US14/910,464 patent/US10315570B2/en active Active
- 2014-07-30 CN CN201480044328.1A patent/CN105453536B/zh not_active Expired - Fee Related
- 2014-07-30 EP EP14834382.5A patent/EP3016370B1/en not_active Not-in-force
- 2014-07-30 WO PCT/JP2014/003994 patent/WO2015019579A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP3016370B1 (en) | 2018-12-05 |
| WO2015019579A1 (ja) | 2015-02-12 |
| EP3016370A4 (en) | 2017-01-04 |
| CN105453536B (zh) | 2019-03-29 |
| JP2015035145A (ja) | 2015-02-19 |
| EP3016370A1 (en) | 2016-05-04 |
| CN105453536A (zh) | 2016-03-30 |
| US20160176344A1 (en) | 2016-06-23 |
| US10315570B2 (en) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6036601B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5222597B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
| JP6303090B2 (ja) | 画像処理装置および画像処理プログラム | |
| CN103379352B (zh) | 图像生成装置、图像显示装置及图像生成方法 | |
| JP4924896B2 (ja) | 車両の周辺監視装置 | |
| JP6330383B2 (ja) | 合成画像生成装置、および合成画像生成プログラム | |
| JP5136256B2 (ja) | 駐車支援装置および画像表示方法 | |
| WO2015162895A1 (ja) | 画像処理装置、画像処理装置の制御方法、プログラム、表示装置 | |
| US9747664B2 (en) | Image processing apparatus | |
| JP5195592B2 (ja) | 映像処理装置 | |
| CN115147580A (zh) | 图像处理装置、图像处理方法、移动装置和存储介质 | |
| WO2014006793A1 (ja) | 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体 | |
| JP2006318272A (ja) | 車両用物体検出装置、および方法 | |
| KR101714759B1 (ko) | 광각 카메라 영상 처리 장치 및 방법 | |
| JP6601690B2 (ja) | 表示制御装置 | |
| JP2008294616A (ja) | 運転支援システム及び車両 | |
| JP2008276307A (ja) | 動画像処理装置、動画像処理システムおよびナビゲーション装置 | |
| JP2019151307A (ja) | 駐車エリア検知装置および駐車エリア検知方法 | |
| JP7291900B2 (ja) | 視界支援画像生成装置および画像変換プログラム | |
| JP2017212597A (ja) | 画像処理装置 | |
| JP7345106B2 (ja) | 視界支援画像生成装置および画像変換プログラム | |
| JP6136747B2 (ja) | 2次元3次元表示装置 | |
| JP4810919B2 (ja) | 車両周辺監視装置 | |
| JP7291901B2 (ja) | 視界支援画像生成装置および画像変換プログラム | |
| CN109891877B (zh) | 图像处理装置、图像显示装置以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161017 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6036601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |