JP5974476B2 - Obstacle alarm device - Google Patents
Obstacle alarm device Download PDFInfo
- Publication number
- JP5974476B2 JP5974476B2 JP2011282206A JP2011282206A JP5974476B2 JP 5974476 B2 JP5974476 B2 JP 5974476B2 JP 2011282206 A JP2011282206 A JP 2011282206A JP 2011282206 A JP2011282206 A JP 2011282206A JP 5974476 B2 JP5974476 B2 JP 5974476B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- area
- obstacle
- image
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両に接近する障害物の存在を乗員に明示する障害物警報装置に関する。 The present invention relates to an obstacle alarm device that clearly indicates to an occupant the presence of an obstacle approaching a vehicle.
車両の周囲には運転者の位置から視認できない死角があり、運転者は車両の運転にあたり当該車両の周囲に細心の注意を払う必要がある。特に、車両を後退して駐車させる場合には、駐車自体に苦手意識を持っているユーザも多く、精神的疲労も少なくない。そこで、従来、車両の周囲の障害物を監視する技術が利用されてきた(例えば特許文献1及び2)。 There are blind spots around the vehicle that cannot be seen from the position of the driver, and the driver needs to pay close attention to the periphery of the vehicle when driving the vehicle. In particular, when the vehicle is moved backward and parked, there are many users who are not good at parking itself, and there is not a lot of mental fatigue. Thus, conventionally, techniques for monitoring obstacles around the vehicle have been used (for example, Patent Documents 1 and 2).
特許文献1に記載の車両の障害物警報装置は、横移動障害物検出手段と、横移動方向検出手段と、横移動情報提供手段とを備えて構成される。横移動障害物検出手段は車両前方において進行方向を横切る方向に移動する障害物を検出する。横移動方向検出手段は横移動障害物検出手段により検出された障害物の横移動方向を検出する。横移動情報提供手段は横移動方向検出手段により検出された障害物の横移動方向に関する情報をドライバーに提供する。この際、横移動情報提供手段は表示部に横移動方向検出手段により検出された横移動方向を表わす矢印をディスプレイに表示する。 The vehicle obstacle alarm device described in Patent Document 1 includes a lateral movement obstacle detection means, a lateral movement direction detection means, and a lateral movement information provision means. The laterally moving obstacle detection means detects an obstacle that moves in the direction crossing the traveling direction in front of the vehicle. The lateral movement direction detection means detects the lateral movement direction of the obstacle detected by the lateral movement obstacle detection means. The lateral movement information providing means provides the driver with information regarding the lateral movement direction of the obstacle detected by the lateral movement direction detecting means. At this time, the lateral movement information providing means displays an arrow indicating the lateral movement direction detected by the lateral movement direction detecting means on the display unit.
特許文献2に記載の車両周囲監視装置は、撮像手段と、障害物検出手段と、表示手段とを備えて構成される。撮像手段は自車両の一部を含む車両周囲を撮像する。障害物検出手段は車両周囲に位置する障害物を検出し、検出した障害物と自車両との距離を算出する。表示手段は撮像手段によって撮像された撮像画像と障害物検出手段によって算出された距離を示す障害物表示画像とを1つの画面に表示する。 The vehicle surrounding monitoring apparatus described in Patent Document 2 includes an imaging unit, an obstacle detection unit, and a display unit. The imaging means images the surroundings of the vehicle including a part of the host vehicle. The obstacle detection means detects an obstacle located around the vehicle and calculates a distance between the detected obstacle and the host vehicle. The display unit displays the captured image captured by the imaging unit and the obstacle display image indicating the distance calculated by the obstacle detection unit on one screen.
特許文献1や特許文献2に記載の技術のように車両の周囲の障害物を検出し、当該障害物を明示する情報(矢印等)を画面表示することで運転者に車両の周囲の障害物の存在を報知することが可能である。しかしながら、車両に搭載されるディスプレイ(表示手段)の画面サイズは大きいものではない。このため、ディスプレイに表示される車両の周囲の状況を示す画像上に矢印等を表示すると、車両の周囲の状況が見難くなったり障害物を把握できなくなったりする可能性がある。 Obstacles around the vehicle are detected by detecting obstacles around the vehicle as in the techniques described in Patent Literature 1 and Patent Literature 2 and displaying information (arrows, etc.) clearly indicating the obstacles on the screen. Can be notified. However, the screen size of the display (display means) mounted on the vehicle is not large. For this reason, if an arrow or the like is displayed on the image showing the situation around the vehicle displayed on the display, the situation around the vehicle may become difficult to see or an obstacle may not be grasped.
本発明の目的は、上記問題に鑑み、車両の周囲の状況を見難くすることなく、車両に接近する障害物の存在を運転者に明示することが可能な障害物警報装置を提供することにある。 In view of the above problems, an object of the present invention is to provide an obstacle alarm device that can clearly indicate to the driver the presence of an obstacle approaching the vehicle without making it difficult to see the situation around the vehicle. is there.
上記目的を達成するための本発明に係る障害物警報装置の特徴構成は、
車両の後方の情景を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に基づいて前記車両のモニタに表示される注目撮影画像を生成する注目撮影画像生成部と、
前記注目撮影画像の外側の外側領域に物体が存在するか否かを判定する物体存在判定部と、
前記外側領域の物体の移動方向を判定する移動方向判定部と、
前記注目撮影画像のうち、前記車両の後方の情景の少なくとも一部を非表示にするマスク領域を設定するマスク領域設定部と、
車内から前記車両の後方を見てリアピラーにより死角となる領域を含んで区分けした複数の領域に対応する複数の障害物存在エリアを前記マスク領域に生成する障害物存在エリア生成部と、
前記移動方向判定部により前記外側領域の物体が前記注目撮影画像の中央側に移動すると判定された場合に、前記物体が存在する領域に対応する障害物存在エリアを強調表示させる表示を行う明示画像出力部と、
を備え、
前記マスク領域は、前記注目撮影画像の外側領域の物体が位置する部分よりも、前記注目撮影画像面の上方に配置され、
前記複数の障害物存在エリアは、前記リアピラーにより死角となる領域に対応するエリアと、前記死角となる領域よりも車両の外側となる前記外側領域に対応するエリアとを少なくとも有して構成され、前記外側領域に物体が存在すると判定された場合に表示される点にある。
In order to achieve the above object, the characteristic configuration of the obstacle alarm device according to the present invention is as follows:
A captured image acquisition unit that acquires a captured image of a scene behind the vehicle;
An attention-captured image generation unit that generates an attention-captured image displayed on the monitor of the vehicle based on the captured image;
An object presence determination unit that determines whether or not an object exists in an outer region outside the target captured image;
A moving direction determination unit that determines the moving direction of the object in the outer region;
A mask area setting unit that sets a mask area that hides at least a part of the scene behind the vehicle among the noted captured images;
Obstacle presence area generation unit that generates a plurality of obstacle existence areas corresponding to a plurality of areas divided into a blind area by a rear pillar when looking at the rear of the vehicle from the inside of the vehicle, and
An explicit image for performing a display in which an obstacle existing area corresponding to a region where the object is present is highlighted when the movement direction determination unit determines that the object in the outer region moves to the center side of the target captured image An output section;
With
The mask area is arranged above the target captured image plane with respect to the portion where the object in the outer region of the target captured image is located ,
The plurality of obstacle existence areas are configured to include at least an area corresponding to an area that becomes a blind spot by the rear pillar and an area corresponding to the outer area that is outside the vehicle from the area that becomes the blind spot, wherein in the point that appears when the object outside the area is determined to exist.
このような特徴構成とすれば、車両に備えられるモニタの画面内に物体が映っていなくても、車両に接近する物体が撮影範囲内に入った時点で、車両の周囲の状況を表示しつつ、乗員に車両に接近する物体の存在及び方向を明示することができる。したがって、モニタの画面サイズが小さい場合でも、車両に接近する物体を見逃すことがなくなる。また、障害物存在エリアは強調表示して表示されるので、乗員が直感的にわかり易くなる。したがって、車両の周囲の物体を見逃すことなく、車両に接近する物体の存在を乗員に明示することが可能となる。 With such a characteristic configuration, even if an object is not shown in the monitor screen of the vehicle, the situation around the vehicle is displayed when an object approaching the vehicle enters the shooting range. The presence and direction of an object approaching the vehicle can be clearly indicated to the occupant. Accordingly, even when the screen size of the monitor is small, an object approaching the vehicle is not missed. In addition, since the obstacle existing area is highlighted and displayed, it is easy for the passenger to understand intuitively. Therefore, it is possible to clearly indicate to the occupant the presence of an object approaching the vehicle without missing an object around the vehicle.
また、このような構成とすれば、障害物存在エリアがマスク領域内に表示された場合に、車両に物体が接近していることを明示することができる。したがって、障害物存在エリアが強調表示されるまでにおいても、物体の接近を明示することができる。Further, with such a configuration, it is possible to clearly indicate that an object is approaching the vehicle when the obstacle existence area is displayed in the mask area. Therefore, the approach of the object can be clearly indicated even before the obstacle existing area is highlighted.
また、このような構成とすれば、外側領域に存在する物体の動きも示すことができる。したがって、車両の乗員に対して車両の近傍に達する前に物体の接近に関して注意を喚起することができる。In addition, with such a configuration, the movement of an object existing in the outer region can also be shown. Therefore, it is possible to alert the vehicle occupant about the approach of the object before reaching the vicinity of the vehicle.
また、前記マスク領域に、前記障害物存在エリアと共に、前記車両を後方から視認した場合の少なくとも前記車両の一部の自車イメージ画像が重畳されると好適である。In addition, it is preferable that at least a part of the vehicle image of the vehicle when the vehicle is viewed from behind is superimposed on the mask area together with the obstacle presence area.
このような構成とすれば、障害物存在エリアに自車イメージ画像を重畳して表示するので、強調表示された障害物存在エリアに対応する領域を直感的に認識し易い。したがって、車両に接近する物体の存在を適切に明示することができる。With such a configuration, the vehicle image is superimposed and displayed on the obstacle existing area, so that it is easy to intuitively recognize the area corresponding to the highlighted obstacle existing area. Therefore, the presence of an object approaching the vehicle can be appropriately specified.
また、前記明示画像出力部は、前記強調表示として前記障害物存在エリアを彩色させる表示を行うと好適である。 Further, it is preferable that the explicit image output unit performs display for coloring the obstacle existing area as the highlight display.
このような構成とすれば、物体が存在する領域に対応する障害物存在エリアが彩色されるので、車両の乗員に対して物体の接近をより直感的に明示することができる。 With such a configuration, the obstacle presence area corresponding to the area where the object is present is colored, so that the approach of the object can be clearly indicated to the vehicle occupant.
以下、本発明の実施の形態について、詳細に説明する。本発明に係る障害物警報装置100は、車両に接近する物体がある場合に当該車両の運転者に物体が接近していることを明示する機能を備えている。以下、図面を用いて説明する。
Hereinafter, embodiments of the present invention will be described in detail. The
図1は、障害物警報装置100の構成を模式的に示したブロック図である。図1に示されるように、障害物警報装置100は、撮影画像取得部11、注目撮影画像生成部12、外側領域生成部13、物体存在判定部14、移動方向判定部15、明示画像出力部16、明示画像格納部17、合成画像生成部18、マスク領域設定部19、障害物存在エリア生成部20の各機能部を備えて構成される。各機能部はCPUを中核部材として車両1の運転者に物体7の接近を明示する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
FIG. 1 is a block diagram schematically showing the configuration of the
撮影画像取得部11は、車両1の後方の情景を撮影した撮影画像Gを取得する。ここで、車両1にはカメラ5が備えられる。本実施形態におけるカメラ5は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するとともに、撮影した情報を動画情報として出力するデジタルカメラにより構成される。このようなカメラ5は、図2(a)に示されるように、車両1の外側後部に備えられるライセンスプレートの近傍、或いは車両1の外側後部に備えられるエンブレムの近傍等に、車両1の後方に向けてやや俯角を有して配設される。また、カメラ5は広角レンズ(図示せず)を備えて構成される。これにより、車両1の後方を略180度に亘って、車両1の周囲の情景を撮影することができる。このような撮影範囲は、図2(a)の「広視野角」として示される。このカメラ5は、リアルタイムで動画を撮影画像Gとして出力する性能を有する。このような撮影画像Gは、撮影画像取得部11に伝達される。
The captured
このような撮影画像Gの一例が図2(b)に示される。図2(b)の全幅は、図2(a)の広視野角に対応する。ここで、撮影画像Gは、図2(a)に示されるような車両1から後方を見て左側にいる物体7が、図2(b)に示されるように撮影画像G内の右側にいるように鏡像処理が行われる。これは、モニタ50に車両1の後方の情景を表示する際、車両1の運転者が撮影画像Gに含まれる物体7が車両1の左側にいるのか右側にいるのかを感覚的に理解し易くするためである。
An example of such a captured image G is shown in FIG. The full width of FIG. 2 (b) corresponds to the wide viewing angle of FIG. 2 (a). Here, in the photographed image G, the
図1に戻り、注目撮影画像生成部12は、撮影画像Gに基づいて注目撮影画像を生成する。本実施形態では、撮影画像Gの撮影範囲は広視野角である。このため、注目撮影画像生成部12は、撮影画像Gの中央部分である狭視野領域Nを注目撮影画像として生成する。撮影画像Gは上述の撮影画像取得部11から伝達される。本実施形態では、注目撮影画像は、図2(b)に示される撮影画像Gの横方向の中央部分が相当する。このような狭視野領域Nは、図1(a)の「狭視野角」のような例えば車両1の後方120〜130度程度の領域とすると好適である。また、狭視野領域Nは車両1が後退する際の進行可能範囲に近いので、撮影画像Gのうち特に注目すべき領域であることから「注目撮影画像」と称される。このような注目撮影画像は、後述するモニタ50に表示される表示画像に対応する(図2(c)参照)。なお、本実施形態では、「注目撮影画像」は「狭視野領域」の画像であるとして説明する。
Returning to FIG. 1, the noticeable photographed
外側領域生成部13は、注目撮影画像の外側の外側領域Oを生成する。すなわち、撮影画像Gのうち狭視野領域Nの外側の外側領域Oを生成する。上述のように、撮影画像Gの横方向の中央部分に注目撮影画像生成部12により狭視野領域Nが生成される。外側領域生成部13はこのような狭視野領域Nの横方向の外側に、図2(b)のような外側領域Oを生成する。外側領域生成部13により生成された外側領域Oは、後述する物体存在判定部14に伝達される。
The outer
物体存在判定部14は、外側領域Oに物体7が存在するか否かを判定する。外側領域Oは、外側領域生成部13から伝達される。物体7が存在するか否かの判定は、例えばパターンマッチング等の公知の画像認識処理を用いて行うことが可能である。もちろん、パターンマッチング以外の処理により、外側領域Oに物体7が存在するか否かを判定することは可能である。物体存在判定部14の判定結果は、後述する移動方向判定部15に伝達される。
The object
移動方向判定部15は、外側領域Oの物体7の移動方向を判定する。このような移動方向の判定は、物体存在判定部14により、外側領域Oに物体7が存在すると判定された場合に行われる。特に本実施形態では、移動方向判定部15により、外側領域Oの物体7が狭視野領域Nの側に移動するか否かが判定される。狭視野領域Nの側に移動するとは、車両1の後方において、車両1の幅方向外側から、車両1の真後ろの方向に移動することを示す。このような判定は、例えば現在の撮影画像Gにおける物体7の位置と所定時間前の撮影画像Gにおける物体7の位置とを比較して行うことも可能であるし、オプティカルフローを用いるなどの公知の手法を用いて行うことができる。このような移動方向の判定結果は、後述する明示画像出力部16に伝達される。
The movement
マスク領域設定部19は、注目撮影画像のうち、車両1の後方の情景の少なくとも一部を非表示にするマスク領域Mを設定する。本実施形態では、マスク領域Mは図2(c)に示されるように、画面上部、すなわち、注目撮影画像内の上側部分に設定される。このマスク領域Mは、注目撮影画像の横方向両側に亘って形成される。マスク領域M内は、車両1の上方の情景が見えないように、例えば黒色で彩色される。もちろん、他の色で彩色しても良い。
The mask
障害物存在エリア生成部20は、車内から車両1の後方を見てリアピラーにより死角となる領域を含んで区分けした複数の領域に対応する複数の障害物存在エリアBをマスク領域Mに生成する。リアピラーとは、車両1が有する複数の窓の間に配置される柱に相当するピラーのうち、後部座席の斜め後ろ側に配置される柱が相当する。車内から車両1の後方を見ると、リアピラーにより車両後方の視界が遮られる領域が生じる。このような領域が上述の死角に相当する。障害物存在エリア生成部20は、このような死角を一つの領域とし、当該領域を含む複数の障害物存在エリアb1−b5からなる障害物存在エリアBをマスク領域Mに生成する。
The obstacle existence
本実施形態では、障害物存在エリアBは、外側領域Oに対応する領域も含まれる。具体的には、障害物存在エリアBは、車両1を後方から見て車両1の左側後方の障害物存在エリアb1、左リアピラーによる死角に対応する障害物存在エリアb2、リアバンパーによる死角に対応する障害物存在エリアb3、右リアピラーによる死角に対応する障害物存在エリアb4、車両1の右側後方の障害物存在エリアb5から構成される。左側後方の障害物存在エリアb1、及び右側後方の障害物存在エリアb5が、上述の外側領域Oに対応する領域に相当する。 In the present embodiment, the obstacle presence area B includes a region corresponding to the outer region O. Specifically, the obstacle presence area B corresponds to the obstacle presence area b1 on the left rear side of the vehicle 1 when viewed from the rear, the obstacle presence area b2 corresponding to the blind spot caused by the left rear pillar, and the blind spot caused by the rear bumper. An obstacle existence area b3 corresponding to a blind spot by the right rear pillar, and an obstacle existence area b5 on the right rear side of the vehicle 1. The obstacle existing area b1 on the left rear side and the obstacle existing area b5 on the right rear side correspond to the area corresponding to the outer area O described above.
また、マスク領域Mには、障害物存在エリアBと共に、車両1を後方から視認した場合の少なくとも車両1の一部の自車イメージ画像CIが重畳される。この自車イメージ画像CIは、上述の障害物存在エリアBの夫々の領域b1−b5と対応するように重畳される。本実施形態では、自車イメージ画像CIは、リアバンパーを斜め上から見た場合のイメージ画像を含んで重畳される。これにより、各障害物存在エリアb1−b5と車両1との位置関係を直感的にイメージし易くなる。このような自車イメージ画像CIの重畳は、上述の障害物存在エリア生成部20が行っても良いし、他の機能部が行うように構成しても良い。
In addition to the obstacle existence area B, at least a part of the vehicle image image CI of the vehicle 1 when the vehicle 1 is viewed from behind is superimposed on the mask area M. The vehicle image CI is superimposed so as to correspond to the respective areas b1-b5 of the obstacle existence area B described above. In the present embodiment, the host vehicle image CI is superimposed including an image when the rear bumper is viewed obliquely from above. Thereby, it becomes easy to intuitively imagine the positional relationship between each obstacle existence area b1-b5 and the vehicle 1. Such superimposition of the vehicle image CI may be performed by the obstacle existence
明示画像出力部16は、移動方向判定部15により外側領域Oの物体7が注目撮影画像の中央側に移動すると判定された場合に、障害物存在エリアBのうち物体7が存在する領域に対応する障害物存在エリアを強調表示させる表示を行う。本実施形態では、このような強調表示として、彩色が用いられる。また、本実施形態では、注目撮影画像は、狭視野領域Nの画像に相当する。したがって、明示画像出力部16は、外側領域Oの物体7が狭視野領域Nの中央側に移動する場合に、物体7が存在する領域に対応する障害物存在エリアを彩色させる。
The explicit
具体的には、移動方向判定部15により、車両1の左側後方において物体7が狭視野領域Nの中央側に移動する場合には障害物存在エリアb1を彩色し、車両1の右側後方において物体7が狭視野領域Nの中央側に移動する場合には障害物存在エリアb5を彩色する。また、車両1の左リアピラーによる死角において物体7が狭視野領域Nの中央側に移動する場合には障害物存在エリアb2を彩色し、車両1の右リアピラーによる死角において物体7が狭視野領域Nの中央側に移動する場合には障害物存在エリアb4を彩色する。更には、車両1のリアバンパーによる死角において物体7が狭視野領域Nの中央側に移動する場合には障害物存在エリアb3を彩色する。これにより、車両1の乗員が物体7が存在する領域を直感的に認識することが可能となる。
Specifically, when the
このような障害物存在エリアBを彩色する画像は、図2(d)に示されるように明示画像として明示画像格納部17に格納されている。図2(c)には、図2(b)に示されるような撮影画像G、すなわち右側の外側領域Oに物体7がいる場合に車両1のモニタ50に表示される画像が示される。
Such an image coloring the obstacle existing area B is stored in the explicit
また、物体7が外側領域Oにおいて狭視野領域Nの中央側に移動する場合には当該物体7が、狭視野領域Nの中央側に移動することを明示するために、対応する障害物存在エリアの彩色と共に、指標Sを重畳することも可能である。指標Sは、物体7の狭視野領域Nの中央側への移動が検知されてから狭視野領域Nに進入するまで表示すると好適である。また、狭視野領域Nまでの距離に応じて指標Sの数を次第に増加する形態とすると、更に物体7が近づいてきていることを明示することが可能である。このような指標Sは、例えば、注目撮影画像(狭視野領域N)の中央側に突出する凸部を有する矢印形状に構成すると好適である。これにより、物体7の移動方向を直感的に認識することが可能となる。更には、この指標Sは、車両1の後方の情景が認識できなくなることを防止するために、所定の透明度を有するように構成することも可能である。このような指標Sも、図2(d)に示されるように明示画像として明示画像格納部17に格納しておくと好適である。
Further, when the
ここで、指標Sは直前に表示された指標Sよりも、後に表示される指標Sの方が大きなサイズで構成すると好適である。係る場合、指標Sが複数表示されている場合には、最後に重畳された指標Sが最もサイズが大きく、最初に重畳された指標Sが最もサイズが小さくなる。なお、夫々の指標Sは、互いに相似する形状でサイズの大小を設定しても良いし、指標Sの縦又は横の何れか一方の長さを変更してサイズの大小を設定しても良い。 Here, it is preferable that the index S displayed later is configured with a larger size than the index S displayed immediately before. In such a case, when a plurality of indicators S are displayed, the size of the indicator S superimposed last is the largest, and the size of the indicator S superimposed first is the smallest. Each index S may have a size similar to each other and may be set in size, or may be set in size by changing either the vertical or horizontal length of the index S. .
明示画像出力部16は、このような表示を行う。ここで、本実施形態では、図2(c)に示されるように、障害物存在エリアB、自車イメージ画像CI、及び指標Sは狭視野領域Nである注目撮影画像に合成してモニタ50に表示される。そこで、合成画像生成部18は、注目撮影画像に障害物存在エリアB、自車イメージ画像CI、及び指標Sを合成した合成画像を生成する。これにより、図2(c)に示されるような画像が生成される。
The explicit
このように障害物存在エリアBの彩色や、自車イメージ画像CIの重畳、及び指標Sを表示することにより、車両1の乗員に対して当該車両1に物体7が接近していることを視覚的に明示することができる。
Thus, by displaying the color of the obstacle existing area B, the superimposition of the vehicle image CI, and the index S, it is visually confirmed that the
このような障害物存在エリアBが彩色される一連の画像の一例が、図3及び図4に示される。図3(a)に示されるように、外側領域Oにいる物体7が狭視野領域Nの中央側に移動していることが検出されると、物体7が狭視野領域Nに進入するまで障害物存在エリアb5が彩色されると共に、指標Sが増えていく様子が示される(図3(b)−(d))。図4(a)に示されるように、物体7が右側の外側領域Oから狭視野領域Nに進入すると、指標Sの重畳が終了する。物体7が、右側後方のリアピラーによる死角に進入すると、図4(b)に示されるように、障害物存在エリアb4が彩色される。また、物体7が、リアバンパーによる死角に進入すると、図4(c)に示されるように、障害物存在エリアb3が彩色される。
An example of a series of images in which the obstacle existence area B is colored is shown in FIGS. As shown in FIG. 3A, when it is detected that the
ここで、図4(d)及び図4(e)では、物体7が移動しても、対応する障害物存在エリアb2及び障害物存在エリアb1が彩色されていない。これは、物体7が狭視野領域Nの中央側への移動ではなく、物体7が狭視野領域Nから外側領域Oへの移動、すなわち車両1から遠ざかる方向への移動であるので特に車両1の乗員に注意を喚起する必要が無いからである。もちろん、係る場合も、対応する障害物存在エリアを彩色するように構成することも当然に可能である。
Here, in FIGS. 4D and 4E, even when the
ここで、図4(a)−(e)において、物体7が車両1の真後ろ(図4(c))にいる場合に最も大きく示されているが、これは、上述のように狭視野領域Nに係る注目撮影画像は広視野角の撮影画像Gから切り出しているからである。したがって、車両1の後方を物体7が車両1のリアバンパーと平行に移動する場合であっても、車両1の真後ろにいる状態が最も大きく表示され、車両1の側方に位置する程、小さく表示される。このような表示は、画像処理により物体7の大きさが一様になるように行うことも当然に可能である。
Here, in FIGS. 4A to 4E, the largest view is shown when the
次に、障害物警報装置100が、障害物存在エリアBを彩色した合成画像をモニタ50に表示する一連の処理について、図5の模式図を用いて説明する。まず、撮影画像取得部11が、車両1のカメラ5により撮影された撮影画像Gを取得する(ステップ#1)。
Next, a series of processes in which the
次に、注目撮影画像生成部12が、取得された撮影画像Gの中央部分を注目撮影画像として生成する(ステップ#2)。一方、外側領域生成部13が、取得された撮影画像Gの横方向両側部分を外側領域Oとして生成する(ステップ#3)。このように生成された外側領域Oに物体7が存在しているか否か、物体存在判定部14により判定される(ステップ#4)。
Next, the noticeable photographed
外側領域Oに物体7が存在していると判定されると、移動方向判定部15により当該物体7の移動方向が判定される(ステップ#5)。物体7の移動方向が、外側領域Oから注目撮影画像に対応する狭視野領域Nの側へのものである場合、明示画像出力部16により明示画像が出力される(ステップ#6)。この明示画像は、明示画像格納部17に格納されている明示画像を参照して出力される。
If it is determined that the
合成画像生成部18は、ステップ#2において生成された注目撮影画像に、ステップ#6で出力された明示画像を重畳して合成画像を生成する(ステップ#7)。生成された合成画像は、モニタ50に表示される(ステップ#8)。このように物体7が存在する領域に対応する障害物存在エリアBを彩色することにより車両1の乗員に車両1の周囲に物体7が存在することを明示することが可能であると共に、車両1に接近する物体7の方向を明示することが可能となる。したがって、車両1の周囲の状況を把握させることができると共に、障害物が接近していることを明示することが可能となる。
The composite
このように本発明に係る障害物警報装置100によれば、車両1に備えられるモニタ50の画面内に物体7が映っていなくても、車両1に接近する物体7が撮影範囲内に入った時点で、車両1の周囲の状況を表示しつつ、乗員に車両1に接近する物体7の存在及び方向を明示することができる。したがって、モニタ50の画面サイズが小さい場合でも、車両1に接近する物体7を見逃すことがなくなる。また、障害物存在エリアBは彩色して表示されるので、乗員が直感的にわかり易くなる。したがって、車両1の周囲の物体7を見逃すことなく、車両1に接近する物体7の存在を乗員に明示することが可能となる。
As described above, according to the
〔その他の実施形態〕
上記実施形態では、マスク領域Mに、障害物存在エリアBと共に、車両1を後方から視認した場合の少なくとも車両1の一部の自車イメージ画像CIが重畳されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。マスク領域Mに、自車イメージ画像CIを表示せずに、障害物存在エリアBのみを表示することも当然に可能である。係る場合でも、車両1に接近する物体7の存在を乗員に明示することは当然に可能である。
[Other Embodiments]
In the embodiment described above, the mask region M is described as being overlaid with the obstacle existence area B and at least a part of the vehicle image image CI of the vehicle 1 when the vehicle 1 is viewed from behind. However, the scope of application of the present invention is not limited to this. Of course, it is possible to display only the obstacle existing area B in the mask area M without displaying the vehicle image CI. Even in such a case, it is naturally possible to clearly indicate the presence of the
上記実施形態では、障害物存在エリアBが、マスク領域Mに重畳して表示されるとして説明した。障害物存在エリアBは、常時マスク領域Mに表示させるよう構成することも可能であるし、車両1の周囲に物体7が存在すると判定された場合にのみ表示される構成とすることも当然に可能である。
In the above embodiment, the obstacle existence area B has been described as being displayed so as to be superimposed on the mask area M. Obstacle presence area B can be configured to always be displayed in mask area M, or it can be displayed only when it is determined that
上記実施形態では、障害物存在エリアBは、外側領域Oに対応する領域も含まれるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。障害物存在エリアBは、狭視野領域Nのみに対応する領域とすることも当然に可能である。 In the above embodiment, the obstacle existence area B has been described as including the area corresponding to the outer area O. However, the scope of application of the present invention is not limited to this. Obstacle existence area B can naturally be a region corresponding to only the narrow visual field region N.
上記実施形態では、障害物存在エリアBと共に、指標Sが表示されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。指標Sを表示せず、障害物存在エリアBのみを表示することも当然に可能である。 In the embodiment described above, the index S is displayed together with the obstacle presence area B. However, the scope of application of the present invention is not limited to this. Of course, it is possible to display only the obstacle existence area B without displaying the index S.
上記実施形態では、明示画像出力部16は、移動方向判定部15により外側領域Oの物体7が注目撮影画像の中央側に移動すると判定された場合に、物体7が存在する領域に対応する障害物存在エリアBを彩色させる表示を行うとして説明した。例えばこのような彩色として、乗員の目に留まり易いように、赤色や黄色で彩色すると好適である。もちろん、他の色で彩色することも当然に可能である。
In the above-described embodiment, the explicit
上記実施形態では、物体7が右側の外側領域Oから注目撮影画像の中央側に移動する場合の例を挙げて説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。もちろん、物体7が左側の外側領域Oから注目撮影画像の中央側に移動する場合にも適用することは当然に可能である。更には、物体7が左右両側の外側領域Oから注目撮影画像の中央側に移動する場合にも適用することも当然に可能である。
In the above-described embodiment, an example in which the
このような場合における障害物存在エリアBが彩色される一連の画像の一例が、図6及び図7に示される。図6(a)に示されるように、右側の外側領域Oにいる物体7が狭視野領域Nの中央側に移動していることが検出されると、物体7が狭視野領域Nに進入するまで障害物存在エリアb5が彩色されると共に、指標Sが増えていく様子が示される(図6(b)−(c))。ここで、図6(c)に示されるように、左側の外側領域Oからも狭視野領域Nの中央側に移動する物体7が検出されると、図7(a)に示されるように、右側の外側領域Oから狭視野領域Nの中央側への移動を示す指標Sの数が増加すると共に、左側の外側領域Oから狭視野領域Nの中央側への移動を示す指標Sも表示され、物体7が狭視野領域Nに進入するまで障害物存在エリアb1が彩色される。
An example of a series of images in which the obstacle existence area B in such a case is colored is shown in FIGS. As shown in FIG. 6A, when it is detected that the
左右両側の外側領域Oの物体7が、更に狭視野領域Nの中央側に移動し、物体7が右側の外側領域Oから狭視野領域Nに進入すると、図7(b)に示されるように、当該物体7の移動を示す指標Sの重畳が終了する。一方、左側の物体7の移動を示す指標Sの重畳は継続して行なわれる。その後、狭視野領域Nに進入した物体7が、右側後方のリアピラーによる死角に進入すると、図7(c)に示されるように、障害物存在エリアb4が彩色される。一方、左側の外側領域Oにいる物体7の移動を示す指標Sの重畳は継続して行われる。
When the
更に、右側後方のリアピラーによる死角に進入した物体7が、狭視野領域Nの中央側に移動し、リアバンパーによる死角に進入すると、図7(d)に示されるように、障害物存在エリアb3が彩色される。また、左側の外側領域Oにいる物体7が狭視野領域Nに進入すると、当該物体7の移動を示す指標Sの重畳が終了する。以降、上記実施形態と同様に、処理が行われる。このように、左右両側の外側領域Oから狭視野領域Nの中央側に物体7が移動する場合であっても、車両1の乗員に適切に物体7の接近を明示することが可能である。
Further, when the
上記実施形態では、強調表示として彩色が施されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。他の強調表示として、例えば対象となる障害物存在エリアを点滅させることも当然に可能である。更には、他の強調表示を施すことも当然に可能である。 In the above-described embodiment, it has been described that coloring is performed as the highlight display. However, the scope of application of the present invention is not limited to this. As another highlight display, for example, it is naturally possible to blink the target obstacle existence area. Furthermore, other highlighting can naturally be applied.
本発明は、車両に接近する障害物の存在を乗員に明示する障害物警報装置に関する。 The present invention relates to an obstacle alarm device that clearly indicates to an occupant the presence of an obstacle approaching a vehicle.
1:車両
7:物体
11:撮影画像取得部
12:注目撮影画像生成部
14:物体存在判定部
15:移動方向判定部と、
16:明示画像出力部
19:マスク領域設定部
20:障害物存在エリア生成部
100:障害物警報装置
B(b1−b5):障害物存在エリア
G:撮影画像
CI:自車イメージ画像
M:マスク領域
O:外側領域
1: vehicle 7: object 11: captured image acquisition unit 12: attention captured image generation unit 14: object presence determination unit 15: movement direction determination unit,
16: Explicit image output unit 19: Mask area setting unit 20: Obstacle existence area generation unit 100: Obstacle alarm device B (b1-b5): Obstacle existence area G: Photographed image CI: Vehicle image M: Mask Area O: Outside area
Claims (3)
前記撮影画像に基づいて前記車両のモニタに表示される注目撮影画像を生成する注目撮影画像生成部と、
前記注目撮影画像の外側の外側領域に物体が存在するか否かを判定する物体存在判定部と、
前記外側領域の物体の移動方向を判定する移動方向判定部と、
前記注目撮影画像のうち、前記車両の後方の情景の少なくとも一部を非表示にするマスク領域を設定するマスク領域設定部と、
車内から前記車両の後方を見てリアピラーにより死角となる領域を含んで区分けした複数の領域に対応する複数の障害物存在エリアを前記マスク領域に生成する障害物存在エリア生成部と、
前記移動方向判定部により前記外側領域の物体が前記注目撮影画像の中央側に移動すると判定された場合に、前記物体が存在する領域に対応する障害物存在エリアを強調表示させる表示を行う明示画像出力部と、
を備え、
前記マスク領域は、前記注目撮影画像の外側領域の物体が位置する部分よりも、前記注目撮影画像面の上方に配置され、
前記複数の障害物存在エリアは、前記リアピラーにより死角となる領域に対応するエリアと、前記死角となる領域よりも車両の外側となる前記外側領域に対応するエリアとを少なくとも有して構成され、前記外側領域に物体が存在すると判定された場合に表示される障害物警報装置。 A captured image acquisition unit that acquires a captured image of a scene behind the vehicle;
An attention-captured image generation unit that generates an attention-captured image displayed on the monitor of the vehicle based on the captured image;
An object presence determination unit that determines whether or not an object exists in an outer region outside the target captured image;
A moving direction determination unit that determines the moving direction of the object in the outer region;
A mask area setting unit that sets a mask area that hides at least a part of the scene behind the vehicle among the noted captured images;
Obstacle presence area generation unit that generates a plurality of obstacle existence areas corresponding to a plurality of areas divided into a blind area by a rear pillar when looking at the rear of the vehicle from the inside of the vehicle, and
An explicit image for performing a display in which an obstacle existing area corresponding to a region where the object is present is highlighted when the movement direction determination unit determines that the object in the outer region moves to the center side of the target captured image An output section;
With
The mask area is arranged above the target captured image plane with respect to the portion where the object in the outer region of the target captured image is located ,
The plurality of obstacle existence areas are configured to include at least an area corresponding to an area that becomes a blind spot by the rear pillar and an area corresponding to the outer area that is outside the vehicle from the area that becomes the blind spot, scale in which these obstacle warning device when it is determined that an object is present in the outer region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011282206A JP5974476B2 (en) | 2011-12-22 | 2011-12-22 | Obstacle alarm device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011282206A JP5974476B2 (en) | 2011-12-22 | 2011-12-22 | Obstacle alarm device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013131177A JP2013131177A (en) | 2013-07-04 |
| JP5974476B2 true JP5974476B2 (en) | 2016-08-23 |
Family
ID=48908641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011282206A Expired - Fee Related JP5974476B2 (en) | 2011-12-22 | 2011-12-22 | Obstacle alarm device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5974476B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6440115B2 (en) * | 2014-03-06 | 2018-12-19 | パナソニックIpマネジメント株式会社 | Display control apparatus, display control method, and display control program |
| JP6643659B2 (en) * | 2014-04-09 | 2020-02-12 | パナソニックIpマネジメント株式会社 | Display control device, display control method, and display control program |
| JP6159455B1 (en) * | 2016-09-02 | 2017-07-05 | 株式会社コロプラ | Method, program, and recording medium for providing virtual space |
| CN112272946B (en) * | 2018-06-14 | 2023-06-09 | 日立安斯泰莫株式会社 | vehicle control device |
| CN118182508A (en) * | 2024-02-27 | 2024-06-14 | 江铃汽车股份有限公司 | A method and system for scene reconstruction, rendering and display of a vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4336288C1 (en) * | 1993-10-25 | 1995-03-30 | Daimler Benz Ag | Device for monitoring the rear or front space of a parking motor vehicle |
| JP5271511B2 (en) * | 2007-06-14 | 2013-08-21 | 富士通テン株式会社 | Driving support device and image display device |
| JP2010247621A (en) * | 2009-04-14 | 2010-11-04 | Stanley Electric Co Ltd | Automobile driving support system |
-
2011
- 2011-12-22 JP JP2011282206A patent/JP5974476B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013131177A (en) | 2013-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5692403B2 (en) | Obstacle alarm device | |
| WO2013065120A1 (en) | Obstacle alert device | |
| US9396401B2 (en) | Obstacle alarm device | |
| JP5861449B2 (en) | Obstacle alarm device | |
| JP5974476B2 (en) | Obstacle alarm device | |
| JP5704416B2 (en) | Obstacle alarm device | |
| JP5845909B2 (en) | Obstacle alarm device | |
| JP5660395B2 (en) | Obstacle alarm device | |
| WO2013065122A1 (en) | Obstacle alert device | |
| JP5754605B2 (en) | Obstacle alarm device | |
| JP5787168B2 (en) | Obstacle alarm device | |
| JP5765576B2 (en) | Obstacle alarm device | |
| JP5821622B2 (en) | Obstacle alarm device | |
| JP2013131178A (en) | Obstacle alarm device | |
| JP5704417B2 (en) | Obstacle alarm device | |
| JP5674071B2 (en) | Obstacle alarm device | |
| JP5765575B2 (en) | Imaging area display device | |
| WO2013094496A1 (en) | Obstacle alarm device | |
| JP5825091B2 (en) | Imaging area display device | |
| WO2013094345A1 (en) | Imaging-region-specifying device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160427 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160704 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5974476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |