[go: up one dir, main page]

WO2011118261A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2011118261A1
WO2011118261A1 PCT/JP2011/052136 JP2011052136W WO2011118261A1 WO 2011118261 A1 WO2011118261 A1 WO 2011118261A1 JP 2011052136 W JP2011052136 W JP 2011052136W WO 2011118261 A1 WO2011118261 A1 WO 2011118261A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
displayed
divided
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/052136
Other languages
English (en)
French (fr)
Inventor
三好英彦
長嶺昇
三浦健次
山本欣司
後藤謙二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to CN201180014466.1A priority Critical patent/CN102804763B/zh
Priority to EP11759069.5A priority patent/EP2555520A4/en
Priority to US13/636,041 priority patent/US9308863B2/en
Priority to KR1020127024305A priority patent/KR101446898B1/ko
Publication of WO2011118261A1 publication Critical patent/WO2011118261A1/ja
Anticipated expiration legal-status Critical
Priority to US15/057,208 priority patent/US9919650B2/en
Priority to US15/891,550 priority patent/US10479275B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a vehicle periphery monitoring device, and more particularly to a technique for displaying a captured image of a camera on a monitor and enlarging and displaying the captured image displayed on the monitor.
  • Patent Document 1 As a vehicle periphery monitoring device configured as described above, Patent Document 1 generates an overhead view image around a vehicle from images captured by a plurality of cameras and displays the image on a monitor (display in the literature). There is described a processing form in which a peripheral area of a vehicle is divided into a plurality of areas, and when any of the plurality of areas is selected by a touch panel, an overhead image of the selected area is enlarged and displayed on a monitor.
  • An object of the present invention is to rationally configure an apparatus capable of accurately recognizing which region is enlarged when a part of a bird's-eye view image displayed on a monitor is enlarged and displayed.
  • a feature of the present invention includes a plurality of cameras that capture an area including a road surface around the vehicle, and an image processing unit that displays captured images of the plurality of cameras on a monitor.
  • the image processing unit generates a bird's-eye view image in which the periphery of the vehicle body is viewed from above from a plurality of captured images of the camera and displays it in the bird's-eye view image display area of the monitor, and division of the bird's-eye view image display area
  • a plurality of intermediate images having a size intermediate between the size of the designated divided area and the size of the enlarged display area are generated, and the size is small.
  • the process of sequentially displaying from the intermediate image is executed, and at the beginning of the execution of this process, the display positional relationship is set so that the specified divided area is included in the display area of the intermediate image to be displayed next, And an enlarged display means for enlarging the image of the divided area as an enlargement target image to the size of the enlarged display area.
  • a process is performed in which a plurality of intermediate images having an intermediate size between the size of the divided area and the size of the enlarged display area are generated, and the plurality of intermediate images are sequentially displayed from a small intermediate image. Is done.
  • the display positional relationship is set so that the designated divided line area is included in the display area of the intermediate image to be displayed next.
  • the final enlarged image is displayed in the enlarged display area in such a manner that the intermediate image is continuously displayed starting from the divided image designated from such a display form and zoomed up.
  • the designation of the divided area includes not only artificial designation but also designation by automatic control when an obstacle is detected, for example.
  • an apparatus has been constructed that can accurately recognize which area is enlarged when a part of the overhead image displayed on the monitor is enlarged and displayed.
  • the enlarged display unit sets the overhead image display area as the enlarged display area and enlarges the intermediate image by overlapping the overhead image displayed in the divided area other than the designated divided area. Display may be performed.
  • the driver since the intermediate image is displayed in a positional relationship superimposed on the already displayed overhead image, the driver is notified that the already displayed overhead image has been updated and displayed. It can be recognized.
  • At least one of the overhead images displayed in the plurality of divided areas is generated by combining the overhead images generated from the images captured by the two cameras, and the divided areas are designated.
  • the overhead image displayed in this divided area may be set as the enlargement target image.
  • the bird's-eye view synthesized when the bird's-eye view image is set as the enlargement target image.
  • the image will be enlarged.
  • the monitor includes a touch panel on a display surface, and when the touch panel detects that there is contact with any of the plurality of divided areas, the enlarged display means detects the divided areas. May be designated as the enlargement target image.
  • the monitor includes a touch panel on a display surface, and when the touch panel detects that there is contact with any of the plurality of divided areas, the enlarged display means detects the divided areas.
  • the captured image from the camera that captures the area displayed in the divided area is displayed in the divided area, and the captured image displayed in this manner is displayed as the enlargement target. It may be specified as an image.
  • the area displayed in the divided area is photographed instead of the overhead image already displayed in the designated divided area.
  • An enlargement process is realized in which a photographed image from the camera is used as an enlargement target image. Since the enlarged image is a captured image of the camera, it is possible to grasp the situation around the vehicle from the viewpoint of the camera.
  • the enlarged display means may display a boundary line for clarifying a boundary on an outer peripheral portion of the intermediate image.
  • the present embodiment includes a vehicle periphery monitoring device that generates a bird's-eye view image in which the periphery of the vehicle 1 is looked down from above from images captured by a plurality of cameras provided in the vehicle 1 and displays the image on the monitor 21.
  • the vehicle periphery monitoring device detects an obstacle X in the vicinity of the vehicle, the vehicle periphery monitoring device divides the overhead view image displayed on the monitor 21 into a plurality of regions and sets the divided regions D1 to D4.
  • a highlight display for specifying the divided areas D1 to D4 including the obstacle X is performed, and a control for enlarging and displaying an image of the area where the obstacle X exists on the monitor 21 (hereinafter referred to as an enlargement process) is executed.
  • an enlargement process for enlarging and displaying an image of the area where the obstacle X exists on the monitor 21.
  • a vehicle 1 as a passenger car includes left and right front wheels 2 and left and right rear wheels 3.
  • the vehicle 1 is provided with a left front door 4 and a right front door 5 that can be opened and closed by hinges at a front position, and a left rear door 6 and a right rear door 7 that can be opened and closed slidably at the rear position of the vehicle 1.
  • a hatchback-type back door 8 is provided at the rear end of the vehicle 1.
  • a driver seat 13, a passenger seat 14, and a plurality of rear seats 15 are provided.
  • a steering wheel 16 is provided at a position in front of the driver's seat 13, and a panel having meters is disposed at the front thereof.
  • An accelerator pedal 17 and a brake pedal 18 for operating the brake device BK of the front wheel 2 and the rear wheel 3 to apply a braking force to the front wheel 2 and the rear wheel 3 are disposed at the foot of the driver seat 13.
  • a shift lever 19 that realizes shifting is arranged on the side portion 13.
  • a monitor 21 having a touch panel 21 ⁇ / b> T formed on the display surface is provided at an upper position of the console.
  • the monitor 21 is a liquid crystal type equipped with a backlight. Of course, a plasma display type or a CRT type may be used.
  • the touch panel 21T is configured as a pressure-sensitive or electrostatic instruction input device that outputs a contact position by a finger or the like as location data.
  • a speaker 21 is also provided in the housing 21H of the monitor 21, but the speaker 22 may be provided in another place such as the inside of a door.
  • the monitor 21 is also used as a display device of the navigation system, but a dedicated monitor 21 may be provided for vehicle periphery monitoring display.
  • the left front door 4 is provided with a left side mirror 23, and the right front door 5 is provided with a right side mirror 24.
  • the left side mirror 23 is provided with a left side camera 25, and the right side mirror 24 is provided with a right side camera 26.
  • a front camera 27 is provided at the front end of the vehicle 1, and a rear camera 28 is provided at the rear end of the vehicle 1.
  • the shooting direction is set downward, and a part of the vehicle 1 and the road surface are included in the shooting area.
  • the front camera 27 and the rear camera 28 are set so that the shooting direction is obliquely downward, and a part of the vehicle 1 and the road surface are included in the shooting area.
  • These cameras as photographing devices are digital cameras with built-in image sensors such as CCD (charge-coupled device) and CIS (CMOS image-sensor), and output photographed information as moving image information in real time. These cameras have a wide viewing angle by providing a wide-angle lens.
  • CCD charge-coupled device
  • CIS CMOS image-sensor
  • the monitor 21 is used for displaying navigation information in the navigation mode control.
  • the shift lever 19 is operated to the reverse (reverse) position, a photographed image of the rear camera 28 is displayed.
  • the captured image of the rear camera 28 is an image in which the left and right are interchanged by mirror-inverting the left and right, so that the display content of the monitor 21 can be visually recognized with the same feeling as the image when the rear is confirmed by the rearview mirror I have to.
  • the front part of the vehicle is provided with a power steering unit PS that transmits the rotational operation force of the steering wheel 16 to the front wheels 2 to perform driving steering (steering). Further, the front portion of the vehicle is provided with an engine E and a speed change mechanism T composed of a torque converter, CVT, or the like that shifts the power from the engine E and transmits it to the front wheels 2.
  • the speed change mechanism T performs forward / reverse switching and speed change by operating the shift lever 19.
  • the vehicle 1 is provided with various sensors for detecting driving operation and the moving state of the vehicle 1. More specifically, the operation system of the steering wheel 16 is provided with a steering sensor S16 that measures a steering operation direction (steering direction) and an operation amount (steering amount). The operation system of the shift lever 19 is provided with a shift position sensor S19 for determining the shift position. The operation system of the accelerator pedal 17 is provided with an accelerator sensor S17 that measures the operation amount, and the operation system of the brake pedal 18 is provided with a brake sensor S18 that detects the presence or absence of the operation.
  • a photo interrupter type or pickup type movement distance sensor S3 is provided so as to measure the movement amount of the vehicle 1 from the rotation amount of the rear wheel 3.
  • a sensor that acquires the movement amount from the rotation amount of the transmission system inside the transmission mechanism T may be used. Further, the movement distance sensor S3 may measure the amount of rotation of the front wheel 2. Furthermore, the moving amount and the steering amount of the vehicle 1 may be detected from the image processing of the captured image of the front camera 27 or the rear camera 28.
  • An ECU 30 serving as a vehicle periphery monitoring device according to the present invention is disposed at the center of the vehicle 1. As shown in FIG. 3, the ECU 30 includes an interface including a sensor input interface 31 and a communication interface 32, and also includes an image output module 33 and an audio output module 34.
  • the ECU 30 includes a processing system such as a microprocessor that processes information obtained through the interface and a DSP (digital signal processor), and the processing result is output from the image output module 33 to the monitor 21. Also, the audio information is The sound is output from the audio output module 34 to the speaker 22.
  • a processing system such as a microprocessor that processes information obtained through the interface and a DSP (digital signal processor), and the processing result is output from the image output module 33 to the monitor 21. Also, the audio information is The sound is output from the audio output module 34 to the speaker 22.
  • the ECU 30 includes a navigation control unit 35 that implements navigation mode control, a map data storage unit 36 that provides map information to the navigation control unit 35, a parking assistance control unit 37 that implements parking support mode control, and a vehicle
  • An obstacle detection unit 38 (an example of an obstacle detection unit) that detects a nearby obstacle X and an image processing unit 39 that realizes vehicle periphery monitoring processing are provided.
  • the navigation control unit 35 acquires the vehicle position indicated by the longitude information and the latitude information from the GPS unit 41 during traveling, acquires map data corresponding to the vehicle position, and displays the map data on the monitor 21.
  • the navigation information for guiding to the destination is displayed on the monitor 21 and the guidance information is output from the speaker 22 by voice.
  • the map data storage unit 36 performs a process of giving map data corresponding to the vehicle position to the navigation control unit 35.
  • the parking support control unit 37 superimposes and displays an expected course image Y (see FIG. 6A) for guiding the vehicle 1 to the parking position on the image displayed on the monitor 21 by the image processing unit 39.
  • the driver can easily introduce the vehicle 1 to the parking target position by performing a steering operation based on the expected course image Y displayed on the monitor 21.
  • the image processing unit 39 arranges a main display area 21A and a sub display area 21B (an example of an overhead image display area) on the monitor 21 in the layout shown in FIG.
  • a camera icon 21C indicating a camera that has taken an image of this area is displayed at the upper position of 21A.
  • the image processing unit 39 includes an overhead image generation unit 39A that generates an overhead image in a form in which the vehicle 1 is looked down from above, and a plurality of overhead images displayed on the monitor 21.
  • Divided area management means 39B that divides and manages divided areas D1 to D4, and a plurality of frame-like portions as information for specifying that the obstacle X is displayed in the divided areas D1 to D4 Among F1 to F4, specific information output means 39C for highlighting the frame-like portion F corresponding to the divided area D where the obstacle X exists, and enlargement mode setting means 39D for setting the enlargement target image and the enlargement display area
  • an enlargement display means 39E for enlarging the enlargement target image in the enlargement display area.
  • the divided area D1 and the divided area D2 correspond to the left side and the right side of the front part of the vehicle
  • the divided area D3 and the divided area D4 correspond to the left side and the right side of the rear part of the vehicle.
  • the frame-like portions F1 to F4 correspond to the divided regions D1 to D4 as shown in FIG.
  • a superordinate concept of the divided areas D1 to D4 it is described as a divided area D
  • a superordinate concept of the frame-like parts F1 to F4 it is described as a frame-like part F.
  • the ECU 30 is configured by an electronic circuit, and part or all of the interface and output system may be included in such an electronic circuit.
  • the ECU 30 has an electronic circuit that constitutes a processing system, or a storage unit that includes a memory, a register, or the like as a separate component, and information is input / output via a data bus, an address bus, a control bus, or the like. .
  • the sensor input interface 31 receives driving operation information and information for detecting a moving state from the steering sensor S16, the shift position sensor S19, the accelerator sensor S17, the brake sensor S18, and the moving distance sensor S3.
  • the communication interface 32 communicates with the power steering unit PS, the speed change mechanism T, the brake device BK, and the GPS unit 41 via a communication line. Further, the communication interface 32 acquires information from the touch panel 21T, the left side camera 25, the right side camera 26, the front camera 27, and the rear camera 28.
  • the image output module 33 outputs an image to the monitor 21, and the sound output module 34 outputs sound to the speaker 22.
  • the shift lever 19 when the shift lever 19 is set to the forward position while the vehicle periphery monitoring process is selected, the image taken by the front camera 27 is displayed in the main display area 21A as shown in FIG.
  • the A camera icon 21C indicating a photographed image of the front camera 27 is displayed at the upper position of the main display area 21A, and an overhead image is displayed in the sub display area 21B.
  • the shift lever 19 when the shift lever 19 is set to the reverse position, as shown in FIG. 6A, the photographed image of the rear camera 28 is displayed in the main display area 21A.
  • a camera icon 21C indicating a photographed image of the rear camera 28 is displayed at an upper position of the main display area 21A, and an overhead image is displayed in the sub display area 21B (steps # 101 and # 102).
  • the overhead image displayed in the sub-display area 21B is obtained by the overhead image generation means 39A acquiring images taken by the left side camera 25, the right side camera 26, the front camera 27, and the rear camera 28, and looking down from above.
  • the projected images are converted into projected images, and these projected images are mapped to a virtual plane at a position surrounding the vehicle image, thereby being generated as a single overhead image arranged on the road surface.
  • the bird's-eye view image displayed in this way is managed by being divided into four divided areas D1 to D4 so as to be divided by a dividing line L indicated by a broken line.
  • the partition line L shown in the figure is not displayed on the screen, but the processing mode may be set so that the partition line L is displayed on the screen.
  • the bird's-eye view image displayed in the sub display area 21B is generated from the captured images of four cameras, but the bird's-eye view images of the four divided areas D1 to D4 divided by the division line L are two cameras. It is generated by combining the captured images.
  • an overlapping area W (see FIG. 1) in the captured images of the two cameras is formed at the outer position of the front and rear corners of the vehicle 1, and the boundary area is made inconspicuous in the overlapping area W. .
  • the bird's-eye view image synthesized in this way is set as the enlargement target image, it is enlarged to the size of the enlargement display area.
  • the shift lever 19 when the shift lever 19 is set to the reverse drive position, it is also possible to execute the parking support control together.
  • the parking support control is executed in this way, it is shown in FIG.
  • the predicted course image Y is superimposed and displayed on the main display area 21A and the sub display area 21B.
  • the predicted course image Y represents a path along which the vehicle 1 moves when the vehicle 1 is moved backward with the current steering amount, and is the perspective corresponding to the captured image displayed on the monitor 21 and is the same virtual as the road surface. Generated on a plane.
  • This course prediction image is formed in a frame shape by a pair of vehicle width lines Ya having the same width as the width of the vehicle 1 and a plurality of distance lines Yb indicating positions reached when the vehicle 1 moves backward by a set amount.
  • the obstacle detection unit 38 described above obstructs a three-dimensional object that generates parallax from images in the overlapping region W that overlaps in the imaging regions of the left side camera 25, the right side camera 26, the front camera 27, and the rear camera 28. It is configured as software for extracting as an object X.
  • the outline of the process for extracting a three-dimensional object in this way can be explained as follows. That is, the images of the overlapping area W in the images taken by the two cameras are projected and converted onto the same virtual background, and the images are overlapped with each other in a positional relationship where the same backgrounds of the images after the projection conversion match. Thus, an image that does not match when superimposed is a three-dimensional object, and the three-dimensional object is estimated as an obstacle X, and the position of the obstacle X is specified.
  • Such an overlapping area W between the imaging areas of the two cameras is also an area that becomes a blind spot from the driver, and it is reasonable to detect only the obstacle X existing in this area.
  • the vehicle may be provided with four or more cameras.
  • the obstacle detection unit 38 may be configured by software that detects the obstacle X by an optical flow technique.
  • an ultrasonic sensor or the like may be provided at a plurality of locations such as the front end and the rear end of the vehicle 1. In this way, by configuring the obstacle detection unit 38 by the obstacle sensor to detect the obstacle X, the obstacle X on the entire circumference of the vehicle 1 can be detected.
  • the obstacle detection unit 38 When the obstacle X is detected by the obstacle detection unit 38, specifically, when the obstacle X exists in the divided area D2 among the divided areas D1 to D4, as shown in FIG. A region D2 (a divided region D including the detected obstacle X) is designated, and an outer peripheral frame portion F2 of the divided region D2 is highlighted (indicated by hatching in the drawing).
  • the color tone of the divided area D2 where X is present is changed, and an alarm sound is output from the speaker 22 (steps # 103 and # 104). Note that the color tone of D2 may not be changed. In this case, the color tone may be changed only for the intermediate image.
  • the specific information output unit 39C increases the luminance of the frame portion F2 or the saturation for the divided region D2 where the obstacle X exists among the divided regions D1 to D4 managed by the divided region management unit 39B.
  • the highlighting is realized by increasing the color or changing to a different hue. In combination with such highlighting, the display of the frame-like portion F2 may be changed to blink.
  • the alarm sound output from the speaker 22 may be a message in human language as well as an electronic sound.
  • an image of the divided area D2 that has already been designated using this contact operation as a trigger an overhead image or a captured image of the camera.
  • enlargement processing for enlarging the enlargement target image in the enlargement display area is performed (steps # 105 and # 106).
  • the enlargement display means 39E executes the enlargement process according to the enlargement mode set by the enlargement mode setting means 39D.
  • this enlargement mode an enlargement target image and an enlargement display area are set.
  • One of the overhead view image displayed in the divided area D2 where the obstacle X exists as the enlargement target image and one of the captured images of the camera that captures the obstacle X (image as the camera viewpoint) is Is set.
  • any one of a normal enlargement mode for setting the sub display area 21B, another screen enlargement mode for setting the main display area 21A, and a full screen enlargement mode for setting the entire screen of the monitor 21 as the enlargement display area. is set.
  • a mode setting screen is displayed on the monitor 21 and set in advance by human operation.
  • the process of deleting the previously displayed intermediate image M and displaying the next intermediate image M is performed, and in this normal enlargement mode, the sub-image is displayed in a positional relationship covering all of the previously displayed intermediate image M.
  • the next intermediate image M is superimposed and displayed on the overhead image in the display area 21B.
  • the intermediate image M having a larger size is sequentially displayed while gradually moving the size of the intermediate image M along the enlarged display locus.
  • This enlarged display is executed within a time of about 0.5 seconds or 1 second, for example, and finally, as shown in FIGS. 5D and 6D, images of the divided regions D2 and D3 (overhead images).
  • a magnified image in which is enlarged is displayed in the sub display area 21B.
  • the enlargement process is completed by displaying the area icon 21D in the corner of the enlarged image.
  • the area icon 21D is set to a size indicating a shooting area by the camera and does not overlap the road surface (a size overlapping the vehicle image), and the original position of the enlargement target image can be recognized from the area icon 21D.
  • an intermediate image M having a size slightly larger than the size of the divided region D3 is generated, and the display start point is displayed. Is superimposed and displayed at a position covering many areas of the divided area D3 (the divided area D designated by the presence of the obstacle X).
  • an intermediate image M having a larger size is formed and displayed at a position along the enlarged display locus. .
  • the intermediate image M having a larger size is sequentially displayed while gradually moving the size of the intermediate image M along the enlarged display locus.
  • This enlarged display is executed within a time of about 0.5 seconds or 1 second, for example, and finally, as shown in FIG. 7C, an enlarged image obtained by enlarging the image of the divided region D3 (overhead image) is mainly displayed.
  • the image is displayed in the display area 21A.
  • the enlargement process is completed by displaying the area icon 21D in the corner of the enlarged image.
  • the area icon 21D has a shape indicating a shooting area by the camera, and the original position of the enlargement target image can be recognized from the area icon 21D.
  • an intermediate image M having a size slightly larger than the size of the divided region D3 is generated, and the display starting point is displayed. Is superimposed and displayed at a position covering many areas of the divided area D3 (the divided area D designated by the presence of the obstacle X).
  • an intermediate image M having a larger size is formed and displayed at a position along the enlarged display locus. .
  • the intermediate image M having a larger size is sequentially displayed while gradually moving the size of the intermediate image M along the enlarged display locus.
  • This enlarged display is executed within a time of about 0.5 seconds or 1 second, for example, and finally an enlarged image obtained by enlarging the image of the divided region D3 (overhead image) is monitored as shown in FIG.
  • the image is displayed in the 21 display area.
  • the enlargement process is completed by displaying the area icon 21D in the corner of the enlarged image.
  • the area icon 21D has a shape indicating a shooting area by the camera, and the original position of the enlargement target image can be recognized from the area icon 21D.
  • the aspect ratio of the enlarged display area (display area of the monitor 21) and the divided area D3 are different, the enlarged image in which the overhead image of the divided area D3 is fully displayed in the display area of the monitor 21 is Deform.
  • the display position of the intermediate image M moves along the enlargement display trajectory starting from the position of the divided region D (in the normal enlargement mode of FIGS. 5 and 6). Since the position of the corner of the intermediate image M does not move), the enlargement in the form of zooming in is realized while clarifying the position of the original image to be enlarged (position of the divided region D). Then, it is possible to recognize which region the enlarged image is from the form of the region icon 21D displayed at the corner of the enlarged image and the display position of the region icon 21D.
  • the overlaid display is realized by performing the process of forming the intermediate image M on the moving image layer, and in this overlaid display state, even the overhead image is captured image. Even so, the change in the positional relationship between the vehicle 1 and the obstacle X can be displayed in real time. Further, as will be described below, when the enlarged image is erased and returned to the original display, the image of the moving image layer can be erased.
  • Step # 109 when a contact operation in which a driver's finger or the like is brought into contact with any region of the monitor 21 is detected, or when the obstacle detection unit 38 reaches a state where the obstacle X is not detected, enlargement By erasing the image and proceeding to the process of step # 101, the control returns to the control in which the captured image is displayed in the main display area 21A of the monitor 21 and the overhead image is displayed in the sub display area 21B (# 107). Step # 109).
  • the vehicle periphery monitoring display process is continuously performed until a selection for stopping the control is performed (step # 110).
  • the main display area 21A of the monitor 21 is displayed.
  • the captured image of the camera is displayed on the monitor 21, and the overhead image is displayed on the sub display area 21B of the monitor 21.
  • the brightness of the corresponding frame-shaped portion F among the frame-shaped portions F1 to F4 on the outer periphery of the divided region D where the obstacle X exists among the divided regions D1 to D4 of the overhead view image is displayed by changing the color tone of the divided area D where the obstacle X exists, and the alarm sound is output from the speaker 22. Can be grasped.
  • the divided area D where the obstacle X exists is expanded to the enlarged display area among the divided areas D1 to D4.
  • the positional relationship between the obstacle X and the vehicle 1 can be confirmed with an enlarged image.
  • any one of the plurality of divided areas D1 to D4 is enlarged to the enlarged display area, a plurality of intermediate images M having different sizes starting from the divided area D where the obstacle X exists are reduced in size.
  • the display is performed in such a manner that it sequentially moves along the enlarged display trajectory so as to make a transition from one to a larger size.
  • the positional relationship between the obstacle X and the vehicle 1 can be grasped from the enlarged image.
  • the movement of the vehicle 1 in a form that avoids contact with the obstacle X is realized.
  • a high-luminance boundary line is displayed in order to clarify the boundary between the intermediate image M and the already displayed image.
  • the processing form may be set so that the hue of the background image is acquired and a different hue such as a complementary color is set for this hue.
  • a bird's-eye view image When a bird's-eye view image is divided into a plurality of divided areas D and managed, it may be divided into a number other than four, such as two or six. In particular, the number of divisions may be arbitrarily set by the user. Moreover, when it divides
  • the region on the front end side of the vehicle 1 may be visible by taking a posture in which the driver gets out of the body.
  • the overhead image is used as the enlargement target image.
  • it is effective to display an image viewed from a direction different from the region visible to the driver's eyes.
  • the area on the rear end side of the vehicle 1 is often invisible to the driver, and it is effective to set a captured image that is close to the feeling of directly viewing the captured image of the camera as the enlargement target image. Become.
  • the operation direction of the steering wheel 16 is the direction in which the traveling direction of the vehicle 1 approaches the imaging region (obstacle X).
  • the display target image is set.
  • the traveling direction of the vehicle 1 is a direction away from the imaging region (obstacle X)
  • the captured image of the camera at the end of the vehicle 1 is displayed.
  • the side camera (the left side camera 25 or the right side) A change in the relative positional relationship between the obstacle X and the vehicle 1 can be easily grasped from the photographed image of the side camera 26).
  • a wide area in the traveling direction of the vehicle 1 is displayed on the monitor 21 from the captured image of the camera at the end of the vehicle 1 to confirm the traveling direction.
  • detecting contact with the bird's-eye view image display area means a change in the contact state from touching the touch panel 21T (head-view image area) to touching. Or a state change from a state in which a finger or the like touches the touch panel 21T (overhead image area) to a state in which the finger or the like is separated may be detected.
  • the present invention can be used for all vehicles having an image processing system that generates a bird's-eye view image from images captured by a plurality of cameras provided in the vehicle and displays the image on a monitor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置を構成する。モニタ２１に表示された俯瞰画像を複数に分割した分割領域Ｄ１～Ｄ４の何れかが指定された場合に、指定された分割領域Ｄ１～Ｄ４の画像を拡大対象画像に設定し、副表示領域２１Ｂを拡大表示領域に設定する。拡大表示手段は指定された分割領域Ｄ２のサイズと拡大表示領域のサイズの中間のサイズとなる複数の中間画像Ｍを形成し、指定された分割領域Ｄ２を起点として、小さい中間画像Ｍから順次表示する。

Description

車両周辺監視装置
　本発明は、車両周辺監視装置に関し、詳しくは、カメラの撮影画像をモニタに表示し、このモニタに表示されている撮影画像を拡大表示する技術に関する。
　上記のように構成された車両周辺監視装置として特許文献１には、複数のカメラの撮影画像から車両周辺の俯瞰画像を生成してモニタ（文献中はディスプレイ）に表示すると共に、この俯瞰画像を車両の周辺領域を複数の領域に分割し、この複数の領域の何れかをタッチパネルによりユーザが選択した場合には、選択した領域の俯瞰画像をモニタに拡大表示する処理形態が記載されている。
　この特許文献１では、モニタにおいて俯瞰画像が表示される領域と拡大画像が表示される領域を別個に設定しており、拡大画像としては俯瞰画像を拡大するモードと、選択された領域を撮影するカメラの撮影画像（カメラ視点の画像）を拡大するモードとの選択を行える点も記載されている。
特開２００９‐２３９６７４号公報
　俯瞰画像の一部を拡大してモニタに表示する形態において、拡大された画像が単純にモニタに表示される場合には、何れの部位の拡大画像であるのか判別し難いものである。また、特許文献１に記載されるように比較的狭い領域を指定し、その領域が拡大されるものでは、誤った操作により、運転者が望まない領域の画像を拡大してしまうこともある。このような誤った操作が行われた場合には、適正な操作を改めて行う必要があるだけではなく、誤操作に気付くまで時間を要することもあり改善の余地がある。
　本発明の目的は、モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置を合理的に構成する点にある。
　本発明の特徴は、車両周辺の路面を含む領域を撮影する複数のカメラと、この複数のカメラの撮影画像をモニタに表示する画像処理部とを備えると共に、
　前記画像処理部は、複数の前記カメラの撮影画像から車体周辺を上方から見下ろした俯瞰画像を生成して前記モニタの俯瞰画像表示領域に表示する俯瞰画像生成手段と、前記俯瞰画像表示領域の分割により設定された複数の分割領域の何れかが指定された場合に、前記指定された分割領域のサイズと拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、サイズの小さい中間画像から順次表示する処理を実行し、この処理の実行の初期には、前記指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定され、指定された分割領域の画像を拡大対象画像として前記拡大表示領域のサイズまで拡大する拡大表示手段とを備えている点にある。
　この構成によると、分割領域が指定された場合には、その分割領域の画像が拡大表示領域に表示される。この拡大が行われる際には、分割領域のサイズと拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、この複数の中間画像から小さい中間画像から順次表示する処理が実行される。この処理の初期には指定された分割行域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定される。このような表示形態から指定された分割画像を起点として中間画像が連続して表示されることによるズームアップする形態で最終的な拡大画像が拡大表示領域に表示される。
　特に、分割領域の指定としては、人為的な指定だけではなく、例えば、障害物が検出された際に自動制御による指定を含むものである。
　その結果、モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置が構成された。
　本発明は、前記拡大表示手段は、前記俯瞰画像表示領域を前記拡大表示領域に設定すると共に、指定された分割領域以外の分割領域に表示されている俯瞰画像に前記中間画像を重複させて拡大表示を行っても良い。
　これによると、既に表示されている俯瞰画像に対して中間画像が重畳する位置関係で表示されることになるので、既に表示されている俯瞰画像を更新して表示していることを運転者に認識させることが可能となる。
　本発明は、複数の前記分割領域に表示される俯瞰画像の少なくとも１つが、２つの前記カメラの撮影画像から生成された俯瞰画像の合成により生成されたものであり、この分割領域が指定された際には、この分割領域に表示されている俯瞰画像を拡大対象画像に設定しても良い。
　これによると、２つのカメラの撮影画像から生成された俯瞰画像を合成した俯瞰画像が分割領域に表示されている状態で、この俯瞰画像が拡大対象画像に設定された場合には合成された俯瞰画像が拡大されることになる。
　本発明は、前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域の俯瞰画像を前記拡大対象画像に指定しても良い。
　これによると、タッチパネルを介して分割領域の何れかが指定された場合には、その指定された分割領域に表示されている俯瞰画像を拡大対象画像にした拡大処理が実現する。このように拡大された画像は俯瞰画像であるので、車両を上方から見下ろす視点から車両周辺の状況を把握できる。
　本発明は、前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域に既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を、この分割領域に表示し、このように表示された撮影画像を前記拡大対象画像に指定しても良い。
　これによると、タッチパネルを介して分割領域の何れかが指定された場合には、その指定された分割領域既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を拡大対象画像にした拡大処理が実現する。このように拡大された画像はカメラの撮影画像であるので、カメラを視点にした車両周辺の状況を把握できる。
　本発明は、前記拡大表示手段は、前記中間画像の外周部に境界を明らかにする境界ラインを表示しても良い。
　これによると、中間画像が順次表示される際にも、中間画像と既に表示されている画像との境界が明瞭となり、何れの分割領域を元にして拡大表示が行われたのか容易に判断できる。
車両の構成の概要を示す平面図である。 車両の構成の示す一部切り欠き斜視図である。 制御系のブロック回路図である。 車両周辺監視処理のフローチャートである。 分割領域の俯瞰画像を副表示領域に拡大する処理を連続的に示す図である。 分割領域の俯瞰画像を副表示領域に拡大する処理を連続的に示す図である。 分割領域の俯瞰画像を主表示領域に拡大する処理を連続的に示す図である。 分割領域の俯瞰画像をモニタの全画面に拡大する処理を連続的に示す図である。
　以下、本発明の実施の形態を図面に基づいて説明する。
　本実施の形態では、車両１に備えられた複数のカメラの撮影画像から車両１の周辺を上方から見下ろした形態となる俯瞰画像を生成してモニタ２１に表示する車両周辺監視装置を備えている。特に、この車両周辺監視装置は、車両の近傍位置の障害物Ｘを検出した際には、モニタ２１に表示されている俯瞰画像を複数に分割して分割領域Ｄ１～Ｄ４を設定しており、障害物Ｘを含む分割領域Ｄ１～Ｄ４を特定するための強調表示を行うと共に、障害物Ｘが存在する領域の画像をモニタ２１に拡大表示する制御（以下、拡大処理と称する）を実行する。以下では、このような制御形態と制御構成とについて説明する。
〔基本構成〕
　図１及び図２に示すように、乗用車としての車両１には左右の前車輪２と、左右の後車輪３とを備えている。車両１の前部位置にはヒンジにより開閉自在な左前部ドア４と右前部ドア５とを備え、車両１の後部位置にスライド式に開閉自在な左後部ドア６と右後部ドア７とを備え、車両１の後端にはハッチバック式のバックドア８を備えている。
　車両１のルーム内には運転座席１３と、助手座席１４と、複数の後部座席１５とが備えられている。運転座席１３の前方位置にはステアリングホイール１６が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席１３の足元にはアクセルペダル１７と、前車輪２及び後車輪３のブレーキ装置ＢＫを操作して前車輪２及び後車輪３に制動力を作用させるブレーキペダル１８とが配置され、運転座席１３の側部には変速を実現するシフトレバー１９が配置されている。
　運転座席１３の近傍で、コンソールの上部位置には、表示面にタッチパネル２１Ｔが形成されたモニタ２１が備えられている。モニタ２１は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル２１Ｔは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ２１のハウジング２１Ｈにはスピーカ２２も備えられているが、スピーカ２２はドアの内側など、他の場所に備えられても良い。尚、モニタ２１はナビゲーションシステムの表示装置として用いるものを兼用しているが、車両周辺監視表示のために専用のものを備えても良い。
　左前部ドア４には左サイドミラー２３を備え、右前部ドア５には右サイドミラー２４を備えている。左サイドミラー２３に左サイドカメラ２５が備えられ、右サイドミラー２４に右サイドカメラ２６が備えられている。車両１の前端に前部カメラ２７が備えられ、車両１の後端には後部カメラ２８が備えられている。
　特に、左サイドカメラ２５と右サイドカメラ２６とは撮影方向が下方にセットされ、車両１の一部と路面とが撮影領域に含まれる。前部カメラ２７と後部カメラ２８とは、撮影方向が斜め下方にセットされ、車両１の一部と路面とが撮影領域に含まれる。
　これら撮影装置してのカメラはＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保されている。
　モニタ２１は、ナビゲーションモードの制御においてナビゲーション情報の表示に用いられるものであるが、シフトレバー１９をリバース（後進）位置に操作した際には、後部カメラ２８の撮影画像が表示される。特に、後部カメラ２８の撮影画像は左右を鏡面反転させることにより左右が入れ換った画像にしており、ルームミラーで後方を確認した際の像と同じ感覚でモニタ２１の表示内容を視認できるようにしている。
　車両前部には、ステアリングホイール１６の回転操作力を前車輪２に伝えて駆動操向（操舵）を行うパワーステアリングユニットＰＳを備えている。また、車両前部にはエンジンＥと、このエンジンＥからの動力を変速して前車輪２に伝えるトルクコンバータやＣＶＴ等で成る変速機構Ｔとを備えている。変速機構Ｔはシフトレバー１９の操作によって前後進の切り換えと、走行速度の変速とが行われる。
　車両１には運転操作や、車両１の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール１６の操作系にはステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサＳ１６が備えられている。シフトレバー１９の操作系にはシフト位置を判別するシフト位置センサＳ１９が備えられている。アクセルペダル１７の操作系には操作量を計測するアクセルセンサＳ１７が備えられ、前記ブレーキペダル１８の操作系には操作の有無を検出するブレーキセンサＳ１８が備えられている。
　後車輪３の近傍には後車輪３の回転量から車両１の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサＳ３が備えられている。尚、移動距離センサＳ３として、変速機構Ｔの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサＳ３は、前車輪２の回転量を計測するものでも良い。更に、前部カメラ２７あるいは後部カメラ２８の撮影画像の画像処理から車両１の移動量とステアリング量とを検出するように構成しても良い。
〔制御構成〕
　車両１の中央部には、本発明の車両周辺監視装置としてのＥＣＵ３０を配置している。このＥＣＵ３０は、図３に示すように、センサ入力インターフェース３１と、通信インターフェース３２とで成るインターフェースを備えると共に、画像出力モジュール３３と音声出力モジュール３４とを備えている。
　このＥＣＵ３０では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）等の処理系を備え、処理結果は画像出力モジュール３３からモニタ２１に出力され、また、音声情報は音声出力モジュール３４からスピーカ２２に出力される。
　このＥＣＵ３０には、ナビゲーションモードの制御を実現するナビゲーション制御部３５と、ナビゲーション制御部３５に地図情報を与える地図データ保存部３６と、駐車支援モードの制御を実現する駐車支援制御部３７と、車両近傍の障害物Ｘを検知する障害物検出部３８（障害物検出手段の一例）と、車両周辺監視処理を実現する画像処理部３９とを備えている。
　ナビゲーション制御部３５は、走行時にＧＰＳユニット４１から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ２１に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ２１に表示すると共に、誘導情報をスピーカ２２から音声で出力する。地図データ保存部３６は、自車位置に対応した地図データをナビゲーション制御部３５に与える処理を行う。
　駐車支援制御部３７は、画像処理部３９によってモニタ２１に表示される画像に対して車両１を駐車位置に導く予想進路イメージＹ（図６（ａ）を参照）を重畳表示する。運転者はモニタ２１に表示される予想進路イメージＹに基づいてステアリング操作を行うことにより、車両１を駐車目標位置に容易に導入できることになる。
　画像処理部３９は、車両周辺監視処理においてモニタ２１に対して図５（ａ）に示すレイアウトで主表示領域２１Ａと副表示領域２１Ｂ（俯瞰画像表示領域の一例）とを配置し、主表示領域２１Ａの上部位置にはこの領域の画像を撮影したカメラを示すカメラアイコン２１Ｃを表示する。
　また、画像処理部３９は、前述した複数のカメラの撮影画像から車両１を上方から見下ろした形態となる俯瞰画像を生成する俯瞰画像生成手段３９Ａと、モニタ２１に表示された俯瞰画像を複数の分割領域Ｄ１～Ｄ４に分割して管理する分割領域管理手段３９Ｂと、複数の分割領域Ｄ１～Ｄ４のうち障害物Ｘが表示されている領域であることを特定する情報として、複数の枠状部Ｆ１～Ｆ４のうち、障害物Ｘが存在する分割領域Ｄに対応する枠状部Ｆを強調表示する特定情報出力手段３９Ｃと、拡大対象画像と拡大表示領域とを設定する拡大モード設定手段３９Ｄと、拡大対象画像を拡大表示領域に拡大する拡大表示手段３９Ｅとを備えている。図５（ａ）に示す如く、分割領域Ｄ１と分割領域Ｄ２とは車両前部の左側と右側とに対応し、分割領域Ｄ３と分割領域Ｄ４とは車両後部の左側と右側とに対応する。これと同様に枠状部Ｆ１～Ｆ４も同図に示す如く、分割領域Ｄ１～Ｄ４に対応している。尚、分割領域Ｄ１～Ｄ４の上位概念として、分割領域Ｄと記し、枠状部Ｆ１～Ｆ４の上位概念として枠状部Ｆと記す。
　ＥＣＵ３０は、電子回路により構成され、インターフェースや出力系の一部又は、全てがこのような電子回路に含まれていても良い。尚、ＥＣＵ３０には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。
　センサ入力インターフェース３１には、ステアリングセンサＳ１６と、シフト位置センサＳ１９と、アクセルセンサＳ１７と、ブレーキセンサＳ１８と、移動距離センサＳ３とから運転操作情報や移動状態を検出する情報が入力される。
　通信インターフェース３２は、通信回線を介してパワーステアリングユニットＰＳと、変速機構Ｔと、ブレーキ装置ＢＫと、ＧＰＳユニット４１との間で通信を行う。更に、この通信インターフェース３２は、タッチパネル２１Ｔと、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８とからの情報を取得する。
　画像出力モジュール３３は、モニタ２１に対して画像を出力し、音声出力モジュール３４は、スピーカ２２に対して音声を出力する。
〔制御形態〕
　車両周辺監視表示処理の処理形態を図４のフローチャートに示しており、この処理の実行時にモニタ２１の表示内容を図５～図８に示している。
　つまり、車両周辺監視処理が選択されている状態でシフトレバー１９が前進位置にセットされた場合には図５（ａ）に示すように主表示領域２１Ａに前部カメラ２７の撮影画像が表示される。この主表示領域２１Ａの上部位置には前部カメラ２７の撮影画像であることを示すカメラアイコン２１Ｃが表示され、副表示領域２１Ｂに俯瞰画像が表示される。これとは逆に、シフトレバー１９が後進位置にセットされた場合には図６（ａ）に示すように主表示領域２１Ａに後部カメラ２８の撮影画像が表示される。この主表示領域２１Ａの上部位置には後部カメラ２８の撮影画像であることを示すカメラアイコン２１Ｃが表示され、副表示領域２１Ｂに俯瞰画像が表示される（＃１０１、＃１０２ステップ）。
　具体的な処理形態として、シフトレバー１９が前進位置にセットされた場合には主表示領域２１Ａに対しては前部カメラ２７の撮影画像が表示される。これに対して、シフトレバー１９が後進位置にセットされた場合には後部カメラ２８の撮影画像が取得され、この撮影画像の左右を入れ替えた鏡面反転画像が生成され、この画像がモニタ２１に表示される。
　副表示領域２１Ｂに表示される俯瞰画像は、俯瞰画像生成手段３９Ａが左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８との撮影画像を取得し、上方から見下ろした形態となる投影画像に変換し、これらの投影画像を車両イメージを取り囲む位置の仮想平面にマッピングすることで路面上に配置される単一の俯瞰画像として生成される。
　このように表示された俯瞰画像は、破線で示す区画ラインＬで区画するように４つの分割領域Ｄ１～Ｄ４に分割して管理される。尚、同図に示す区画ラインＬは画面に表示されることはないが、この区画ラインＬを画面に表示するように処理形態を設定しても良い。
　特に、副表示領域２１Ｂに表示される俯瞰画像は４つのカメラの撮影画像から生成されるものであるが、区画ラインＬで区画された４つの分割領域Ｄ１～Ｄ４それぞれの俯瞰画像は２つのカメラの撮影画像の合成によって生成される。つまり、車両１の前後位置の角部の外方位置に２つのカメラの撮影画像における重複領域Ｗ（図１を参照）が形成され、この重複領域Ｗにおいて境界部位を目立たなくする合成が行われる。そして、このように合成された俯瞰画像が拡大対象画像に設定された場合には拡大表示領域のサイズに拡大されることになる。
　また、シフトレバー１９が後進位置にセットされた場合に、駐車支援制御を併せて実行することも可能であり、このように駐車支援制御が実行される場合には、図６（ａ）に示すように、主表示領域２１Ａと副表示領域２１Ｂとに予想進路イメージＹが重畳表示される。
　予想進路イメージＹは、現在のステアリング量で車両１を後進させた場合に車両１が移動する経路を表すものであり、モニタ２１に表示される撮影画像に対応する遠近感で、路面と同じ仮想平面上に生成される。この進路予想イメージは車両１の幅と同じ幅となる一対の車幅ラインＹａと、車両１が設定量だけ後進した際に達する位置を示す複数の距離ラインＹｂとで枠状に形成される。
　前述した障害物検出部３８は、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８とにおける撮影領域で重複する重複領域Ｗの画像から視差を生ずる立体物を障害物Ｘとして抽出するソフトウエアとして構成されている。このように立体物を抽出する処理の概要は以下のように説明できる。つまり、２つのカメラの撮影画像における重複領域Ｗの画像を同一の背景となる仮想平面に投影変換し、投影変換後の夫々の画像の同じ背景が一致する位置関係で夫々を重ね合わせる。このように重ね合わせた際に一致しない画像が立体物であり、その立体物を障害物Ｘとして推定し、障害物Ｘの位置を特定することになる。
　このような２つのカメラの撮影領域の重複領域Ｗは運転者から死角になる領域でもあり、この領域に存在する障害物Ｘだけを検出対象とすることは合理的である。尚、この障害物Ｘの検出領域を拡大するために４つ以上のカメラを車両に備えても良い。更に、この障害物検出部３８を、オプティカルフローの技術により障害物Ｘを検出するソフトウエアで構成しても良い。
　特に、障害物検出部３８として、超音波型等の障害物センサを車両１の前端や後端等の複数箇所に備えても良い。このように障害物Ｘを検出するために障害物センサによって障害物検出部３８を構成することで、車両１の全周の障害物Ｘの検出も可能となる。
　障害物検出部３８で障害物Ｘが検出された場合には、具体的には分割領域Ｄ１～Ｄ４のうち、図５に示すように分割領域Ｄ２に障害物Ｘが存在する場合には、分割領域Ｄ２（検出された障害物Ｘを含む分割領域Ｄ）が指定され、この分割領域Ｄ２の外周の枠状部Ｆ２が強調表示され（図面ではハッチングで示している）、これと同時に、障害物Ｘが存在する分割領域Ｄ２の色調を変更し、スピーカ２２から警報音を出力する（＃１０３、＃１０４ステップ）。なお、Ｄ２の色調は変更しなくても良い。この場合において、中間画像のみ色調を変更しても良い。
　この処理は、分割領域管理手段３９Ｂで管理される分割領域Ｄ１～Ｄ４のうち障害物Ｘが存在する分割領域Ｄ２について、特定情報出力手段３９Ｃが枠状部Ｆ２の輝度を高めることや、彩度を高めること、あるいは、異なる色相に変更することで強調表示を実現している。このような強調表示と併せて枠状部Ｆ２の表示を明滅させるように変更しても良い。また、障害物Ｘが存在する分割領域Ｄ２の色調を異なるものに変更する処理として、例えば、分割領域Ｄ２の画像の各ピクセルの３原色のうちＢ（青）の成分について輝度を高めることや輝度を減ずる程度の処理が考えられる。更に、スピーカ２２から出力される警報音として電子音だけではなく、人の言葉によるメッセージであっても良い。
　次に、副表示領域２１Ｂに運転者の指等を接触させる接触操作が検知された場合には、この接触操作をトリガーとして既に指定されている分割領域Ｄ２の画像（俯瞰画像又はカメラの撮影画像）を拡大対象画像とし、その拡大対象画像を拡大表示領域に拡大する拡大処理が行われる（＃１０５、＃１０６ステップ）。
　この処理は、拡大モード設定手段３９Ｄで設定された拡大モードに従って拡大表示手段３９Ｅが拡大処理を実行する。この拡大モードでは、拡大対象画像と拡大表示領域とが設定される。拡大対象画像として障害物Ｘが存在する分割領域Ｄ２に表示されている俯瞰画像と、この障害物Ｘを撮影しているカメラの一方の撮影画像（カメラ視点となる画像）との何れか一方が設定される。また、拡大表示領域として、副表示領域２１Ｂを設定する通常拡大モードと、主表示領域２１Ａを設定する別画面拡大モードと、モニタ２１の全画面を設定する全画面拡大モードとの何れか１つが設定される。
　この拡大モードを設定する手続としては、モード設定画面をモニタ２１に表示して人為操作により予め設定される。
〔制御形態：通常拡大モード〕
　拡大表示手段３９Ｅが、通常拡大モードで拡大処理を行う際には、拡大対象画像（図面では分割領域Ｄの俯瞰画像）を設定し、拡大表示領域として図５及び図６に示す副表示領域２１Ｂを設定すると共に、分割領域Ｄ２・Ｄ３（図５ではＤ２、図６ではＤ３の意味）と拡大表示領域（副表示領域２１Ｂ）との間に拡大表示軌跡（図示せず）を設定する。
　次に、図５（ｂ）、図６（ｂ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ２・Ｄ３サイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ２・Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の全てを覆う位置で副表示領域２１Ｂの俯瞰画像に重畳表示する。この直後に、図５（ｃ）、図６（ｃ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。この場合、先に表示している中間画像Ｍを消去して次の中間画像Ｍを表示する処理が行われ、この通常拡大モードでは、先に表示した中間画像Ｍの全てを覆う位置関係で副表示領域２１Ｂの俯瞰画像に次の中間画像Ｍが重畳表示される。
　このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図５（ｄ）、図６（ｄ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状で路面に重複しないサイズ（車両イメージには重複するサイズ）に設定され、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。
〔制御形態：別画面拡大モード〕
　拡大表示手段３９Ｅが、別画面拡大モードで拡大処理を行う際には、拡大対象画像（図７では分割領域Ｄ３の俯瞰画像）を設定し、拡大表示領域として主表示領域２１Ａを設定すると共に、分割領域Ｄ３と拡大表示領域（主表示領域２１Ａ）との間に拡大表示軌跡（図示せず）を設定する。この制御形態でも障害物Ｘが存在する分割領域Ｄ３の色調を変更し、その外周の枠状部Ｆ３が強調表示される（図面ではハッチングで示している）。
　次に、図７（ａ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ３のサイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の多くの領域を覆う位置に重畳表示する。この直後、図７（ｂ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。
　このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図７（ｃ）に示すように、分割領域Ｄ３の画像（俯瞰画像）が拡大された拡大画像を主表示領域２１Ａの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状を有しており、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。
　この別画面拡大モードでは、拡大表示領域（主表示領域２１Ａ）と分割領域Ｄ３とのアスペクト比が異なるので、分割領域Ｄ３の俯瞰画像が主表示領域２１Ａの領域内一杯に表示された拡大画像は変形する。尚、障害物Ｘが表示される領域を残しながら拡大画像の上下方向の端部を切り取った形態で表示しても良い。
〔制御形態：全面拡大モード〕
　拡大表示手段３９Ｅが、全画面拡大モードで拡大処理を行う際には、拡大対象画像（図８では分割領域Ｄ３の俯瞰画像）を設定し、拡大表示領域としてモニタ２１の表示領域を設定すると共に、分割領域Ｄ３と拡大表示領域（モニタ２１の表示領域）との間に拡大表示軌跡（図示せず）を設定する。この制御形態でも障害物Ｘが存在する分割領域Ｄ３の色調を変更し、その外周の枠状部Ｆ３が強調表示される（図面ではハッチングで示している）。
　次に、図８（ａ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ３のサイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の多くの領域を覆う位置に重畳表示する。この直後、図８（ｂ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。
　このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図８（ｃ）に示すように、分割領域Ｄ３の画像（俯瞰画像）が拡大された拡大画像をモニタ２１の表示領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状を有しており、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。
　この全画面拡大モードでも、拡大表示領域（モニタ２１の表示領域）と分割領域Ｄ３とのアスペクト比が異なるので、分割領域Ｄ３の俯瞰画像がモニタ２１の表示領域内一杯に表示された拡大画像は変形する。尚、障害物Ｘが表示される領域を残しながら拡大画像の上下方向の端部を切り取った形態で表示しても良い。
　このように何れの拡大モードで拡大処理を行っても、分割領域Ｄの位置を起点として中間画像Ｍの表示位置が拡大表示軌跡に沿って移動する形態（図５及び図６の通常拡大モードでは中間画像Ｍの隅の位置は移動しない）で拡大されることから、拡大される元の画像の位置（分割領域Ｄの位置）を明らかにしながら、ズームアップする形態での拡大が実現する。そして、拡大画像の隅に表示される領域アイコン２１Ｄの形態や、領域アイコン２１Ｄの表示位置からも拡大画像が何れの領域の画像であるかを認識できることになる。
　尚、いずれの拡大モードで拡大処理を行う場合でも、動画レイヤに対して中間画像Ｍを形成する処理を行うことで重畳表示が実現し、この重畳表示した状態では俯瞰画像であっても撮影画像であってもリアルタイムで車両１と障害物Ｘとの位置関係の変化を表示できる。また次に説明するように拡大画像を消去して、元に表示に戻す場合にも動画レイヤの画像を消去することで済む。
　次に、モニタ２１の何れかの領域に運転者の指等を接触させる接触操作が検知された場合、又は、障害物検出部３８で障害物Ｘが検出しない状態に達した場合には、拡大画像を消去し、＃１０１ステップの処理に移行することで、モニタ２１の主表示領域２１Ａには撮影画像が表示され、副表示領域２１Ｂには俯瞰画像が表示される制御に復帰する（＃１０７～＃１０９ステップ）。
　そして、この車両周辺監視表示処理は制御を中止する選択が行われるまで継続して行われることになる（＃１１０ステップ）。
　このように本発明では、車両１を駐車位置に導入する場合や、フェンスや駐車状態の車両等の障害物Ｘが存在する路面で車両１を移動させる場合には、モニタ２１の主表示領域２１Ａにカメラの撮影画像を表示し、モニタ２１の副表示領域２１Ｂに対して俯瞰画像を表示する。これにより障害物Ｘが運転者から死角の位置にあっても車両１と、車両の近傍の障害物Ｘとの位置関係の確認できるものにしている。
　また、障害物Ｘに接近した場合には、俯瞰画像の分割領域Ｄ１～Ｄ４のうち障害物Ｘが存在する分割領域Ｄの外周の枠状部Ｆ１～Ｆ４のうち対応する枠状部Ｆの明度を高くする強調表示が行われ、この表示と同時に障害物Ｘが存在する分割領域Ｄの色調を変更する表示が行われ、スピーカ２２から警報音が出力されることで障害物Ｘが存在する領域を把握できる。
　このように障害物Ｘの存在位置を把握できる状態で副表示領域２１Ｂに指等を接触させることで、分割領域Ｄ１～Ｄ４のうち障害物Ｘが存在する分割領域Ｄが拡大表示領域まで拡大され、障害物Ｘと車両１との位置関係を拡大画像で確認できる。
　特に、複数の分割領域Ｄ１～Ｄ４の何れかの画像が拡大表示領域に拡大される際には、障害物Ｘが存在する分割領域Ｄを起点としてサイズが異なる複数の中間画像Ｍを小さいサイズのものから大きいサイズのものに遷移させるように拡大表示軌跡に沿って順次移動する形態で表示が行われる。このように拡大されることで、拡大される元の画像の位置（障害物Ｘが存在する分割領域Ｄの位置）を明らかにしながらズームアップする形態での拡大を実現している。
　そして、障害物Ｘが存在する領域の俯瞰画像、又は、障害物Ｘを撮影したカメラの撮影画像が拡大表示される結果、障害物Ｘと車両１との位置関係を拡大された画像から把握できることになり障害物Ｘと接触を避ける形態での車両１の移動を実現する。
〔別実施の形態〕
　本発明は、上記した実施の形態以外に以下のように構成しても良い。
（ａ）拡大表示手段３９Ｅが中間画像Ｍを形成する際に、この中間画像Ｍと既に表示されている画像との境界を明瞭にするために高輝度の境界ラインを表示する。このように境界ラインを表示する際には、背景となる画像の色相を取得し、この色相に対して、補色等の異なる色相を設定するように処理形態を設定しても良い。このように中間画像Ｍに境界ラインを表示することで中間画像Ｍの輪郭を形成することになり、拡大される元の画像の位置（障害物Ｘが存在する分割領域Ｄの位置）を一層明らかにしながらズームアップする形態での拡大を実現する。
（ｂ）俯瞰画像を複数の分割領域Ｄに分割して管理する際には２分割や６分割のように４分割以外の数に分割して管理しても良い。特に、この分割数をユーザが任意に設定できるように構成しても良い。また、多くの数に分割した場合には車両１の周辺の局部的な領域に対する障害物Ｘの接近を認識できると共に、その部位を拡大して表示することが可能となる。
（ｃ）障害物Ｘが検出されている状況においては、タッチパネル２１Ｔにより副表示領域２１Ｂの表示領域の何れの部位を接触しても障害物Ｘが検出されている分割領域Ｄの画像（俯瞰画像又はカメラの撮影画像）の拡大表示を行い、障害物Ｘが検出されていない状況においては、タッチパネル２１Ｔにより選択された分割領域Ｄの画像（俯瞰画像又はカメラの撮影画像）の拡大表示を行うように制御形態を設定しても良い。また、分割領域Ｄの数に対応した専用の拡大ボタンをモニタ２１に表示しても良く、拡大表示を終了させるための専用のボタンをモニタ２１に表示しても良い。
（ｄ）拡大モード設定手段３９Ｄによる拡大処理で拡大対象画像を設定する際に、前述の（ｃ）で説明したように前部の分割領域Ｄが人為操作で指定された場合、又は、前部位置で障害物Ｘが検出された場合には、俯瞰画像を拡大対象画像に設定する。これとは逆に、前述の（ｃ）で説明したように後部の分割領域Ｄが人為操作で指定された場合、又は、後部位置で障害物Ｘが検出された場合には、カメラの撮影画像を拡大対象画像に設定する。
　つまり、車両１の前端側の領域は、運転者が体を乗り出す姿勢をとることで視認が可能になることもあり、このように視認が可能である領域については、俯瞰画像を拡大対象画像に設定することで運転者の目から見える領域と異なる方向から見た画像を表示することが有効となる。また、車両１の後端側の領域は、運転者から見えないことが多く、カメラの撮影画像を直接的に見た感覚に近い画像となる撮影画像を拡大対象画像に設定することが有効となる。
（ｅ）前述した別実施の形態（ｄ）において、カメラの撮影画像を拡大対象画像とする場合、ステアリングホイール１６の操作方向が車両１の進行方向が撮影領域（障害物Ｘ）に接近する方向であることを判定した場合にはサイドカメラ（左サイドカメラ２５又は右サイドカメラ２６）の撮影画像を表示対象画像に設定する。車両１の進行方向が撮影領域（障害物Ｘ）から離間する方向であることを判定した場合には車両１の端部のカメラ（前部カメラ２７又は後部カメラ２８）の撮影画像を表示対象に設定する。
　このようにステアリング方向に基づいて撮影画像を取得するカメラの選択を行うことにより、車両１を障害物Ｘ等に接近させる方向に僅かに移動させた場合でも、サイドカメラ（左サイドカメラ２５又は右サイドカメラ２６）の撮影画像から障害物Ｘ等と車両１との相対的な位置関係の変化を容易に把握できる。また、車両１が障害物Ｘ等から離間する方向に移動する場合には、車両１の端部のカメラの撮影画像から車両１の進行方向の広い領域をモニタ２１に表示して進行方向の確認を可能にする。
（ｆ）尚、「俯瞰画像表示領域（副表示領域）に接触があった」ことを検出するとは、タッチパネル２１Ｔ（俯瞰画像領域）に触れていない状態から、触れたことへの接触状態の変化を検出するものでも良く、タッチパネル２１Ｔ（俯瞰画像領域）に指等が触れている状態から、指等が離れた状態への状態変化を検出するものであっても良い。
　本発明は、車両に備えた複数のカメラの撮影画像から俯瞰画像を生成してモニタに表示する画像処理系を有している車両全般に利用することができる。
　１　　　　　車両
　２１　　　　モニタ
　２１Ｂ　　　俯瞰画像表示領域（副表示領域）
　２１Ｔ　　　タッチパネル
　２５　　　　カメラ（左サイドカメラ）
　２６　　　　カメラ（右サイドカメラ）
　２７　　　　カメラ（前部カメラ）
　２８　　　　カメラ（後部カメラ）
　３９　　　　画像処理部
　３９Ａ　　　俯瞰画像生成手段
　３９Ｅ　　　拡大表示手段
　Ｄ　　　　　分割領域
　Ｍ　　　　　中間画像

Claims (6)

  1. 　車両周辺の路面を含む領域を撮影する複数のカメラと、この複数のカメラの撮影画像をモニタに表示する画像処理部とを備えると共に、
    　前記画像処理部は、複数の前記カメラの撮影画像から車体周辺を上方から見下ろした俯瞰画像を生成して前記モニタの俯瞰画像表示領域に表示する俯瞰画像生成手段と、前記俯瞰画像表示領域の分割により設定された複数の分割領域の何れかが指定された場合に、前記指定された分割領域のサイズと拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、サイズの小さい中間画像から順次表示する処理を実行し、この処理の実行の初期には、前記指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定され、指定された分割領域の画像を拡大対象画像として前記拡大表示領域のサイズまで拡大する拡大表示手段とを備えている車両周辺監視装置。
  2. 　前記拡大表示手段は、前記俯瞰画像表示領域を前記拡大表示領域に設定すると共に、指定された分割領域以外の分割領域に表示されている俯瞰画像に前記中間画像を重複させて拡大表示を行う請求項１記載の車両周辺監視装置。
  3. 　複数の前記分割領域に表示される俯瞰画像の少なくとも１つが、２つの前記カメラの撮影画像から生成された俯瞰画像の合成により生成されたものであり、この分割領域が指定された際には、この分割領域に表示されている俯瞰画像を拡大対象画像に設定する請求項１又は２記載の車両周辺監視装置。
  4. 　前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域の俯瞰画像を前記拡大対象画像に指定する請求項１又は２記載の車両周辺監視装置。
  5. 　前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域に既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を、この分割領域に表示し、このように表示された撮影画像を前記拡大対象画像に指定する請求項１又は２記載の車両周辺監視装置。
  6. 　前記拡大表示手段は、前記中間画像の外周部に境界を明らかにする境界ラインを表示する請求項１～４のいずれか一項に記載の車両周辺監視装置。
PCT/JP2011/052136 2010-03-26 2011-02-02 車両周辺監視装置 Ceased WO2011118261A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201180014466.1A CN102804763B (zh) 2010-03-26 2011-02-02 车辆周边监视装置
EP11759069.5A EP2555520A4 (en) 2010-03-26 2011-02-02 Vehicle periphery monitoring device
US13/636,041 US9308863B2 (en) 2010-03-26 2011-02-02 Vehicle peripheral observation device
KR1020127024305A KR101446898B1 (ko) 2010-03-26 2011-02-02 차량 주변 감시 장치
US15/057,208 US9919650B2 (en) 2010-03-26 2016-03-01 Vehicle peripheral observation device
US15/891,550 US10479275B2 (en) 2010-03-26 2018-02-08 Vehicle peripheral observation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010072326A JP5696872B2 (ja) 2010-03-26 2010-03-26 車両周辺監視装置
JP2010-072326 2010-03-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/636,041 A-371-Of-International US9308863B2 (en) 2010-03-26 2011-02-02 Vehicle peripheral observation device
US15/057,208 Continuation US9919650B2 (en) 2010-03-26 2016-03-01 Vehicle peripheral observation device

Publications (1)

Publication Number Publication Date
WO2011118261A1 true WO2011118261A1 (ja) 2011-09-29

Family

ID=44672835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/052136 Ceased WO2011118261A1 (ja) 2010-03-26 2011-02-02 車両周辺監視装置

Country Status (6)

Country Link
US (3) US9308863B2 (ja)
EP (1) EP2555520A4 (ja)
JP (1) JP5696872B2 (ja)
KR (1) KR101446898B1 (ja)
CN (2) CN105774656B (ja)
WO (1) WO2011118261A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483882A (zh) * 2017-07-07 2017-12-15 上海斐讯数据通信技术有限公司 一种多窗口显示系统及方法

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5813944B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
CN103987582B (zh) 2011-12-15 2017-02-22 松下知识产权经营株式会社 驾驶辅助装置
JP5765575B2 (ja) * 2011-12-22 2015-08-19 アイシン精機株式会社 撮影領域明示装置
JP5825091B2 (ja) * 2011-12-22 2015-12-02 アイシン精機株式会社 撮影領域明示装置
WO2013094345A1 (ja) * 2011-12-22 2013-06-27 アイシン精機株式会社 撮影領域明示装置
JP6077210B2 (ja) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
JP5996879B2 (ja) * 2012-02-16 2016-09-21 日立建機株式会社 作業機械の周囲監視装置
JP6014664B2 (ja) * 2012-06-08 2016-10-25 日立建機株式会社 自走式産業機械の表示装置
JP5986206B2 (ja) * 2012-07-27 2016-09-06 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
TWI517992B (zh) * 2012-11-13 2016-01-21 義晶科技股份有限公司 車用影像系統及其影像之顯示控制方法
TWI535587B (zh) * 2012-11-14 2016-06-01 義晶科技股份有限公司 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統
JP6022930B2 (ja) * 2012-12-25 2016-11-09 京セラ株式会社 カメラシステム、カメラモジュールおよびカメラ制御方法
US20140211009A1 (en) * 2013-01-25 2014-07-31 Magna Electronics Inc. Lens assembly for vehicle vision system camera
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
DE102013224954A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
US10431105B2 (en) 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10963133B2 (en) * 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
KR20160032451A (ko) * 2014-09-16 2016-03-24 현대자동차주식회사 차량, 차량용 표시 장치 및 차량용 표시 장치의 제어 방법
EP3040829A1 (de) * 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle und Verfahren zum Betrieb einer Anwenderschnittstelle für ein Fortbewegungsmittel
KR101643557B1 (ko) * 2015-01-02 2016-07-29 현대자동차주식회사 차량 및 차량의 제어방법
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US20160314559A1 (en) * 2015-04-24 2016-10-27 Kabushiki Kaisha Toshiba Electronic apparatus and method
CN108141567B (zh) * 2015-11-09 2020-07-10 三菱电机株式会社 图像生成系统以及图像生成方法
CN105447850B (zh) * 2015-11-12 2018-02-09 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN108026714A (zh) * 2015-11-30 2018-05-11 住友重机械工业株式会社 施工机械用周边监视系统
KR20170080797A (ko) * 2015-12-30 2017-07-11 삼성디스플레이 주식회사 차량용 디스플레이 시스템
CN105667398B (zh) * 2016-01-04 2018-10-23 京东方科技集团股份有限公司 汽车后视镜的图像显示方法及系统
JP6609513B2 (ja) * 2016-05-19 2019-11-20 株式会社東海理化電機製作所 車両用視認装置
JP6642306B2 (ja) 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US20180165838A1 (en) * 2016-07-29 2018-06-14 Faraday&Future Inc. System and method for generating a semantically meaningful two-dimensional image from three-dimensional data
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
KR20180037414A (ko) 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
JP6185135B2 (ja) * 2016-10-06 2017-08-23 京セラ株式会社 統合画像処理システム
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
JP7005269B2 (ja) 2017-10-18 2022-01-21 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP7201315B2 (ja) * 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
JP6877571B2 (ja) * 2017-11-10 2021-05-26 本田技研工業株式会社 表示システム、表示方法、およびプログラム
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
CN208745890U (zh) * 2018-07-19 2019-04-16 汪玉华 太阳能无线倒车可视系统
CN110858890A (zh) * 2018-08-23 2020-03-03 华为技术有限公司 视频监控多画面显示的方法、装置及系统
JP2020042370A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 表示制御装置
JP7119798B2 (ja) * 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
US11138449B2 (en) * 2018-09-28 2021-10-05 Intel Corporation Obstacle representation display
KR102756198B1 (ko) * 2018-10-08 2025-01-17 주식회사 에이치엘클레무브 초음파 센서를 이용한 후측방 사각 지대의 차량 위치 추적 방법 및 시스템
CN109743539B (zh) * 2018-12-07 2020-05-29 吉林大学 一种视野可调节的全景行车辅助装置及其调节方法
CN109774603A (zh) * 2019-02-28 2019-05-21 上海豫兴电子科技有限公司 一种车载摄像头角度辅助标定方法和装置
JP2020170341A (ja) * 2019-04-03 2020-10-15 パイオニア株式会社 表示制御装置、表示制御方法及びプログラム
CN110466430A (zh) * 2019-07-02 2019-11-19 安徽森力汽车电子有限公司 一种半挂车环视盲区显示方法
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP6774612B2 (ja) * 2019-10-18 2020-10-28 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
KR102367959B1 (ko) * 2020-06-02 2022-03-03 주식회사 만도모빌리티솔루션즈 운전 보조 표시 장치, 그를 가지는 차량 및 그 제어 방법
US12120416B2 (en) 2022-08-29 2024-10-15 Clarion Corporation of America Technologies for gesture control of camera view selection for vehicle computing devices
JP7777385B2 (ja) * 2022-09-08 2025-11-28 パナソニックオートモーティブシステムズ株式会社 車両用情報提供システム、車両用情報提供方法及びプログラム
WO2025169697A1 (ja) * 2024-02-05 2025-08-14 日本電気株式会社 飛行体検知装置、飛行体検知システム、飛行体検知方法およびプログラム記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP2007235529A (ja) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2008301091A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置
JP2009239674A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4573242B2 (ja) 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP4687160B2 (ja) 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2006273190A (ja) 2005-03-30 2006-10-12 Alpine Electronics Inc 車載用ナビゲーション装置
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置
JP5309442B2 (ja) 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4899826B2 (ja) * 2006-11-28 2012-03-21 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
WO2008068837A1 (ja) * 2006-12-05 2008-06-12 Fujitsu Limited 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP2007235529A (ja) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2008301091A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置
JP2009239674A (ja) * 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483882A (zh) * 2017-07-07 2017-12-15 上海斐讯数据通信技术有限公司 一种多窗口显示系统及方法

Also Published As

Publication number Publication date
KR20120118073A (ko) 2012-10-25
CN102804763A (zh) 2012-11-28
KR101446898B1 (ko) 2014-10-22
CN105774656A (zh) 2016-07-20
EP2555520A1 (en) 2013-02-06
US20180178725A1 (en) 2018-06-28
CN102804763B (zh) 2016-05-04
US9308863B2 (en) 2016-04-12
US20160176349A1 (en) 2016-06-23
EP2555520A4 (en) 2017-12-13
US9919650B2 (en) 2018-03-20
JP5696872B2 (ja) 2015-04-08
CN105774656B (zh) 2018-05-22
US20130010117A1 (en) 2013-01-10
JP2011205514A (ja) 2011-10-13
US10479275B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
JP5696872B2 (ja) 車両周辺監視装置
WO2011118260A1 (ja) 車両周辺監視装置
JP5825323B2 (ja) 車両周辺監視装置
CN102812703A (zh) 图像显示装置
JP4973564B2 (ja) 車両周辺表示装置
JP5724446B2 (ja) 車両の運転支援装置
JP5605606B2 (ja) 駐車支援装置
WO2011111448A1 (ja) 画像制御装置
JP2010202010A (ja) 駐車支援装置
JP2009057010A (ja) 車載表示装置
JP5459553B2 (ja) 駐車支援装置
JP2020088697A (ja) 周辺監視装置
CN110895443A (zh) 显示控制装置
JP4888831B2 (ja) 車両周辺監視装置
JP5709460B2 (ja) 運転支援システム、運転支援方法および運転支援プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180014466.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11759069

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011759069

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127024305

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13636041

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE