[go: up one dir, main page]

WO2013046593A1 - 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム - Google Patents

俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム Download PDF

Info

Publication number
WO2013046593A1
WO2013046593A1 PCT/JP2012/005923 JP2012005923W WO2013046593A1 WO 2013046593 A1 WO2013046593 A1 WO 2013046593A1 JP 2012005923 W JP2012005923 W JP 2012005923W WO 2013046593 A1 WO2013046593 A1 WO 2013046593A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
overhead
vehicle
joint
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/005923
Other languages
English (en)
French (fr)
Inventor
幸司 高橋
忠夫 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to EP12834713.5A priority Critical patent/EP2763406A4/en
Priority to CN201280016788.4A priority patent/CN103477634B/zh
Priority to JP2013535874A priority patent/JP5962927B2/ja
Publication of WO2013046593A1 publication Critical patent/WO2013046593A1/ja
Priority to US14/015,735 priority patent/US9715631B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Definitions

  • the present invention relates to a bird's-eye view image generation device, a bird's-eye view image generation method, and a bird's-eye view image generation program that converts captured images acquired from a plurality of image pickup devices and outputs them to a display device.
  • the present invention relates to a bird's-eye view image synthesis technique that eliminates an unnatural reflection of a subject near a joint that occurs when a bird's-eye view image is synthesized and displayed.
  • a viewpoint conversion process is performed in which images captured by the front, rear, and left and right cameras of the vehicle are converted into an image viewed vertically downward from above the vehicle (hereinafter also referred to as a bird's-eye view image). Then, these bird's-eye view images are combined to generate a combined bird's-eye view image as if looking down from the top of the vehicle. Thereby, the driver
  • the three-dimensional obstacle may not be visible near the joint of the images.
  • the two overhead images are not overlapped and displayed in the vicinity of the joint, but in this case, a three-dimensional obstacle may break across the joint and appear discontinuous.
  • the following techniques are known for reducing the visibility of a three-dimensional obstacle near the joint of such an overhead image. For example, when a three-dimensional obstacle is detected near the joint by the obstacle detection means, in addition to the road surface level (first reference height), the display area extraction processing is performed for one or more different finite reference heights. It is known to switch and display a plurality of overhead images obtained (see, for example, Patent Document 1). In addition, it is determined whether or not there is an obstacle in the area corresponding to the joint portion of the composite bird's-eye view with sonar mounted on the vehicle, and if there is an obstacle in this area, the joint bird's-eye view image is connected. It is known to change the position of the eye portion (see, for example, Patent Document 2).
  • the overhead view image of FIG. 19D obtained from the reference height 102 is switched and displayed.
  • the subject is displayed for each switching display. Appears to have caused a lateral movement, a longitudinal movement, an oblique movement, and the like with respect to the vehicle image. That is, the positional relationship between the subject and the vehicle image and the positional relationship on the reference height (at the reference height) between the adjacent bird's-eye images change for each switching display.
  • FIG. 20 shows the positional relationship between the imaging device 201 and the rectangular parallelepiped 203 installed on the ground 202.
  • the imaging device 201 exists in a state in which the vicinity of the ground can be imaged from a position having a certain height from the ground.
  • FIG. 21 shows a captured image 301 acquired by the imaging device that captured the rectangular parallelepiped 203 in FIG.
  • the grid line 303 is a square grid-like grid drawn on the ground 202.
  • FIG. 22 shows a bird's-eye view image 304 obtained by converting the captured image 301 of FIG. 21 by the viewpoint conversion process for projecting on the ground.
  • the grid line 303 is converted into a grid line 306 composed of straight lines.
  • the points of the rectangular parallelepiped 302 and the rectangular parallelepiped 305 are point A1 and point A2, point B1 and point B2, point C1 and point C2, point D1 and point D2, point E1 and point E2, point F1 and point F2, respectively.
  • G1 and point G2, and point H1 and point H2 correspond to each other.
  • This position 307 is on the vertical line where the imaging device 201 that acquired the captured image 301 that is the generation source of the overhead image 304 with respect to the position where the subject existing at the reference height in the overhead image 304 is reflected. Position.
  • a vertical subject in the overhead image 304 is projected in the radial direction from the position of the imaging device 201.
  • Such a reflection state is expressed as “falling” of the subject, and the radial direction is “falling direction”. It expresses.
  • the position of the imaging device shown in the overhead image or the vehicle image in the drawings is synonymous with the position 307 of the imaging device 201 drawn on FIG.
  • FIG. 24A shows the relationship between the imaging devices for two of Patent Document 2 and the area included in the overhead image generated from the image acquired by this imaging apparatus (display area of the overhead image).
  • the imaging device 401 generates a bird's-eye view image that includes a region 403 and a region 405.
  • the imaging device 402 generates a bird's-eye view image including a region 404 and a region 405. Therefore, the region 405 is a portion where a part of the overhead image is generated by overlapping a part of the captured images of both the imaging devices 401 and 402.
  • the images are connected to each other using a joint in the area 405.
  • a joint indicated by a dotted line 408 is arranged, a part of the overhead image generated from the image of the imaging device 401 is displayed on the region 406 side in the region 405, and on the region 407 side. A part of the overhead view image generated from the image of the imaging device 402 is displayed.
  • FIG. 25A A rectangular parallelepiped 412 in FIG. 25A arranged at a position indicated by a dotted line 408 (see FIG. 24B) and FIG. 25B arranged at a position indicated by a dotted line 409 (see FIG. 24B).
  • the display of is simply interrupted and disappears in the middle.
  • FIG. 25 (A) and FIG. 25 (B) The difference between FIG. 25 (A) and FIG. 25 (B) is that the rectangular parallelepiped 412 in FIG. 25 (B) has a larger portion that is interrupted and disappears by the change in the arrangement location of the joint. .
  • FIG. 25C in which the joint is arranged at the position indicated by the dotted line 410 (see FIG. 24B), the rectangular parallelepiped 412 is reflected on the region 406 side, and at the same time, the region straddling the joint. It is reflected on the 407 side in a discontinuous state.
  • a composite bird's-eye view image in which one subject is separated into two and two subjects appear to be present may mislead the recognition of the state of the subject and the position with respect to the vehicle. There is.
  • Patent Document 1 there is a possibility that the positional relationship on the reference height between the own vehicle and the overhead view image and between the adjacent overhead view images is shifted. Further, in Patent Document 2, there is a possibility that a subject such as a rectangular parallelepiped that extends in a direction perpendicular to the ground is interrupted across a joint and appears discontinuously.
  • the present invention has been made in view of the above circumstances, and is an overhead image generation apparatus, an overhead image generation method, and an overhead image generation program capable of accurately recognizing the position and shape of a subject in a composite overhead image.
  • the purpose is to provide.
  • the bird's-eye view image generation device of the present invention has a captured image acquisition unit that acquires captured images captured by a plurality of imaging devices mounted on a vehicle, and an overhead view of the captured image acquired by the captured image acquisition unit by viewpoint conversion processing.
  • the overhead image synthesis unit that synthesizes a plurality of overhead images converted by the image conversion unit, and the two overhead images corresponding to two imaging devices with overlapping imaging ranges, the overlap Within the imaging range, an arbitrary position on the periphery of the vehicle image corresponding to the vehicle included in the overhead view image is used as an end point, between the two radial directions from the two imaging devices toward the end point, and from the end point
  • a joint setting unit that sets a line extending in an arbitrary direction opposite to the vehicle image as a joint that connects two overhead images synthesized by the overhead image synthesis unit; Equipped with a.
  • the joint setting unit sets the joint along one of the two radial directions in the two overhead images.
  • the vertical subject does not fall down in any direction across the joint within the range included in the overhead image of the imaging apparatus that is the reference for the direction of the line along the joint. Therefore, within this range, the display in the height direction of the subject is not interrupted and disappears in the middle, so that it is displayed larger and it is easy to recognize the presence of the subject.
  • the joint setting unit may be configured such that, in the two bird's-eye view images, the first angle formed by the driver's line-of-sight direction and the first radiation direction is the line-of-sight.
  • the angle is smaller than a second angle formed by the direction and the second radiation direction, the joint is set along a direction approaching the first radiation direction from the line-of-sight direction.
  • an overhead image of an imaging device in which the vertical object tilt direction is close to the driver's line-of-sight direction is displayed, while an overhead image of an imaging device far from the driver's line-of-sight direction is an overhead image of the above-described nearby imaging device.
  • the joint setting unit uses the corner of the vehicle image as the end point in the two overhead images.
  • the direction of one side of the vehicle is such that one side of the vehicle image is in contact with a region included in only one bird's-eye view image generated from an imaging device whose position is closest to one side of the vehicle image. And the direction of the bird's-eye view image coincide with each other, and it becomes easier to recognize the direction in which the subject exists with the vehicle as the center.
  • the overhead image generation apparatus of the present invention includes a vehicle information acquisition unit that acquires vehicle information of the vehicle, and the joint setting unit is based on the vehicle information acquired by the vehicle information acquisition unit. Set eyes.
  • the position of the joint can be changed according to the application and the situation around the vehicle, and the state of the subject and the position of the subject relative to the vehicle can be easily recognized without misunderstanding.
  • the vehicle information acquisition unit acquires the vehicle information including a traveling direction of the vehicle
  • the joint setting unit includes a region on the traveling direction side of the vehicle, and the The seam is set avoiding a region near the direction opposite to the traveling direction in a direction orthogonal to the traveling direction.
  • the overhead image generation apparatus of the present invention includes a synthesized overhead image synthesized by the overhead image synthesis unit, and a captured image acquired by the captured image acquisition unit or an overhead image converted by the image conversion unit.
  • An image output unit that outputs simultaneously is provided.
  • the driver can ensure the visibility and wide field of view of the three-dimensional object that is greatly deformed and difficult to recognize on the composite overhead image within one video, and the visibility is supplemented.
  • the overhead image generation method of the present invention is an overhead image generation method of the overhead image generation device, the step of acquiring captured images captured by a plurality of imaging devices, and viewpoint conversion processing on the acquired captured images
  • the step of converting to a bird's-eye view image, the step of synthesizing the converted plurality of bird's-eye view images, and the two bird's-eye view images corresponding to two imaging devices having overlapping imaging ranges An arbitrary position on the periphery of the vehicle image corresponding to the vehicle included in the bird's-eye view image is used as an end point, and between the two radial directions from the two imaging devices toward the end point, the opposite side from the vehicle image from the end point A line extending in an arbitrary direction is set as a joint connecting the two overhead images synthesized by the overhead image synthesis unit.
  • the overhead image generation program of the present invention is a program for causing a computer to execute each step of the overhead image generation method.
  • FIGS. 4A to 4C are diagrams showing an example of a synthesized portion of two adjacent overhead images among the synthesized overhead images according to the first embodiment of the present invention.
  • FIGS. 4A to 4D are diagrams showing examples of radiation that passes through end points within an image-capable angle of view of the imaging apparatus according to the first embodiment of the present invention.
  • A)-(C) The figure which shows an example of the synthetic
  • A), (B) The figure which shows an example of the synthetic
  • FIGS. 8A to 8D are diagrams showing examples of radiation (joints) passing through end points within an angle of view capable of being picked up by an image pickup apparatus according to a second embodiment of the present invention.
  • (A) The figure which shows an example of the range between two radiations which go to an end point from an imaging device within the imaging range by two imaging devices which concern on the 3rd Embodiment of this invention
  • (B) 3rd of this invention The figure which shows an example of the driver
  • the block diagram which shows the structural example of the bird's-eye view image output system which concerns on the 5th Embodiment of this invention.
  • (A) The figure which shows an example of the range between two radiations which go to an end point from an imaging device within the imaging range by two imaging devices which concern on the 5th Embodiment of this invention.
  • the figure which shows an example of the output image of the bird's-eye view image generation apparatus which concerns on the 6th Embodiment of this invention (A) A diagram showing a relationship between a conventional vehicle, a subject, and a first reference height, (B) A diagram showing a relationship between a conventional vehicle, a subject, and a second reference height, (C) a conventional first The figure which shows the bird's-eye view image obtained from 1 reference
  • the figure which shows the bird's-eye view image which converted the captured image of FIG. 21 by the viewpoint conversion process which projects on the ground The figure which shows that the line segment of the height direction of the rectangular parallelepiped of the bird's-eye view image of FIG. 22 crosses at a predetermined point.
  • (A) The figure which shows the relationship between two conventional imaging devices and the display area containing the bird's-eye view image produced
  • (B) Two conventional imaging devices, The figure which shows the relationship between the display area containing the bird's-eye view image produced
  • (A)-(C) The figure which shows an example of the synthetic
  • FIG. 1 is a block diagram illustrating a configuration example of an overhead image output system according to the first embodiment of the present invention.
  • the overhead image generation device 501 is mounted on a vehicle, for example, and performs various processes such as a process for generating an overhead image.
  • the front imaging apparatus 502 images the front periphery of the vehicle.
  • the rear imaging device 503 images the rear periphery of the vehicle.
  • the right side imaging device 504 images the right side periphery of the vehicle.
  • the left side imaging device 505 images the left side periphery of the vehicle.
  • the image display device 506 is an in-vehicle monitor or the like installed in the vehicle that displays an input image or the like. These devices 501 to 506 are electrically connected.
  • Each of the imaging devices 502 to 505 is mounted on a vehicle and generally has an angle of view of about 180 degrees.
  • the overhead image generation device 501 is connected to the front imaging device 502, the rear imaging device 503, the right side imaging device 504, and the left side imaging device 505 on the input side, and on the output side, An image display device 506 is connected.
  • a front imaging device 502, a rear imaging device 503, a right side imaging device 504, a left side imaging device 505, and an image display device 506 connected to the overhead image generation device 501 are an electronic control unit (not shown) installed in the vehicle. You may connect via ECU: Electric Control Unit.
  • the overhead image generation device 501 includes a known CPU, ROM, RAM, and the like, and includes a captured image acquisition unit 51, an image conversion unit 52, an overhead image synthesis unit 53, a joint setting unit 54, and an image output unit 55. Configured.
  • the functions of the captured image acquisition unit 51, the image conversion unit 52, the overhead image synthesis unit 53, the joint setting unit 54, and the image output unit 55 are, for example, programs stored in the ROM by the CPU in the overhead image generation device 501. It is realized by executing.
  • the captured image acquisition unit 51 acquires a captured image that is an image captured by each of the imaging devices 502 to 505 via a wired or wireless line or cable.
  • the image conversion unit 52 converts the captured image acquired by the captured image acquisition unit 51 into an overhead image by viewpoint conversion processing.
  • a bird's-eye view image is an image drawn as if looking down at the ground from a high place.
  • An example of the viewpoint conversion process is described in the following document. (Reference Patent Document) Japanese Patent Application Laid-Open No. 2004-289386
  • the bird's-eye view image synthesis unit 53 synthesizes a plurality of bird's-eye images converted by the image conversion unit 52 to generate a synthesized bird's-eye view image. Also, the overhead image synthesis unit 53 connects a plurality of images at the joint set by the joint setting unit 54 to generate a composite overhead image.
  • the joint setting unit 54 includes two overhead images (for example, reference numeral 707 in FIG. 3B) corresponding to two imaging apparatuses having overlapping imaging ranges (for example, reference numerals 503 and 505 in FIG. 3A). 708), the joint setting unit 54 within the above-described overlapping imaging range (for example, see reference numeral 705 in FIG. 3A), the vehicle image corresponding to the vehicle included in the overhead image (for example, FIG. 2).
  • An arbitrary position on the periphery of (A) is an end point (for example, see reference numeral 702 in FIG. 3A). Between the two imaging directions from the two imaging devices to the end point (for example, refer to the directions of reference numerals 703 and 704 in FIG.
  • the end point is in an arbitrary direction opposite to the vehicle image.
  • the extending line is set as a joint that connects the two overhead images synthesized by the overhead image synthesis unit 53 (see, for example, reference numeral 706 in FIG. 3B). Note that the end points described in the present embodiment indicate end points closer to the joint imaging device. Details of the joint setting method by the joint setting unit 54 will be described later. For example, one joint is set for each two overhead images to be joined.
  • the image output unit 55 outputs the combined overhead image generated by the overhead image synthesizing unit 53 and other images to the image display device 506 via a wired or wireless line or cable.
  • the relationship between the positions and orientations of the imaging devices 502 to 505 and the vehicle 601 is as shown in FIG.
  • the composite overhead image 603 displayed on the image display device 506 is as shown in FIG.
  • the vehicle image 602 assumes a position where the vehicle 601 exists in the real world.
  • the area of the vehicle image 602 is shown as a rectangular area, but the shape of this area is not limited to a rectangle.
  • the synthesized bird's-eye view image 603 is obtained by subjecting the captured images of the imaging devices 502 to 505 to viewpoint conversion processing by the image conversion unit 52 so as to surround the entire periphery of the vehicle image 602, and the respective images are synthesized by the overhead view image synthesis unit 53. Is.
  • FIGS. 3A to 3C are diagrams illustrating an example of a synthesized portion of two adjacent overhead images in the synthesized overhead image 603 (see FIG. 2B).
  • reference numeral 701 denotes a range (overhead image display area) included in the overhead image generated from the captured image of the rear imaging device 503 or the left side imaging device 505.
  • Reference numeral 702 indicates an end point closer to the joint imaging devices 503 and 505.
  • Reference numeral 703 indicates radiation that passes through the end point 702 from the position of the rear imaging device 503.
  • Reference numeral 704 indicates radiation that passes through the end point 702 from the position of the left side imaging device 505.
  • Reference numeral 705 indicates a range surrounded by the display range 701, the radiation 703, and the radiation 704. This range is a range where the imaging range of the rear imaging device 503 and the imaging range of the left side imaging device 505 overlap.
  • FIG. 3B a region 707 in which a part of the overhead image of the rear imaging device 503 is displayed when the joint 706 is arranged in an arbitrary radial direction from the end point 702 in the range 705, and the left side An area 708 in which a part of the overhead image of the imaging device 505 is displayed is shown.
  • FIG. 3C is a diagram illustrating a state in which two overhead images are synthesized based on the joint 706, and vertical subjects 710 and 714 are reflected at positions 709 and 713 on the reference height, respectively. Note that the vertical subject in this embodiment is a subject perpendicular to the ground.
  • the vertical subject 710 reflected at the position 709 falls in the direction of the radiation 711 passing from the rear imaging device 503 through the position 709 and the direction of the radiation 712 passing through the position 709 from the left side imaging device 505.
  • the image display device 506 displays an image that has fallen in only one direction of the radiation 711 due to the positional relationship between the region 707 and the region 708.
  • the vertical subject 714 reflected at the position 713 falls in the direction of the radiation 715 passing from the rear imaging device 503 through the position 713 and the direction of the radiation 716 passing through the position 713 from the left side imaging device 505.
  • the image display device 506 displays an image that has fallen in only one direction of the radiation 716 depending on the positional relationship between the region 707 and the region 708.
  • the display of the collapse is interrupted at the position of the intersection 717 between the joint 706 and the radiation 716.
  • the joint 706 is arranged (set) in a direction between the radiation 703 and the radiation 704 (within the range 705) so as to be within the range 705.
  • neither of the two radiations intersects the joint 706 in the outer direction of the two radiations from the two imaging devices 503 and 505.
  • two radiations 711 and 712 (715 and 716) passing through the position of the subject 710 (714) from the positions of the two imaging devices 503 and 505 are connected in the outer direction in which the fall from the position of the subject 710 (714) occurs. Only one of the eyes 706 may intersect, but both do not intersect.
  • FIG. 4A an area 719 in which a part of the overhead image of the rear imaging device 503 is displayed when the joint 718 is arranged in the radial direction from the end point 702 outside the range 705, and the left side An area 720 in which a part of the bird's-eye view image of the side imaging device 505 is displayed is shown.
  • FIG. 4B shows a state in which two overhead images are synthesized based on the joint 718, and vertical subjects 710 and 714 appear at positions 709 and 713 on the same reference height as FIG. 3C, respectively.
  • FIG. 3C the vertical subject 710 reflected at the position 709 is displayed that falls in only one direction of the radiation 711.
  • the vertical subject 714 reflected at the position 713 is significantly different from FIG.
  • the positional relationship between the region 719 and the region 720 what is displayed in the direction of the radiation 716 is interrupted at the intersection 721 between the joint 718 and the radiation 716.
  • what is displayed falling down in the direction of the radiation 715 is interrupted at the position of the intersection 722 of the joint 718 and the radiation 715. Therefore, the subject 714 is displayed discontinuously.
  • the joint 718 is arranged in a direction (outside the range 705) that is not between the radiation 703 and the radiation 704 extending from the end point 702 so as to be out of the range 705.
  • both of the two radiations may intersect the joint 718 in the outer direction of the two radiations from the two imaging devices.
  • both of the two radiations 715 and 716 are joints 718 in the outward direction in which the fall from the position of the subject 714 occurs. Interact with.
  • the vertical subject 714 is discontinuously reflected across the joint.
  • the bird's-eye view image generation device 501 has a captured image acquisition unit 51 that acquires captured images captured by the plurality of imaging devices 503 and 505, and a bird's-eye view of the acquired captured image by viewpoint conversion processing.
  • An image conversion unit 52 that converts to an image
  • an overhead image synthesis unit 53 that synthesizes a plurality of converted overhead images
  • a joint setting unit 54 selects any of the peripheral edges of the vehicle image corresponding to the vehicle included in the overhead image within the overlapping imaging range in the two overhead images corresponding to the two imaging devices 503 and 505 whose imaging ranges overlap.
  • the line is set as a joint 706 that connects the two overhead images synthesized by the overhead image synthesis unit 53.
  • both the joint 706 and the two radiations 711 and 712 (715 and 716) do not intersect with each other, or only one intersects.
  • the imaging range of the two imaging devices can be used regardless of the vehicle image 602. Seams may be arranged within the respective ranges such as the ranges 801 to 804 with an arbitrary position on the periphery of the vehicle image 602 as an end point.
  • the configuration of the overhead image output system of the present embodiment is the same as the configuration of the overhead image output system of the first embodiment shown in FIG.
  • FIGS. 6A to 6C and FIGS. 7A and 7B show an example of a synthesized portion of two adjacent overhead images in the synthesized overhead image 603 (see FIG. 2B). Yes.
  • FIG. 6A shows a bird's-eye view image display range 701, end points 702, radiation 703, and radiation 704, as in FIG. 3A.
  • a part of the overhead image of the rear imaging device 503 is displayed when the joint 901 is arranged so as to coincide with the direction of the radiation 703 in FIG. 6A, that is, along the radiation 703.
  • the display area 902 to be displayed and the display area 903 in which a part of the overhead image of the left side imaging device 505 is displayed are shown.
  • FIG. 6C is a diagram showing a state in which a bird's-eye view image is synthesized based on the joint 901 in FIG. 6B, and vertical subjects 905 and 909 are reflected at positions 904 and 908 on the reference height, respectively. is there.
  • the vertical subject 905 reflected in the position 904 falls in the direction of the radiation 906 passing from the rear imaging device 503 through the position 904 and the direction of the radiation 907 passing through the position 904 from the left side imaging device 505.
  • the image display device 506 displays an image that has fallen in only one direction of the radiation 906 due to the positional relationship between the display area 902 and the display area 903.
  • the joint 901 is disposed along the direction of the radiation 703 from the position of the rear imaging device 503. For this reason, the vertical subject 905 displayed by falling in the direction of the radiation 906 passing through the position 904 that is not in the direction of the radiation 703 from the position of the rear imaging device 503 does not intersect the joint 901.
  • the vertical subject 909 reflected at the position 908 falls in the direction of the radiation 910 passing from the rear imaging device 503 to the position 908 and the direction of the radiation 911 passing from the left side imaging device 505 to the position 908.
  • the image display device 506 displays an image that falls down in only one direction of the radiation 910 due to the positional relationship between the display area 902 and the display area 903.
  • the joint 901 is disposed along the direction of the radiation 703 from the position of the rear imaging device 503. Therefore, as with the vertical subject 905, the vertical subject 909 that falls down and is displayed in the direction of the radiation 910 passing through the position 908 that is not in the direction of the radiation 703 from the position of the rear imaging device 503 does not intersect the joint 901.
  • FIG. 7A illustrates a display area 913 in which a part of the overhead image of the rear imaging device 503 is displayed in the range 705 when the joint 912 is disposed so as not to coincide with both the radiations 703 and 704.
  • FIG. 7B a bird's-eye view image is synthesized based on the joint 912 in FIG. 7A, and vertical subjects 905 and 909 are respectively displayed at the same reference height positions 904 and 908 as in FIG. 6C. It shows a state of being crowded.
  • the vertical subject 905 reflected at the position 904 is displayed that has fallen in only one direction of the radiation 906, but the position of the intersection 915 between the joint 912 and the radiation 906 is displayed. Is interrupted. At this time, the vertical subject 905 displayed by falling in the direction of the radiation 906 from the position of the rear imaging device 503 intersects with the joint 912.
  • the vertical subject 909 reflected at the position 908 falls in the direction of the radiation 910 passing from the rear imaging device 503 to the position 908 and the direction of the radiation 911 passing from the left side imaging device 505 to the position 908.
  • the image display device 506 displays an image that has fallen in only one direction of the radiation 911 due to the positional relationship between the display area 913 and the display area 914.
  • the vertical subject 909 does not intersect with the joint 912, but since the radiation 911 and the joint 912 are not parallel, they intersect outside the display areas 913 and 914 (see FIG. 7A).
  • the direction in which the joint 912 extends does not coincide with the direction of the radiation 906 from the position of the rear imaging device 503.
  • the position of the rear imaging device 503 is a position that is a base point in the tilting direction of the vertical subject 905 in the display area 913. Therefore, depending on the position of the subject 905, the fall may occur in a direction across the joint 912. In this case, the vertical subject 905 is interrupted and disappears in the middle of the range included in the overhead image.
  • the joint setting unit 54 joins the two bird's-eye view images along one of the two radiation directions 703 and 704 (radiation direction).
  • the eye 901 is set.
  • the vertical subject falls down at any position within the range included in the bird's-eye view image of the rear imaging device 503 that is the reference of the direction of the radiation 703 with which the joint 901 is matched (aligned). It does not occur in the direction across 901.
  • the display of the subject is displayed in a large size without being interrupted and disappearing. Therefore, it becomes easy to recognize the presence of the subject.
  • the image capturing range of the two image capturing apparatuses can be used regardless of the vehicle image 602. Seams may be arranged along the directions of the radiations 1001 to 1004 with any position on the periphery of the vehicle image 602 as an end point.
  • FIGS. 9A and 9B and FIGS. 10A and 10B are diagrams illustrating an example of the synthesized overhead image 603.
  • FIG. 9A the relationship between the radiation 1102 indicating the line-of-sight direction from the position of the driver 1101 and the radiation dotted line 1103 indicating the fall-down direction when a vertical subject appears in the overhead image of the rear imaging device 503. Is shown.
  • FIG. 9B a radiation 1102 indicating the direction of the line of sight from the position of the driver 1101, and a radiating dotted line 1104 indicating the direction of the fall when a vertical subject appears in the overhead view image of the left side imaging device 505, , Showing the relationship.
  • the end point 1105 closer to the joint imaging device is arranged.
  • a vertical subject exists at the point 1109 a condition for arranging a joint from the end point 1105 in an arbitrary radial direction will be considered.
  • the line-of-sight direction and the tilt-down direction are close means that the angle formed by the line-of-sight direction and the tilt-down direction is smaller, and that the line-of-sight direction and the tilt-down direction are far away. Means that the angle formed by the line-of-sight direction and the tilt-down direction is larger.
  • the joint setting unit 54 uses the two bird's-eye view images in the line-of-sight direction 1110 of the vehicle driver 1101 and the direction of the radiation 1107 (first emission direction). Is smaller than the second angle formed by the line-of-sight direction 1110 and the direction of the radiation 1106 (second radiation direction), the lines are connected along the direction close to the radiation 1107 from the line-of-sight direction 1110. Set eyes.
  • the bird's-eye view image side where the vertical subject's tilting direction is close to the driver's line-of-sight direction is displayed, and the bird's-eye view image side far from the driver's line-of-sight direction is not displayed.
  • the bird's-eye view image side far from the driver's line-of-sight direction is not displayed.
  • only a bird's-eye view image in which the line-of-sight direction 1110 when the driver 1101 looks at the vertical subject from the driver's seat and the direction in which the subject falls down is displayed. Therefore, it becomes easy to recognize the direction in which the subject exists with the driver as the center.
  • FIGS. 11A to 11C are diagrams illustrating an example of a part of the composite overhead image 603 (see FIG. 2B).
  • each end point 1201 closer to the joint imaging device is located on each side representing the left end and the right end of the vehicle image 602, and a joint 1202 extending from each end point 1201 is shown.
  • the left end and the right end do not include a corner portion.
  • the height direction is relatively close to the vehicle, that is, the height of the rear imaging device 503 is the same as the height of the vehicle. Further, it is assumed that the rear imaging device 503 is located as close to the rear end as possible at the center of the left and right sides of the vehicle. Further, it is assumed that the vehicle is mounted on the vehicle in a general layout arrangement in which the vehicle and the ground are reflected (the vehicle and the ground are included in the imaging range of the rear imaging device 503).
  • a vehicle having a height from a reference height is projected onto the overhead image of the rear imaging device 503, so that when viewed vertically downward from above the vehicle (virtual viewpoint of the overhead image), a vehicle that reflects the rear imaging device 503 and The rear direction of the vehicle with a short distance is hardly deviated.
  • the vehicle left-right direction in which the distance between the rear imaging device 503 and the reflected vehicle is long deviates greatly, and the vehicle is reflected in the region 1203.
  • each end point 1204 closer to the joint imaging device is located on the side representing the rear end of the vehicle image 602, and a joint 1205 extending from each end point 1204 is shown.
  • the left-side imaging device 505 and the right-side imaging device 504 are relatively close in height to the vehicle, that is, the left-side imaging device 505 or the right-side imaging device 504 has the same height as the vehicle.
  • the left side imaging device 505 and the right side imaging device 504 are located on the left end side or the right end side of the vehicle as much as possible.
  • the vehicle is mounted on the vehicle in a general layout arrangement in which the vehicle and the ground are reflected (the vehicle and the ground are included in the imaging range of the left side imaging device 505 or the right side imaging device 504).
  • the position on the overhead view image is shifted.
  • the vehicle upper side virtual viewpoint of the bird's-eye view image
  • the left-right direction of the vehicle in which the distance between the left-side imaging device 505 or the right-side imaging device 504 and the reflected vehicle is short is hardly shifted.
  • the vehicle front-rear direction in which the distance between the left-side imaging device 505 or the right-side imaging device 504 and the reflected vehicle is long deviates greatly, and the vehicle is reflected in the region 1206 or the region 1207.
  • the end point 1208 of the joint 1209 for synthesizing the bird's-eye view image of the rear imaging device 503 and the left side imaging device 505 is arranged so as to be positioned at the corner of the side of the vehicle image 602. Show things.
  • the vehicle on the bird's-eye view image generated from the captured image of the left-side imaging device 505 or the right-side imaging device 504 that is shifted and displayed is not displayed.
  • FIGS. 11A and 11B when the end point closer to the joint imaging device is shifted from the corner of the side of the vehicle image 602, one rear end or side end of the vehicle image 602 is disposed.
  • the two overhead-view image display areas are in contact with the side that represents, and when viewed vertically downward from above the vehicle, there is a possibility that a vehicle that appears greatly deviated from the actual position is displayed.
  • the above end points are arranged at the corners of the sides of the vehicle image 602 as in the example of FIG. 11C, one bird's-eye view image display area is provided for one rear end or side end of the vehicle image 602. It is difficult to display a vehicle that touches and appears greatly shifted.
  • rear end of the vehicle here corresponds to the rear end (lower end) of the vehicle image 602 in FIGS. 11A to 11C.
  • side end of the vehicle here corresponds to the side end (left end or right end) of the vehicle image 602 in FIGS. 11 (A) to (C).
  • the joint 1301 is arranged with the corner 1302 of the side of the vehicle image 602 as an end point closer to the imaging device of the joint 1301.
  • the joint 1303 is arranged with the corner 1304 of the side of the vehicle image 602 as an end point closer to the imaging device of the joint 1303.
  • the joint 1305 is arranged with the corner 1306 of the side of the vehicle image 602 as an end point closer to the imaging device of the joint 1305.
  • the joint 1307 is arranged with the corner 1308 of the side of the vehicle image 602 as an end point closer to the imaging device of the joint 1307.
  • the entire side 1309 representing the front end of the vehicle image 602 is in contact with the entire one side representing a part of the periphery of the display area 1310 on which a part of the overhead image of the front imaging device 502 is displayed.
  • the entire side 1311 representing the left end of the vehicle image 602 is in contact with the entire one side representing a part of the periphery of the display area 1312 on which a part of the overhead image of the left side imaging device 505 is displayed.
  • the entire side 1313 representing the rear end of the vehicle image 602 is in contact with the entire one side representing a part of the periphery of the display area 1314 on which a part of the overhead image of the rear imaging device 503 is displayed.
  • the entire side 1315 representing the right end of the vehicle image 602 is in contact with the entire one side representing a part of the periphery of the display area 1316 on which a part of the overhead image of the right-side imaging device 504 is displayed.
  • the end point closer to the joint imaging device is set to each corner of the side of the vehicle image 602 (the side of the display area in which a part of two overhead images adjacent to each other to be combined is displayed)
  • the combined overhead image 603 is generated at all the corners
  • a display area where a part of one overhead image is displayed is in contact with one side of the vehicle image 602. Therefore, the directionality of each side of the vehicle image 602 and each bird's-eye view image with respect to the vehicle matches.
  • the joint on the synthesized overhead image 603 displayed by the image display device 506 has a predetermined width so that the driver can clearly recognize the break of the overhead image.
  • the joint setting unit 54 uses the corners of the vehicle image 602 as end points in the two bird's-eye view images.
  • a corner where two sides close to the imaging device intersect in the display area in which a part of the two overhead images is displayed is an end point of the joint
  • a single bird's-eye view image display area generated from an imaging device whose position is closest to one side of the vehicle image 602 is in contact with one side.
  • FIG. 13 is a block diagram illustrating a configuration example of an overhead image output system according to the fifth embodiment of the present invention.
  • the overhead image generation device 1401 is mounted on a vehicle, for example, and performs various processes such as a process for generating an overhead image.
  • the steering wheel horn angle detection device 1402 detects a straight traveling state, a left turn state, a right turn state, or a rotation angle of the steering wheel of the vehicle, and outputs it to the overhead view image generation device 1401.
  • the traveling state detection device 1403 detects information such as whether the vehicle is moving forward or backward, and outputs the detected information to the overhead image generation device 1401.
  • the driver operation reception device 1404 receives information input by the driver through an input device (not shown) installed in the vehicle and outputs the information to the overhead image generation device 1401.
  • the obstacle detection device 1405 detects an obstacle from a captured image acquired by a sonar or an imaging device mounted on the vehicle, and outputs the information to the overhead image generation device 1401. These devices are electrically connected.
  • the overhead image generation device 1401 includes, on the input side, a front imaging device 502, a rear imaging device 503, a right side imaging device 504, a left side imaging device 505, a handle snake angle detection device 1402, a traveling state.
  • a detection device 1403, a driver operation reception device 1404, and an obstacle detection device 1405 are connected, and an image display device 506 is connected to the output side.
  • the bird's-eye view image generation device 1401 is a vehicle information acquisition unit 56 that acquires vehicle information of a vehicle on which the bird's-eye view image generation device 1401 is mounted in addition to the components that realize the functions of the bird's-eye view image generation device 501 described in FIG. Is provided.
  • the vehicle information acquisition unit 56 receives various vehicle information from the steering wheel horn detection device 1402, the traveling state detection device 1403, the driver operation reception device 1404, and the obstacle detection device 1405 via a wired or wireless line or cable. get.
  • FIGS. 14 (A) to (B), FIGS. 15 (A) to (B), FIGS. 16 (A) to (B), and FIG. 17 are synthesized overhead images 603 (see FIG. 6 (B)). It is a figure which shows an example.
  • each corner of the vehicle image 602 is set as an end point closer to the joint imaging device, and each joint can be located when the joint is arranged along an arbitrary radial direction.
  • ⁇ 1504 are shown.
  • the vehicle snake angle detection device 1402 obtain various vehicle information as described above in real time. can do.
  • the joint setting unit 54 can be switched to an optimum position within the range 1501 to 1504 in accordance with the application and the situation around the vehicle.
  • FIG. 14B shows a case where a joint is arranged at a position that is a boundary (one of the sides that are the periphery of the range 1501) in the ranges 1501 to 1504. There are two joints for each corner of the vehicle image 602.
  • a vertical subject is reflected at the reference height position of each region.
  • the display in the height direction of the subject may be interrupted and disappear due to the action.
  • the background flows in the direction of the arrow 1523 (downward in the figure) on the composite overhead image 603 as shown in FIG. Therefore, priority is given to the area 1524 so that a vertical subject is not interrupted and disappears within the overhead image display range.
  • they are arranged at the positions of joints 1507, 1511, 1513, and 1517, and the vertical subject falls down in the direction across the joints 1507, 1511, 1513, and 1517.
  • the region may not overlap the region 1524.
  • the joints 1531 to 1534 may not be symmetrical as shown in FIG.
  • the overhead image generation device 501 of the present embodiment includes the vehicle information acquisition unit 56 that acquires vehicle information of a vehicle on which the overhead image generation device 501 is mounted.
  • the joint setting unit 54 sets a joint based on the acquired vehicle information.
  • the joint is changed according to the vehicle information between the two radiation directions from the position of the imaging device toward the end point.
  • joints are set by avoiding regions on the vehicle traveling direction side (for example, the rear side when reversing) and regions that are opposite to the traveling direction in the direction orthogonal to the traveling direction (for example, the front side when moving backward). To do. Thereby, a seam can be switched to an optimal state according to a use or the situation around vehicles. Therefore, it becomes easy to recognize the state of the subject and the position with respect to the vehicle without misunderstanding.
  • FIG. 18 is a diagram illustrating an example of an output image of the overhead image generation device 1401.
  • a combined overhead image 603 and a viewpoint conversion image different from the combined overhead image 603 are output simultaneously.
  • the viewpoint conversion image may be at least part of the overhead image, may be at least part of the captured image captured by the imaging device, or may be another image.
  • the composite overhead image 603 is arranged on the right side, and the viewpoint conversion image of the left side of the vehicle in which the vehicle 1602 is reflected is arranged on the left side.
  • the output image 1601 is output to the image display device 506 by the image output unit 55 provided in the overhead image generation device 1401.
  • the image display device 506 displays a plurality of images included in the output image at the same time.
  • each image in the output image 1601 may be changed in consideration of the use of the image that is output simultaneously with the synthesized overhead image, the directionality of the output image with respect to the vehicle (which part is the image), and the like.
  • the overhead image generation apparatus 501 of the present embodiment includes the synthesized overhead image (first image) synthesized by the overhead image synthesis unit 53 and the captured image or image conversion acquired by the captured image acquisition unit 51.
  • the image output part 55 which outputs simultaneously the bird's-eye view image (2nd image) converted by the part 52 is provided.
  • the synthesized overhead image and the second image that displays a different view from the synthesized overhead image or a portion that is not displayed on the synthesized overhead image may be output simultaneously.
  • the present invention is useful for an overhead image generation apparatus, an overhead image generation method, an overhead image generation program, and the like that can recognize the position and shape of a subject in a synthesized overhead image with high accuracy.
  • First reference height 102 Second reference height 103, 104, 105 Subject 201 Imaging device 202 Ground 203 Rectangular body 301 Imaging device 302, 305 Rectangular body 303, 306 Grid line 304 Overhead image 307 Position 401, 402 Imaging device 403, 404 , 405, 406, 407 Regions 408, 409, 410 Dotted line 411 Point 412 Rectangular body 501 Overhead image generation device 502 Front imaging device 503 Rear imaging device 504 Right side imaging device 505 Left side imaging device 506 Image display device 51 Captured image acquisition unit 52 Image conversion unit 53 Overhead image synthesis unit 54 Joint setting unit 55 Image output unit 56 Vehicle information acquisition unit 601 Vehicle 602 Vehicle image 603 Composite overhead view image 701 Overhead image display range 702 Endpoints 703 and 704 Pass the endpoint from the position of the imaging device Radiation 705 Display range Areas 706, 718 surrounded by 701, radiation 703, and radiation 704 Joints 707, 708, 719, 720 Regions 709, 713 Positions 710, 7

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　俯瞰画像生成装置は、撮像画像取得部と、画像変換部と、俯瞰画像合成部と、繋ぎ目設定部と、を備える。繋ぎ目設定部は、撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、重複する撮像範囲内で、俯瞰画像に含まれる車両に相当する車両イメージの周縁の任意の位置を端点とし、２つの撮像装置から端点に向かう２つの放射方向の間で、端点から車両イメージとは反対側の任意の方向に延びる線を、合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定する。

Description

俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
　本発明は、複数の撮像装置から取得した撮像画像を変換処理し、表示装置へ出力する俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラムに関する。特に、俯瞰画像を合成表示した際に生じる繋ぎ目付近の被写体の不自然な映り込みを解消する俯瞰画像合成技術に関する。
　近年、道路交通の安全性向上のために、運転者が前方、後方、および左右の死角を車内に設置された車載モニタで確認できるように、カメラ（撮像装置）を搭載する車が多くなってきている。そして、車に搭載されたカメラを用いた運転支援システムが提案されている。
　この運転支援システムでは、車両の前方、後方、および左右それぞれのカメラで撮像した映像を、車両上方から鉛直下向きに見た画像（以降、俯瞰画像とも称する）に変換する視点変換処理を行う。そして、それらの俯瞰画像を合成し、まるで車両の真上から周囲を見下ろしたような合成俯瞰画像を生成する。これにより、運転者が車両周囲を１画面上で連続的に視認することができる。
　複数の俯瞰画像同士を合成することで生成される合成俯瞰画像上では、立体障害物が画像の繋ぎ目付近で見えなくなることがある。これを改善するために、２つの俯瞰画像を繋ぎ目付近で重ねて表示することが考えられるが、この場合には、１つの立体障害物が２重に見えることがある。また、２つの俯瞰画像を繋ぎ目付近で重ねて表示しないことも考えられるが、この場合には、立体障害物が繋ぎ目を跨いで途切れて不連続に見えることがある。このように、上記改善策を実施しても、運転者の障害物に対する認識が難しいことがある。
　このような俯瞰画像の繋ぎ目付近の立体障害物の視認性低下に対しては、以下のような技術が知られている。例えば、障害物検知手段によって繋ぎ目付近に立体障害物を検知した場合、表示領域切出し処理を、路面レベル（第１の基準高）に加えて、単数又は複数の相違なる有限の基準高に対して実施し、得られた複数の俯瞰画像を切替え表示することが知られている（例えば、特許文献１参照）。また、車両に搭載したソナーで合成俯瞰画像の繋ぎ目部分に対応する領域に障害物が存在するか否かを判断して、この領域に障害物が存在する場合には、合成俯瞰画像の繋ぎ目部分となる位置を変化させることが知られている（例えば、特許文献２参照）。
日本国特開２０１０－２００２４０号公報 日本国特開２００７－４１７９１号公報
　しかしながら、特許文献１の技術では、例えば、図１９（Ａ）のように第１の基準高１０１から得られた図１９（Ｃ）の俯瞰画像と、図１９（Ｂ）のように第２の基準高１０２から得られた図１９（Ｄ）の俯瞰画像と、を切替え表示する。この図１９（Ａ）、（Ｂ）の被写体１０３が変換表示された図１９（Ｃ）、（Ｄ）の俯瞰画像に映り込むそれぞれの被写体１０４、１０５からも分かるように、切替え表示毎に被写体の映り込む位置が自車両画像に対して、横移動、縦移動、斜め移動等を起こしてしまっているように見える。つまり、被写体と自車両画像との位置関係や、隣り合う俯瞰画像間の基準高上の（基準高における）位置関係が切替え表示毎に変わる。
　この作用により、合成俯瞰画像を視認する運転者が自車両に対する被写体の位置を誤認識し、運転に支障をきたすことが大いに考えられる。自車両と自車両が接する地面との位置関係や、隣り合う俯瞰画像間の基準高上の位置関係が変化することは、そもそも車両にとって本意ではない。
　また、特許文献２の技術では、障害物の存在によって繋ぎ目部分となる位置を変化させるが、その位置について特に制限がない。そのため、基準高から高さを持つ（基準高から所定の高さを有する）被写体が繋ぎ目付近に映り込むと、途切れて不連続になる可能性がある。そのような現象は運転者に大きな違和感を与えかねない。この点について、図面を用いて説明する。
　まず、俯瞰画像の特徴について説明する。図２０に、撮像装置２０１と地面２０２上に設置した直方体２０３との位置関係を示す。撮像装置２０１は、地面からある高さを有する位置から地面付近を撮像できる状態で存在している。
　図２１では、図２０の直方体２０３を撮像した撮像装置が取得する撮像画像３０１を示す。格子線３０３は、地面２０２上に描かれた正方格子状の升目である。図２２は、図２１の撮像画像３０１を、地面を基準に投影する視点変換処理により変換した俯瞰画像３０４を示す。図２１では、格子線３０３は、直線で構成される格子線３０６に変換されている。また、直方体３０２と直方体３０５の各点はそれぞれ、点Ａ１と点Ａ２、点Ｂ１と点Ｂ２、点Ｃ１と点Ｃ２、点Ｄ１と点Ｄ２、点Ｅ１と点Ｅ２、点Ｆ１と点Ｆ２、点Ｇ１と点Ｇ２、点Ｈ１と点Ｈ２、が対応している。
　このとき、直方体３０５上の点Ａ２と点Ｂ２とを結ぶ辺、点Ｃ２と点Ｄ２とを結ぶ辺、点Ｅ２と点Ｆ２とを結ぶ辺、点Ｇ２と点Ｈ２とを結ぶ辺のそれぞれは、図２３に示すように、直線Ｌ１、Ｌ２、Ｌ３、Ｌ４上に存在し、その４直線は位置３０７で交わる。図２３では、図２２と同じ俯瞰画像３０４が描かれている。
　この位置３０７は、俯瞰画像３０４中の基準高に存在する被写体の映り込む位置に対して、俯瞰画像３０４の生成元となる撮像画像３０１を取得した撮像装置２０１が実世界で存在する鉛直線上の位置である。
　したがって、俯瞰画像３０４において垂直の被写体は、撮像装置２０１の位置から放射方向に投影されていて、このような映り込みの状態を被写体の「倒れ込み」と表現し、その放射方向を「倒れ込み方向」と表現する。
　尚、以降図中の俯瞰画像もしくは車両イメージ中に示す撮像装置の位置は、図２３上に描かれた撮像装置２０１の位置３０７と同義である。
　次に、図２４（Ａ）は、特許文献２の２台分の撮像装置と、この撮像装置が取得した画像から生成される俯瞰画像に含まれる領域（俯瞰画像の表示領域）と、の関係を示すものである。撮像装置４０１は、領域４０３と領域４０５とを含む俯瞰画像を生成する。撮像装置４０２は、領域４０４と領域４０５とを含む俯瞰画像を生成する。したがって、領域４０５は、双方の撮像装置４０１、４０２の撮像画像の一部から俯瞰画像の一部が重複して生成される箇所である。
　そこで、領域４０５内で繋ぎ目を使用して画像同士を繋ぎ合わせることを想定する。例えば図２４（Ｂ）のように、点線４０８で示す繋ぎ目を配置すれば、領域４０５における領域４０６側では撮像装置４０１の画像から生成された俯瞰画像の一部が表示され、領域４０７側では撮像装置４０２の画像から生成された俯瞰画像の一部が表示される。
　ここで、特許文献２の技術のように、変化した画像の繋ぎ目を点線４０８、点線４０９、点線４１０で示す位置に配置させたと仮定した場合、地面上の点４１１の位置に存在する直方体の映り込み方は、それぞれ図２５（Ａ）、（Ｂ）、（Ｃ）の直方体４１２のようになる。
　点線４０８（図２４（Ｂ）参照）で示す位置に配置させた図２５（Ａ）と点線４０９（図２４（Ｂ）参照）で示す位置に配置させた図２５（Ｂ）とでは、直方体４１２の表示が途中で途切れて消失しているだけで、大きく見え方に変わりがない。図２５（Ａ）と図２５（Ｂ）との違いは、図２５（Ｂ）の直方体４１２の方が、繋ぎ目の配置箇所の変化分だけ途切れて消失する部分が大きくなっていることである。
　それに対し、点線４１０（図２４（Ｂ）参照）で示す位置に繋ぎ目を配置した図２５（Ｃ）では、直方体４１２が領域４０６側で映り込んでいるのと同時に、繋ぎ目を跨いで領域４０７側にも途切れて不連続な状態で映り込んでいる。このように、例えば、１つの被写体が２つに分離して、被写体が２つ存在しているように見えるような合成俯瞰画像は、被写体の状態や車両に対する位置の認識に誤解を与える可能性がある。
　以上のように、特許文献１では、自車両と俯瞰画像との間、且つ、隣り合う俯瞰画像間の基準高上の位置関係がずれる可能性がある。また、特許文献２では、直方体のような地面に対して垂直方向に延びる被写体が繋ぎ目を跨いで途切れて不連続に映り込む可能性がある。
　本発明は、上記事情に鑑みてなされたものであって、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能な俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラムを提供することを目的とする。
　本発明の俯瞰画像生成装置は、車両に搭載された複数の撮像装置により撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像取得部により取得された撮像画像を視点変換処理により俯瞰画像に変換する画像変換部と、前記画像変換部により変換された複数の俯瞰画像を合成する俯瞰画像合成部と、撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定する繋ぎ目設定部と、を備える。
　この構成により、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保ちつつ、どちらの俯瞰画像側でも、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。また、被写体の状態や車両に対する位置を誤解なく認識し易くなる。このように、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。したがって、運転操作中の視認性を向上させることができる。
　また、本発明の俯瞰画像生成装置は、前記繋ぎ目設定部が、前記２つの俯瞰画像において、前記２つの放射方向のいずれか一方に沿って、前記繋ぎ目を設定する。
　この構成により、繋ぎ目を沿わせた線の方向の基準となった撮像装置の俯瞰画像に含まれる範囲内において、垂直な被写体の倒れ込みがどの位置でも繋ぎ目を跨る方向に生じない。よって、この範囲内において、途中で被写体の高さ方向の表示が途切れて消失することなく、大きく表示されるようになり、被写体の存在を認識し易くなる。
　また、本発明の俯瞰画像生成装置は、前記繋ぎ目設定部が、前記２つの俯瞰画像において、前記車両の運転者の視線方向と第１の放射方向とのなす第１の角度が、前記視線方向と第２の放射方向とのなす第２の角度よりも小さい場合、前記視線方向から前記第１の放射方向に近づけた方向に沿って前記繋ぎ目を設定する。
　この構成により、垂直の被写体の倒れ込み方向が運転者の視線方向に近い撮像装置の俯瞰画像は表示され、一方、運転者の視線方向と遠い撮像装置の俯瞰画像は上記の近い撮像装置の俯瞰画像によって隠されるので、表示されない。よって、運転者が運転席から垂直の被写体を見た視線方向と、被写体の倒れ込み方向が近い俯瞰画像だけが表示されるようになり、運転者を中心とした被写体の存在する方向を認識し易くなる。
　また、本発明の俯瞰画像生成装置は、前記繋ぎ目設定部が、前記２つの俯瞰画像において、前記車両イメージの角部を前記端点とする。
　この構成により、俯瞰画像に含まれる範囲内において、基準高から高さを持つ自車両が表示され難くなり、自車両の不要な映り込みが無くなり易くなる。また、車両イメージの１辺に対し、その車両イメージの１辺に位置が最も近い撮像装置から生成されるただ１つの俯瞰画像に含まれる領域が接するようにすることで、車両の１辺の方向と俯瞰画像の方向とが一致するようになり、車両を中心とした被写体の存在する方向を認識し易くなる。　　　
　また、本発明の俯瞰画像生成装置は、前記車両の車両情報を取得する車両情報取得部を備え、前記繋ぎ目設定部が、前記車両情報取得部により取得された車両情報に基づいて、前記繋ぎ目を設定する。
　この構成により、用途や車両周囲の状況に応じて、繋ぎ目の位置が変更でき、被写体の状態や車両に対する被写体の位置を誤解なく認識し易くなる。
　また、本発明の俯瞰画像生成装置は、前記車両情報取得部が、車両の走行方向を含む前記車両情報を取得し、前記繋ぎ目設定部が、前記車両の走行方向側の領域、および、前記走行方向と直交する方向において前記走行方向と反対方向寄りの領域、を避けて、前記繋ぎ目を設定する。
　この構成により、車両の進行方向を加味した場合に運転者が最も視認したい位置において、被写体が途切れて消失することを防止することができる。
　また、本発明の俯瞰画像生成装置は、前記俯瞰画像合成部により合成された合成俯瞰画像と、前記撮像画像取得部により取得された撮像画像または前記画像変換部により変換された俯瞰画像と、を同時に出力する画像出力部を備える。
　この構成により、合成俯瞰画像と合成俯瞰画像の元となった撮像画像に関連する他の画像とを同時出力することができる。よって、運転者は１つの映像内で、合成俯瞰画像上では大きく変形して認識し難くなった立体物の視認性や広い視野を確保でき、視認性が補われる。
　また、本発明の俯瞰画像生成方法は、俯瞰画像生成装置の俯瞰画像生成方法であって、複数の撮像装置により撮像された撮像画像を取得するステップと、前記取得された撮像画像を視点変換処理により俯瞰画像に変換するステップと、前記変換された複数の俯瞰画像を合成するステップと、撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定するステップと、を有する。
　この方法により、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保ちつつ、どちらの俯瞰画像側でも、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。また、被写体の状態や車両に対する位置を誤解なく認識し易くなる。このように、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。したがって、運転操作中の視認性を向上させることができる。
　また、本発明の俯瞰画像生成プログラムは、上記俯瞰画像生成方法の各ステップをコンピュータに実行させるためのプログラムである。
　このプログラムにより、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保ちつつ、どちらの俯瞰画像側でも、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。また、被写体の状態や車両に対する位置を誤解なく認識し易くなる。このように、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。したがって、運転操作中の視認性を向上させることができる。
　本発明によれば、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能である。
本発明の第１の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図 （Ａ）本発明の第１の実施形態に係る各撮像装置と車両との位置及び向きの関係の一例を示す図、（Ｂ）本発明の第１の実施形態に係る画像表示装置に表示される合成俯瞰画像の一例を示す図 （Ａ）～（Ｃ）本発明の第１の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）、（Ｂ）本発明の第１の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）～（Ｄ）本発明の第１の実施形態に係る撮像装置の撮像可能な画角内にある端点を通る放射線の一例を示す図 （Ａ）～（Ｃ）本発明の第２の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）、（Ｂ）本発明の第２の実施形態に係る合成俯瞰画像の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図 （Ａ）～（Ｄ）本発明の第２の実施形態に係る撮像装置の撮像可能な画角内にある端点を通る放射線（繋ぎ目）の一例を示す図 （Ａ）、（Ｂ）本発明の第３の実施形態に係る合成俯瞰画像における運転者の視線方向と被写体の倒れ込み方向との一例を示す図 （Ａ）本発明の第３の実施形態に係る２つの撮像装置による撮像範囲内で撮像装置から端点に向かう２つの放射線の間の範囲の一例を示す図、（Ｂ）本発明の第３の実施形態に係る合成俯瞰画像における運転者の視線方向と被写体の倒れ込み方向との一例を示す図 （Ａ）本発明の第４の実施形態に係る車両イメージの側端を表す各辺上に、繋ぎ目の端点が位置する場合の合成俯瞰画像の一部の一例を示す図、（Ｂ）本発明の第４の実施形態に係る車両イメージの後端を表す辺上に、繋ぎ目の端点が位置する場合の合成俯瞰画像の一部の一例を示す図、（Ｃ）本発明の第４の実施形態に係る車両イメージの角部に繋ぎ目の端点が位置する場合の合成俯瞰画像の一部の一例を示す図 本発明の第４の実施形態に係る車両イメージの各角部に各繋ぎ目の各端点が位置する場合の合成俯瞰画像の一例を示す図 本発明の第５の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図 （Ａ）、（Ｂ）本発明の第５の実施形態に係る２つの撮像装置による撮像範囲内で撮像装置から端点に向かう２つの放射線の間の範囲の一例を示す図 （Ａ）本発明の第５の実施形態に係る車両が後退する場合の運転者の視認領域の一例を示す図、（Ｂ）本発明の第５の実施形態に係る車両が後退する場合の運転者の視認領域および複数の俯瞰画像間の繋ぎ目の一例を示す図 （Ａ）本発明の第５の実施形態に係る車両が前進する場合の運転者の視認領域の一例を示す図、（Ｂ）本発明の第５の実施形態に係る車両が前進する場合の運転者の視認領域および複数の俯瞰画像間の繋ぎ目の一例を示す図 本発明の第５の実施形態に係る各繋ぎ目が左右非対称の場合の合成俯瞰画像の一例を示す図 本発明の第６の実施形態に係る俯瞰画像生成装置の出力画像の一例を示す図 （Ａ）従来の車両と被写体と第１の基準高との関係を示す図、（Ｂ）従来の従来の車両と被写体と第２の基準高との関係を示す図、（Ｃ）従来の第１の基準高から得られた俯瞰画像を示す図、（Ｄ）従来の第２の基準高から得られた俯瞰画像を示す図 従来の撮像装置と地面上に設置した直方体との位置関係を示す図 図２０の直方体を撮像した撮像装置が取得する撮像画像を示す図 図２１の撮像画像を、地面を基準に投影する視点変換処理により変換した俯瞰画像を示す図 図２２の俯瞰画像の直方体の高さ方向の線分が所定の点で交わることを示す図 （Ａ）従来の２台の撮像装置と、この撮像装置が取得した画像から生成される俯瞰画像が含まれる表示領域と、の関係を示す図、（Ｂ）従来の２台の撮像装置と、この撮像装置が取得した画像から生成される俯瞰画像が含まれる表示領域と、２台の撮像装置の俯瞰画像の繋ぎ目と、の関係を示す図 （Ａ）～（Ｃ）従来の２つの俯瞰画像を各繋ぎ目で合成した場合の合成俯瞰画像の一例を示す図
　以下、本発明の実施形態について、図面を用いて説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図である。
　俯瞰画像生成装置５０１は、例えば車両に搭載され、俯瞰画像生成するための処理等、様々な処理を行う。前方撮像装置５０２は、車両の前方周辺を撮像する。後方撮像装置５０３は、車両の後方周辺を撮像する。右側方撮像装置５０４は、車両の右側方周辺を撮像する。左側方撮像装置５０５は、車両の左側方周辺を撮像する。画像表示装置５０６は、入力された画像等を表示する車内に設置された車載モニタ等である。これらの装置５０１～５０６は、電気的に接続される。各撮像装置５０２～５０５は、車両に搭載され、画角については１８０度程度が一般的である。
　図１で示すように、俯瞰画像生成装置５０１には、入力側に、前方撮像装置５０２、後方撮像装置５０３、右側方撮像装置５０４、および左側方撮像装置５０５が接続され、出力側には、画像表示装置５０６が接続される。
　俯瞰画像生成装置５０１に接続される前方撮像装置５０２、後方撮像装置５０３、右側方撮像装置５０４、左側方撮像装置５０５、および画像表示装置５０６は、車両内に設置された図示しない電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｉｃａｌ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）を介して接続されても良い。
　俯瞰画像生成装置５０１は、周知のＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、撮像画像取得部５１、画像変換部５２、俯瞰画像合成部５３、繋ぎ目設定部５４、画像出力部５５、を有して構成される。撮像画像取得部５１、画像変換部５２、俯瞰画像合成部５３、繋ぎ目設定部５４、および画像出力部５５の各機能は、例えば俯瞰画像生成装置５０１内のＣＰＵがＲＯＭに格納されたプログラムを実行することによって実現される。
　撮像画像取得部５１は、各撮像装置５０２～５０５により撮像された画像である撮像画像を、有線または無線の回線またはケーブルを介して取得する。
　画像変換部５２は、撮像画像取得部５１により取得された撮像画像を視点変換処理により俯瞰画像に変換する。俯瞰画像とは、高所から地上を見下ろしたように描かれた画像である。また、視点変換処理の一例は、以下の文献に記載されている。
　（参考特許文献）特開２００４－２８９３８６号公報
　俯瞰画像合成部５３は、画像変換部５２により変換された複数の俯瞰画像を合成し、合成俯瞰画像を生成する。また、俯瞰画像合成部５３は、繋ぎ目設定部５４により設定された繋ぎ目で複数の画像を繋ぎ合わせて、合成俯瞰画像を生成する。
　繋ぎ目設定部５４は、撮像範囲が重複する２つの撮像装置（例えば、図３（Ａ）における符号５０３、５０５参照）に対応する２つの俯瞰画像（例えば、図３（Ｂ）の符号７０７、７０８参照）において、上記の重複する撮像範囲（例えば、図３（Ａ）における符号７０５参照）内で、繋ぎ目設定部５４は、俯瞰画像に含まれる車両に相当する車両イメージ（例えば、図２（Ａ）における符号６０２参照）の周縁の任意の位置を、端点（例えば、図３（Ａ）の符号７０２参照）とする。そして、２つの撮像装置から端点に向かう２つの放射方向（例えば、図３（Ａ）の符号７０３、７０４の方向参照）の間で、上記の端点から車両イメージとは反対側の任意の方向に延びる線を、俯瞰画像合成部５３により合成される２つの俯瞰画像間を繋ぐ繋ぎ目（例えば、図３（Ｂ）における符号７０６参照）として設定する。なお、本実施形態で説明する上記の端点は、繋ぎ目の撮像装置に近い方の端点を示すものである。繋ぎ目設定部５４による繋ぎ目の設定方法の詳細については後述する。繋ぎ目は、繋ぎ合わされる２つの俯瞰画像毎に例えば１つ設定される。
　画像出力部５５は、俯瞰画像合成部５３により生成された合成俯瞰画像やその他の画像等を、有線または無線の回線またはケーブルを介して画像表示装置５０６へ出力する。
　各撮像装置５０２～５０５と車両６０１との位置及び向きの関係は、図２（Ａ）に示される通りとする。また、画像表示装置５０６に表示される合成俯瞰画像６０３は、図２（Ｂ）に示される通りである。車両イメージ６０２は、実世界での車両６０１が存在している位置を想定したものである。ここでは、車両イメージ６０２の領域が矩形領域で示されているが、この領域の形状は矩形に限らない。合成俯瞰画像６０３は、車両イメージ６０２の周辺全体を囲うように、各撮像装置５０２～５０５の撮像画像が画像変換部５２により視点変換処理され、それぞれの画像が俯瞰画像合成部５３により合成されたものである。
　次に、俯瞰画像生成装置５０１による俯瞰画像生成方法について説明する。
　図３（Ａ）～（Ｃ）は、合成俯瞰画像６０３（図２（Ｂ）参照）の内、隣り合う２つの俯瞰画像の合成部分の一例を示す図である。図３（Ａ）において、符号７０１は、後方撮像装置５０３もしくは左側方撮像装置５０５の撮像画像から生成された俯瞰画像に含まれる範囲（俯瞰画像の表示領域）を示す。符号７０２は、繋ぎ目の撮像装置５０３、５０５に近い方の端点を示す。符号７０３は、後方撮像装置５０３の位置から端点７０２を通る放射線を示す。符号７０４は、左側方撮像装置５０５の位置から端点７０２を通る放射線を示す。符号７０５は、表示範囲７０１と放射線７０３と放射線７０４とで囲まれた範囲を示す。この範囲は、後方撮像装置５０３の撮像範囲と左側方撮像装置５０５の撮像範囲とが重複する範囲である。
　図３（Ｂ）では、繋ぎ目７０６を範囲７０５の中の端点７０２からの任意の放射方向に配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される領域７０７と、左側方撮像装置５０５の俯瞰画像の一部が表示される領域７０８と、を示している。
　図３（Ｃ）は、２つの俯瞰画像が繋ぎ目７０６を元に合成され、基準高上の位置７０９、７１３に垂直の被写体７１０、７１４がそれぞれ映り込んだ様子を示す図である。なお、本実施形態の垂直の被写体とは、地面に対して垂直な被写体である。
　なお、図３（Ａ）においてのみ、車両イメージ６０２の一部（周縁）を示している。
　位置７０９に映り込んだ垂直の被写体７１０は、後方撮像装置５０３から位置７０９を通る放射線７１１の方向と、左側方撮像装置５０５から位置７０９を通る放射線７１２の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、領域７０７と領域７０８の位置関係により、放射線７１１の方向の一方向のみに倒れ込んだものを表示する。
　このとき、垂直の被写体７１０の倒れ込みが起きる放射線７１１、７１２上の位置７０９とから、外側２方向（後方撮像装置５０３、左側方撮像装置５０５とは反対側に向かう方向）において、どちらも繋ぎ目７０６と交わっていない。
　また、位置７１３に映り込んだ垂直の被写体７１４は、後方撮像装置５０３から位置７１３を通る放射線７１５の方向と、左側方撮像装置５０５から位置７１３を通る放射線７１６の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、領域７０７と領域７０８の位置関係により、放射線７１６の方向の一方向のみに倒れ込んだものを表示する。この倒れ込みの表示は、繋ぎ目７０６と放射線７１６との交点７１７の位置で途切れている。
　このとき、垂直の被写体７１４の倒れ込みが起きる放射線７１６上の位置７１３から、外側方向（左側方撮像装置５０５とは反対側に向かう方向）においては、繋ぎ目７０６と交わっている。一方、同じく倒れ込みが起きる放射線７１５上の位置７１３から、外側方向（後方撮像装置５０３とは反対側に向かう方向）においては、繋ぎ目７０６と交わっていない。
　図３（Ａ）～（Ｃ）の例のように、範囲７０５に収まるように、端点７０２から放射線７０３と放射線７０４の間の方向（範囲７０５に範囲内）に繋ぎ目７０６を配置（設定）した場合は、どの位置に被写体が映り込んでも、２つの撮像装置５０３、５０５からの２つの放射線の外側方向では、この２つの放射線の両方共が繋ぎ目７０６と交わることはない。例えば、２つの撮像装置５０３、５０５の位置から被写体７１０（７１４）の位置を通る２つの放射線７１１、７１２（７１５、７１６）において、被写体７１０（７１４）の位置から倒れ込みが起きる外側方向では、繋ぎ目７０６と一方のみが交わることはあるが、両方共が交わることはない。
　一方で、図４（Ａ）では、範囲７０５の外側で端点７０２からの放射方向に繋ぎ目７１８を配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される領域７１９と、左側方撮像装置５０５の俯瞰画像の一部が表示される領域７２０を示している。
　図４（Ｂ）は、２つの俯瞰画像が繋ぎ目７１８を元に合成され、図３（Ｃ）と同じ基準高上の位置７０９、７１３に垂直の被写体７１０、７１４がそれぞれ映り込んだ様子を示す図である。位置７０９に映り込んだ垂直の被写体７１０は、図３（Ｃ）と同じく、放射線７１１の方向の一方向のみに倒れ込んだものが表示されている。
　これに対し、位置７１３に映り込んだ垂直の被写体７１４は、図３（Ｃ）とは大きく違う。ここでは、領域７１９と領域７２０の位置関係により、放射線７１６の方向に倒れ込んで表示されたものが、繋ぎ目７１８と放射線７１６との交点７２１の位置で途切れている。また、放射線７１５の方向に倒れ込んで表示されたものが、繋ぎ目７１８と放射線７１５の交点７２２の位置で途切れている。したがって、この被写体７１４は、不連続に表示されている。
　このとき、垂直の被写体７１４の倒れ込みが起きる放射線７１５上の位置７１３から外側方向（後方撮像装置５０３とは反対側に向かう方向）において、繋ぎ目７１８と交わっている。同じく、垂直の被写体７１４の倒れ込みが起きる放射線７１６上の位置７１３から、外側方向（左側方撮像装置５０５とは反対側に向かう方向）においても、繋ぎ目７１８と交わっている。
　図４（Ａ）、（Ｂ）の例のように、範囲７０５から外れるように、端点７０２から延びる放射線７０３と放射線７０４の間ではない方向（範囲７０５の範囲外）に繋ぎ目７１８を配置した場合は、被写体の位置によって、２つの撮像装置からの２つの放射線の外側方向では、この２つの放射線の両方が繋ぎ目７１８と交わることがある。例えば、２つの撮像装置５０３、５０５の位置から被写体７１４の位置を通る２つの放射線７１５、７１６において、被写体７１４の位置から倒れ込みが起きる外側方向では、２つの放射線７１５、７１６の両方が繋ぎ目７１８と交わる。この場合、垂直の被写体７１４が繋ぎ目を跨いで途切れて不連続に映り込んでしまう。
　以上のように、本実施形態の俯瞰画像生成装置５０１は、複数の撮像装置５０３、５０５により撮像された撮像画像を取得する撮像画像取得部５１と、取得された撮像画像を視点変換処理により俯瞰画像に変換する画像変換部５２と、変換された複数の俯瞰画像を合成する俯瞰画像合成部５３と、繋ぎ目設定部５４と、を備える。繋ぎ目設定部５４は、撮像範囲が重複する２つの撮像装置５０３、５０５に対応する２つの俯瞰画像において、重複する撮像範囲内で、俯瞰画像に含まれる車両に相当する車両イメージの周縁の任意の位置を端点７０２とし、２つの撮像装置５０３、５０５から端点７０２に向かう２つの放射線７０３、７０４の方向（放射方向）の間で、端点７０２から車両イメージとは反対側の任意の方向に延びる線を、俯瞰画像合成部５３により合成される２つの俯瞰画像間を繋ぐ繋ぎ目７０６として設定する。
　この場合、撮像範囲が重複する２つの撮像装置５０３、５０５の位置から被写体７１０（７１４）の位置７０９（７１３）を通る２つの放射線７１１、７１２（７１５、７１６）の内、倒れ込みが起きる外側方向では、繋ぎ目７０６と２つの放射線７１１、７１２（７１５、７１６）とは両方共に交わらないか、もしくは一方のみ交わるだけである。
　したがって、図１９（Ｃ）、（Ｄ）で説明した状態とは異なり、自車両と俯瞰画像間、且つ隣り合う俯瞰画像間の基準高上の位置関係を保つことができる。したがって、どちらの撮像装置の俯瞰画像においても、撮像装置から放射方向に倒れ込む垂直の被写体が繋ぎ目を跨いで途切れて不連続に映り込まなくなる。そのため、被写体の状態や車両に対する位置を誤解なく認識し易くなる。
　尚、図５（Ａ）～（Ｄ）で示す合成俯瞰画像例のように、撮像装置が撮像可能な画角であれば、車両イメージ６０２に関わらず、２つの撮像装置による撮像範囲内で、車両イメージ６０２の周縁の任意の位置を端点として、範囲８０１～８０４のようなそれぞれの範囲内で、繋ぎ目を配置しても良い。
（第２の実施形態）
　本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
　図６（Ａ）～（Ｃ）および図７（Ａ）、（Ｂ）は、合成俯瞰画像６０３（図２（Ｂ）参照）の内、隣り合う２つの俯瞰画像の合成部分の一例を示している。図６（Ａ）は、図３（Ａ）と同じく、俯瞰画像の表示範囲７０１、端点７０２、放射線７０３、放射線７０４を含んで示されている。
　尚、図６（Ａ）～（Ｃ）以降の図において、既に挙げられたものと同一の構成要素については、同一の符号を付して詳細な説明を省略する。
　図６（Ｂ）では、繋ぎ目９０１を図６（Ａ）の放射線７０３の方向と一致するように、つまり放射線７０３に沿って配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域９０２と、左側方撮像装置５０５の俯瞰画像の一部が表示される表示領域９０３と、を示している。
　図６（Ｃ）は、図６（Ｂ）の繋ぎ目９０１を元に俯瞰画像が合成され、基準高上の位置９０４、９０８に垂直の被写体９０５、９０９がそれぞれ映り込んだ様子を示す図である。位置９０４に映り込んだ垂直の被写体９０５は、後方撮像装置５０３から位置９０４を通る放射線９０６の方向と、左側方撮像装置５０５から位置９０４を通る放射線９０７の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、表示領域９０２と表示領域９０３との位置関係により、放射線９０６の方向の一方向のみに倒れ込んだものを表示する。
　繋ぎ目９０１は、後方撮像装置５０３の位置からの放射線７０３の方向に沿って配置されている。そのため、後方撮像装置５０３の位置から放射線７０３の方向にない位置９０４を通る放射線９０６の方向に倒れ込んで表示される垂直の被写体９０５は、繋ぎ目９０１と交わっていない。
　また、位置９０８に映り込んだ垂直の被写体９０９は、後方撮像装置５０３から位置９０８を通る放射線９１０の方向と、左側方撮像装置５０５から位置９０８を通る放射線９１１の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、表示領域９０２と表示領域９０３との位置関係により、放射線９１０の方向の一方向のみに倒れ込んだものを表示する。
　繋ぎ目９０１は、後方撮像装置５０３の位置からの放射線７０３の方向に沿って配置されている。そのため、垂直の被写体９０５と同じく、後方撮像装置５０３の位置から放射線７０３の方向にない位置９０８を通る放射線９１０の方向に倒れ込んで表示される垂直の被写体９０９は、繋ぎ目９０１と交わっていない。
　図６（Ａ）～（Ｃ）の例のように、後方撮像装置５０３の位置からの放射線７０３の方向に一致させて繋ぎ目９０１を配置した場合は、後方撮像装置５０３の俯瞰画像が表示される表示領域９０２のどの位置に垂直の被写体９０５、９０９が映り込んでも、表示される倒れ込みが繋ぎ目９０１を跨る方向には生じない。
　一方で、後方撮像装置５０３の位置からの放射線７０３の方向に継ぎ目が一致しない場合には、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域においても、垂直の被写体の倒れ込みが繋ぎ目と跨る方向に生じることがある。先に説明した図３（Ｂ）、（Ｃ）では、繋ぎ目７０６と垂直の被写体７１０との位置関係上このようなことが生じていないが、繋ぎ目と垂直の被写体との位置関係次第で生じることがある。このことを図７（Ａ）、（Ｂ）で補足しておく。
　図７（Ａ）は、範囲７０５内において、繋ぎ目９１２を放射線７０３、７０４の両方に一致しないように配置した場合の、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域９１３と、左側方撮像装置５０５の俯瞰画像の一部が表示される表示領域９１４と、を示している。
　図７（Ｂ）は、図７（Ａ）の繋ぎ目９１２を元に俯瞰画像が合成され、図６（Ｃ）と同じ基準高上の位置９０４、９０８に垂直の被写体９０５、９０９がそれぞれ映り込んだ様子を示している。
　位置９０４に映り込んだ垂直の被写体９０５は、図６（Ｃ）と同じく、放射線９０６の方向の一方向のみに倒れ込んだものが表示されるが、繋ぎ目９１２と放射線９０６との交点９１５の位置で途切れている。このとき、後方撮像装置５０３の位置からの放射線９０６の方向に倒れ込んで表示される垂直の被写体９０５は、繋ぎ目９１２と交わっている。
　また、位置９０８に映り込んだ垂直の被写体９０９は、後方撮像装置５０３から位置９０８を通る放射線９１０の方向と、左側方撮像装置５０５から位置９０８を通る放射線９１１の方向と、に倒れ込みが起きる。ただし、画像表示装置５０６は、表示領域９１３と表示領域９１４との位置関係により、放射線９１１の方向の一方向のみに倒れ込んだものを表示する。このとき、垂直の被写体９０９は繋ぎ目９１２と交わっていないが、放射線９１１と繋ぎ目９１２とは平行でないため、表示領域９１３、９１４（図７（Ａ）参照）の範囲外で交わる。
　図７（Ａ）、（Ｂ）の例のように、繋ぎ目９１２が延びる方向が、後方撮像装置５０３の位置からの放射線９０６の方向に一致していない。後方撮像装置５０３の位置は表示領域９１３の垂直の被写体９０５の倒れ込み方向の基点となる位置である。そのため、被写体９０５の位置によっては、倒れ込みが繋ぎ目９１２を跨る方向に生じることがある。この場合、垂直の被写体９０５が俯瞰画像に含まれる範囲内の途中で途切れて消失してしまう。
　以上のように、本実施形態の俯瞰画像生成装置５０１は、繋ぎ目設定部５４が、２つの俯瞰画像において、２つの放射線７０３、７０４の方向（放射方向）のいずれか一方に沿って、繋ぎ目９０１を設定する。この場合、繋ぎ目９０１を一致させた（沿わせた）放射線７０３の方向の基準となった後方撮像装置５０３の俯瞰画像に含まれる範囲内において、垂直な被写体の倒れ込みが、どの位置でも繋ぎ目９０１を跨る方向に生じない。これにより、撮像装置５０３の俯瞰画像に含まれる範囲内において、途中で被写体の表示が途切れて消失することなく大きく表示されるようになる。よって、被写体の存在を認識し易くなる。
　尚、図８（Ａ）～（Ｄ）で示す合成俯瞰画像例のように、撮像装置が撮像可能な画角であれば、車両イメージ６０２に関わらず、２つの撮像装置による撮像範囲内で、車両イメージ６０２の周縁の任意の位置を端点として、放射線１００１～１００４の方向に沿って繋ぎ目を配置しても良い。
（第３の実施形態）
　本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
　図９（Ａ）、（Ｂ）および図１０（Ａ）、（Ｂ）は、合成俯瞰画像６０３の一例を示す図である。図９（Ａ）では、運転者１１０１の位置からの視線方向を示す放射線１１０２と、後方撮像装置５０３の俯瞰画像に垂直の被写体が映り込んだ場合の倒れ込み方向を示す放射点線１１０３と、の関係を示している。また、図９（Ｂ）では、運転者１１０１の位置からの視線方向を示す放射線１１０２と、左側方撮像装置５０５の俯瞰画像に垂直の被写体が映り込んだ場合の倒れ込み方向を示す放射点線１１０４と、の関係を示している。
　図１０（Ａ）に示すように、繋ぎ目の撮像装置に近い方の端点１１０５が配置される。後方撮像装置５０３の位置から端点１１０５の位置を通る放射線１１０６と、左側方撮像装置５０５の位置から端点１１０５の位置を通る放射線１１０７と、合成俯瞰画像に含まれる範囲と、で囲まれた範囲１１０８内の地点１１０９に垂直の被写体が存在する場合に、端点１１０５から任意の放射方向に繋ぎ目を配置する条件について検討する。
　この場合、図１０（Ｂ）に示すように、地点１１０９において、左側方撮像装置５０５の俯瞰画像が表示されるように繋ぎ目を配置すると、運転者の視線方向１１１０に近くなる方向１１１１（左側方撮像装置５０５から端点１１０５へ向かう方向）への垂直の被写体の倒れ込みが表示される。一方、運転者の視線方向１１１０とは遠くなる方向１１１２（後方撮像装置５０３から端点１１０５へ向かう方向）への倒れ込みは表示されなくなる。地点１１０９付近では、運転者が運転席から垂直の被写体を見た視線方向と、この被写体の倒れ込み方向と、が近い俯瞰画像だけが表示されるようになる。
　なお、図１０（Ｂ）から理解できるように、視線方向と倒れ込み方向とが近いとは、視線方向と倒れ込み方向とのなす角がより小さいことを意味し、視線方向と倒れ込み方向とが遠いとは、視線方向と倒れ込み方向とのなす角がより大きいことを意味している。
　以上のように、本実施形態の俯瞰画像生成装置５０１は、繋ぎ目設定部５４が、２つの俯瞰画像において、車両の運転者１１０１の視線方向１１１０と放射線１１０７の方向（第１の放射方向）とのなす第１の角度が、視線方向１１１０と放射線１１０６の方向（第２の放射方向）とのなす第２の角度よりも小さい場合、視線方向１１１０から放射線１１０７に近づけた方向に沿って繋ぎ目を設定する。
　この場合、垂直の被写体の倒れ込み方向が運転者の視線方向に近くなる俯瞰画像側は表示され、運転者の視線方向と遠くなる俯瞰画像側は表示されない。これにより、運転者１１０１が運転席から垂直の被写体を見た視線方向１１１０と、被写体の倒れ込み方向と、が近い俯瞰画像だけが表示されるようになる。よって、運転者を中心とした被写体の存在する方向を認識し易くなる。
（第４の実施形態）
　本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
　図１１（Ａ）～（Ｃ）は、合成俯瞰画像６０３（図２（Ｂ）参照）の一部の一例を示す図である。図１１（Ａ）では、車両イメージ６０２の左端および右端を表す各辺上に、繋ぎ目の撮像装置に近い方の各端点１２０１が位置し、その各端点１２０１から延びる繋ぎ目１２０２を示す。なお、ここでの左端および右端には、角部分は含まない。
　ここでは、高さ方向が車両に対し比較的至近距離、つまり後方撮像装置５０３の高さと車両の高さとが同じ程度であるとする。また、後方撮像装置５０３が、車両の左右中央のできるだけ後端側に位置するとする。また、車両と地面が映り込むような（車両と地面が後方撮像装置５０３の撮像範囲に含まれるような）一般的なレイアウト配置で、車両に搭載されていたとする。
　基準高から高さを持つ車両が、後方撮像装置５０３の俯瞰画像に投影されることにより、車両上方（俯瞰画像の仮想視点）から鉛直下向きに見た場合、後方撮像装置５０３と映り込む車両との距離が短い車両後部方向は殆どずれない。一方、後方撮像装置５０３と映り込む車両との距離が長い車両左右方向は大きくずれて、領域１２０３に車両が映り込む。
　この領域１２０３に車両がずれて映り込む現象が起きると、図１１（Ａ）から分かるように、繋ぎ目１２０２を跨いで後方撮像装置５０３と左側方撮像装置５０５と、または、後方撮像装置５０３と右側方撮像装置５０４と、の俯瞰画像間の基準高上の被写体の連続性を失う箇所が存在してしまう。また同時に、車両後端を表す辺を含む車両の映り込みが、車両イメージ６０２の側端を表す辺に接しているため、車両に対する被写体の方向性（つまり被写体が車両から見るとどの方向にあるか）も失っている。
　また、図１１（Ｂ）では、車両イメージ６０２の後端を表す辺上に、繋ぎ目の撮像装置に近い方の各端点１２０４が位置し、その各端点１２０４から延びる繋ぎ目１２０５を示す。
　ここでは、左側方撮像装置５０５と右側方撮像装置５０４が、高さ方向が車両に対し比較的至近距離、つまり左側方撮像装置５０５または右側方撮像装置５０４の高さと車両の高さとが同じ程度であるとする。また、左側方撮像装置５０５と右側方撮像装置５０４が、車両のできるだけ左端側または右端側に位置するとする。また、車両と地面が映り込むような（車両と地面が左側方撮像装置５０５または右側方撮像装置５０４の撮像範囲に含まれるような）一般的なレイアウト配置で、車両に搭載されていたとする。
　この場合、基準高から高さを持つ車両が、左側方撮像装置５０５または右側方撮像装置５０４の俯瞰画像に投影されると、車両上方から鉛直下向きに見た場合、俯瞰画像上での位置はずれることがある。ここでは、車両上方（俯瞰画像の仮想視点）を基準とすると、左側方撮像装置５０５または右側方撮像装置５０４と映り込む車両との距離が短い車両左右方向は殆どずれない。一方、左側方撮像装置５０５または右側方撮像装置５０４と映り込む車両との距離が長い車両前後方向は大きくずれて、領域１２０６または領域１２０７に車両が映り込む。
　この領域１２０６または領域１２０７に車両がずれて映り込む現象が起きると、図１１（Ｂ）から分かるように、繋ぎ目１２０５を跨いで後方撮像装置５０３と左側方撮像装置５０５と、または、後方撮像装置５０３と右側方撮像装置５０４と、の俯瞰画像間の基準高上の被写体の連続性を失う箇所が存在してしまう。また同時に、車両の側端を表す辺を含む車両の映り込みが車両イメージ６０２の後端を表す辺に接しているため、車両に対する被写体の方向性も失っている。
　一方、図１１（Ｃ）では、後方撮像装置５０３と左側方撮像装置５０５との俯瞰画像を合成するための繋ぎ目１２０９の端点１２０８を、車両イメージ６０２の辺の角に位置するように配置したものを示す。
　図１１（Ｃ）では、図１１（Ａ）において領域１２０３に大きくずれて映り込む後方撮像装置５０３の撮像画像から生成される俯瞰画像上の車両、および、図１１（Ｂ）において領域１２０６に大きくずれて映り込む左側方撮像装置５０５または右側方撮像装置５０４の撮像画像から生成される俯瞰画像上の車両、が表示されない。
　図１１（Ａ）、（Ｂ）の例のように、繋ぎ目の撮像装置に近い方の端点を車両イメージ６０２の辺の角からずれて配置すると、車両イメージ６０２の１つの後端または側端を表す辺に対し、２つの俯瞰画像の表示領域が接し、車両上方から鉛直下向きに見た場合に、実際の位置から大きくずれて映り込む車両が表示される可能性がある。一方、図１１（Ｃ）の例のように、上記の端点を車両イメージ６０２の辺の角に配置すると、車両イメージ６０２の１つの後端または側端に対し、１つの俯瞰画像の表示領域が接し、大きくずれて映り込む車両が表示され難くなる。
　なお、ここでの車両の後端とは、図１１（Ａ）～（Ｃ）における車両イメージ６０２の後端（下端）に相当する。また、ここでの車両の側端とは、図１１（Ａ）～（Ｃ）における車両イメージ６０２の側端（左端または右端）に相当する。
　更に、図１２で示すように、繋ぎ目１３０１は、車両イメージ６０２の辺の角１３０２を繋ぎ目１３０１の撮像装置に近い方の端点として配置される。繋ぎ目１３０３は、車両イメージ６０２の辺の角１３０４を繋ぎ目１３０３の撮像装置に近い方の端点として配置される。繋ぎ目１３０５は、車両イメージ６０２の辺の角１３０６を繋ぎ目１３０５の撮像装置に近い方の端点として配置される。繋ぎ目１３０７は、車両イメージ６０２の辺の角１３０８を繋ぎ目１３０７の撮像装置に近い方の端点として配置される。
　この場合、車両イメージ６０２の前端を表す辺１３０９全体に対して、前方撮像装置５０２の俯瞰画像の一部が表示される表示領域１３１０の周縁の一部を表す１辺全体が接する。車両イメージ６０２の左端を表す辺１３１１全体に対して、左側方撮像装置５０５の俯瞰画像の一部が表示される表示領域１３１２の周縁の一部を表す１辺全体が接する。車両イメージ６０２の後端を表す辺１３１３全体に対して、後方撮像装置５０３の俯瞰画像の一部が表示される表示領域１３１４の周縁の一部を表す１辺全体が接する。車両イメージ６０２の右端を表す辺１３１５全体に対して、右側方撮像装置５０４の俯瞰画像の一部が表示される表示領域１３１６の周縁の一部を表す１辺全体が接する。
　図１２の例のように、繋ぎ目の撮像装置に近い方の端点を、車両イメージ６０２の辺の各角（合成する配置が隣り合う２つの俯瞰画像の一部が表示される表示領域の辺が交わる各角）全てに配置して合成俯瞰画像６０３を生成すると、車両イメージ６０２の１辺に対し、１つの俯瞰画像の一部が表示される表示領域が接する。そのため、車両イメージ６０２の各辺と各俯瞰画像の車両に対する方向性が一致する。
　尚、ここで画像表示装置５０６により表示される合成俯瞰画像６０３上の繋ぎ目は、所定の幅を持っており、運転者が見て俯瞰画像の切れ目を明確に認識できるものとする。
　以上のように、本実施形態の俯瞰画像生成装置５０１は、繋ぎ目設定部５４が、２つの俯瞰画像において、車両イメージ６０２の角部を端点とする。この場合、２つの俯瞰画像の一部が表示される表示領域の内、撮像装置に近い２辺が交わる角を繋ぎ目の端点とするので、車両周囲の合成俯瞰画像６０３において、車両イメージ６０２の１辺に対し、その車両イメージ６０２の１辺に位置が最も近い撮像装置から生成されるただ１つの俯瞰画像の表示領域が接する。
　これにより、俯瞰画像の一部が表示される表示領域の範囲内において、基準高から高さを持つ車両が表示され難くなり、自車両の不要な映り込みが無くなり易くなる。更に、車両イメージ６０２の１辺と車両に対する俯瞰画像の方向が一致するようになり、車両を中心とした被写体の存在する方向を認識し易くなる。
（第５の実施形態）
　図１３は、本発明の第５の実施形態に係る俯瞰画像出力システムの構成例を示すブロック図である。
　俯瞰画像生成装置１４０１は、例えば車両に搭載され、俯瞰画像生成するための処理等、様々な処理を行う。ハンドル蛇角検出装置１４０２は、車両の直進状態、左折状態、右折状態、もしくはハンドルの回転角度を検出して、俯瞰画像生成装置１４０１へ出力する。走行状態検出装置１４０３は、車両駆動が前進状態であるか後退状態であるか等の情報を検出して、俯瞰画像生成装置１４０１へ出力する。運転者操作受信装置１４０４は、車両に設置された不図示の入力装置により運転者が入力した情報を受信し、その情報を俯瞰画像生成装置１４０１へ出力する。障害物検出装置１４０５は、車両に搭載されたソナーや撮像装置によって取得された撮像画像等から障害物を検出し、その情報を俯瞰画像生成装置１４０１へ出力する。これらの装置は電気的に接続される。
　図１３で示すように、俯瞰画像生成装置１４０１には、入力側に、前方撮像装置５０２、後方撮像装置５０３、右側方撮像装置５０４、左側方撮像装置５０５、ハンドル蛇角検出装置１４０２、走行状態検出装置１４０３、運転者操作受信装置１４０４、および障害物検出装置１４０５が接続され、出力側に、画像表示装置５０６が接続される。
　また、俯瞰画像生成装置１４０１は、図１で説明した俯瞰画像生成装置５０１の機能を実現する構成部に加え、俯瞰画像生成装置１４０１が搭載される車両の車両情報を取得する車両情報取得部５６を備える。車両情報取得部５６は、ハンドル蛇角検出装置１４０２、走行状態検出装置１４０３、運転者操作受信装置１４０４、および障害物検出装置１４０５からの各種車両情報を、有線または無線の回線またはケーブルを介して取得する。
　次に、図１４（Ａ）～（Ｂ）、図１５（Ａ）～（Ｂ）、図１６（Ａ）～（Ｂ）、および図１７は、合成俯瞰画像６０３（図６（Ｂ）参照）の一例を示す図である。図１４（Ａ）では、車両イメージ６０２の各角を繋ぎ目の撮像装置に近い方の端点として、任意の放射方向に沿って繋ぎ目が配置される場合の各繋ぎ目が位置され得る範囲１５０１～１５０４を示す。
　俯瞰画像生成装置１４０１では、運転操作中、ハンドル蛇角検出装置１４０２、走行状態検出装置１４０３、運転者操作受信装置１４０４、および障害物検出装置１４０５によって、リアルタイムに上述したような各種車両情報を取得することができる。これにより、用途や車両周囲の状況に応じて、繋ぎ目設定部５４が、範囲１５０１～１５０４内で繋ぎ目を最適な位置に切替えられるようになる。
　図１４（Ｂ）では、範囲１５０１～１５０４の中でも境界となる位置（範囲１５０１の周縁となる辺の１つ）に繋ぎ目が配置された場合を示している。その繋ぎ目は、車両イメージ６０２の各角に対して、２通りずつ存在する。
　ここで、繋ぎ目１５０５に対しては領域１５０６、繋ぎ目１５０７に対しては領域１５０８、繋ぎ目１５０９に対しては領域１５１０、繋ぎ目１５１１に対しては領域１５１２、繋ぎ目１５１３に対しては領域１５１４、繋ぎ目１５１５に対しては領域１５１６、繋ぎ目１５１７に対しては領域１５１８、繋ぎ目１５１９に対しては領域１５２０において、各領域の基準高の位置に垂直の被写体が映り込むことを想定する。
　この場合、被写体の倒れ込みが俯瞰画像の表示範囲内で繋ぎ目を跨る方向に生じるため、その作用により被写体の高さ方向の表示が途切れて消失してしまう可能性がある。　　　　　
　これを踏まえて、車両が後退移動する場合は、図１５（Ａ）のように合成俯瞰画像６０３上では背景が矢印１５２１の方向（図中上方向）に流れるため、運転者は領域１５２２の辺りを最も視認したいので、その領域１５２２で垂直の被写体が俯瞰画像の表示範囲内で途切れて消失することがないように優先する。この場合には、図１５（Ｂ）のように繋ぎ目１５０５、１５０９、１５１５、１５１９の位置に配置し、垂直の被写体の倒れ込みが繋ぎ目１５０５、１５０９、１５１５、１５１９を跨る方向に生じてしまう領域を領域１５２２に重ならないようにすれば良い。
　また、車両が前進移動する場合は、図１６（Ａ）のように合成俯瞰画像６０３上では背景が矢印１５２３の方向（図中下方向）に流れるため、運転者は領域１５２４の辺りを最も視認したいので、その領域１５２４で垂直の被写体が俯瞰画像の表示範囲内で途切れて消失することがないように優先する。この場合には、図１６（Ｂ）のように繋ぎ目１５０７、１５１１、１５１３、１５１７の位置に配置し、垂直の被写体の倒れ込みが繋ぎ目１５０７、１５１１、１５１３、１５１７を跨る方向に生じてしまう領域を領域１５２４に重ならないようにすれば良い。
　尚、繋ぎ目の位置を変更（設定含む）する場合には、図１７のように、繋ぎ目１５３１～１５３４が左右対称とならなくても良い。
　以上のように、本実施形態の俯瞰画像生成装置５０１は、俯瞰画像生成装置５０１が搭載される車両の車両情報を取得する車両情報取得部５６を備える。繋ぎ目設定部５４は、取得された車両情報に基づいて、繋ぎ目を設定する。この場合、撮像装置の位置から上記の端点に向かう２つの放射方向の間で、車両情報に応じて繋ぎ目を変更する。例えば、車両の走行方向側（例えば後退時には後方側）の領域、および、走行方向と直交する方向において走行方向と反対方向寄り（例えば後退時には左右前方寄り）の領域を避けて、繋ぎ目を設定する。これにより、用途や車両周囲の状況に応じて最適な状態に継ぎ目を切替えることができる。したがって、被写体の状態や車両に対する位置を誤解なく認識し易くなる。
（第６の実施形態）
　本実施形態の俯瞰画像出力システムの構成は、図１に示した第１の実施形態の俯瞰画像出力システムの構成と同様であるので、説明を省略する。
　図１８は、俯瞰画像生成装置１４０１の出力画像の一例を示す図である。図１８に示す出力画像１６０１として、合成俯瞰画像６０３と、その合成俯瞰画像６０３とは別の視点変換画像が同時に出力される。視点変換画像は、俯瞰画像の少なくとも一部であってもよいし、撮像装置により撮像された撮像画像の少なくとも一部であってもよいし、これとは他の画像であってもよい。図１８では、出力画像１６０１において、右側部分に合成俯瞰画像６０３が配置され、左側部分に車両１６０２が映り込んだ車両の左側部分の視点変換画像が配置されている。
　出力画像１６０１は、俯瞰画像生成装置１４０１が備える画像出力部５５により画像表示装置５０６へ出力される。画像表示装置５０６は、出力画像に含まれる複数の画像を同時に表示する。
　尚、合成俯瞰画像と同時出力される画像の用途、車両に対する出力画像の方向性（どの部分の画像であるか）等を考慮し、出力画像１６０１における各画像の配置が変わっても良い。
　以上のように、本実施形態の俯瞰画像生成装置５０１は、俯瞰画像合成部５３により合成された合成俯瞰画像（第１の画像）と、撮像画像取得部５１により取得された撮像画像または画像変換部５２により変換された俯瞰画像（第２の画像）と、を同時に出力する画像出力部５５を備える。すなわち、合成俯瞰画像と、この合成俯瞰画像とは別の見せ方や合成俯瞰画像上では表示されない部分を表示する第２の画像を同時出力してもよい。
　これにより、画像表示装置５０６に表示される映像の内、合成俯瞰画像上では大きく変形して運転者が認識し難くなった立体物の視認性を向上させることができる。また、合成俯瞰画像では表示されない部分を表示する場合には、広い視野を得ることができる。このように、第２の画像によって、視認性が補われる。
　以上に本発明の好適な実施形態を説明した。しかし、本発明は上述の実施形態に限定されず、当業者が本発明の範囲内で上述の実施形態を変形可能なことはもちろんである。
　本出願は、2011年9月30日出願の日本特許出願No.2011-217954に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、合成俯瞰画像において被写体の位置や形状を高精度に認識することが可能な俯瞰画像生成装置、俯瞰画像生成方法、俯瞰画像生成プログラム、等に有用である。
１０１　第１の基準高
１０２　第２の基準高
１０３、１０４、１０５　被写体
２０１　撮像装置
２０２　地面
２０３　直方体
３０１　撮像装置
３０２、３０５　直方体
３０３、３０６　格子線
３０４　俯瞰画像
３０７　位置
４０１、４０２　撮像装置
４０３、４０４、４０５、４０６、４０７　領域
４０８、４０９、４１０　点線
４１１　点
４１２　直方体
５０１　俯瞰画像生成装置
５０２　前方撮像装置
５０３　後方撮像装置
５０４　右側方撮像装置
５０５　左側方撮像装置
５０６　画像表示装置
５１　撮像画像取得部
５２　画像変換部
５３　俯瞰画像合成部
５４　繋ぎ目設定部
５５　画像出力部
５６　車両情報取得部
６０１　車両
６０２　車両イメージ
６０３　合成俯瞰画像
７０１　俯瞰画像の表示範囲
７０２　端点
７０３、７０４　撮像装置の位置から端点を通る放射線
７０５　表示範囲７０１と放射線７０３と放射線７０４とで囲まれた範囲
７０６、７１８　繋ぎ目
７０７、７０８、７１９、７２０　領域
７０９、７１３　位置
７１０、７１４　被写体
７１１、７１２、７１５、７１６　放射方向
７１７、７２１、７２２　交点
８０１、８０２、８０３、８０４　範囲
９０１、９１２　繋ぎ目
９０２、９０３、９１３、９１４　俯瞰画像の表示領域
９０４、９０８　基準高上の位置
９０５、９０９　被写体
９０６、９０７、９１０、９１１　放射方向
９１５　交点
１００１、１００２、１００３、１００４　放射方向
１１０１　運転者の位置
１１０２　視線方向を示す放射線
１１０３、１１０４　倒れ込み方向を示す放射点線
１１０５　端点
１１０６、１１０７　放射線
１１０８　範囲
１１０９　地点
１１１０　視線方向
１１１１　視線方向に近くなる方向
１１１２　視線方向に遠くなる方向
１２０１、１２０４、１２０８　端点
１２０２、１２０５、１２０９　繋ぎ目
１２０３、１２０６、１２０７　領域
１３０１、１３０３、１３０５、１３０７　繋ぎ目
１３０２、１３０４、１３０６、１３０８　角
１３０９、１３１１、１３１３、１３１５　辺
１３１０、１３１２、１３１４、１３１６　俯瞰画像の表示領域
１４０１　俯瞰画像生成装置
１４０２　ハンドル蛇角検出装置
１４０３　走行状態検出装置
１４０４　運転者操作受信装置
１４０５　障害物検出装置
１５０１、１５０２、１５０３、１５０４　繋ぎ目が位置され得る範囲
１５０５、１５０７、１５０９、１５１１、１５１３、１５１５、１５１７、１５１９　繋ぎ目
１５０６、１５０８、１５１０、１５１２、１５１４、１５１６、１５１８、１５２０　領域
１５２１、１５２３　矢印
１５２２、１５２４　領域
１５３１、１５３２、１５３３、１５３４　繋ぎ目
１６０１　出力画像
１６０２　車両

Claims (9)

  1. 　車両に搭載された複数の撮像装置により撮像された撮像画像を取得する撮像画像取得部と、
    　前記撮像画像取得部により取得された撮像画像を視点変換処理により俯瞰画像に変換する画像変換部と、
    　前記画像変換部により変換された複数の俯瞰画像を合成する俯瞰画像合成部と、
    　撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定する繋ぎ目設定部と、
    　を備える俯瞰画像生成装置。
  2. 　請求項１に記載の俯瞰画像生成装置であって、
    　前記繋ぎ目設定部は、前記２つの俯瞰画像において、前記２つの放射方向のいずれか一方に沿って、前記繋ぎ目を設定する俯瞰画像生成装置。
  3. 　請求項２に記載の俯瞰画像生成装置であって、
    　前記繋ぎ目設定部は、前記２つの俯瞰画像において、前記車両の運転者の視線方向と第１の放射方向とのなす第１の角度が、前記視線方向と第２の放射方向とのなす第２の角度よりも小さい場合、前記視線方向から前記第１の放射方向に近づけた方向に沿って前記繋ぎ目を設定する俯瞰画像生成装置。
  4. 　請求項１ないし３のいずれか１項に記載の俯瞰画像生成装置であって、
    　前記繋ぎ目設定部は、前記２つの俯瞰画像において、前記車両イメージの角部を前記端点とする俯瞰画像生成装置。
  5. 　請求項１ないし４のいずれか１項に記載の俯瞰画像生成装置であって、更に、
    　前記車両の車両情報を取得する車両情報取得部を備え、
    　前記繋ぎ目設定部は、前記車両情報取得部により取得された車両情報に基づいて、前記繋ぎ目を設定する俯瞰画像生成装置。
  6. 　請求項５に記載の俯瞰画像生成装置であって、
    　前記車両情報取得部は、車両の走行方向を含む前記車両情報を取得し、
    　前記繋ぎ目設定部は、前記車両の走行方向側の領域、および、前記走行方向と直交する方向において前記走行方向と反対方向寄りの領域、を避けて、前記繋ぎ目を設定する俯瞰画像生成装置。
  7. 　請求項１ないし６のいずれか１項に記載の俯瞰画像生成装置であって、更に、
    　前記俯瞰画像合成部により合成された合成俯瞰画像と、前記撮像画像取得部により取得された撮像画像または前記画像変換部により変換された俯瞰画像と、を同時に出力する画像出力部を備える俯瞰画像生成装置。
  8. 　俯瞰画像生成装置の俯瞰画像生成方法であって、
    　複数の撮像装置により撮像された撮像画像を取得するステップと、
    　前記取得された撮像画像を視点変換処理により俯瞰画像に変換するステップと、
    　前記変換された複数の俯瞰画像を合成するステップと、
    　撮像範囲が重複する２つの撮像装置に対応する２つの俯瞰画像において、前記重複する撮像範囲内で、前記俯瞰画像に含まれる前記車両に相当する車両イメージの周縁の任意の位置を端点とし、前記２つの撮像装置から前記端点に向かう２つの放射方向の間で、前記端点から前記車両イメージとは反対側の任意の方向に延びる線を、前記俯瞰画像合成部により合成される２つの俯瞰画像間を繋ぐ繋ぎ目として設定するステップと、
    　を有する俯瞰画像生成方法。
  9. 　請求項８に記載の俯瞰画像生成方法の各ステップをコンピュータに実行させるための俯瞰画像生成プログラム。
PCT/JP2012/005923 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム Ceased WO2013046593A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12834713.5A EP2763406A4 (en) 2011-09-30 2012-09-14 APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE
CN201280016788.4A CN103477634B (zh) 2011-09-30 2012-09-14 俯瞰图像生成装置和俯瞰图像生成方法
JP2013535874A JP5962927B2 (ja) 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
US14/015,735 US9715631B2 (en) 2011-09-30 2013-08-30 Birds-eye-view image generation device, and birds-eye-view image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-217954 2011-09-30
JP2011217954 2011-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/015,735 Continuation US9715631B2 (en) 2011-09-30 2013-08-30 Birds-eye-view image generation device, and birds-eye-view image generation method

Publications (1)

Publication Number Publication Date
WO2013046593A1 true WO2013046593A1 (ja) 2013-04-04

Family

ID=47994679

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005923 Ceased WO2013046593A1 (ja) 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム

Country Status (5)

Country Link
US (1) US9715631B2 (ja)
EP (1) EP2763406A4 (ja)
JP (1) JP5962927B2 (ja)
CN (1) CN103477634B (ja)
WO (1) WO2013046593A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469135B (zh) * 2013-09-18 2017-11-28 株式会社理光 图像处理系统
JP5971223B2 (ja) * 2013-10-16 2016-08-17 株式会社デンソー 合成画像生成装置
JP6375633B2 (ja) * 2014-02-12 2018-08-22 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
US10336462B2 (en) 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
US20160300372A1 (en) * 2015-04-09 2016-10-13 Bendix Commercial Vehicle Systems Llc System and Method for Graphically Indicating an Object in an Image
CN104967826A (zh) * 2015-07-03 2015-10-07 上海弼智仿生高科技有限公司 固定区域监视系统及方法
GB2556797B (en) * 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
JP6730606B2 (ja) * 2016-11-25 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US10436485B2 (en) * 2017-11-14 2019-10-08 Haier Us Appliance Solutions, Inc. Sealed system for a packaged terminal air conditioner unit
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP6513300B1 (ja) * 2018-03-28 2019-05-15 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10967792B1 (en) * 2018-10-12 2021-04-06 Roger Stafford Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device
CN111402132B (zh) * 2020-03-11 2024-02-02 黑芝麻智能科技(上海)有限公司 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
JP7626126B2 (ja) * 2020-03-19 2025-02-04 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム
JP7366982B2 (ja) * 2021-11-24 2023-10-23 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム
JP2024131942A (ja) * 2023-03-17 2024-09-30 キヤノン株式会社 移動体、画像処理装置、コンピュータプログラム、及び撮像装置の設置方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027448A (ja) * 2000-04-28 2002-01-25 Matsushita Electric Ind Co Ltd 画像処理装置および監視システム
JP2004289386A (ja) 2003-03-20 2004-10-14 Clarion Co Ltd 画像表示方法、画像表示装置及び画像処理装置
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007041791A (ja) 2005-08-02 2007-02-15 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2008033901A (ja) * 2006-07-06 2008-02-14 Nissan Motor Co Ltd 車両用画像表示システム
JP2010200240A (ja) 2009-02-27 2010-09-09 Hyundai Motor Co Ltd 車両周囲俯瞰画像表示装置及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734896B2 (en) 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
US20090128630A1 (en) 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
EP2482557B1 (en) * 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027448A (ja) * 2000-04-28 2002-01-25 Matsushita Electric Ind Co Ltd 画像処理装置および監視システム
JP2004289386A (ja) 2003-03-20 2004-10-14 Clarion Co Ltd 画像表示方法、画像表示装置及び画像処理装置
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007041791A (ja) 2005-08-02 2007-02-15 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2008033901A (ja) * 2006-07-06 2008-02-14 Nissan Motor Co Ltd 車両用画像表示システム
JP2010200240A (ja) 2009-02-27 2010-09-09 Hyundai Motor Co Ltd 車両周囲俯瞰画像表示装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2763406A4

Also Published As

Publication number Publication date
JPWO2013046593A1 (ja) 2015-03-26
JP5962927B2 (ja) 2016-08-03
US20140002660A1 (en) 2014-01-02
CN103477634A (zh) 2013-12-25
US9715631B2 (en) 2017-07-25
CN103477634B (zh) 2016-11-23
EP2763406A1 (en) 2014-08-06
EP2763406A4 (en) 2015-06-17

Similar Documents

Publication Publication Date Title
JP5962927B2 (ja) 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
JP7283059B2 (ja) 周辺監視装置
JP3894322B2 (ja) 車両用視界モニタシステム
JP6379779B2 (ja) 車両用表示装置
JP5724446B2 (ja) 車両の運転支援装置
JP5451497B2 (ja) 運転支援表示装置
WO2007015446A1 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2013501280A (ja) 車両周辺のモニタ方法
JP5966513B2 (ja) 車両の後側方撮影装置
EP3967554A1 (en) Vehicular display system
JP2018142884A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US9162621B2 (en) Parking support apparatus
WO2017038123A1 (ja) 車両の周囲監視装置
JP2020068515A (ja) 画像処理装置
JPWO2011013813A1 (ja) 車載装置および画像処理プログラム
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2016213708A (ja) 車両用表示装置
JP2011243010A (ja) 運転支援装置
EP3967553A1 (en) Vehicular display system
JP5212422B2 (ja) 運転支援装置
JP2006224927A (ja) 車両周辺視認装置
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2014119883A (ja) 画像データ変換装置並びにナビゲーションシステムおよびカメラ装置並びに車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12834713

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013535874

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012834713

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE