[go: up one dir, main page]

WO2010101067A1 - 駐車支援装置および駐車支援方法 - Google Patents

駐車支援装置および駐車支援方法 Download PDF

Info

Publication number
WO2010101067A1
WO2010101067A1 PCT/JP2010/052950 JP2010052950W WO2010101067A1 WO 2010101067 A1 WO2010101067 A1 WO 2010101067A1 JP 2010052950 W JP2010052950 W JP 2010052950W WO 2010101067 A1 WO2010101067 A1 WO 2010101067A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
mark
vehicle
camera
lighting request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/052950
Other languages
English (en)
French (fr)
Inventor
浩史 勝永
和典 嶋▲崎▼
富雄 木村
豊 中島
孝治 比嘉
啓介 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to US13/202,004 priority Critical patent/US20110298926A1/en
Publication of WO2010101067A1 publication Critical patent/WO2010101067A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a parking support apparatus that captures and uses a fixed target, and more particularly, to a parking support apparatus and a parking support method that can more reliably recognize a captured fixed target.
  • a parking support apparatus in which a target mark is fixed in advance in a parking lot or the like and used for parking support.
  • a mark is imaged with a camera, image recognition processing is performed on the obtained image, the coordinates of the mark are specified, and the relative positional relationship between the vehicle and the target parking position is obtained using this, and this relative Parking assistance is performed by calculating a parking locus based on the positional relationship and superimposing and displaying the parking locus on the captured image.
  • Patent Document 1 discloses that a light emitter such as an LED is used as such a mark.
  • a mark using a luminous body has an advantage that it is more resistant to dirt than a mark such as paint or sheet, and is less susceptible to shape loss due to rubbing.
  • an apparatus that performs image recognition processing by photographing a mark as in Patent Document 1 has a problem that the image recognition processing is complicated and there is room for improvement in the accuracy of image recognition.
  • the image recognition processing is complicated and there is room for improvement in the accuracy of image recognition.
  • the direction of the mark cannot be determined, which makes it difficult to determine the position of the vehicle. That is, a complicated mark shape that can define the direction of the mark is required, which complicates the image recognition process.
  • the appearance of the mark from the camera is not constant, and varies depending on the presence of an obstacle, the type of vehicle, the structure of the vehicle body, the mounting position of the camera, the distance and positional relationship between the vehicle and the mark, and the like. For this reason, the entire mark cannot always be accurately photographed, and there is room for improvement in the accuracy of image recognition of the mark.
  • the present invention has been made to solve such problems, and an object thereof is to provide a parking assistance device and a parking assistance method capable of recognizing a fixed target with high recognition accuracy using a simple image recognition process. To do.
  • a parking assist device includes a vehicle-side device mounted on a vehicle and a parking lot-side device installed in association with a predetermined target parking position, and supports parking at a target parking position.
  • the parking lot side device is a fixed target having a plurality of light emitting means, and the fixed target is fixedly set in a predetermined positional relationship with respect to the target parking position, and the plurality of light emitting means are respectively fixed targets.
  • the vehicle side device includes a lighting request generating means for generating a lighting request, and a lighting Request
  • a feature point is extracted based on an image of the vehicle-side communication means to be transmitted to the parking lot side device, a camera for photographing at least one of the light-emitting means, and the light-emitting means photographed by the camera, and on the photographed image
  • the image recognition means for recognizing the two-dimensional coordinates of the feature point, the two or more sets of two-dimensional coordinates recognized by the image recognition means, and the lighting request, at least the two-dimensional coordinates and the pan based on the fixed target
  • a position parameter calculating means for calculating a position parameter of the camera including a corner, a position parameter of the camera calculated by the position parameter calculating means, and a predetermined positional relationship of the fixed target with respect to the target parking position; Based on the relative position specifying
  • the parking lot side device turns on a specific light emitting means.
  • the camera of the vehicle-side device captures the light-emitting means that has been lit, performs image recognition, and specifies the position of the camera and the position of the vehicle based on the recognition result and the content of the lighting request.
  • the vehicle is guided to the target parking position based on the identified vehicle result.
  • the lighting request generation unit may sequentially generate a plurality of different lighting requests. In this way, only one feature point is lit at a temporary point, and a plurality of feature points that are lit simultaneously are not mistakenly recognized.
  • the lighting request generation unit may generate a new lighting request. In this way, the process can be repeated until a sufficient number of feature points to enable camera position parameter calculation or a sufficiently high number of feature points are recognized.
  • the lighting request includes a first lighting request for lighting a feature point of the first size and a second lighting request for lighting a feature point of the second size. The second size is more than the first size.
  • the number of feature points corresponding to the second lighting request is smaller than the number of feature points corresponding to the first lighting request, and the lighting request generation unit is configured according to the position parameter or relative positional relationship. Either the first lighting request or the second lighting request may be generated. If it does in this way, according to the position of a vehicle, the feature point of suitable size and number can be made to light.
  • One lighting request may correspond to one feature point.
  • the fixed target includes a plurality of fixed target portions, and each fixed target portion includes a plurality of light emitting means, and one lighting request corresponds to a plurality of feature points that are turned on simultaneously in any one of the fixed target portions, and lights up.
  • the request generation means may generate different lighting requests according to the position parameter or according to the relative positional relationship.
  • the feature points may be circular, and the two-dimensional coordinates of the feature points may be the two-dimensional coordinates of the center of the circle formed by the feature points. This simplifies the image recognition process.
  • the parking support method is a parking support method using a vehicle-side device mounted on a vehicle and a parking lot-side device installed in association with a predetermined target parking position. Transmitting a lighting request from the vehicle to the parking lot side device, turning on or off the plurality of light emitting means based on the lighting request, photographing at least one of the light emitting means, and the photographed light emission Extracting a feature point of a fixed target based on the image of the means, recognizing a two-dimensional coordinate of the feature point on the photographed image, two or more sets of recognized two-dimensional coordinates, and a lighting request
  • a camera position parameter including at least two-dimensional coordinates and a pan angle based on a fixed target, a calculated camera position parameter, and a target parking position. Identifying a relative positional relationship between the vehicle and the target parking position based on a predetermined positional relationship of the fixed target to be performed, and parking for guiding the vehicle to the target parking position based on the identified relative positional relationship Calculating a trajectory.
  • the parking assistance device and the parking assistance method according to the present invention turn on the feature points according to the lighting request, the fixed target can be recognized with high recognition accuracy using a simple image recognition process.
  • FIG. 3 is a diagram showing a configuration of a mark according to Embodiment 1.
  • FIG. 4 is a flowchart for explaining the rough operation of the parking assistance apparatus according to the first embodiment. It is the schematic explaining the rough operation
  • FIG. It is a flowchart explaining the detail of the parking assistance operation
  • FIG. 10 is a flowchart illustrating a parking assist operation according to the second embodiment. It is a figure which shows the state which the light-emitting body of a mark is displaying nine feature points which concern on Embodiment 3.
  • FIG. 10 is a flowchart illustrating a parking assistance operation according to the third embodiment.
  • FIG. 10 is a schematic diagram illustrating a parking assist operation according to a third embodiment. It is a figure which shows the structure of the 1st mark which concerns on Embodiment 4.
  • FIG. 10 is a flowchart illustrating a parking assist operation according to the fourth embodiment. It is the schematic explaining the parking assistance operation
  • FIG. 10 is a flowchart illustrating a parking assist operation according to the second embodiment. It is a figure which shows the state which the light-emitting body of a mark is displaying nine feature points which concern on Embodiment 3.
  • FIG. 10 is a flowchart illustrating a parking assistance operation according to the third embodiment.
  • FIG. 10 is a schematic diagram illustrating a parking assist operation according to a fifth embodiment.
  • FIG. 10 is a schematic diagram illustrating a parking assist operation according to a sixth embodiment. It is a figure explaining the mark coordinate system used for calculation of a position parameter. It is a figure explaining the image coordinate system used for calculation of a position parameter.
  • Embodiment 1 of the present invention will be described below with reference to the accompanying drawings.
  • 1 and 2 are diagrams schematically showing a configuration of a parking assistance apparatus according to Embodiment 1 of the present invention.
  • the parking space S is a predetermined target parking position where the driver of the vehicle V intends to park the vehicle V.
  • the parking assistance apparatus according to the present invention provides assistance for the parking to the driver.
  • a parking lot side device 10 is provided in association with the parking space S, and a vehicle side device 20 is mounted on the vehicle V.
  • the parking lot side apparatus 10 includes a mark M as a fixed target.
  • This mark M is a so-called electronic bulletin board-like mark provided with a plurality of light emitters 1 (a plurality of light emitting means).
  • the mark M is fixed to a predetermined place having a predetermined positional relationship with respect to the parking space S, for example, a floor surface.
  • the predetermined positional relationship of the mark M with respect to the parking space S is grasped in advance, and the predetermined positional relationship of each light emitter 1 with respect to the mark M is also grasped in advance.
  • the parking lot side device 10 includes a display control device (display control means) 11 that controls the light emitter 1 of the mark M.
  • the display control device 11 performs control to turn on or turn off each of the light emitters 1 independently.
  • the parking lot-side device 10 includes a parking lot-side communication device (parking lot-side communication means) 12 that communicates with the vehicle-side device 20.
  • the vehicle side device 20 includes a camera 21 and a camera 22 for photographing at least one of the light emitters 1 of the mark M, a vehicle side communication device (vehicle side communication means) 23 that communicates with the parking lot side device 10, and And a control device 30 that is connected to these and controls the operation of the vehicle-side device 20.
  • the camera 21 and the camera 22 are each installed at a predetermined place having a predetermined positional relationship with the vehicle V.
  • the camera 21 is built in the door mirror of the vehicle V, and when the vehicle V is located at the point A near the parking space S, the camera 21 includes a mark M installed on the floor surface of the parking space S in the field of view. Is installed.
  • the vehicle side communication device 23 can communicate with the parking lot side communication device 12 described above. This communication may be any communication as long as it is performed without contact, but can be performed, for example, by a radio signal or an optical signal.
  • the control device 30 is connected to the camera 21 and the camera 22 and includes an image recognition device (image recognition means) 31 that extracts feature points from the captured image and recognizes the two-dimensional coordinates of the feature points on the image. Further, the control device 30 calculates a parking locus for guiding the vehicle to the parking space, and outputs guidance information for driving operation based on the parking locus to the driver of the vehicle by video / audio or the like (guidance control means). ) 33. Furthermore, the control device 30 includes a parking assist calculation device 32 that controls the image recognition device 31, the vehicle-side communication device 23, and the guidance control device 33.
  • FIG. 3 shows the configuration of the parking assist calculation device 32.
  • the parking assistance calculation device 32 includes a position parameter calculation unit 34 that calculates a position parameter of the camera 21 or the camera 22 based on the feature point.
  • the parking assist calculation device 32 also includes a relative position specifying unit 35 that specifies the relative positional relationship between the vehicle and the parking space, and a lighting request generating unit that generates information about which of the light emitters 1 of the mark M should be turned on. 36, and a parking locus calculating means 37 for calculating a parking locus for guiding the vehicle V to the target parking position based on the relative positional relationship specified by the relative position specifying means 35.
  • the position parameter calculation unit 34 stores a predetermined positional relationship of the mark M with respect to the parking space S and each predetermined positional relationship of the light emitter 1 with respect to the mark M. Or each positional relationship of the light-emitting body 1 with respect to the parking space S is memorize
  • FIG. 4 shows the configuration of the mark M fixed in the parking space S.
  • a plurality of light emitters 1 are fixedly arranged in a predetermined region of the mark M, and an arbitrary shape can be displayed by lighting a specific light emitter 1.
  • FIG. 5 shows a state in which the light emitter 1 of the mark M displays four feature points C1 to C4. Some of the light emitters 1a are turned on and emit light (indicated by black circles), and the other light emitters 1b are not turned on and are not emitting light (in white circles). Show).
  • Each of the feature points C1 to C4 is formed by a set of the light-emitting bodies 1a that are lighted close to each other.
  • FIG. 1 shows the configuration of the mark M fixed in the parking space S.
  • a plurality of light emitters 1 are fixedly arranged in a predetermined region of the mark M, and an arbitrary shape can be displayed by lighting a specific light emitter 1.
  • FIG. 5 shows a state in which the light emitter 1 of the mark
  • the feature points C1 to C4 are not actually points but are substantially circular areas having a spread, but the positions of the feature points (that is, two-dimensional coordinates corresponding to the feature points). Only one can be determined.
  • the two-dimensional coordinate corresponding to the feature point C1 can be regarded as a two-dimensional coordinate of the center of the circle formed by the feature point C1 by regarding the area occupied by the feature point C1 as a circle. The same applies to the feature points C2 to C4.
  • FIG. 7A shows a state before the start of parking assistance.
  • the vehicle V has not reached the predetermined start position, and all the light emitters 1 of the mark M are turned off.
  • the driver operates the vehicle V so as to be positioned at a predetermined parking assistance start position in the vicinity of the parking space S (step S1).
  • This predetermined position is, for example, a point A shown in FIG.
  • the driver instructs the parking assistance device to start a parking assistance operation (step S2). This instruction is performed, for example, by turning on a specific switch.
  • the vehicle side device 20 Upon receiving this instruction, the vehicle side device 20 transmits a connection request to the parking lot side device 10 via the vehicle side communication device 23 (step S3). This connection request is received by the display control device 11 via the parking lot side communication device 12. Upon receiving this connection request, the display control device 11 transmits an acknowledgment (ACK) indicating that the connection has been normally received to the vehicle side device 20 via the parking lot side communication device 12 (step S4), and a parking assist calculation. The device 32 receives this via the vehicle side communication device 23.
  • ACK acknowledgment
  • step S5 a parking assist operation is performed.
  • the vehicle V travels according to the driving operation of the driver, and the relative positional relationship between the vehicle V, the parking space S, and the mark M changes accordingly. This state is shown in FIG.
  • step S6 the lighting request generation unit 36 turns off the mark that is information indicating that the entire mark M (all the light emitters 1) is turned off.
  • requirement is produced
  • the display control device 11 turns off all the light emitters 1 of the mark M based on the mark turn-off request (step S8). This state is shown in FIG. Thereafter, the display control device 11 transmits an affirmative response as a turn-off notification indicating that all the light emitters 1 of the mark M are turned off (step S9). As a result, the operation of the parking assist device is completed (step S10).
  • step S5 in FIG. 6 will be described in more detail with reference to the flowchart in FIG. 8 and the schematic diagram in FIG. FIG. 8 shows a part of detailed operation included in step S5, and FIG. 9 shows the state of the mark M at each time point in FIG.
  • the lighting request generation means 36 first generates a lighting request that is information indicating that the first feature point is to be lit, and transmits this to the parking lot side device 10 (step S101).
  • the first feature point is the feature point C1.
  • a schematic diagram at this point is shown in FIG. Any type of lighting request may be used.
  • information indicating whether the light emitter 1 should be turned on or off may be included for all of the light emitters 1. Or it is good also as what contains the information which specifies only what should be lighted out among all the light-emitting bodies 1.
  • FIG. may include identification information representing the feature point C1, and in this case, the display control device 11 may specify the light emitter 1 to be turned on according to the identification information.
  • the display control device 11 turns on the constituents of the feature point C1 among the light emitters 1 of the mark M based on the lighting request of the first feature point, and turns off the other ones (step S102). Thereafter, the display control device 11 transmits an affirmative response as a lighting notification indicating that the feature point C1 is lit (step S103).
  • a schematic diagram at this point is shown in FIG.
  • the image recognition device 31 performs image recognition of the feature point C1 (step S104).
  • the image recognition device 31 receives an image taken by the camera 21 or the camera 22 as an input, extracts a feature point C1 from this image, recognizes and acquires a two-dimensional coordinate of the feature point C1 on the image. To do. A schematic diagram at this point is shown in FIG.
  • the driver may specify one of the cameras according to the positional relationship between the vehicle V and the mark M, or the driver may check the image of each camera and specify one of the cameras.
  • the coordinates of the feature point C1 may be acquired for both images, and the image that has been successfully acquired may be used.
  • an image from the camera 21 is used as an example.
  • the feature point C1 is a wide area, but the image recognition device 31 specifies only one coordinate of the feature point C1.
  • the area occupied by the feature point C1 can be regarded as a circle, and the center of the circle can be used as the coordinate of the feature point C1.
  • step S101 the acknowledgment (step S103) received immediately before is related to the feature point C1
  • the parking assistance calculation device 32 recognizes that this is the coordinate of the feature point C1.
  • the lighting request generation unit 36 generates a lighting request that is information indicating that the second feature point is to be lit, and transmits this to the parking lot apparatus 10 (step S105).
  • the second feature point is the feature point C2.
  • a schematic diagram at this point is shown in FIG. In this way, a plurality of different lighting requests are sequentially transmitted. Note that the lighting state of the mark M is not changed at the time of FIG. 9D, and the feature point C1 remains displayed.
  • the display control device 11 turns on the constituents of the feature point C2 among the light emitters 1 of the mark M based on the lighting request for the second feature point, and turns off the other ones (step S106).
  • the display control device 11 transmits an affirmative response as a lighting notification indicating that the feature point C2 is lit (step S107).
  • a schematic diagram at this point is shown in FIG.
  • the parking assistance calculation device 32 controls the image recognition device 31 to perform image recognition of the feature point C2 (step S108).
  • the image recognition device 31 receives an image captured by the camera 21 as an input, extracts a feature point C2 from the image, and recognizes and acquires a two-dimensional coordinate of the feature point C2 on the image.
  • a schematic diagram at this point is shown in FIG.
  • the image recognition device 31 does not recognize a plurality of feature points by mistake. That is, it is not necessary to give each feature point a different shape in order to distinguish the feature points from each other, or to provide a reference display indicating the direction of the mark M. For this reason, the feature point recognition processing by the image recognition device 31 can be simplified, and high recognition accuracy can be obtained.
  • the lighting request generation means 36 generates a lighting request that is information indicating that the third feature point is to be lit, and transmits this to the parking lot apparatus 10 (step S109).
  • the third feature point is the feature point C3.
  • the display control device 11 turns on the light emitting body 1 of the mark M that makes up the feature point C3 and turns off the others (step S110). Thereafter, the display control device 11 transmits an affirmative response as a lighting notification indicating that the feature point C3 is lit (step S111).
  • the parking assistance calculation device 32 controls the image recognition device 31 to perform image recognition of the feature point C3 (step S112).
  • the image recognition device 31 receives an image captured by the camera 21 as an input, extracts a feature point C3 from the image, and recognizes and acquires a two-dimensional coordinate of the feature point C3 on the image.
  • the feature points C1 and C2 are already off, and the mark M displays only the feature point C3. Therefore, the image recognition device 31 does not recognize a plurality of feature points by mistake.
  • the position parameter calculation unit 34 uses the three-dimensional coordinates (x, y, z) of the camera 21 with the mark M as a reference. ), A tilt angle (down angle), a pan angle (direction angle), and a swing angle (rotation angle) are calculated as position parameters (step S113).
  • FIG. 20 is a diagram illustrating the mark coordinate system.
  • the mark coordinate system is a three-dimensional world coordinate system that represents the positional relationship between the mark M and the camera 21.
  • the Xw axis, the Yw axis, and the Zw axis can be set with the center of the mark M as the origin (the Zw axis is an axis toward the front side of the page).
  • the coordinates of the feature point Cn (where 1 ⁇ n ⁇ 3) are expressed as (Xwn, Ywn, Zwn).
  • FIG. 21 is a diagram illustrating the camera coordinate system.
  • the camera coordinate system is a two-dimensional image coordinate system that represents a mark on an image captured by the camera 21.
  • the Xm axis and the Ym axis can be set with the upper left corner of the image as the origin.
  • the coordinates of the feature point Cn are expressed as (Xmn, Ymn).
  • Ki (1 ⁇ i ⁇ 6) is a position parameter of the camera 21 to be obtained
  • K1 is an X coordinate
  • K2 is a Y coordinate
  • K3 is a Z coordinate
  • K4 is a tilt angle
  • K5 is a pan angle
  • K6 is a swing angle.
  • Lj (j ⁇ 1) is a known camera internal parameter.
  • L1 represents a focal length
  • L2 represents a distortion coefficient
  • L3 represents a scale factor
  • L4 represents a lens center.
  • DXn and DYn are deviations between the X and Y coordinates of the feature point Cn calculated using the functions F and G and the X and Y coordinates of the feature point Cn recognized by the image recognition device 31.
  • the simultaneous equation 1 includes six relational equations.
  • the positional parameters are determined by creating the number of relational expressions equal to the number “6” of the positional parameters Ki to be calculated, but more relational expressions can be obtained by using more feature points.
  • the position parameter Ki can be obtained with higher accuracy.
  • ten relational expressions may be created with five characteristic points for six positional parameters Ki.
  • the relative position specifying means 35 specifies the relative position relationship between the vehicle V and the parking space S (step S114).
  • the relative positional relationship is specified in step S114 as follows. First, the positional relationship of the mark M with respect to the vehicle V is specified based on the positional parameters calculated by the positional parameter calculation means 34 and the predetermined positional relationship of the camera 21 with respect to the vehicle V that has been grasped in advance.
  • the positional relationship of the mark M with respect to the vehicle V can be expressed using a three-dimensional vehicle coordinate system based on a vehicle reference point fixed with respect to the vehicle V.
  • the position / angle of the mark M in the vehicle coordinate system can be expressed uniquely using the predetermined function H as follows.
  • Vi H (Ki, Oi)
  • Oi (1 ⁇ i ⁇ 6) is an offset parameter between the vehicle reference point and the camera position in the vehicle coordinate system, and is known.
  • Vi (1 ⁇ i ⁇ 6) is a parameter representing the position and angle of the mark M viewed from the vehicle reference point in the vehicle coordinate system.
  • the positional relationship of the vehicle V with respect to the mark M on the road surface is calculated.
  • the relative positional relationship between the vehicle V and the parking space S is specified based on the predetermined positional relationship of the mark M with respect to the parking space S and the positional relationship of the vehicle V with respect to the mark M.
  • the guidance control device 33 presents to the driver guidance information for guiding the vehicle V to the parking space S based on the relative positional relationship between the vehicle V and the parking space S specified by the relative position specifying means 35.
  • the parking locus calculating means 37 first calculates a parking locus for guiding the vehicle V to the target parking position based on the relative positional relationship specified by the relative position specifying means 35, and then the guidance control device 33. However, the vehicle V is guided to travel along the calculated parking locus. Thus, the driver can drive and park the vehicle V according to an appropriate parking locus only by performing a driving operation according to the guidance information.
  • Steps S101 to S115 in FIG. 8 are repeatedly executed. These processes may be repeated at a predetermined time interval, may be repeated according to the travel distance interval of the vehicle V, and depending on the driving operation (start, stop, change of the steering angle, etc.) by the driver. It may be repeated.
  • the recognition error of the characteristic points C1 to C3 of the initial mark M, the condition of the vehicle V such as the tire reduction and the inclination of the vehicle V, and the road surface condition such as the step and the inclination are almost all. Without being influenced, it becomes possible to park in the parking space S which is the final target parking position with high accuracy.
  • image recognition may be performed at different positions on the vehicle V for different feature points. The correction may be performed based on the travel distance.
  • the relative positional relationship between the camera 21 and the camera 22 and the mark M changes, so that the mark M or each feature point deviates from the field of view of each camera, or the same camera or another camera again.
  • the driver may switch the camera according to the positional relationship between the vehicle V and the mark M, or the driver may check the image of each camera and switch the camera.
  • image recognition of feature points for both images may be performed, and an image that can recognize more feature points may be used.
  • the display control device 11 of the parking lot side device 10 the control device 30 of the vehicle side device 20, the image recognition device 31, the parking assist calculation device 32, the guidance control device 33, the position parameter calculation means 34, and the relative position specification means 35.
  • the lighting request generation means 36 and the parking locus calculation means 37 can each be constituted by a computer, and the operations of steps S1 to S10 in FIG. 6 and steps S101 to S115 in FIG. 8 are recorded on a recording medium or the like as a parking assistance program. As a result, each step can be executed by a computer.
  • the relative positional relationship between the mark M and the vehicle V can be specified.
  • four relational expressions are created from the two-dimensional coordinates of at least two feature points of the mark M, four positional parameters can be obtained.
  • the accuracy can be improved by the least square method or the like.
  • the vehicle V includes two cameras (camera 21 and camera 22), but only one camera may be provided. Further, three or more cameras may be provided, and the cameras used for image recognition may be switched as appropriate as in the first embodiment.
  • image recognition may be performed for all images including the feature point. For example, if two cameras are shooting one feature point at the same time, four relational expressions can be created from one feature point, so if there is one feature point in the mark M, three-dimensional coordinates
  • the position parameter of the camera 21 consisting of four parameters (x, y, z) and pan angle (direction angle) can be calculated.
  • the feature point is substantially circular, but this may be another shape such as a cross or a square, and the feature point may be formed by a different number of light emitters 1.
  • step S115 the guidance control device 33 presents guidance information to the driver and prompts the driver to perform a manual driving operation.
  • automatic driving may be performed to guide the vehicle V to the target parking position.
  • the vehicle V may have a well-known configuration necessary for executing the automatic driving, and may automatically travel along the parking locus calculated by the parking locus calculating means 37.
  • Such a configuration uses, for example, a sensor that detects a state related to traveling of the vehicle V, a steering control device that controls the steering angle, an acceleration control device that controls acceleration, and a deceleration control device that controls deceleration. Can be realized.
  • These devices output traveling signals such as an accelerator control signal for acceleration, a brake control signal for deceleration, and a steering control signal for steering the steering wheel, and cause the vehicle V to travel automatically. Or you may comprise so that a steering wheel may be steered automatically corresponding to the movement of the vehicle V by a driver
  • FIG. 10 shows a part of detailed operations included in step S5 of FIG.
  • the lighting request generating means 36 first substitutes 1 as an initial value for a variable n representing a feature point number (step S201).
  • the lighting request generation means 36 generates a lighting request for the nth feature point and transmits it to the parking lot apparatus 10 (step S202).
  • n 1, a lighting request for the first feature point is generated and transmitted.
  • the first feature point is the feature point C1.
  • the display control device 11 turns on the light emitting body 1 of the mark M that constitutes the corresponding feature point and turns off the others (step S203).
  • the display control device 11 lights the feature point C1.
  • the display control device 11 transmits an affirmative response as a lighting notification indicating that the feature point corresponding to the lighting request is lit (step S204).
  • the image recognition device 31 performs image recognition of the nth feature point (step S205).
  • image recognition of the feature point C1 is performed.
  • the image recognition device 31 receives an image taken by the camera 21 or the camera 22 as an input, extracts a feature point C1 from this image, recognizes and acquires the two-dimensional coordinates of the feature point C1 on the image. To do. Here, it is assumed that the image recognition of the feature point C1 has succeeded and two-dimensional coordinates have been acquired.
  • the second embodiment not only the case where the feature point image recognition is successful and the feature point coordinates can be acquired correctly but also the case where the feature point coordinates cannot be acquired is assumed.
  • the coordinates of the feature point cannot be acquired for example, the feature point is not photographed due to the presence of an obstacle, the type of vehicle, the structure of the vehicle body, the mounting position of the camera, the distance and positional relationship between the vehicle and the mark, There may be a case where the image is not in a state sufficient for image recognition.
  • the image recognition device 31 determines whether the number of feature points that have been successfully recognized so far is three or more (step S206).
  • the number of feature points that succeeded in image recognition is 1 (only the feature point C1), that is, less than 3.
  • the lighting request generation unit 36 increases the value of the variable n by 1 (step S207), and returns the process to step S202. That is, the processes in steps S202 to S205 are performed on the second feature point (for example, feature point C2).
  • the determination in step S206 is performed again, and the number of feature points that have been successfully recognized in the image is 2.
  • steps S202 to S205 is further performed on the third feature point (for example, feature point C3).
  • the camera 21 or the camera 22 and the feature point C3 are blocked by a part of the vehicle body, and the image recognition of the feature point C3 has failed.
  • the processes of steps S202 to S205 are further performed on the fourth feature point (for example, feature point C4).
  • the image recognition of the feature point C4 is successful.
  • step S206 it is determined that the number of feature points that have been successfully recognized is three or more.
  • the position parameter calculating means 34 is based on the two-dimensional coordinates of all feature points (in this example, feature points C1, C2, C4) that have been successfully recognized by the image recognition device 31, and the position parameter of the camera 21 or the camera 22 is determined. Is calculated (step S208). This process is performed in the same manner as step S113 of FIG. 8 in the first embodiment.
  • the lighting request generation unit 36 when the image recognition device 31 does not recognize the two-dimensional coordinates of the predetermined number of feature points, the lighting request generation unit 36 generates a new lighting request, and the image recognition device 31 Image recognition of new feature points is performed. Therefore, even if image recognition fails for some of the feature points, the additional feature points are turned on to perform image recognition, and secure a sufficient number of feature points to calculate the camera position parameters. be able to.
  • the relative position specifying means 35 specifies the relative positional relationship between the vehicle V and the parking space S, and the guidance control device 33 presents guidance information to the driver (not shown). .
  • the number of feature points used for calculating the camera position parameter is three or more (step S206), but this may be a different number. That is, the number of reference feature points may be increased or decreased according to the calculation accuracy of the camera position parameters and the number of position parameters to be calculated. Although only four feature points C1 to C4 are shown in FIG. 5, the fifth and subsequent feature points may be displayed at positions different from these. In that case, it may be a positional relationship in which some of the plurality of feature points overlap. That is, the same light emitter 1 may belong to a plurality of feature points. Even in such a case, it is not necessary to change the processing of the display control device 11 and the image recognition device 31 because only one feature point is lit at a single point.
  • the camera position parameter can be calculated. For this reason, it is not always necessary to install the mark M at a position where it can be easily seen. For example, even if the mark M is installed on the back wall of the parking lot and a part of the mark M is easily shielded by the side wall of the parking lot, the camera position parameter can be calculated appropriately. Furthermore, even if the size of the mark M is large and the whole does not fit within the field of view of the camera 21 or the camera 22, three or more feature points are lit in the field of view and the camera position parameters are calculated appropriately. can do.
  • Embodiment 3 image recognition is always performed using feature points of the same size (for example, feature points C1 to C4 in FIG. 5) regardless of the distance between the mark M and the camera 21 or the camera 22.
  • feature points C1 to C4 in FIG. 5 different sizes and different numbers of feature points are used according to the distance between the mark M and the camera 21 or the camera 22.
  • FIG. 11 shows a state in which the light emitter 1 of the mark M displays the feature points C11 to C19 used in the third embodiment.
  • the feature points C1 to C4 shown in FIG. 5 and the feature points C11 to C19 shown in FIG. 11 are selectively used according to the distance between the mark M and the camera 21 or the camera 22. If the feature points C1 to C4 in FIG. 5 are the first size, the feature points C11 to C19 in FIG. 11 have a second size smaller than the first size.
  • the size of the feature point is defined by, for example, the number of light emitters 1 constituting the feature point. Further, the number of feature points C1 to C4 (first number) in FIG.
  • the number of feature points C11 to C19 (second number) in FIG. 11 is nine more than this. Therefore, the number of lighting requests (first lighting request number) for displaying the feature points C1 to C4 in FIG. 5 is four, and the number of lighting requests for displaying the feature points C11 to C19 in FIG. The number of second lighting requests) is nine.
  • FIG. 12 shows a part of detailed operations included in step S5 of FIG. 6, and FIG. 13 shows the state of the mark M and the position of the vehicle V at each time point.
  • the relative positional relationship between the vehicle V, the parking space S, and the mark M at a certain point in the parking assist operation is as shown in FIG. It is assumed that the vehicle V is at a point B and the camera 22 can capture the entire mark M.
  • steps S301 to S305 in FIG. 12 a camera position specifying process using large feature points is performed.
  • the large feature points are, for example, feature points C1 to C4 in FIG.
  • steps S301 to S304 in FIG. 12 are repeated by the number of feature points (in this case, 4) as in the first embodiment.
  • the image recognition apparatus 31 recognizes the two-dimensional coordinates of the feature points C1 to C4 in FIG.
  • each feature point can be clearly photographed even when the distance between the camera 22 and the mark M is large, and image recognition is performed. Can be performed with high accuracy.
  • the position parameter calculation unit 34 uses the three-dimensional coordinates (x, y, z) of the camera 21 with the mark M as a reference. ), A position parameter composed of six parameters of tilt angle (down angle), pan angle (direction angle), and swing angle (rotation angle) is calculated (step S305).
  • This process is performed in the same manner as in step S113 in FIG. 8 in the first embodiment (however, since the number of feature points is 4, eight relational expressions are used).
  • the relative position specifying means 35 specifies the relative positional relationship between the vehicle V and the parking space S, and the guidance control device 33 presents guidance information to the driver (not shown).
  • the position parameter calculation means 34 calculates the distance between the camera 22 and the mark M based on the calculated position parameter of the camera 22, and determines whether this distance is less than a predetermined threshold (step S306). If it is determined that the distance is greater than or equal to the predetermined threshold, the process returns to step S301, and the camera position specifying process using large feature points is repeated.
  • the driver travels (for example, reverses) the vehicle V according to the guidance information from the guidance control device 33, and the relative positional relationship between the vehicle V, the parking space S, and the mark M is as shown in FIG. To do.
  • the vehicle V is at a point C and the distance between the camera 22 and the mark M is less than a predetermined threshold. If it is determined in step S306 that the distance between the camera 22 and the mark M is less than the predetermined threshold, as shown in steps S307 to S311, camera position specifying processing using a number of feature points is executed.
  • the many feature points are, for example, feature points C11 to C19 in FIG. Note that steps S307 to S310 in FIG. 12 are repeated by the number of feature points (in this case, 9) as in the first embodiment.
  • the image recognition apparatus 31 recognizes the two-dimensional coordinates of the feature points C11 to C19 in FIG.
  • the number of relational expressions for calculating the position parameter can be large (in this case, 18), and the accuracy of the position parameter can be improved.
  • the size of the feature points C11 to C19 is a relatively small second size.
  • the camera 22 is close to the mark M, even a small feature point can be clearly photographed, and image recognition can be performed. Accuracy can be maintained.
  • the position parameter is used to determine the distance, but a relative positional relationship may be used instead. That is, the distance between the vehicle V and the parking space S may be determined based on the relative positional relationship between the vehicle V and the parking space S, and the determination in step S306 may be performed based on this distance.
  • FIG. 14 shows the configuration of the first mark M1 according to the fourth embodiment.
  • a plurality of light emitters 1 are fixedly arranged along a predetermined shape of the first mark M1.
  • the first mark M1 according to the fourth embodiment displays a predetermined feature point by turning on all the light emitters 1 simultaneously.
  • the light emitters 1 are arranged in a shape that combines predetermined line segments. These line segments are recognized by image recognition, and five feature points C21 to C25 are obtained by obtaining intersections of the line segments. Can be recognized.
  • the second mark M2 has the same configuration as the first mark M1 shown in FIG.
  • FIG. 15 shows a part of detailed operation included in step S5 of FIG. 6, and FIG. 16 shows the state of the mark set MS and the position of the vehicle V at each time point.
  • the mark set MS is a fixed target in the fourth embodiment, and includes a first mark M1 and a second mark M2 as a plurality of fixed target portions.
  • the lighting request generation unit 36 first generates a lighting request that is information indicating that the second mark M2 is to be lit, and transmits this to the parking lot side device 10 (step S401).
  • This lighting request indicates, for example, that only the second mark M2 is turned on among the first mark and the second mark M2 included in the mark set MS, but all of the light emitters 1 included in the mark set MS are illuminated. Among them, it may indicate that only those constituting the second mark M2 are turned on.
  • the display control device 11 lights the second mark M2 based on the lighting request for the second mark M2 (step S402). Thereafter, the display control device 11 transmits an affirmative response as a lighting notification indicating that the second mark M2 is lit (step S403).
  • FIG. 16A is a schematic diagram at this point.
  • the image recognition device 31 performs image recognition of the feature points C21 to C25 included in the second mark M2 (step S404). .
  • the image recognition device 31 receives an image taken by the camera 22 as an input, extracts feature points C21 to C25 of the second mark M2 from this image, and features points of the second mark M2 on the image.
  • one lighting request corresponds to a plurality of feature points that are lit simultaneously. This is different from Embodiments 1 to 3 in which one lighting request corresponds to one feature point.
  • the first mark M1 and the second mark M2 have the same shape, but the lighting request transmitted immediately before step S404 (step S401) or the acknowledgment received immediately before (step S403) is the second mark M2. Therefore, the parking assist calculation device 32 recognizes that these are the coordinates of the feature points included in the image of the second mark M2.
  • the position parameter calculation means 34 uses the second mark M2 as a reference for the three-dimensional of the camera 21.
  • a position parameter consisting of six parameters of coordinates (x, y, z), tilt angle (down angle), pan angle (direction angle), and swing angle (rotation angle) is calculated (step S405).
  • This process is performed in the same manner as in step S113 in FIG. 8 in the first embodiment (however, since the number of feature points is 5, 10 relational expressions are used).
  • the relative position specifying means 35 specifies the relative positional relationship between the vehicle V and the parking space S, and the guidance control device 33 presents guidance information to the driver (not shown).
  • the position parameter calculation means 34 calculates the distance between the camera 22 and the second mark M2 based on the calculated position parameter of the camera 22, and determines whether or not this distance is less than a predetermined threshold (Ste S406). If it is determined that the distance is equal to or greater than the predetermined threshold value, the process returns to step S404, and the image recognition and camera position specifying process with the second mark M2 turned on are repeated.
  • the driver causes the vehicle V to travel (for example, reverse) in accordance with the guidance information from the guidance control device 33.
  • the camera moves backward, the camera 22 approaches the second mark M2, and the second mark M2 in the image captured by the camera 22 increases.
  • the relative positional relationship between the vehicle V, the parking space S, and the mark set MS is as shown in FIG. It is assumed that the vehicle V is at a point E and the distance between the camera 22 and the second mark M2 is less than a predetermined threshold.
  • the lighting request generation unit 36 when it is determined that the distance between the camera 22 and the second mark M2 is less than the predetermined threshold, the lighting request generation unit 36 generates a lighting request for the first mark M1, and this is generated on the parking lot side. It transmits to the apparatus 10 (step S407).
  • step S408 the display control device 11 turns on the first mark M1 and turns off the second mark M2 based on the turn-on request for the first mark M1 (step S408).
  • FIG. 16B is a schematic diagram at this point.
  • the display control device 11 transmits an affirmative response as a lighting notification indicating that the first mark M1 is lit (step S409).
  • the image recognition device 31 performs image recognition of the feature points C21 to C25 included in the first mark M1 (step S410). .
  • the image recognition device 31 receives an image taken by the camera 22 as an input, extracts feature points C21 to C25 of the first mark M1 from this image, and features points of the first mark M1 on the image. Recognizes and acquires the two-dimensional coordinates C21 to C25.
  • the position parameter calculation means 34 uses the first mark M1 as a reference for the three-dimensional of the camera 21.
  • a position parameter consisting of six parameters of coordinates (x, y, z), tilt angle (declining angle), pan angle (direction angle), and swing angle (rotation angle) is calculated (step S411).
  • the relative position specifying means 35 specifies the relative positional relationship between the vehicle V and the parking space S, and the guidance control device 33 presents guidance information to the driver (not shown).
  • the mark used for image recognition is switched according to the positional relationship between the camera and the mark set MS, particularly the distance between the camera and each mark included in the mark set MS.
  • the second mark M2 closer to the vehicle V can be turned on to recognize the feature point more clearly, and the vehicle V and the parking space S approach each other.
  • the first mark M1 is turned on and the feature point can be recognized more reliably.
  • the mark set MS includes only the first mark M1 and the second mark M2, but this may include three or more marks, and these may be included depending on the distance between the camera and each mark. It may be used while switching.
  • the position parameter is used for the distance determination, but a relative positional relationship may be used instead. That is, the distance between the vehicle V and the parking space S may be determined based on the relative positional relationship between the vehicle V and the parking space S, and the determination in step S406 may be performed based on this distance.
  • first mark M1 and the second mark M2 may be configured using the same mark M as in the first to third embodiments.
  • FIG. 17 shows such a configuration.
  • the light emitters 1 included in the mark M only the light emitters 1 located at positions corresponding to the light emitters 1 included in the first mark M1 and the second mark M2 shown in FIG. 14 are lit, and the first mark M1.
  • the feature points C31 to C35 of the mark M can be recognized by the same processing as the feature points C21 to C25 of the second mark M2.
  • the determination in step S406 may be based on a value different from the distance between the camera and the second mark M2.
  • the number of feature points C21 to C25 of the second mark M2 that have been successfully recognized may be used as a reference. In this case, the position parameter cannot be calculated using the second mark M2, or the first mark M1 is switched when the calculation accuracy decreases.
  • all feature points C21 to C25 in either the first mark M1 or the second mark M2 are displayed at the same time, and an image recognition technique for recognizing them separately from each other is used.
  • the mark M according to the first to third embodiments is used in place of the first mark M1 and the second mark M2, the feature points are sequentially turned on and individually recognized as in the first to third embodiments, so that a simpler image can be obtained. Recognition techniques can also be used.
  • Embodiment 5 FIG.
  • the fourth embodiment assumes that the parking space S is supported for parking from a single direction.
  • parking assistance is provided for parking from both directions toward a single parking space in the fourth embodiment.
  • the parking space S ′ can be parked from both directions D1 and D2 opposite to each other. That is, the parking is possible so that the vehicle V faces in any direction in the state where the parking is completed.
  • the 1st mark M1 and the 2nd mark M2 are arrange
  • the second mark M2 is turned on. As the vehicle V travels, the distance between the camera used for the feature point image recognition and the second mark M2 decreases, and when the distance falls below a predetermined threshold, the second mark M2 is turned off and the first mark M1 is turned on. . This state is shown in FIG. As in the fourth embodiment, since the mark used for image recognition is switched according to the distance between the camera and each mark included in the mark set MS, there is a high possibility that any one of the marks can be always recognized.
  • the first mark M1 is first lit. This state is shown in FIG. As the vehicle V travels, the distance between the camera used for image recognition of the feature point and the first mark M1 decreases. When the distance is less than a predetermined threshold, the first mark M1 is turned off and the second mark M2 is turned on. . This state is shown in FIG. As in the fourth embodiment, since the mark used for image recognition is switched according to the distance between the camera and each mark included in the mark set MS, there is a high possibility that any one of the marks can be always recognized.
  • the lighting order of the first mark M1 and the second mark M2 included in the mark set MS is determined according to the parking direction of the vehicle V.
  • the driver can instruct which of the directions D1 and D2 is to be parked, that is, in which order the first mark M1 and the second mark M2 are turned on by operating a switch or the like.
  • image recognition may be performed on both the first mark M1 and the second mark M2, and the control device 30 of the vehicle side device 20 may determine the order according to the result.
  • FIG. 19A parking support using only a single mark M in the fifth embodiment is performed.
  • the parking space S ′ can be parked from both directions D1 and D2 opposite to each other.
  • the mark M is arranged at the center of the parking space S ′.
  • image recognition of the feature point C1 is performed as the first feature point
  • image recognition of the feature point C2 is performed as the second feature point
  • the third feature point is performed.
  • Image recognition of the feature point C3 is performed as a point.
  • FIG. 19C consider a case where the vehicle V is parked from the direction D2.
  • image recognition of the feature point C3 is performed as the first feature point
  • image recognition of the feature point C4 is performed as the second feature point
  • the third feature point is performed.
  • Image recognition of the feature point C1 is performed as a point. That is, the first to third feature points are different from those shown in FIG. 19B, and each feature point shown in FIG. 19B is lit at a position rotated 180 degrees with reference to the mark M. Become. Thus, each feature point lights at a position corresponding to the direction in which the vehicle V is parked.
  • the same road surface coordinates can always be used without having to change the road surface coordinates of each feature point depending on the parking direction.
  • the same value can always be used as ⁇ xm 1 , ⁇ ym 1 , ⁇ zm 1 in the simultaneous equation 1 of the first embodiment. Therefore, it is possible to perform parking support from both directions while simplifying the position parameter calculation process.
  • parking assistance is performed only in two directions, but parking assistance can be performed from more directions depending on the shape of the parking space.
  • the parking space is a substantially square space that can be parked from east, west, north, and south, the position of each feature point can be rotated by 90 degrees in accordance with the parking direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　固定目標を撮影して利用する駐車支援装置において、単純な画像認識処理を用いながら高い認識精度で固定目標を認識することができるものを提供する。　マークＭは複数の発光体１を含む。複数の発光体１の集合によって特徴点Ｃ１～Ｃ４が形成される。車両側装置２０の点灯要求生成手段３６は、各特徴点の点灯要求を順次生成し、これを駐車場側装置１０に送信する。駐車場側装置１０の表示制御装置１１は、点灯要求に基づいて特徴点を点灯させる。車両側装置２０の画像認識装置３１は、特徴点を順次画像認識する。この結果を用いて、車両側装置２０の位置パラメータ算出手段３４がマークＭに対するカメラの位置パラメータを算出する。

Description

駐車支援装置および駐車支援方法
　この発明は、固定目標を撮影して利用する駐車支援装置に係り、特に撮影された固定目標の認識をより確実にする駐車支援装置および駐車支援方法に関する。
　従来から、駐車場等にあらかじめ目標となるマークを固設しておき、これを駐車支援に用いる駐車支援装置が知られている。例えば特許文献１では、マークをカメラで撮像し、得られた画像で画像認識処理を行ってマークの座標を特定し、これを用いて車両と目標駐車位置との相対位置関係を求め、この相対位置関係に基づいて駐車軌跡を算出し、撮影された画像にこの駐車軌跡を重畳して表示することによって駐車支援を行う。
　また、特許文献１には、このようなマークとして、ＬＥＤ等の発光体を用いることが開示されている。発光体を用いたマークは、ペイントやシート等のマークと比べて汚れに強く、擦れによる形状損失も受けにくいという利点がある。
国際公開第２００８／０８１６５５号パンフレット
　しかしながら、特許文献１のようにマークを撮影して画像認識処理を行う装置では、画像認識処理が複雑であり、また画像認識の精度にも改善の余地があるという問題があった。
　たとえば、正方形等の単純な形状のみのマークでは、マークの方向が判別できず、このため車両の位置を決定することが困難である。すなわち、マークの方向を規定できるような複雑なマーク形状が必要となるが、このため画像認識処理が複雑となる。
　さらに、カメラからのマークの見え方は一定ではなく、遮蔽物の存在、車両の種類、車体の構造、カメラの搭載位置、車両とマークとの距離や位置関係等によって変動する。このため、常にマークの全体が的確に撮影できるとは限らず、マークの画像認識の精度に改善の余地がある。
　この発明はこのような問題点を解消するためになされたものであり、単純な画像認識処理を用いながら高い認識精度で固定目標を認識できる駐車支援装置および駐車支援方法を提供することを目的とする。
　この発明に係る駐車支援装置は、車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを含み、目標駐車位置への駐車を支援する駐車支援装置であって、駐車場側装置は、複数の発光手段を備える固定目標であって、固定目標は目標駐車位置に対して所定の位置関係で固設され、複数の発光手段はそれぞれ固定目標に対して所定の位置関係で設けられる、固定目標と、車両側装置から送信される点灯要求を受信する駐車場側通信手段であって、点灯要求は複数の発光手段のうちいずれを点灯すべきかに関する情報を含む、駐車場側通信手段と、点灯要求に基づき、複数の発光手段を点灯させまたは消灯させる表示制御手段とを含み、車両側装置は、点灯要求を生成する点灯要求生成手段と、点灯要求を駐車場側装置に送信する車両側通信手段と、発光手段の少なくとも１つを撮影するためのカメラと、カメラにより撮影された発光手段の画像に基づいて特徴点を抽出すると共に、撮影された画像上における特徴点の２次元座標を認識する画像認識手段と、画像認識手段により認識された２組以上の２次元座標と、点灯要求とに基づいて、固定目標を基準とした少なくとも２次元座標とパン角とを含むカメラの位置パラメータを算出する、位置パラメータ算出手段と、位置パラメータ算出手段により算出されたカメラの位置パラメータと、目標駐車位置に対する固定目標の所定の位置関係とに基づいて、車両と目標駐車位置との相対位置関係を特定する相対位置特定手段と、相対位置特定手段によって特定された相対位置関係に基づいて、車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段とを含む。
　車両側装置からの点灯要求に従って、駐車場側装置が特定の発光手段を点灯させる。点灯した発光手段を車両側装置のカメラが撮影し、画像認識を行い、認識結果と点灯要求の内容とに基づいてカメラの位置および車両の位置を特定する。特定された車両の結果に基づき、車両を目標駐車位置へ案内する。
　点灯要求生成手段は、異なる複数の点灯要求を順次生成してもよい。このようにすると、一時点では一つの特徴点のみが点灯することになり、同時に点灯する複数の特徴点を互いに誤って認識することがない。
　画像認識手段が所定数の特徴点の２次元座標を認識していない場合、点灯要求生成手段は新たな点灯要求を生成してもよい。このようにすると、カメラの位置パラメータ算出を可能とするのに十分な数の特徴点、またはその精度を十分に高くする数の特徴点を認識するまで処理を繰り返すことができる。
　点灯要求は、第１のサイズの特徴点を点灯させる第１の点灯要求と、第２のサイズの特徴点を点灯させる第２の点灯要求とを含み、第２のサイズは第１のサイズより小さく、第２の点灯要求に対応する特徴点の数は第１の点灯要求に対応する特徴点の数より多く、点灯要求生成手段は、位置パラメータに応じて、または相対位置関係に応じて、第１の点灯要求および第２の点灯要求のいずれかを生成してもよい。このようにすると、車両の位置に応じ、適切なサイズおよび数の特徴点を点灯させることができる。
　１つの点灯要求は１つの特徴点に対応してもよい。
　固定目標は、複数の固定目標部分を含み、固定目標部分は、それぞれ複数の発光手段を備え、１つの点灯要求は、固定目標部分のいずれかにおいて同時に点灯する複数の特徴点に対応し、点灯要求生成手段は、位置パラメータに応じて、または相対位置関係に応じて、異なる点灯要求を生成してもよい。このようにすると、車両の位置に応じ、適切な固定目標部分を点灯させることができる。
　特徴点は円形であり、特徴点の２次元座標は特徴点が形成する円の中心の２次元座標であってもよい。このようにすると画像認識処理が簡素となる。
　また、この発明に係る駐車支援方法は、車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを用いる駐車支援方法であって、車両側装置から駐車場側装置へと点灯要求を送信するステップと、点灯要求に基づいて、複数の発光手段を点灯させまたは消灯させるステップと、発光手段の少なくとも１つを撮影するステップと、撮影された発光手段の画像に基づいて固定目標の特徴点を抽出すると共に、撮影された画像上における特徴点の２次元座標を認識するステップと、認識された２組以上の２次元座標と、点灯要求とに基づいて、固定目標を基準とした少なくとも２次元座標とパン角とを含むカメラの位置パラメータを算出するステップと、算出されたカメラの位置パラメータと、目標駐車位置に対する固定目標の所定の位置関係とに基づいて、車両と目標駐車位置との相対位置関係を特定するステップと、特定された相対位置関係に基づいて、車両を目標駐車位置へ誘導するための駐車軌跡を算出するステップとを含む。
　この発明に係る駐車支援装置および駐車支援方法は、点灯要求に従って特徴点を点灯させるので、単純な画像認識処理を用いながら高い認識精度で固定目標を認識することができる。
実施の形態１に係る駐車支援装置の構成を概略的に示す図である。 実施の形態１に係る駐車支援装置の構成を示すブロック図である。 実施の形態１に係る駐車支援演算装置の構成を示す図である。 実施の形態１に係るマークの構成を示す図である。 マークの発光体が４つの特徴点を表示している状態を示す。 実施の形態１に係る駐車支援装置の大まかな動作を説明するフローチャートである。 実施の形態１に係る駐車支援装置の大まかな動作を説明する概略図である。 図６の駐車支援動作の詳細を説明するフローチャートである。 図６の駐車支援動作の詳細を説明する概略図である。 実施の形態２に係る駐車支援動作を説明するフローチャートである。 マークの発光体が、実施の形態３に係る９つの特徴点を表示している状態を示す図である。 実施の形態３に係る駐車支援動作を説明するフローチャートである。 実施の形態３に係る駐車支援動作を説明する概略図である。 実施の形態４に係る第１マークの構成を示す図である。 実施の形態４に係る駐車支援動作を説明するフローチャートである。 実施の形態４に係る駐車支援動作を説明する概略図である。 実施の形態４において、実施の形態１～３と同様のマークを用いる構成を示す図である。 実施の形態５に係る駐車支援動作を説明する概略図である。 実施の形態６に係る駐車支援動作を説明する概略図である。 位置パラメータの算出に用いるマーク座標系を説明する図である。 位置パラメータの算出に用いる画像座標系を説明する図である。
実施の形態１．
　以下、この発明の実施の形態１を添付図面に基づいて説明する。
　図１および図２は、この発明の実施の形態１に係る駐車支援装置の構成を概略的に示す図である。駐車スペースＳは、車両Ｖの運転者が車両Ｖを駐車しようとする所定の目標駐車位置である。この発明に係る駐車支援装置は、運転者に対してこの駐車に関する支援を行う。
　駐車スペースＳに関連して駐車場側装置１０が設けられ、車両Ｖには車両側装置２０が搭載される。
　駐車場側装置１０は、固定目標としてのマークＭを含む。このマークＭは、複数の発光体１（複数の発光手段）を備える、いわゆる電子掲示板状のマークである。発光体１としてはたとえばＬＥＤを用いることができる。マークＭは、駐車スペースＳに対して所定の位置関係を有する所定の場所、たとえば床面に固設される。駐車スペースＳに対するマークＭの所定の位置関係はあらかじめ把握されており、また、マークＭに対する発光体１のそれぞれの所定の位置関係もあらかじめ把握されている。したがって、駐車スペースＳに対する発光体１のそれぞれの位置関係もあらかじめ把握されている。
　駐車場側装置１０は、マークＭの発光体１を制御する表示制御装置（表示制御手段）１１を含む。表示制御装置１１は、発光体１のそれぞれを独立に点灯させまたは消灯させる制御を行う。また、駐車場側装置１０は、車両側装置２０と通信を行う駐車場側通信装置（駐車場側通信手段）１２を備える。
　車両側装置２０は、マークＭの発光体１のうち少なくとも１つを撮影するためのカメラ２１およびカメラ２２と、駐車場側装置１０と通信を行う車両側通信装置（車両側通信手段）２３と、これらと接続されて車両側装置２０の動作を制御する制御装置３０とを備える。
　カメラ２１およびカメラ２２は、それぞれ車両Ｖに対して所定の位置関係を有する所定の場所に設置される。たとえば、カメラ２１は車両Ｖのドアミラーに内蔵されており、車両Ｖが駐車スペースＳの近傍の地点Ａに位置するときに、駐車スペースＳの床面に設置されたマークＭを視野内に含むように設置されている。また、カメラ２２は車両Ｖの後部に後方に向けて取り付けられ、車両ＶとマークＭとの位置関係が図１とは異なる所定の関係となったときに、マークＭを視野内に含むように設置されている。
　また、車両側通信装置２３は、上述の駐車場側通信装置１２と互いに通信可能である。この通信は、非接触で行われるものであればどのようなものでもよいが、たとえば無線信号や光信号によって行うことができる。
　制御装置３０は、カメラ２１およびカメラ２２に接続され、撮影された画像から特徴点を抽出して、画像上における特徴点の２次元座標を認識する画像認識装置（画像認識手段）３１を含む。また、制御装置３０は、車両を駐車スペースへ誘導する駐車軌跡を算出し、この駐車軌跡に基づく運転操作の案内情報を映像・音声等によって車両の運転者に出力する案内制御装置（案内制御手段）３３を含む。さらに、制御装置３０は、画像認識装置３１、車両側通信装置２３および案内制御装置３３を制御する駐車支援演算装置３２を含む。
　図３は、駐車支援演算装置３２の構成を示す。駐車支援演算装置３２は、特徴点を基準としたカメラ２１またはカメラ２２の位置パラメータを算出する、位置パラメータ算出手段３４を含む。また、駐車支援演算装置３２は、車両と駐車スペースとの相対位置関係を特定する相対位置特定手段３５と、マークＭの発光体１のうちいずれを点灯すべきかに関する情報を生成する点灯要求生成手段３６と、相対位置特定手段３５によって特定された相対位置関係に基づいて、車両Ｖを目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段３７とを含む。
　位置パラメータ算出手段３４は、駐車スペースＳに対するマークＭの所定の位置関係と、マークＭに対する発光体１のそれぞれの所定の位置関係とを記憶している。または、駐車スペースＳに対する発光体１のそれぞれの位置関係を記憶している。
　図４は、駐車スペースＳに固設されるマークＭの構成を示す。複数の発光体１がマークＭの所定の領域内に固定配列されており、特定の発光体１を点灯させることで任意の形状を表示することができる。
　図５は、マークＭの発光体１が４つの特徴点Ｃ１～Ｃ４を表示している状態を示す。発光体１のうち一部の発光体１ａが点灯して発光しており（黒く塗りつぶした円で示す）、他の発光体１ｂは点灯せず発光していない状態を示す（白抜きの円で示す）。互いに近接する点灯している発光体１ａの集合によって、特徴点Ｃ１～Ｃ４のそれぞれが形成される。ここで、図５では特徴点Ｃ１～Ｃ４は実際には点ではなく広がりを持った略円形の領域であるが、それぞれの特徴点の位置（すなわち、それぞれの特徴点に対応する２次元座標）はただ１つ決定することができる。たとえば、特徴点Ｃ１に対応する２次元座標は、特徴点Ｃ１が占める領域を円とみなして、特徴点Ｃ１が形成する円の中心の２次元座標とすることができる。特徴点Ｃ２～Ｃ４についても同様である。
　次に、図６のフローチャートと、図７の概略図とを参照して、実施の形態１における駐車支援装置の動作の流れについておおまかに説明する。
　図７（ａ）は、駐車支援の開始前の状態を示す。車両Ｖは所定の開始位置に到達しておらず、マークＭの発光体１はすべて消灯している。
　運転者は、車両Ｖを操作して、駐車スペースＳの近傍である所定の駐車支援開始位置に位置させる（ステップＳ１）。この所定の位置は、たとえば図７（ｂ）に示す地点Ａである。次に、運転者は、駐車支援装置に対して駐車支援動作の開始を指示する（ステップＳ２）。この指示は、たとえば特定のスイッチを投入することによって行われる。
　この指示を受けると、車両側装置２０は、車両側通信装置２３を介して駐車場側装置１０に対する接続要求を送信する（ステップＳ３）。この接続要求は駐車場側通信装置１２を介して表示制御装置１１によって受信される。表示制御装置１１は、この接続要求を受信すると、正常に受信したことを示す肯定応答（ＡＣＫ）を駐車場側通信装置１２を介して車両側装置２０に送信し（ステップＳ４）、駐車支援演算装置３２は車両側通信装置２３を介してこれを受信する。
　上記のように、駐車場側装置１０と車両側装置２０との間の通信はすべて駐車場側通信装置１２および車両側通信装置２３を介して行われる。これは以下の記載においても同様である。
　その後駐車支援動作が行われる（ステップＳ５）。運転者の運転操作に従って車両Ｖが走行し、これによって車両Ｖと駐車スペースＳおよびマークＭとの相対位置関係が変化する。この状態を図７（ｃ）に示す。
　車両Ｖが駐車スペースＳに対して所定の終了位置に移動すると（ステップＳ６）、点灯要求生成手段３６は、マークＭの全体（すべての発光体１）を消灯させることを示す情報であるマーク消灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ７）。表示制御装置１１は、このマーク消灯要求に基づき、マークＭの発光体１をすべて消灯させる（ステップＳ８）。この状態を図７（ｄ）に示す。その後、表示制御装置１１は、マークＭの発光体１がすべて消灯していることを示す消灯通知として、肯定応答を送信する（ステップＳ９）。これによって駐車支援装置の動作が終了する（ステップＳ１０）。
　次に、図８のフローチャートと、図９の概略図とを参照して、図６のステップＳ５における駐車支援動作について、より詳細に説明する。図８は、ステップＳ５に含まれる詳細な動作の一部を示し、図９は図８の各時点におけるマークＭの状態を示す。
　図８の処理において、まず点灯要求生成手段３６は、第１特徴点を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ１０１）。ここでは、第１特徴点は特徴点Ｃ１であるものとする。この時点の概略図を図９（ａ）に示す。
　この点灯要求の形式はどのようなものでもよく、たとえば発光体１が点灯すべきかまたは消灯すべきかを示す情報を発光体１のすべてについて含むものとすることができる。あるいは、すべての発光体１のうち点灯すべきもののみを特定する情報を含むものとしてもよい。さらに、特徴点Ｃ１を表す識別情報を含むものであってもよく、この場合には、表示制御装置１１がこの識別情報に応じて点灯すべき発光体１を特定してもよい。
　次に、表示制御装置１１は、第１特徴点の点灯要求に基づき、マークＭの発光体１のうち特徴点Ｃ１を構成するものを点灯させ、他のものを消灯させる（ステップＳ１０２）。その後、表示制御装置１１は、特徴点Ｃ１が点灯していることを示す点灯通知として、肯定応答を送信する（ステップＳ１０３）。この時点の概略図を図９（ｂ）に示す。
　駐車支援演算装置３２が特徴点Ｃ１が点灯していることを示す点灯通知を受信すると、画像認識装置３１は特徴点Ｃ１の画像認識を行う（ステップＳ１０４）。このステップＳ１０４において、画像認識装置３１は、カメラ２１またはカメラ２２により撮影された画像を入力として受け取り、この画像から特徴点Ｃ１を抽出し、画像上における特徴点Ｃ１の２次元座標を認識し取得する。この時点の概略図を図９（ｃ）に示す。
　ここで、カメラ２１およびカメラ２２のいずれが撮影した画像を用いるかは、周知技術を含む様々な方法によって決定することができる。たとえば、車両ＶとマークＭとの位置関係に応じて運転者がいずれかのカメラを指定してもよく、運転者がそれぞれのカメラの画像を確認していずれかを指定してもよい。また、両方の画像について特徴点Ｃ１の座標を取得し、取得に成功した方の画像を用いてもよい。以下では例としてカメラ２１による画像が用いられるものとする。
　また、図５に関して説明したように、特徴点Ｃ１は広がりを持った領域であるが、画像認識装置３１は特徴点Ｃ１の座標をただ１つに特定する。たとえば、特徴点Ｃ１が占める領域を円とみなし、その円の中心を特徴点Ｃ１の座標とすることができる。
　なお、図５の例では特徴点Ｃ１～Ｃ４の形状はすべて同一であるため、点灯している特徴点がいずれであるかは形状からは判別できないが、ステップＳ１０４の直前に送信された点灯要求（ステップＳ１０１）または直前に受信された肯定応答（ステップＳ１０３）が特徴点Ｃ１に関するものであるため、駐車支援演算装置３２はこれが特徴点Ｃ１の座標であると認識する。
　次に、ステップＳ１０１～Ｓ１０４と同様の処理が、第２特徴点について行われる。
　点灯要求生成手段３６は、第２特徴点を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ１０５）。ここでは、第２特徴点は特徴点Ｃ２であるものとする。この時点の概略図を図９（ｄ）に示す。このようにして、異なる複数の点灯要求が順次送信される。なお、図９（ｄ）の時点ではマークＭの点灯状態は変更されておらず、特徴点Ｃ１が表示されたままとなっている。
　次に、表示制御装置１１は、第２特徴点の点灯要求に基づき、マークＭの発光体１のうち特徴点Ｃ２を構成するものを点灯させ、他のものを消灯させる（ステップＳ１０６）。その後、表示制御装置１１は、特徴点Ｃ２が点灯していることを示す点灯通知として、肯定応答を送信する（ステップＳ１０７）。この時点の概略図を図９（ｅ）に示す。
　駐車支援演算装置３２は、特徴点Ｃ２が点灯していることを示す点灯通知を受信すると、画像認識装置３１を制御して特徴点Ｃ２の画像認識を行わせる（ステップＳ１０８）。このステップＳ１０８において、画像認識装置３１は、カメラ２１により撮影された画像を入力として受け取り、この画像から特徴点Ｃ２を抽出し、画像上における特徴点Ｃ２の２次元座標を認識し取得する。この時点の概略図を図９（ｆ）に示す。
　なお、この時点では特徴点Ｃ１はすでに消灯しており、マークＭは特徴点Ｃ２のみを表示しているので、画像認識装置３１は複数の特徴点を互いに誤って認識することがない。すなわち、特徴点を互いに識別するために各特徴点に異なる形状を与えたり、マークＭの方向を示す基準となる表示を設けたりする必要がない。このため、画像認識装置３１による特徴点の認識処理を簡素なものとすることができ、また高い認識精度を得ることができる。
　次に、ステップＳ１０１～Ｓ１０４と同様の処理が、第３特徴点について行われる。
　点灯要求生成手段３６は、第３特徴点を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ１０９）。ここでは、第３特徴点は特徴点Ｃ３であるものとする。
　次に、表示制御装置１１は、第３特徴点の点灯要求に基づき、マークＭの発光体１のうち特徴点Ｃ３を構成するものを点灯させ、他のものを消灯させる（ステップＳ１１０）。その後、表示制御装置１１は、特徴点Ｃ３が点灯していることを示す点灯通知として、肯定応答を送信する（ステップＳ１１１）。
　駐車支援演算装置３２は、特徴点Ｃ３が点灯していることを示す点灯通知を受信すると、画像認識装置３１を制御して特徴点Ｃ３の画像認識を行わせる（ステップＳ１１２）。このステップＳ１１２において、画像認識装置３１は、カメラ２１により撮影された画像を入力として受け取り、この画像から特徴点Ｃ３を抽出し、画像上における特徴点Ｃ３の２次元座標を認識し取得する。
　なお、この時点では特徴点Ｃ１およびＣ２はすでに消灯しており、マークＭは特徴点Ｃ３のみを表示しているので、画像認識装置３１は複数の特徴点を互いに誤って認識することがない。
　次に、画像認識装置３１により認識された特徴点Ｃ１～Ｃ３のそれぞれの２次元座標に基づき、位置パラメータ算出手段３４は、マークＭを基準としたカメラ２１の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する（ステップＳ１１３）。
　ここで、ステップＳ１１３における位置パラメータ算出手段３４による位置パラメータの算出方法を説明する。
　位置パラメータの算出には、マーク座標系およびカメラ座標系を用いる。
　図２０は、マーク座標系を説明する図である。マーク座標系は、マークＭおよびカメラ２１の位置関係を表現する３次元の世界座標系である。この座標系について、たとえば図２０のように、マークＭの中心を原点としてＸｗ軸、Ｙｗ軸およびＺｗ軸を設定することができる（Ｚｗ軸は紙面手前方向に向かう軸である）。特徴点Ｃｎ（ただし１≦ｎ≦３）の座標は、（Ｘｗｎ，Ｙｗｎ，Ｚｗｎ）と表される。
　図２１は、カメラ座標系を説明する図である。カメラ座標系は、カメラ２１により撮影された画像上のマークを表現する２次元の画像座標系である。この座標系について、たとえば図２１のように、画像の左上を原点としてＸｍ軸およびＹｍ軸を設定することができる。特徴点Ｃｎの座標は、（Ｘｍｎ，Ｙｍｎ）と表される。
　画像座標系におけるマークＭの特徴点Ｃｎの座標値（Ｘｍｎ，Ｙｍｎ）は、所定の関数ＦおよびＧを用いて次の連立式１のように表せる。
　連立式１：
　Ｘｍｎ＝Ｆ（Ｘｗｎ，Ｙｗｎ，Ｚｗｎ，Ｋｉ，Ｌｊ）＋ＤＸｎ
　Ｙｍｎ＝Ｇ（Ｘｗｎ，Ｙｗｎ，Ｚｗｎ，Ｋｉ，Ｌｊ）＋ＤＹｎ
ただし、
　Ｘｗｎ，Ｙｗｎ，Ｚｗｎは世界座標系におけるマークＭの座標値であり、既知である。
　Ｋｉ（１≦ｉ≦６）は求めるべきカメラ２１の位置パラメーターであり、Ｋ１はＸ座標、Ｋ２はＹ座標、Ｋ３はＺ座標、Ｋ４はチルト角、Ｋ５はパン角、Ｋ６はスイング角を表す。
　Ｌｊ（ｊ≧１）は既知のカメラ内部パラメータである。たとえば、Ｌ１は焦点距離、Ｌ２は歪曲係数、Ｌ３はスケール因子、Ｌ４はレンズ中心を表す。
　ＤＸｎ，ＤＹｎは、関数Ｆ，Ｇを用いて算出された特徴点ＣｎのＸ座標及びＹ座標と、画像認識装置３１で認識された特徴点ＣｎのＸ座標及びＹ座標との偏差であり、厳密には全てゼロとなるべき値であるが、画像認識の誤差や計算の精度等によって変動する値である。
　なお、この例では１≦ｎ≦３であるので、連立式１は６個の関係式を含むことになる。
　このようにして、３個の特徴点Ｃ１～Ｃ３のＸ座標及びＹ座標をそれぞれ表すことにより、未知数である６個の位置パラメータＫｉ（１≦ｉ≦６）に対して計６個の関係式が作成される。
　そこで、偏差の二乗和：
　Ｓ＝Σ（ＤＸｎ2＋ＤＹｎ2）
を最小とするような位置パラメータＫｉ（１≦ｉ≦６）を求める。すなわちＳを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。
　これにより、路面上のマークＭとカメラ２１との関係が、カメラ２１の位置パラメータとして算出される。
　なお、この例では算出しようとする位置パラメータＫｉの個数「６」に等しい数の関係式を作成して位置パラメータを決定しているが、より多くの特徴点を用いればより多くの関係式を作成することができ、さらに精度よく位置パラメータＫｉを得ることができる。たとえば、６個の位置パラメータＫｉに対して５個の特徴点により１０個の関係式を作成してもよい。
　このようにして算出されたカメラ２１の位置パラメータを用いて、相対位置特定手段３５は、車両Ｖと駐車スペースＳとの相対位置関係を特定する（ステップＳ１１４）。
　このステップＳ１１４における相対位置関係の特定は、次のように行われる。まず、位置パラメータ算出手段３４で算出された位置パラメータと、予め把握されている車両Ｖに対するカメラ２１の所定の位置関係とに基づいて、車両Ｖに対するマークＭの位置関係を特定する。ここで、車両Ｖに対するマークＭの位置関係は、車両Ｖに対して固定された車両基準点を基準とする３次元の車両座標系を用いて表すことができる。
　たとえば、車両座標系におけるマークＭの位置・角度は、所定の関数Ｈを用いて次のように一義で表すことができる。
　Ｖｉ＝Ｈ（Ｋｉ，Ｏｉ）
ただし、Ｏｉ（１≦ｉ≦６）は車両座標系における車両基準点とカメラ位置とのオフセットパラメータであり、既知である。また、Ｖｉ（１≦ｉ≦６）は車両座標系における車両基準点からみたマークＭの位置および角度を表すパラメータである。
　このようにして、路面上のマークＭに対する車両Ｖの位置関係が算出される。
　次に、駐車スペースＳに対するマークＭの所定の位置関係と、マークＭに対する車両Ｖの位置関係とに基づいて、車両Ｖと駐車スペースＳとの相対位置関係が特定される。
　次に、案内制御装置３３は、相対位置特定手段３５により特定された車両Ｖと駐車スペースＳとの相対位置関係に基づき、車両Ｖを駐車スペースＳへ誘導するための案内情報を運転者に提示する（ステップＳ１１５）。ここでは、まず駐車軌跡算出手段３７が、相対位置特定手段３５によって特定された相対位置関係に基づいて、車両Ｖを目標駐車位置へ誘導するための駐車軌跡を算出し、次に案内制御装置３３が、算出された駐車軌跡に沿って車両Ｖが走行するよう誘導する。これにより、運転者は、案内情報に従って運転操作を行うだけで、車両Ｖを適切な駐車軌跡に従って走行させ、駐車させることが可能となる。
　図８のステップＳ１０１～Ｓ１１５は、繰り返し実行される。これらの処理は、所定の時間間隔で繰り返されてもよく、車両Ｖの走行距離間隔に応じて繰り返されてもよく、運転者による運転操作（発進、停止、操舵角の変更等）に応じて繰り返されてもよい。このように処理を繰り返すことによって、初期のマークＭの特徴点Ｃ１～Ｃ３の認識誤差、タイヤの減り具合及び車両Ｖの傾き等の車両Ｖの状態、段差及び傾斜等の路面の状態などにほとんど影響されずに、最終的な目標駐車位置である駐車スペースＳに精度よく駐車を行うことが可能となる。
　また、車両Ｖと駐車スペースＳとの距離が近づくほど、マークＭを近くで大きく認識することができ、マークＭの特徴点Ｃ１～Ｃ３に対する解像度が向上すると共に互いの特徴点Ｃ１～Ｃ３間の距離が広がるため、マークＭと車両Ｖとの相対位置関係をより高精度に特定することができ、より精度よく駐車を行うことが可能となる。
　なお、車両Ｖの走行中に図８の処理が実行される場合、異なる特徴点については画像認識が車両Ｖの異なる位置で行われる可能性があるが、このような場合には走行中の軌跡および走行距離に基づいて補正を行ってもよい。
　また、車両Ｖの走行に伴ってカメラ２１およびカメラ２２とマークＭとの相対位置関係が変化するため、マークＭまたは各特徴点がそれぞれのカメラの視野から外れたり、再度同じカメラまたは別のカメラの視野内に入ったりする可能性がある。このような場合には、カメラ２１およびカメラ２２のいずれが撮影した画像を用いるかを、周知技術を含む様々な方法によって動的に変更してもよい。たとえば、車両ＶとマークＭとの位置関係に応じて運転者がカメラを切り替えてもよく、運転者がそれぞれのカメラの画像を確認してカメラを切り替えてもよい。また、両方の画像について特徴点の画像認識を行い、より多くの特徴点を認識できた画像を用いてもよい。
　なお、駐車場側装置１０の表示制御装置１１と、車両側装置２０の制御装置３０、画像認識装置３１、駐車支援演算装置３２、案内制御装置３３、位置パラメータ算出手段３４、相対位置特定手段３５、点灯要求生成手段３６および駐車軌跡算出手段３７は、それぞれコンピュータから構成することができ、図６のステップＳ１～Ｓ１０および図８のステップＳ１０１～Ｓ１１５の動作を駐車支援プログラムとして記録媒体等に記録することにより、各ステップをコンピュータに実行させることが可能となる。
　なお、上述した実施の形態１では、マークＭを基準としたカメラ２１の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出しているので、マークＭが配置されている駐車スペースＳの床面と車両Ｖの現在位置の路面との間に段差や傾きが存在しても、マークＭと車両Ｖの相対位置関係を正確に特定して精度の高い駐車支援を行うことができる。
　ただし、マークＭが配置されている駐車スペースＳの床面と車両Ｖの現在位置の路面との間に傾きが存在しない場合には、少なくともマークＭを基準としたカメラ２１の３次元座標（ｘ，ｙ，ｚ）とパン角（方向角）の４個のパラメータからなる位置パラメータを算出すればマークＭと車両Ｖの相対位置関係を特定することができる。この場合には、マークＭの最低２個の特徴点の２次元座標により４個の関係式を作成すれば、４個の位置パラメータを求めることができる。ただし、より多くの特徴点の２次元座標を用いれば、最小二乗法等により精度を向上させることができる。
　さらに、マークＭと車両Ｖとが同一平面上にあり、マークＭが配置されている駐車スペースＳの床面と車両Ｖの現在位置の路面との間に段差も傾きも存在しない場合には、少なくともマークＭを基準としたカメラ２１の２次元座標（ｘ，ｙ）とパン角（方向角）の３個のパラメータからなる位置パラメータを算出すれば、マークＭと車両Ｖの相対位置関係を特定することができる。この場合にも、マークＭの最低２個の特徴点の２次元座標により４個の関係式を作成すれば、３個の位置パラメータを求めることができるが、より多くの特徴点の２次元座標を用いれば最小二乗法等により精度よく３個の位置パラメータを算出することができる。
　上述の実施の形態１では、車両Ｖは２つのカメラ（カメラ２１およびカメラ２２）を備えるが、カメラは１つのみでもよい。また、３つ以上のカメラを備え、画像認識に用いるカメラを実施の形態１と同様に適宜切り替えてもよい。
　また、１つの特徴点が同時に複数のカメラに撮影されている場合には、特徴点を含むすべての画像について画像認識を行ってもよい。たとえば２つのカメラが同時に１つの特徴点を撮影している場合には、１つの特徴点から４個の関係式を作成することができるため、マークＭに特徴点が１つあれば３次元座標（ｘ，ｙ，ｚ）及びパン角（方向角）の４個のパラメータからなるカメラ２１の位置パラメータを算出することができ、特徴点が２つあれば３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなるカメラ２１の位置パラメータの算出が可能となる。
　さらに、実施の形態１では特徴点は略円形であるが、これは十字や正方形等の他の形状としてもよく、また異なる数の発光体１で特徴点を形成してもよい。
　また、上述の実施の形態１では、ステップＳ１１５において、案内制御装置３３が案内情報を運転者に提示し、運転者による手動運転操作を促す。変形例として、ステップＳ１１５において、自動運転を行って車両Ｖを目標駐車位置に導くものであってもよい。この場合、車両Ｖは、自動運転を実行するために必要な周知の構成を備え、駐車軌跡算出手段３７によって算出された駐車軌跡に沿って自動的に走行するものであってもよい。
　このような構成は、たとえば、車両Ｖの走行に関する状態を検出するセンサと、操舵角を制御する操舵制御装置と、加速を制御する加速制御装置と、減速を制御する減速制御装置とを用いて実現することができる。これらの装置は、加速のためのアクセル制御信号、減速のためのブレーキ制御信号、ハンドル操舵のための操舵制御信号等の走行信号を出力して、車両Ｖを自動走行させる。あるいは、運転者のブレーキ操作、アクセル操作による車両Ｖの移動に対応させてハンドルを自動的に操舵するように構成してもよい。
実施の形態２．
　実施の形態１では、図８に示すように、常に３つの固定された特徴点Ｃ１～Ｃ３に対して画像認識を行った。実施の形態２は、実施の形態１において、画像認識の対象とする特徴点の数を、状況に応じて動的に変更するものである。
　図１０のフローチャートを参照して、実施の形態２における駐車支援装置の作用について説明する。なお、図１０は図６のステップＳ５に含まれる詳細な動作の一部を示す。
　図１０の処理において、まず点灯要求生成手段３６は、特徴点の番号を表す変数ｎに初期値として１を代入する（ステップＳ２０１）。次に、点灯要求生成手段３６は、第ｎ番目の特徴点の点灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ２０２）。ここでは、ｎ＝１であるので第１特徴点の点灯要求が生成され送信される。たとえば第１特徴点は特徴点Ｃ１である。
　次に、表示制御装置１１は、受信した点灯要求に基づき、マークＭの発光体１のうち対応する特徴点を構成するものを点灯させ、他のものを消灯させる（ステップＳ２０３）。ここでは、特徴点Ｃ１の点灯要求が受信されているので、表示制御装置１１は特徴点Ｃ１を点灯させる。
　その後、表示制御装置１１は、点灯要求に対応する特徴点が点灯していることを示す点灯通知として、肯定応答を送信する（ステップＳ２０４）。
　点灯要求に対応する特徴点が点灯していることを示す点灯通知を駐車支援演算装置３２が受信すると、画像認識装置３１は第ｎ特徴点の画像認識を行う（ステップＳ２０５）。ここでは、特徴点Ｃ１の画像認識が行われる。このステップＳ２０５において、画像認識装置３１は、カメラ２１またはカメラ２２により撮影された画像を入力として受け取り、この画像から特徴点Ｃ１を抽出し、画像上における特徴点Ｃ１の２次元座標を認識し取得する。ここでは、特徴点Ｃ１の画像認識に成功し、２次元座標を取得できたものとする。
　ここで、実施の形態２では、特徴点の画像認識に成功し特徴点の座標が正しく取得できる場合だけでなく、特徴点の座標が取得できない場合をも想定する。特徴点の座標が取得できない場合とは、たとえば遮蔽物の存在、車両の種類、車体の構造、カメラの搭載位置、車両とマークとの距離や位置関係等によって、特徴点が撮影されなかったり、撮影されても画像認識に十分な状態ではなかったりする場合が考えられる。
　次に、画像認識装置３１は、それまでに画像認識に成功した特徴点の数が３以上か否かを判定する（ステップＳ２０６）。この例では、画像認識に成功した特徴点の数は１（特徴点Ｃ１のみ）であり、すなわち３未満である。この場合、点灯要求生成手段３６は変数ｎの値を１だけ増加させ（ステップＳ２０７）、ステップＳ２０２に処理を戻す。すなわち、第２特徴点（たとえば特徴点Ｃ２）についてステップＳ２０２～Ｓ２０５の処理が行われる。ここでは特徴点Ｃ２の画像認識に成功したものとする。
　その後再度ステップＳ２０６の判定が行われ、画像認識に成功した特徴点の数は２であるので、さらに第３特徴点（たとえば特徴点Ｃ３）についてステップＳ２０２～Ｓ２０５の処理が行われる。ここで、カメラ２１またはカメラ２２と特徴点Ｃ３との間が車体の一部によって遮られ、特徴点Ｃ３の画像認識に失敗したとする。この場合、画像認識に成功した特徴点の数は２のままであるため、さらに第４特徴点（たとえば特徴点Ｃ４）についてステップＳ２０２～Ｓ２０５の処理が行われる。ここでは特徴点Ｃ４の画像認識に成功したものとする。
　続くステップＳ２０６において、認識に成功した特徴点の数は３以上であると判定される。この場合、位置パラメータ算出手段３４は、画像認識装置３１による認識が成功したすべての特徴点（この例では特徴点Ｃ１、Ｃ２、Ｃ４）の２次元座標に基づき、カメラ２１またはカメラ２２の位置パラメータを算出する（ステップＳ２０８）。この処理は実施の形態１における図８のステップＳ１１３と同様にして行われる。
　このように、実施の形態２では、画像認識装置３１が所定数の特徴点の２次元座標を認識していない場合、点灯要求生成手段３６は新たな点灯要求を生成し、画像認識装置３１は新たな特徴点の画像認識が行われる。よって、特徴点のいくつかに対する画像認識に失敗した場合であっても、追加の特徴点を点灯させて画像認識を行い、カメラの位置パラメータを算出するために十分な数の特徴点を確保することができる。
　その後、実施の形態１と同様にして、相対位置特定手段３５が車両Ｖと駐車スペースＳとの相対位置関係を特定し、案内制御装置３３が案内情報を運転者に提示する（図示せず）。
　上述の実施の形態２において、カメラの位置パラメータを算出するために用いる特徴点の数は３以上である（ステップＳ２０６）が、これは異なる数であってもよい。すなわち、カメラの位置パラメータの算出精度や算出すべき位置パラメータの数に応じて、基準とする特徴点の数を増減してもよい。
　なお、図５には４つの特徴点Ｃ１～Ｃ４のみが示されているが、これらとは異なる位置に５番目以降の特徴点が表示されてもよい。その際、複数の特徴点の一部が重複する位置関係となってもよい。すなわち、同一の発光体１が複数の特徴点に属してもよい。このような場合であっても、一時点で点灯する特徴点は１つのみであるので、表示制御装置１１および画像認識装置３１の処理を変更する必要はない。
　また、実施の形態２では、特徴点を十分な数だけ定義しておけば、マークＭの一部のみしか撮影されない状態であっても、撮影できる部分に３つ以上の特徴点を点灯させることが可能となるので、これによってカメラの位置パラメータを算出することができる。このため、必ずしもマークＭの全体を見やすい位置に設置する必要がない。たとえば、駐車場の奥の壁面にマークＭが設置され、駐車場の側壁によってマークＭの一部が遮蔽されやすい状況であっても、カメラの位置パラメータを適正に算出することができる。
　さらに、マークＭのサイズが大きく、その全体がカメラ２１またはカメラ２２の視野内に収まらない状況であっても、視野内において３つ以上の特徴点を点灯させ、カメラの位置パラメータを適正に算出することができる。
実施の形態３．
　実施の形態１および２では、マークＭとカメラ２１またはカメラ２２との距離にかかわらず、常に同一サイズの特徴点（たとえば図５の特徴点Ｃ１～Ｃ４）を用いて画像認識を行った。実施の形態３では、マークＭとカメラ２１またはカメラ２２との距離に応じて、異なるサイズおよび異なる数の特徴点を用いるものである。
　図１１は、マークＭの発光体１が、実施の形態３で用いられる特徴点Ｃ１１～Ｃ１９を表示している状態を示す。実施の形態３では、図５に示す特徴点Ｃ１～Ｃ４と、図１１に示す特徴点Ｃ１１～Ｃ１９とを、マークＭとカメラ２１またはカメラ２２との距離に応じて使い分ける。図５の特徴点Ｃ１～Ｃ４を第１のサイズとすると、図１１の特徴点Ｃ１１～Ｃ１９は第１のサイズより小さい第２のサイズを有する。なお、特徴点のサイズは、たとえばその特徴点を構成する発光体１の数によって定義される。
　また、図５の特徴点Ｃ１～Ｃ４の数（第１の数）は４個であるが、図１１の特徴点Ｃ１１～Ｃ１９の数（第２の数）はこれより多い９個である。したがって、図５の特徴点Ｃ１～Ｃ４をそれぞれ表示させる点灯要求の数（第１の点灯要求の数）は４個であり、図１１の特徴点Ｃ１１～Ｃ１９をそれぞれ表示させる点灯要求の数（第２の点灯要求の数）は９個となる。
　次に、図１２のフローチャートと、図１３の概略図とを参照して、実施の形態３における駐車支援装置の作用について説明する。図１２は図６のステップＳ５に含まれる詳細な動作の一部を示し、図１３は各時点におけるマークＭの状態および車両Ｖの位置を示す。
　駐車支援動作におけるある時点において、車両Ｖと駐車スペースＳおよびマークＭとの相対位置関係は図１３（ａ）に示すものであるとする。車両Ｖは地点Ｂにあり、カメラ２２がマークＭの全体を撮影可能であるとする。
　まず、図１２のステップＳ３０１～Ｓ３０５に示すように、大型の特徴点によるカメラ位置特定処理が行われる。大型の特徴点は、たとえば図５の特徴点Ｃ１～Ｃ４である。なお、図１２のステップＳ３０１～Ｓ３０４は、実施の形態１と同様に、特徴点の数（この場合４）だけ繰り返される。これによって画像認識装置３１は、図５の特徴点Ｃ１～Ｃ４それぞれの２次元座標を認識する。
　ここでは、比較的大きい第１のサイズを有する特徴点Ｃ１～Ｃ４を用いるので、カメラ２２とマークＭとの距離が大きい場合であっても各特徴点を明瞭に撮影することができ、画像認識を高精度で行うことができる。
　次に、画像認識装置３１により認識された特徴点Ｃ１～Ｃ４のそれぞれの２次元座標に基づき、位置パラメータ算出手段３４は、マークＭを基準としたカメラ２１の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する（ステップＳ３０５）。この処理は実施の形態１における図８のステップＳ１１３と同様にして行われる（ただし特徴点の数が４であるので８つの関係式を用いることになる）。
　これに伴い、実施の形態１と同様にして、相対位置特定手段３５が車両Ｖと駐車スペースＳとの相対位置関係を特定し、案内制御装置３３が案内情報を運転者に提示する（図示せず）。
　さらに、位置パラメータ算出手段３４は、算出されたカメラ２２の位置パラメータに基づき、カメラ２２とマークＭとの距離を算出し、この距離が所定の閾値未満であるか否かを判定する（ステップＳ３０６）。距離が所定の閾値以上であると判定された場合には、処理はステップＳ３０１に戻り、大型の特徴点によるカメラ位置特定処理が繰り返される。
　その後、運転者が案内制御装置３３からの案内情報に従って車両Ｖを走行（たとえば後退）させ、車両Ｖと駐車スペースＳおよびマークＭとの相対位置関係は図１３（ｂ）に示すものとなったとする。車両Ｖは地点Ｃにあり、ここでカメラ２２とマークＭとの距離が所定の閾値未満となったとする。
　ステップＳ３０６において、カメラ２２とマークＭとの距離が所定の閾値未満であると判定された場合には、ステップＳ３０７～Ｓ３１１に示すように、多数の特徴点によるカメラ位置特定処理が実行される。多数の特徴点は、たとえば図１１の特徴点Ｃ１１～Ｃ１９である。なお、図１２のステップＳ３０７～Ｓ３１０は、実施の形態１と同様に、特徴点の数（この場合９）だけ繰り返される。これによって画像認識装置３１は、図１１の特徴点Ｃ１１～Ｃ１９それぞれの２次元座標を認識する。
　ここでは、比較的多数の特徴点Ｃ１１～Ｃ１９を用いるので、位置パラメータを算出するための関係式の数を多数（この場合１８）とすることができ、位置パラメータの精度を向上させることができる。
　なお、特徴点Ｃ１１～Ｃ１９のサイズは比較的小さい第２のサイズであるが、カメラ２２がマークＭに近づいているため、小さい特徴点であっても明瞭に撮影することができ、画像認識の精度を維持することができる。
　上述の実施の形態３では、特徴点のパターンは図５に示すものと図１１に示すものとの２種類のみであるが、３種類以上のパターンを用いてもよい。すなわち、特徴点のサイズを徐々に縮小させつつ特徴点の数を徐々に増加させるような多数のパターンを用い、距離に応じてこれらを切り替えつつ用いてもよい。
　また、実施の形態３では、距離の判定には位置パラメータが用いられたが、これに代えて相対位置関係を用いてもよい。すなわち、車両Ｖと駐車スペースＳとの相対位置関係に基づいて車両Ｖと駐車スペースＳとの距離を決定し、この距離に基づいてステップＳ３０６の判定を行ってもよい。
実施の形態４．
　実施の形態１～３では、固定目標として１つのマークＭのみを用いた。実施の形態４は、２つのマークを含むマークセットを固定目標として用いるものである。
　図１４に、実施の形態４に係る第１マークＭ１の構成を示す。複数の発光体１が第１マークＭ１の所定の形状に沿って固定配列されている。実施の形態１～３とは異なり、実施の形態４に係る第１マークＭ１は、すべての発光体１が同時に点灯することによって所定の特徴点を表示する。図１４では、発光体１は所定の線分を組み合わせた形状に配列されており、画像認識によってこれらの線分を認識し、各線分の交点を求めることにより、５つの特徴点Ｃ２１～Ｃ２５を認識することができる。
　第２マークＭ２も、図１４に示す第１マークＭ１と同一の構成を有する。
　次に、図１５のフローチャートと、図１６の概略図とを参照して、実施の形態４における駐車支援装置の作用について説明する。図１５は図６のステップＳ５に含まれる詳細な動作の一部を示し、図１６は各時点におけるマークセットＭＳの状態および車両Ｖの位置を示す。マークセットＭＳは実施の形態４における固定目標であり、複数の固定目標部分として第１マークＭ１および第２マークＭ２を含む。
　駐車支援動作におけるある時点において、車両Ｖと駐車スペースＳおよびマークセットＭＳとの相対位置関係は図１６（ａ）に示すものであるとする。車両Ｖは地点Ｄにあり、カメラ２２が第２マークＭ２の全体を撮影可能であるとする。
　図１５の処理において、まず点灯要求生成手段３６は、第２マークＭ２を点灯させることを示す情報である点灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ４０１）。この点灯要求は、たとえばマークセットＭＳに含まれる第１マークおよび第２マークＭ２のうち第２マークＭ２のみを点灯することを示すものであるが、マークセットＭＳに含まれるすべての発光体１のうち、第２マークＭ２を構成するもののみを点灯することを示すものであってもよい。
　次に、表示制御装置１１は、第２マークＭ２の点灯要求に基づき、第２マークＭ２を点灯させる（ステップＳ４０２）。その後、表示制御装置１１は、第２マークＭ２が点灯していることを示す点灯通知として、肯定応答を送信する（ステップＳ４０３）。図１６（ａ）は、この時点の概略図である。
　駐車支援演算装置３２が第２マークＭ２が点灯していることを示す点灯通知を受信すると、画像認識装置３１は第２マークＭ２に含まれる特徴点Ｃ２１～Ｃ２５の画像認識を行う（ステップＳ４０４）。このステップＳ４０４において、画像認識装置３１は、カメラ２２により撮影された画像を入力として受け取り、この画像から第２マークＭ２の特徴点Ｃ２１～Ｃ２５を抽出し、画像上における第２マークＭ２の特徴点Ｃ２１～Ｃ２５の２次元座標を認識し取得する。すなわち、実施の形態４では、１つの点灯要求が、同時に点灯する複数の特徴点に対応することになる。これは、実施の形態１～３において、１つの点灯要求が１つの特徴点に対応するものであることとは異なる。
　なお、第１マークＭ１および第２マークＭ２の形状は同一であるが、ステップＳ４０４の直前に送信された点灯要求（ステップＳ４０１）または直前に受信された肯定応答（ステップＳ４０３）が第２マークＭ２に関するものであるため、駐車支援演算装置３２はこれらが第２マークＭ２の画像に含まれる特徴点の座標であると認識する。
　次に、画像認識装置３１により認識された第２マークＭ２の特徴点Ｃ２１～Ｃ２５のそれぞれの２次元座標に基づき、位置パラメータ算出手段３４は、第２マークＭ２を基準としたカメラ２１の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する（ステップＳ４０５）。この処理は実施の形態１における図８のステップＳ１１３と同様にして行われる（ただし特徴点の数が５であるので１０の関係式を用いることになる）。
　これに伴い、実施の形態１と同様にして、相対位置特定手段３５が車両Ｖと駐車スペースＳとの相対位置関係を特定し、案内制御装置３３が案内情報を運転者に提示する（図示せず）。
　さらに、位置パラメータ算出手段３４は、算出されたカメラ２２の位置パラメータに基づき、カメラ２２と第２マークＭ２との距離を算出し、この距離が所定の閾値未満であるか否かを判定する（ステップＳ４０６）。距離が所定の閾値以上であると判定された場合には、処理はステップＳ４０４に戻り、第２マークＭ２が点灯した状態での画像認識およびカメラ位置特定処理が繰り返される。
　その後、運転者が案内制御装置３３からの案内情報に従って車両Ｖを走行（たとえば後退）させる。後退につれ、カメラ２２が第２マークＭ２に接近し、カメラ２２が撮影する画像における第２マークＭ２が大きくなる。ここで、車両Ｖと駐車スペースＳおよびマークセットＭＳとの相対位置関係は図１６（ｂ）に示すものとなったとする。車両Ｖは地点Ｅにあり、ここでカメラ２２と第２マークＭ２との距離が所定の閾値未満となったとする。
　ステップＳ４０６において、カメラ２２と第２マークＭ２との距離が所定の閾値未満であると判定された場合、点灯要求生成手段３６は、第１マークＭ１の点灯要求を生成し、これを駐車場側装置１０に送信する（ステップＳ４０７）。
　次に、ステップＳ４０１～Ｓ４０５と同様の処理が、第１マークＭ１について行われる。
　すなわち、表示制御装置１１は、第１マークＭ１の点灯要求に基づき、第１マークＭ１を点灯させるとともに、第２マークＭ２を消灯させる（ステップＳ４０８）。図１６（ｂ）はこの時点の概略図である。その後、表示制御装置１１は、第１マークＭ１が点灯していることを示す点灯通知として、肯定応答を送信する（ステップＳ４０９）。
　駐車支援演算装置３２が第１マークＭ１が点灯していることを示す点灯通知を受信すると、画像認識装置３１は第１マークＭ１に含まれる特徴点Ｃ２１～Ｃ２５の画像認識を行う（ステップＳ４１０）。このステップＳ４１０において、画像認識装置３１は、カメラ２２により撮影された画像を入力として受け取り、この画像から第１マークＭ１の特徴点Ｃ２１～Ｃ２５を抽出し、画像上における第１マークＭ１の特徴点Ｃ２１～Ｃ２５の２次元座標を認識し取得する。
　次に、画像認識装置３１により認識された第１マークＭ１の特徴点Ｃ２１～Ｃ２５のそれぞれの２次元座標に基づき、位置パラメータ算出手段３４は、第１マークＭ１を基準としたカメラ２１の３次元座標（ｘ，ｙ，ｚ）、チルト角（伏せ角）、パン角（方向角）、スイング角（回転角）の６個のパラメータからなる位置パラメータを算出する（ステップＳ４１１）。
　これに伴い、実施の形態１と同様にして、相対位置特定手段３５が車両Ｖと駐車スペースＳとの相対位置関係を特定し、案内制御装置３３が案内情報を運転者に提示する（図示せず）。
　このように、実施の形態４によれば、カメラとマークセットＭＳとの位置関係、とくにカメラとマークセットＭＳに含まれる各マークとの距離に応じ、画像認識に用いるマークを切り替えるので、常にマークのいずれかを認識できる可能性が高くなる。たとえば、車両Ｖと駐車スペースＳとが離れているときには、より車両Ｖに近い第２マークＭ２を点灯させてより明瞭に特徴点を認識することができ、車両Ｖと駐車スペースＳとが近づき第２マークＭ２がカメラ２２の視野に収まらなくなると第１マークＭ１を点灯させてより確実に特徴点を認識することができる。
　上述の実施の形態４では、マークセットＭＳは第１マークＭ１および第２マークＭ２のみを含むが、これは３個以上のマークを含んでもよく、カメラと各マークとの距離に応じてこれらを切り替えつつ用いてもよい。
　また、実施の形態４では、距離の判定には位置パラメータが用いられたが、これに代えて相対位置関係を用いてもよい。すなわち、車両Ｖと駐車スペースＳとの相対位置関係に基づいて車両Ｖと駐車スペースＳとの距離を決定し、この距離に基づいてステップＳ４０６の判定を行ってもよい。
　また、第１マークＭ１および第２マークＭ２は、実施の形態１～３と同様のマークＭを用いて構成してもよい。図１７はこのような構成を示す。マークＭに含まれる発光体１のうち、図１４に示す第１マークＭ１および第２マークＭ２に含まれる発光体１と対応する位置にある発光体１のみが点灯しており、第１マークＭ１および第２マークＭ２の特徴点Ｃ２１～Ｃ２５と同様の処理によってマークＭの特徴点Ｃ３１～Ｃ３５を認識することができる。
　さらに、ステップＳ４０６における判定は、カメラと第２マークＭ２との距離とは異なる値を基準としてもよい。たとえば、第２マークＭ２の特徴点Ｃ２１～Ｃ２５のうち認識に成功したものの数を基準としてもよい。この場合、第２マークＭ２を用いた位置パラメータの算出ができなくなるか、または算出精度が低下した時点で第１マークＭ１に切り替わることになる。
　なお、実施の形態４では、第１マークＭ１および第２マークＭ２いずれかにおけるすべての特徴点Ｃ２１～Ｃ２５を同時に表示させ、これらを互いに区別して認識する画像認識技術を用いるものであるが、第１マークＭ１および第２マークＭ２に代えて実施の形態１～３に係るマークＭを用いれば、実施の形態１～３のように特徴点を順次点灯させて個別に認識し、より簡素な画像認識技術を用いることもできる。
実施の形態５．
　実施の形態４は、駐車スペースＳに対して単一の方向からの駐車を支援することを想定していた。実施の形態５は、実施の形態４において、単一の駐車スペースに向かって双方向からの駐車について駐車支援を行うものである。
　図１８（ａ）に示すように、駐車スペースＳ’は互いに反対の方向Ｄ１およびＤ２のいずれからも駐車可能である。すなわち、駐車が完了した状態において、車両Ｖがいずれの方向を向くようにも駐車可能である。また、第１マークＭ１および第２マークＭ２は、たとえば駐車スペースＳ’において対称に配置される。すなわち、駐車スペースＳ’を１８０度回転させると、第１マークＭ１および第２マークＭ２が互いに入れ替わる位置となっている。
　まず、図１８（ａ）のように、車両Ｖが方向Ｄ１から駐車する場合を考える。この場合、まず第２マークＭ２が点灯する。車両Ｖの走行に伴って、特徴点の画像認識に用いるカメラと第２マークＭ２との距離が減少し、所定の閾値未満となると、第２マークＭ２は消灯し、第１マークＭ１が点灯する。この状態を図１８（ｂ）に示す。実施の形態４と同様に、カメラとマークセットＭＳに含まれる各マークとの距離に応じ、画像認識に用いるマークを切り替えるので、常にマークのいずれかを認識できる可能性が高くなる。
　逆に、車両Ｖが方向Ｄ２から駐車する場合には、まず第１マークＭ１が点灯する。この状態を図１８（ｃ）に示す。車両Ｖの走行に伴って、特徴点の画像認識に用いるカメラと第１マークＭ１との距離が減少し、所定の閾値未満となると、第１マークＭ１は消灯し、第２マークＭ２が点灯する。この状態を図１８（ｄ）に示す。実施の形態４と同様に、カメラとマークセットＭＳに含まれる各マークとの距離に応じ、画像認識に用いるマークを切り替えるので、常にマークのいずれかを認識できる可能性が高くなる。
　このように、実施の形態５では、車両Ｖの駐車方向に応じてマークセットＭＳに含まれる第１マークＭ１および第２マークＭ２の点灯順序を決定するので、いずれの方向から駐車する場合にも実施の形態４と同様の効果を得ることができる。
　なお、方向Ｄ１およびＤ２のいずれに沿って駐車を行うか、すなわち第１マークＭ１および第２マークＭ２をどの順序で点灯させるかは、運転者がスイッチ等を操作して指示することができる。また、最初に第１マークＭ１および第２マークＭ２の双方に対して画像認識を行い、その結果に応じて車両側装置２０の制御装置３０が順序を決定してもよい。
実施の形態６．
　実施の形態６は、実施の形態５において、単一のマークＭのみを用いた駐車支援を行うものである。
　図１９（ａ）に示すように、駐車スペースＳ’は互いに反対の方向Ｄ１およびＤ２のいずれからも駐車可能である。マークＭは駐車スペースＳ’の中央に配置されている。まず、車両Ｖが方向Ｄ１から駐車する場合を考える。この場合、たとえば図１９（ｂ）に示すように、まず第１特徴点として特徴点Ｃ１の画像認識を行い、次に第２特徴点として特徴点Ｃ２の画像認識を行い、最後に第３特徴点として特徴点Ｃ３の画像認識を行う。
　次に、図１９（ｃ）に示すように、車両Ｖが方向Ｄ２から駐車する場合を考える。この場合、たとえば図１９（ｄ）に示すように、まず第１特徴点として特徴点Ｃ３の画像認識を行い、次に第２特徴点として特徴点Ｃ４の画像認識を行い、最後に第３特徴点として特徴点Ｃ１の画像認識を行う。すなわち、第１～第３特徴点はそれぞれ図１９（ｂ）に示すものとは異なり、図１９（ｂ）に示す各特徴点をマークＭを基準として１８０度回転させた位置に点灯することになる。このように、各特徴点は、車両Ｖが駐車される方向に応じた位置に点灯する。
　このようにすると、カメラの位置パラメータを算出する際、駐車方向によって各特徴点の路面座標を変更する必要なく、常に同一の路面座標を用いることができる。たとえば、第１特徴点のマークＭに対する位置関係は固定されるので、実施の形態１の連立式１におけるΔｘｍ1，Δｙｍ1，Δｚｍ1として常に同一の値を用いることができる。したがって、位置パラメータの算出処理を簡素なものとしつつ、双方向からの駐車支援を行うことができる。
　上述の実施の形態６は２方向のみの駐車支援を行うものであるが、駐車スペースの形状に応じてさらに多数の方向からの駐車支援を行うこともできる。たとえば、駐車スペースが東西南北いずれからの駐車をも可能とする略正方形状のスペースであれば、駐車の方向に応じて各特徴点の位置を９０度ずつ回転させたものとすることができる。

Claims (8)

  1. 　車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを含み、前記目標駐車位置への駐車を支援する駐車支援装置であって、
    　前記駐車場側装置は、
    　　複数の発光手段を備える固定目標であって、前記固定目標は前記目標駐車位置に対して所定の位置関係で固設され、前記複数の発光手段はそれぞれ前記固定目標に対して所定の位置関係で設けられる、固定目標と、
    　　前記車両側装置から送信される点灯要求を受信する駐車場側通信手段であって、前記点灯要求は前記複数の発光手段のうちいずれを点灯すべきかに関する情報を含む、駐車場側通信手段と、
    　　前記点灯要求に基づき、前記複数の発光手段を点灯させまたは消灯させる表示制御手段と
    　を含み、
    　前記車両側装置は、
    　　前記点灯要求を生成する点灯要求生成手段と、
    　　前記点灯要求を前記駐車場側装置に送信する車両側通信手段と、
    　　前記発光手段の少なくとも１つを撮影するためのカメラと、
    　　前記カメラにより撮影された前記発光手段の画像に基づいて特徴点を抽出すると共に、撮影された前記画像上における前記特徴点の２次元座標を認識する画像認識手段と、
    　　前記画像認識手段により認識された２組以上の前記２次元座標と、前記点灯要求とに基づいて、前記固定目標を基準とした少なくとも２次元座標とパン角とを含む前記カメラの位置パラメータを算出する、位置パラメータ算出手段と、
    　　前記位置パラメータ算出手段により算出された前記カメラの位置パラメータと、前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて、前記車両と前記目標駐車位置との相対位置関係を特定する相対位置特定手段と、
    　　前記相対位置特定手段によって特定された相対位置関係に基づいて、前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段と
    　を含む
    駐車支援装置。
  2. 　前記点灯要求生成手段は、異なる複数の点灯要求を順次生成する、請求項１に記載の駐車支援装置。
  3. 　前記画像認識手段が所定数の前記特徴点の前記２次元座標を認識していない場合、前記点灯要求生成手段は新たな点灯要求を生成する、請求項１に記載の駐車支援装置。
  4. 　前記点灯要求は、第１のサイズの特徴点を点灯させる第１の点灯要求と、第２のサイズの特徴点を点灯させる第２の点灯要求とを含み、
    　第２のサイズは第１のサイズより小さく、第２の点灯要求に対応する前記特徴点の数は第１の点灯要求に対応する前記特徴点の数より多く、
    　前記点灯要求生成手段は、前記位置パラメータに応じて、または前記相対位置関係に応じて、前記第１の点灯要求および前記第２の点灯要求のいずれかを生成する
    請求項１に記載の駐車支援装置。
  5. 　１つの前記点灯要求は１つの前記特徴点に対応する、請求項１に記載の駐車支援装置。
  6. 　前記固定目標は、複数の固定目標部分を含み、
    　前記固定目標部分は、それぞれ複数の発光手段を備え、
    　１つの前記点灯要求は、前記固定目標部分のいずれかにおいて同時に点灯する複数の前記特徴点に対応し、
    　前記点灯要求生成手段は、前記位置パラメータに応じて、または前記相対位置関係に応じて、異なる前記点灯要求を生成する
    請求項１に記載の駐車支援装置。
  7. 　前記特徴点は円形であり、前記特徴点の前記２次元座標は前記特徴点が形成する円の中心の２次元座標である、請求項１に記載の駐車支援装置。
  8. 　車両に搭載される車両側装置と、所定の目標駐車位置に関連して設置される駐車場側装置とを用いる駐車支援方法であって、
    　前記車両側装置から前記駐車場側装置へと点灯要求を送信するステップと、
    　前記点灯要求に基づいて、複数の発光手段を点灯させまたは消灯させるステップと、
    　前記発光手段の少なくとも１つを撮影するステップと、
    　撮影された前記発光手段の画像に基づいて固定目標の特徴点を抽出すると共に、撮影された前記画像上における前記特徴点の２次元座標を認識するステップと、
    　認識された２組以上の前記２次元座標と、前記点灯要求とに基づいて、前記固定目標を基準とした少なくとも２次元座標とパン角とを含むカメラの位置パラメータを算出するステップと、
    　算出された前記カメラの位置パラメータと、前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて、前記車両と前記目標駐車位置との相対位置関係を特定するステップと、
    　特定された前記相対位置関係に基づいて、前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出するステップと
    を含む、駐車支援方法。
PCT/JP2010/052950 2009-03-06 2010-02-25 駐車支援装置および駐車支援方法 Ceased WO2010101067A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/202,004 US20110298926A1 (en) 2009-03-06 2010-02-25 Parking assistance apparatus and parking assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-053609 2009-03-06
JP2009053609A JP2010211277A (ja) 2009-03-06 2009-03-06 駐車支援装置および駐車支援方法

Publications (1)

Publication Number Publication Date
WO2010101067A1 true WO2010101067A1 (ja) 2010-09-10

Family

ID=42709626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052950 Ceased WO2010101067A1 (ja) 2009-03-06 2010-02-25 駐車支援装置および駐車支援方法

Country Status (3)

Country Link
US (1) US20110298926A1 (ja)
JP (1) JP2010211277A (ja)
WO (1) WO2010101067A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730908A (zh) * 2017-09-22 2018-02-23 智慧互通科技有限公司 一种路侧并发停车事件管理装置、系统及方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8766818B2 (en) 2010-11-09 2014-07-01 International Business Machines Corporation Smart spacing allocation
DE102012208132A1 (de) * 2012-05-15 2013-11-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrzeuglokalisierung
KR101362326B1 (ko) * 2012-08-06 2014-02-24 현대모비스 주식회사 주차 정렬 기능을 갖는 차량 후방 카메라 시스템 및 이를 이용한 차량의 주차 지원 시스템
JP6329746B2 (ja) * 2013-10-04 2018-05-23 株式会社デンソーアイティーラボラトリ 交通制御システム、交通制御方法、およびプログラム
JP6306867B2 (ja) * 2013-12-10 2018-04-04 矢崎総業株式会社 駐車支援システム及びワイヤレス給電システム
US20160264220A1 (en) * 2015-01-19 2016-09-15 William P. Laceky Boat loading system
KR102316314B1 (ko) * 2017-07-28 2021-10-22 현대모비스 주식회사 차량의 주차 지원 장치, 시스템 및 방법
CN109427211B (zh) * 2017-08-30 2021-08-03 京东方科技集团股份有限公司 一种辅助停车方法、装置及系统
JP7311004B2 (ja) * 2019-10-11 2023-07-19 トヨタ自動車株式会社 駐車支援装置
JP7256463B2 (ja) * 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
JP7160014B2 (ja) 2019-10-11 2022-10-25 トヨタ自動車株式会社 駐車支援装置
JP7522389B2 (ja) 2021-01-27 2024-07-25 トヨタ自動車株式会社 駐車支援装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008081655A1 (ja) * 2006-12-28 2008-07-10 Kabushiki Kaisha Toyota Jidoshokki 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
WO2009016925A1 (ja) * 2007-07-31 2009-02-05 Kabushiki Kaisha Toyota Jidoshokki 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
JP4222355B2 (ja) * 2005-09-29 2009-02-12 トヨタ自動車株式会社 駐車支援装置および車両と地上機器との間の電力授受方法
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008081655A1 (ja) * 2006-12-28 2008-07-10 Kabushiki Kaisha Toyota Jidoshokki 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
WO2009016925A1 (ja) * 2007-07-31 2009-02-05 Kabushiki Kaisha Toyota Jidoshokki 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730908A (zh) * 2017-09-22 2018-02-23 智慧互通科技有限公司 一种路侧并发停车事件管理装置、系统及方法
CN107730908B (zh) * 2017-09-22 2023-11-07 智慧互通科技股份有限公司 一种路侧并发停车事件管理装置、系统及方法

Also Published As

Publication number Publication date
JP2010211277A (ja) 2010-09-24
US20110298926A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
WO2010101067A1 (ja) 駐車支援装置および駐車支援方法
JP5126069B2 (ja) 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
JPWO2009016925A1 (ja) 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム
US7363130B2 (en) Parking assist systems, methods, and programs
CN108541246B (zh) 驾驶辅助方法、装置、信息提示装置和记录介质
CN2769853Y (zh) 车辆倒车辅助装置
US7119715B2 (en) Parking lot attendant robot system
JP7410463B2 (ja) 車両駐車支援装置
JP2008174192A (ja) 駐車支援方法及び駐車支援装置
EP3290301B1 (en) Parking assist device
US9683861B2 (en) Estimated route presentation apparatus and estimated route presentation method
JP5618138B2 (ja) 駐車支援装置
JP2007176244A (ja) 駐車支援装置
JP2008174000A (ja) 駐車支援装置、駐車支援装置部品、駐車支援方法及び駐車支援プログラム
WO2010103961A1 (ja) 駐車支援装置
CN107539218A (zh) 显示控制装置
CN106506078A (zh) 一种带车牌定位的可见光通信车灯对讲方法
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
JP4997183B2 (ja) 駐車を支援するための装置
JP5013204B2 (ja) 駐車支援装置
JP2017007499A (ja) 車両用駐車支援装置
JP2008242986A (ja) 運転支援方法及び運転支援装置
CN106330330A (zh) 一种可见光通信车灯对讲装置
CN111753632B (zh) 驾驶辅助装置
JP2014011630A (ja) ナビゲーション装置およびガイド線作成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10748662

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13202004

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10748662

Country of ref document: EP

Kind code of ref document: A1