WO2018179616A1 - 車両位置推定装置 - Google Patents
車両位置推定装置 Download PDFInfo
- Publication number
- WO2018179616A1 WO2018179616A1 PCT/JP2017/045319 JP2017045319W WO2018179616A1 WO 2018179616 A1 WO2018179616 A1 WO 2018179616A1 JP 2017045319 W JP2017045319 W JP 2017045319W WO 2018179616 A1 WO2018179616 A1 WO 2018179616A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- lane
- vehicle
- unit
- line
- drawing line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/421—Determining position by combining or switching between position solutions or signals derived from different satellite radio beacon positioning systems; by combining or switching between position solutions or signals derived from different modes of operation in a single system
- G01S19/426—Determining position by combining or switching between position solutions or signals derived from different satellite radio beacon positioning systems; by combining or switching between position solutions or signals derived from different modes of operation in a single system by combining or switching between position solutions or signals derived from different modes of operation in a single system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
Definitions
- the present invention relates to a vehicle position estimation device that estimates a current position of a vehicle.
- the navigation system normally performs dead reckoning processing in consideration of GNSS (Global Navigation Satellite System) coordinate information received from satellites, vehicle speed signal information calculated from the vehicle wheel rotation speed, acceleration information obtained from the gyro sensor, and the like. It holds the vehicle position estimation coordinates obtained by doing so.
- GNSS Global Navigation Satellite System
- the navigation system when using a map for navigation that expresses a road only with links, nodes, and attribute information associated with them, the navigation system performs a map matching process, and a link of the road on which the vehicle is traveling, and the link
- the display position of the vehicle position on the map is determined by calculating the vehicle position above.
- the vehicle position on the map is also called a car mark.
- the map for navigation described above does not include detailed shape information at the lane level, and the entire road including a plurality of lanes is represented by a line segment group or a curve.
- the map information for estimating the relative position of the vehicle in the horizontal direction is not provided.
- the lateral direction of the vehicle is a direction orthogonal to the traveling direction of the vehicle.
- the estimation accuracy of the vehicle position obtained by the dead reckoning process is easily affected by a satellite reception environment such as multipath, and includes an error of about 10 m depending on the reception environment. Therefore, even if the detailed shape of each lane is known, by comparing the result of the dead reckoning process with the detailed shape of each lane, the relative position in the lateral direction of the vehicle in the actual driving lane and the lane can be accurately determined. It is unlikely that it can be estimated.
- the lane marking on the left side of the vehicle that is, the line indicating the boundary between the traveling lane and the lane existing on the left side of the traveling lane is referred to as a left lane marking.
- a lane marking on the right side of the vehicle that is, a line indicating a boundary between the traveling lane and the lane existing on the right side of the traveling lane is referred to as a right lane marking.
- the color and shape used for the lane markings vary depending on the country or region. For example, in Japan, white and yellow are often used as the lane marking colors.
- the vehicle position estimation system can accurately estimate the vehicle position in the lane based on the relative position of the drawing line relative to the vehicle and the absolute position of the lane marking included in the map information. Since the position accuracy of drawing line recognition by the camera is generally about several tens of centimeters, the accuracy of about several tens of centimeters can be expected for the lateral position of the vehicle.
- the drawing line recognition technology using the camera as described above is being used for various functions for the driving assistance function, and a general-purpose camera for ADAS (Advanced Driver Assistance System) with a built-in drawing line recognition function has been commercialized.
- ADAS Advanced Driver Assistance System
- the drawing line recognition function by the camera detects two drawing lines closest to the vehicle, that is, the closest to the left side and the right side of the vehicle, and the shape of each detected drawing line is orthogonal coordinates based on the position and traveling direction of the vehicle.
- a specification that is expressed by a polynomial or a curve in the system is generally used.
- the specification that the number of drawing lines to be output is two is presumed to be conscious of applying the drawing line recognition function by the camera to the lane keeping function.
- the accuracy of drawing line recognition by the camera varies depending on the driving environment around the vehicle. Originally, it is expected that both the left lane line and the right lane line are detected. For example, the difference in contrast on the road caused by road structures, lack of illuminance in the tunnel, parallel running vehicles, etc. There are often cases where only one partition line can be recognized due to the hiding of the drawing line or the blurring of the drawing line.
- a technique for estimating the traveling direction of a vehicle by performing is disclosed (for example, see Patent Document 1).
- the line type of the drawing line include a branch line, a solid line, and a broken line.
- the branch line is a line that is wider than the partition line between the normal lanes and has a shorter broken line length.
- Examples of the traveling direction of the vehicle include a branching direction or a main line direction.
- Patent Document 1 when a branch line is found in front of a vehicle based on map data, a drawing line is detected in each area by dividing the image of the camera taken in front of the vehicle into three in the horizontal direction. ing. The detected drawing line type is corrected by collating the detection result of the drawing line in each area with the transition pattern of the line type in each area assumed in advance.
- Patent Document 1 it is assumed that the detection result of the drawing line in each area divided into three in the horizontal direction is used. That is, in Patent Document 1, recognition results for up to three drawing lines are required. Therefore, it is not possible to use only the two drawing lines closest to the vehicle, which are the output specifications of the recognition result of the standard drawing line for the driving support function described above. In Patent Document 1, it is necessary to use a dedicated drawing line recognition module capable of recognizing three drawing lines, and there is a problem that it is difficult to apply to a wide range of products.
- Patent Document 1 the correction target is only the line type of the drawing line detected by the camera, and nothing is mentioned about the detection position of the drawing line and the presence or absence of the drawing line. Therefore, even if Patent Document 1 is applied as it is to the vehicle position estimation technique, it does not contribute to the improvement of the vehicle position accuracy.
- the present invention has been made to solve such a problem, and an object of the present invention is to provide a vehicle position estimation device capable of estimating a vehicle position with high accuracy.
- a vehicle position estimation device is based on a video information acquisition unit that acquires video information obtained by photographing a road ahead of the vehicle, and a video information acquired by the video information acquisition unit.
- a drawing line recognition unit that recognizes the relative positions of the drawing lines drawn on the left and right roads of the vehicle with respect to the vehicle, and a left and right side that divides the road lane into the relative positions of the left and right sides recognized by the drawing line recognition unit
- With the connection relationship between the drawing line recognition result processing unit that calculates the lane change of the vehicle, the presence or absence of the lane change of the vehicle, and the direction of the lane change when the vehicle changes the lane, and the road direction of the lane at least Based on the map information acquisition unit that acquires map information including a certain lane connection relationship, the presence or absence of lane change and the direction of lane change calculated by the drawing line recognition result processing unit, and the lane connection relationship acquired by the map information acquisition unit
- a vehicle lateral position calculation unit that calculates a vehicle
- the vehicle position estimation device is provided on the left and right roads of the vehicle based on the video information acquisition unit that acquires video information obtained by photographing the road ahead of the vehicle and the video information acquired by the video information acquisition unit.
- the drawing line recognition unit that recognizes the relative position of the drawn drawing line to the vehicle, and the relative positions of the left and right sides recognized by the drawing line recognition unit are the positions of the left and right lane markings that divide the road lane.
- a map including a drawing line recognition result processing unit for calculating the presence or absence of a lane change of the vehicle and a direction of the lane change when the vehicle changes the lane, and a lane connection relation which is at least a connection relation of the road direction of the lane
- a vehicle lateral position calculating unit that calculates a vehicle lateral position that is a lateral position of the vehicle in the lane
- a vehicle forward distance calculating unit that calculates a forward distance that is a distance traveled by the vehicle
- a map information acquisition unit
- the vehicle position calculation unit on the map to be calculated is provided, the vehicle position can be estimated with high accuracy.
- FIG. 1 It is a block diagram which shows an example of a structure of the vehicle position estimation system by Embodiment 1 of this invention. It is a figure for demonstrating operation
- Embodiment 3 of this invention It is a figure for demonstrating the calculation order of the internal variable in the drawing line recognition result process part by Embodiment 2 of this invention. It is a block diagram which shows an example of a structure of the vehicle position estimation system by Embodiment 3 of this invention. It is a flowchart which shows an example of operation
- FIG. 1 is a block diagram showing an example of a configuration of a vehicle position estimation system 1 according to Embodiment 1 of the present invention.
- the vehicle position estimation system 1 estimates the position of a vehicle on a road on which a moving body such as a vehicle is traveling. Below, a mobile body is demonstrated as what is a vehicle.
- the vehicle position estimation system 1 includes a vehicle position estimation device 2, a road imaging device 3, and a satellite positioning device 12.
- the vehicle position estimation device 2 includes a video information acquisition unit 4, a drawing line recognition unit 5, a drawing line recognition result processing unit 6, a vehicle lateral position calculation unit 7, a map vehicle position calculation unit 8, and a map vehicle.
- a position initialization unit 9, a vehicle advance distance calculation unit 10, and a map information acquisition unit 11 are provided.
- the road imaging device 3 is a monocular camera or a stereo camera, for example, and is set so as to be able to photograph the front of the vehicle.
- the road imaging device 3 images a traveling direction of the vehicle, that is, a drawing line or a road sign existing in front of the vehicle.
- the video information acquisition unit 4 acquires video information captured by the road imaging device 3.
- the drawing line recognition unit 5 analyzes the video information acquired by the video information acquisition unit 4 and detects a drawing line that is estimated to correspond to a lane marking on the road. Further, the drawing line recognition unit 5 identifies a drawing line near the vehicle, more preferably a drawing line near the left and right sides of the vehicle approximately parallel to the vehicle, and relative positions of the drawing lines with respect to the vehicle. Is calculated. That is, the drawing line recognition unit 5 recognizes the relative positions of the drawing lines drawn on the roads on the left and right sides of the vehicle with respect to the vehicle based on the video information acquired by the video information acquisition unit 4.
- the drawing line recognition result processing unit 6 determines whether or not the lane of the vehicle is changed based on the time-series change of the positions of the two drawing lines recognized by the drawing line recognition unit 5 and the direction when the lane is changed. Is calculated.
- the drawing line recognition result processing unit 6 calculates the positions of the left section line and the right section line in the lane in which the vehicle is currently traveling.
- the vehicle advance distance calculation unit 10 calculates the advance distance of the vehicle based on the detection result such as the rotation speed or the rotation angle of the tire generated as the vehicle advances.
- the map information acquisition unit 11 is an HDD (Hard Disk Drive) or a memory card, and stores high-precision map information including a detailed shape for each lane.
- the shape of the lane center line and lane marking for each lane is represented by a point sequence.
- the high-accuracy map information includes a lane width at each point on the lane center line and a lane connection relationship that is a connection relationship in the extending direction of the road of the lane.
- the lane width may be calculated from a point sequence that represents the shape of the lane marking.
- the map information acquisition unit 11 may acquire high-precision map information from the outside as necessary.
- the vehicle lateral position calculation unit 7 calculates the lateral position of the vehicle in the currently traveling lane based on the recognition result obtained by the drawing line recognition result processing unit 6 and the lane connection relationship stored in the map information acquisition unit 11. The vehicle lateral position is calculated.
- the vehicle position calculation unit 8 on the map updates the vehicle lateral position on the map, and the vehicle advance distance calculation unit 10 is notified of the vehicle advance distance.
- the vehicle front-rear direction position on the map is updated.
- the front-rear direction position of the vehicle is a position along the traveling direction of the vehicle, and is also referred to as a vehicle vertical position.
- the satellite positioning device 12 is connected to a GNSS antenna that receives radio waves from the satellite, and measures the current position including the latitude and longitude of the vehicle using the radio waves from the satellite.
- the on-map vehicle position initialization unit 9 notifies the on-map vehicle position calculation unit 8 of the current position measured by the satellite positioning device 12 in order to specify the vehicle position on the map for the first time.
- FIG. 1 demonstrated the case where the satellite positioning apparatus 12 was provided outside the vehicle position estimation apparatus 2, it is not restricted to this.
- the satellite positioning device 12 may be provided inside the vehicle position estimation device 2.
- the drawing line recognition unit 5 detects a plurality of drawing lines that are estimated to correspond to lane markings on the road from the video ahead of the vehicle acquired by the video information acquisition unit 4. Then, the drawing line recognition unit 5 identifies two drawing lines that are estimated to correspond to the dividing lines that are closest to the left and right of the vehicle among the plurality of detected drawing lines, and the two drawing lines and the vehicle The relative positional relationship of is calculated.
- the drawing line recognition unit 5 is a two-dimensional orthogonal coordinate system in which the vehicle position is the origin, the forward direction of the vehicle is the X-axis direction, and the right direction of the vehicle is the y-axis direction.
- the shape of the two drawing lines is expressed by a one-dimensional or higher polynomial expression. That is, the two drawing lines are expressed by the following expressions (1) and (2), respectively.
- each of f L (x) and f R (x) represents a two-dimensional or higher polynomial and is treated as an error term in the present embodiment.
- the relative lateral positions of the two drawing lines with respect to the vehicle are L 0 and R 0 , respectively, and the inclinations of the two vehicles with respect to the traveling direction are L 1 and R 1 , respectively.
- L 0 is referred to as the horizontal position of the left drawing line
- R 0 is referred to as the horizontal position of the right drawing line
- L 1 is referred to as the inclination of the left drawing line
- R 1 is referred to as the inclination of the right drawing line.
- the origin is the vehicle position, specifically, it is the installation position of the road imaging device 3.
- the drawing line recognition result processing unit 6 calculates the presence / absence of the lane change of the vehicle and the lane change direction when the lane is changed based on the lateral position of the two drawing lines calculated by the drawing line recognition unit 5.
- the presence / absence of a lane change represents one of “none”, “present”, and “undefined”. “None” indicates that no lane change has been made. “Yes” indicates that a lane change has been made. “Indefinite” indicates that it cannot be determined whether or not a lane change has been made based on the horizontal positions of the two drawing lines calculated by the drawing line recognition unit 5.
- the positions of the left drawing line and the right drawing line at the current time (t) calculated by the drawing line recognition unit 5 are the following equations (3) and (4), respectively, and the left drawing line and the right drawing line at the previous time (t ⁇ 1) Assume that the positions of the right drawing lines are the following equations (5) and (6), respectively.
- L 0, t is the horizontal position of the left drawing line at time t calculated by the drawing line recognition unit 5, and R 0, t is calculated by the drawing line recognition unit 5.
- the horizontal position of the right drawing line at time t, L1 , t is the left drawing line inclination at time t calculated by the drawing line recognition unit 5, and R1 , t is calculated by the drawing line recognition unit 5. This is the slope of the right drawing line at time t.
- f L, t (x) represents a two-dimensional or higher polynomial of the left drawing line at time t calculated by the drawing line recognition unit 5, and f R, t (x) is calculated by the drawing line recognition unit 5. Represents a two-dimensional or higher polynomial of the right drawing line at time t, and these are treated as error terms in the present embodiment.
- the drawing line recognition result processing unit 6 determines that the lane change to the right lane has been performed, and sets the presence / absence of the lane change as “present” and the lane change direction as “right”.
- Wid t is the lane width, and the lane width near the current position acquired from the map information acquisition unit 11 may be used as it is.
- Wid t (R (D) 0, t-1 ⁇ L (D) 0, t ⁇ 1 ) ⁇ (W Map, t / W Map, t ⁇ 1 ) (9)
- W Map, t is the lane width of the traveling lane acquired from the map information acquisition unit 11 at the current time (t), and the map at the time (t ⁇ 1) immediately before W Map, t ⁇ 1. This is the lane width of the traveling lane acquired from the information acquisition unit 11.
- both of the following expressions (10) and (11) are satisfied, it can be read that both the left drawing line and the right drawing line have moved leftward by a distance corresponding to one lane as shown in FIG. .
- the drawing line recognition result processing unit 6 determines that the lane change to the left lane has been performed, and sets the presence / absence of the lane change as “present” and the lane change direction as “left”.
- the drawing line recognition unit 5 cannot recognize one or both of the two drawing lines, and (B) the left drawing line. In some cases, the change in the right drawing line is not synchronized.
- the determination criterion in the case of (B) may be, for example, a case where both of the following formulas (12) and (13) are satisfied.
- the horizontal position of the left dividing line is the horizontal position L 0, t of the left drawing line recognized by the drawing line recognition unit 5 at the current time (t), and the horizontal position of the right dividing line is drawn at the current time (t).
- FIG. 5 is a flowchart showing an example of the operation of the vehicle lateral position calculation unit 7.
- step S101 the vehicle lateral position calculation unit 7 waits until a lane line position calculation result is notified from the drawing line recognition result processing unit 6 or a lane connection relationship is notified from the vehicle position calculation unit 8 on the map.
- the process proceeds to step S102.
- step S102 the vehicle lateral position calculation unit 7 determines which of the lane line position calculation result or the lane connection relationship has been notified.
- the process proceeds to step S103.
- the process proceeds to step S106.
- step S103 the vehicle lateral position calculation unit 7 sets the lane number held in the lane line position calculation result notified by the drawing line recognition result processing unit 6 to ⁇ 1 when the presence / absence of lane change is “Yes”.
- the lane change is “none” or “undefined”, the lane number is the same as the lane number at the immediately preceding time.
- the updated traffic lane number is 1.
- a traveling lane number of 1 indicates that the vehicle is traveling on the first lane of the road.
- a traveling lane number of 2 indicates that the vehicle is traveling in the second lane of the road.
- step S ⁇ b> 104 the vehicle lateral position calculation unit 7 calculates the vehicle lateral position in the lane from the position of the left lane line and the position of the right lane line notified from the drawing line recognition result processing unit 6.
- step S105 the vehicle lateral position calculation unit 7 updates the held vehicle lateral position to the vehicle lateral position calculated in step S104.
- the vehicle lateral position Y car in the lane is calculated by, for example, the following formula (14).
- Y car ( ⁇ L (D) 0, t ) / (R (D) 0, t ⁇ 1 ⁇ L (D) 0, t ⁇ 1 ) (14)
- L (D) 0, t is the horizontal position of the left partition line at time (t) determined by the drawing line recognition result processing unit 6, and R (D) 0, t is drawing line recognition.
- step 106 the vehicle lateral position calculation unit 7 updates the lane number based on the lane connection relationship notified from the on-map vehicle position calculation unit 8.
- the content included in the notified lane connection relationship is a connection relationship between the lane configuration at the previous travel point and the lane configuration at the current travel point.
- FIGS. 7 and 8 are diagrams showing an example of the lane connection relationship.
- the first travel lane at the previous travel point is connected to the second travel lane at the current travel point.
- the second travel lane at the immediately preceding travel point is connected to the third travel lane at the current travel point.
- FIG. 8 shows these correspondences. For example, when the lane connection relationship shown in FIGS. 7 and 8 is notified in a situation where the immediately preceding lane number is 1, the updated lane number is 2.
- FIG. 6 is a flowchart illustrating an example of the operation of the vehicle position calculation unit 8 on the map.
- step S201 the on-map vehicle position calculation unit 8 waits until the advance distance is notified from the vehicle advance distance calculation unit 10 or the vehicle lateral position is notified from the vehicle lateral position calculation unit 7, and the advance distance or When the vehicle lateral position is notified, the process proceeds to step S202.
- step S202 the on-map vehicle position calculation unit 8 determines whether the advance distance or the vehicle lateral position is notified. When the advance distance is notified, the process proceeds to step S203. On the other hand, when the vehicle lateral position is notified, the process proceeds to step S206.
- step S203 the on-map vehicle position calculation unit 8 advances the vehicle position forward while leaving the vehicle lateral position as it is, and updates the held on-map vehicle position to the forward vehicle position.
- step S204 the on-map vehicle position calculation unit 8 acquires the lane connection relationship between the vehicle position before moving forward and the vehicle position after moving forward from the map information acquiring unit 11.
- step S ⁇ b> 205 the on-map vehicle position calculation unit 8 notifies the vehicle lateral position calculation unit 7 of the lane connection relationship acquired from the map information acquisition unit 11.
- step S206 the on-map vehicle position calculation unit 8 moves the vehicle position horizontally in the road so as to coincide with the notified vehicle lateral position while leaving the vehicle vertical position as it is, and holds it on the map
- the vehicle position is updated to the vehicle position after moving in the lateral direction.
- the on-map vehicle position calculation unit 8 accumulates the advance distance acquired from the vehicle advance distance calculation unit 10 with respect to the initial position given from the on-map vehicle position initialization unit 9, thereby The vehicle vertical position at is calculated. Further, the on-map vehicle position calculation unit 8 uses the vehicle lateral position acquired from the vehicle lateral position calculation unit 7 to specify the vehicle lateral position on the current map. When the vehicle reaches the branch point, the traveling direction of the vehicle is specified based on the traveling lane and the position in the lane.
- the on-map vehicle position initialization unit 9 notifies the on-map vehicle position calculation unit 8 of a reference absolute coordinate when the vehicle starts to travel.
- the on-map vehicle position initialization unit 9 notifies the on-map vehicle position calculation unit 8 of the satellite positioning result obtained from the satellite positioning device 12 only once when the satellite positioning is possible immediately after the start of traveling. May be.
- the on-map vehicle position initialization unit 9 is not limited to immediately after the start of travel, but when the presence or absence of a lane change becomes “indefinite” or when the on-map vehicle position calculation unit 8 calculates the vehicle position on the map.
- the satellite positioning results obtained by the satellite positioning device 12 differ greatly, it is desirable to notify the on-map vehicle position calculation unit 8 of the satellite positioning results obtained by the satellite positioning device 12.
- the specified position information may be notified to the vehicle position calculation unit 8 on the map. Good.
- the vehicle position calculation unit 8 on the map acquires the advance distance from the vehicle advance distance calculation unit 10.
- the vehicle position reflecting the acquired advance distance is a position 1001.
- the on-map vehicle position calculation unit 8 acquires the lane connection relationship at the position 1001 from the map information acquisition unit 11 and notifies the vehicle lateral position calculation unit 7 of the acquired lane connection relationship.
- the information corresponding to the first lane before the merge is the second lane at the position 1001
- the second lane before the merge is the information corresponding to the third lane at the position 1001. Included in the content of the relationship.
- the vehicle lateral position calculation unit 7 switches the travel lane from the first lane to the second lane while maintaining the position in the lane.
- the drawing line recognition unit 5 performs drawing line recognition, and the drawing line recognition result processing unit 6 determines that the presence or absence of the lane change is “none”.
- the vehicle lateral position calculation unit 7 notifies the on-map vehicle position calculation unit 8 of the vehicle lateral position calculated based on the lane line position calculation result notified from the drawing line recognition result processing unit 6.
- the vehicle lateral position on the map recalculated by the vehicle position calculation unit 8 on the map is a position 1002.
- the on-map vehicle position calculation unit 8 acquires the advance distance from the vehicle advance distance calculation unit 10.
- the vehicle position after reflecting the acquired advance distance is a position 1003.
- the on-map vehicle position calculation unit 8 acquires the lane connection relationship at the position 1003 from the map information acquisition unit 11 and notifies the vehicle lateral position calculation unit 7 of the acquired lane connection relationship.
- the vehicle lateral position calculation unit 7 changes the vehicle lateral position to the first lane.
- the vehicle lateral position calculation unit 7 notifies the vehicle position calculation unit 8 on the map of the vehicle lateral position.
- the vehicle lateral position on the map recalculated by the vehicle position calculation unit 8 on the map is a position 1004.
- the vehicle lateral position calculation unit 7 calculates the vehicle lateral position in the lane based on the lane change information calculated by the drawing line recognition result processing unit 6 and the lane marking detection position.
- the on-map vehicle position calculation unit 8 calculates the vehicle vertical position based on the advance distance acquired from the vehicle advance distance calculation unit 10. This makes it possible to estimate the vehicle lateral position and vehicle longitudinal position in the lane without using satellite positioning during traveling. Further, the on-map vehicle position calculation unit 8 can calculate the vehicle position on the map by taking into account lane connection information in the vicinity of the branch point. In the first embodiment, since the drawing line position captured by the camera is used, the accumulation of azimuth errors as in the dead reckoning process does not occur, and the position outside the road is not indicated. It is possible to calculate with high accuracy.
- FIG. 10 is a block diagram showing an example of the configuration of the vehicle position estimation system 13 according to the second embodiment of the present invention.
- the vehicle position estimation device 14 according to the second embodiment is characterized by including a drawing line recognition result processing unit 15. Since other configurations and operations are the same as those in the first embodiment, detailed description thereof is omitted here.
- the drawing line recognition result processing unit 15 includes a drawing line continuation correction unit 16, a lane change state determination unit 17, a lane line position calculation unit 18, and a time series data storage unit 19.
- the drawing line continuation correction unit 16 converts the noise or recognition error included in the drawing line recognition result by the drawing line recognition unit 5 into a time-series data storage unit. 19 is corrected using the information stored in 19 and a continuous drawing line recognition result is output. That is, the drawing line continuation correction unit 16 corrects the positions of the left and right drawing lines so that they are temporally continuous based on the relative positions of the left and right sides recognized by the drawing line recognition unit 5.
- the lane change state determination unit 17 determines the lane change state based on the correction result by the drawing line continuation correction unit 16 and the information stored in the time series data storage unit 19. In other words, the lane change state determination unit 17 determines the lane change direction based on the relative positions of the left and right drawing lines corrected by the drawing line continuation correction unit 16 and the past positions of the left and right lane markings.
- the lane change state of the vehicle including is determined.
- the lane change state includes “lane change start”, “lane change in progress”, “lane change complete”, and “lane change interruption”.
- the lane line position calculation unit 18 determines the drawing line position based on the correction result of the drawing line continuation correction unit 16 and the determination result of the lane change state determined by the lane change state determination unit 17, and is currently running The position of the left lane line and the position of the right lane line in the lane are calculated. That is, the lane line position calculation unit 18 is based on the relative positions of the left and right drawing lines corrected by the drawing line continuation correction unit 16 and the vehicle lane change state determined by the lane change state determination unit 17. Thus, the positions of the lane markings on both the left and right sides are calculated.
- the time series data accumulation unit 19 stores and accumulates the positions of the lane lines on the left and right sides calculated by the lane line position calculation unit 18 as time series data. When the accumulated data exceeds the buffer size, the oldest data is deleted in order.
- FIG. 11 is a flowchart illustrating an example of the operation of the drawing line continuation correction unit 16.
- step S301 the drawing line continuation correction unit 16 stands by until a drawing line recognition result is notified from the drawing line recognition unit 5.
- the process proceeds to step S302, and thereafter, the drawing line recognition result is corrected so as to maintain continuity in time series.
- the past drawing line recognition result refers to the time series data stored in the time series data storage unit 19.
- the drawing line recognition result by the drawing line recognition unit 5 includes noise due to the driving environment or the road marking state, there is a possibility that an error is included in the horizontal position and inclination of the drawing line. Specifically, even if the road marking on the lane marking is continuous, it is detected that the horizontal position of the drawing line is discontinuous, or a linear object other than the road marking on the lane marking is erroneously detected, or traveling It is conceivable to detect road markings on lane markings other than the inside lane.
- (C) detection and correction of the drawing line position due to the influence of noise will be described.
- the condition for correcting the drawing line position is that the temporal change amount of the horizontal position of the drawing line exceeds a threshold value. This corresponds to shifting to step S204 when the drawing line position can be corrected in step S303. However, if the temporal changes in both the horizontal position of the right drawing line and the horizontal position of the left drawing line exceed the threshold value, it is determined that the drawing line position cannot be corrected. This corresponds to shifting to step S305 when the drawing line position cannot be corrected in step S303.
- the drawing line position correction method performed in step S306 the left drawing line and the right drawing line having the smaller temporal movement amount in the horizontal position is determined to have high reliability, and the drawing line position having high reliability is determined. Is used as a reference to calculate the position of the other drawing line using the lane width included in the map information. Such processing corresponds to step S304. That is, the drawing line continuation correction unit 16 determines the position of the left lane line, which is the lane line on the left side of the vehicle before a predetermined time from the current time stored in the time-series data storage unit 19, and the current drawing line.
- the right drawing line is determined to be the left partition line at the current time. Based on the left lane line and the lane width included in the map information, the position of the right lane line, which is the right lane line of the vehicle at the current time, is calculated and determined in advance from the current time stored in the time-series data storage unit 19.
- the left drawing Line is right ward at present It determines that the line, and calculates the position of the left lane line at the current time on the basis of the right lane mark and a lane width at the present time.
- L 0, t is the horizontal position of the left drawing line at time t calculated by the drawing line recognition unit 5, and R 0, t is calculated by the drawing line recognition unit 5.
- the horizontal position of the right drawing line at time t, L1 , t is the left drawing line inclination at time t calculated by the drawing line recognition unit 5, and R1 , t is calculated by the drawing line recognition unit 5. This is the slope of the right drawing line at time t.
- f L, t (x) represents a two-dimensional or higher polynomial of the left drawing line at time t calculated by the drawing line recognition unit 5, and f R, t (x) is calculated by the drawing line recognition unit 5. Represents a two-dimensional or higher polynomial of the right drawing line at time t, and these are treated as error terms in the present embodiment.
- L (D) 0, t is the horizontal position of the left lane line at time t determined by the lane line position calculation unit 18 and accumulated in the time-series data accumulation unit 19.
- R (D) 0, t is the horizontal position of the right lane line at time t, which is determined by the lane line position calculation unit 18 and accumulated in the time-series data accumulation unit 19, and
- L (D) 1, t is The slope of the left lane marking at time t determined by the lane marking position calculation unit 18 and stored in the time-series data storage unit 19, and R (D) 1, t is determined by the lane line position calculation unit 18. This is the slope of the right partition line at time t stored in the time series data storage unit 19.
- f (D) L, t (x) represents a two-dimensional or higher polynomial of the left drawing line at the time t determined by the lane marking position calculation unit 18, and f (D) R, t (x) represents the partition. This represents a two-dimensional or higher-order polynomial of the right drawing line at time t determined by the line position calculation unit 18, and these are handled as error terms in the present embodiment.
- ⁇ 0, diff is a threshold parameter that represents the upper limit of continuity regarding the 0th-order coefficient of the drawing line.
- the left drawing line can be regarded as continuously changing from the equation (19), but the right drawing line can be regarded as not continuously changing from the equation (20). Accordingly, the position of the right drawing line is corrected based on the position of the left drawing line.
- L (c) 0, t is the horizontal position of the left drawing line at time t after the continuation correction by the drawing line continuation correction unit 16, and R (C) 0, t Is the horizontal position of the right drawing line at time t after continuation correction by the drawing line continuation correction unit 16, and L (C) 1, t is at time t after continuation correction by the drawing line continuation correction unit 16.
- R (C) 1, t is the inclination of the right drawing line at time t after the continuation correction by the drawing line continuation correction unit 16.
- F (C) L, t (x) represents a two-dimensional or higher polynomial of the left drawing line at time t after the continuation correction by the drawing line continuation correction unit 16, and f (C) R, t (x ) Represents a two-dimensional or higher polynomial of the right drawing line at time t after the continuation correction by the drawing line continuation correction unit 16, and these are treated as error terms in the present embodiment.
- Wid t represents the lane width
- the lane width in the vicinity of the current location acquired from the map information acquisition unit 11 may be used as it is, taking into account the difference between the lane width captured by the camera and the actual lane width.
- the following equation (29) may be used for calculation.
- Wid t (R (D) 0, t-1 ⁇ L (D) 0, t ⁇ 1 ) ⁇ (W Map, t / W Map, t ⁇ 1 ) (29)
- W Map, t is the lane width of the traveling lane acquired from the map information acquisition unit 11 at the current time (t), and the map is displayed immediately before the time (t-1) of W Map, t ⁇ 1. This is the lane width of the traveling lane acquired from the information acquisition unit 11.
- Dir t represents the angular difference between the right lane mark and the left lane line, for the exception of the vicinity of lanes increases or decreases points are concurrently right lane lines and the left lane mark lanes in most cases, Dir t May be set to 0, and may be calculated using the following equation (30) in consideration of the angle difference between the left lane marking and the right lane marking.
- Dir t Dir Map, R, t ⁇ Dir Map, L, t (30)
- Dir Map, R, t is the direction of the right lane of the running lane acquired from the map information acquisition unit 11 at the travel point at the current time t
- Dir Map, L, t is the current time. This is the azimuth of the left lane line of the running lane acquired from the map information acquisition unit 11 at the travel point t.
- step S306 the drawing line continuation correction unit 16 determines that the two drawing lines are the same, and sets the drawing line detected as the right drawing line at the current time (t) as the left partition line. At this time, the position of the right lane marking is calculated using the lane width included in the map information with the position of the left lane marking as a reference.
- the position of the left drawing line and the position of the right drawing line at the current time (t) recognized by the drawing line recognition unit 5 are expressed by equations (15) and (16) and stored in the time series data storage unit 19. It is assumed that the position of the left lane line and the position of the right lane line at time (t ⁇ 1) immediately before the time are expressed by equations (17) and (18). Further, it is assumed that the relationship between the parameters satisfies the following equation (33).
- the amount of change in the immediately preceding left drawing line and the current right drawing line is less than or equal to the threshold value, and it is estimated that these are the same drawing line. Accordingly, since the drawing line captured by the camera is considered to have changed to the left drawing line, the drawing line information is replaced.
- “Wid t” represents the lane width, and the lane width near the current position acquired from the map information acquisition unit 11 may be used as it is, and is calculated using Expression (29). May be.
- Dir t representing the angular difference between the right lane mark and the left division line may be 0, it may be calculated using equation (30).
- the drawing line continuation correction unit 16 determines the drawing line in step S307. Judge that correction is impossible. Specifically, when all of the following equations (43) to (46) are satisfied, the drawing line continuation correction unit 16 determines that the drawing line cannot be corrected.
- step S308 the drawing line continuation correcting unit 16 corrects the parameters L (C) 0, t , L (C) 1, t , R (C) 0, t , R (C) 1 corrected in this way.
- T and polynomials f (C) L, t (x), f (C) R, t (x) are notified to the lane change state determination unit 17 and the lane line position calculation unit 18 as correction results.
- FIG. 12 is a flowchart illustrating an example of the operation of the lane change state determination unit 17.
- the lane change state determination unit 17 determines the lane change state of the vehicle based on the position information of the drawing line after the continuation correction by the drawing line continuation correction unit 16.
- the lane change status includes “no lane change”, “start lane change”, “under lane change”, “lane change complete”, “lane change stop”, and “lane change indefinite”.
- step S401 the lane change state determination unit 17 waits until a drawing line continuation correction result is notified.
- the process proceeds to step S402.
- step S402 the lane change state determination unit 17 determines whether or not the drawing line continuation correction unit 16 has corrected the drawing line continuation.
- the lane change state is specified by using the lateral positions and inclinations of the left drawing line and the right drawing line that change continuously, acquired from the drawing line continuation correction unit 16. If the drawing line continuation correction unit 16 has not corrected the drawing line continuation, the process proceeds to step S403. On the other hand, if the drawing line continuation correction unit 16 has corrected the drawing line continuation, the process proceeds to step S404.
- step S403 the lane change state determination unit 17 determines that the lane change state is “lane change indefinite”.
- step S404 the lane change state determination unit 17 determines whether the previous lane change state is “no lane change”, “lane change complete”, “lane change start”, or “lane change in progress”. . If “no lane change” or “lane change complete”, the process proceeds to step S405. On the other hand, in the case of “start lane change” or “under lane change”, the process proceeds to step S409.
- step S405 when the previous lane change state is “no lane change”, the lane change state determination unit 17 determines whether or not there is a sign of the start of the lane change. Specifically, the forward distance until the vehicle crosses the lane line is calculated by dividing the lateral position of the left lane line by the inclination to the left lane line. This is called the advance distance to the crossing or the crossing advance distance. Further, the time required for the vehicle to cross the lane line is calculated by dividing the horizontal position of the left lane line by the amount of time change up to the left lane line and multiplying by the time coefficient. This is called the time required for crossing or the time required for crossing.
- T Diff represents the elapsed time per frame.
- L (C, DiffAVE) 0, t represents the average rate of change per frame of the horizontal position of the left drawing line near the current time (t), and the following equation (49) is used with the averaging parameter N: Calculated.
- L (C, DiffAVE) 0, t (L (C) 0, t ⁇ L (D) 0 , tN ) / N (49)
- the horizontal position of the left drawing line at time (t ⁇ N) is obtained from the time-series data storage unit 19 by the value L (D) 0, t ⁇ N after being determined by the correction processing by the lane marking position calculation unit 18. Shall be used. Further, since the horizontal position of the left drawing line at the current time (t) is uncertain, the value L (C) 0, t after the continuation correction by the drawing line continuation correction unit 16 is used.
- step S406 the lane change state determination unit 17 determines whether each of the advance distance to the crossing and the required time to the crossing is equal to or less than the threshold value. When each of the advance distance to the crossing and the required time to the crossing is less than or equal to the threshold value, the process proceeds to step S407. On the other hand, when each of the advance distance to the crossing and the required time to the crossing is not less than the threshold value, the process proceeds to step S408.
- step S407 the lane change state determination unit 17, if each of the required time T L to advance distance D L and transverse to the transverse falls below a predetermined threshold theta D and theta T, i.e. the following formula If both (50) and (51) are satisfied, it is determined that this is a sign of a lane change, and it is determined that the lane change state is “start lane change”.
- the threshold value theta D forward distance to the crossing is 30 m
- the threshold theta T of time required to traverse may be 3sec.
- step S408 the lane change state determination unit 17 determines that the lane change state is “no lane change”.
- step S409 the lane change state determination unit 17 determines whether or not the lane change is completed. When the lane change is completed, the process proceeds to step S410. On the other hand, when the lane change is not completed, the process proceeds to step S411.
- step S410 the lane change state determination unit 17 determines that the lane change state is “lane change complete”. For example, when the lane change start direction is left, when the horizontal position of the left lane marking exceeds a predetermined first threshold value ⁇ 0, complete that is greater than 0, it is determined that “lane change is complete”. To do.
- the threshold ⁇ 0, complete is, for example, 0.5 m.
- the threshold value ⁇ 0, complete may be changed according to the output cycle of the drawing line recognition result, similarly to ⁇ 0, diff .
- step S411 the lane change state determination unit 17 determines whether or not the lane change is stopped. When the lane change is canceled, the process proceeds to step S412. On the other hand, if the lane change has not been canceled, the process proceeds to step S413.
- the lane change state determination unit 17 determines that the lane change state is “lane change stop”. For example, when the lane change start direction is left, when the horizontal position of the left lane line falls below a predetermined second threshold value ⁇ 0, cancel that is smaller than 0, “lane change cancellation” to decide.
- the threshold value ⁇ 0, cancel is, for example, ⁇ 0.8 m. The same applies when the lane change start direction is right.
- the threshold value ⁇ 0, cancel may be changed according to the output cycle of the drawing line recognition result, similarly to ⁇ 0, diff .
- step S413 the lane change state determination unit 17 determines that the lane change state is “change lane”.
- step S414 the lane change state determination unit 17 notifies the lane line position calculation unit 18 of the lane change state.
- the lane line position calculation unit 18 calculates the position of the lane line based on the drawing line position after the continuation correction by the drawing line continuation correction unit 16 and the lane change state determined by the lane change state determination unit 17. To do.
- the lane change state determination unit 17 determines that the lane change state is “lane change complete”
- the lane line position is the same as the drawing line position after being corrected by the drawing line continuation correction unit 16.
- processing when the lane change state determination unit 17 determines that the lane change state is “lane change complete” will be described.
- the lane line position calculation unit 18 calculates each lateral position of the left lane line and the right lane line in the right lane.
- Each lateral position of the left lane line and the right lane line in the right lane is calculated by the following method.
- the left lane line in the right lane is the right lane line of the current lane.
- the right lane line in the right lane is an expression (34) used when the drawing line continuation correction unit 16 corrects the change in the drawing line using the lane width included in the map information with reference to the left lane line in the right lane. ) To (41).
- the lane line position calculation unit 18 includes the corrected left lane line calculated by the drawing line continuation correction unit 16 and the map information when the lane change state determination unit 17 determines that the lane change has been completed.
- the positions of the left lane line and the right lane line on both sides of the vehicle after the lane change are calculated based on the lane width to be changed.
- L (D) 0, t is the horizontal position of the left lane line at time t determined by the lane line position calculation unit 18, and R (D) 0, t is the lane line.
- the horizontal position of the right lane marking at time t determined by the position calculator 18, L (D) 1, t is the slope of the left lane marking at time t determined by the lane marking position calculator 18, and R (D) 1, t is the slope of the right lane marking at time t determined by the lane marking position calculation unit 18.
- Wid t represents the lane width, and the lane width near the current location acquired from the map information acquisition unit 11 may be used as it is, or may be calculated using Equation (29).
- the lane change state determined by the lane change state determination unit 17 is any of “no lane change”, “start lane change”, “under lane change”, “cancel lane change”, the lane line position calculation unit 18 Determines that there is no lane change. Further, when the lane change state determined by the lane change state determination unit 17 is “lane change complete”, the lane line position calculation unit 18 determines that there is a lane change, and the lane change at this time is changed. The direction notified from the lane change state determination unit 17 is used. When the lane change state determined by the lane change state determination unit 17 is “lane change not possible”, the lane line position calculation unit 18 determines whether the lane change is “undefined”.
- the time series data accumulation unit 19 stores and accumulates past lane line positions calculated by the lane line position calculation unit 18 as time series data.
- the time-series data accumulated in the time-series data accumulation unit 19 is read and used when the drawing line continuation correction unit 16 and the lane change state determination unit 17 collate past lane line positions.
- the buffer size of the time-series data storage unit 19 is a fixed length, and when the buffer is full, old data is deleted in order. Therefore, it is suitable that the time series data storage unit 19 has a ring buffer data structure.
- FIG. 13 is a diagram for explaining the calculation order of internal variables in the drawing line recognition result processing unit 15.
- step S501 the drawing line continuation correcting unit 16 receives the horizontal position L 0, t of the left drawing line at time t from the drawing line recognition unit 5, the horizontal position R 0, t of the right drawing line at time t, and the time t.
- the left drawing line inclination L 1, t and the right drawing line inclination R 1, t at time t are notified.
- step S502 the drawing line continuation correction unit 16 considers the lane width Wid t and the azimuth difference Dir t, and the horizontal position L (c) 0, t of the left drawing line at the time t after the continuation correction is continued.
- the horizontal position R (C) 0, t of the right drawing line at time t after conversion correction, the slope L (C) 1, t of the left drawing line at time t after continuous correction, and the time t after continuous correction The slope R (C) 1, t of the right drawing line is calculated.
- step S503 the lane marking position calculation unit 18 calculates L (c) 0, t , R (C) 0, t , L (C) 1, t , R (C) calculated by the drawing line continuation correction unit 16. 1, t taking into account the lane width Wid t and the azimuth difference Dir t , the horizontal position L (D) 0, t of the left lane line at time t, and the horizontal position R (D) 0 of the right lane line at time t , T 2 , slope L (D) 1, t of the left partition line at time t, and slope R (D) 1, t of the right partition line at time t.
- L (D) 0, t , R (D) 0, t , L (D) 1, t , R (D) 1, t calculated by the lane marking position calculation unit 18 are the time-series data storage unit 19 and the vehicle The horizontal position calculation unit 7 is notified. The operation after the vehicle lateral position calculation unit 7 acquires these pieces of information is the same as that in the first embodiment.
- the drawing line continuation correction unit 16 corrects continuation for the position of the drawing line recognized by the drawing line recognition unit 5, and the lane change state determination unit 17 performs the past lane line positions.
- the lane change state is determined in consideration of the lane change, and the lane line position calculation unit 18 combines these pieces of information to calculate the position of the lane line, and is therefore included in the output of the road imaging device 3 or the drawing line recognition unit 5. Robustness against noise or recognition error is improved.
- the vehicle position estimation system updates the lateral position using the imaging result of the camera, and updates the vertical position based on the advance distance calculated by the vehicle advance distance calculation unit 10.
- the initial position serving as a reference for updating is a positioning position input from the satellite positioning device 12 to the on-map vehicle position initialization unit 9.
- the positioning result of the satellite positioning device 12 includes a lateral error
- the initial position is set on the wrong traveling lane, and then the on-map vehicle position calculation unit 8 erroneously determines the traveling lane. There is still a problem of fear of continuing.
- the third embodiment of the present invention solves such a problem.
- the vehicle position estimation system uses the position initialized by the vehicle position initialization unit 9 on the map as a reference, and then is calculated by the vehicle lateral position calculation unit 7 using the imaging result of the camera as an input. The position is updated at the vehicle lateral position.
- the vehicle position estimation system performs reliability evaluation based on both the initialization position and the update position, and a highly accurate vehicle position can be determined only when the reliability satisfies a certain standard. By adopting the update position using the imaging result of the camera, the above problem is solved. On the other hand, when the reliability does not satisfy the standard, the vehicle position estimation system adopts the low-precision initialization position and the high-precision vehicle position is not measured.
- FIG. 14 is a block diagram showing an example of the configuration of the vehicle position estimation system 20 according to the third embodiment.
- the vehicle position estimation device 21 according to the third embodiment is characterized by including a drawing line recognition unit 22, a map vehicle position calculation unit 24, and a vehicle lateral position calculation unit 28. . Since other configurations and operations are the same as those in the second embodiment, detailed description thereof is omitted here.
- the drawing line recognition unit 22 includes a line type recognition unit 23.
- the line type recognition unit 23 analyzes the drawing line in more detail when the drawing line recognition unit 22 detects a plurality of drawing lines on the road from the video ahead of the vehicle acquired by the video information acquisition unit 4. To estimate the line type of each drawing line.
- the line type represents the type of line pattern (shape), and is classified into types such as a solid line, a long broken line, a short broken line, and a double line according to the line type existing in the actual road environment.
- the on-map vehicle position calculation unit 24 includes a travel lane reliability estimation unit 25, a video-derived vehicle position calculation unit 26, and a position integration unit 27.
- the traveling lane reliability estimation unit 25 determines whether the drawing line recognition unit 22 has recognized the drawing line, whether the line type recognized by the line type recognition unit 23 is a stable result in time series, or whether the position integration unit 27
- the travel lane reliability calculated by the vehicle lateral position calculation unit 28 is comprehensively determined from a criterion such as whether the calculated vehicle position on the map is continuously stable in time series and indicates a position near the center of the lane. Estimate the degree.
- the video-derived vehicle position calculation unit 26 performs the same operation as the entire on-map vehicle position calculation unit 8 in the first embodiment.
- the vehicle lateral position is notified from the vehicle lateral position calculation unit 28
- the vehicle lateral position on the map is updated.
- the vehicle advance distance calculation unit 10 is notified of the vehicle advance distance
- the front-rear direction position on the map is updated. Update.
- the vehicle position calculated in this way is a vehicle position calculated using the lateral position calculated based on the video information input from the video information acquisition unit 4, and is therefore referred to as a video-derived vehicle position.
- the position integration unit 27 determines that the video-derived vehicle position calculated by the video-derived vehicle position calculation unit 26 has low reliability.
- the initialization position output from the on-map vehicle position initialization unit 9 is adopted, and this is used as the calculation result of the on-map vehicle position calculation unit 24.
- the position integration unit 27 evaluates the video-derived vehicle position calculated by the video-derived vehicle position calculation unit 26 using a plurality of evaluation axes. As a result, it is determined that the reliability is high, and the image-derived vehicle position is set as the calculation result of the vehicle position calculation unit 24 on the map.
- the drawing line recognition unit 22 continues to recognize at least one of the left and right drawing lines, and the drawing line continuation correction is performed. As long as the state in which the unit 16 normally corrects continues, the vehicle position estimation system 20 continues to adopt the image-derived vehicle position in order to determine that the traveling lane reliability is greater than or equal to the threshold.
- the vehicle lateral position calculation unit 28 draws the drawing line recognition unit 22 that is necessary for the traveling lane reliability estimation unit 25 to perform reliability estimation. It has a role of notifying the traveling lane reliability estimation unit 25 of the line recognition state, the correction availability state of the drawing line continuation correction unit 16, and the vehicle side position consistency determination result.
- the vehicle lateral position consistency determination result is a result of checking whether the vehicle lateral position is located outside the lane (travelable area) by the lane change determined by the lane change state determination unit 17. Say.
- the traveling lane reliability estimation unit 25 determines whether the drawing line recognition unit 22 has recognized the drawing line, whether the line type recognized by the line type recognition unit 23 is a stable result in time series, or the position integration unit 27. Whether the vehicle position on the map calculated by the vehicle continuously and stably indicates a position near the center of the lane, or whether the vehicle lateral position notified by the vehicle lateral position calculation unit 28 is located in the travelable region Thus, the reliability of the travel lane calculated by the vehicle lateral position calculation unit 28 is estimated. In the following, a specific use case will be described as an example regarding the calculation of reliability estimation.
- the drawing line recognition unit 22 continues to recognize at least one of the left and right drawing lines and draws If the state in which the line continuation correction unit 16 performs normal correction continues, the travel lane at the time of entering the main line is uniquely determined. Therefore, the travel lane reliability estimation unit 25 determines that the travel lane reliability at the time of entering the main line is Judged to be high.
- the driving lane reliability estimation unit 25 determines that the driving lane reliability is low in a scene where the driving lane cannot be specified by monitoring the drawing line, and the subsequent driving In the case where there is a judgment material for specifying the traveling lane, the reliability increases in accordance with the degree.
- the traveling lane reliability estimation unit 25 decreases the reliability of the traveling lane according to the missing elapsed time. It is expected to be judged.
- the reliability point is an index expressing the reliability in terms of the size of the point, and indicates that the reliability of the traveling lane estimated by the position integration unit 27 is higher as the reliability point is larger.
- the traveling lane reliability estimation unit 25 calculates the current reliability point by adding the difference points with the reliability point at the previous time as a reference. However, when a major contradiction is found in the estimated position so far, such as when the lane change destination determined by the lane change state determination unit 17 is outside the road, the traveling lane reliability estimation unit 25 has accumulated so far. By resetting the reliability point to 0, the vehicle position cumulatively calculated based on the camera in the past is reset.
- the lane reliability point calculated by the lane reliability estimation unit 25 according to the equations (60) to (73) is notified to the position integration unit 27.
- FIG. 15 is a flowchart illustrating an example of the operation of the position integration unit 27.
- step S601 the position integration unit 27 stands by until a predetermined time (for example, 100 msec) elapses from the previous position integration process. Accordingly, the subsequent processing is performed at a regular cycle.
- a predetermined time for example, 100 msec
- step S602 the position integration unit 27 acquires the travel lane reliability estimated by the travel lane reliability estimation unit 25 most recently.
- step S603 the position integration unit 27 determines whether or not the acquired travel lane reliability is greater than or equal to a threshold value.
- the driving lane reliability is evaluated by a reliability point. For example, the determination is made based on whether or not the reliability point is 100 or more which is a preset value as a threshold value.
- step S604. it is determined that the lateral position calculated by the vehicle lateral position calculation unit 28 is reliable.
- the position is calculated using a lateral position based on the calculated position.
- step S605 the on-map vehicle position is initialized at the initialization position notified from the on-map vehicle position initialization unit 9. This is because it has been determined that the video-derived vehicle position that has been cumulatively calculated based on the video is not reliable. Thereafter, the process proceeds to step S606.
- step S606 the position integration unit 27 notifies the video-derived vehicle position calculation unit 26 of the initialized vehicle position on the map. This is because after the notification, the vertical position and the horizontal position are updated based on the initialized vehicle position on the map.
- step S607 the position integration unit 27 notifies the traveling lane reliability estimation unit 25 of the vehicle position on the map updated with the image-derived vehicle position or the initial position.
- the travel lane reliability estimation unit 25 evaluates the validity of the vehicle position on the map with respect to the lane at the next travel lane reliability estimation.
- the vehicle lateral position calculation unit 28 determines whether or not the drawing line recognition unit 22 has recognized the drawing line normally. It is determined whether the continuation correction unit 16 has normally performed the continuation correction process and whether the vehicle position has protruded outside the travelable region due to the lane change determined by the lane change state determination unit 17, The result is notified to the traveling lane reliability estimation unit 25.
- the position integration unit 27 adopts the output result of the video-derived vehicle position calculation unit 26 immediately after. In the same manner, the calculation of the trust points is sequentially advanced.
- the calculated reliability point becomes 100 or more which is the threshold value, so that the vehicle position input from the vehicle position initialization unit 9 on the map is stable and the line type recognition unit 23 recognizes it. It is determined that the consistency with the line type information is confirmed, and the mode is switched to the mode in which the output result of the video-derived vehicle position calculation unit 26 is adopted.
- the lane change state determination unit 17 determines that the right lane has been changed. Therefore, the image-derived vehicle position calculation unit 26 quickly calculates the vehicle position after the lane change, and the position integration unit 27 changes the lane. It is possible to calculate the position of the vehicle following the vehicle.
- the time series of the line type of the drawing line recognized by the line type recognition unit 23, the left and right lane lines of the traveling lane included in the map acquired from the map information acquisition unit 11, and the position integration unit 27 The time series of the positional relationship with the vehicle position on the map to be output and the drawing line recognition unit 22 determines that the drawing line cannot be recognized normally or the drawing line continuation correction unit 16 determines that the drawing line cannot be corrected.
- the reliability of the current driving lane is determined based on the duration of the state, and if the reliability is equal to or greater than the threshold, the horizontal position (the driving lane and the horizontal position in the lane) is determined based on the imaging result of the camera.
- the output of the on-map vehicle position initialization unit 9 is adopted to wait for the reliability to exceed the threshold value.
- 1 vehicle position estimation system 2 vehicle position estimation device, 3 road imaging device, 4 video information acquisition unit, 5 drawing line recognition unit, 6 drawing line recognition result processing unit, 7 vehicle lateral position calculation unit, 8 vehicle position calculation on map Unit, 9 on-map vehicle position initialization unit, 10 vehicle forward distance calculation unit, 11 map information acquisition unit, 12 satellite positioning device, 13 vehicle position estimation system, 14 vehicle position estimation device, 15 drawing line recognition result processing unit, 16 Drawing line continuation correction unit, 17 lane change state determination unit, 18 lane line position calculation unit, 19 time series data storage unit, 20 vehicle position estimation system, 21 vehicle position estimation device, 22 drawing line recognition unit, 23 line type recognition 24, vehicle position calculation unit on the map, 25 driving lane reliability estimation unit, 26 vehicle-derived vehicle position calculation unit, 27 position integration unit, 28 vehicle sideways Calculation unit.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本発明は、高精度な車両位置の推定を行うことが可能な車両位置推定装置を提供することを目的とする。本発明による車両位置推定装置は、映像情報に基づいて車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する描画線認識部(5)と、車両の車線変更の有無および車両が車線変更した場合における車線変更の方向を算出する描画線認識結果処理部(6)と、地図情報取得部(11)と、車線変更の有無および車線変更の方向と車線接続関係とに基づいて車両が走行中の車線および当該車線内における車両の横方向の位置である車両横位置を算出する車両横位置算出部(7)と、前進距離を算出する車両前進距離算出部(10)と、地図情報と車両が走行中の車線および車両横位置と前進距離とに基づいて地図上の道路における車両の位置を算出する地図上車両位置算出部(8)とを備える。
Description
本発明は、車両の現在位置を推定する車両位置推定装置に関する。
ナビゲーションシステムは、通常、衛星から受信するGNSS(Global Navigation Satellite System)座標情報、車両の車輪回転数から算出される車速信号情報、およびジャイロセンサから得られる加速度情報等を考慮してデッドレコニング処理を行って得られる車両位置推定座標を保持している。
また、道路をリンク、ノード、およびそれらに紐付く属性情報のみで表現するナビゲーション向けの地図を用いる場合、ナビゲーションシステムは、マップマッチング処理を行うことによって車両が走行中の道路のリンクと、当該リンク上における車両位置とを算出することによって地図上における車両位置の表示位置を決定している。なお、地図上における車両位置は、カーマークともいう。
上記のナビゲーション向けの地図は、車線レベルの詳細形状の情報を含まず、複数の車線を含む道路全体が線分群または曲線等で表現されているため、マップマッチング処理によって車両の走行車線、または車線内における車両の横方向の相対位置を推定するための地図情報を提供していない。車両の横方向とは、車両の進行方向に直交する方向のことである。通常、デッドレコニング処理によって得られる車両位置の推定精度は、マルチパス等の衛星受信環境の影響を受けやすく、受信環境によっては10m程度の誤差が含まれる。従って、たとえ車線ごとの詳細形状が分かっているとしても、デッドレコニング処理の結果と車線ごとの詳細形状とを照合することによって、実際の走行車線および車線内における車両の横方向の相対位置を正確に推定することができる見込みは低い。
このように、GNSS座標情報、車速信号情報、および角速度情報を組み合わせたデッドレコニング処理によって算出した車両位置だけでは、走行車線の推定に必要な車両の横位置を得ることは困難である。従って、車載カメラが撮影した映像情報の分析結果を併用して車両位置を特定する技術開発が進められている。車載カメラから得られる映像情報を分析することによって、走行車線の左区画線および右区画線に相当する、道路に描画された線である描画線を検出することが可能である。以下、道路の車線を区画する区画線のうち、車両の左側の区画線、すなわち走行車線と当該走行車線の左側に存在する車線との境界を示す線を左区画線という。また、車両の右側の区画線、すなわち走行車線と当該走行車線の右側に存在する車線との境界を示す線を右区画線という。区画線に用いられる色および形状は、国または地域ごとによって異なる。例えば、日本では、区画線の色として白色および黄色がよく用いられる。
車両位置推定システムは、車両に対する描画線の相対位置と、地図情報に含まれている区画線の絶対位置とに基づいて、車線内における車両位置の高精度な推定が可能となる。カメラによる描画線認識の位置精度は、一般的に数十cm程度であるため、車両の横位置についても数十cm程度の精度が期待できる。
上記のようなカメラによる描画線認識の技術は、運転支援機能向けの種々の機能に利用されつつあり、描画線認識機能を内蔵したADAS(Advanced Driver Assistance System)用途の汎用カメラが製品化されている。当該カメラによる描画線認識機能は、車両直近すなわち車両の左側直近および右側直近の2本の描画線を検出し、検出した各描画線の形状を、車両の位置および進行方向を基準とした直交座標系における多項式すなわち曲線で表現して出力する仕様が一般的である。出力される描画線の本数が2本であるという仕様は、カメラによる描画線認識機能を車線維持機能に適用することを意識しているものと推測される。
カメラによる描画線認識の精度は、自車両周辺の走行環境によって変化する。本来は、左区画線および右区画線の両方が検出されることが期待されるが、例えば道路構造物に起因して発生する道路上のコントラストの違い、トンネル内の照度不足、並走車両による描画線隠れ、または描画線のかすれ等に起因して、一方の区画線しか認識することができない場合がしばしば存在する。
このようなカメラによる描画線認識の不確実性に対して、検出された描画線の線種に関してあらかじめ想定した線種の遷移パターンと、検出された線種の時系列データとに基づいて補正を行うことによって車両の進行方向を推定する技術が開示されている(例えば、特許文献1参照)。描画線の線種としては、例えば分岐線、実線、または破線が挙げられる。分岐線は、通常の車線間の区画線よりも幅が広くかつ破線の長さが短い線である。車両の進行方向としては、例えば分岐方向または本線方向が挙げられる。
特許文献1では、地図データに基づいて車両の前方に分岐線を発見したときに、車両の前方を撮影したカメラの映像に対して横方向に3分割して各エリア内で描画線検出を行っている。そして、各エリア内における描画線の検出結果と、予め想定した各エリア内における線種の遷移パターンとを照合することによって、検出された描画線の種別を補正している。
特許文献1では、横方向に3分割された各エリア内における描画線の検出結果を用いることを前提としている。すなわち、特許文献1では、最大3本の描画線の認識結果が必要となる。従って、上述の運転支援機能向けの標準的な描画線の認識結果の出力仕様である、車両の直近の2本の描画線のみを用いることができない。また、特許文献1では、3本の描画線を認識することが可能な専用の描画線認識モジュールを使用する必要があり、幅広い製品への適用が困難であるという問題がある。
さらに、特許文献1では、補正対象はカメラによって検出された描画線の線種のみであり、描画線の検出位置および描画線の有無について何ら言及されていない。従って、特許文献1を車両位置推定技術にそのまま適用しても、車両位置の精度向上に貢献しない。
本発明は、このような問題を解決するためになされたものであり、高精度な車両位置の推定を行うことが可能な車両位置推定装置を提供することを目的とする。
上記の課題を解決するために、本発明による車両位置推定装置は、車両の前方の道路を撮影した映像情報を取得する映像情報取得部と、映像情報取得部が取得した映像情報に基づいて、車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する描画線認識部と、描画線認識部が認識した左右両側の相対的な位置を道路の車線を区画する左右両側の区画線の位置とし、車両の車線変更の有無、および車両が車線変更した場合における車線変更の方向を算出する描画線認識結果処理部と、少なくとも車線の道路の延在方向の接続関係である車線接続関係を含む地図情報を取得する地図情報取得部と、描画線認識結果処理部が算出した車線変更の有無および車線変更の方向と、地図情報取得部が取得した車線接続関係とに基づいて、車両が走行中の車線および当該車線内における車両の横方向の位置である車両横位置を算出する車両横位置算出部と、車両が前進した距離である前進距離を算出する車両前進距離算出部と、地図情報取得部が取得した地図情報と、車両横位置算出部が算出した車両が走行中の車線および車両横位置と、車両前進距離算出部が算出した前進距離とに基づいて、地図上の道路における車両の位置を算出する地図上車両位置算出部とを備える。
本発明によると、車両位置推定装置は、車両の前方の道路を撮影した映像情報を取得する映像情報取得部と、映像情報取得部が取得した映像情報に基づいて、車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する描画線認識部と、描画線認識部が認識した左右両側の相対的な位置を道路の車線を区画する左右両側の区画線の位置とし、車両の車線変更の有無、および車両が車線変更した場合における車線変更の方向を算出する描画線認識結果処理部と、少なくとも車線の道路の延在方向の接続関係である車線接続関係を含む地図情報を取得する地図情報取得部と、描画線認識結果処理部が算出した車線変更の有無および車線変更の方向と、地図情報取得部が取得した車線接続関係とに基づいて、車両が走行中の車線および当該車線内における車両の横方向の位置である車両横位置を算出する車両横位置算出部と、車両が前進した距離である前進距離を算出する車両前進距離算出部と、地図情報取得部が取得した地図情報と、車両横位置算出部が算出した車両が走行中の車線および車両横位置と、車両前進距離算出部が算出した前進距離とに基づいて、地図上の道路における車両の位置を算出する地図上車両位置算出部とを備えるため、高精度な車両位置の推定を行うことが可能となる。
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態について、図面を用いて以下に説明する。
<実施の形態1>
<構成>
図1は、本発明の実施の形態1による車両位置推定システム1の構成の一例を示すブロック図である。車両位置推定システム1は、車両等の移動体が走行している道路における車両の位置を推定する。以下では、移動体は車両であるものとして説明する。
<構成>
図1は、本発明の実施の形態1による車両位置推定システム1の構成の一例を示すブロック図である。車両位置推定システム1は、車両等の移動体が走行している道路における車両の位置を推定する。以下では、移動体は車両であるものとして説明する。
車両位置推定システム1は、車両位置推定装置2と、道路撮像装置3と、衛星測位装置12とを備えている。車両位置推定装置2は、映像情報取得部4と、描画線認識部5と、描画線認識結果処理部6と、車両横位置算出部7と、地図上車両位置算出部8と、地図上車両位置初期化部9と、車両前進距離算出部10と、地図情報取得部11とを備えている。
道路撮像装置3は、例えば単眼カメラまたはステレオカメラであり、車両の前方を撮影可能なように設定されている。道路撮像装置3は、車両の進行方向、すなわち車両の前方に存在する描画線または道路標識等を撮像する。映像情報取得部4は、道路撮像装置3が撮像した映像情報を取得する。
描画線認識部5は、映像情報取得部4が取得した映像情報を解析し、道路上の区画線表示に相当すると推定される描画線を検出する。また、描画線認識部5は、検出した描画線のうち、車両付近の描画線、より望ましくは車両に対しておおよそ並行する車両の左右近傍の描画線を特定し、車両に対する描画線の相対位置を算出する。すなわち、描画線認識部5は、映像情報取得部4が取得した映像情報に基づいて、車両の左右両側の道路に描かれた描画線の車両に対する相対的な位置を認識する。
描画線認識結果処理部6は、描画線認識部5が認識した2本の描画線の位置の時系列の変化に基づいて、車両の車線変更の有無、および車線が車線変更した場合はその方向を算出する。また、描画線認識結果処理部6は、車両が現在走行中の車線における左区間線および右区間線の位置を算出する。
車両前進距離算出部10は、車両の前進に伴って生じるタイヤの回転数または回転角などの検出結果に基づいて、車両の前進距離を算出する。
地図情報取得部11は、HDD(Hard Disk Drive)またはメモリカード等であり、車線ごとの詳細形状を含む高精度地図情報を格納している。高精度地図情報では、車線ごとの車線中心線および区画線の形状が点列で表現されている。また、高精度地図情報は、車線中心線上の各地点における車線幅、および車線の道路の延在方向の接続関係である車線接続関係を含んでいる。なお、車線幅は、区画線の形状を表現する点列から算出してもよい。地図情報取得部11は、高精度地図情報を必要に応じて外部から取得するようにしてもよい。
車両横位置算出部7は、描画線認識結果処理部6による認識結果と、地図情報取得部11に格納されている車線接続関係とに基づいて、現在走行中の車線内における車両の横方向位置である車両横位置を算出する。
地図上車両位置算出部8は、車両横位置算出部7から車両横位置が通知された場合は地図上における車両横位置を更新し、車両前進距離算出部10から車両の前進距離が通知された場合は地図上における車両の前後方向位置を更新する。車両の前後方向位置は、車両の進行方向に沿った位置であり、車両縦位置ともいう。
衛星測位装置12は、衛星からの電波を受信するGNSSアンテナが接続されており、衛星からの電波によって車両の緯度経度を含む現在位置を計測する。地図上車両位置初期化部9は、初回の地図上における車両位置を特定するために、衛星測位装置12で計測した現在位置を地図上車両位置算出部8に通知する。なお、図1では、衛星測位装置12が車両位置推定装置2の外部に設けられている場合について説明したが、これに限るものではない。例えば、衛星測位装置12は、車両位置推定装置2の内部に設けてもよい。
<動作>
<描画線認識部5の動作>
描画線認識部5は、映像情報取得部4が取得した車両前方の映像から、道路上の区画線標示に相当すると推定される複数の描画線を検出する。そして、描画線認識部5は、検出した複数の描画線のうち、車両の左右直近にある区画線に相当すると推定される2本の描画線を特定し、当該2本の描画線と車両との相対的な位置関係を算出する。
<描画線認識部5の動作>
描画線認識部5は、映像情報取得部4が取得した車両前方の映像から、道路上の区画線標示に相当すると推定される複数の描画線を検出する。そして、描画線認識部5は、検出した複数の描画線のうち、車両の左右直近にある区画線に相当すると推定される2本の描画線を特定し、当該2本の描画線と車両との相対的な位置関係を算出する。
具体的には、図2に示すように、描画線認識部5は、車両位置を原点、車両の前方方向をX軸方向、車両の右方向をy軸方向と定めた2次元直交座標系において、2本の描画線の形状を1次元以上の多項式で表現する。すなわち、2本の描画線は、それぞれ下記の式(1),(2)で表現される。
y=L0+L1・x+fL(x) ・・・(1)
y=R0+R1・x+fR(x) ・・・(2)
y=L0+L1・x+fL(x) ・・・(1)
y=R0+R1・x+fR(x) ・・・(2)
式(1),(2)において、fL(x)およびfR(x)の各々は、2次元以上の多項式を表しており、本実施の形態では誤差項として取り扱う。また、このとき2本の描画線の車両に対する相対的な横位置はそれぞれL0およびR0であり、2本の車両の進行方向に対する傾きはそれぞれL1およびR1である。以下、L0のことを左描画線の横位置、R0のことを右描画線の横位置、L1のことを左描画線の傾き、R1のことを右描画線の傾きという。なお、原点は車両位置としているが、具体的には道路撮像装置3の設置位置である。
<描画線認識結果処理部6の動作>
描画線認識結果処理部6は、描画線認識部5が算出した2本の描画線の横位置に基づいて、車両の車線変更の有無と、車線変更した場合は車線変更方向とを算出する。車線変更の有無は、「無し」、「有り」、「不定」のいずれかの状態を表す。「無し」は車線変更が行われていないことを示す。「有り」は車線変更が行われたことを示す。「不定」は描画線認識部5が算出した2本の描画線の横位置に基づいて車線変更が行われたか否かが判断できないことを示す。
描画線認識結果処理部6は、描画線認識部5が算出した2本の描画線の横位置に基づいて、車両の車線変更の有無と、車線変更した場合は車線変更方向とを算出する。車線変更の有無は、「無し」、「有り」、「不定」のいずれかの状態を表す。「無し」は車線変更が行われていないことを示す。「有り」は車線変更が行われたことを示す。「不定」は描画線認識部5が算出した2本の描画線の横位置に基づいて車線変更が行われたか否かが判断できないことを示す。
次に、車線変更の有無および車線変更方向の算出について説明する。
描画線認識部5が算出した現時刻(t)における左描画線および右描画線の位置がそれぞれ下記の式(3),(4)であり、直前時刻(t-1)における左描画線および右描画線の位置がそれぞれ下記の式(5),(6)であるものとする。
y=L0,t+L1,t・x+fL,t(x) ・・・(3)
y=R0,t+R1,t・x+fR,t(x) ・・・(4)
y=L0,t-1+L1,t-1・x+fL,t-1(x) ・・・(5)
y=R0,t-1+R1,t-1・x+fR,t-1(x) ・・・(6)
y=L0,t+L1,t・x+fL,t(x) ・・・(3)
y=R0,t+R1,t・x+fR,t(x) ・・・(4)
y=L0,t-1+L1,t-1・x+fL,t-1(x) ・・・(5)
y=R0,t-1+R1,t-1・x+fR,t-1(x) ・・・(6)
式(3)~(6)において、L0,tは描画線認識部5で算出された時刻tにおける左描画線の横位置であり、R0,tは描画線認識部5で算出された時刻tにおける右描画線の横位置であり、L1,tは描画線認識部5で算出された時刻tにおける左描画線傾きであり、R1,tは描画線認識部5で算出された時刻tにおける右描画線の傾きである。また、fL,t(x)は描画線認識部5で算出された時刻tにおける左描画線の2次元以上の多項式を表し、fR,t(x)は描画線認識部5で算出された時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
例えば、下記の式(7),(8)の両方を満たす場合は、図3に示すように、左描画線および右描画線ともに1車線分相当の距離だけ右方向に移動したことが読み取れる。これにより、描画線認識結果処理部6は、右車線への車線変更が行われたと判定し、車線変更の有無は「有り」、車線変更方向は「右」とする。
(L0,t-L0,t-1)>θLchange×Widt ・・・(7)
(R0,t-R0,t-1)>θLchange×Widt ・・・(8)
(L0,t-L0,t-1)>θLchange×Widt ・・・(7)
(R0,t-R0,t-1)>θLchange×Widt ・・・(8)
式(7),(8)において、Widtは車線幅であり、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、カメラで撮像した車線幅と実際の車線幅との差異を考慮した下記の式(9)を用いて算出してもよい。また、θLchangeは車線幅の誤差を許容するためのパラメータであり、例えばθLchange=0.7とするなど、1より小さく1に近いパラメータに設定するとよい。
Widt=(R(D) 0,t-1-L(D) 0,t-1)×(WMap,t/WMap,t-1) ・・・(9)
Widt=(R(D) 0,t-1-L(D) 0,t-1)×(WMap,t/WMap,t-1) ・・・(9)
式(9)において、WMap,tは現時刻(t)に地図情報取得部11から取得した走行中車線の車線幅であり、WMap,t-1の直前時刻(t-1)に地図情報取得部11から取得した走行中車線の車線幅である。
同様に、下記の式(10),(11)の両方を満たす場合は、図4に示すように、左描画線および右描画線ともに1車線分相当の距離だけ左方向に移動したことが読み取れる。これにより、描画線認識結果処理部6は、左車線への車線変更が行われたと判定し、車線変更の有無は「有り」、車線変更方向は「左」とする。
(L0,t-L0,t-1)<θLchange×Widt ・・・(10)
(R0,t-R0,t-1)<θLchange×Widt ・・・(11)
(L0,t-L0,t-1)<θLchange×Widt ・・・(10)
(R0,t-R0,t-1)<θLchange×Widt ・・・(11)
車線変更の有無が判断できない場合は、車線変更の有無が「不定」であると判断する。車線変更の有無が判断できない場合としては、具体的には、(A)描画線認識部5が2本の描画線のうちの一方または両方を認識することができない場合、(B)左描画線および右描画線の変化が同期していない場合等がある。(B)の場合の判断基準は、例えば、下記の式(12),(13)の両方を満たす場合とすればよい。
((L0,t-L0,t-1)-θLchange×Widt)×((R0,t-R0,t-1)-θLchange×Widt)<0 ・・・(12)
((L0,t-L0,t-1)+θLchange×Widt)×((R0,t-R0,t-1)+θLchange×Widt)<0 ・・・(13)
((L0,t-L0,t-1)-θLchange×Widt)×((R0,t-R0,t-1)-θLchange×Widt)<0 ・・・(12)
((L0,t-L0,t-1)+θLchange×Widt)×((R0,t-R0,t-1)+θLchange×Widt)<0 ・・・(13)
左区画線の横位置は、現時刻(t)において描画線認識部5が認識した左描画線の横位置L0,tであり、右区画線の横位置は、現時刻(t)において描画線認識部5が認識した右描画線の横位置R0,tである。
<車両横位置算出部7の動作>
図5は、車両横位置算出部7の動作の一例を示すフローチャートである。
図5は、車両横位置算出部7の動作の一例を示すフローチャートである。
ステップS101において、車両横位置算出部7は、描画線認識結果処理部6から区画線位置算出結果が通知されるか、または地図上車両位置算出部8から車線接続関係が通知されるまで待機し、区画線算出結果または車線接続関係が通知されるとステップS102に移行する。
ステップS102において、車両横位置算出部7は、区画線位置算出結果または車線接続関係のいずれが通知されたのか判断する。区画線位置算出結果が通知された場合は、ステップS103に移行する。一方、車線接続関係が通知された場合は、ステップS106に移行する。
ステップS103において、車両横位置算出部7は、描画線認識結果処理部6が通知した区画線位置算出結果について、車線変更の有無が「有り」である場合は保持している車線番号を±1し、車線変更の有無が「無し」および「不定」の場合は直前時刻における車線番号と同一の車線番号とする。
例えば、区画線位置算出結果の通知を受ける直前の走行車線番号が2であり、通知された区画線位置算出結果について車線変更の有無が「有り」かつ車線変更方向が「左」である場合、更新後の走行車線番号は1となる。走行車線番号が1である場合は、車両が道路の第1車線を走行していることを示す。走行車線番号が2である場合は、車両が道路の第2車線を走行していることを示す。
ステップS104において、車両横位置算出部7は、描画線認識結果処理部6から通知された左区画線の位置および右区画線の位置から、車線内における車両横位置を算出する。ステップS105において、車両横位置算出部7は、保持していた車両横位置をステップS104で算出した車両横位置に更新する。具体的には、例えば下記の式(14)によって、車線内における車両横位置Ycarを算出する。
Ycar=(-L(D) 0,t)/(R(D) 0,t-1-L(D) 0,t-1) ・・・(14)
Ycar=(-L(D) 0,t)/(R(D) 0,t-1-L(D) 0,t-1) ・・・(14)
式(14)において、L(D)
0,tは描画線認識結果処理部6によって確定された時刻(t)における左区画線の横位置であり、R(D)
0,tは描画線認識結果処理部6によって確定された時刻(t)における右区画線の横位置である。また、Ycar=0は左描画線上を車両が走行することを意味し、Ycar=1は右描画線上を車両が走行することを意味し、Ycar=0.5は車線の中心上を車両が走行していることを意味する。
ステップ106において、車両横位置算出部7は、地図上車両位置算出部8から通知された車線接続関係に基づいて車線番号を更新する。通知された車線接続関係に含まれる内容は、直前の走行地点における車線構成と、現在の走行地点における車線構成との接続関係である。
図7,8は、車線接続関係の一例を示す図である。図7の例では、直前の走行地点での第1走行車線は、現在の走行地点での第2走行車線に接続している。直前の走行地点での第2走行車線は、現在の走行地点での第3走行車線に接続している。図8はこれらの対応関係を示している。例えば、直前の走行車線番号が1の状況で図7,8に示す車線接続関係が通知された場合、更新後の走行車線番号は2となる。
<地図上車両位置算出部8の動作>
図6は、地図上車両位置算出部8の動作の一例を示すフローチャートである。
図6は、地図上車両位置算出部8の動作の一例を示すフローチャートである。
ステップS201において、地図上車両位置算出部8は、車両前進距離算出部10から前進距離が通知されるか、または車両横位置算出部7から車両横位置が通知されるまで待機し、前進距離または車両横位置が通知されるとステップS202に移行する。
ステップS202において、地図上車両位置算出部8は、前進距離または車両横位置のいずれが通知されたのか判断する。前進距離が通知された場合は、ステップS203に移行する。一方、車両横位置が通知された場合は、ステップS206に移行する。
ステップS203において、地図上車両位置算出部8は、車両横位置をそのままにして車両位置を前方に進め、保持している地図上車両位置を前進後の車両位置に更新する。
ステップS204において、地図上車両位置算出部8は、前進前の車両位置と前進後の車両位置とにおける車線接続関係を地図情報取得部11から取得する。そして、ステップS205において、地図上車両位置算出部8は、地図情報取得部11から取得した車線接続関係を車両横位置算出部7に通知する。
ステップS206において、地図上車両位置算出部8は、車両縦位置をそのままにして、通知された車両横位置と合致するように車両位置を道路内で横方向に移動し、保持している地図上車両位置を横方向に移動後の車両位置に更新する。
上記より、地図上車両位置算出部8は、地図上車両位置初期化部9から与えられた初期位置に対して車両前進距離算出部10から取得した前進距離を累積することによって、現在の地図上における車両縦位置を算出する。また、地図上車両位置算出部8は、車両横位置算出部7から取得した車両横位置を用いて、現在の地図上における車両横位置を特定する。なお、車両が分岐地点に到達した場合は、走行中の車線と車線内における位置に基づいて車両の進行方向を特定する。
<地図上車両位置初期化部9の動作>
地図上車両位置初期化部9は、車両の走行開始時点で基準となる絶対座標を地図上車両位置算出部8に通知する。例えば、地図上車両位置初期化部9は、走行開始直後の衛星測位が可能となった時点で、1度だけ衛星測位装置12から取得した衛星測位結果を地図上車両位置算出部8に通知してもよい。
地図上車両位置初期化部9は、車両の走行開始時点で基準となる絶対座標を地図上車両位置算出部8に通知する。例えば、地図上車両位置初期化部9は、走行開始直後の衛星測位が可能となった時点で、1度だけ衛星測位装置12から取得した衛星測位結果を地図上車両位置算出部8に通知してもよい。
なお、描画線認識結果処理部6が通知した区画線位置算出結果について、車線変更の有無が一度「不定」となった場合は、車線変更の有無が「不定」である間にどのような車線変更が行われたのかが不明であるため、その後の走行車線を特定することができなくなる。このような場合にも、地図上車両位置初期化部9による車両位置の特定、すなわち車両位置の再初期化が必要となる。
従って、地図上車両位置初期化部9は、走行開始直後に限らず、車線変更の有無が一度「不定」となった場合、または地図上車両位置算出部8が算出した地図上における車両位置と、衛星測位装置12によって得られる衛星測位結果が大きく異なる場合は、衛星測位装置12によって得られる衛星測位結果を地図上車両位置算出部8に通知することが望ましい。
また、高速道路の進入時または光ビーコンの接地地点等、特定の地点においてレーン単位で車両位置の特定が可能な地点では、当該特定した位置情報を地図上車両位置算出部8に通知してもよい。
<車両位置推定装置2の全体的な動作>
車両位置推定装置2の全体的な動作について、図9を用いて説明する。前提として、地図上車両位置初期化部9は、位置1000の情報を地図上車両位置算出部8に通知しているものとする。
車両位置推定装置2の全体的な動作について、図9を用いて説明する。前提として、地図上車両位置初期化部9は、位置1000の情報を地図上車両位置算出部8に通知しているものとする。
まず、地図上車両位置算出部8は、車両前進距離算出部10から前進距離を取得する。取得した前進距離を反映した車両位置は、位置1001となる。これに伴い、地図上車両位置算出部8は、位置1001における車線接続関係を地図情報取得部11から取得し、取得した車線接続関係を車両横位置算出部7に通知する。図9の例では、道路の左側から合流があったため、合流前の第1車線は位置1001では第2車線に、合流前の第2車線は位置1001では第3車線に相当する情報が車線接続関係の内容に含まれている。車両横位置算出部7は、車線内における位置はそのままで走行車線を第1車線から第2車線に切り替える。
次に、描画線認識部5が描画線認識を行い、描画線認識結果処理部6は車線変更の有無が「無し」と判断する。車両横位置算出部7は、描画線認識結果処理部6から通知された区画線位置算出結果に基づいて算出した車両横位置を地図上車両位置算出部8に通知する。地図上車両位置算出部8で再計算された地図上における車両横位置は位置1002となる。
次に、地図上車両位置算出部8は、車両前進距離算出部10から前進距離を取得する。取得した前進距離を反映した後の車両位置は位置1003となる。また、地図上車両位置算出部8は、位置1003における車線接続関係を地図情報取得部11から取得し、取得した車線接続関係を車両横位置算出部7に通知する。
次に、描画線認識部5が描画線認識を行い、描画線認識結果処理部6は左描画線の横断を完了したことを確認したことから車線変更の状態が「有り」と判定する。車両横位置算出部7は、車両横位置を第1車線に変更する。車両横位置算出部7は、地図上車両位置算出部8に車両横位置を通知する。地図上車両位置算出部8で再計算された地図上における車両横位置は位置1004となる。
<効果>
本実施の形態1では、車両横位置算出部7は、描画線認識結果処理部6が算出した車線変更の情報と区画線の検出位置とに基づいて、車線内における車両横位置を算出する。一方、地図上車両位置算出部8は、車両前進距離算出部10から取得した前進距離に基づいて車両縦位置を算出する。これにより、走行中は衛星測位を用いることなく車線内における車両横位置および車両縦位置を推定することが可能となる。また、地図上車両位置算出部8は、分岐地点付近では車線接続関係の情報を加味することによって、地図上における車両位置を算出することができる。本実施の形態1では、カメラで撮像した描画線位置を利用しているため、デッドレコニング処理のような方位誤差の累積が生じず、道路から外れた位置を示すことがないため、車両位置を精度良く算出することが可能となる。
本実施の形態1では、車両横位置算出部7は、描画線認識結果処理部6が算出した車線変更の情報と区画線の検出位置とに基づいて、車線内における車両横位置を算出する。一方、地図上車両位置算出部8は、車両前進距離算出部10から取得した前進距離に基づいて車両縦位置を算出する。これにより、走行中は衛星測位を用いることなく車線内における車両横位置および車両縦位置を推定することが可能となる。また、地図上車両位置算出部8は、分岐地点付近では車線接続関係の情報を加味することによって、地図上における車両位置を算出することができる。本実施の形態1では、カメラで撮像した描画線位置を利用しているため、デッドレコニング処理のような方位誤差の累積が生じず、道路から外れた位置を示すことがないため、車両位置を精度良く算出することが可能となる。
<実施の形態2>
<構成>
実施の形態1では、カメラが撮像した映像と、車両前進距離算出部10が算出した前進距離とを用いることによって、累積誤差を低減することが可能な車両位置の推定が可能である。しかし、描画線認識部5による描画線認識結果に含まれるノイズまたは認識誤りに起因する横位置の誤差が依然として課題となる。本発明の実施の形態2では、このような課題を解決する。
<構成>
実施の形態1では、カメラが撮像した映像と、車両前進距離算出部10が算出した前進距離とを用いることによって、累積誤差を低減することが可能な車両位置の推定が可能である。しかし、描画線認識部5による描画線認識結果に含まれるノイズまたは認識誤りに起因する横位置の誤差が依然として課題となる。本発明の実施の形態2では、このような課題を解決する。
図10は、本発明の実施の形態2による車両位置推定システム13の構成の一例を示すブロック図である。図10に示すように、本実施の形態2による車両位置推定装置14は、描画線認識結果処理部15を備えていることを特徴としている。その他の構成および動作は、実施の形態1と同様であるため、ここでは詳細な説明を省略する。
描画線認識結果処理部15は、描画線連続化補正部16と、車線変更状態判定部17と、区画線位置算出部18と、時系列データ蓄積部19とを備えている。
描画線連続化補正部16は、路面の描画線は図形的に連続であるという事実に基づいて、描画線認識部5による描画線認識結果に含まれるノイズまたは認識誤りを、時系列データ蓄積部19に蓄積された情報を用いて補正し、連続的な描画線認識結果を出力する。すなわち、描画線連続化補正部16は、描画線認識部5が認識した左右両側の相対的な位置に基づいて、左右両側の描画線の位置が時間的に連続となるように補正する。
車線変更状態判定部17は、描画線連続化補正部16による補正結果と、時系列データ蓄積部19に蓄積された情報とに基づいて、車線変更の状態を判定する。すなわち、車線変更状態判定部17は、描画線連続化補正部16が補正した左右両側の描画線の相対的な位置と、過去の左右両側の区画線の位置とに基づいて、車線変更の方向を含む車両の車線変更の状態を判定する。車線変更の状態としては、「車線変更開始」、「車線変更中」、「車線変更完了」、および「車線変更中断」が挙げられる。
区画線位置算出部18は、描画線連続化補正部16の補正結果と、車線変更状態判定部17が判定した車線変更状態の判定結果とに基づいて描画線位置を確定し、現在走行中の車線における左区画線の位置および右区画線の位置を算出する。すなわち、区画線位置算出部18は、描画線連続化補正部16が補正した左右両側の描画線の相対的な位置と、車線変更状態判定部17が判定した車両の車線変更の状態とに基づいて、左右両側の区画線の位置を算出する。
時系列データ蓄積部19は、区画線位置算出部18が算出した左右両側の区画線の位置を時系列データとして記憶して蓄積する。蓄積したデータがバッファサイズを超えた場合は、古いデータから順に消去する。
<動作>
<描画線連続化補正部16の動作>
図11は、描画線連続化補正部16の動作の一例を示すフローチャートである。
<描画線連続化補正部16の動作>
図11は、描画線連続化補正部16の動作の一例を示すフローチャートである。
ステップS301において、描画線連続化補正部16は、描画線認識部5から描画線認識結果が通知されるまで待機する。そして、描画線認識結果が通知されるとステップS302に移行し、以後、時系列上での連続性を保つように描画線認識結果の補正を行う。その際、過去の描画線認識結果は、時系列データ蓄積部19が蓄積している時系列データを参照する。
描画線認識部5による描画線認識結果には、走行環境または路面標示の状態に起因するノイズが含まれるため、描画線の横位置および傾きに誤差が含まれる可能性がある。具体的には、区画線の路面標示が連続であっても、描画線の横位置が不連続であるとして検出したり、区画線の路面標示以外の線状のものを誤検出したり、走行中の車線以外の区画線の路面標示を検出したりすることが考えられる。従って、左描画線および右描画線の検出位置の時間的変化に着目し、(C)ノイズの影響による描画線の位置検出誤差の検知および補正、すなわち描画線位置の検出および補正、(D)検出された描画線が隣の描画線に移動したことの検知および補正、すなわち描画線変化の検出および補正を行う。
まず、(C)ノイズの影響による描画線位置の検出および補正について説明する。描画線位置の補正を行う条件は、描画線の横位置の時間的な変化量が閾値を超えたこととする。このことは、ステップS303において描画線位置の補正が可能である場合に、ステップS204に移行することに相当する。ただし、右描画線の横位置および左描画線の横位置の両方の時間的な変化が閾値を超えた場合は、描画線位置の補正が不可能であると判断する。このことは、ステップS303において描画線位置の補正が不可能である場合にステップS305に移行することに相当する。
ステップS306で行う描画線位置の補正方法は、左描画線および右描画線のうち、横位置の時間的な移動量が小さい方を信頼度が高いと判断し、信頼度が高い描画線の位置を基準として地図情報に含まれる車線幅を利用して他方の描画線の位置を算出する。このような処理は、ステップS304に相当する。すなわち、描画線連続化補正部16は、時系列データ蓄積部19が蓄積している現時点から予め定められた時間前における車両の左側の区画線である左区画線の位置と、現時点で描画線認識部5が認識した車両の右側の描画線である右描画線の位置との差が予め定められた距離以内である場合、右描画線は現時点における左区画線であると判定し、現時点における左区画線と地図情報に含まれる車線幅とに基づいて現時点における車両の右側の区画線である右区画線の位置を算出し、時系列データ蓄積部19が蓄積している現時点から予め定められた時間前における右区画線の位置と、現時点で描画線認識部5が認識した車両の左側の描画線である左描画線の位置との差が予め定められた距離以内である場合、左描画線は現時点における右区画線であると判定し、現時点における右区画線と車線幅とに基づいて現時点における左区画線の位置を算出する。
例えば、描画線認識部5による現時刻(t)における左描画線の位置および右描画線の位置の各々が下記の式(15),(16)であるとする。
y=L0,t+L1,t・x+fL,t(x) ・・・(15)
y=R0,t+R1,t・x+fR,t(x) ・・・(16)
y=L0,t+L1,t・x+fL,t(x) ・・・(15)
y=R0,t+R1,t・x+fR,t(x) ・・・(16)
式(15),(16)において、L0,tは描画線認識部5で算出された時刻tにおける左描画線の横位置であり、R0,tは描画線認識部5で算出された時刻tにおける右描画線の横位置であり、L1,tは描画線認識部5で算出された時刻tにおける左描画線傾きであり、R1,tは描画線認識部5で算出された時刻tにおける右描画線の傾きである。また、fL,t(x)は描画線認識部5で算出された時刻tにおける左描画線の2次元以上の多項式を表し、fR,t(x)は描画線認識部5で算出された時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
また、時系列データ蓄積部19が蓄積している直前時間(t-1)における左区画線の位置および右区画線の位置の各々が下記の式(17),(18)であるとする。
y=L(D) 0,t-1+L(D) 1,t-1・x+f(D) L,t-1(x) ・・・(17)
y=R(D) 0,t-1+R(D) 1,t-1・x+f(D) R,t-1(x) ・・・(18)
y=L(D) 0,t-1+L(D) 1,t-1・x+f(D) L,t-1(x) ・・・(17)
y=R(D) 0,t-1+R(D) 1,t-1・x+f(D) R,t-1(x) ・・・(18)
式(17),(18)において、L(D)
0,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける左区画線の横位置であり、R(D)
0,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける右区画線の横位置であり、L(D)
1,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける左区画線の傾きであり、R(D)
1,tは区画線位置算出部18によって確定されて時系列データ蓄積部19に蓄積されている時刻tにおける右区画線の傾きである。また、f(D)
L,t(x)は区画線位置算出部18によって確定された時刻tにおける左描画線の2次元以上の多項式を表し、f(D)
R,t(x)は区画線位置算出部18によって確定された時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
上記の変数の定義の下、各パラメータ間の関係が例えば下記の式(19),(20)を満たしているものとする。
|L0,t-L(D) 0,t-1|≦θ0,diff ・・・(19)
|R0,t-R(D) 0,t-1|>θ0,diff ・・・(20)
|L0,t-L(D) 0,t-1|≦θ0,diff ・・・(19)
|R0,t-R(D) 0,t-1|>θ0,diff ・・・(20)
式(19),(20)において、θ0,diffは描画線の0次の係数に関する連続性の上限を表す閾値パラメータであり、例えば、描画線認識結果の出力が10Hzの場合はθ0,diff=50cmと設定し、描画線認識結果の出力が2Hzの場合はθ0,diff=100cmと設定するといったように、描画線認識結果の出力周期に応じて変化させてもよい。この場合、式(19)から左描画線は連続的に変化したとみなせるが、式(20)から右描画線は連続的に変化していないとみなせる。従って、左描画線の位置を基準として右描画線の位置の補正を行うこととする。具体的には、下記の式(21),(22)のような、連続性を満たすように補正された後の左描画線の位置および右描画線の位置の係数を下記の式(23)~(28)のように算出する。
y=L(C) 0,t+L(C) 1,t・x+f(C) L,t(x) ・・・(21)
y=R(C) 0,t+R(C) 1,t・x+f(C) R,t(x) ・・・(22)
L(C) 0,t=L0,t ・・・(23)
L(C) 1,t=L1,t ・・・(24)
f(C) L,t(x)=fL,t(x) ・・・(25)
R(C) 0,t=L(C) 0,t+Widt ・・・(26)
R(C) 1,t=L(C) 1,t+Dirt ・・・(27)
f(C) R,t(x)=f(C) L,t(x) ・・・(28)
y=L(C) 0,t+L(C) 1,t・x+f(C) L,t(x) ・・・(21)
y=R(C) 0,t+R(C) 1,t・x+f(C) R,t(x) ・・・(22)
L(C) 0,t=L0,t ・・・(23)
L(C) 1,t=L1,t ・・・(24)
f(C) L,t(x)=fL,t(x) ・・・(25)
R(C) 0,t=L(C) 0,t+Widt ・・・(26)
R(C) 1,t=L(C) 1,t+Dirt ・・・(27)
f(C) R,t(x)=f(C) L,t(x) ・・・(28)
式(21)~(28)において、L(c)
0,tは描画線連続化補正部16によって連続化補正後の時刻tにおける左描画線の横位置であり、R(C)
0,tは描画線連続化補正部16によって連続化補正後の時刻tにおける右描画線の横位置であり、L(C)
1,tは描画線連続化補正部16によって連続化補正後の時刻tにおける左描画線の傾きであり、R(C)
1,tは描画線連続化補正部16によって連続化補正後の時刻tにおける右描画線の傾きである。また、f(C)
L,t(x)は描画線連続化補正部16によって連続化補正後の時刻tにおける左描画線の2次元以上の多項式を表し、f(C)
R,t(x)は描画線連続化補正部16によって連続化補正後の時刻tにおける右描画線の2次元以上の多項式を表し、これらは本実施の形態では誤差項として取り扱う。
さらに、Widtは車線幅を表しており、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、カメラで撮像した車線幅と実際の車線幅との差異を考慮した下記の式(29)を用いて算出してもよい。
Widt=(R(D) 0,t-1-L(D) 0,t-1)×(WMap,t/WMap,t-1) ・・・(29)
Widt=(R(D) 0,t-1-L(D) 0,t-1)×(WMap,t/WMap,t-1) ・・・(29)
式(29)において、WMap,tは現時刻(t)に地図情報取得部11から取得した走行中車線の車線幅であり、WMap,t-1の直前時刻(t-1)に地図情報取得部11から取得した走行中車線の車線幅である。
また、Dirtは、右区画線と左区画線との角度差分を表しており、車線増減地点付近を除き、ほとんどの場合では車線の右区画線および左区画線は並行であるため、Dirtは0としてもよく、左区画線および右区画線の角度差分を考慮した下記の式(30)を用いて算出してもよい。
Dirt=DirMap,R,t-DirMap,L,t ・・・(30)
Dirt=DirMap,R,t-DirMap,L,t ・・・(30)
式(30)において、DirMap,R,tは現時刻tの走行地点において地図情報取得部11から取得した走行中の車線の右区画線の方位であり、DirMap,L,tは現時刻tの走行地点において地図情報取得部11から取得した走行中の車線の左区画線の方位である。
上記で説明した(C)ノイズの影響による描画線位置の検出および補正について、式(19),(20)を満足した場合、すなわち左描画線位置を基準として補正を行う場合について説明したが、右描画線位置を基準として補正を行う場合、すなわち下記の式(31),(32)を満たした場合も同様である。
|L0,t-L(D) 0,t-1|>θ0,diff ・・・(31)
|R0,t-R(D) 0,t-1|≦θ0,diff ・・・(32)
|L0,t-L(D) 0,t-1|>θ0,diff ・・・(31)
|R0,t-R(D) 0,t-1|≦θ0,diff ・・・(32)
次に、(D)検出された描画線が隣の描画線に移動したことの検知および補正、すなわち描画線変化の検出および補正について説明する。直前時刻(t-1)における左描画線の横位置と、現時刻(t)における右描画線の横位置との差が閾値以内である場合、すなわち図11のステップS305でYesの場合はステップS306に移行する。ステップS306において、描画線連続化補正部16は、上記2本の描画線が同一であると判定し、現時刻(t)において右描画線として検知した描画線を左区画線とする。このとき、右区画線の位置は、左区画線の位置を基準として、地図情報に含まれる車線幅を利用して算出する。
例えば、描画線認識部5が認識した現時刻(t)における左描画線の位置および右描画線の位置が式(15),(16)で表され、時系列データ蓄積部19に蓄積されている直前時刻(t-1)における左区画線の位置および右区画線の位置が式(17),(18)で表されているとする。また、それぞれのパラメータ間の関係が下記の式(33)を満たしているとする。
|R0,t-L(D) 0,t-1|≦θ0,diff ・・・(33)
|R0,t-L(D) 0,t-1|≦θ0,diff ・・・(33)
この場合、直前の左描画線および現在の右描画線の変化量が閾値以下であり、これらは同一の描画線であると推定される。従って、カメラが捉えた描画線が左の描画線に変化したと考えられるため、描画線情報の入れ替えを行う。
具体的には、下記の式(34),(35)のような、連続化補正後の左描画線の位置および右描画線の位置の係数を下記の式(36)~(41)のように算出する。
y=L(C) 0,t+L(C) 1,t・x+f(C) L,t(x) ・・・(34)
y=R(C) 0,t+R(C) 1,t・x+f(C) R,t(x) ・・・(35)
L(C) 0,t=R0,t ・・・(36)
L(C) 1,t=R1,t ・・・(37)
f(C) L,t(x)=fR,t(x) ・・・(38)
R(C) 0,t=L(C) 0,t+Widt ・・・(39)
R(C) 1,t=L(C) 1,t+Dirt ・・・(40)
f(C) R,t(x)=f(C) L,t(x) ・・・(41)
y=L(C) 0,t+L(C) 1,t・x+f(C) L,t(x) ・・・(34)
y=R(C) 0,t+R(C) 1,t・x+f(C) R,t(x) ・・・(35)
L(C) 0,t=R0,t ・・・(36)
L(C) 1,t=R1,t ・・・(37)
f(C) L,t(x)=fR,t(x) ・・・(38)
R(C) 0,t=L(C) 0,t+Widt ・・・(39)
R(C) 1,t=L(C) 1,t+Dirt ・・・(40)
f(C) R,t(x)=f(C) L,t(x) ・・・(41)
式(34)~(41)において、Widtは車線幅を表しており、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、式(29)を用いて算出してもよい。
また、右区画線と左区画線との角度差分を表すDirtは0としてもよく、式(30)を用いて算出してもよい。
上記で説明した(D)検出された描画線が隣の描画線に移動したことの検知および補正、すなわち描画線変化の検出および補正について、式(33)を満足した場合、すなわちカメラが捉えた描画線が左の描画線に変化した場合について説明したが、カメラが捉えた描画線が右の描画線に変化した場合、すなわち左描画線位置を基準として補正を行う場合について説明したが、右描画線位置を基準として補正を行う場合、すなわち下記の式(42)を満たした場合も同様である。
|L0,t-R(D) 0,t-1|≦θ0,diff ・・・(42)
|L0,t-R(D) 0,t-1|≦θ0,diff ・・・(42)
ステップS303でNo、かつステップS305でNoの場合、すなわち描画線連続化補正部16で補正することができないノイズが含まれている場合、描画線連続化補正部16は、ステップS307において描画線の補正が不可能であると判断する。具体的には、下記の式(43)~(46)をすべて満たす場合、描画線連続化補正部16は描画線の補正が不可能であると判断する。
|L0,t-L(D) 0,t-1|>θ0,diff ・・・(43)
|R0,t-R(D) 0,t-1|>θ0,diff ・・・(44)
|L0,t-R(D) 0,t-1|>θ0,diff ・・・(45)
|R0,t-L(D) 0,t-1|>θ0,diff ・・・(46)
|L0,t-L(D) 0,t-1|>θ0,diff ・・・(43)
|R0,t-R(D) 0,t-1|>θ0,diff ・・・(44)
|L0,t-R(D) 0,t-1|>θ0,diff ・・・(45)
|R0,t-L(D) 0,t-1|>θ0,diff ・・・(46)
ステップS308において、描画線連続化補正部16は、このようにして補正されたパラメータL(C)
0,t、L(C)
1,t、R(C)
0,t、R(C)
1,t、および多項式f(C)
L,t(x)、f(C)
R,t(x)を補正結果として車線変更状態判定部17および区画線位置算出部18に通知する。
<車線変更状態判定部17の動作>
図12は、車線変更状態判定部17の動作の一例を示すフローチャートである。車線変更状態判定部17は、描画線連続化補正部16による連続化補正後の描画線の位置情報に基づいて、車両の車線変更の状態を判定する。車線変更の状態には、「車線変更なし」、「車線変更開始」、「車線変更中」、「車線変更完了」、「車線変更中止」、および「車線変更不定」が含まれている。
図12は、車線変更状態判定部17の動作の一例を示すフローチャートである。車線変更状態判定部17は、描画線連続化補正部16による連続化補正後の描画線の位置情報に基づいて、車両の車線変更の状態を判定する。車線変更の状態には、「車線変更なし」、「車線変更開始」、「車線変更中」、「車線変更完了」、「車線変更中止」、および「車線変更不定」が含まれている。
ステップS401において、車線変更状態判定部17は、描画線連続化補正結果が通知されるまで待機する。そして、描画線連続化補正結果が通知されるとステップS402に移行する。
ステップS402において、車線変更状態判定部17は、描画線連続化補正部16が描画線連続化の補正を行ったか否かを判断する。車線変更状態の特定は、描画線連続化補正部16から取得した、連続的に変化する左描画線および右描画線の横位置および傾きを用いる。描画線連続化補正部16が描画線連続化の補正を行っていない場合は、ステップS403に移行する。一方、描画線連続化補正部16が描画線連続化の補正を行った場合は、ステップS404に移行する。ステップS403において、車線変更状態判定部17は、車線変更の状態は「車線変更不定」であると判断する。
ステップS404において、車線変更状態判定部17は、直前の車線変更の状態が「車線変更なし」、「車線変更完了」、「車線変更開始」、または「車線変更中」の何れであるのか判断する。「車線変更なし」または「車線変更完了」の場合は、ステップS405に移行する。一方、「車線変更開始」または「車線変更中」の場合は、ステップS409に移行する。
ステップS405において、直前の車線変更の状態が「車線変更なし」の場合、車線変更状態判定部17は、車線変更の開始の予兆があるか否かを判断する。具体的には、左区画線の横位置を、左区画線までの傾きで除算することによって、車両が区画線を横切るまでの前進距離を算出する。これを、横断までの前進距離、または横断前進距離という。また、左区画線の横位置を、左区画線までの時間変化量で除算し、時間係数を乗算することによって、車両が区画線を横切るまでの所要時間を算出する。これを、横断までの所要時間、または横断所要時間という。
例えば、L(C)
0,t<0かつL(C)
1,t>0という条件下において、左描画線横断までの前進距離DLおよび左描画線横断までの所要時間TLは、それぞれ下記の式(47),(48)によって算出される。
DL=(-L(C) 0,t)/L(C) 1,t ・・・(47)
TL=(-L(C) 0,t)/L(C,DiffAVE) 0,t×TDiff ・・・(48)
DL=(-L(C) 0,t)/L(C) 1,t ・・・(47)
TL=(-L(C) 0,t)/L(C,DiffAVE) 0,t×TDiff ・・・(48)
式(48)において、TDiffは1フレームあたりの経過時間を表す。L(C,DiffAVE)
0,tは現時刻(t)付近における左描画線の横位置の1フレーム当たりの平均変化率を表しており、平均化パラメータNを用いて下記の式(49)によって算出される。
L(C,DiffAVE) 0,t=(L(C) 0,t-L(D) 0,t-N)/N ・・・(49)
L(C,DiffAVE) 0,t=(L(C) 0,t-L(D) 0,t-N)/N ・・・(49)
ただし、時刻(t-N)における左描画線の横位置は、区画線位置算出部18による補正処理によって確定した後の値L(D)
0,t-Nを時系列データ蓄積部19から取得して用いるものとする。また、現時刻(t)における左描画線の横位置は未確定であるため、描画線連続化補正部16によって連続化補正後の値L(C)
0,tを用いるものとする。
ステップS406において、車線変更状態判定部17は、横断までの前進距離および横断までの所要時間の各々が閾値以下であるか否かを判断する。横断までの前進距離および横断までの所要時間の各々が閾値以下である場合は、ステップS407に移行する。一方、横断までの前進距離および横断までの所要時間の各々が閾値以下でない場合は、ステップS408に移行する。
ステップS407において、車線変更状態判定部17は、横断までの前進距離DLおよび横断までの所要時間TLの各々が、予め定められた閾値θDおよびθTを下回った場合、すなわち下記の式(50),(51)の両方を満たす場合は車線変更の予兆であると判断し、車線変更の状態が「車線変更開始」であると判断する。
DL<θD ・・・(50)
TL<θT ・・・(51)
DL<θD ・・・(50)
TL<θT ・・・(51)
例えば、横断までの前進距離の閾値θDは30m、横断までの所要時間の閾値θTは3secとしてもよい。「車線変更開始」と判断した後は、「車線変更完了」または「車線変更中止」のいずれかであると判断するまでは、自動的に「車線変更中」であると判断する。すなわち、車線変更状態判定部17は、時系列データ蓄積部19が蓄積している現時点から予め定められた時間前までの時系列データと、描画線連続化補正部16が補正した補正後の左区画線および右区画線の位置とに基づいて、横断前進距離と横断所要時間とを算出し、横断前進距離および横断所要時間に基づいて車両が車線変更を開始するか否か、および車線変更を開始する場合は車線変更の方向を判断する。
ステップS408において、車線変更状態判定部17は、車線変更の状態が「車線変更無し」であると判断する。
ステップS409において、車線変更状態判定部17は、車線変更が完了したか否かを判断する。車線変更が完了した場合は、ステップS410に移行する。一方、車線変更が完了していない場合は、ステップS411に移行する。
ステップS410において、車線変更状態判定部17は、車線変更の状態が「車線変更完了」であると判断する。例えば、車線変更開始の方向が左であった場合、左区画線の横位置が0より大きい予め定められた第1閾値である閾値θ0,completeを上回った場合に「車線変更完了」と判断する。閾値θ0,completeは、例えば0.5mである。閾値θ0,completeは、θ0,diffと同様に、描画線認識結果の出力周期に応じて変化させてもよい。
ステップS411において、車線変更状態判定部17は、車線変更が中止されたか否かを判断する。車線変更が中止された場合は、ステップS412に移行する。一方、車線変更が中止されていない場合は、ステップS413に移行する。
ステップS412において、車線変更状態判定部17は、車線変更の状態が「車線変更中止」であると判断する。例えば、車線変更開始の方向が左であった場合、左区画線の横位置が0より小さい予め定められた第2閾値である閾値-θ0,cancelを下回った場合に「車線変更中止」と判断する。閾値θ0,cancelは、例えば-0.8mである。車線変更開始の方向が右である場合も同様である。閾値θ0,cancelは、θ0,diffと同様に、描画線認識結果の出力周期に応じて変化させてもよい。
ステップS413において、車線変更状態判定部17は、車線変更の状態が「車線変更中」であると判断する。
ステップS414において、車線変更状態判定部17は、区画線位置算出部18に車線変更の状態を通知する。
上記では、車線変更開始の方向が左である場合について説明したが、車線変更開始の方向が右である場合も同様である。
<区画線位置算出部18の動作>
区画線位置算出部18は、描画線連続化補正部16による連続化補正後の描画線の位置と、車線変更状態判定部17が判定した車線変更の状態とに基づいて区画線の位置を算出する。車線変更状態判定部17が車線変更の状態が「車線変更完了」であると判定した以外の場合は、区画線の位置は描画線連続化補正部16によって補正された後の描画線の位置と同一である。以下では、車線変更状態判定部17が車線変更の状態が「車線変更完了」であると判定した場合における処理について説明する。
区画線位置算出部18は、描画線連続化補正部16による連続化補正後の描画線の位置と、車線変更状態判定部17が判定した車線変更の状態とに基づいて区画線の位置を算出する。車線変更状態判定部17が車線変更の状態が「車線変更完了」であると判定した以外の場合は、区画線の位置は描画線連続化補正部16によって補正された後の描画線の位置と同一である。以下では、車線変更状態判定部17が車線変更の状態が「車線変更完了」であると判定した場合における処理について説明する。
例えば、車線変更状態判定部17が右車線への車線変更が完了したと判断した場合、区画線位置算出部18は、右車線における左区画線および右区画線の各横位置を算出する。右車線における左区画線および右区画線の各横位置は、次の方法で算出される。右車線における左区画線は、現車線の右区画線とする。右車線における右区画線は、右車線における左区画線を基準として地図情報に含まれる車線幅を用いて、描画線連続化補正部16で描画線の変化を補正する際に用いた式(34)~(41)と同一の方法で算出する。すなわち、区画線位置算出部18は、車線変更状態判定部17が車線変更を完了したと判断した場合において、描画線連続化補正部16が算出した補正後の左区画線と、地図情報に含まれる車線幅とに基づいて、車線変更後の車両の両側の左区画線および右区画線の位置を算出する。
具体的には、下記の式(52),(53)のような、車線変更を考慮した後の左区画線の位置および右区画線の位置の係数を下記の式(54)~(59)のように算出する。
y=L(D) 0,t+L(D) 1,t・x+f(D) L,t(x) ・・・(52)
y=R(D) 0,t+R(D) 1,t・x+f(D) R,t(x) ・・・(53)
L(D) 0,t=R(C) 0,t ・・・(54)
L(D) 1,t=R(C) 1,t ・・・(55)
f(D) L,t(x)=f(C) R,t(x) ・・・(56)
R(D) 0,t=L(D) 0,t+Widt ・・・(57)
R(D) 1,t=L(D) 1,t+Dirt ・・・(58)
f(D) R,t(x)=f(D) L,t(x) ・・・(59)
y=L(D) 0,t+L(D) 1,t・x+f(D) L,t(x) ・・・(52)
y=R(D) 0,t+R(D) 1,t・x+f(D) R,t(x) ・・・(53)
L(D) 0,t=R(C) 0,t ・・・(54)
L(D) 1,t=R(C) 1,t ・・・(55)
f(D) L,t(x)=f(C) R,t(x) ・・・(56)
R(D) 0,t=L(D) 0,t+Widt ・・・(57)
R(D) 1,t=L(D) 1,t+Dirt ・・・(58)
f(D) R,t(x)=f(D) L,t(x) ・・・(59)
式(52)~(59)において、L(D)
0,tは区画線位置算出部18によって確定された時刻tにおける左区画線の横位置であり、R(D)
0,tは区画線位置算出部18によって確定された時刻tにおける右区画線の横位置であり、L(D)
1,tは区画線位置算出部18によって確定された時刻tにおける左区画線の傾きであり、R(D)
1,tは区画線位置算出部18によって確定された時刻tにおける右区画線の傾きである。また、Widtは車線幅を表しており、地図情報取得部11から取得した現在地点付近の車線幅をそのまま使用してもよく、式(29)を用いて算出してもよい。
次に、区画線位置算出部18による車線変更の有無および車線変更の方向の判断について説明する。車線変更状態判定部17が判定した車線変更の状態が「車線変更無し」、「車線変更開始」、「車線変更中」、「車線変更中止」のいずれかである場合、区画線位置算出部18は車線変更の有無が「無し」と判断する。また、車線変更状態判定部17が判定した車線変更の状態が「車線変更完了」である場合、区画線位置算出部18は車線変更の有無が「有り」と判断し、この時の車線変更の方向は車線変更状態判定部17から通知されたものを使用する。また、車線変更状態判定部17が判定した車線変更の状態が「車線変更不可」である場合、区画線位置算出部18は車線変更の有無が「不定」と判断する。
<時系列データ蓄積部19の動作>
時系列データ蓄積部19は、区画線位置算出部18によって算出された過去の区画線の位置を時系列データとして記憶し蓄積する。時系列データ蓄積部19で蓄積された時系列データは、描画線連続化補正部16および車線変更状態判定部17において過去の区画線の位置を照合する際に読み出されて用いられる。
時系列データ蓄積部19は、区画線位置算出部18によって算出された過去の区画線の位置を時系列データとして記憶し蓄積する。時系列データ蓄積部19で蓄積された時系列データは、描画線連続化補正部16および車線変更状態判定部17において過去の区画線の位置を照合する際に読み出されて用いられる。
時系列データ蓄積部19のバッファサイズは固定長とし、バッファが満杯になった場合は古いデータから順に削除する。従って、時系列データ蓄積部19は、リングバッファのデータ構造であることが適している。
<描画線認識結果処理部15における内部変数の演算順序>
図13は、描画線認識結果処理部15における内部変数の演算順序を説明するための図である。
図13は、描画線認識結果処理部15における内部変数の演算順序を説明するための図である。
ステップS501において、描画線連続化補正部16は、描画線認識部5から時刻tにおける左描画線の横位置L0,t、時刻tにおける右描画線の横位置R0,t、時刻tにおける左描画線傾きL1,t、時刻tにおける右描画線の傾きR1,tが通知される。
ステップS502において、描画線連続化補正部16は、車線幅Widtおよび方位差分Dirtを考慮して、連続化補正後の時刻tにおける左描画線の横位置L(c)
0,t、連続化補正後の時刻tにおける右描画線の横位置R(C)
0,t、連続化補正後の時刻tにおける左描画線の傾きL(C)
1,t、連続化補正後の時刻tにおける右描画線の傾きR(C)
1,tを算出する。
ステップS503において、区画線位置算出部18は、描画線連続化補正部16が算出したL(c)
0,t、R(C)
0,t、L(C)
1,t、R(C)
1,tについて、車線幅Widtおよび方位差分Dirtを考慮して、時刻tにおける左区画線の横位置L(D)
0,t、時刻tにおける右区画線の横位置R(D)
0,t、時刻tにおける左区画線の傾きL(D)
1,t、時刻tにおける右区画線の傾きR(D)
1,tを算出する。区画線位置算出部18が算出したL(D)
0,t、R(D)
0,t、L(D)
1,t、R(D)
1,tは、時系列データ蓄積部19および車両横位置算出部7に通知される。車両横位置算出部7がこれらの情報を取得した後の動作は、実施の形態1と同じである。
<効果>
本実施の形態2では、描画線認識部5が認識した描画線の位置に対して描画線連続化補正部16が連続化の補正を行い、車線変更状態判定部17では過去の区画線の位置を考慮して車線変更の状態を判定し、区画線位置算出部18ではこれらの情報を総合して区画線の位置を算出するため、道路撮像装置3または描画線認識部5の出力に含まれるノイズまたは認識誤りに対するロバスト性が向上する。
本実施の形態2では、描画線認識部5が認識した描画線の位置に対して描画線連続化補正部16が連続化の補正を行い、車線変更状態判定部17では過去の区画線の位置を考慮して車線変更の状態を判定し、区画線位置算出部18ではこれらの情報を総合して区画線の位置を算出するため、道路撮像装置3または描画線認識部5の出力に含まれるノイズまたは認識誤りに対するロバスト性が向上する。
<実施の形態3>
<構成>
実施の形態1,2では、車両位置推定システムは、カメラの撮像結果を用いて横位置を更新し、車両前進距離算出部10が算出した前進距離に基づいて縦位置を更新する。このとき、更新の基準となる初期位置は、衛星測位装置12から地図上車両位置初期化部9に入力される測位位置としている。しかし、衛星測位装置12の測位結果が横方向の誤差を含む場合、誤った走行車線上に初期位置を設定することになり、その後、地図上車両位置算出部8は走行車線を誤って判定し続ける恐れがあるという課題が依然として残る。本発明の実施の形態3は、このような課題を解決する。
<構成>
実施の形態1,2では、車両位置推定システムは、カメラの撮像結果を用いて横位置を更新し、車両前進距離算出部10が算出した前進距離に基づいて縦位置を更新する。このとき、更新の基準となる初期位置は、衛星測位装置12から地図上車両位置初期化部9に入力される測位位置としている。しかし、衛星測位装置12の測位結果が横方向の誤差を含む場合、誤った走行車線上に初期位置を設定することになり、その後、地図上車両位置算出部8は走行車線を誤って判定し続ける恐れがあるという課題が依然として残る。本発明の実施の形態3は、このような課題を解決する。
実施の形態1,2では、車両位置推定システムは、地図上車両位置初期化部9によって初期化された位置を基準とし、その後、カメラの撮像結果を入力として車両横位置算出部7によって算出された車両横位置で位置更新を行う。本実施の形態3では、車両位置推定システムが初期化位置と更新位置との両方に基づいて信頼度評価を行い、信頼度が一定の基準を満たした場合のみ、高精度の車両位置が確定できたと判断し、カメラの撮像結果を利用した更新位置を採用することによって、上記の課題の解決をめざす。一方、信頼度が基準を満たさない場合、車両位置推定システムは、低精度の初期化位置を採用し、高精度の車両位置は未測位とする。
図14は、本実施の形態3による車両位置推定システム20の構成の一例を示すブロック図である。図14に示すように、本実施の形態3による車両位置推定装置21は、描画線認識部22と、地図上車両位置算出部24と、車両横位置算出部28とを備えることを特徴としている。その他の構成および動作は、実施の形態2と同様であるため、ここでは詳細な説明を省略する。
描画線認識部22は、線種認識部23を備えている。
線種認識部23は、映像情報取得部4が取得した車両前方の映像から、描画線認識部22が道路上の複数の描画線を検出した際に、より詳細に描画線の分析を行うことによって、それぞれの描画線の線種を推定する。線種とは、線のパターン(形状)の種類を表しており、実際の道路環境に存在する線種に従って、実線、長破線、短破線、二重線等の種別に分類される。
地図上車両位置算出部24は、走行車線信頼度推定部25と、映像由来車両位置算出部26と、位置統合部27とを備えている。
走行車線信頼度推定部25は、描画線認識部22が描画線を認識できたか否か、線種認識部23認識した線種が時系列上で安定した結果であるか、位置統合部27が算出した地図上車両位置が時系列上で継続的に安定して車線の中心付近の位置を示しているかなどの基準から総合的に判断し、車両横位置算出部28が算出した走行車線の信頼度を推定する。
映像由来車両位置算出部26は、実施の形態1における地図上車両位置算出部8全体と同様の動作を行う。車両横位置算出部28から車両横位置が通知された場合は地図上における車両横位置を更新し、車両前進距離算出部10から車両の前進距離が通知された場合は地図上における前後方向位置を更新する。このようにして算出された車両位置は、映像情報取得部4から入力された映像情報に基づいて算出した横位置を利用して算出した車両位置であるため、映像由来車両位置と呼ぶ。
位置統合部27は、走行車線信頼度推定部25が推定した走行車線信頼度が閾値未満の場合には、映像由来車両位置算出部26が算出した映像由来車両位置は信頼度が低いと判断し、地図上車両位置初期化部9が出力する初期化位置を採用し、これを地図上車両位置算出部24の演算結果とする。
一方、位置統合部27は、走行車線信頼度推定部25が推定した走行車線信頼度が閾値以上の場合は、映像由来車両位置算出部26が算出した映像由来車両位置を複数の評価軸で評価した結果、信頼度が高いと判断し、映像由来車両位置を地図上車両位置算出部24の演算結果とする。
一旦、走行車線信頼度推定部25が推定した走行車線信頼度が閾値以上となると、その後、描画線認識部22が左右のうち少なくとも一方の描画線の認識を継続し、かつ描画線連続化補正部16が正常に補正を行っている状態が継続する限りは、走行車線信頼度が閾値以上と判断するため、車両位置推定システム20は映像由来車両位置を採用し続ける。
車両横位置算出部28は、実施の形態1における車両横位置算出部7の役割に加え、走行車線信頼度推定部25が信頼度推定を行うために必要となる、描画線認識部22の描画線認識状態、描画線連続化補正部16の補正可否状態、および車両横位置の整合性判断結果を走行車線信頼度推定部25に通知する役割を備える。ここで、車両横位置の整合性判断結果とは、車線変更状態判定部17が判定した車線変更によって車両横位置が車線(走行可能領域)よりも外側に位置していないかチェックした結果のことをいう。
<動作>
<走行車線信頼度推定部25の動作>
走行車線信頼度推定部25は、描画線認識部22が描画線を認識できたか否か、線種認識部23が認識した線種が時系列上で安定した結果であるか、位置統合部27が算出した地図上車両位置が時系列上で継続的に安定して車線の中心付近の位置を示しているか、車両横位置算出部28が通知する車両横位置が走行可能領域に位置しているかなどのきじゅんから総合的に判断し、車両横位置算出部28が算出した走行車線の信頼度を推定する。以下では、信頼度推定の演算に関して、具体的なユースケースを例に挙げて説明する。
<走行車線信頼度推定部25の動作>
走行車線信頼度推定部25は、描画線認識部22が描画線を認識できたか否か、線種認識部23が認識した線種が時系列上で安定した結果であるか、位置統合部27が算出した地図上車両位置が時系列上で継続的に安定して車線の中心付近の位置を示しているか、車両横位置算出部28が通知する車両横位置が走行可能領域に位置しているかなどのきじゅんから総合的に判断し、車両横位置算出部28が算出した走行車線の信頼度を推定する。以下では、信頼度推定の演算に関して、具体的なユースケースを例に挙げて説明する。
高速道路において、1車線のランプウェイを走行し、その後、複数車線から構成される本線に進入するシーンでは、描画線認識部22が左右のうち少なくとも一方の描画線の認識を継続し、かつ描画線連続化補正部16が正常に補正を行っている状態が継続すれば、本線進入時の走行車線は一意に定まるため、走行車線信頼度推定部25は、本線進入時の走行車線信頼度は高いと判断する。
一方、料金所付近等では描画線が存在しないため、描画線の監視によって走行車線が特定できないようなシーンでは、走行車線信頼度推定部25は走行車線信頼度が低いと判定し、その後の走行において、走行車線を特定するための判断材料がある場合には、その度合いに応じて信頼度が上昇していく。
また、走行中に、例えば描画線認識部22が両側の描画線を見失った場合には、その見失っている経過時間に応じて、走行車線信頼度推定部25は走行車線の信頼度が低下したと判断することが期待される。
以上の特徴を有する信頼度の演算方法として、例えば下記のような信頼度ポイントの算出式が挙げられる。
(現在の信頼度ポイント、2車線以上の場合)=min((前回の信頼度ポイント)+(差分ポイント),(初期化ポイント)) ・・・(60)
(現在の信頼ポイント、1車線の場合)=100 ・・・(61)
(差分ポイント)=(線種ポイントPt1)+(車線内一ポイントPt2)+(描画線認識可否ポイントPt3)+(連続化補正可否ポイントPt4) ・・・(62)
(初期化ポイント)=(道路外への車線変更ポイントPt5) ・・・(63)
(信頼度ポイントの初期値)=0 ・・・(64)
Pt1=-10(線種認識部23が認識した左右区画線の種別と、位置統合部27の位置における地図上での左右区画線の種別とが一致しない場合) ・・・(65)
Pt1=10(一致する場合) ・・・(66)
Pt2=10×(1-(車線中心からの距離[m])) ・・・(67)
Pt3=-30(左右のうち少なくとも一方の描画線が認識できていない場合) ・・・(68)
Pt3=0(両方の描画線が認識できている場合) ・・・(69)
Pt4=-30(連続化補正ができないと判断された場合) ・・・(70)
Pt4=0(連続化補正ができた場合) ・・・(71)
Pt5=0(車線変更状態判定部17による車線変更先が道路外である場合) ・・・(72)
Pt5=0xFFFF(許容される最大値:道路外ではない場合) ・・・(73)
(現在の信頼度ポイント、2車線以上の場合)=min((前回の信頼度ポイント)+(差分ポイント),(初期化ポイント)) ・・・(60)
(現在の信頼ポイント、1車線の場合)=100 ・・・(61)
(差分ポイント)=(線種ポイントPt1)+(車線内一ポイントPt2)+(描画線認識可否ポイントPt3)+(連続化補正可否ポイントPt4) ・・・(62)
(初期化ポイント)=(道路外への車線変更ポイントPt5) ・・・(63)
(信頼度ポイントの初期値)=0 ・・・(64)
Pt1=-10(線種認識部23が認識した左右区画線の種別と、位置統合部27の位置における地図上での左右区画線の種別とが一致しない場合) ・・・(65)
Pt1=10(一致する場合) ・・・(66)
Pt2=10×(1-(車線中心からの距離[m])) ・・・(67)
Pt3=-30(左右のうち少なくとも一方の描画線が認識できていない場合) ・・・(68)
Pt3=0(両方の描画線が認識できている場合) ・・・(69)
Pt4=-30(連続化補正ができないと判断された場合) ・・・(70)
Pt4=0(連続化補正ができた場合) ・・・(71)
Pt5=0(車線変更状態判定部17による車線変更先が道路外である場合) ・・・(72)
Pt5=0xFFFF(許容される最大値:道路外ではない場合) ・・・(73)
ここで、信頼度ポイントとは、信頼度をポイントの大きさで表現した指標であり、信頼度ポイントが大きいほど位置統合部27によって推定された走行車線の信頼度が高いことを示す。
基本的には、走行車線信頼度推定部25は、前回の時点の信頼度ポイントを基準として、差分ポイントを加算することによって、現在の信頼度ポイントを算出する。ただし、車線変更状態判断部17によって判定された車線変更先が道路外である等、これまでの推定位置に大きな矛盾が判明した場合には、走行車線信頼度推定部25は、これまで累積してきた信頼度ポイントを0でリセットすることによって、過去にカメラに基づいて累積演算された車両位置をリセットする。
式(60)~(73)に従って走行車線信頼度推定部25が演算した走行車線の信頼度ポイントは、位置統合部27に通知される。
<映像由来車両位置算出部26の動作>
映像由来車両位置算出部26は、実施の形態1における地図上車両位置算出部8全体と同様の動作を行うため、そのフローチャートは図6に示す通りである。
映像由来車両位置算出部26は、実施の形態1における地図上車両位置算出部8全体と同様の動作を行うため、そのフローチャートは図6に示す通りである。
<位置統合部27の動作>
図15は、位置統合部27の動作の一例を示すフローチャートである。
図15は、位置統合部27の動作の一例を示すフローチャートである。
ステップS601において、位置統合部27は、前回の位置統合処理から所定の時間(例えば100msec)が経過するまで待機する。従って、以降の処理は、定周期で実施されることになる。
ステップS602において、位置統合部27は、直近で走行車線信頼度推定部25が推定した走行車線信頼度を取得する。
ステップS603において、位置統合部27は、取得した走行車線信頼度が閾値以上であるかどうかを判定する。本実施の形態3では、走行車線信頼度を信頼度ポイントで評価することとし、例えば信頼度ポイントが閾値として予め設定された値である100以上であるか否かで判定を行う。
信頼度ポイントが閾値以上である場合はステップS604に移行し、この場合は車両横位置算出部28が算出した横位置が信頼できると判断されたため、地図上車両位置を映像由来車両位置(映像に基づく横位置を用いて算出された位置)で更新する。
一方、信頼度ポイントが閾値未満である場合はステップS605に移行し、地図上車両位置初期化部9から通知された初期化位置で地図上車両位置を初期化する。映像に基づいて累積的に演算されてきた映像由来車両位置が信頼できないと判断されたためである。この後、ステップS606に移行する。
ステップS606において、位置統合部27は、映像由来車両位置算出部26に対して、初期化された地図上車両位置を通知する。この通知後、初期化された地図上車両位置を基準として、縦位置および横位置の更新を行うためである。
最後に、ステップS607において、位置統合部27は、走行車線信頼度推定部25に対して、映像由来車両位置または初期位置で更新された地図上車両位置を通知する。走行車線信頼度推定部25では、次回の走行車線信頼度推定時に、車線に対する地図上車両位置の妥当性を評価する。
<車両横位置算出部28の動作>
図5に示した、実施の形態1における車両横位置算出部7の動作に加えて、車両横位置算出部28は、描画線認識部22が正常に描画線を認識したか否か、描画線連続化補正部16が正常に連続化補正処理を実施したか、および車線変更状態判定部17によって判定された車線変更によって走行可能領域よりも外側に車両位置がはみ出していないかをそれぞれ判定し、その結果を走行車線信頼度推定部25に通知する。
図5に示した、実施の形態1における車両横位置算出部7の動作に加えて、車両横位置算出部28は、描画線認識部22が正常に描画線を認識したか否か、描画線連続化補正部16が正常に連続化補正処理を実施したか、および車線変更状態判定部17によって判定された車線変更によって走行可能領域よりも外側に車両位置がはみ出していないかをそれぞれ判定し、その結果を走行車線信頼度推定部25に通知する。
<車両位置推定システム20の全体的な動作>
車両位置推定装置21の全体的な動作について、図16を用いて説明する。前提として、位置統合部27は、前回、位置2001を算出しており、走行車線信頼度推定部25によって推定された信頼度ポイントは150であったものとする。この場合、閾値である100以上の信頼度ポイントであるため、映像由来車両位置算出部26が算出した映像由来車両位置を採用している。そのため、描画線認識部22によって認識された描画線を追跡することによって、横方向の位置を演算することが可能な状態である。しかし、ここでは、実際には位置統合部27によって認識されていた走行車線が誤っている場合を想定する。
車両位置推定装置21の全体的な動作について、図16を用いて説明する。前提として、位置統合部27は、前回、位置2001を算出しており、走行車線信頼度推定部25によって推定された信頼度ポイントは150であったものとする。この場合、閾値である100以上の信頼度ポイントであるため、映像由来車両位置算出部26が算出した映像由来車両位置を採用している。そのため、描画線認識部22によって認識された描画線を追跡することによって、横方向の位置を演算することが可能な状態である。しかし、ここでは、実際には位置統合部27によって認識されていた走行車線が誤っている場合を想定する。
位置2001において、線種ポイントPt1は、地図の区画線種別と線種認識部23が認識した種別が異なっていたため、Pt1=-10とする。車線内位置ポイントPt2は、車線中心から20cmと比較的中心に近い位置が演算されていたため、Pt1=-8とする。描画線認識および連続化補正は正常に実行できたため、描画線認識可否ポイントPt3および連続化補正可否ポイントPt4は共に0を設定する。道路外への車線変更ポイントPt5については、車線変更状態判定部17によって車線変更と判定されていないため、Pt5=0とする。上記の結果から差分ポイントは-2と算出され、その結果、直後の信頼度ポイントは148ポイントと演算される。このことから、位置統合部27は、直後も映像由来車両位置算出部26の出力結果を採用することとなる。以降も同様に、信頼ポイントの演算を順次進める。
位置2002において、車線変更状態判定部17によって右車線変更と判定されたため、道路外への車線変更となったことから、道路外への車線変更ポイントPt5=0となり、直後の信頼度ポイントは0ポイントと演算される。従って、地図上車両位置初期化部9による初期化位置を採用することになる。この時点で、これまで車両横位置算出部28によって累積されてきた映像由来の横位置が一旦リセットされることになる。
位置2003に到達した時点で、演算された信頼度ポイントが閾値である100以上となったため、地図上車両位置初期化部9から入力された車両位置が安定し、かつ線種認識部23が認識した線種情報との整合性も確認されたと判断し、映像由来車両位置算出部26の出力結果を採用するモードに切り替わる。
その後、位置2004に到達すると、車線変更状態判定部17によって右車線変更と判定されたため、映像由来車両位置算出部26は素早く車線変更後の自車位置を算出し、位置統合部27は車線変更に追従した自車位置を演算することが可能となる。
<効果>
本実施の形態3では、線種認識部23が認識した描画線の線種の時系列と、地図情報取得部11から取得した地図に含まれる走行車線の左右の区画線と位置統合部27が出力する地図上車両位置との位置関係の時系列と、描画線認識部22によって描画線が正常に認識できない状態または描画線連続化補正部16が描画線の補正が不可能であると判断した状態の継続時間とに基づいて、現在の走行車線の信頼度の判定を行い、信頼度が閾値以上の場合にはカメラの撮像結果に基づいて横位置(走行車線および車線内横位置)を判定し、信頼度が閾値に達しない場合には地図上車両位置初期化部9の出力を採用して信頼度が閾値以上となるのを待つため、地図上車両位置初期化部9の位置誤差の影響による走行車線の認識誤りおよびその影響によるその後のカメラの撮像結果に基づく走行車線の判定誤りを防止することが可能となる。
本実施の形態3では、線種認識部23が認識した描画線の線種の時系列と、地図情報取得部11から取得した地図に含まれる走行車線の左右の区画線と位置統合部27が出力する地図上車両位置との位置関係の時系列と、描画線認識部22によって描画線が正常に認識できない状態または描画線連続化補正部16が描画線の補正が不可能であると判断した状態の継続時間とに基づいて、現在の走行車線の信頼度の判定を行い、信頼度が閾値以上の場合にはカメラの撮像結果に基づいて横位置(走行車線および車線内横位置)を判定し、信頼度が閾値に達しない場合には地図上車両位置初期化部9の出力を採用して信頼度が閾値以上となるのを待つため、地図上車両位置初期化部9の位置誤差の影響による走行車線の認識誤りおよびその影響によるその後のカメラの撮像結果に基づく走行車線の判定誤りを防止することが可能となる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示していない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
1 車両位置推定システム、2 車両位置推定装置、3 道路撮像装置、4 映像情報取得部、5 描画線認識部、6 描画線認識結果処理部、7 車両横位置算出部、8 地図上車両位置算出部、9 地図上車両位置初期化部、10 車両前進距離算出部、11 地図情報取得部、12 衛星測位装置、13 車両位置推定システム、14 車両位置推定装置、15 描画線認識結果処理部、16 描画線連続化補正部、17 車線変更状態判定部、18 区画線位置算出部、19 時系列データ蓄積部、20 車両位置推定システム、21 車両位置推定装置、22 描画線認識部、23 線種認識部、24 地図上車両位置算出部、25 走行車線信頼度推定部、26 映像由来車両位置算出部、27 位置統合部、28 車両横位置算出部。
Claims (8)
- 車両の前方の道路を撮影した映像情報を取得する映像情報取得部(4)と、
前記映像情報取得部(4)が取得した前記映像情報に基づいて、前記車両の左右両側の前記道路に描かれた描画線の前記車両に対する相対的な位置を認識する描画線認識部(5)と、
前記描画線認識部(5)が認識した左右両側の前記相対的な位置を前記道路の車線を区画する左右両側の区画線の位置とし、前記車両の車線変更の有無、および前記車両が車線変更した場合における前記車線変更の方向を算出する描画線認識結果処理部(6)と、
少なくとも前記車線の道路の延在方向の接続関係である車線接続関係を含む地図情報を取得する地図情報取得部(11)と、
前記描画線認識結果処理部(6)が算出した前記車線変更の有無および前記車線変更の方向と、前記地図情報取得部(11)が取得した前記車線接続関係とに基づいて、前記車両が走行中の車線および当該車線内における前記車両の横方向の位置である車両横位置を算出する車両横位置算出部(7)と、
前記車両が前進した距離である前進距離を算出する車両前進距離算出部(10)と、
前記地図情報取得部(11)が取得した前記地図情報と、前記車両横位置算出部(7)が算出した前記車両が走行中の車線および前記車両横位置と、前記車両前進距離算出部(10)が算出した前記前進距離とに基づいて、地図上の道路における前記車両の位置を算出する地図上車両位置算出部(8)と、
を備える、車両位置推定装置。 - 前記描画線認識結果処理部(15)は、
前記描画線認識部(5)が認識した左右両側の前記相対的な位置に基づいて、左右両側の前記描画線の位置が時間的に連続となるように補正する描画線連続化補正部(16)と、
前記描画線連続化補正部(16)が補正した左右両側の前記描画線の前記相対的な位置と、過去の左右両側の前記区画線の位置とに基づいて、前記車線変更の方向を含む前記車両の車線変更の状態を判定する車線変更状態判定部(17)と、
前記描画線連続化補正部(16)が補正した左右両側の前記描画線の前記相対的な位置と、前記車線変更状態判定部(17)が判定した前記車両の前記車線変更の状態とに基づいて、左右両側の前記区画線の位置を算出する区画線位置算出部(18)と、
前記区画線位置算出部(18)が算出した左右両側の前記区画線の位置を時系列データとして蓄積する時系列データ蓄積部(19)と、
を備える、請求項1に記載の車両位置推定装置。 - 前記地図情報取得部(11)が取得する前記地図情報は、前記車線の幅である車線幅を含み、
前記描画線連続化補正部(16)は、
前記時系列データ蓄積部(19)が蓄積している現時点から予め定められた時間前における前記車両の左側の区画線である左区画線の位置と、現時点で前記描画線認識部(5)が認識した前記車両の右側の描画線である右描画線の位置との差が予め定められた距離以内である場合、前記右描画線は現時点における前記左区画線であると判定し、現時点における前記左区画線と前記地図情報に含まれる前記車線幅とに基づいて現時点における前記車両の右側の区画線である右区画線の位置を算出し、
前記時系列データ蓄積部(19)が蓄積している現時点から予め定められた時間前における前記右区画線の位置と、現時点で前記描画線認識部(5)が認識した前記車両の左側の描画線である左描画線の位置との差が予め定められた距離以内である場合、前記左描画線は現時点における前記右区画線であると判定し、現時点における前記右区画線と前記車線幅とに基づいて現時点における前記左区画線の位置を算出することを特徴とする、請求項2に記載の車両位置推定装置。 - 前記車線変更状態判定部(17)は、
前記時系列データ蓄積部(19)が蓄積している現時点から予め定められた時間前までの前記時系列データと、前記描画線連続化補正部(16)が補正した補正後の前記左区画線および前記右区画線の位置とに基づいて、前記車両が前記左区画線または前記右区画線を横断するまでに前進する距離である横断前進距離と、前記車両が前記左区画線または前記右区画線を横断するまでの所要時間である横断所要時間とを算出し、前記横断前進距離および前記横断所要時間に基づいて前記車両が車線変更を開始するか否か、および前記車線変更を開始する場合は前記車線変更の方向を判断し、
前記車両が前記車線変更を開始した後、前記車線変更の方向に位置する補正後の前記描画線の位置が第1閾値以上になると、前記車両が車線変更を完了したと判断し、
前記車両が前記車線変更を開始した後、前記車線変更の方向に位置する補正後の前記描画線の位置が第2閾値以下になると、前記車両が車線変更を中止したと判断することを特徴とする、請求項3に記載の車両位置推定装置。 - 前記区画線位置算出部(18)は、
前記車線変更状態判定部(17)が前記車線変更の方向が左である前記車線変更を完了したと判断した場合において、前記描画線連続化補正部(16)が算出した補正後の前記左区画線と、前記地図情報に含まれる車線幅とに基づいて、前記車線変更後の前記車両の両側の前記左区画線および前記右区画線の位置を算出し、前記車線変更状態判定部(17)が前記車線変更の方向が右である前記車線変更を完了したと判断した場合において、前記描画線連続化補正部(16)が算出した補正後の前記右区画線と、前記地図情報に含まれる車線幅とに基づいて、前記車線変更後の前記車両の前記左区画線および前記右区画線の位置を算出することを特徴とする、請求項4に記載の車両位置推定装置。 - 前記映像情報取得部(11)とは異なる測位手段による位置測位結果に基づいて、前記地図上車両位置算出部(24)が保持する前記地図上車両位置を初期化するための初期化位置を出力する地図上車両位置初期化部(9)を備え、
前記地図上車両位置算出部(24)は、
前記車両横位置算出部(28)が算出した前記地図上車両位置に基づく走行車線信頼度を推定する走行車線信頼度推定部(25)と、
前記車両前進距離算出部(10)が算出した前記前進距離と、前記車両横位置算出(28)が算出した前記横位置とに基づいて映像由来車両位置を算出する映像由来車両位置算出部(26)と、
前記走行車線信頼度推定部(25)が推定した前記走行車線信頼度に応じて、前記地図上車両位置初期化部(9)が出力した前記初期化位置と、前記映像由来車両位置算出部(26)が算出した前記映像由来車両位置とのいずれを車両位置として採用するのかを判断する位置統合部(27)と、
を備える、請求項1に記載の車両位置推定装置。 - 前記走行車線信頼度推定部(25)は、
前記地図情報取得部(11)が取得する前記地図情報に含まれる前記左右の区画線と前記地図上車両位置との位置関係の時系列と、前記描画線認識部(22)によって前記描画線が正常に認識できない状態であると判断した状態の継続時間、または前記描画線連続化補正部(16)が前記描画線の補正が不可能であると判断した状態の継続時間と、前記車両変更状態判定部(17)が判定した車線変更によって前記地図上車両位置が道路外となるか否かとのうち少なくとも1つに基づいて現在の前記走行車線信頼度を算出することを特徴とする、請求項6に記載の車両位置推定装置。 - 前記描画線認識部(22)は、
前記映像情報取得部(4)が取得した前記映像情報に基づいて、認識した左右それぞれの前記描画線の線種を判定する線種認識部(23)を備え、
前記走行車線信頼度推定部(25)は、前記線種認識部(23)が認識した前記描画線の線種の時系列に基づいて現在の前記走行車線信頼度を算出することを特徴とする、請求項7に記載の車両位置推定装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018513402A JP6342104B1 (ja) | 2017-03-27 | 2017-12-18 | 車両位置推定装置 |
| US16/481,149 US11193782B2 (en) | 2017-03-27 | 2017-12-18 | Vehicle position estimation apparatus |
| CN201780088605.2A CN110431609B (zh) | 2017-03-27 | 2017-12-18 | 车辆位置推定装置 |
| DE112017007327.8T DE112017007327B4 (de) | 2017-03-27 | 2017-12-18 | Fahrzeugpositions-schätzvorrichtung |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017060384 | 2017-03-27 | ||
| JP2017-060384 | 2017-03-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018179616A1 true WO2018179616A1 (ja) | 2018-10-04 |
Family
ID=63674639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/045319 Ceased WO2018179616A1 (ja) | 2017-03-27 | 2017-12-18 | 車両位置推定装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11193782B2 (ja) |
| DE (1) | DE112017007327B4 (ja) |
| WO (1) | WO2018179616A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020163091A1 (en) * | 2019-02-06 | 2020-08-13 | Veoneer Us Inc. | Lane level position determination |
| CN113581177A (zh) * | 2020-04-15 | 2021-11-02 | 罗伯特·博世有限公司 | 求取车辆停留在行车道的车道上的停留概率的方法和设备 |
| JPWO2022030250A1 (ja) * | 2020-08-05 | 2022-02-10 | ||
| CN114694110A (zh) * | 2020-12-28 | 2022-07-01 | 本田技研工业株式会社 | 车辆控制系统和分界线估计方法 |
| JP2024054508A (ja) * | 2022-10-05 | 2024-04-17 | 三菱電機株式会社 | 車両位置推定装置 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112020004099A2 (pt) * | 2017-08-30 | 2020-09-24 | Nissan Motor Co., Ltd. | método de correção de posição e dispositivo de correção de erro de posição para veículos auxiliados por condução |
| JP6710190B2 (ja) * | 2017-09-29 | 2020-06-17 | クラリオン株式会社 | 区画線認識装置 |
| EP3640679B1 (en) * | 2018-10-15 | 2023-06-07 | Zenuity AB | A method for assigning ego vehicle to a lane |
| JP6966489B2 (ja) * | 2019-01-17 | 2021-11-17 | 本田技研工業株式会社 | 車両の制御システム、車両の制御方法、およびプログラム |
| US11117576B2 (en) * | 2019-02-04 | 2021-09-14 | Denso Corporation | Vehicle lane trace control system |
| JP6988872B2 (ja) * | 2019-11-08 | 2022-01-05 | トヨタ自動車株式会社 | 貢献度評価装置 |
| CN113538923A (zh) * | 2020-04-20 | 2021-10-22 | 深圳富泰宏精密工业有限公司 | 车辆变换车道的警示方法、车载装置 |
| CN111523471B (zh) * | 2020-04-23 | 2023-08-04 | 阿波罗智联(北京)科技有限公司 | 车辆所在车道的确定方法、装置、设备以及存储介质 |
| JP7216699B2 (ja) * | 2020-12-28 | 2023-02-01 | 本田技研工業株式会社 | 車両制御システム及び自車線特定方法 |
| JP7540375B2 (ja) * | 2021-03-22 | 2024-08-27 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
| JP7556315B2 (ja) | 2021-03-25 | 2024-09-26 | トヨタ自動車株式会社 | 車両位置推定装置、車両位置推定方法及び車両位置推定用コンピュータプログラム |
| KR20230022715A (ko) * | 2021-08-09 | 2023-02-16 | 현대모비스 주식회사 | 차량의 장애물 감지 시스템 및 방법 |
| JP7727465B2 (ja) * | 2021-09-22 | 2025-08-21 | Astemo株式会社 | 地図情報補正装置及び地図情報補正システム |
| US20250299499A1 (en) * | 2024-03-21 | 2025-09-25 | Atieva, Inc. | Method and apparatus for determining lane level localization of a vehicle with global coordinates |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007126086A (ja) * | 2005-11-07 | 2007-05-24 | Nissan Motor Co Ltd | 車両位置推定装置、車両用走行支援装置及び車両位置推定方法 |
| JP2007278813A (ja) * | 2006-04-06 | 2007-10-25 | Hitachi Ltd | 車両位置測位装置 |
| JP2011128049A (ja) * | 2009-12-18 | 2011-06-30 | Alpine Electronics Inc | 道路標示認識装置及び道路標示認識方法 |
| JP2015223933A (ja) * | 2014-05-28 | 2015-12-14 | トヨタ自動車株式会社 | 車線変更支援装置 |
| JP2016085567A (ja) * | 2014-10-24 | 2016-05-19 | 株式会社デンソー | 隣接車線監視装置 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004322787A (ja) * | 2003-04-23 | 2004-11-18 | Nissan Motor Co Ltd | 車線逸脱防止装置 |
| JP2005202678A (ja) | 2004-01-15 | 2005-07-28 | Nissan Motor Co Ltd | 走行支援装置 |
| JP4377284B2 (ja) | 2004-06-02 | 2009-12-02 | 株式会社ザナヴィ・インフォマティクス | 車載ナビゲーション装置 |
| JP4390631B2 (ja) * | 2004-06-02 | 2009-12-24 | トヨタ自動車株式会社 | 境界線検出装置 |
| JP3885818B2 (ja) * | 2005-05-27 | 2007-02-28 | トヨタ自動車株式会社 | 車両逸脱判定装置 |
| JP4501840B2 (ja) * | 2005-10-31 | 2010-07-14 | アイシン・エィ・ダブリュ株式会社 | 経路案内システム及び経路案内方法 |
| JP5162103B2 (ja) * | 2006-05-15 | 2013-03-13 | トヨタ自動車株式会社 | 支援制御装置 |
| JP4207060B2 (ja) * | 2006-05-31 | 2009-01-14 | アイシン・エィ・ダブリュ株式会社 | 描画システム |
| DE102006038018A1 (de) * | 2006-08-14 | 2008-02-21 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung |
| JP4878256B2 (ja) | 2006-10-18 | 2012-02-15 | 株式会社日立製作所 | 分岐線認識装置およびカーナビゲーションシステム |
| JP2009190650A (ja) * | 2008-02-18 | 2009-08-27 | Panasonic Corp | 旋回方向指示装置 |
| JP5124875B2 (ja) * | 2008-03-12 | 2013-01-23 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
| US8306269B2 (en) * | 2009-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Lane recognition device |
| US8831876B2 (en) * | 2009-12-28 | 2014-09-09 | Clarion Co., Ltd. | Navigation device, route guidance method, and program |
| JP5281664B2 (ja) * | 2011-02-23 | 2013-09-04 | クラリオン株式会社 | 車線逸脱警報装置および車線逸脱警報システム |
| JP5967224B2 (ja) * | 2013-01-10 | 2016-08-10 | 日産自動車株式会社 | 車線内走行支援装置 |
| JP5994755B2 (ja) * | 2013-09-06 | 2016-09-21 | トヨタ自動車株式会社 | 車両走行制御装置 |
| JP6257989B2 (ja) | 2013-10-08 | 2018-01-10 | 日産自動車株式会社 | 運転支援装置 |
| JP6524417B2 (ja) * | 2014-02-05 | 2019-06-05 | パナソニックIpマネジメント株式会社 | 車両用表示装置および車両用表示装置の表示方法 |
| JP5936281B2 (ja) | 2014-03-31 | 2016-06-22 | 富士重工業株式会社 | 車両の車線逸脱防止制御装置 |
| DE102015001386A1 (de) | 2015-02-04 | 2016-08-04 | Audi Ag | Verfahren zur Ermittlung einer Querpositionsinformantion eines Kraftfahrzeugs auf einer Fahrbahn und Kraftfahrzeug |
| WO2016183074A1 (en) * | 2015-05-10 | 2016-11-17 | Mobileye Vision Technologies Ltd. | Road profile along a predicted path |
| MX364583B (es) * | 2015-07-27 | 2019-05-02 | Nissan Motor | Dispositivo de guiado de ruta y metodo de guiado de ruta. |
| JP6265179B2 (ja) * | 2015-08-03 | 2018-01-24 | トヨタ自動車株式会社 | 表示装置 |
| JP6174105B2 (ja) * | 2015-12-07 | 2017-08-02 | ヤフー株式会社 | 判定装置、判定方法及び判定プログラム |
| JP6209232B2 (ja) * | 2016-02-19 | 2017-10-04 | 本田技研工業株式会社 | 車線変更支援装置 |
| US9672734B1 (en) * | 2016-04-08 | 2017-06-06 | Sivalogeswaran Ratnasingam | Traffic aware lane determination for human driver and autonomous vehicle driving system |
| US9836977B1 (en) * | 2016-06-07 | 2017-12-05 | Delphi Technologies, Inc. | Automated vehicle steering control system with lane position bias |
| RU2722777C1 (ru) * | 2017-03-02 | 2020-06-03 | Ниссан Мотор Ко., Лтд. | Способ помощи при вождении и устройство помощи при вождении |
| US20180259961A1 (en) * | 2017-03-07 | 2018-09-13 | Delphi Technologies, Inc. | Lane-changing system for automated vehicles |
-
2017
- 2017-12-18 WO PCT/JP2017/045319 patent/WO2018179616A1/ja not_active Ceased
- 2017-12-18 DE DE112017007327.8T patent/DE112017007327B4/de active Active
- 2017-12-18 US US16/481,149 patent/US11193782B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007126086A (ja) * | 2005-11-07 | 2007-05-24 | Nissan Motor Co Ltd | 車両位置推定装置、車両用走行支援装置及び車両位置推定方法 |
| JP2007278813A (ja) * | 2006-04-06 | 2007-10-25 | Hitachi Ltd | 車両位置測位装置 |
| JP2011128049A (ja) * | 2009-12-18 | 2011-06-30 | Alpine Electronics Inc | 道路標示認識装置及び道路標示認識方法 |
| JP2015223933A (ja) * | 2014-05-28 | 2015-12-14 | トヨタ自動車株式会社 | 車線変更支援装置 |
| JP2016085567A (ja) * | 2014-10-24 | 2016-05-19 | 株式会社デンソー | 隣接車線監視装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020163091A1 (en) * | 2019-02-06 | 2020-08-13 | Veoneer Us Inc. | Lane level position determination |
| CN113396313A (zh) * | 2019-02-06 | 2021-09-14 | 维宁尔美国公司 | 车道级位置确定 |
| CN113396313B (zh) * | 2019-02-06 | 2024-04-30 | 安致尔软件有限责任公司 | 车道级位置确定 |
| CN113581177A (zh) * | 2020-04-15 | 2021-11-02 | 罗伯特·博世有限公司 | 求取车辆停留在行车道的车道上的停留概率的方法和设备 |
| JPWO2022030250A1 (ja) * | 2020-08-05 | 2022-02-10 | ||
| WO2022030250A1 (ja) * | 2020-08-05 | 2022-02-10 | 日立Astemo株式会社 | 車両制御装置、車両制御方法、及び車両制御システム |
| JP7377367B2 (ja) | 2020-08-05 | 2023-11-09 | 日立Astemo株式会社 | 車両制御装置、車両制御方法、及び車両制御システム |
| CN114694110A (zh) * | 2020-12-28 | 2022-07-01 | 本田技研工业株式会社 | 车辆控制系统和分界线估计方法 |
| JP2024054508A (ja) * | 2022-10-05 | 2024-04-17 | 三菱電機株式会社 | 車両位置推定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112017007327B4 (de) | 2025-01-30 |
| US20200240806A1 (en) | 2020-07-30 |
| DE112017007327T5 (de) | 2019-12-05 |
| US11193782B2 (en) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018179616A1 (ja) | 車両位置推定装置 | |
| JP6342104B1 (ja) | 車両位置推定装置 | |
| KR102558055B1 (ko) | 차선의 추정 방법 | |
| KR102696094B1 (ko) | 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법 | |
| CN110709890B (zh) | 地图数据修正方法及装置 | |
| US9448074B2 (en) | Curve modeling device, curve modeling method, and vehicular navigation device | |
| KR101241171B1 (ko) | 영상센서를 이용한 gps 위치정보 보정방법 | |
| CN101310163B (zh) | 移动对象位置评估设备和方法 | |
| KR102086270B1 (ko) | 주행 제어 장치의 제어 방법 및 주행 제어 장치 | |
| US20100268452A1 (en) | Navigation device, navigation method, and navigation program | |
| JP5261842B2 (ja) | 移動体位置検出方法および移動体位置検出装置 | |
| JP2010078387A (ja) | 車線判定装置 | |
| US11796325B2 (en) | Vehicle localization using map and vision data | |
| US11908206B2 (en) | Compensation for vertical road curvature in road geometry estimation | |
| JP2009140192A (ja) | 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置 | |
| TW202229818A (zh) | 使用週期性地更新的錨座標系進行車道映射和定位 | |
| KR102037129B1 (ko) | 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량 | |
| JP6549932B2 (ja) | ステレオ画像処理装置 | |
| KR101588787B1 (ko) | 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치 | |
| KR101980509B1 (ko) | 차간 거리 추정 방법 및 차간 거리 추정 장치 | |
| JP6503477B2 (ja) | 距離推定装置、距離推定方法及びプログラム | |
| JP4702149B2 (ja) | 車両位置測位装置 | |
| CN113795726B (zh) | 自身位置修正方法及自身位置修正装置 | |
| JP7414683B2 (ja) | 自車位置推定装置及び自車位置推定方法 | |
| KR101485043B1 (ko) | Gps 좌표 보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2018513402 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17904108 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17904108 Country of ref document: EP Kind code of ref document: A1 |