WO2023139935A1 - 演算装置、自己位置推定装置、地図情報生成方法 - Google Patents
演算装置、自己位置推定装置、地図情報生成方法 Download PDFInfo
- Publication number
- WO2023139935A1 WO2023139935A1 PCT/JP2022/044066 JP2022044066W WO2023139935A1 WO 2023139935 A1 WO2023139935 A1 WO 2023139935A1 JP 2022044066 W JP2022044066 W JP 2022044066W WO 2023139935 A1 WO2023139935 A1 WO 2023139935A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- map
- partial
- vehicle
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/40—Transportation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/20—Information sensed or collected by the things relating to the thing itself
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/60—Positioning; Navigation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
- G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
Definitions
- the present invention relates to an arithmetic device, a self-position estimation device, and a map information generation method.
- maps for driving support systems have been prepared for highways, but there is no prospect of preparing maps for general roads and residential areas such as around homes. Therefore, there is a need for a technology that can self-generate a map and estimate its own position.
- Patent document 1 discloses a first acquisition unit that acquires position information of a target outside the vehicle from an external sensor mounted on the vehicle and acquires a first movement amount of the vehicle based on the position information of the target, a second acquisition unit that acquires a second movement amount of the vehicle based on odometry information of the vehicle, and a creation unit that creates map information of a location where the vehicle has traveled based on the position information of the target, the first movement amount, and the second movement amount. is disclosed.
- the operational device based on the first embodiment of the present invention is based on the sensor information acquisition department that is mounted on the vehicle and measures the sensor that measures the surrounding environment, and the memory part that stores the reference map of the reference coordinate system, which is a predetermined world coordinate system, and the output of the sensor mounted on the vehicle.
- the peripheral map generation department Based on the Odometry Information Acquisition Department, which is the information about the movement of the vehicle exercise, the peripheral map generation department that generates a map of the vehicle coordinate system, which is a coordinate system that is different from the reference coordinate system, and the part that does not overlap the surrounding maps based on the sensor information and the exercise information.
- the coordinate conversion parameters that convert each of the map map extractions and the conversion part map, which are the maps of the reference coordinate system, are equipped with a gap parameter calculation unit that calculates the gap parameter, which is the information related to the correlation of the coordinated parameters at least the adjacent part of the coordinates of the coordinates.
- a new part of the map extraction unit generates a new part map when the amount of discount from the reference map is more than the predetermined threshold value.
- the own position estimation device based on the second embodiment of the present invention is equipped with a gap parameter that contains information about the correlation of the coordinator conversion parameters between the coordinates of the conversion part map with different coordinate conversion parameters, and at least a gap parameter that contains information about the coordinator conversion parameter correlation between the adjacent conversion part.
- the marker conversion parameter is a parameter for conversion from the second coordinate system that is different from the first coordinate system in the first coordinate system adopted by the conversion part map, and the conversion part map of the conversion part is also a predetermined threshold that is less than the predetermined threshold value, which is a predetermined threshold of the above -described map of the first coordinate system.
- a map information generation method is a map information generation method executed by an arithmetic device comprising: a sensor information acquisition unit that acquires sensor information output by a sensor mounted on a vehicle that measures the surrounding environment; a storage unit that stores a reference map that is a map of a reference coordinate system that is a predetermined world coordinate system that has been created in advance; a generating step of generating a surrounding map that is a map in a vehicle coordinate system that is a coordinate system different from the reference coordinate system; an extracting step of extracting partial maps that are respective areas that do not overlap from the surrounding map; and a calculating step of calculating a gap parameter that is information relating to correlation of the coordinate transformation parameters of at least adjacent partial maps with respect to coordinate transformation parameters for transforming each of the partial maps into a transformation partial map that is a map in the
- Block diagram showing the configuration of a vehicle equipped with an in-vehicle device Functional configuration diagram of in-vehicle equipment
- a diagram showing an overview of the processing of the in-vehicle device in the creation phase A diagram showing an overview of the processing of the in-vehicle device in the usage phase
- a diagram showing the explanation of the undetermined area and the undetermined transformation partial map Flowchart showing processing by the map generator
- a diagram showing an example of a neighborhood map A diagram showing an example of the error between the reference map and the surrounding map
- a diagram showing an example of collation between a reference map and a partial map Diagram showing an example of partial maps
- Diagram showing another example of partial map group Diagram showing the operation of the continuous map generator
- a diagram showing an example of a result generated by the continuous map generator Schematic configuration diagram of a position estimation system in the second embodiment
- FIG. 1 is a block diagram showing the configuration of a vehicle 100 on which an in-vehicle device 101 is mounted.
- Vehicle 100 includes self-position estimation system 10 , vehicle control device 190 , steering device 191 , driving device 192 and braking device 193 .
- the self-position estimation system 10 includes a camera 121, a LiDAR 125, a GNSS 126, a vehicle speed sensor 161, a steering angle sensor 162, an interface 171, a reference map storage unit 181K that stores a reference map 181, an in-vehicle device 101, a communication device 182, and a display device 183.
- the in-vehicle device 101 acquires various data from the camera 121, the LiDAR 125, the GNSS 126, the vehicle speed sensor 161, the steering angle sensor 162, the interface 171, and the reference map 181, which are connected by signal lines.
- the in-vehicle device 101 is, for example, an ECU (Electronic Control Unit).
- the in-vehicle device 101 includes a CPU 110 , a ROM 111 , a RAM 112 , a storage section 113 and a communication module 114 .
- the CPU 110 develops various programs from the ROM 111 to the RAM 112 and executes them, thereby realizing functions to be described later.
- the in-vehicle device 101 may realize the functions described later by using FPGA (Field Programmable Gate Array), which is a rewritable logic circuit, or ASIC (Application Specific Integrated Circuit), which is an application specific integrated circuit, instead of the combination of CPU 110, ROM 111, and RAM 112.
- FPGA Field Programmable Gate Array
- ASIC Application Specific Integrated Circuit
- the RAM 112 is a readable/writable storage area and operates as a main storage device of the in-vehicle device 101 .
- the RAM 112 stores a peripheral map 141, a gap parameter 142, and a partial map 143, which are used for developing the above-described programs and which will be described later.
- the ROM 111 is a read-only storage area, and stores programs described later. This program is developed in RAM 112 and executed by CPU 110 .
- CPU 110 is the central processing unit.
- the storage unit 113 is a non-volatile storage device and operates as an auxiliary storage device for the in-vehicle device 101 .
- Communication module 114 is a communication module compatible with the communication standards adopted by self-localization system 10, such as IEEE802.3 and CAN (registered trademark).
- the in-vehicle device 101 exchanges information with other devices via the communication module 114 .
- the camera 121 is mounted, for example, in front of the vehicle interior windshield of the vehicle 100 and captures an image of the front of the vehicle 100 .
- the positional relationship and attitude relationship between camera 121 and vehicle 100 are stored in ROM 111 as sensor parameters 140, as will be described later.
- the method of attaching the camera 121 is not limited to the method described above, and other methods of attachment may be used.
- the vehicle 100 may be provided with a plurality of cameras 121 .
- the LiDAR 125 is mounted on the vehicle 100 and observes the surroundings of the vehicle 100 .
- the position and orientation relationship between the LiDAR 125 and the vehicle 100 is stored in the ROM 111 as the sensor parameters 140 .
- the camera 121 has a lens and an imaging device.
- Camera characteristics for example, internal parameters such as a lens distortion coefficient, which is a parameter indicating lens distortion, the optical axis center, focal length, the number of pixels and dimensions of an imaging device, and external parameters such as the relationship between the positions and attitudes of the vehicle 100 and the camera 121 are stored in the ROM 111 as sensor parameters 140.
- the position and orientation relationship between each sensor of the camera 121 and the LiDAR 125 and the vehicle 100 may be estimated by the CPU 110 in the in-vehicle device 101 using the captured image, the vehicle speed sensor 161 and the steering angle sensor 162 .
- the LiDAR125 is a LiDAR device (light detection and ranging; LiDAR) that uses light to detect objects and measure distances. Information unique to each sensor constituting the LiDAR 125 is stored in the ROM 111 as the sensor parameters 140 described above.
- GNSS126 is a receiver which comprises GNSS (Global Navigation Satellite System). The GNSS 126 receives radio waves from a plurality of satellites that constitute the GNSS, and analyzes the signals included in the radio waves to calculate the position of the vehicle 100, that is, a combination of latitude and longitude (hereinafter referred to as “latitude and longitude”), and outputs it to the in-vehicle device 101.
- latitude and longitude latitude and longitude
- a vehicle speed sensor 161 and a steering angle sensor 162 respectively measure the vehicle speed and steering angle of the vehicle 100 on which the in-vehicle device 101 is mounted and output them to the in-vehicle device 101 .
- the in-vehicle device 101 uses the outputs of the vehicle speed sensor 161 and the steering angle sensor 163 to calculate the amount and direction of movement of the vehicle on which the in-vehicle device 101 is mounted by a known dead reckoning technique.
- the interface 171 is, for example, a GUI that receives instruction input from the user. Other information may also be exchanged in other forms.
- the reference map 181 is a map created in advance, such as a map for a car navigation system.
- the reference map 181 stores road network information using nodes and links associated with latitude and longitude.
- a node is a point set corresponding to an intersection or branch on a road, and a link is a line connecting two nodes along the road.
- the reference map 181 includes, for example, information such as lane centerline positions, lane widths, lane numbers, road boundary positions, stop line positions, and signal positions.
- these accuracies are based on general car navigation maps, and have an error of about 1 ⁇ 2m for each feature, for example. Therefore, this map alone lacks accuracy for realizing automatic driving and advanced driving assistance systems (hereinafter referred to as "AD/ADAS").
- AD/ADAS automatic driving and advanced driving assistance systems
- the reference map 181 does not necessarily have high local accuracy, but has stable accuracy in a wide area as well as local accuracy.
- the reference map 181 adopts a planar orthogonal coordinate system for the sake of simplicity of explanation.
- the reference map 181 may employ a latitude/longitude coordinate system if the complexity of calculation is allowed.
- a coordinate system adopted by the reference map 181 is called a “reference coordinate system” or a “first coordinate system”.
- the reference coordinate system defines a predetermined latitude and longitude point as the origin, the north direction as the X axis, the east direction as the Y axis, and the gravity direction as the Z axis.
- the communication device 182 is used to wirelessly transmit and receive information between devices external to the vehicle 100 and the in-vehicle device 101 .
- information is exchanged by communicating with a portable terminal worn by the user.
- the object with which the communication device 182 communicates is not limited to the user's mobile terminal.
- Display device 183 is, for example, a liquid crystal display, and displays information output from in-vehicle device 101 .
- the vehicle control device 190 controls the steering device 191 , the driving device 192 and the braking device 193 based on the self-position of the vehicle 100 output from the on-vehicle device 101 .
- the steering device 191 operates steering of the vehicle 100 .
- Driving device 192 provides driving force to vehicle 100 .
- Drive device 192 increases the driving force of vehicle 100 by increasing the target rotation speed of the engine provided in vehicle 100, for example.
- Braking device 193 applies a braking force to vehicle 100 .
- FIG. 2 is a functional configuration diagram of the in-vehicle device 101.
- the CPU 110 operates as an odometry estimation unit 131, a vehicle general position estimation unit 132, a landmark detection unit 133, a surrounding map generation unit 134, a partial map extraction unit 135, a partial map matching unit 136, a gap parameter calculation unit 137, a self-position estimation unit 138, and a continuous map generation unit 139.
- a peripheral map 141, a gap parameter 142, a partial map 143, and a converted partial map 144 are stored in the RAM 112.
- a partial map group 151 and a gap parameter 142 are stored in the storage unit 113 .
- the peripheral map 141, the gap parameter 142, the partial map 143, the converted partial map 144, and the partial map group 151 are created in the procedure described later.
- the operation of the in-vehicle device 101 will be described by dividing it into a “creation phase” and a “use phase” for convenience.
- the partial map group 151 and the gap parameter 142 are created in the creation phase and stored in the storage unit 113, and are read from the storage unit 113 and used in the usage phase. The details of the creation phase and usage phase will be described later.
- the ROM 111 further stores sensor parameters 140 .
- the sensor parameters 140 store position and orientation relationships between the camera 121, the LiDAR 125, the GNSS 126, and the vehicle 100, and information specific to each sensor.
- the camera 121 it stores the lens distortion coefficient, the center of the optical axis, the focal length, the number and size of pixels of the imaging device, and the unique information corresponding to each sensor even in the case of the other external sensor.
- FIG. 3 is a diagram showing an overview of the processing of the in-vehicle device 101 in the creation phase.
- the processing shown in FIG. 3 is repeatedly executed while the vehicle 100 is running.
- one period of the process shown in FIG. 3 that is repeatedly executed is referred to as a "processing cycle".
- the map generation unit 250 generates a map that can also be used for AD/ADAS, using sensing information from the camera 121 and the LiDAR 125, which are sensors mounted on the vehicle, and information from the reference map 181.
- the map generation unit 250 generates a map by synthesizing the sensor information observed at each time in a time-series manner while considering the vehicle motion.
- the map generating unit 250 further superimposes the generated map on the information of the reference map 181 using the partial map matching unit 136 and the gap parameter calculating unit 137 so that both information can be referred to, thereby generating a map for AD/ADAS. That is, the map generation unit 250 generates a map for AD/ADAS that can be referred to by both the sensing information and the information of the reference map 181, using the information obtained by the vehicle 100 traveling once. Processing of each configuration shown in FIG. 3 is as follows.
- the sensor information acquisition unit 201 acquires signals output from each external sensor. Specifically, the sensor information acquisition unit 201 acquires image information from the camera 121 and acquires point cloud coordinates and reflection intensity from the LiDAR 125 .
- the camera 121 continuously takes pictures at a high frequency, for example, 30 times per second.
- the LiDAR 125 receives signals at a constant frequency for each sensor.
- the sensor information acquisition unit 201 receives these images and signals at high frequency, for example, every 33 milliseconds, and outputs them to the landmark detection unit 133 .
- the odometry information acquisition unit 202 acquires signals related to odometry estimation, such as speed and steering angle, output from the vehicle speed sensor 161 and the steering angle sensor 162 . Odometry information acquisition section 202 receives these continuously and frequently, and outputs them to odometry estimation section 131 .
- the position information acquisition unit 203 acquires latitude and longitude information representing the current position of the vehicle 100 output from the GNSS 126 .
- the position information acquisition unit 203 outputs the information to the approximate vehicle position estimation unit 132 every time it acquires information.
- the landmark detection unit 133 detects landmarks using the output of the sensor information acquisition unit 201 and the sensor parameters 140 stored in the ROM 111 .
- Landmarks are features that can be identified by sensors, such as lane marks, which are a type of road surface paint, stop lines, pedestrian crossings, regulatory signs, road boundaries not indicated by lane marks, curbs, guardrails, building walls, traffic signals, and the like. In the present embodiment, vehicles and people, which are moving bodies, are not included in landmarks.
- the landmark detection unit 133 first recognizes landmarks on the road surface that exist around the vehicle 100, that is, features on the road surface that have features that can be identified by sensors, based on information input from the camera 121 and the LiDAR 125.
- Various known methods can be used as recognition means.
- landmarks can be detected using pre-trained parameters and neural networks implementing known classifiers.
- Landmark information may be obtained in units of pixels, or may be obtained by grouping objects. Landmarks must be identified by recognition to any of the identified specific targets, such as lane marks, pedestrian crossings, and stop lines.
- the landmark detection unit 133 generates point groups representing landmarks based on the landmark information obtained here.
- This point cloud may be two-dimensional or three-dimensional.
- the landmark detection unit 133 uses an image captured by the camera 121, the distance on the road surface can be obtained using the information about the camera 121 included in the sensor parameter 140, and the coordinate value on the road surface can be calculated from the distance information on the road surface. Calculation of coordinate values outside the road surface can be realized by a known VSLAM (Visual Simultaneous Localization and Mapping) technique.
- VSLAM Visual Simultaneous Localization and Mapping
- the output of the LiDAR 125 When the output of the LiDAR 125 is used by the landmark detection unit 133, the output includes a point group due to the characteristics of the sensor provided by the LiDAR 125, and recognition processing is performed using the point group. Therefore, point group information linked to landmarks can be obtained without special processing.
- the coordinates of each landmark calculated by the landmark detection unit 133 are observation values in each sensor coordinate system and are relative coordinate values from the sensor. Information that could not be labeled as a landmark but could be acquired as a point group is also output to the peripheral map generation unit 134 as a landmark. This point group is not directly used for AD/ADAS, but is used as a feature for self-position estimation in the self-position estimation unit 138, which will be described later.
- the odometry estimation unit 131 estimates vehicle motion using the vehicle speed and steering angle that are input from the vehicle speed sensor 161 and the steering angle sensor 162 and transmitted from the odometry information acquisition unit 202 .
- the odometry estimation unit 131 may use known dead reckoning, or may use a known Kalman filter or the like.
- the odometry estimation unit 131 may also acquire camera information from the sensor information acquisition unit 201 and estimate the vehicle motion using a known visual odometry technique using images.
- the vehicle speed, steering angle, vehicle motion information, and vehicle motion trajectory obtained by integrating the vehicle motion are output to the peripheral map generator 134 and the approximate vehicle position estimator 132 .
- the odometry estimating unit 131 may also receive the GNSS information acquired by the position information acquiring unit 203 and output information estimated from the vehicle speed, steering angle, and GNSS as odometry. Also, the output of the odometry estimator 131 is not necessarily accurate, and errors tend to accumulate over time, for example.
- the vehicle approximate position estimation unit 132 estimates the approximate position of the vehicle 100 on the reference map 181 using the vehicle position information input from the GNSS 126 and transmitted from the position information acquisition unit 203, node and link information included in the reference map 181, and odometry information obtained from the odometry estimation unit 131.
- the approximate position is estimated by, for example, a map matching technique known in car navigation systems and the like.
- the map matching technology uses the trajectory information obtained from the GNSS 126 and the odometry estimating unit 131 and the road shape information represented by the nodes and links to estimate the position at the road level, such as identifying the road on which the vehicle is traveling, and estimating the approximate distance from the intersection. Due to the position on the road level, an error of about several meters is included in the longitudinal direction and lateral direction of the vehicle.
- the peripheral map generation unit 134 converts the point cloud or vector information obtained from the landmark detection unit 133, which is the relative coordinate value from the sensor, into the world coordinates of the planar orthogonal coordinate system using the vehicle motion information obtained from the odometry estimation unit 131 and the sensor parameter 140 indicating the mounting position of the sensor stored in the ROM 111, and synthesizes them in time series to generate the peripheral map 141.
- This world coordinate value is a coordinate value based on a certain coordinate and a certain axis.
- the position at which the in-vehicle device 101 is activated is defined as the origin, the direction in which it advances immediately after is defined as the X-axis, and the axes perpendicular thereto are defined as the Y-axis and the Z-axis.
- the coordinate system adopted by the peripheral map generation unit 134 is referred to as a "vehicle measurement coordinate system” or a "second coordinate system”.
- the map obtained here is stored in RAM 112 as peripheral map 141 .
- the peripheral map 141 is read from the RAM 112, the point group newly obtained from the landmark detection unit 133 or the vector information is subjected to coordinate conversion, and synthesized in time series using the motion information of the own vehicle.
- the partial map extraction unit 135 extracts a part of the peripheral map 141 as a partial map 143. Specifically, the partial map extraction unit 135 uses the surrounding map 141 generated by the surrounding map generating unit 134, the approximate position on the reference map 181 calculated by the vehicle approximate position estimating unit 132, and the reference map 181 to extract a part of the surrounding map 141 including the map information around the current position of the vehicle 100 as the partial map 143. Details will be described later. Since the peripheral map 141 is generated using the output of the odometry estimation unit 131, errors are likely to accumulate, and although the accuracy is high locally, the accuracy is not necessarily high over a wide area. For example, the accuracy of the surrounding map 141 is locally higher than that of the reference map 181, but the accuracy of the reference map 181 is higher than that of the surrounding map 141 over a wide area.
- the partial map extraction unit 135 first determines whether or not it is necessary to extract the partial map 143, and then extracts it as the partial map 143 if it is necessary to extract it as the partial map 143. As a result, the partial map matching unit 136 and the gap parameter calculation unit 137 in the latter stage operate. If there is no need to extract the partial map 143, the subsequent processing is omitted.
- Whether or not it is necessary to extract the partial map 143 is determined by whether or not the error in superimposing the roads between the reference map 181 and the partial map 143 exceeds a predetermined value (hereinafter referred to as "allowable error").
- the road registration error is evaluated, for example, by the difference between the two lane center lines.
- the partial map extracting unit 135 determines that the partial map 143 needs to be cut out and extracts the partial map 143 when the superposition error of the roads exceeds the allowable error.
- the extraction range of the partial map 143 is a range in the peripheral map 141 that is the difference between the range extracted as the partial map 143 last time and the current peripheral map 141 .
- the extracted partial map 143 is recorded in the RAM 112 .
- the partial map matching unit 136 converts the partial map 143 in the vehicle measurement coordinate system into the converted partial map 144 in the reference coordinate system. Comparing the vehicle measurement coordinate system adopted by the peripheral map 141 and the reference coordinate system adopted by the reference map 181, the directions of the origin and each axis are not the same. However, since both employ a planar orthogonal coordinate system, the position and orientation of a target in the vehicle coordinate system can be transformed into the reference coordinate system by translation and rotation. That is, the coordinate transformation can be represented by three parameters, x and y indicating the amount of translational movement and ⁇ indicating the amount of rotation. It is not essential that both the vehicle measurement coordinate system and the reference coordinate system adopt a planar orthogonal coordinate system.
- the calculation formula becomes more complicated than when both are in a plane orthogonal coordinate system, and the number of parameters may be four or more, but in any case, conversion is possible using a known calculation formula and parameters for coordinate conversion (hereinafter referred to as "coordinate conversion parameters” or “conversion parameters”), so no particular problem arises.
- the partial map matching unit 136 matches the partial map 143 extracted by the partial map extracting unit 135 and recorded in the RAM 112 with the position information of features shared by the reference map 181, that is, position information such as lane marks, stop lines, pedestrian crossings, road boundaries not represented by lane marks, and traffic signals.
- position information such as lane marks, stop lines, pedestrian crossings, road boundaries not represented by lane marks, and traffic signals.
- vector information is also converted into point groups, and a matching position that minimizes the error between corresponding points can be obtained by utilizing ICP, which is a known matching technique between point groups.
- the partial map matching unit 136 may utilize other matching methods. Here, it is desirable to be able to collate as accurately as possible.
- the feature information of the reference map 181 is originally less accurate than the actual observed values, the feature information of the partial map 143 generated from the actual observed values cannot be completely compared with the feature information of the reference map 181, so some errors are unavoidable. This error appears as it is when the self-position is estimated by the position estimator 350 described later and the road network information or the like of the reference map 181 is referred to.
- the range that can be handled by AD/ADAS changes according to this substantial error amount.
- the transformation parameters for transforming the partial map 143 to the coordinates on the reference map 181, that is, the aforementioned x, y, and ⁇ can be obtained.
- the partial map matching unit 136 converts the coordinates of the partial map 143 using the conversion parameters obtained here, and records the converted partial map 144 in the RAM 112 .
- the partial map 143 is generated each time this process is performed, and a plurality of partial maps 143 are held together with the generated map up to the previous process.
- the partial map collation unit 136 outputs the obtained conversion parameters, such as x, y, and ⁇ , to the gap parameter calculation unit 137 .
- the conversion parameters change over time.
- the gap parameter calculation unit 137 uses the conversion parameters obtained by the partial map matching unit 136 to calculate gap parameters 142 for correcting the amount of deviation between the converted partial maps 144 .
- the transformation parameters obtained by the partial map matching unit 136 in the preceding stage are parameters for transforming the vehicle coordinate system used by the peripheral map generation unit 134 into the reference coordinate system used by the reference map 181 .
- the gap parameter calculation unit 137 can express the gap parameter 142 for correcting the amount of deviation between the new transformed partial map 144 and the previously created transformed partial map 144 by the product of the inverse matrix of the transformation matrix based on the latest transformation parameter and the transformation matrix based on the previously calculated transformation parameter. However, this may not be the case depending on how the conversion parameters are expressed.
- the obtained gap parameter 142 is stored in the storage unit 113 together with the partial map group 152 which is a set of converted partial maps 144 stored in the RAM 112 .
- FIG. 4 is a diagram showing an overview of the processing of the in-vehicle device 101 in the usage phase.
- the position estimation unit 350 reads the partial map group 151 and the gap parameter 142 stored in the storage unit 113, and estimates the self position on the partial map group 151 superimposed on the reference map 181 and in the same coordinate system.
- the position estimating unit 350 it is the same as the map generating unit 250 in that it self-generates the surrounding map 141 by synthesizing the sensor information observed at each time in a time-series manner while considering the vehicle motion.
- the difference from the map generation unit 250 is that the peripheral map 141, the partial map group 151, and the gap parameter 142 are used to estimate the position in the reference coordinate system.
- the position estimating section 350 seamlessly connects shifted portions between the converted partial maps 144 included in the partial map group 151 using the information of the gap parameter 142 as necessary when estimating the position. Then, the position estimation unit 350 performs position estimation on the reference coordinate system by matching the feature information of the map.
- the position estimation unit 350 seamlessly connects the shifted parts of the partial map group 151, enabling highly accurate feature reference, and also referring to the information of the reference map 181. Since the sensor information acquisition unit 201, the odometry information acquisition unit 202, the position information acquisition unit 203, the landmark detection unit 133, the odometry estimation unit 131, the approximate vehicle position estimation unit 132, and the peripheral map generation unit 134 operate in common with the map generation unit 250, the continuous map generation unit 139 and the self-position estimation unit 138, which are not included in the map generation unit 250, will be described.
- the continuous map generation unit 139 generates a continuous map 145.
- Generation of the continuous map 145 by the continuous map generator 139 is classified into two cases.
- the first case is a case in which a continuous map 145 is generated by connecting a plurality of converted partial maps 144 included in the partial map group 151 .
- the partial map group 151 is seamlessly connected using the partial map group 151 and the gap parameter 142 stored in the storage unit 113 and the self-position information on the reference coordinate system calculated by the self-position estimation unit 138 described later and stored in the RAM 112.
- one of the converted partial maps 144 included in the partial map group 151 is used as the continuous map 145 as it is.
- no special processing is performed, and although there is a discrepancy between the name and the actual situation, it is called the continuous map 145 with the same name for the sake of convenience. Details are as follows.
- the continuous map generation unit 139 first reads the self-position information expressed in the reference coordinate system from the RAM 112 and extracts the transformed partial map 144 including the position from the partial map group 151 . Next, the continuous map generator 139 determines whether or not the converted partial map 144 needs to be connected to another converted partial map 144 . This determination is made based on the relationship between the range required by the AD/ADAS used, the range required by the self-position estimation unit 138, and the range included in the converted partial map 144. FIG. However, if it is difficult to make an accurate judgment, the conversion partial maps 144 may not be connected or only a small number of connections may be made first, and the number of connections of the conversion partial maps 144 may be increased when the shortage of the range becomes apparent in the subsequent processing.
- the self-position estimation unit 138 which will be described later, performs calculations for self-position estimation, position estimation is performed by matching features with each other. However, if the range of the map is narrow, it may be difficult to perform position estimation by matching features with each other, and the minimum required distance on the map for matching may be specified. If the distance is less than the distance defined by the self-position estimator 138, another converted partial map 144 is connected to form a continuous map 145 so that the necessary lengths are secured in front and rear including the vehicle position. The connection between the converted partial maps 144 is realized by parameter conversion using the gap parameter 142 . The map generated here to which the necessary range is connected is passed to the self-position estimation unit 138 .
- the self-position estimation unit 138 estimates the self-position on the continuous map 145 generated by the continuous map generation unit 139 .
- the self-position estimation by the self-position estimation unit 138 is performed by matching features between the continuous map 145 and the surrounding map 141 generated by the surrounding map generation unit 134 during the current running.
- the feature here includes the feature such as the point group information of the building that the reference map 181 does not have.
- the ICP Intelligent Closest Point
- the amount of coordinate transformation from the currently running peripheral map 141 to the previously generated partial map group 151 can be obtained, and the vehicle's own position on the partial map group 151 can be estimated from the current position of the vehicle on the peripheral map 141 subjected to coordinate transformation. Since the partial map group 151 is linked to the reference map 181, the position on the reference map 181 can also be specified.
- the reference map 181 includes information that is difficult to sense, such as road networks and traffic rules, but the accuracy of features such as lane mark positions is low.
- partial maps generated based on sensing information can have accurate information such as lane positions through sensing, but it is difficult to provide road networks and traffic rules that are difficult to sense. Therefore, for example, the information of the partial map group is referred to for features included in the partial map group that can be sensed, such as lane mark positions, and the information of the reference map 181 is referred to for road network information and the like.
- FIG. 5 is a diagram showing the relationship between the reference map 181, the surrounding map 141, the partial map 143, the converted partial map 144, and the partial map group 151.
- FIG. 5 also shows an undetermined area UP and an undetermined converted partial map UQ, which will be described in FIG. 6 below.
- a plurality of partial maps 143 are included in the peripheral map 141 created using sensor information obtained by the vehicle 100 traveling.
- the peripheral map 141 and the partial map 143 use the vehicle coordinate system.
- three partial maps P1, P2 and P3 are shown.
- the converted partial maps 144 corresponding to the respective partial maps 143 are indicated by Q1, Q2 and Q3.
- the partial map collation unit 136 calculates the coordinate transformation parameter ⁇ , which is a parameter for coordinate transformation, by matching each partial map 143 with the feature in the reference map 181, and transforms the partial map 143 into the transformed partial map 144.
- this coordinate transformation is expressed as "f( ⁇ )" using a function f and a coordinate transformation parameter ⁇ .
- the output of the odometry estimating unit 131 is not necessarily accurate, and, for example, errors accumulate over time, so the coordinate transformation parameter ⁇ differs for each partial map 143 . Therefore, in FIG. 5, the coordinate transformation parameter ⁇ differs from ⁇ 1, ⁇ 2, and ⁇ 3 for each partial map. That is, the partial map P1 is transformed into the transformed partial map Q1 using the coordinate transformation parameter ⁇ 1, the partial map P2 is transformed into the transformed partial map Q2 by using the coordinate transformation parameter ⁇ 2, and the partial map P3 is transformed into the transformed partial map Q3 by using the coordinate transformation parameter ⁇ 3.
- the gap parameter calculation unit 137 calculates "f( ⁇ 2) T *f( ⁇ 1)" as the gap parameter 142 of the converted partial map Q2 when the partial map 143 is created in the order of P1, P2, and P3 and P1 is created first. This calculation is the product of the inverse matrix of the transformation matrix with the latest transformation parameters and the transformation matrix with the most recently calculated transformation parameters.
- Q2 which is the transformed partial map 144, is stored in the storage unit 113 in association with the gap parameter 142 of "f( ⁇ 2) T *f( ⁇ 1)".
- Q3 which is the transformed partial map 144, is stored in the storage unit 113 in association with the gap parameter 142 of "f( ⁇ 3) T *f( ⁇ 2)".
- FIG. 6 is a diagram showing an explanation of the undetermined area UP and the undetermined transformed partial map UQ.
- the upper part of FIG. 6 shows the peripheral map 141 in the vehicle coordinate system, and the lower part shows the partial map group 151 in the reference coordinate system. Further, when the processing proceeds from the left half state of FIG. 6, the right half state of the drawing is reached.
- the peripheral map 141 is divided into a partial map 143 area and an undetermined area UP which is an area other than the partial map 143 .
- the area of the partial map 143 is defined as compared with the undetermined area UP, so it can also be called a "determined area”.
- An area obtained by transforming the undetermined area UP, which is the vehicle coordinate system, into the reference coordinate system is called an undetermined transformed partial map UQ.
- the partial map group 151 is the union of one or more transformed partial maps 144 and unconfirmed transformed partial maps UQ. However, the partial map group 151 may not include the unconfirmed converted partial map UQ.
- the coordinate transformation parameters used to calculate the unconfirmed transformed partial map UQ are the latest coordinate transformation parameters. For example, when the latest coordinate transformation parameter is " ⁇ 2" in the state on the left side of the drawing, the undetermined transformation partial map UQ is calculated using " ⁇ 2". Since a part of the unconfirmed converted partial map UQ becomes the converted partial map 144 , the unconfirmed converted partial map UQ can also be called an unconfirmed area of the partial map group 151 .
- the deviation of the unconfirmed transformed partial map UQ from the reference map 181 is calculated by the partial map extraction unit 135, and if the deviation is less than a predetermined threshold for the entire UQ, no special processing is performed and the process proceeds to the next processing cycle. If the deviation of at least a part of the undetermined partial map UQ is equal to or greater than a predetermined threshold, the partial map extracting unit 135 sets the undetermined area UP corresponding to the undetermined transformed partial map UQ whose deviation is less than a predetermined value as a new partial map P2. Therefore, the undetermined area UP shrinks as shown in the upper right of the drawing. Also, the converted partial map Q2 corresponding to the new partial map P2 becomes the new fixed area of the partial map group 151.
- the reduced undetermined area UP is subjected to matching processing with the reference map 181 by the partial map matching unit 136, and a new coordinate transformation parameter ⁇ 3 is calculated.
- coordinate transformation of the undetermined region UP is performed using this coordinate transformation parameter ⁇ 3.
- FIG. 7 is a flowchart showing processing by the map generation unit 250.
- FIG. this flowchart mainly explains the processing after the peripheral map generation unit 134 .
- the map generator 250 first acquires various information in step S301.
- the processing of step S301 corresponds to the processing of the sensor information acquisition unit 201, the odometry information acquisition unit 202, the position information acquisition unit 203, the landmark detection unit 133, the odometry estimation unit 131, and the vehicle general position estimation unit 132 described at the top of FIG.
- the peripheral map generation unit 134 updates the peripheral map 141. However, since the peripheral map 141 does not exist at the time of the first execution, the peripheral map generation unit 134 creates the peripheral map 141 .
- the partial map extracting unit 135 determines whether or not this is the first execution, that is, whether or not it is immediately after starting to create the surrounding map 141. FIG. If the partial map extraction unit 135 determines that it is the first time, it proceeds to step S304, and if it determines that it is not the first time, it proceeds to step S305.
- step S304 the partial map matching unit 136 outputs the peripheral map 141 created in step S302 as the first partial map 143 to the partial map matching unit 136.
- the partial map matching unit 136 performs matching with the reference map 181, calculates the conversion parameters corresponding to the first partial map 143, and returns to step S301.
- step S304 the coordinates of the first partial map are transformed using the calculated transformation parameters, and the determined area of the transformed partial map 144 is obtained.
- step S305 the partial map matching unit 136 coordinates-transforms the undetermined area of the peripheral map 141 into the reference coordinate system using the latest transformation parameters.
- step S306 the partial map matching unit 136 evaluates the deviation between the undetermined area of the surrounding map 141 coordinate-transformed into the reference coordinate system in step S305 and the reference map 181.
- FIG. For the deviation evaluation, for example, the difference between the two lane center lines can be used, as described above.
- step S307 the partial map extraction unit 135 determines whether or not the deviation evaluation result performed in step S306 is equal to or greater than the allowable value. If the partial map extracting unit 135 determines that the deviation is greater than or equal to the tolerance, it proceeds to step S308, and if it determines that the deviation is less than the tolerance, it returns to step S301.
- step S308 the partial map extracting unit 135 sets the area within the allowable deviation range as a new partial map in the undetermined area. That is, by executing step S308, the undetermined area of the peripheral map 141 becomes smaller.
- the partial map matching unit 136 sets the area of the converted partial map 144 corresponding to the area newly determined in step S308 as the fixed area of the converted partial map 144.
- FIG. In other words, a part of the area of the reference coordinate system obtained by the coordinate transformation in step S305 is set as a new fixed area of the transformed partial map 144.
- the partial map matching unit 136 performs matching processing between the undetermined area of the peripheral map 141, that is, the remaining undetermined area that was not created as a new partial map by the processing of step S308, and the reference map 181, and calculates new coordinate transformation parameters.
- the partial map matching unit 136 uses the coordinate transformation parameters calculated in step S310 to coordinate-transform the undetermined area to obtain a new undetermined transformed partial map.
- the gap parameter calculator 137 calculates the gap parameter using the latest coordinate transformation parameter and the previous coordinate transformation parameter, and returns to step S301.
- the latest coordinate transformation parameters in step S312 are the coordinate transformation parameters calculated in step S311. The above is the description of FIG.
- FIG. 8 is a diagram showing an example of the surrounding map 141.
- FIG. A vehicle 100 is equipped with a camera 121 and a LiDAR 125 and is running on a road. The state at a certain time t is shown in FIG. 8(a).
- the camera 121 and the LiDAR 125 observe the lane marker position 401, the road boundary position 402 other than the lane marker, and the point cloud 403 such as building information within the observation range 405 indicated by the fan-shaped dashed line, and record them in the coordinate system of the surrounding map 141.
- FIG. 8(b) shows the state at time t+N when N has passed since time t. At times t+1, t+2, .
- the observed data are synthesized in chronological order using the motion information of the own vehicle obtained from the odometry estimation unit 131 to generate the peripheral map 141 .
- the range of the peripheral map 141 is expanded as the vehicle travels, as shown in FIG. 8(b).
- FIG. 9 is a diagram showing an example of the error between the reference map 181 and the surrounding map 141.
- the solid line indicates the center position of the road on the reference map 181
- the broken line indicates the detected driving lane on the surrounding map 141 .
- the surrounding map 141 combines sensor information observed at each time by the camera 121 and the LiDAR 125 while driving, using the vehicle's motion information obtained from the odometry estimation unit 131, and synthesizes and connects them in time series.
- the motion information of the own vehicle contains errors
- the reference map 181 unlike the high-precision map, contains errors exceeding 1 m.
- the road shape represented by the links 1151 and nodes 1152 of the reference map 181 and the road shape generated by the surrounding map 141, such as the center line between the lane markers 1153, have errors as shown in FIG.
- the peripheral map 141 and the reference map 181 do not overlap and are inconsistent in this way, it becomes impossible to refer to information on both. Therefore, in the present embodiment, a partial map group 151 having a deviation is intentionally generated, and this partial map group 151 is superimposed on the reference map 181 for use. Deviations in the partial map group 151 are restored as necessary and used in a seamless manner. Details will be described later.
- FIG. 10 is a diagram showing an example of collation between the reference map 181 and the partial map 143.
- FIG. FIG. 10( a ) shows feature positions on the reference map 181 .
- Information such as a lane marker position 601, a road boundary position 602 other than the lane marker, a stop line 603, and a crosswalk 604 is included, but there is a position error such as the stop line 603 overlapping the road boundary position 602.
- FIG. 10(b) shows a partial map 143 extracted from the peripheral map 141.
- the reference map 181 shown in FIG. 10A and the partial map 143 shown in FIG. For example, the lane marker position 601, which is a feature on the reference map 181, the road boundary position 602, the stop line 603, and the crosswalk 604 other than the lane marker, and the lane marker position 611, which is a feature on the partial map 143, and the road boundary position 612, stop line 613, and crosswalk 614 which are not the lane marker, are collated.
- the result of matching the coordinate system by matching is as shown in Fig. 10(c). This makes it possible to refer to information on both the reference map 181 and the partial map 143 . Since the feature information of the reference map 181 has low accuracy, the information of the partial map 143 is basically referred to except for information that cannot be sensed.
- FIG. 11 is a diagram showing an example of the partial map group 151.
- FIG. FIG. 11A shows an example of a state in which a peripheral map 141 shown in FIG.
- a partial map 143 is cut out, and as a result of collation with the reference map 181 and coordinate conversion, a deviation occurs between the converted partial maps 144.
- deviations are seen as a whole, the partial map alone is collated with the reference map 181 so that the error is as small as possible.
- FIG. 11(b) shows the two converted partial maps 701 and 702 in FIG. 11(a) including detailed features.
- the transformed partial map 701 and transformed partial map 702 have high local relative accuracy, but there is a deviation at the boundary between the transformed partial map 701 and transformed partial map 702 . This deviation is due to the difference between the coordinate transformation parameters used for the transformed partial map 701 and the coordinate transformation parameters used for the transformed partial map 702 .
- the gap parameter calculator 137 calculates, as the gap parameter 142, information indicating the difference between the two coordinate transformation parameters, more precisely, the correlation between the two coordinate transformation parameters.
- a gap parameter 142 is maintained for each submap boundary.
- the transformed partial map 701 and the transformed partial map 702 can be seamlessly connected. In the range of the map connecting the transformed partial map 701 and the transformed partial map 702, the influence of the odometry error is somewhat increased, but the local relative accuracy is maintained in that range.
- FIG. 12 is a diagram showing another example of the partial map group 151.
- the partial map extractor 135 and the partial map collator 136 record the peripheral map 141 shown in FIG. 5 as a partial map group 151 in the same manner as in FIG. 12 differs from FIG. 11(a) in the contents of the odometry error.
- the azimuth error not only the azimuth error but also the distance error occurs.
- local relative accuracy is maintained in each of the converted partial maps 801 and 802 as in FIG. 11(b).
- the gap parameter 142 can be used to seamlessly connect the transformed partial maps 144 .
- FIG. 13 is a diagram showing the operation of the continuous map generation unit 139.
- the vehicle 100 for which the partial map group 151 and the gap parameter 142 for the range shown in FIG. 13 have already been created travels from left to right.
- a converted partial map 901 is shown on the left side of the drawing, and a converted partial map 902 is shown on the right side of the drawing.
- the dashed-dotted line centering on the vehicle 100 indicates the range required for self-position estimation.
- the range information required for self-position estimation is sufficient only within the converted partial map 901 in which the vehicle 100 exists, so there is no need to connect the converted partial maps.
- the vehicle 100 approaches near the boundary between the converted partial maps 901 and 902, and the information required for self-position estimation is insufficient in the converted partial map 901 alone. Therefore, the converted partial map 902 is seamlessly connected according to the converted partial map 901 using the gap parameter 142, and self-position estimation is performed by feature collation on the map where the converted partial map 901 and the converted partial map 902 are connected.
- the vehicle 100 passes through the gap position and moves onto the converted partial map 902.
- the gap parameter 142 is used to seamlessly connect the partial maps 901 and 902 in accordance with the converted partial map 902, and self-position estimation is performed by feature matching for the connected map.
- the self-localization system 10 connects the converted partial maps while changing the base converted partial map to perform self-position estimation and feature reference.
- FIG. 14 is a diagram showing an example of the result of generation by the continuous map generation unit 139.
- FIG. 13 Although two adjacent conversion partial maps 144 are connected in FIG. 13, a plurality of conversion partial maps 144 may be connected according to the range required by the AD/ADAS application or the range required for self-position estimation.
- a converted partial map 1001 is used as a base, and a converted partial map 1002 and a converted partial map 1003 are connected.
- the wider the connection range the wider the odometry synthesis range, so the error in the connected map will increase. Therefore, it is desirable to connect within a minimum range, including the range required for AD/ADAS applications and the range required for self-localization.
- a sensor information acquisition unit 201 that acquires sensor information output by the camera 121 and the LiDAR 125, which are sensors mounted on the vehicle 100 and that measure the surrounding environment, a reference map storage unit 181K that stores a previously created reference map 181 that is a map of a reference coordinate system that is a predetermined world coordinate system, and motion that is information related to the motion of the vehicle 100 based on the outputs of the vehicle speed sensor 161 and the steering angle sensor 162 that are sensors mounted on the vehicle 100.
- an odometry information acquiring unit 202 for acquiring information; a surrounding map generating unit 134 for generating a surrounding map 141 which is a map in a vehicle coordinate system which is a coordinate system different from the reference coordinate system based on sensor information and motion information; a partial map extracting unit 135 for extracting partial maps 143 which are respective non-overlapping areas from the surrounding map 141; a gap parameter calculation unit 137 for calculating a gap parameter 142, which is information relating to the correlation between coordinate transformation parameters, and the partial map extracting unit 135 extracts a new partial map 143 when the amount of deviation from the reference map 181 exceeds a predetermined threshold. Therefore, the in-vehicle device 101 can create a map with a constant error or less regardless of the size of the area.
- the peripheral map 141 is divided into a definite area, which is an area of a partial map whose area has been determined, and an undetermined area, which is obtained by removing the definite area from the peripheral map.
- In-vehicle device 101 has a partial map extraction unit 135 that extracts, as a new partial map area, an undetermined area corresponding to the undetermined transformed partial map whose deviation amount is less than a predetermined threshold when the amount of deviation from the reference map in the undetermined transformed partial map obtained by calculating the undetermined area using the latest coordinate transformation parameters is equal to or greater than a predetermined threshold value, and the partial map matching unit 1 that calculates the latest coordinate transformation parameters by matching a matching target area obtained by excluding the new partial map area from the undetermined area with the reference map 181 . 36 and. Therefore, any converted partial map 144 can suppress the error from the reference map 181 to less than a predetermined value.
- the in-vehicle device 101 includes a vehicle general position estimation unit 132 that identifies the position of the vehicle in the reference coordinate system based on external information independent of the motion of the vehicle 100, such as position information calculated by the GNSS 126.
- the partial map matching unit 136 determines a matching target area on the reference map 181 based on the vehicle position calculated by the vehicle general position estimation unit 132 . Therefore, the target area in the reference map 181 can be narrowed down based on the latitude and longitude calculated by the GNSS 126, and the amount of calculation can be greatly reduced compared to the case where the latitude and longitude are unknown.
- the in-vehicle device 101 includes a storage unit 113 that stores a partial map group 151, which is a set of transformed partial maps 144 with different coordinate transformation parameters ⁇ , and a gap parameter 142 that contains information about the correlation of the coordinate transformation parameters ⁇ between at least adjacent transformed partial maps 144.
- the coordinate conversion parameter ⁇ is a parameter for converting from the second coordinate system, ie, the vehicle coordinate system, to the second coordinate system, ie, the reference coordinate system, adopted by the transformed partial map 144 . Any of the converted partial maps 144 has a deviation amount from the reference map 181 which is a map of the first coordinate system created in advance and is equal to or less than a predetermined threshold value.
- In-vehicle device 101 includes self-position estimating section 138 that identifies the position of vehicle 100 in converted partial maps 144 based on the output of a sensor mounted on vehicle 100, and when the position of vehicle 100 estimated by self-position estimating section 138 approaches the boundary between two adjacent converted partial maps 144, the relative positions of two converted partial maps 144 are corrected based on gap parameters 142 relating to the two converted partial maps 144 so that the two converted partial maps 144 are continuous. and a continuous map generator 139 that generates a continuous map 145 . Therefore, highly accurate position estimation can be realized using the converted partial map 144, which is a map with a fixed error or less regardless of the size of the area.
- the correlation of transformation parameters between adjacent transformed partial maps 144 is stored as the gap parameter 142.
- the combination of transformation parameters “ ⁇ 2” and “ ⁇ 1” may be stored as the gap parameter 142 , or the transformation parameter itself in each transformed partial map 144 , for example “ ⁇ 2” may be stored as the gap parameter 142 .
- the gap parameter 142 may be a parameter used for calculations necessary for seamlessly connecting the transformed partial maps 144, and can be saved in various forms.
- the in-vehicle device 101 may transmit the partial map group 151 stored in the storage unit 113 to a server or the like located outside the vehicle 100 via the communication device 182 . Also, the partial map group 151 stored in the server via the communication device 182 by the automatic driving device 102 mounted on another vehicle may be stored in the storage unit 113 via the communication device 182 and used for self-position estimation.
- the undetermined area of the peripheral map 141 is coordinate-transformed, the deviation from the reference map 181 is evaluated, and it is determined whether or not to extract the partial map 143.
- whether or not to extract the partial map 143 may be determined by other methods. For example, the cumulative error of the odometry estimator 131 may be estimated or calculated, and a new partial map 143 may be extracted each time the cumulative error exceeds a predetermined threshold.
- steps S305 to S307 in FIG. 7 the following processing may be performed. That is, the position of the vehicle 100 calculated by the odometry estimation unit 131 and the position of the vehicle 100 calculated by the approximate vehicle position estimation unit 132 are compared, and if the difference between the two is equal to or greater than a predetermined threshold, the process of step S305 is performed and the process proceeds to step S308. If the difference between the two companies is less than the predetermined threshold, the process returns to step S301.
- the magnitude of the cumulative error may be estimated by statistical processing. Sensor error can be affected by time, temperature, and vibration. Therefore, the correlation between these and the sensor error is investigated in advance, the cumulative error of the sensor is estimated from the passage of time, the temperature change, and the magnitude of vibration, and it may be determined whether or not the estimated cumulative error is equal to or greater than the above-described predetermined threshold.
- the coordinate system of the partial map group 151 generated by the map generation unit 250 was the reference coordinate system.
- the coordinate system of the partial map group 151 to be generated by the map generator 250 may be the vehicle coordinate system.
- the gap parameter 142 in this case is preferably a set of transformation parameters for each partial map 143 . Note that even when the partial map group 151 is saved with the configuration of this modified example, since each conversion parameter is saved, a continuous map can be generated in the same manner as in the first embodiment.
- FIG. 15 a second embodiment of an in-vehicle device that is an arithmetic device and a self-position estimation device will be described.
- the same components as those in the first embodiment are given the same reference numerals, and differences are mainly described. Points that are not particularly described are the same as those in the first embodiment.
- This embodiment differs from the first embodiment mainly in that the partial map group 151 and the gap parameter 142 are generated outside the vehicle.
- FIG. 15 is a schematic configuration diagram of a position estimation system according to the second embodiment.
- the position estimation system includes an information transmitting vehicle 100A, a map generating server 2, and an information using vehicle 100B.
- the partial map group 151 and the gap parameter 142 are generated by the map generation server 2 .
- Information transmission vehicle 100A transmits information necessary for generating partial map group 151 and gap parameter 142 to map generation server 2 .
- Information using vehicle 100B receives and uses partial map group 151 and gap parameter 142 from map generation server 2 . Each configuration will be described in detail.
- the information transmitting vehicle 100A and the information using vehicle 100B include a camera 121, a LiDAR 125, a GNSS 126, a vehicle speed sensor 161, a steering angle sensor 162, and a communication device 182.
- Information transmission vehicle 100A does not need to have onboard device 101 and reference map 181 .
- the information using vehicle 100B and the map generation server 2 are provided with a reference map 181.
- FIG. Information transmitting vehicle 100A and information using vehicle 100B communicate with map generation server 2 using communication device 182 .
- the sensor information transmission unit 201S acquires a signal output from each external sensor and transmits it to the map generation server 2.
- the odometry information transmission unit 202 ⁇ /b>S acquires signals such as speed and steering angle related to odometry estimation output from the vehicle speed sensor 161 and steering angle sensor 162 and transmits the signals to the map generation server 2 .
- the position information transmission unit 203 ⁇ /b>S acquires latitude and longitude information representing the current position of the vehicle 100 output from the GNSS 126 and transmits the information to the map generation server 2 .
- the sensor information transmission unit 201S, the odometry information transmission unit 202S, and the position information transmission unit 203S may transmit the acquired signal to the map generation server 2 each time, or may transmit it every predetermined period, for example, every hour, or may transmit it for each predetermined event, for example, every time the ignition switch is turned off.
- the sensor information transmission unit 201S, the odometry information transmission unit 202S, and the position information transmission unit 203S desirably transmit the acquired signals with time stamps instead of transmitting them as they are.
- the map generation server 2 has a CPU that is a central processing unit, a ROM that is a read-only storage device, and a RAM that is a readable/writable storage device.
- the map generation server 2 may implement the map generation unit 250 using FPGA or ASIC instead of the combination of CPU, ROM, and RAM.
- the map generation server 2 may realize the map generation unit 250 by combining different configurations, for example, by combining CPU, ROM, RAM and FPGA instead of combining CPU, ROM and RAM.
- the processing of the map generation unit 250 provided in the map generation server 2 is substantially the same as the processing described in the first embodiment. The difference is that sensor information acquisition section 201, odometry information acquisition section 202, and position information acquisition section 203 do not acquire information directly from sensors, but use sensor information transmitted from information transmission vehicle 100A.
- the map generation server 2 transmits the generated partial map group 151 and the gap parameter 142 to the information using vehicle 100B.
- the information-using vehicle 100B includes the position estimation unit 350, the reference map 181, the storage unit 113, and the vehicle control device 190 shown in FIG.
- the partial map group 151 and the gap parameter 142 stored in the storage unit 113 are received from the map generation server 2 using the communication device 182 . Since the partial map group 151 and the gap parameters 142 are read into the position estimation unit 350 via the communication module 114, it can be said that the position estimation unit 350 includes the communication module 114 that receives the partial map group 151 and the gap parameters 142 from outside via the communication device 182.
- Position estimation unit 350 is mounted on information-using vehicle 100B.
- Position estimation unit 350 includes communication module 114 that receives partial map group 151 and gap parameter 142 from outside via communication device 182 . Therefore, since the position estimation unit 350 can use the partial map group 151 and the gap parameter 142 generated based on the sensor information acquired by the information transmission vehicle 100A, which is another vehicle, highly accurate position estimation can be realized even in a place where the vehicle travels for the first time.
- the present invention is not limited to the above-described embodiments, and includes various modifications.
- the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
- Other aspects conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
- it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
- the vehicle 100 may have an input/output interface (not shown), and the program may be read from another device via a medium that can be used by the input/output interface and the in-vehicle device 101 when necessary.
- the medium refers to, for example, a storage medium that can be attached to and detached from an input/output interface, or a communication medium, that is, a wired, wireless, or optical network, or a carrier wave or digital signal that propagates through the network.
- part or all of the functions realized by the program may be realized by a hardware circuit or FPGA.
- each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
- Information such as programs, tables, and files that implement each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
- the configuration of the functional blocks is merely an example. Some functional configurations shown as separate functional blocks may be configured integrally, or a configuration represented by one functional block diagram may be divided into two or more functions. Further, a configuration may be adopted in which part of the functions of each functional block is provided in another functional block.
- Map generation server 10 Self-position estimation system 100 Vehicle 100A Information transmission vehicle 100B Information-using vehicle 101 In-vehicle device 114 Communication module 134 Surrounding map generating unit 135 Partial map extracting unit 136 Partial map matching unit 137 Gap parameter calculating unit 138 Self-position estimating unit 139 Continuous map generating unit 141 Surrounding map 142 Gap parameter 143 Partial map 144 Conversion partial map 145 Continuous map 151 Partial map group 181 Reference map 250 Map generation unit 350 Position estimation unit UP Undetermined area UQ Undetermined converted partial map
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Databases & Information Systems (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Operations Research (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
演算装置は、車両に搭載され周囲環境を計測するセンサが出力するセンサ情報を取得するセンサ情報取得部と、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図を格納する記憶部と、車両に搭載されたセンサの出力に基づき車両の運動に関する情報である運動情報を取得するオドメトリ情報取得部と、センサ情報および運動情報に基づいて、参照座標系とは異なる座標系である車両座標系における地図である周辺地図を生成する周辺地図生成部と、周辺地図から重複しないそれぞれの領域である部分地図を抽出する部分地図抽出部と、部分地図のそれぞれを参照座標系における地図である変換部分地図に変換する座標変換パラメータについて、少なくとも隣接する部分地図同士の座標変換パラメータの相関に関する情報であるギャップパラメータを算出するギャップパラメータ算出部と、を備え、部分地図抽出部は、参照地図とのずれ量が所定の閾値以上となったら新たな前記部分地図を生成する。
Description
本発明は、演算装置、自己位置推定装置、および地図情報生成方法に関する。
自動運転システムや運転支援システムの適用範囲を拡大するためには、自己位置推定に基づく地図からの情報取得が重要である。しかしながら、高速道路においては、運転支援システム用の地図が整備されているが、一般道や自宅周辺などの住宅街における地図整備の目途はたっていない。したがって、地図を自己生成し、自己位置推定できる技術が求められる。特許文献1には、車両に搭載された外界センサから、前記車両の外部にある物標の位置情報を取得し、前記物標の位置情報に基づく前記車両の第1移動量を取得する第1取得部と、前記車両のオドメトリ情報に基づいて前記車両の第2移動量を取得する第2取得部と、前記物標の位置情報と、前記第1移動量と、前記第2移動量とに基づいて、前記車両が走行した場所の地図情報を作成する作成部と、を備える地図作成装置が開示されている。
特許文献1に記載されている発明では、複数の地図を物標の位置情報が整合するように接合するが、複数の地図同士を矛盾なく高精度につなぎ合わせることは困難である。そのため特許文献1に記載されている発明では、地図の領域が広がるほど精度の維持が困難である。
本発明の第1の態様による演算装置は、車両に搭載され周囲環境を計測するセンサが出力するセンサ情報を取得するセンサ情報取得部と、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図を格納する記憶部と、前記車両に搭載されたセンサの出力に基づき前記車両の運動に関する情報である運動情報を取得するオドメトリ情報取得部と、前記センサ情報および前記運動情報に基づいて、前記参照座標系とは異なる座標系である車両座標系における地図である周辺地図を生成する周辺地図生成部と、前記周辺地図から重複しないそれぞれの領域である部分地図を抽出する部分地図抽出部と、前記部分地図のそれぞれを前記参照座標系における地図である変換部分地図に変換する座標変換パラメータについて、少なくとも隣接する前記部分地図同士の前記座標変換パラメータの相関に関する情報であるギャップパラメータを算出するギャップパラメータ算出部と、を備え、前記部分地図抽出部は、前記参照地図とのずれ量が所定の閾値以上となったら新たな部分地図を生成する。
本発明の第2の態様による自己位置推定装置は、適用する座標変換パラメータが異なる変換部分地図の集合である部分地図群と、少なくとも隣接する前記変換部分地図同士における前記座標変換パラメータの相関に関する情報を含むギャップパラメータと、が格納される記憶部を備え、前記座標変換パラメータは、前記変換部分地図が採用する第1座標系に前記第1座標系とは異なる第2座標系から変換するためのパラメータであり、いずれの前記変換部分地図も、あらかじめ作成された前記第1座標系の地図である参照地図とのずれ量が所定の閾値以下であり、車両に搭載されるセンサの出力に基づき前記変換部分地図における前記車両の位置を特定する自己位置推定部と、前記自己位置推定部が推定する前記車両の位置が、隣接する2つの前記変換部分地図の境界に近づくと、前記2つの前記変換部分地図に関する前記ギャップパラメータに基づいて前記2つの前記変換部分地図の相対位置を修正し、前記2つの前記変換部分地図が連続した連続地図を生成する連続地図生成部と、を備える。
本発明の第3の態様による地図情報生成方法は、車両に搭載され周囲環境を計測するセンサが出力するセンサ情報を取得するセンサ情報取得部、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図を格納する記憶部、および前記車両に搭載されたセンサの出力に基づき前記車両の運動に関する情報である運動情報を取得するオドメトリ情報取得部とを備える演算装置が実行する地図情報生成方法であって、前記センサ情報および前記運動情報に基づいて、前記参照座標系とは異なる座標系である車両座標系における地図である周辺地図を生成する生成ステップと、前記周辺地図から重複しないそれぞれの領域である部分地図を抽出する抽出ステップと、前記部分地図のそれぞれを前記参照座標系における地図である変換部分地図に変換する座標変換パラメータについて、少なくとも隣接する前記部分地図同士の前記座標変換パラメータの相関に関する情報であるギャップパラメータを算出する算出ステップと、を含み、前記生成ステップでは、前記参照地図とのずれ量が所定の閾値以上となったら新たな前記部分地図を生成する。
本発明の第2の態様による自己位置推定装置は、適用する座標変換パラメータが異なる変換部分地図の集合である部分地図群と、少なくとも隣接する前記変換部分地図同士における前記座標変換パラメータの相関に関する情報を含むギャップパラメータと、が格納される記憶部を備え、前記座標変換パラメータは、前記変換部分地図が採用する第1座標系に前記第1座標系とは異なる第2座標系から変換するためのパラメータであり、いずれの前記変換部分地図も、あらかじめ作成された前記第1座標系の地図である参照地図とのずれ量が所定の閾値以下であり、車両に搭載されるセンサの出力に基づき前記変換部分地図における前記車両の位置を特定する自己位置推定部と、前記自己位置推定部が推定する前記車両の位置が、隣接する2つの前記変換部分地図の境界に近づくと、前記2つの前記変換部分地図に関する前記ギャップパラメータに基づいて前記2つの前記変換部分地図の相対位置を修正し、前記2つの前記変換部分地図が連続した連続地図を生成する連続地図生成部と、を備える。
本発明の第3の態様による地図情報生成方法は、車両に搭載され周囲環境を計測するセンサが出力するセンサ情報を取得するセンサ情報取得部、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図を格納する記憶部、および前記車両に搭載されたセンサの出力に基づき前記車両の運動に関する情報である運動情報を取得するオドメトリ情報取得部とを備える演算装置が実行する地図情報生成方法であって、前記センサ情報および前記運動情報に基づいて、前記参照座標系とは異なる座標系である車両座標系における地図である周辺地図を生成する生成ステップと、前記周辺地図から重複しないそれぞれの領域である部分地図を抽出する抽出ステップと、前記部分地図のそれぞれを前記参照座標系における地図である変換部分地図に変換する座標変換パラメータについて、少なくとも隣接する前記部分地図同士の前記座標変換パラメータの相関に関する情報であるギャップパラメータを算出する算出ステップと、を含み、前記生成ステップでは、前記参照地図とのずれ量が所定の閾値以上となったら新たな前記部分地図を生成する。
本発明によれば、領域の広さによらず誤差が一定以下の地図を作成できる。
―第1の実施の形態―
以下、図1~図14を参照して、本発明にかかる演算装置および自己位置推定装置である車載装置の第1の実施の形態を説明する。
以下、図1~図14を参照して、本発明にかかる演算装置および自己位置推定装置である車載装置の第1の実施の形態を説明する。
図1は、車載装置101を搭載する車両100の構成を示すブロック図である。車両100は、自己位置推定システム10と、車両制御装置190と、操舵装置191と、駆動装置192と、制動装置193とを備える。自己位置推定システム10は、カメラ121と、LiDAR125と、GNSS126と、車速センサ161と、舵角センサ162と、インタフェース171と、参照地図181を格納する参照地図記憶部181Kと、車載装置101と、通信装置182と、表示装置183とを備える。車載装置101は、信号線で接続される、カメラ121、LiDAR125、GNSS126、車速センサ161、舵角センサ162、インタフェース171、および参照地図181から各種データを取得する。
車載装置101は、たとえばECU(Electronic Control Unit;電子制御装置)である。車載装置101は、CPU110と、ROM111と、RAM112と、記憶部113と、通信モジュール114と、を備える。CPU110は、ROM111から各種プログラムをRAM112に展開して実行することにより、後述する機能を実現する。ただし車載装置101は、CPU110、ROM111、およびRAM112の組み合わせの代わりに書き換え可能な論理回路であるFPGA(Field Programmable Gate Array)や特定用途向け集積回路であるASIC(Application Specific Integrated Circuit)を用いて後述する機能を実現してもよい。また車載装置101は、CPU110、ROM111、およびRAM112の組み合わせの代わりに、異なる構成の組み合わせ、たとえばCPU110、ROM111、RAM112とFPGAの組み合わせにより実現されてもよい。
RAM112は読み書き可能な記憶領域であり、車載装置101の主記憶装置として動作する。RAM112には、前述したプログラムの展開に用いられ、後述する周辺地図141、ギャップパラメータ142、部分地図143が格納される。ROM111は、読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはRAM112で展開されて、CPU110により実行される。CPU110は中央演算装置である。記憶部113は、不揮発性の記憶装置であり、車載装置101の補助記憶装置として動作する。通信モジュール114は、自己位置推定システム10が採用する通信規格、たとえばIEEE802.3やCAN(登録商標)に対応する通信モジュールである。車載装置101は、通信モジュール114を介して他の装置と情報を授受する。
カメラ121は、例えば、車両100の例えば車室内フロントガラスの手前に取り付けられ、車両100の前方を撮影する。カメラ121と車両100との位置関係および姿勢関係は、後述するように、センサパラメータ140としてROM111に格納される。カメラ121の取り付け方は、上述の方法に限らず、他の取り付け方でもよい。また、カメラ121は車両100に複数備えられてもよい。LiDAR125は、車両100に搭載され、車両100の周囲を観測する。LiDAR125と車両100の位置姿勢関係は、センサパラメータ140としてROM111に格納される。
カメラ121は、レンズおよび撮像素子を備える。カメラの特性、たとえばレンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数および寸法などの内部パラメータ、および車両100とカメラ121との位置や姿勢の関係などの外部パラメータは、センサパラメータ140としてROM111に格納される。なお、カメラ121、LiDAR125の各センサと車両100の位置姿勢関係は、車載装置101において、撮影画像、車速センサ161、舵角センサ162を用いて、CPU110で推定してもよい。
LiDAR125は、光を用いた物体検出および距離測定を行うLiDAR装置(light detection and ranging;LiDAR)である。LiDAR125を構成する各センサに固有の情報は前述のセンサパラメータ140としてROM111に格納される。GNSS126は、GNSS(Global Navigation Satellite System)を構成する受信機である。GNSS126は、GNSSを構成する複数の衛星から電波を受信し、その電波に含まれる信号を解析することで車両100の位置、すなわち緯度と経度の組み合わせ(以下、「緯度経度」と呼ぶ)を算出して車載装置101に出力する。
車速センサ161および舵角センサ162はそれぞれ、車載装置101が搭載された車両100の車速と舵角を測定し車載装置101に出力する。車載装置101は、車速センサ161および舵角センサ163の出力を用いて公知のデッドレコニング技術によって、車載装置101が搭載された車両の移動量および移動方向を算出する。インタフェース171は、例えば、ユーザからの指示入力を受け付けるGUIである。また、その他の情報をその他の形でやり取りしてもよい。
参照地図181は、あらかじめ作成された地図、たとえばカーナビゲーションシステム用の地図である。参照地図181には、緯度経度と紐づけられたノードとリンクを用いた道路網情報が格納される。ノードは道路上の交差点や分岐等に対応して設定される点であり、リンクは道路に沿って並んだ2つのノード間を結んだ線である。参照地図181にはたとえば、レーン中心線の位置、レーン幅、レーン数、道路境界位置、停止線位置、信号位置などの情報が含まれる。ただし、これらの精度は一般的なカーナビゲーション用の地図に準拠したものであり、例えば各地物について1σ2m程度の誤差を有する。したがって、この地図単体では自動運転や先進運転支援システム(以下では「AD/ADAS」と呼ぶ)を実現するには精度が不足している。大まかな傾向として、参照地図181は局所的な精度は必ずしも高くないが、広域的においても局所と同程度の安定的な精度を有する。
本実施の形態では、説明を簡略化するために参照地図181は平面直交座標系を採用する。ただし計算の複雑化を許容すれば、参照地図181は緯度経度座標系を採用してもよい。参照地図181が採用する座標系を「参照座標系」や「第1座標系」と呼ぶ。たとえば参照座標系は、あらかじめ定めた緯度と経度の地点を原点、北方向をX軸、東方向をY軸、重力方向をZ軸と定める。
通信装置182は、車両100の外部の機器と車載装置101とが無線で情報を授受するために用いられる。たとえば、ユーザが車両100の外にいるときに、ユーザが身に着けている携帯端末と通信することで情報を授受する。通信装置182が通信を行う対象はユーザの携帯端末に限定されない。表示装置183はたとえば液晶ディスプレイであり、車載装置101から出力される情報が表示される。
車両制御装置190は、車載装置101から出力される車両100の自己位置に基づいて、操舵装置191、駆動装置192、および制動装置193を制御する。操舵装置191は、車両100のステアリングを操作する。駆動装置192は、車両100に駆動力を与える。駆動装置192はたとえば、車両100が備えるエンジンの目標回転数を増加させることにより車両100の駆動力を増加させる。制動装置193は、車両100に制動力を与える。
図2は、車載装置101の機能構成図である。CPU110は、プログラムを読み込んで実行することにより、オドメトリ推定部131、車両概略位置推定部132、ランドマーク検出部133、周辺地図生成部134、部分地図抽出部135、部分地図照合部136、ギャップパラメータ算出部137、自己位置推定部138、連続地図生成部139、として動作する。RAM112には、周辺地図141、ギャップパラメータ142、部分地図143、および変換部分地図144が格納される。記憶部113には部分地図群151、およびギャップパラメータ142が格納される。
周辺地図141、ギャップパラメータ142、部分地図143、変換部分地図144、および部分地図群151は、後述する手順で作成される。以下では、車載装置101の動作を便宜的に「作成フェーズ」と「利用フェーズ」に分けて説明する。部分地図群151およびギャップパラメータ142は、作成フェーズにおいて作成されて記憶部113に格納され、利用フェーズにおいて記憶部113から読みだされて利用される。作成フェーズと利用フェーズの詳細は後述する。
ROM111にはさらに、センサパラメータ140が格納される。センサパラメータ140は、カメラ121と、LiDAR125と、GNSS126それぞれと車両100との位置姿勢関係、および、各センサ固有の情報を格納する。カメラ121に関しては、レンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数および寸法、他外界センサの場合も各センサに応じた固有の情報を格納する。
図3は、作成フェーズにおける車載装置101の処理の概要を示す図である。以下では、図3に示すセンサ情報取得部201、オドメトリ情報取得部202、位置情報取得部203、ランドマーク検出部133、オドメトリ推定部131、車両概略位置推定部132、周辺地図生成部134、部分地図照合部136、およびギャップパラメータ算出部137をまとめて「地図生成部」250とも呼ぶ。図3に示す処理は車両100の走行中に繰り返し実行される。以下では、繰り返し実行される図3に示す処理の1回の期間を「処理周期」と呼ぶ。
地図生成部250は、自車に搭載されたセンサであるカメラ121およびLiDAR125によるセンシング情報と、参照地図181の情報とを用いて、AD/ADASにも利用できる地図を生成する。地図生成部250は、各時刻に観測されるセンサ情報を、車両運動を考慮しつつ時系列的に合成することで地図を自己生成する。地図生成部250はさらに、部分地図照合部136、ギャップパラメータ算出部137を用いて、生成した地図と参照地図181の情報とを重ね合わせて、双方の情報を参照できるようにすることで、AD/ADAS用の地図を生成する。すなわち地図生成部250は、車両100が一度走行して得られた情報を用いて、センシング情報と参照地図181の情報の双方が参照できるAD/ADAS用の地図を生成する。図3に示す各構成の処理は次のとおりである。
センサ情報取得部201は、各外界センサから出力される信号を取得する。具体的にはセンサ情報取得部201は、カメラ121からは画像情報を取得し、LiDAR125からは点群座標および反射強度を取得する。カメラ121は、連続して高い頻度、たとえば毎秒30回での撮影を行う。LiDAR125は、センサごとに信号を一定の頻度で受信する。センサ情報取得部201は、これらの画像や信号を高い頻度、たとえば33ミリ秒ごとに受信し、ランドマーク検出部133に出力する。
オドメトリ情報取得部202は、車速センサ161および舵角センサ162から出力されるオドメトリ推定に関わる速度や舵角などの信号を取得する。オドメトリ情報取得部202は、これらを連続して高い頻度で受信し、オドメトリ推定部131に出力する。位置情報取得部203は、GNSS126から出力される車両100の現在位置を表す緯度経度情報を取得する。位置情報取得部203は、情報を取得するたびに車両概略位置推定部132にその情報を出力する。
ランドマーク検出部133は、センサ情報取得部201の出力、およびROM111に格納されるセンサパラメータ140を用いてランドマークを検出する。ランドマークとはセンサにより識別可能な特徴を有する特徴であり、たとえば路面ペイントの1種であるレーンマークや、停止線、横断歩道や、そのほか規制表示、レーンマークであらわされない道路境界、縁石、ガードレール、建物の壁、交通信号等などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。
ランドマーク検出部133は、まず、カメラ121、LiDAR125から入力される情報に基づき、車両100の周辺に存在する路面上のランドマーク、すなわちセンサにより識別可能な特徴を有する路面上の特徴を認識する。認識手段は、公知の様々な手法を用いることができる。たとえば、事前の学習により得られたパラメータと、公知の分類器を実現するニューラルネットワークとを用いて、ランドマークを検出できる。ランドマーク情報は、画素単位で得られてもよいし、物体としてグルーピングされて得られてもよい。ランドマークは認識により、識別された具体的な物標、たとえばレーンマーク、横断歩道、および停止線のいずれかに識別されている必要がある。
次にランドマーク検出部133は、ここで得られたランドマーク情報に基づき、ランドマークを表現する点群を生成する。この点群は二次元でもよいし三次元でもよい。ランドマーク検出部133はカメラ121が撮影して得られる画像を用いる場合は、路面上の座標値については、センサパラメータ140に含まれるカメラ121に関する情報を用いて、路面上での距離を求めることができ、この路面上での距離情報から路面上の座標値を計算できる。路面外の座標値の算出は、公知のVSLAM(Visual Simultaneous Localization and Mapping)技術によって実現できる。ランドマーク検出部133は、これを用いてランドマークが存在する画素、またはグルーピングされた対象について、対応する二次元座標を点群として周辺地図生成部134に出力する。
ランドマーク検出部133は、LiDAR125の出力を用いる場合は、LiDAR125が備えるセンサの特性から出力には点群が含まれており、その点群を用いて認識処理を行っているので、特別な処理を経ることなくランドマークに紐づいた点群情報が得られる。またランドマーク検出部133が算出する各ランドマークの座標は、各センサ座標系における観測値であり、センサからの相対座標値である。また、ランドマークとして認識のラベルを付与することはできなかったものの、点群としては取得できた情報についてもランドマークとして、周辺地図生成部134に出力する。この点群は、AD/ADASに直接は利用しないが、後述の自己位置推定部138において、自己位置推定用の特徴として活用する。
オドメトリ推定部131は、車速センサ161および舵角センサ162から入力され、オドメトリ情報取得部202から送信される車両の速度および舵角を用いて、車両運動を推定する。オドメトリ推定部131はたとえば、公知のデッドレコニングを用いてもよいし、公知のカルマンフィルタ等を併用してもよい。またオドメトリ推定部131は、センサ情報取得部201からカメラ情報も取得し、画像を用いた公知のビジュアルオドメトリ技術を用いて車両運動を推定してもよい。ここで得られる車速、舵角、車両運動情報、車両運動を積分した車両運動軌跡は、周辺地図生成部134、および車両概略位置推定部132に出力される。なお、オドメトリ推定部131は、位置情報取得部203で取得されるGNSSの情報も入力し、車速と舵角とGNSSから推定した情報をオドメトリとして出力してもよい。また、オドメトリ推定部131の出力は必ずしも正確ではなく、たとえば時刻の経過とともに誤差が累積する傾向がある。
車両概略位置推定部132は、GNSS126から入力され、位置情報取得部203から送信される車両の位置情報、および参照地図181に含まれるノードおよびリンクの情報、オドメトリ推定部131から得られるオドメトリ情報を用いて、参照地図181上での車両100の概略位置を推定する。概略位置の推定は、例えば、カーナビゲーションシステム等で公知のマップマッチング技術によって実施する。マップマッチング技術は、GNSS126、およびオドメトリ推定部131から得られる軌跡情報と、ノードおよびリンクから表される道路形状情報とから、道路レベルでの位置、たとえば走行している道路の特定、および交差点からのおおよその距離を推定するものである。道路レベルでの位置のため、車両前後方向や左右方向に数m程度の誤差が含まれる。
周辺地図生成部134では、ランドマーク検出部133から得られたセンサからの相対座標値となっている点群、またはベクトル情報を、オドメトリ推定部131から得られた自車の運動情報、およびROM111に格納されているセンサの取り付け位置等を示すセンサパラメータ140を用いて平面直交座標系の世界座標に変換し、時系列的に合成し、周辺地図141を生成する。この世界座標値は、ある座標、ある軸を基準とした座標値となる。たとえば、車載装置101が起動した位置を原点、直後に進んだ方向をX軸、それに直交する軸をY軸、Z軸と定める。以下では、周辺地図生成部134が採用する座標系を「車測座標系」や「第2座標系」と呼ぶ。ここで得られた地図は、周辺地図141としてRAM112に格納される。次時刻以降は、RAM112から周辺地図141を読み出し、新たにランドマーク検出部133から得られた点群、あるいはベクトル情報を座標変換し、自車の運動情報を用いて時系列的に合成する。
部分地図抽出部135は、周辺地図141の一部を部分地図143として抽出する。具体的には部分地図抽出部135は、周辺地図生成部134が生成する周辺地図141、車両概略位置推定部132が算出する参照地図181上での概略位置、および参照地図181を用いて、車両100の現在位置付近の地図情報を含む、周辺地図141の一部を部分地図143として抽出する。詳しくは後述する。なお、周辺地図141はオドメトリ推定部131の出力を用いて生成されるため、誤差の累積が生じやすく、局所的には精度が高いが広域的には精度が必ずしも高くない。たとえば、局所的には参照地図181よりも周辺地図141の精度が高いが、広域的には周辺地図141よりも参照地図181の精度が高い。
部分地図抽出部135は、まず部分地図143として切り出す必要があるか否かを判定し、そのうえで、部分地図143として切り出す必要がある場合には、部分地図143として切り出す。これにより、後段の部分地図照合部136およびギャップパラメータ算出部137が動作する。部分地図143として切り出す必要がない場合には、後段の処理は省略される。
部分地図143として切り出す必要があるか否かの判断を説明する前に、例外処理を説明する。後段の部分地図照合部136による処理が一度も実行されていない場合は、部分地図143として切り出す必要があるか否かを判断せずに、周辺地図141そのものを部分地図143としてRAM112に出力し、部分地図照合部136に渡す。部分地図照合部136による処理が少なくとも1回は実行されている場合には、次のように部分地図143として切り出す必要があるか否かが判断される。
部分地図143として切り出す必要があるか否かは、参照地図181と部分地図143との道路の重ね合わせの誤差が、あらかじめ定めた値(以下、「許容誤差」と呼ぶ)より大きくなったか否かで判断する。道路の重ね合わせ誤差は、例えば、双方の車線中心線の差で評価する。部分地図抽出部135は、道路の重ね合わせ誤差が許容誤差を超える場合は、部分地図143として切り出す必要があると判断して部分地図143を抽出する。部分地図143の抽出範囲は、周辺地図141において、前回に部分地図143として切り出した範囲と現在の周辺地図141の差分となる範囲である。抽出した部分地図143はRAM112に記録される。
部分地図照合部136は、車測座標系の部分地図143を参照座標系の変換部分地図144に変換する。周辺地図141が採用する車測座標系と参照地図181が採用する参照座標系とを比較すると、原点および各軸の方向は同一ではない。しかし、両者とも平面直交座標系を採用しているので、車測座標系におけるある物標の位置及び姿勢は、併進移動および回転により参照座標系に変換できる。すなわち、併進移動量を示すxおよびyと、回転量を示すθの3つのパラメータで座標変換を表すことができる。なお、車測座標系と参照座標系の両方が平面直交座標系を採用することは必須の構成ではない。その場合は、両者が平面直交座標系の場合に比べれば計算式が複雑となり、パラメータの数が4以上となる場合もあるが、いずれにしても公知の計算式と座標変換のためのパラメータ(以下、「座標変換パラメータ」や「変換パラメータ」と呼ぶ)により変換は可能なので特段の問題は生じない。
部分地図照合部136は、部分地図抽出部135で抽出されRAM112に記録された部分地図143と、参照地図181とが共通でもつ地物の位置情報、すなわちレーンマーク、停止線、横断歩道、レーンマークで表されない道路境界、交通信号などの位置情報をマッチングすることで、参照地図181上に部分地図143の重ね合わせるべき位置を求め、部分地図143の座標を参照地図181上の座標に変換する。地物の位置情報のマッチングは、例えば、ベクトル情報も点群化し、点群同士の公知のマッチング技術であるICPなどを活用することで、対応点同士の誤差を最小化するマッチング位置を求めることができる。ただし部分地図照合部136は、他の照合方式を活用しても構わない。ここでは、なるべく精度良く照合できることが望ましい。
ただし、もともと参照地図181がもつ地物の情報は実際の観測値と比べると精度が低いため、実際の観測値から生成された部分地図143の地物情報と参照地図181の地物情報は完全には照合できないため、多少の誤差は避けられない。この誤差は、後述の位置推定部350で自己位置推定し、参照地図181の道路網情報等を参照する場合にそのまま誤差としてあらわれることになる。この実質誤差量に応じて、AD/ADASで対応できる範囲が変わってくる。このマッチングにより、部分地図143を参照地図181上の座標に変換するための変換パラメータ、すなわち前述のx、y、θを得ることができる。
部分地図照合部136は、ここで得られた変換パラメータを用いて部分地図143の座標を変換し、RAM112に変換部分地図144として記録する。部分地図143は、この処理がおこなわれるたびに生成され、前回処理までの生成分とあわせて、複数保持される。さらに部分地図照合部136は、得られた変換パラメータ、たとえばx、y、およびθをギャップパラメータ算出部137に出力する。ただしオドメトリ推定部131が算出する位置情報は誤差の累積が避けられないので、時間の経過とともにこの変換パラメータは変化する。
ギャップパラメータ算出部137は、部分地図照合部136で得られた変換パラメータを用いて、変換部分地図144同士のずれ量を補正するギャップパラメータ142を算出する。前段の部分地図照合部136で得られる変換パラメータは、周辺地図生成部134が用いる車測座標系を参照地図181が用いる参照座標系に変換するためのパラメータである。ギャップパラメータ算出部137は、新たな変換部分地図144と、直前に作成した変換部分地図144とのずれ量を補正するギャップパラメータ142を、最新の変換パラメータによる変換行列の逆行列と、直前に算出した変換パラメータによる変換行列の積で表すことができる。ただし変換パラメータの表現方法によってはこの限りではない。得られたギャップパラメータ142は、RAM112に保存された変換部分地図144の集合である部分地図群152とセットで記憶部113に保存される。
図4は、利用フェーズにおける車載装置101の処理の概要を示す図である。以下では、図4に示す、センサ情報取得部201、オドメトリ情報取得部202、位置情報取得部203、ランドマーク検出部133、オドメトリ推定部131、車両概略位置推定部132、周辺地図生成部134、自己位置推定部138、および連続地図生成部139をまとめて「自己位置推定部」350とも呼ぶ。位置推定部350は、記憶部113に記憶された部分地図群151とギャップパラメータ142を読み出して、参照地図181に重畳されて同一座標系となった部分地図群151上での自己位置を推定する。
位置推定部350が実行する処理のうち、各時刻に観測されるセンサ情報を、車両運動を考慮しつつ時系列的に合成することで周辺地図141を自己生成する点は地図生成部250と同様である。位置推定部350が実行する処理のうち地図生成部250と異なる点は、周辺地図141、部分地図群151、ギャップパラメータ142を用いて参照座標系における位置推定を行う点である。位置推定部350は、位置推定を行う際に必要に応じて、ギャップパラメータ142の情報を用いて部分地図群151に含まれる変換部分地図144同士のずれ部分をシームレスに接続する。そして位置推定部350は、地図の地物情報同士をマッチングすることで、参照座標系上での位置推定を行う。
AD/ADAS用に地物情報を参照する際も同様に、位置推定部350が部分地図群151のずれ部分をシームレスに接続することで、高精度な地物参照が可能となり、さらに参照地図181の情報も参照できる。センサ情報取得部201、オドメトリ情報取得部202、位置情報取得部203、ランドマーク検出部133、オドメトリ推定部131、車両概略位置推定部132、および周辺地図生成部134の動作は地図生成部250と共通のため、地図生成部250に含まれない連続地図生成部139、および自己位置推定部138について説明する。
連続地図生成部139は連続地図145を生成する。連続地図生成部139による連続地図145の生成は2つのケースに分類される。第1のケースは部分地図群151に含まれる複数の変換部分地図144を接続して連続地図145を生成するケースである。具体的には、記憶部113に記憶された部分地図群151およびギャップパラメータ142と、後述する自己位置推定部138が算出してRAM112に保存された参照座標系上での自己位置情報とを用いて、部分地図群151をシームレスに接続する。第2のケースは、部分地図群151に含まれるいずれかの変換部分地図144をそのまま連続地図145とするケースである。第2のケースでは特段の処理は行われず、名称と実態の齟齬はあるが、便宜的に同一の名称である連続地図145と呼ぶ。詳しくは次のとおりである。
連続地図生成部139は、まず、参照座標系で表現された自己位置情報をRAM112から読み込み、部分地図群151からその位置を含む変換部分地図144を抽出する。次に連続地図生成部139は、その変換部分地図144について、他の変換部分地図144との接続が必要であるか否かを判断する。この判断は、使用するAD/ADASで求められる範囲や、自己位置推定部138が必要とする範囲と、その変換部分地図144に含まれる範囲との関係で判断される。ただし、正確に判断することが困難な場合は、まずは変換部分地図144の接続をしない、または少ない数の接続で済ませておき、後段の処理において範囲の不足が明らかになった時点で変換部分地図144の接続数を増やしてもよい。
たとえば、AD/ADASを実現するアプリケーションが50m先までの地図情報を求める場合は、50m先の地図情報を含む範囲までを接続する。また、後述の自己位置推定部138が自己位置推定の演算を行う場合に、地物同士の照合によって位置推定を行うが、地図の範囲が狭い場合は、地物同士の照合によって位置推定を行うことが困難な場合があり、照合に最低限必要な地図上の距離が規定される場合がある。自己位置推定部138によって規定される距離に満たない場合は、自車位置を含め前方および後方にそれぞれ必要な長さが確保されるように、他の変換部分地図144を接続して連続地図145とする。変換部分地図144同士の接続は、ギャップパラメータ142を用いてパラメータ変換することで実現される。ここで生成された必要な範囲が接続された地図は、自己位置推定部138に渡される。
自己位置推定部138は、連続地図生成部139で生成された連続地図145上において、自己位置推定を行う。自己位置推定部138による自己位置推定は、連続地図145と、現在の走行中に周辺地図生成部134が生成した周辺地図141との地物同士のマッチングによって行う。ここでの地物は、参照地図181との照合とは異なり、参照地図181が持たない建物の点群情報等の地物も含めて実施する。照合は、例えば、既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。これにより、現在走行中の周辺地図141から過去に生成した部分地図群151への座標変換量を求めることができ、座標変換された周辺地図141の現在車両の位置から、部分地図群151上の自己位置を推定することができる。部分地図群151は、参照地図181に紐づけられているため、参照地図181上での位置も特定できる。
AD/ADASで参照する地物については、部分地図群151と参照地図181の双方について、最適な地物を参照する。参照地図181については、道路網や交通規則等のセンシングが困難な情報を備えるが、レーンマーク位置などの地物の精度は低い。この一方で、センシング情報を元に生成した部分地図群は、センシングによってレーン位置などを精度良く持たせることができるが、センシングが難しい道路網、交通規則などについては提供が難しい。そのためたとえば、レーンマーク位置などのセンシングか可能な部分地図群が備えている地物については、部分地図群の情報を参照し、道路網情報などについては参照地図181の情報を参照する。
図5は、参照地図181、周辺地図141、部分地図143、変換部分地図144、および部分地図群151の関係を示す図である。ただし図5の上部には、次の図6において説明する未確定領域UPおよび未確定変換部分地図UQも記載している。車両100が走行して得られたセンサ情報を用いて作成される周辺地図141には、部分地図143が複数含まれる。前述のとおり、周辺地図141および部分地図143は、車測座標系を用いる。ここでは、3つの部分地図P1、P2、P3を示している。それぞれの部分地図143に対応する変換部分地図144をQ1、Q2、Q3で示している。
前述のとおり部分地図照合部136は、それぞれの部分地図143に対して参照地図181における地物とのマッチングにより座標変換ためのパラメータである座標変換パラメータφを算出し、部分地図143を変換部分地図144に変換する。以下ではこの座標変換を、関数fと座標変換パラメータφを用いて「f(φ)」と表現する。
オドメトリ推定部131の出力は必ずしも正確ではなく、たとえば時刻の経過とともに誤差が累積するため、座標変換パラメータφは部分地図143ごとに異なる。そのため図5では、座標変換パラメータφは部分地図ごとにφ1、φ2、φ3と異なっている。すなわち、部分地図P1は座標変換パラメータφ1を用いて変換部分地図Q1に変換され、部分地図P2は座標変換パラメータφ2を用いて変換部分地図Q2に変換され、部分地図P3は座標変換パラメータφ3を用いて変換部分地図Q3に変換される。
ギャップパラメータ算出部137は、部分地図143がP1、P2、P3の順番でP1が最初に作成された場合には、変換部分地図Q2のギャップパラメータ142として「f(φ2)T*f(φ1)」を算出する。この演算は、最新の変換パラメータによる変換行列の逆行列と、直前に算出した変換パラメータによる変換行列の積である。変換部分地図144であるQ2は、「f(φ2)T*f(φ1)」というギャップパラメータ142と紐づけられて記憶部113に格納される。変換部分地図144であるQ3は同様に、「f(φ3)T*f(φ2)」というギャップパラメータ142と紐づけられて記憶部113に格納される。
図6は、未確定領域UPおよび未確定変換部分地図UQの説明を示す図である。図6の上部は車測座標系の周辺地図141を示し、下部は参照座標系の部分地図群151を示す。また図6の左半分の状態から処理が進むと図示右半分の状態となる。周辺地図141は、部分地図143の領域と、部分地図143以外の領域である未確定領域UPに分けられる。部分地図143の領域は、未確定領域UPと比較すれば領域が確定しているので「確定領域」とも呼べる。車測座標系である未確定領域UPを参照座標系に座標変換して得られる領域を未確定変換部分地図UQと呼ぶ。
部分地図群151は、1以上の変換部分地図144、および未確定変換部分地図UQの和集合である。ただし部分地図群151は、未確定変換部分地図UQを含まなくてもよい。未確定変換部分地図UQを算出するために用いる座標変換パラメータは、最新の座標変換パラメータである。たとえば図示左側の状態において最新の座標変換パラメータが「φ2」である場合に、未確定変換部分地図UQは「φ2」を用いて算出される。未確定変換部分地図UQの一部は変換部分地図144となるので、未確定変換部分地図UQは部分地図群151の未確定領域とも呼べる。
未確定変換部分地図UQは、部分地図抽出部135により参照地図181とのずれが算出され、UQの全域についてずれが所定の閾値未満であれば特段の処理は行われず次の処理周期に進む。部分地図抽出部135は、未確定変換部分地図UQの少なくとも一部のずれが所定の閾値以上であれば、ずれが所定値未満である未確定変換部分地図UQに対応する未確定領域UPを新たな部分地図P2とする。そのため、図示右上に示すように未確定領域UPは縮小する。また、新たな部分地図P2に対応する変換部分地図Q2は、部分地図群151の新たな確定領域となる。
縮小された未確定領域UPは、部分地図照合部136により参照地図181とのマッチング処理が行われ、新たな座標変換パラメータφ3が算出される。次の処理周期では、この座標変換パラメータφ3を用いて未確定領域UPの座標変換が行われる。以上が図6の説明である。
図7は、地図生成部250による処理を示すフローチャートである。ただし本フローチャートは、周辺地図生成部134以降の処理を主に説明している。地図生成部250は、まずステップS301において各種情報を取得する。ステップS301の処理は、図3の上部に記載のセンサ情報取得部201、オドメトリ情報取得部202、位置情報取得部203、ランドマーク検出部133、オドメトリ推定部131、および車両概略位置推定部132の処理に相当する。
続くステップS302では周辺地図生成部134は、周辺地図141を更新する。ただし初回実行時には周辺地図141が存在しないので、周辺地図生成部134は周辺地図141を作成する。続くステップS303では部分地図抽出部135は、初回の実行であるか否か、すなわち周辺地図141の作成を開始した直後であるか否かを判断する。部分地図抽出部135は、初回であると判断する場合はステップS304に進み、初回ではないと判断する場合はステップS305に進む。
ステップS304では部分地図照合部136は、ステップS302において作成した周辺地図141を最初の部分地図143として部分地図照合部136に出力し、部分地図照合部136が参照地図181とマッチングを行い、最初の部分地図143に対応する変換パラメータを算出してステップS301に戻る。なおステップS304では、算出した変換パラメータを用いて最初の部分地図を座標変換し、変換部分地図144の確定領域とする。
ステップS305では部分地図照合部136は、最新の変換パラメータを用いて周辺地図141の未確定領域を参照座標系に座標変換する。続くステップS306では部分地図照合部136は、ステップS305において参照座標系に座標変換した周辺地図141の未確定領域と、参照地図181とのずれを評価する。ずれの評価にはたとえば、前述のように、双方の車線中心線の差を用いることができる。続くステップS307では部分地図抽出部135は、ステップS306において実行したずれの評価結果が許容値以上であるか否かを判断する。部分地図抽出部135は、ずれが許容以上であると判断する場合はステップS308に進み、ずれが許容未満であると判断する場合はステップS301に戻る。
ステップS308では部分地図抽出部135は、未確定領域において、ずれが許容範囲内の領域を新たな部分地図とする。すなわちステップS308が実行されることにより、周辺地図141の未確定領域は小さくなる。続くステップS309では部分地図照合部136は、ステップS308において新たに部分地図とした領域に対応する変換部分地図144の領域を、変換部分地図144の確定領域とする。換言すると、ステップS305において座標変換して得られた参照座標系の領域の一部を、変換部分地図144の新たな確定領域とする。
続くステップS310では部分地図照合部136は、周辺地図141の未確定領域、すなわちステップS308の処理により新たな部分地図とならなかった残りの未確定領域と、参照地図181とのマッチング処理を行い新たな座標変換パラメータを算出する。続くステップS311では部分地図照合部136は、ステップS310において算出した座標変換パラメータを用いて、未確定領域を座標変換して新たな未確定変換部分地図を得る。続くステップS312ではギャップパラメータ算出部137は、最新の座標変換パラメータと、1つ前の座標変換パラメータとを用いてギャップパラメータを算出してステップS301に戻る。なおステップS312における最新の座標変換パラメータとは、ステップS311において算出した座標変換パラメータである。以上が図7の説明である。
図8は、周辺地図141の例を示す図である。車両100にカメラ121およびLiDAR125が搭載されており、道路を走行中である。ある時刻tにおける状態を図8(a)に示す。ある時刻tにおいて、カメラ121、LiDAR125によって、扇形の破線で示す観測範囲405内のレーンマーカ位置401とレーンマーカ以外での道路境界位置402と、建物の情報等の点群403を観測し、周辺地図141の座標系に記録している。時刻tからさらにNが経過した時刻t+Nにおける状態を図8(b)に示す。時刻t以降の時刻t+1、t+2、・・・、t+Nのそれぞれにおいてカメラ121およびLiDAR125によって、観測範囲404内のレーンマーカ位置401とレーンマーカ以外での道路境界位置402と、建物の情報等の点群403が観測された。さらに、オドメトリ推定部131から得られた自車の運動情報を用いて観測されたデータを時系列的に合成し、周辺地図141を生成する。この結果として、図8(b)のように周辺地図141の範囲は走行するにつれて拡大される。
図9は、参照地図181と周辺地図141の誤差の一例を示す図である。図9において、実線は参照地図181における道路の中心位置を示し、破線は周辺地図141における検出された走行車線を示す。
周辺地図141は図8に示したとおり、走行しながら、カメラ121、LiDAR125によって各時刻で観測されるセンサ情報を、オドメトリ推定部131から得られた自車の運動情報を用いて時系列的に合成して接続する。ただし、自車の運動情報には誤差が含まれ、また、参照地図181は高精度地図と異なり1mを超える誤差も含まれるため、周辺地図141と参照地図181の地物情報が完全に一致することはほとんどない。
したがって、参照地図181のリンク1151とノード1152とにより表される道路形状と、周辺地図141で生成される道路形状、例えばレーンマーカ1153の間の中心線は、図9に示すように誤差が生じる。このように周辺地図141と参照地図181が重ならず、辻褄があわなくなると、両方の情報を参照することができなくなる。そこで本実施の形態では、あえてずれを持つ部分地図群151を生成し、この部分地図群151を参照地図181に重ね合わせて利用する。部分地図群151におけるずれは必要に応じて復元され、シームレス化して利用する。詳しくは後述する。
図10は、参照地図181と部分地図143との照合の一例を示す図である。図10(a)は参照地図181における地物位置を示す。レーンマーカ位置601とレーンマーカ以外での道路境界位置602、停止線603、横断歩道604などの情報は含まれるが停止線603が道路境界位置602と重なるなど、位置誤差がある。図10(b)は、周辺地図141から抽出された部分地図143を示す。レーンマーカ位置611とレーンマーカ以外での道路境界位置612、停止線613、横断歩道614、建物の点群615などの情報をセンシングによって生成しているため、それぞれの地物の相対位置の精度が比較的高い。また、部分地図143として局所的な範囲を切り出しているため、1つの部分地図143の範囲内ではオドメトリによる誤差の影響も小さく、その観点でも精度が高い。
図10(a)に示す参照地図181と、図10(b)に示す部分地図143とは、同種の情報同士の誤差が小さくなるように照合する。たとえば、参照地図181における地物であるレーンマーカ位置601、およびレーンマーカ以外での道路境界位置602、停止線603、横断歩道604と、部分地図143における地物であるレーンマーカ位置611、およびレーンマーカ以外での道路境界位置612、停止線613、横断歩道614とを照合する。
照合により座標系をあわせた結果、図10(c)のようになる。これによって、参照地図181と部分地図143の双方の情報を参照可能になる。参照地図181の地物情報は精度が低いため、センシング出来ない情報を除いて基本的には部分地図143の情報を参照する。
図11は、部分地図群151の一例を示す図である。図11(a)は、部分地図抽出部135および部分地図照合部136によって、図もと5に示す周辺地図141が部分地図群151として記録された状態の一例を示す。オドメトリ誤差等によって、参照地図181と周辺地図141の地物の誤差が大きくなった部分で、部分地図143としての切り出しが行われ、さらに参照地図181と照合して座標変換を行った結果、変換部分地図144間でのずれが発生した状況である。全体としてはずれが見られるが、部分地図単体としては参照地図181と可能な限り誤差が小さくなるように照合されている。
図11(b)に図11(a)における2つの変換部分地図701と702について、詳細地物も含めて示す。変換部分地図701、および変換部分地図702は、局所的な相対精度が高いが、変換部分地図701および変換部分地図702の境界部分においてずれが生じている。このずれは、変換部分地図701に用いられた座標変換パラメータと、変換部分地図702に用いられた座標変換パラメータとの差に起因するものである。ギャップパラメータ算出部137は、両者の座標変換パラメータの差、正確には両者の座標変換パラメータの相関を示す情報をギャップパラメータ142として算出する。ギャップパラメータ142は部分地図の境界ごとに保持される。ギャップパラメータ142を用いることで変換部分地図701と変換部分地図702とをシームレスに接続できる。変換部分地図701と変換部分地図702とをつないだ地図の範囲では、オドメトリ誤差の影響は多少大きくなるが、その範囲で局所的な相対精度が維持される。
図12は、部分地図群151の別の一例を示す図である。図12では、図11(a)と同様に部分地図抽出部135および部分地図照合部136によって、図もと5に示す周辺地図141が部分地図群151として記録されている。図12において図11(a)と異なる点はオドメトリ誤差の内容であり、この例では方位だけでなく、距離方向の誤差も生じている。この場合も図11(b)と同様に、それぞれの変換部分地図801、802の中においては局所的な相対精度が保たれている。変換部分地図同士の境界部にはずれがあるが、そのずれを解消するための情報はギャップパラメータ142として保持されている。そのため、ギャップパラメータ142を用いて、変換部分地図144をシームレスに接続することができる。
図13は、連続地図生成部139の動作を示す図である。図13(a)、(b)、(c)では、図13に示す範囲の部分地図群151およびギャップパラメータ142を作成済みの車両100が、図示左から右方向に走行する。図示左側は変換部分地図901であり、図示右側は変換部分地図902である。図11において、車両100を中心とする一点鎖線の円は、自己位置推定に必要な範囲を示す。
図13(a)では、車両100が存在する変換部分地図901内だけで自己位置推定に必要な範囲の情報が足りているので、変換部分地図同士の接続は不要である。図13(b)では車両100が変換部分地図901と変換部分地図902の境界付近に差し掛かり、自己位置推定に必要な情報が変換部分地図901内だけでは足りない。そのため、変換部分地図901にあわせて変換部分地図902を、ギャップパラメータ142を用いてシームレスに接続し、変換部分地図901と変換部分地図902が接続された地図に対して地物照合による自己位置推定を実施する。
図13(c)では、車両100がギャップ位置を通り抜けて変換部分地図902上に移動している。しかし変換部分地図902だけでは自己位置推定に必要な範囲の情報が足りないため、変換部分地図902にあわせて、ギャップパラメータ142を用いて、シームレスに接続し、部分地図901と部分地図902が接続された地図に対して地物照合による自己位置推定を実施している。このように自己位置推定システム10は、ベースとする変換部分地図を変えながら、変換部分地図同士を接続させて、自己位置推定および地物参照を実施する。
図14は連続地図生成部139による生成結果の一例を示す図である。図13では隣接する2つの変換部分地図144を接続したが、AD/ADASアプリで必要とされる範囲や自己位置推定に必要な範囲にあわせて複数の変換部分地図144を接続する場合もある。図14では変換部分地図1001をベースとして、変換部分地図1002および変換部分地図1003を接続している。ただし、接続範囲を広げるほどオドメトリでの合成範囲も広がるため、接続した地図内での誤差が大きくなる。したがって、AD/ADASアプリで必要とされる範囲や自己位置推定に必要な範囲を含む、最小限の範囲で接続することが望ましい。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車両100に搭載され周囲環境を計測するセンサであるカメラ121やLiDAR125が出力するセンサ情報を取得するセンサ情報取得部201と、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図181を格納する参照地図記憶部181Kと、車両100に搭載されたセンサである車速センサ161および舵角センサ162の出力に基づき車両100の運動に関する情報である運動情報を取得するオドメトリ情報取得部202と、センサ情報および運動情報に基づいて、参照座標系とは異なる座標系である車両座標系における地図である周辺地図141を生成する周辺地図生成部134と、周辺地図141から重複しないそれぞれの領域である部分地図143を抽出する部分地図抽出部135と、部分地図143のそれぞれを参照座標系における地図である変換部分地図144に変換する座標変換パラメータについて、少なくとも隣接する部分地図同士の座標変換パラメータの相関に関する情報であるギャップパラメータ142を算出するギャップパラメータ算出部137と、を備え、部分地図抽出部135は、参照地図181とのずれ量が所定の閾値以上となったら新たな部分地図143を抽出する。そのため車載装置101は、領域の広さによらず誤差が一定以下の地図を作成できる。
(1)車両100に搭載され周囲環境を計測するセンサであるカメラ121やLiDAR125が出力するセンサ情報を取得するセンサ情報取得部201と、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図181を格納する参照地図記憶部181Kと、車両100に搭載されたセンサである車速センサ161および舵角センサ162の出力に基づき車両100の運動に関する情報である運動情報を取得するオドメトリ情報取得部202と、センサ情報および運動情報に基づいて、参照座標系とは異なる座標系である車両座標系における地図である周辺地図141を生成する周辺地図生成部134と、周辺地図141から重複しないそれぞれの領域である部分地図143を抽出する部分地図抽出部135と、部分地図143のそれぞれを参照座標系における地図である変換部分地図144に変換する座標変換パラメータについて、少なくとも隣接する部分地図同士の座標変換パラメータの相関に関する情報であるギャップパラメータ142を算出するギャップパラメータ算出部137と、を備え、部分地図抽出部135は、参照地図181とのずれ量が所定の閾値以上となったら新たな部分地図143を抽出する。そのため車載装置101は、領域の広さによらず誤差が一定以下の地図を作成できる。
(2)周辺地図141は、領域が確定した部分地図の領域である確定領域、および周辺地図から確定領域を除いた未確定領域に分けられる。車載装置101は、未確定領域を最新の座標変換パラメータを用いて算出して得られる未確定変換部分地図における参照地図とのずれ量が所定の閾値以上の場合には、ずれ量が所定の閾値未満である未確定変換部分地図に対応する未確定領域を新たな部分地図の領域として抽出する部分地図抽出部135と、未確定領域から新たな部分地図の領域を除いた照合対象領域を参照地図181と照合して最新の座標変換パラメータを算出する部分地図照合部136と、を備える。そのため、いずれの変換部分地図144も参照地図181との誤差を所定値未満に抑えることができる。
(3)車載装置101は、車両100の運動から独立した外部情報、たとえばGNSS126が算出する位置情報に基づいて参照座標系における車両の位置を特定する車両概略位置推定部132を備える。部分地図照合部136は、車両概略位置推定部132が算出する車両の位置に基づき、参照地図181における照合対象の領域を決定する。そのため、GNSS126が算出する緯度経度に基づき参照地図181における対象領域を絞ることができ、緯度経度が不明な場合に比べて計算量を大きく減らすことができる。
(4)車載装置101は、適用する座標変換パラメータφが異なる変換部分地図144の集合である部分地図群151と、少なくとも隣接する変換部分地図144同士における座標変換パラメータφの相関に関する情報を含むギャップパラメータ142と、が格納される記憶部113を備える。座標変換パラメータφは、変換部分地図144が採用する第2座標系、すなわち参照座標系に第2座標系、すなわち車測座標系から変換するためのパラメータである。いずれの変換部分地図144も、あらかじめ作成された第1座標系の地図である参照地図181とのずれ量が所定の閾値以下である。車載装置101は、車両100に搭載されるセンサの出力に基づき変換部分地図144における車両100の位置を特定する自己位置推定部138と、自己位置推定部138が推定する車両100の位置が、隣接する2つの変換部分地図144の境界に近づくと、2つの変換部分地図144に関するギャップパラメータ142に基づいて2つの変換部分地図144の相対位置を修正し、2つの変換部分地図144が連続した連続地図145を生成する連続地図生成部139と、を備える。そのため、領域の広さによらず誤差が一定以下の地図である変換部分地図144を用いて高精度な位置推定を実現できる。
(変形例1)
上述した第1の実施の形態では、隣接する変換部分地図144同士の変換パラメータの相関、すなわち「f(φ2)T*f(φ1)」をギャップパラメータ142として保存した。しかし変換パラメータの組み合わせである「φ2」と「φ1」をギャップパラメータ142として保存してもよいし、それぞれの変換部分地図144における変換パラメータそのもの、たとえば「φ2」をギャップパラメータ142として保存してもよい。すなわちギャップパラメータ142は、変換部分地図144同士をシームレスに接続するために必要な演算に用いられるパラメータであればよく、様々な形態で保存できる。
上述した第1の実施の形態では、隣接する変換部分地図144同士の変換パラメータの相関、すなわち「f(φ2)T*f(φ1)」をギャップパラメータ142として保存した。しかし変換パラメータの組み合わせである「φ2」と「φ1」をギャップパラメータ142として保存してもよいし、それぞれの変換部分地図144における変換パラメータそのもの、たとえば「φ2」をギャップパラメータ142として保存してもよい。すなわちギャップパラメータ142は、変換部分地図144同士をシームレスに接続するために必要な演算に用いられるパラメータであればよく、様々な形態で保存できる。
(変形例2)
車載装置101は、記憶部113に格納された部分地図群151を、通信装置182を介して車両100の外部に存在するサーバ等に送信してもよい。また、他の車両に搭載された自動運転装置102によって通信装置182を介してサーバに格納された部分地図群151を、通信装置182を介して記憶部113に格納し、自己位置推定に活用してもよい。
車載装置101は、記憶部113に格納された部分地図群151を、通信装置182を介して車両100の外部に存在するサーバ等に送信してもよい。また、他の車両に搭載された自動運転装置102によって通信装置182を介してサーバに格納された部分地図群151を、通信装置182を介して記憶部113に格納し、自己位置推定に活用してもよい。
(変形例3)
上述した第1の実施の形態では、図7のステップS305~S307に示したように、周辺地図141の未確定領域を座標変換して参照地図181とのずれを評価して部分地図143として抽出するか否かを判断した。しかし、部分地図143を抽出するか否かは他の手法により判断してもよい。たとえば、オドメトリ推定部131の累積誤差を推定または算出して、累積誤差が所定の閾値を超えるたびに新たな部分地図143を抽出してもよい。
上述した第1の実施の形態では、図7のステップS305~S307に示したように、周辺地図141の未確定領域を座標変換して参照地図181とのずれを評価して部分地図143として抽出するか否かを判断した。しかし、部分地図143を抽出するか否かは他の手法により判断してもよい。たとえば、オドメトリ推定部131の累積誤差を推定または算出して、累積誤差が所定の閾値を超えるたびに新たな部分地図143を抽出してもよい。
たとえば、図7のステップS305~S307の代わりに次の処理を行ってもよい。すなわち、オドメトリ推定部131が算出する車両100の位置と、車両概略位置推定部132が算出する車両100の位置とを比較して、両者の差が所定の閾値以上の場合にステップS305の処理を行ってステップS308に進む。両社の差が所定の閾値未満の場合にはステップS301に戻る。
また、オドメトリ推定部131が算出する車両100の位置と、車両概略位置推定部132が算出する車両100の位置とを比較する代わりに、統計処理により累積誤差の大きさを推定してもよい。センサの誤差は、時間経過、温度、および振動の影響を受けることがある。そのため、これらとセンサの誤差の相関をあらかじめ調べておき、時間の経過、温度変化、および振動の大きさによりセンサの累積誤差を推定し、その推定する累積誤差が前述の所定の閾値以上であるか否かを判断してもよい。
(変形例4)
上述した第1の実施の形態では、地図生成部250が生成する部分地図群151の座標系は参照座標系であった。しかし、地図生成部250は生成する部分地図群151の座標系を車測座標系としてもよい。換言すると、図6において符号Q1やQ2で示す変換部分地図144の代わりに、図6において符号P1やP2で示す部分地図143が部分地図群151に含まれてもよい。またこの場合のギャップパラメータ142は、それぞれの部分地図143における変換パラメータの集合であることが望ましい。なお、本変形例の構成で部分地図群151を保存する場合でも、それぞれの変換パラメータが保存されているので、第1の実施の形態と同様に連続地図を生成できる。
上述した第1の実施の形態では、地図生成部250が生成する部分地図群151の座標系は参照座標系であった。しかし、地図生成部250は生成する部分地図群151の座標系を車測座標系としてもよい。換言すると、図6において符号Q1やQ2で示す変換部分地図144の代わりに、図6において符号P1やP2で示す部分地図143が部分地図群151に含まれてもよい。またこの場合のギャップパラメータ142は、それぞれの部分地図143における変換パラメータの集合であることが望ましい。なお、本変形例の構成で部分地図群151を保存する場合でも、それぞれの変換パラメータが保存されているので、第1の実施の形態と同様に連続地図を生成できる。
(変形例5)
上述した第1の実施の形態では、局所的には参照地図181よりも周辺地図141の精度が高いが、広域的には周辺地図141よりも参照地図181の精度が高いと説明した。しかし、両者の精度はこれに限定されない。たとえば、局所および広域の両方において参照地図181よりも周辺地図141の精度が高くてもよいし、周辺地図141よりも参照地図181の精度が高くてもよい。すなわち、参照地図181および周辺地図141の精度に関わらず、上述した第1の実施の形態を適用できる。
上述した第1の実施の形態では、局所的には参照地図181よりも周辺地図141の精度が高いが、広域的には周辺地図141よりも参照地図181の精度が高いと説明した。しかし、両者の精度はこれに限定されない。たとえば、局所および広域の両方において参照地図181よりも周辺地図141の精度が高くてもよいし、周辺地図141よりも参照地図181の精度が高くてもよい。すなわち、参照地図181および周辺地図141の精度に関わらず、上述した第1の実施の形態を適用できる。
―第2の実施の形態―
図15を参照して、演算装置および自己位置推定装置である車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、部分地図群151およびギャップパラメータ142が車両外で生成される点で、第1の実施の形態と異なる。
図15を参照して、演算装置および自己位置推定装置である車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、部分地図群151およびギャップパラメータ142が車両外で生成される点で、第1の実施の形態と異なる。
図15は、第2の実施の形態における位置推定システムの概要構成図である。位置推定システムは、情報送信車両100Aと、地図生成サーバ2と、情報利用車両100Bとを備える。本実施の形態では、部分地図群151およびギャップパラメータ142の生成が地図生成サーバ2において実行される。情報送信車両100Aは、地図生成サーバ2に対して、部分地図群151およびギャップパラメータ142の生成に必要な情報を送信する。情報利用車両100Bは、地図生成サーバ2から部分地図群151およびギャップパラメータ142を受信して利用する。各構成を詳述する。
図15では記載を省略しているが、情報送信車両100Aおよび情報利用車両100Bは、カメラ121と、LiDAR125と、GNSS126と、車速センサ161と、舵角センサ162と、通信装置182と、を備える。情報送信車両100Aは車載装置101および参照地図181を備えなくてよい。情報利用車両100Bおよび地図生成サーバ2は、参照地図181を備える。情報送信車両100Aおよび情報利用車両100Bは、通信装置182を用いて地図生成サーバ2と通信する。
センサ情報送信部201Sは、各外界センサから出力される信号を取得し、地図生成サーバ2に送信する。オドメトリ情報送信部202Sは、車速センサ161および舵角センサ162から出力されるオドメトリ推定に関わる速度や舵角などの信号を取得して地図生成サーバ2に送信する。位置情報送信部203Sは、GNSS126から出力される車両100の現在位置を表す緯度経度情報を取得して地図生成サーバ2に送信する。
センサ情報送信部201S、オドメトリ情報送信部202S、および位置情報送信部203Sは、取得した信号をその都度、地図生成サーバ2に送信してもよいし、所定期間ごと、たとえば1時間ごとに送信してもよいし、所定のイベントごと、たとえばイグニッションスイッチがオフにされるたびに送信してもよい。センサ情報送信部201S、オドメトリ情報送信部202S、および位置情報送信部203Sは、取得した信号をそのまま送信するのではなく、タイムスタンプを付して送信することが望ましい。
地図生成サーバ2は、中央演算装置であるCPU、読み出し専用の記憶装置であるROM、および読み書き可能な記憶装置であるRAMを備え、CPUがROMに格納されるプログラムをRAMに展開して実行することで地図生成部250として動作する。地図生成サーバ2は、CPU、ROM、およびRAMの組み合わせの代わりにFPGAやASICを利用して地図生成部250を実現してもよい。また地図生成サーバ2は、CPU、ROM、およびRAMの組み合わせの代わりに、異なる構成の組み合わせ、たとえばCPU、ROM、RAMとFPGAの組み合わせにより地図生成部250を実現してもよい。
地図生成サーバ2が備える地図生成部250の処理は、第1の実施の形態において説明した処理と略同一である。相違点は、センサ情報取得部201、オドメトリ情報取得部202、および位置情報取得部203が、センサから直接情報を取得するのではなく、情報送信車両100Aから送信されたセンサの情報を利用する点である。地図生成サーバ2は、生成した部分地図群151およびギャップパラメータ142を情報利用車両100Bに送信する。
情報利用車両100Bは、図4に示した位置推定部350、参照地図181、記憶部113、および車両制御装置190を備える。記憶部113に格納される部分地図群151およびギャップパラメータ142は、通信装置182を用いて地図生成サーバ2から受信したものである。部分地図群151およびギャップパラメータ142は、通信モジュール114を介して位置推定部350に読み込まれるので、位置推定部350は、部分地図群151およびギャップパラメータ142を外部から通信装置182を介して受信する通信モジュール114を備えるとも言える。
上述した第2の実施の形態によれば、次の作用効果が得られる。
(5)位置推定部350は情報利用車両100Bに搭載される。位置推定部350は、部分地図群151およびギャップパラメータ142を外部から通信装置182を介して受信する通信モジュール114を備える。そのため位置推定部350は、他の車両である情報送信車両100Aが取得したセンサ情報に基づいて生成された部分地図群151およびギャップパラメータ142を用いることができるので、初めて走行する場所でも高精度な位置推定が実現できる。
(5)位置推定部350は情報利用車両100Bに搭載される。位置推定部350は、部分地図群151およびギャップパラメータ142を外部から通信装置182を介して受信する通信モジュール114を備える。そのため位置推定部350は、他の車両である情報送信車両100Aが取得したセンサ情報に基づいて生成された部分地図群151およびギャップパラメータ142を用いることができるので、初めて走行する場所でも高精度な位置推定が実現できる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、車両100が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと車載装置101が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、1つの機能ブロック図で表した構成を2以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。
2…地図生成サーバ
10…自己位置推定システム
100…車両
100A…情報送信車両
100B…情報利用車両
101…車載装置
114…通信モジュール
134…周辺地図生成部
135…部分地図抽出部
136…部分地図照合部
137…ギャップパラメータ算出部
138…自己位置推定部
139…連続地図生成部
141…周辺地図
142…ギャップパラメータ
143…部分地図
144…変換部分地図
145…連続地図
151…部分地図群
181…参照地図
250…地図生成部
350…位置推定部
UP…未確定領域
UQ…未確定変換部分地図
10…自己位置推定システム
100…車両
100A…情報送信車両
100B…情報利用車両
101…車載装置
114…通信モジュール
134…周辺地図生成部
135…部分地図抽出部
136…部分地図照合部
137…ギャップパラメータ算出部
138…自己位置推定部
139…連続地図生成部
141…周辺地図
142…ギャップパラメータ
143…部分地図
144…変換部分地図
145…連続地図
151…部分地図群
181…参照地図
250…地図生成部
350…位置推定部
UP…未確定領域
UQ…未確定変換部分地図
Claims (7)
- 車両に搭載され周囲環境を計測するセンサが出力するセンサ情報を取得するセンサ情報取得部と、
あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図を格納する記憶部と、
前記車両に搭載されたセンサの出力に基づき前記車両の運動に関する情報である運動情報を取得するオドメトリ情報取得部と、
前記センサ情報および前記運動情報に基づいて、前記参照座標系とは異なる座標系である車両座標系における地図である周辺地図を生成する周辺地図生成部と、
前記周辺地図から重複しないそれぞれの領域である部分地図を抽出する部分地図抽出部と、
前記部分地図のそれぞれを前記参照座標系における地図である変換部分地図に変換する座標変換パラメータについて、少なくとも隣接する前記部分地図同士の前記座標変換パラメータの相関に関する情報であるギャップパラメータを算出するギャップパラメータ算出部と、を備え、
前記部分地図抽出部は、前記参照地図とのずれ量が所定の閾値以上となったら新たな前記部分地図を生成する、演算装置。 - 請求項1に記載の演算装置において、
前記周辺地図は、前記部分地図の領域である確定領域、および前記周辺地図から前記確定領域を除いた未確定領域に分けられ、
前記部分地図抽出部は、前記未確定領域を最新の前記座標変換パラメータを用いて算出して得られる未確定変換部分地図における前記参照地図とのずれ量が前記所定の閾値以上の場合には、ずれ量が前記所定の閾値未満である前記未確定変換部分地図に対応する前記未確定領域を新たな前記部分地図の領域として抽出し、
前記未確定領域から前記新たな前記部分地図の領域を除いた照合対象領域を前記参照地図と照合して最新の前記座標変換パラメータを算出する部分地図照合部と、をさらに備える、演算装置。 - 請求項2に記載の演算装置において、
前記車両の運動から独立した外部情報に基づいて前記参照座標系における前記車両の位置を特定する車両概略位置推定部をさらに備え、
前記部分地図照合部は、前記車両概略位置推定部が算出する前記車両の位置に基づき、前記参照地図における照合対象の領域を決定する、演算装置。 - 請求項1に記載の演算装置において、
前記変換部分地図の集合である部分地図群および前記ギャップパラメータを格納する記憶部と、
車両に搭載されるセンサの出力に基づき前記変換部分地図における前記車両の位置を特定する自己位置推定部と、
前記自己位置推定部が推定する前記車両の位置が、隣接する2つの前記変換部分地図の境界に近づくと、前記2つの前記変換部分地図に関する前記ギャップパラメータに基づいて前記2つの前記変換部分地図の相対位置を修正し、前記2つの前記変換部分地図が連続した連続地図を生成する連続地図生成部と、をさらに備える、演算装置。 - 適用する座標変換パラメータが異なる変換部分地図の集合である部分地図群と、少なくとも隣接する前記変換部分地図同士における前記座標変換パラメータの相関に関する情報を含むギャップパラメータと、が格納される記憶部を備え、
前記座標変換パラメータは、前記変換部分地図が採用する第1座標系に前記第1座標系とは異なる第2座標系から変換するためのパラメータであり、
いずれの前記変換部分地図も、あらかじめ作成された前記第1座標系の地図である参照地図とのずれ量が所定の閾値以下であり、
車両に搭載されるセンサの出力に基づき前記変換部分地図における前記車両の位置を特定する自己位置推定部と、
前記自己位置推定部が推定する前記車両の位置が、隣接する2つの前記変換部分地図の境界に近づくと、前記2つの前記変換部分地図に関する前記ギャップパラメータに基づいて前記2つの前記変換部分地図の相対位置を修正し、前記2つの前記変換部分地図が連続した連続地図を生成する連続地図生成部と、を備える自己位置推定装置。 - 請求項5に記載の自己位置推定装置において、
当該自己位置推定装置は前記車両に搭載され、
前記部分地図群および前記ギャップパラメータを外部から受信する通信部を備える、自己位置推定装置。 - 車両に搭載され周囲環境を計測するセンサが出力するセンサ情報を取得するセンサ情報取得部、あらかじめ作成された、所定の世界座標系である参照座標系の地図である参照地図を格納する記憶部、および前記車両に搭載されたセンサの出力に基づき前記車両の運動に関する情報である運動情報を取得するオドメトリ情報取得部とを備える演算装置が実行する地図情報生成方法であって、
前記センサ情報および前記運動情報に基づいて、前記参照座標系とは異なる座標系である車両座標系における地図である周辺地図を生成する生成ステップと、
前記周辺地図から重複しないそれぞれの領域である部分地図を抽出する抽出ステップと、
前記部分地図のそれぞれを前記参照座標系における地図である変換部分地図に変換する座標変換パラメータについて、少なくとも隣接する前記部分地図同士の前記座標変換パラメータの相関に関する情報であるギャップパラメータを算出する算出ステップと、を含み、
前記生成ステップでは、前記参照地図とのずれ量が所定の閾値以上となったら新たな前記部分地図を生成する、地図情報生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/723,564 US20250052594A1 (en) | 2022-01-21 | 2022-11-29 | Computing device, own-position estimating device, and map information generating method |
| DE112022005296.1T DE112022005296T5 (de) | 2022-01-21 | 2022-11-29 | Berechnungsvorrichtung, Eigenpositionsschätzvorrichtung und Karteninformationserzeugungsverfahren |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-008048 | 2022-01-21 | ||
| JP2022008048A JP7781656B2 (ja) | 2022-01-21 | 2022-01-21 | 演算装置、自己位置推定装置、地図情報生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023139935A1 true WO2023139935A1 (ja) | 2023-07-27 |
Family
ID=87348069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/044066 Ceased WO2023139935A1 (ja) | 2022-01-21 | 2022-11-29 | 演算装置、自己位置推定装置、地図情報生成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20250052594A1 (ja) |
| JP (1) | JP7781656B2 (ja) |
| DE (1) | DE112022005296T5 (ja) |
| WO (1) | WO2023139935A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025079265A1 (ja) * | 2023-10-13 | 2025-04-17 | 株式会社Fuji | 部品実装システム、管理装置及びコンピュータプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010092147A (ja) * | 2008-10-06 | 2010-04-22 | Murata Machinery Ltd | 自律移動装置 |
| WO2014076844A1 (ja) * | 2012-11-19 | 2014-05-22 | 株式会社日立製作所 | 自律移動システムおよび管制装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050046615A1 (en) * | 2003-08-29 | 2005-03-03 | Han Maung W. | Display method and apparatus for navigation system |
| KR100634010B1 (ko) * | 2004-01-20 | 2006-10-13 | 엘지전자 주식회사 | 디지털 지도의 좌표 값 변환방법 |
| US8825387B2 (en) * | 2008-07-25 | 2014-09-02 | Navteq B.V. | Positioning open area maps |
| US20200050205A1 (en) * | 2018-08-07 | 2020-02-13 | Cnh Industrial America Llc | System and method for updating a mapped area |
| CN110000786B (zh) * | 2019-04-12 | 2020-09-01 | 珠海市一微半导体有限公司 | 一种基于视觉机器人的历史地图利用方法 |
| JP2021128207A (ja) | 2020-02-12 | 2021-09-02 | 本田技研工業株式会社 | 地図作成装置、地図作成システム、地図作成方法、およびプログラム |
| JP2023063779A (ja) * | 2021-10-25 | 2023-05-10 | フォルシアクラリオン・エレクトロニクス株式会社 | 情報処理装置 |
-
2022
- 2022-01-21 JP JP2022008048A patent/JP7781656B2/ja active Active
- 2022-11-29 WO PCT/JP2022/044066 patent/WO2023139935A1/ja not_active Ceased
- 2022-11-29 US US18/723,564 patent/US20250052594A1/en active Pending
- 2022-11-29 DE DE112022005296.1T patent/DE112022005296T5/de active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010092147A (ja) * | 2008-10-06 | 2010-04-22 | Murata Machinery Ltd | 自律移動装置 |
| WO2014076844A1 (ja) * | 2012-11-19 | 2014-05-22 | 株式会社日立製作所 | 自律移動システムおよび管制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20250052594A1 (en) | 2025-02-13 |
| DE112022005296T5 (de) | 2024-09-05 |
| JP7781656B2 (ja) | 2025-12-08 |
| JP2023106980A (ja) | 2023-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7559296B2 (ja) | 方法、システムおよびプログラム | |
| CN110160542B (zh) | 车道线的定位方法和装置、存储介质、电子装置 | |
| CN110057373B (zh) | 用于生成高精细语义地图的方法、装置和计算机存储介质 | |
| CN106352867B (zh) | 用于确定车辆自身位置的方法和设备 | |
| US10788830B2 (en) | Systems and methods for determining a vehicle position | |
| JP6354120B2 (ja) | 道路情報送信装置、地図生成装置、道路情報収集システム | |
| JP6656886B2 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
| Matthaei et al. | Map-relative localization in lane-level maps for ADAS and autonomous driving | |
| RU2764483C1 (ru) | Способ помощи при вождении и устройство помощи при вождении | |
| CN113405555B (zh) | 一种自动驾驶的定位传感方法、系统及装置 | |
| JP2019534513A (ja) | 航空画像または衛星画像と車両によって検出されたデータとからディジタル道路モデルを生成するためのシステムおよび方法 | |
| JP7114165B2 (ja) | 位置計算装置、及び、位置計算プログラム | |
| WO2023139935A1 (ja) | 演算装置、自己位置推定装置、地図情報生成方法 | |
| CN115540889A (zh) | 使用相机、gps和imu定位自动驾驶车辆 | |
| Lee et al. | Infrastructure node-based vehicle localization for autonomous driving | |
| JP7302966B2 (ja) | 移動体 | |
| CN113390422B (zh) | 汽车的定位方法、装置及计算机存储介质 | |
| US20240200953A1 (en) | Vision based cooperative vehicle localization system and method for gps-denied environments | |
| Buczko et al. | Efficient global localization using vision and digital offline map | |
| JP2020073931A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
| Wang et al. | Vision aided GPS/INS system for robust land vehicle navigation | |
| US20250130065A1 (en) | Method for assisting in the creation of an elevation map | |
| CN113822932B (zh) | 设备定位方法、装置、非易失性存储介质及处理器 | |
| WO2023037570A1 (ja) | 車載処理装置、車両制御装置、及び自己位置推定方法 | |
| Kojima et al. | High accuracy local map generation method based on precise trajectory from GPS Doppler |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22922086 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 18723564 Country of ref document: US |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 112022005296 Country of ref document: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22922086 Country of ref document: EP Kind code of ref document: A1 |