[go: up one dir, main page]

WO2019039106A1 - 画像認識装置 - Google Patents

画像認識装置 Download PDF

Info

Publication number
WO2019039106A1
WO2019039106A1 PCT/JP2018/025461 JP2018025461W WO2019039106A1 WO 2019039106 A1 WO2019039106 A1 WO 2019039106A1 JP 2018025461 W JP2018025461 W JP 2018025461W WO 2019039106 A1 WO2019039106 A1 WO 2019039106A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
sign
unit
traveling
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/025461
Other languages
English (en)
French (fr)
Inventor
永崎　健
雄飛 椎名
優貴 造田
啓佑 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2019537970A priority Critical patent/JP6941677B2/ja
Publication of WO2019039106A1 publication Critical patent/WO2019039106A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image recognition apparatus that is mounted on a vehicle and that recognizes an object based on an image of the surroundings captured by an imaging device.
  • an on-vehicle camera device mounted on a vehicle and equipped with an image recognition device is known. Recently, with the improvement of social recognition for safe driving and automatic driving, the demand for recognition of various objects in an on-vehicle camera device has become high.
  • the on-vehicle camera device measures various visual objects (people, etc.) around the vehicle at the same time, for example, by simultaneously measuring visual information from the image and distance information to the object using an image obtained by imaging the outside of the vehicle with a pair of cameras. It is a device that can grasp other vehicles, three-dimensional objects, white lines, road surfaces, signs, etc. in detail, and contributes to the improvement of safety at the time of driving support.
  • a road marking (T-mark indicating a T intersection) recognized from a photographed image is associated with a road shape (T-intersection) recognized from a photographed image.
  • An invention is disclosed that seeks to reduce recognition.
  • Patent No. 4973736 gazette
  • An object of the present invention is to provide an image recognition device capable of recognizing a sign from a captured image and judging the relation of the sign to the vehicle.
  • the present invention travels the traveling area detected by the detection unit that detects the traveling area of the vehicle based on the captured image, the recognition unit that recognizes marker information based on the captured image, and the detection unit. And a determination unit that determines the relationship between the vehicle and the sign information recognized by the recognition unit.
  • an image recognition device capable of recognizing a sign from a captured image and judging the relation of the sign to the vehicle.
  • FIG. 1 is a block diagram showing a schematic configuration of an image recognition apparatus according to the present invention.
  • BRIEF DESCRIPTION OF THE DRAWINGS The block diagram which shows schematic structure of a vehicle-mounted system provided with the vehicle-mounted stereo camera apparatus which concerns on Example 1 of this invention.
  • FIG. 3 is a diagram showing a processing flow of a recognition application in the on-vehicle stereo camera device 100 shown in FIG. 2.
  • FIG. 4 is a block diagram showing a configuration for executing various object recognition processing 209 and travel situation understanding and sign determination processing 211 shown in FIG. 3.
  • FIG. 6 is a diagram showing a road end detected by the road end detection unit 304. The figure which shows the road end detected by the road end detection part 304 in a fork road.
  • FIG. 7 is a transition diagram showing a procedure of recognizing a traveling situation by a traveling situation understanding unit 309 shown in FIG. 4; The figure which shows the relationship between a driving condition and an effective sign. The figure which shows the relationship between a driving condition and an effective sign.
  • FIG. 1 is a block diagram showing a schematic configuration of an image recognition apparatus according to the present invention.
  • the image recognition device 1 is mounted on, for example, a vehicle, and a detection unit 2 that detects a traveling region of the vehicle based on a captured image, a recognition unit 3 that recognizes marker information based on the captured image, and travel detected by the detection unit 2 And a determination unit that determines the relationship between the vehicle traveling in the area and the sign information recognized by the recognition unit.
  • the judgment unit 4 judges the relation between the host vehicle traveling in the traveling area detected by the detection unit 2 and the sign information recognized by the recognition unit 3, thereby, for example, the sign from the captured image While being recognized, it can be determined whether it is a valid sign for the vehicle.
  • the relation between the host vehicle traveling in the travel area detected by the detection unit 2 and the sign information recognized by the recognition unit 3 is, for example, whether the sign is applied to the host vehicle or the sign Is not applied to the subject vehicle, or the sign is to be applied to the subject vehicle as the subject vehicle advances, or the sign is provided for the subject vehicle as the subject vehicle advances. It can be said that it is related that it will not be applied to the vehicle.
  • the judgment unit 4 determines that the marker information is applied to the vehicle. Do.
  • the judgment unit 4 judges that the marker information is not applied to the vehicle. And the marker information is not output to the outside, or the marker information is output to the outside together with the effect that it is not applied to the vehicle.
  • FIG. 2 is a block diagram showing a schematic configuration of an in-vehicle system including the in-vehicle stereo camera device according to the first embodiment of the present invention.
  • an on-vehicle stereo camera device 100 will be described as an example of the image recognition device according to the present invention.
  • the on-vehicle stereo camera device 100 according to the present embodiment is a device mounted on a vehicle (not shown), which captures an image of a shooting target area in front of the vehicle by the cameras 101 and 102 and recognizes the outside environment based on the captured image. .
  • the on-vehicle stereo camera device 100 recognizes, for example, a white line of a road, a pedestrian, a vehicle, other three-dimensional objects, signals, signs, lighting lamps, etc. Make adjustments such as brakes and steering adjustments. In addition, after the on-vehicle stereo camera device 100 is mounted on a vehicle, the on-vehicle stereo camera device 100 also performs an aiming process of calculating the correction amount of the optical axis and the ranging error in the vehicle factory.
  • the on-vehicle stereo camera device 100 controls image capturing of the two cameras 101 and 102 arranged on the left and right to acquire image information (captures an image), and the image input for capturing the captured image. And an interface 103.
  • the data captured by the cameras 101 and 102 captured through the image input interface 103 is sent through the internal bus 109, processed by the image processing unit 104 and the arithmetic processing unit 105, and results in the middle of processing and final results Image data and the like are stored in the storage unit 106.
  • the image processing unit 104 includes a first image obtained from an imaging element of the camera 101 of the cameras 101 and 102 as a stereo camera and a second image obtained from an imaging element of the camera 102 of the cameras 101 and 102 as stereo cameras.
  • the images are compared with each other, correction of deviation inherent to the device caused by the image pickup element, and image correction such as noise interpolation are performed on each image, and this is stored in the storage unit 106. Furthermore, mutually corresponding parts are calculated between the first image and the second image, parallax information is calculated, and the processed image information and the like are stored in the storage unit 106.
  • the arithmetic processing unit 105 uses the image and parallax information (distance information for each point on the image) stored in the storage unit 106 to recognize various objects necessary for perceiving the environment around the vehicle.
  • the various objects include people, other vehicles, other obstacles, traffic lights, signs, tail lamps and head rides of other vehicles, and the like.
  • the recognition result and a part of the intermediate calculation result are recorded in the storage unit 106 as described above. After performing various object recognition on the captured image, control of the vehicle is calculated using these recognition results.
  • a control policy of the vehicle obtained as a result of the calculation and a part of the result of object recognition are transmitted to the in-vehicle network CAN 110 through a controller area network (CAN) interface 107 to control the vehicle.
  • the control processing unit 108 monitors whether each processing unit has caused an abnormal operation, whether an error has occurred during data transfer, and the like, and a mechanism for preventing the abnormal operation is provided. ing.
  • the image processing unit 104 is connected to the control processing unit 108, the storage unit 106, the arithmetic processing unit 105, the image input interface 103, and the CAN interface 107 via the internal bus 109.
  • Each of the control processing unit 108, the image processing unit 104, the storage unit 106, the arithmetic processing unit 105, the image input interface 103, and the CAN interface 107 is configured of a single or a plurality of computer units.
  • the storage unit 106 is configured of, for example, a memory that stores image information and the like subjected to image processing by the image processing unit 104 and image information and the like subjected to arithmetic processing and the like by the arithmetic processing unit 105.
  • the CAN interface 107 that performs input and output with the in-vehicle network CAN 110 outputs the information output from the in-vehicle stereo camera device 100 to a control system (not shown) of the host vehicle via the in-vehicle network CAN 110.
  • FIG. 3 is a diagram showing a processing flow of a recognition application in the on-vehicle stereo camera device 100 shown in FIG.
  • the left and right cameras 101 and 102 capture the outside of the vehicle.
  • an image processing 205 such as correction for absorbing a peculiar wrinkle of the imaging device (not shown) of the cameras 101 and 102 is performed. Do.
  • This image processing 205 may use any known method.
  • Two corrected images (left and right images) which are the processing result of the image processing 205 are stored in the image buffer 206.
  • the image buffer 206 is provided in the storage unit 106 of FIG.
  • the images are compared to obtain parallax information of the images obtained by the left and right cameras 101 and 102.
  • the parallax of the left and right images makes it clear that where on the object a point of interest on the object corresponds to where on the images obtained with the left and right cameras 101 and 102, for example, the distance to the object according to the principle of triangulation. Will be obtained. It is parallax processing 207 that does this.
  • the image processing 205 and the parallax processing 207 are performed by the image processing unit 104 in FIG. 1, and the finally obtained image and the parallax information are stored in the storage unit 106.
  • various object recognition processing 209 is performed using the image stored in the storage unit 106 and the parallax information, that is, the processing result of the image processing 205 and the parallax processing 207.
  • objects to be recognized include people, other vehicles, other three-dimensional objects, signs, traffic lights, tail lamps, roadsides, three-dimensional objects on road surfaces, etc.
  • the recognition dictionary 210 is used as necessary. .
  • the recognition dictionary 210 is stored in the storage unit 106, but may be stored in another storage device (not shown).
  • the recognition dictionary 210 is, for example, a dictionary in which the feature of the shape or motion of the recognition target is associated with its type (name) and meaning.
  • the image and parallax information stored in the storage unit 106 by the image processing 205 and the parallax processing 207 are compared with the recognition dictionary 210 to recognize an object.
  • Object recognition processing in the various object recognition processing 209 may use any known method.
  • the in-vehicle network CAN 110 and the CAN interface 107 obtain the result of object recognition by the various object recognition processing 209 and the state of the host vehicle (speed, steering angle etc.) (for example, speed sensor or steering angle sensor not shown).
  • the traveling condition understanding and sign determination process 211 the traveling condition understanding and the judgment of the effective indication sign for the own vehicle are performed. Details of the travel situation understanding / mark determination process 211 will be described later.
  • the vehicle control processing 212 issues a warning regarding the speed exceeding or the type of the detected sign to the occupant based on the result of the effective indication sign for the own vehicle by the traveling situation understanding / mark determination processing 211, and A policy such as angle adjustment or the like to perform braking or an avoidance control of an object is determined, and a policy such as warning, braking or avoidance control is output through the CAN interface 107.
  • Various object recognition processing 209, travel situation understanding / mark determination processing 211, and vehicle control processing 212 are performed by the arithmetic processing unit 105 in FIG. 1, and output to the in-vehicle network CAN 110 is performed by the CAN interface 107.
  • Each of these processing means is constituted by, for example, a single or a plurality of computer units, and is configured to exchange data mutually.
  • FIG. 4 is a block diagram showing a configuration for executing the various object recognition processing 209 and the travel situation understanding / mark determination processing 211 shown in FIG.
  • the element recognition unit 301 recognizes elements that are various objects from the captured image.
  • the element recognition unit 301 detects the three-dimensional object / pedestrian who is one of the elements, and the three-dimensional object / pedestrian detection that detects the three-dimensional object / pedestrian who is one of the elements.
  • a section 303 a roadside detection unit 304 for detecting a roadside which is one of the elements, a sign recognition unit 305 for recognizing a sign which is one of the elements, and a road surface which is one of the elements
  • a zebra zone recognition unit 306 for recognizing white lines and guidance displayed on the zebra zone (guidance zone) of the mark and the road surface, and a three-dimensional object recognition 307 for recognizing a three-dimensional object on the road surface which is one of the elements;
  • a destination signboard recognition unit 308 that recognizes a signboard indicating the destination of an expressway, which is one of the elements, and performs recognition and detection of each element.
  • the road end detection unit 304 detects the road end of the road on which the host vehicle is traveling. The detection of the road end will be described with reference to FIGS. 5A, 5B and 5C.
  • FIG. 5A is a view showing the road end detected by the road end detection unit 304.
  • FIG. FIG. 5A is an example of a captured image obtained by capturing the front of the vehicle with the left and right cameras 101 and 102.
  • FIG. 5B is a diagram showing the road end detected by the road end detection unit 304 in the branch road.
  • FIG. 5B is an example of a drawing processed on a road different from that of FIG. 5A, in which a captured image obtained by capturing the front of the host vehicle with the left and right cameras 101 and 102 is viewed.
  • FIG. 5C is a view showing the road end detected by the road end detection unit 304 in the combined flow path.
  • FIG. 5C is an example of a processed view of a captured image obtained by capturing the front of the vehicle with the left and right cameras 101 and 102 on a road different from that in FIGS. 5A and 5B.
  • a convex object having a certain height or more on the road surface can be detected.
  • the roadside detection unit 304 detects a continuous part of the convex objects detected by the three-dimensional object / pedestrian detection unit 303, and thereby detects an end of the road such as a guardrail, a side wall, a curb or the like.
  • the roadside detection is.
  • the roadside 320 which is the result of roadside detection, is detected as shown by the squares in FIGS. 5A, 5B and 5C.
  • the road end 320 on the left side and the road end 320 on the right side continue inward at approximately the same angle toward the front in the traveling direction of the vehicle. If it is, it is understood that it is a straight road.
  • the sign recognition unit 305 recognizes within a predetermined range from this traveling area. If it is determined that the sign is present, it is determined that the sign is a sign (effective sign) applied to the vehicle.
  • the signs within a predetermined range from the traveling area may be signs within several meters (for example, 2 m) from the road end 320 on the left side and the road end 320 on the right side, for example.
  • the valid sign determination unit 310 based on the traveling area of the own vehicle (the area between the road end 320 on the left side and the road end 320 on the right), the sign recognition unit 305 outside the predetermined range from this traveling area. If there is a sign recognized by the sign, it may be determined that the sign is a sign not applied to the vehicle (ineffective sign).
  • the oncoming vehicle is recognized by the road surface three-dimensional object recognition 307, if the road end 320 on the right side is on the right side of the oncoming vehicle (the case where the vehicle is passing on the left side is assumed), the left side. Signs within a few meters (for example, 2 m) from the road end 320 of the road are determined to be signs (effective signs) applied to the vehicle, and signs within a few meters (for example 2 m) from the road end 320 on the right It may be determined that the sign is not applied to the host vehicle (not an effective sign) (a sign applied to an oncoming vehicle).
  • the road surface solid object recognition 307 recognizes a preceding vehicle having the same traveling direction as the own vehicle on the right side of the host vehicle, even if the road end 320 on the right side is the right side of the preceding vehicle. (It is assumed that the vehicle is traveling on the left side.)
  • a sign within several meters (for example, 2 m) from the road end 320 on the left side is determined to be a sign (effective sign) applied to the host vehicle.
  • a sign within several meters (for example, 2 m) from the road end 320 on the right side may be determined to be a sign (effective sign) applied to the host vehicle.
  • the road surface three-dimensional object recognition 307 recognizes a leading vehicle having the same traveling direction as the host vehicle on the left side of the host vehicle, even if the road end 320 on the left side is the left side of the leading vehicle (It is assumed that the vehicle is traveling on the left side.)
  • a sign within several meters (for example, 2 m) from the road end 320 on the left side is determined to be a sign (effective sign) applied to the host vehicle.
  • a sign within several meters (for example, 2 m) from the road end 320 on the right side may be determined to be a sign (effective sign) applied to the host vehicle.
  • the road end 320 on the left side is inclined outward and the road end 320 on the right side is not inclined when traveling forward with the host vehicle. I understand. Also, as in the bird's-eye view of FIG. 5C, when the road end 320 on the left side is inclined inward and the road end 320 on the right side is not inclined toward the front in the traveling direction of the vehicle, I know that there is.
  • FIG. 5B shows the case where the sign 321 applied to a vehicle traveling on the left branch road is present
  • FIG. 5C shows the case where the sign 321 applied to a vehicle traveling on the left intersection path is present. It shows.
  • the sign recognition unit 305 recognizes the sign 321 outside the roadside 320 on the left side (within a predetermined range from the traveling region), and in FIG. 5C, the sign recognition unit 305 recognizes the roadside 320 on the left The marker 321 is recognized outside (within a predetermined range from the traveling area).
  • the roadside detection unit 304 When the roadside is detected by the roadside detection unit 304, the position of the roadside is known, and it can be detected that the spread of the road changes according to the distance. Can be detected, and it can be determined whether the sign 321 is a sign applied to the vehicle (effective sign).
  • the sign 321 applied to the branch road is not a valid sign for the vehicle.
  • the sign 321 applied to the branch road is a sign effective for the vehicle.
  • the sign 321 applied to the combined channel is not a valid sign for the host vehicle.
  • the sign 321 applied to the branch road is a sign effective for the vehicle.
  • the traveling situation understanding unit 309 shown in FIG. 4 recognizes the traveling situation of the own vehicle, and the valid sign determination unit 310 understands the traveling situation. With reference to the recognition result by the part 309, the determination of the effective label is performed.
  • the valid sign determination unit 310 can pass information of the valid sign (mark determined to be valid) to the vehicle control processing 212, and can pass it to the in-vehicle network CAN 110 via the CAN interface 107. Further, the valid sign determination unit 310 can not hand over the information of the invalid sign (mark not judged to be valid) to the vehicle control processing 212, and can not hand over to the in-vehicle network CAN 110 via the CAN interface 107. . In addition, the valid sign determination unit 310 can pass information to the vehicle control processing 212 together with the fact that even information of a sign that is not valid (mark that is not determined to be valid) is not valid. It can be handed over to CAN 110.
  • FIG. 6 is a transition diagram showing the procedure of recognizing the traveling situation by the traveling situation understanding unit 309 shown in FIG.
  • the traveling condition understanding unit 309 recognizes the traveling condition of the vehicle at present by checking the detection result and the recognition result by the element recognition unit 301 together.
  • the traveling condition "the main road traveling on the expressway” in which the own vehicle is traveling on the main line of the expressway, the own vehicle traveling in the branch line of the expressway and trying to enter the main line (before merging) "Driving on a branch (in)", where the vehicle is traveling on a branch of the expressway and leaving the main line (after branching) "traveling on a branch (out)", the vehicle is traveling on a city road
  • the traveling condition recognized by the traveling condition understanding unit 309 traveling conditions other than this embodiment may be recognized.
  • the traveling state understanding unit 309 starts processing assuming that the traveling state at the start of traveling is the same as the traveling state at the time of the previous stop. In addition, it is assumed that the traveling condition at the start of traveling is any of the five traveling conditions, and then, for example, the current traveling condition is recognized according to the recognition result by the element recognition unit 301 and the detection result. You may do so.
  • the current driving situation is "city road driving”
  • the destination sign recognition unit 308 recognizes a City Exit sign. In the case of, the driving situation is transitioned to "outside city driving”.
  • the signal recognition unit 302 does not detect a signal for a predetermined time. In the case of, the driving situation is transitioned to "highway main line traveling".
  • the signal recognition unit 302 does not detect a signal for a predetermined time. In the case of, the driving situation is transitioned to "highway main line traveling".
  • a pedestrian / traffic signal is detected and recognized with high frequency by the traffic signal recognition unit 302 and the three-dimensional object / pedestrian detection unit 303. Or The destination entry recognition unit 308 recognizes the CityEntry sign. In the case of, the driving situation is transited to "city road driving".
  • the sign recognition unit 305 recognizes a speed limit sign of high speed (a speed that can be accepted only on a freeway). Or ⁇ A certain time has passed since entering the straight road. In the case of, the driving situation is transitioned to "highway main line traveling".
  • the current traveling condition is "highway main line traveling"
  • An increase in the road width of the front road area is detected by the road end detection unit 304 (the road width is expanded due to the appearance of a branch branch).
  • ⁇ The sign recognition unit 305 recognizes a speed limit sign of low speed (allowable speed on general road) and enters a strong curve (curve with a small curvature) (change lane to branch line, spiral specific to branch line) Drive the loop line).
  • the traveling situation is transitioned to "branch line traveling (out)".
  • a pedestrian / traffic signal is detected and recognized with high frequency by the traffic signal recognition unit 302 and the three-dimensional object / pedestrian detection unit 303. Or The destination entry recognition unit 308 recognizes the CityEntry sign. In the case of, the driving situation is transited to "city road driving".
  • the current traveling condition is "highway main line traveling”
  • a pedestrian / traffic signal is detected and recognized by the traffic signal recognition unit 302 or the three-dimensional object / pedestrian detection unit 303.
  • the driving situation is transitioned to "outside city driving”.
  • a pedestrian / traffic signal is detected and recognized with high frequency by the traffic signal recognition unit 302 and the three-dimensional object / pedestrian detection unit 303. Or The destination entry recognition unit 308 recognizes the CityEntry sign. In the case of, the driving situation is transited to "city road driving".
  • the traveling condition recognized by the traveling condition understanding unit 309 as described above is sent to the valid sign determination unit 310 shown in FIG.
  • expressway signs signs installed on expressways and not on city roads
  • city road sign signs installed on expressways and not installed on expressways
  • traveling situation understanding unit 309 sets the traveling situation to "highway travel", and the city In the case of an inner road sign, the traveling condition may be "city road traveling”.
  • FIG. 7A and FIG. 7B are diagrams showing the relationship between the traveling situation and the effective sign.
  • a sign 321 is a speed limit sign indicating that the maximum speed is A km.
  • the valid sign determination unit 310 determines a valid sign for the own vehicle based on the recognition result by the element recognition unit 301, the detection result, and the traveling situation by the traveling situation understanding unit 309.
  • a) When entering a branch line After acquiring the sign recognition result and the traveling condition of the host vehicle, if the host vehicle decelerates, it is judged that it has entered a branch line (see FIG. 7A) and the sign 321 for the branch line is a valid sign Determine that there is, output b) If the main line continues to travel: If there is no significant change in the vehicle information such as the vehicle speed of the host vehicle after acquiring the sign recognition result and the host vehicle's travel situation (see FIG. 7B), continue the main line travel.
  • the uniqueness of marker recognition can be identified in the cases shown in FIG. 7A and FIG. 7B.
  • the sign 321 is the indication mark for the main lane of three lanes or the indication mark for only the branch line only at the present position (lateral position).
  • the traveling state understanding unit 309 and the valid sign determination unit 310 of the present embodiment the vehicle is determined to be traveling on a freeway, and is estimated to be a junction / branch area.
  • the sign 321 is made an effective sign.
  • the marking 321 can not be used as an effective sign, and it is possible to make the limit speed of the main line of the expressway effective.
  • the marker recognition unit 305 may recognize any marker other than a regulation marker such as a speed limit marker.
  • the marker recognition unit 305 recognizes the recognition result by recognizing a guidance marker, an instruction marker, or an auxiliary marker.
  • the accuracy of the recognition of the traveling situation and the judgment of the effective sign can be enhanced by referring to the traveling situation understanding unit 309 and the effective sign determination unit 310.
  • the sign recognition unit 305 can predict an event that will occur in the future, such as "Exit 1 km", by recognizing a guide sign, an instruction sign, and an auxiliary sign, for example.
  • an event that will occur in the future such as "Exit 1 km”
  • the unit 309 and the valid sign determination unit 310 it is possible to improve the accuracy of the recognition of the traveling situation and the determination of the valid sign.
  • the recognition result is referred to by the traveling situation understanding unit 309 or the valid sign determination unit 310, and recognition of the traveling situation or judgment of the valid sign is performed. Accuracy can be enhanced.
  • a detection unit for example, a detection unit 2) that detects a traveling region of a vehicle based on a captured image
  • a recognition unit for example, recognition unit 3
  • a determination unit for example, a determination unit 4
  • the judgment unit judges the relation between, for example, the own vehicle traveling in the traveling area detected by the detection unit and the marker information recognized by the recognition unit, thereby recognizing the marker from the captured image and A determination can be made as to whether it is a valid indicator.
  • the present invention is 2. 1. In the image recognition apparatus described in The judgment unit judges that the marker information is to be applied to the vehicle when the marker information recognized by the recognition unit is located within a predetermined range from the traveling region detected by the detection unit.
  • the judgment unit judges that the sign information is applied to the host vehicle when the sign information is located within the predetermined range from the traveling region.
  • the present invention is 3. 1.
  • the judgment unit judges that the marker information is not applied to the vehicle when the marker information recognized by the recognition unit is not located within a predetermined range from the traveling region detected by the detector. Not outputting the marker information to the outside, or outputting the marker information to the outside together with an indication that the information is not applied to the vehicle,
  • an image recognition device characterized by -When the judgment unit judges that the sign information is not applied to the host vehicle when the sign information is not located within the predetermined range from the traveling area, the safety at the time of automatic driving or driving assistance is improved. Can contribute to
  • the present invention is 4. 1.
  • the image recognition apparatus described in An image recognition apparatus mounted on the vehicle and determining an effective label for the vehicle from the captured image The image capturing apparatus further includes an imaging unit that captures the captured image.
  • the detection unit includes a road end detection unit that detects a road end from the captured image;
  • the recognition unit includes a sign recognition unit that recognizes a sign from the captured image;
  • the determination unit recognizes an element recognition unit that recognizes each element from the captured image, a traveling state understanding unit that recognizes a traveling state of the vehicle based on each element recognized by the element recognition unit, and the mark recognition unit
  • an effective sign determination unit that determines the sign applied to the vehicle among the displayed signs based on the traveling condition recognized by the traveling situation understanding unit and the detection result by the roadside detection unit.
  • an image recognition device characterized by -It is possible to provide an image recognition device capable of recognizing a sign from a captured image and determining the association of the sign with the vehicle (whether the sign is applied to the vehicle).
  • the present invention is 5. 4.
  • the imaging unit comprises two cameras disposed on the left and right, As an image recognition device characterized by -By obtaining parallax images with two cameras, each element can be recognized with higher accuracy.
  • the present invention is 6. 4.
  • the detection unit detects, as a travel area, a distance between a roadside on the right side detected by the roadside detection unit and a roadside on the left side.
  • As an image recognition device characterized by ⁇ By detecting the road edge, it is possible to know whether the width of the road is widening or narrowing in the direction of travel, and this makes it possible to know the road condition such as the junction or branch road. , And can accurately determine the sign applied to the vehicle.
  • the traveling condition understanding unit recognizes a traveling condition that the vehicle is traveling on a main line of a highway and a traveling condition that the vehicle is traveling on a branch line of the highway.
  • an image recognition device characterized by By identifying whether the vehicle is traveling on the main line of the expressway or traveling on the branch line, it is possible to more accurately identify the sign applied to the vehicle.
  • the present invention is 8. 4.
  • the traveling state understanding unit recognizes that the vehicle is traveling on the expressway when the sign recognized by the sign recognition unit is a sign recognized by the sign recognition unit. If the vehicle is a city road sign, it is recognized that the vehicle is traveling on the city road.
  • an image recognition device characterized by -By recognizing whether the user is traveling on the expressway or traveling on the city road from the recognition result of the sign, it is possible to more accurately identify the sign applied to the vehicle.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the embodiments described above are described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • SYMBOLS 1 image recognition apparatus, 2 ... detection part, 3 ... recognition part, 100 ... in-vehicle stereo camera apparatus, 101 ... left camera, 102 ... right camera, 103 ... image input interface, 104 ... image processing part, 105 ... arithmetic processing part , 106: storage unit, 107: CAN interface, 108: control processing unit, 109: internal bus, 110: in-vehicle network CAN.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することである。　画像認識装置（１）において、撮像画像に基づき車両の走行領域を検知する検知部（２）と、撮像画像に基づき標識情報を認識する認識部（３）と、前記検知部（２）によって検知した走行領域を走行する前記車両と前記認識部（３）によって認識した標識情報との関連を判断する判断部（４）と、を備えた、ことを特徴とし、撮像画像としては、左右に二つ設けたカメラによって撮像したものを用いることができる。

Description

画像認識装置
　本発明は、車両に搭載され、撮像デバイスで撮像した周囲の画像に基づいて対象物の認識を行う画像認識装置に関する。
　従来、車両に搭載され、画像認識装置を備えた車載カメラ装置が知られている。最近では、安全運転や自動運転に向けた社会的認知度の向上に伴い、車載カメラ装置における各種物体認識に対する要求は高いレベルになってきている。
　車載カメラ装置は、例えば一対のカメラで車外を撮像した画像を用いて、画像による視覚的な情報と、対象物への距離情報とを同時に計測するため、車両周辺の様々な対象物（人、他の車両、立体物、白線・路面、標識など）を詳細に把握することができ、運転支援時の安全性の向上に寄与する装置である。
　例えば、特許第４９７３７３６号公報には、撮影した映像から認識する路面標示（Ｔ字交差点を示すＴ字標示）と、撮影した映像から認識する道路形状（Ｔ字交差点）と、を対応付け、誤認識を低減しようとする発明が開示されている。
特許第４９７３７３６号公報
　しかし、上述の特許第４９７３７３６号公報に記載の発明では、路面標示や道路形状についての認識については開示しているが、その他の対象物の認識については何ら記載がないものであった。
　一例として、制限速度の規制などの標識の認識について検討すると、最近では、画像認識技術の精度が向上する反面、その意図をどのように解釈するかが課題となることが増えてきた。例えば、画像処理技術の向上により、カメラで撮像した画像内に映ったあらゆる標識を認識することが可能となってきたが、その一方で、どの標識が自車両に対する有効な指示なのかを判定することができないという問題があった。
　本発明の目的は、撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することにある。
　本発明は上記の目的を達成するために、撮像画像に基づき車両の走行領域を検知する検知部と、撮像画像に基づき標識情報を認識する認識部と、前記検知部によって検知した走行領域を走行する前記車両と前記認識部によって認識した標識情報との関連を判断する判断部と、を備えた、ことを特徴とする。
　本発明によれば、撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る画像認識装置の概略構成を示すブロック図。 本発明の実施例１に係る車載ステレオカメラ装置を備える車載システムの概略構成を示すブロック図。 図２に示した車載ステレオカメラ装置１００における、認識アプリケーションの処理フローを示す図。 図３に示した各種物体認識処理２０９及び走行状況理解・標識判定処理２１１を実行する構成を示すブロック図。 路端検知部３０４で検知した路端を示す図。 分岐路において路端検知部３０４で検知した路端を示す図。 合流路において路端検知部３０４で検知した路端を示す図。 図４に示した走行状況理解部３０９による走行状況の認識の手順を示す遷移図。 走行状況と有効標識の関係を示す図。 走行状況と有効標識の関係を示す図。
　以下、添付図面を参照して本発明の実施形態について説明する。なお、添付図面や以下の説明は、本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　図１は、本発明に係る画像認識装置の概略構成を示すブロック図である。
　画像認識装置１は、例えば車両に搭載され、撮像画像に基づき自車両の走行領域を検知する検知部２と、撮像画像に基づき標識情報を認識する認識部３と、検知部２によって検知した走行領域を走行する前記車両と認識部３によって認識した標識情報との関連を判断する判断部４と、を備えている。
　画像認識装置１によれば、判断部４が、検知部２によって検知した走行領域を走行する自車両と認識部３によって認識した標識情報との関連を判断することで、例えば撮像画像から標識を認識するとともに自車両に対して有効な標識であるか否かの判定を行うことができる。なお、検知部２によって検知した走行領域を走行する自車両と認識部３によって認識した標識情報との関連とは、例えば、その標識が自車両に対して適用されるものであるか、その標識が自車両に対して適用されないものであるか、自車両が進行することによってその標識が自車両に対して適用されるようになるものであるか、自車両が進行することによってその標識が自車両に対して適用されないようになるものであるか、という関連であるとすることができる。
　例えば、判断部４は、検知部２が検知した走行領域から所定範囲内に、認識部３が認識した標識情報が位置する場合に、該標識情報が自車両に適用されるものであると判断する。
　また例えば、判断部４は、検知部２が検知した走行領域から所定範囲内に、認識部３が認識した標識情報が位置しない場合に、該標識情報が自車両に適用されないものであると判断し、該標識情報を外部に出力しない、または該標識情報を自車両に適用されないものである旨とともに外部に出力する。
　図２は、本発明の実施例１に係る車載ステレオカメラ装置を備える車載システムの概略構成を示すブロック図である。
　本実施例では、本発明に係る画像認識装置の一例としての車載ステレオカメラ装置１００について説明する。本実施例の車載ステレオカメラ装置１００は、不図示の車両に搭載され、車両前方の撮影対象領域の画像をカメラ１０１及び１０２によって撮像し、その撮像画像に基づいて車外環境を認識する装置である。
　車載ステレオカメラ装置１００は、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの認識を行い、この車載ステレオカメラ装置１００を搭載した車両（自車両）のブレーキ、ステアリング調整などの調整を行う。また、車載ステレオカメラ装置１００を車両に搭載した後に、車両工場において光軸や測距誤差の補正量等を計算するエーミング処理も、この車載ステレオカメラ装置１００によって行う。
　車載ステレオカメラ装置１００は、画像情報を取得（画像を撮像）する左右に配置された二つのカメラ１０１及び１０２と、カメラ１０１及び１０２の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース１０３と、を有する。この画像入力インタフェース１０３を通して取り込まれたカメラ１０１及び１０２による撮像画像は、内部バス１０９を通してそのデータが送られ、画像処理部１０４や、演算処理部１０５で処理され、処理途中の結果や最終結果となる画像データなどが記憶部１０６に記憶される。
　画像処理部１０４は、ステレオカメラであるカメラ１０１及び１０２のうちカメラ１０１の撮像素から得られる第一の画像と、ステレオカメラであるカメラ１０１及び１０２のうちカメラ１０２の撮像素子から得られる第二の画像と、を比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部１０６に記憶する。更に第一の画像と第二の画像との間で、相互に対応する箇所を計算して、視差情報を計算し、この処理された画像情報等を記憶部１０６に記憶する。
　演算処理部１０５は、記憶部１０６に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。各種物体とは、人、他の車両、その他の障害物、信号機、標識、他の車両のテールランプやヘッドライド、などである。これら認識結果や中間的な計算結果の一部が、先程と同様に記憶部１０６に記録される。撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御を計算する。
　計算の結果として得られた車両の制御方針や、物体認識結果の一部はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インタフェース１０７を通して、車載ネットワークＣＡＮ１１０に伝えられ、これにより車両の制御が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部１０８が監視しており、異常動作を防ぐ仕掛けをなっている。
　また、画像処理部１０４は、内部バス１０９を介して、制御処理部１０８と、記憶部１０６と、演算処理部１０５と、画像入力インタフェース１０３と、ＣＡＮインタフェース１０７と、に接続されている。
　制御処理部１０８、画像処理部１０４、記憶部１０６、演算処理部１０５、画像入力インタフェース１０３、及びＣＡＮインタフェース１０７のそれぞれは、単一または複数のコンピュータユニットにより構成されている。
　記憶部１０６は、例えば、画像処理部１０４によって画像処理された画像情報等や、演算処理部１０５によって演算処理された画像情報等を記憶するメモリ等により構成されている。
　車載ネットワークＣＡＮ１１０との入出力を行うＣＡＮインタフェース１０７は、車載ステレオカメラ装置１００から出力された情報を、車載ネットワークＣＡＮ１１０を介して自車両の制御システム（図示せず）に出力する。
　続いて、図３を参照して、車載ステレオカメラ装置１００の内部における処理フローについて説明する。
　図３は、図２に示した車載ステレオカメラ装置１００における、認識アプリケーションの処理フローを示す図である。
　まず、車載ステレオカメラ装置１００では、左右のカメラ１０１及び１０２により車両の外部を撮像する。
　次に、このカメラ１０１及び１０２の各々で撮像した画像データ２０３及び２０４のそれぞれについて、カメラ１０１及び１０２の撮像素子（不図示）が持つ固有の癖を吸収するための補正などの画像処理２０５を行う。この画像処理２０５は既知の如何なる手法を用いてもよい。画像処理２０５の処理結果である補正された二つの画像（左右画像）は画像バッファ２０６に蓄えられる。画像バッファ２０６は、図１の記憶部１０６に設けられる。
　続いて、補正された二つの画像（画像バッファ２０６に蓄えられている画像）を使って、画像同士の照合を行い、これにより左右のカメラ１０１及び１０２で得た画像の視差情報を得る。左右画像の視差により、対象物上のある着目点が、左右のカメラ１０１及び１０２で得た画像上の何処と何処に対応するかが明らかとなり、例えば三角測量の原理によって、対象物までの距離が得られることになる。これを行うのが視差処理２０７である。画像処理２０５および視差処理２０７は、図１の画像処理部１０４で行われ、最終的に得られた画像、および視差情報は記憶部１０６に蓄えられる。
　続いて、記憶部１０６に記憶された画像、および視差情報、すなわち、画像処理２０５および視差処理２０７の処理結果を用いて、各種物体認識処理２０９を行う。認識対象の物体としては、人、他の車両、その他の立体物、標識、信号機、テールランプ、路端、路面上立体物などがあるが、認識の際は必要に応じて認識辞書２１０を利用する。本実施例では、認識辞書２１０は記憶部１０６に記憶されているが、不図示の他の記憶装置に記憶されているものであってもよい。認識辞書２１０は、例えば、認識対象の形状や動作の特徴を、その種類（名称）や意味合いと対応付けて、辞書として記憶したものである。各種物体認識処理２０９では、画像処理２０５および視差処理２０７によって記憶部１０６に記憶された画像や視差情報を、認識辞書２１０と対比させて物体の認識を行う。各種物体認識処理２０９における物体の認識処理は既知の如何なる手法を用いてもよい。
　続いて、各種物体認識処理２０９による物体認識の結果と、自車両の状態（速度、舵角など）（例えば、不図示の速度センサや操舵角センサなどで取得し、車載ネットワークＣＡＮ１１０及びＣＡＮインタフェース１０７を介して得た値）とを勘案して、走行状況理解・標識判定処理２１１において、走行状況理解及び自車両に対する有効な指示標識の判定を行う。この走行状況理解・標識判定処理２１１について詳しくは後述する。
　走行状況理解・標識判定処理２１１による自車両に対する有効指示標識の結果に基づき、車両制御処理２１２では、例えば、乗員に速度超過や検知した標識の種別に関する警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、対象物の回避制御を行う方針を決め、その警告や制動や回避制御などの方針を、ＣＡＮインタフェース１０７を通して出力する。
　各種物体認識処理２０９および走行状況理解・標識判定処理２１１、並びに車両制御処理２１２は、図１の演算処理部１０５で行われ、車載ネットワークＣＡＮ１１０への出力は、ＣＡＮインタフェース１０７にて行われる。これらの各処理各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
　次に、図４を参照して本実施例において物体を認識する処理についてさらに説明する。
　図４は、図３に示した各種物体認識処理２０９及び走行状況理解・標識判定処理２１１を実行する構成を示すブロック図である。
　要素認識部３０１は、撮像画像から各種物体である各要素を認識する。本実施例では、要素認識部３０１は、各要素の一つである信号機を認識する信号機認識部３０２と、各要素の一つである立体物・歩行者の検知を行う立体物・歩行者検知部３０３と、各要素の一つである路端の検知を行う路端検知部３０４と、各要素の一つである標識の認識を行う標識認識部３０５と、各要素の一つである路面マークのゼブラゾーン（導流帯）や路面に表示された白線や案内を認識するゼブラゾーン認識部３０６と、各要素の一つである路面上の立体物を認識する路面立体物認識３０７と、各要素の一つである高速道路の行き先を示す看板を認識する行き先看板認識部３０８と、を有して、それぞれで各要素の認識、検知を行う。
　路端検知部３０４では、自車両が走行している道路の路端を検知する。この路端の検知について、図５Ａ、図５Ｂ及び図５Ｃを参照しながら、説明する
　図５Ａは、路端検知部３０４で検知した路端を示す図である。図５Ａは、左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像の一例である。
　図５Ｂは、分岐路において路端検知部３０４で検知した路端を示す図である。図５Ｂは、図５Ａとは別の道路で、左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像を俯瞰した図に加工した図の一例である。
　図５Ｃは、合流路において路端検知部３０４で検知した路端を示す図である。図５Ｃは、図５Ａ及び図５Ｂとは別の道路で、左右のカメラ１０１及び１０２で自車両の前方を撮像した撮像画像を俯瞰した図に加工した図の一例である。
　例えば、図４に示した立体物・歩行者検知部３０３によれば、路面上にある一定高さ以上の凸状物体を検知することができる。路端検知部３０４では、この立体物・歩行者検知部３０３で検知した凸状物体のうち連続している箇所を検知し、これにより、ガードレール、側壁、縁石などの道路の端部を検知するのが路端検知である。路端検知の結果である路端３２０は、図５Ａ、図５Ｂ及び図５Ｃに四角で囲んで示すように検知される。
　この検知した路端３２０を参照し、図５Ａのように、自車両の進行方向の前方に向けて、左側の路端３２０と右側の路端３２０とがほぼ同じ角度で内側に傾いて続いている場合には、一本道であることが分かる。
　有効標識判定部３１０では、自車両の走行領域（左側の路端３２０と右側の路端３２０との間の領域）に基づき、この走行領域から予め定めた範囲内に、標識認識部３０５により認識した標識がある場合に、その標識が自車両に適用される標識（有効な標識）であると判定する。走行領域から予め定めた範囲内の標識とは、例えば、左側の路端３２０及び右側の路端３２０から数ｍ（例えば２ｍ）以内の標識としてもよい。また、有効標識判定部３１０では、自車両の走行領域（左側の路端３２０と右側の路端３２０との間の領域）に基づき、この走行領域から予め定めた範囲外に、標識認識部３０５により認識した標識がある場合に、その標識が自車両に適用されない標識（有効ではない標識）であると判定してもよい。
　なお、路面立体物認識３０７により対向車を認識した場合には、右側の路端３２０が対向車よりも右側である場合には（車両が左側通行である場合を想定している。）、左側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定し、右側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用されない標識（有効ではない標識）（対向車に適用される標識）であると判定してもよい。
　なお、路面立体物認識３０７により自車両よりも右側に自車両と進行方向が同じである先行車を認識した場合には、右側の路端３２０が先行車よりも右側である場合であっても（車両が左側通行である場合を想定している。）、左側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定し、右側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定してもよい。
　なお、路面立体物認識３０７により自車両よりも左側に自車両と進行方向が同じである先行車を認識した場合には、左側の路端３２０が先行車よりも左側である場合であっても（車両が左側通行である場合を想定している。）、左側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定し、右側の路端３２０から数ｍ（例えば２ｍ）以内の標識は、自車両に適用される標識（有効な標識）であると判定してもよい。
　図５Ｂの俯瞰図のように、自車両の進行方向の前方に向けて、左側の路端３２０は外側に傾き、右側の路端３２０は傾いていない場合には、左側に分岐路があることが分かる。また、図５Ｃの俯瞰図のように、自車両の進行方向の前方に向けて、左側の路端３２０は内側に傾き、右側の路端３２０は傾いていない場合には、左側に合流路があることが分かる。
　図５Ｂでは、左側の分岐路を走行している車両に適用される標識３２１がある場合を示し、図５Ｃでは、左側の合流路を走行している車両に適用される標識３２１がある場合を示している。図５Ｂでは、標識認識部３０５は、左側の路端３２０の外側（走行領域から予め定めた範囲内）に標識３２１を認識し、図５Ｃでは、標識認識部３０５は、左側の路端３２０の外側（走行領域から予め定めた範囲内）に標識３２１を認識する。
　路端検知部３０４で路端を検知することにより、路端の位置が判明し、道路の広がり方が距離に応じて変化することが検知できるため、道路に合流がある場合や分岐がある場合を検出することができ、標識３２１が自車両に対して適用される標識（有効な標識）であるか否かが判明する。
　例えば、図５Ｂに示す場合において、自車両が本線を走行している走行状況のときは、分岐路に適用される標識３２１は、自車両に有効な標識ではない。また、図５Ｂに示す場合において、自車両が分岐路を走行している走行状況のときは、分岐路に適用される標識３２１は、自車両に有効な標識である。また、図５Ｃに示す場合において、自車両が本線を走行している走行状況のときは、合流路に適用される標識３２１は、自車両に有効な標識ではない。また、図５Ｃに示す場合において、自車両が合流路を走行している走行状況のときは、分岐路に適用される標識３２１は、自車両に有効な標識である。
　なお、上述のように自車両の走行状況によって有効な標識が異なるため、図４に示した走行状況理解部３０９では自車両の走行状況の認識を行い、有効標識判定部３１０では、走行状況理解部３０９による認識結果を参照し、有効標識の判定を行う。有効標識判定部３１０では有効標識（有効と判定した標識）の情報を車両制御処理２１２に引き渡すことができ、ＣＡＮインタフェース１０７を介して車載ネットワークＣＡＮ１１０に引き渡すことができる。また、有効標識判定部３１０では有効ではない標識（有効と判定しなかった標識）の情報を車両制御処理２１２に引き渡さないことができ、ＣＡＮインタフェース１０７を介して車載ネットワークＣＡＮ１１０に引き渡さないことができる。また、有効標識判定部３１０では有効ではない標識（有効と判定しなかった標識）の情報であっても有効ではない旨とともに車両制御処理２１２に引き渡すことができ、ＣＡＮインタフェース１０７を介して車載ネットワークＣＡＮ１１０に引き渡すことができる。
　以下に、図６を参照して走行状況理解部３０９の処理についてさらに説明する。
　図６は、図４に示した走行状況理解部３０９による走行状況の認識の手順を示す遷移図である。
　走行状況理解部３０９では、要素認識部３０１による認識結果、検知結果を併せ見て、自車両が、現在どのような走行状況にあるかを認識する。本実施例では、走行状況として、自車両が高速道路の本線を走行中である「高速道路本線走行」、自車両が高速道路の支線を走行中であって本線に入ろうとしている（合流前）「支線走行（ｉｎ）」、自車両が
高速道路の支線を走行中であって本線から出たところである（分岐後）「支線走行（ｏｕｔ）」、自車両が市内道路を走行中である「市内道路走行」及び、自車両が市外道路を走行中である「市外道路走行」の五種類の走行状況を認識するようにしている。なお走行状況理解部３０９で認識する走行状況としては、本実施例以外の走行状況を認識するようにしてもよい。
　走行状況理解部３０９では、走行開始時の走行状況は、前回の停車時の走行状況と同じであるとして、処理を開始する。なお、走行開始時の走行状況は、五種類の走行状況のうちのいずれかであると仮定し、その後、例えば要素認識部３０１による認識結果、検知結果に応じて、現在の走行状況を認識するようにしてもよい。
　現在の走行状況が「市内道路走行」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３による最後の歩行者／信号機の検知、認識箇所から一定時間または距離が経過し、緯度経度も一定範囲の変化をした。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｘｉｔ看板を認識した。
の場合に、走行状況を「市外道路走行」に遷移させる。
　現在の走行状況が「市内道路走行」である場合において、
・信号機認識部３０２により信号機を一定時間検知しない。
の場合に、走行状況を「高速道路本線走行」に遷移させる。
　現在の走行状況が「市外道路走行」である場合において、
・信号機認識部３０２により信号機を一定時間検知しない。
の場合に、走行状況を「高速道路本線走行」に遷移させる。
　現在の走行状況が「市外道路走行」である場合において、
・ＨｉｇｈＷａｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「支線走行（ｉｎ）」に遷移させる。
　現在の走行状況が「市外道路走行」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３により高い頻度で歩行者／信号機を検知、認識した。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「市内道路走行」に遷移させる。
　現在の走行状況が「支線走行（ｉｎ）」である場合において、
・標識認識部３０５により高速な速度（高速道路でのみ許容される速度）の速度制限標識を認識した。
または
・直線路に入ってから一定時間経過した。
の場合に、走行状況を「高速道路本線走行」に遷移させる。
　現在の走行状況が「高速道路本線走行」である場合において、
・路端検知部３０４により前方道路エリアの道幅の拡大を検知した（支線の分岐路の出現により道幅が拡大）。
または、
・左端（または右端）車線への車線変更（舵角変更）があった。
または、
・標識認識部３０５により低速な速度（一般道で許容される速度）の速度制限標識を認識し、強いカーブ（曲率小のカーブ）に入った（支線への車線変更、支線特有の螺旋状のループ線を走行）。
の場合に、走行状況を「支線走行（ｏｕｔ）」に遷移させる。
　現在の走行状況が「高速道路本線走行」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３により高い頻度で歩行者／信号機を検知、認識した。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「市内道路走行」に遷移させる。
　現在の走行状況が「高速道路本線走行」である場合において、
・ＨｉｇｈＷａｙＥｎｄ看板を認識した。
または、
・信号機認識部３０２や立体物・歩行者検知部３０３により歩行者／信号機を検知、認識した。
の場合に、走行状況を「市外道路走行」に遷移させる。
　現在の走行状況が「支線走行（ｏｕｔ）」である場合において、
・信号機認識部３０２や立体物・歩行者検知部３０３により高い頻度で歩行者／信号機を検知、認識した。
または、
・行き先看板認識部３０８によりＣｉｔｙＥｎｔｒｙ看板を認識した。
の場合に、走行状況を「市内道路走行」に遷移させる。
　以上のようにして走行状況理解部３０９によって認識した走行状況は、図４に示した有効標識判定部３１０に送られる。
　なお、標識の中には高速道路に設置され、且つ市内道路には設置されない標識（以下「高速道路用標識」という。）や、市内道路に設置され、且つ高速道路には設置されない標識（以下「市内道路用標識」という。）が存在する。そこで、走行状況理解部３０９では、カメラ１０１及び１０２で撮像した画像を用いて標識認識部３０５により認識した標識が、高速道路用標識である場合には走行状況を「高速道路走行」にし、市内道路用標識である場合には走行状況を「市内道路走行」にするようにしてもよい。
　図７Ａ及び図７Ｂは走行状況と有効標識の関係を示す図である。図７Ａ及び図７Ｂにおいて、標識３２１は、最高速度がＡｋｍであることを示す速度制限標識である。
　有効標識判定部３１０では、要素認識部３０１による認識結果、検知結果や、走行状況理解部３０９による走行状況に基づき、自車両に対する有効な標識を判定する。
　例えば、
ａ）支線に進入する場合：標識認識結果と自車両の走行状況を取得後、自車両が減速した場合は支線に進入したと判断し（図７Ａ参照）、支線に対する標識３２１を有効な標識であると判定し、出力する、
ｂ）本線の走行を続ける場合：標識認識結果と自車両の走行状況を取得後、自車両の車速などの車両情報に大きな変化が無い場合は（図７Ｂ参照）、本線の走行を継続していると判断し、本線に対する標識を有効な標識であると判定し、出力する、
ｃ）挙動が確定するまでの間は、本線と支線の両方の標識を、有効な標識である可能性があるものとして同時に出力し、その後の自車両挙動によって本線、支線の標識の有効性を判定する、
といったように、有効標識の判定を行う。
　なお、高速道路において、合流・分岐エリアの有無を判断するためには、１）路端検知による判断、２）行き先看板認識による判断、３）白線・ゼブラソーン認識による判断、４）路面上の立体物認識による判断、などにより行うことができる。図５Ａ、図５Ｂ及び図５Ｃに示したように、立体物・歩行者検知部３０３で検知した路端３２０を用いて、合流・分岐エリアにおいて、道路の広がり方が距離に応じて変化することが検知できるため、合流・分岐エリアの有無の判断が可能となる。
　以上により、図７Ａや図７Ｂに示したケースなどで、標識認識の一意性を同定することが可能となる。この場合、標識３２１は、三車線の本線に対する指示標識か、支線のみに対する指示標識かが存在位置（横位置）だけでは不明である。これに対して、本実施例の走行状況理解部３０９及び有効標識判定部３１０によれば、高速道路を走行中と判断される場合において、且つ、合流・分岐エリアと推定される場合において、車両が減速または車線変更で標識３２１に近づく場合、支線に行くものと判断して標識３２１を有効標識とする。また、車両に減速が見られない、直進するといった場合には標識３２１を有効標識とせず、高速道路の本線の制限速度を有効とするといった切り分けが可能となる。
　なお、標識認識部３０５は、速度制限標識などの規制標識のほか、如何なる標識を認識するものであってもよく、例えば、案内標識や指示標識や補助標識を認識することによって、その認識結果を走行状況理解部３０９や有効標識判定部３１０で参照し、走行状況の認識や有効標識の判定の正確性を高めることができる。
　また、標識認識部３０５が、案内標識や指示標識や補助標識を認識することによって、例えば「出口１ｋｍ」のようにこれから先で生じる事象の予測を行うことができ、その予測結果を走行状況理解部３０９や有効標識判定部３１０で参照し、走行状況の認識や有効標識の判定の正確性を高めることができる。
　また、ゼブラゾーン認識部３０６によって、分岐路の破線の白線を認識することで、その認識結果を走行状況理解部３０９や有効標識判定部３１０で参照し、走行状況の認識や有効標識の判定の正確性を高めることができる。
　＜付記１＞
　なお、以上説明した本発明は、
１．
　撮像画像に基づき車両の走行領域を検知する検知部（例えば、検知部２）と、
　撮像画像に基づき標識情報を認識する認識部（例えば、認識部３）と、
　前記検知部によって検知した走行領域を走行する前記車両と前記認識部によって認識した標識情報との関連を判断する判断部（例えば、判断部４）と、
を備えた、
ことを特徴とする画像認識装置、としたので、
・撮像画像から標識を認識するとともにその標識の自車両との関連を判断することができる画像認識装置を提供することができる。
・また、判断部が、検知部によって検知した走行領域を走行する自車両と認識部によって認識した標識情報との関連を判断することで、例えば撮像画像から標識を認識するとともに自車両に対して有効な標識であるか否かの判定を行うことができる。
　また、本発明は、
２．
　１．に記載の画像認識装置において、
　前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置する場合に、該標識情報が前記車両に適用されるものであると判断する、ことを特徴とする画像認識装置、としたので、
・判断部が、走行領域から所定範囲内に標識情報が位置する場合に、該標識情報が自車両に適用されるものであると判断することで、自動運転時や運転支援時の安全性の向上に寄与することができる。
　また、本発明は、
３．
　１．に記載の画像認識装置において、
　前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置しない場合に、該標識情報が前記車両に適用されないものであると判断し、該標識情報を外部に出力しない、または該標識情報を前記車両に適用されないものである旨とともに外部に出力する、
ことを特徴とする画像認識装置、としたので、
・判断部が、走行領域から所定範囲内に標識情報が位置しない場合に、該標識情報が自車両に適用されないものであると判断することで、自動運転時や運転支援時の安全性の向上に寄与することができる。
　また、本発明は、
４．
　１．に記載の画像認識装置において、
　前記車両に搭載され、前記撮像画像から該車両に対して有効な標識を判定する画像認識装置であって、
　前記撮像画像を撮像する撮像部をさらに備え、
　前記検知部は前記撮像画像から路端を検知する路端検知部を有し、
　前記認識部は前記撮像画像から標識を認識する標識認識部を有し、
　前記判断部は、前記撮像画像から各要素を認識する要素認識部と、前記要素認識部によって認識した各要素に基づき前記車両の走行状況を認識する走行状況理解部と、前記標識認識部によって認識した標識のうち前記車両に適用される標識を、前記走行状況理解部によって認識した走行状況及び前記路端検知部による検知結果に基づいて判定する有効標識判定部と、を有する、
ことを特徴とする画像認識装置、としたので、
・撮像画像から標識を認識するとともにその標識の自車両との関連（自車両に適用される標識であるか）を判断することができる画像認識装置を提供することができる。
　また、本発明は、
５．
　４．に記載の画像認識装置において、
　前記撮像部は左右に配置された二つのカメラから成る、
ことを特徴とする画像認識装置、としたので、
・二つのカメラで視差画像を得ることによって、より高精度に各要素の認識を行うことができる。
　また、本発明は、
６．
　４．に記載の画像認識装置において、
　前記検知部は、前記路端検知部で検知した右側の路端と左側の路端との間を走行領域として検知する、
ことを特徴とする画像認識装置、としたので、
・路端を検出することで、道路の幅が進行方向に向けて広がっているのか、狭まっているのかを知ることができ、これにより合流路や分岐路などの道路状況を知ることができて、自車両に対して適用される標識の見極めをより正確に行うことができる。
　また、本発明は、
７．
　４．に記載の画像認識装置において、
　前記走行状況理解部は、前記車両が高速道路の本線を走行中であるという走行状況と前記車両が高速道路の支線を走行中であるという走行状況とを認識する、
ことを特徴とする画像認識装置、としたので、
・高速道路の本線を走行中か、支線を走行中かを認識することで、自車両に対して適用される標識の見極めをより正確に行うことができる。
　また、本発明は、
８．
　４．に記載の画像認識装置において、
　前記走行状況理解部は、前記標識認識部によって認識した標識が高速道路用標識である場合には前記車両が高速道路を走行中であるという走行状況と認識し、前記標識認識部によって認識した標識が市内道路用標識である場合には前記車両が市内道路を走行中であるという走行状況と認識する、
ことを特徴とする画像認識装置、としたので、
・標識の認識結果から、高速道路を走行中か、市内道路を走行中かを認識することで、自車両に対して適用される標識の見極めをより正確に行うことができる。
　なお、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
　また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上述した個々の実施例の各要素のいかなる組合せも本発明に含むものである。
　１…画像認識装置、２…検知部、３…認識部、１００…車載ステレオカメラ装置、１０１…左カメラ、１０２…右カメラ、１０３…画像入力インタフェース、１０４…画像処理部、１０５…演算処理部、１０６…記憶部、１０７…ＣＡＮインタフェース、１０８…制御処理部、１０９…内部バス、１１０…車載ネットワークＣＡＮ。

Claims (8)

  1. 　撮像画像に基づき車両の走行領域を検知する検知部と、
    　撮像画像に基づき標識情報を認識する認識部と、
    　前記検知部によって検知した走行領域を走行する前記車両と前記認識部によって認識した標識情報との関連を判断する判断部と、
    を備えた、
    ことを特徴とする画像認識装置。
  2. 　請求項１に記載の画像認識装置において、
    　前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置する場合に、該標識情報が前記車両に適用されるものであると判断する、
    ことを特徴とする画像認識装置。
  3. 　請求項１に記載の画像認識装置において、
    　前記判断部は、前記検知部が検知した走行領域から所定範囲内に、前記認識部が認識した標識情報が位置しない場合に、該標識情報が前記車両に適用されないものであると判断し、該標識情報を外部に出力しない、または該標識情報を前記車両に適用されないものである旨とともに外部に出力する、
    ことを特徴とする画像認識装置。
  4. 　請求項１に記載の画像認識装置において、
    　前記車両に搭載され、前記撮像画像から該車両に対して有効な標識を判定する画像認識装置であって、
    　前記撮像画像を撮像する撮像部をさらに備え、
    　前記検知部は前記撮像画像から路端を検知する路端検知部を有し、
    　前記認識部は前記撮像画像から標識を認識する標識認識部を有し、
    　前記判断部は、前記撮像画像から各要素を認識する要素認識部と、前記要素認識部によって認識した各要素に基づき前記車両の走行状況を認識する走行状況理解部と、前記標識認識部によって認識した標識のうち前記車両に適用される標識を、前記走行状況理解部によって認識した走行状況及び前記路端検知部による検知結果に基づいて判定する有効標識判定部と、を有する、
    ことを特徴とする画像認識装置。
  5. 　請求項４に記載の画像認識装置において、
    　前記撮像部は左右に配置された二つのカメラから成る、
    ことを特徴とする画像認識装置。
  6. 　請求項４に記載の画像認識装置において、
    　前記検知部は、前記路端検知部で検知した右側の路端と左側の路端との間を走行領域として検知する、
    ことを特徴とする画像認識装置。
  7. 　請求項４に記載の画像認識装置において、
    　前記走行状況理解部は、前記車両が高速道路の本線を走行中であるという走行状況と前記車両が高速道路の支線を走行中であるという走行状況とを認識する、
    ことを特徴とする画像認識装置。
  8. 　請求項４に記載の画像認識装置において、
    　前記走行状況理解部は、前記標識認識部によって認識した標識が高速道路用標識である場合には前記車両が高速道路を走行中であるという走行状況と認識し、前記標識認識部によって認識した標識が市内道路用標識である場合には前記車両が市内道路を走行中であるという走行状況と認識する、
    ことを特徴とする画像認識装置。
PCT/JP2018/025461 2017-08-25 2018-07-05 画像認識装置 Ceased WO2019039106A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019537970A JP6941677B2 (ja) 2017-08-25 2018-07-05 画像認識装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017162658 2017-08-25
JP2017-162658 2017-08-25

Publications (1)

Publication Number Publication Date
WO2019039106A1 true WO2019039106A1 (ja) 2019-02-28

Family

ID=65440066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025461 Ceased WO2019039106A1 (ja) 2017-08-25 2018-07-05 画像認識装置

Country Status (2)

Country Link
JP (1) JP6941677B2 (ja)
WO (1) WO2019039106A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023541914A (ja) * 2020-09-14 2023-10-04 ジャガー ランド ローバー リミテッド 車両制御装置及び速度制限信号生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2007145251A (ja) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd 運転支援装置
JP2008102684A (ja) * 2006-10-18 2008-05-01 Hitachi Ltd 路上標示認識装置およびカーナビゲーションシステム
JP2009122825A (ja) * 2007-11-13 2009-06-04 Clarion Co Ltd 走行状況判定装置
JP2012116436A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 車線逸脱防止装置
JP2015165368A (ja) * 2014-03-03 2015-09-17 株式会社日本自動車部品総合研究所 走行区画線認識装置
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
JP2016224716A (ja) * 2015-05-29 2016-12-28 株式会社デンソー 運転支援装置及び運転支援方法
JP2017142756A (ja) * 2016-02-12 2017-08-17 トヨタ自動車株式会社 車両用運転支援装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2007145251A (ja) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd 運転支援装置
JP2008102684A (ja) * 2006-10-18 2008-05-01 Hitachi Ltd 路上標示認識装置およびカーナビゲーションシステム
JP2009122825A (ja) * 2007-11-13 2009-06-04 Clarion Co Ltd 走行状況判定装置
JP2012116436A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 車線逸脱防止装置
JP2015165368A (ja) * 2014-03-03 2015-09-17 株式会社日本自動車部品総合研究所 走行区画線認識装置
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
JP2016224716A (ja) * 2015-05-29 2016-12-28 株式会社デンソー 運転支援装置及び運転支援方法
JP2017142756A (ja) * 2016-02-12 2017-08-17 トヨタ自動車株式会社 車両用運転支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023541914A (ja) * 2020-09-14 2023-10-04 ジャガー ランド ローバー リミテッド 車両制御装置及び速度制限信号生成方法
JP7571287B2 (ja) 2020-09-14 2024-10-22 ジャガー ランド ローバー リミテッド 車両制御装置及び速度制限信号生成方法
JP2025011212A (ja) * 2020-09-14 2025-01-23 ジャガー ランド ローバー リミテッド 車両制御装置及び速度制限信号生成方法

Also Published As

Publication number Publication date
JP6941677B2 (ja) 2021-09-29
JPWO2019039106A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
US10643475B2 (en) Lane departure warning device and method
CN112537295B (zh) 驾驶辅助装置
US10445596B2 (en) Camera device for vehicle
US9177212B2 (en) Method for combining a road sign recognition system and a lane detection system of a motor vehicle
ES2767729T3 (es) Método para comprobar una condición de posibilidad de adelantamiento
JP5679461B2 (ja) 有効車線区分線を確定する方法及び装置
US10964217B2 (en) Travel control method and travel control apparatus
US8560220B2 (en) Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile
JP6103265B2 (ja) 車両用歩行者画像取得装置
US9988059B2 (en) Vehicle behavior detection device
WO2010035781A1 (ja) 車線判定装置及びナビゲーションシステム
CN105518758A (zh) 用于核查机动车错误方向行驶的方法以及控制和检测装置
JP5202741B2 (ja) 分岐路進入判定装置
JP3666332B2 (ja) 歩行者検知装置
WO2019230122A1 (ja) 検知装置及び検知システム
JP7165012B2 (ja) 車両用ステレオカメラ装置
KR20150044134A (ko) 추월차로에서의 차선변경 유도장치 및 방법
US20250384698A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
JP2012093100A (ja) 車高計測装置
JP6941677B2 (ja) 画像認識装置
JP5218174B2 (ja) 車両制御装置及び車両制御システム
JP4848644B2 (ja) 障害物認識システム
WO2021209403A1 (en) Detection of obstacles in a curved road
KR20180009280A (ko) 3d 맵 데이터를 이용한 차선 위치확인 및 경로 안내 시스템
JP2009151606A (ja) 他車検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18848769

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019537970

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18848769

Country of ref document: EP

Kind code of ref document: A1