[go: up one dir, main page]

WO2025104133A1 - Détection de segments - Google Patents

Détection de segments Download PDF

Info

Publication number
WO2025104133A1
WO2025104133A1 PCT/EP2024/082262 EP2024082262W WO2025104133A1 WO 2025104133 A1 WO2025104133 A1 WO 2025104133A1 EP 2024082262 W EP2024082262 W EP 2024082262W WO 2025104133 A1 WO2025104133 A1 WO 2025104133A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
lateral
lateral segment
main vehicle
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/082262
Other languages
English (en)
Inventor
Florian DON
William GELARD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of WO2025104133A1 publication Critical patent/WO2025104133A1/fr
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Definitions

  • This disclosure relates to the field of driver assistance systems and more particularly to the automatic detection of vehicles in areas of interest, in particular lateral areas.
  • most existing vehicle detection methods are based on classification algorithms for identifying vehicles from image sequences or video streams acquired by vision sensors (typically, a camera).
  • vision sensors are generally arranged at the front and/or rear of the vehicle concerned, so as to acquire images and/or image sequences of a front and/or rear field of view (Field of View) of the vehicle concerned.
  • the classification algorithms can then identify one or more vehicles neighboring the vehicle concerned on the basis of frontal recognition of the neighboring vehicles (i.e. by identifying and classifying vehicles detected in the field of view from their front or rear face).
  • the neighboring vehicle is therefore located substantially at the same level as the vehicle concerned and a lane change of the vehicle concerned on the adjacent lane would result in a collision with the neighboring vehicle.
  • a critical situation cannot be detected by existing classification processes.
  • the proposed method allows the implementation of an early detection of a vehicle neighboring the main neighbor, namely as soon as such a neighboring vehicle enters, even partially, into the field of view of a camera on board the main vehicle.
  • the proposed method makes it possible to detect a vehicle neighboring the main vehicle despite the absence of visibility of a front or rear frontal face of the neighboring vehicle on which most existing classifiers rely for vehicle detection.
  • the method allows a main vehicle to benefit from a driving assistance function in potentially critical moments, for example when the main vehicle wishes to change lanes or overtake and neighboring vehicles are located almost at the same level as the main vehicle, or in the latter's blind spot.
  • a driving assistance function of the main vehicle refers to a functionality of a system on board the main vehicle that makes it possible to assist, guide or even decide on guidance of the main vehicle.
  • Such a driving assistance function may be implemented in the context of a semi-autonomous or autonomous vehicle, for example, with or without a driver.
  • a driving assistance function may include assistance with driving, changing lanes, overtaking another vehicle, or even parking, for example.
  • a field of view we mean a portion of the main vehicle's surroundings covered by the camera's field of view. Such a field may, for example, be in front and/or behind the main vehicle.
  • images acquired at acquisition times reference is made to a continuous or discretized succession of images (i.e., in two dimensions) of the portion of the environment included in the field of view, associated with a succession of instants at which these images were acquired.
  • the movement of the elements surrounding the main vehicle over time implies a field of view covering an evolving environment: the vehicles and elements neighboring the main vehicle exhibit relative movement with respect to the main vehicle (as the main vehicle moves) and/or absolute movement in the environment.
  • a lateral segment corresponding to a lateral coplanar set of optical flows detected in the field of view, between the respective acquisition times of the two images of said pair of images reference is made to obtaining a pixel displacement field observed between two acquired images.
  • An optical flow can then be assimilated to a bipoint (or vector) representing a displacement in space.
  • a set of coplanar optical flows reflecting a common movement can then be associated with a segment.
  • a lateral segment then corresponds to a segment parallel to a plane called lateral or oblique with respect to a main axis of circulation of the main vehicle (e.g., on a motorway lane).
  • a temporal data linked to a collision time associated with said lateral segment reference is made to a value reflecting a time before collision between the element associated with the lateral segment and the main vehicle observing such a lateral segment.
  • a collision time can be deduced for example from the calculation of an optical flow, a set of coplanar optical flows forming a lateral segment having the same collision time. A collision time can then be associated with a lateral segment.
  • lateral distance we mean a lateral or bias gap between the element associated with the detected lateral segment and the main vehicle.
  • the lateral distance corresponds to the lateral gap separating the lanes occupied by the main and neighboring vehicles.
  • Such a lateral distance thus reflects a gap in the environment between the main and neighboring vehicles.
  • a plausibility score we mean a value reflecting a probability (or plausibility) that the detected side segment corresponds to a vehicle neighboring the main vehicle.
  • a plausibility score can then be determined from parameters associated with the lateral segment (eg, its relative speed with respect to the main vehicle, its absolute speed in the environment, its position in the environment, etc.) and one or more predetermined tolerance thresholds, which make it possible to delimit the values of said parameters as plausibly assimilated to a vehicle.
  • the higher the plausibility score the more the object associated with the lateral segment can be plausibly assimilated to a vehicle.
  • a device configured to provide a driving assistance function for a main vehicle, said device being connected to at least one camera on board the main vehicle and capable of acquiring images of a scene surrounding the main vehicle according to at least one field of view and at acquisition times, the device comprising at least one processing circuit configured to implement a method for detecting at least one neighboring vehicle present in an environment of the main vehicle as proposed.
  • a non-transitory computer-readable recording medium having recorded thereon a program for implementing the method as provided when this program is executed by a processor.
  • the lateral distance associated with the lateral segment is determined from an optical flow belonging to the chosen lateral segment so that a minimum angle is measured between said chosen optical flow and a vertical axis defined according to the predefined coordinate system.
  • the proposed method makes it possible to determine a lateral distance effectively separating the main vehicle from the object associated with the lateral segment in the environment (which is not yet identified by the device as being a vehicle or not at this stage). Such a lateral distance can in particular be obtained by carrying out measurements on the image presenting the lateral segment. The minimum angle determined then makes it possible to ensure that the optical flow chosen to determine the lateral distance is the closest to the ground among all the optical flows forming the lateral segment.
  • the known speed of the main vehicle and the speed associated with the lateral segment are each composed of a lateral component and a longitudinal component according to a predefined coordinate system
  • the plausibility score varies inversely with a deviation between the longitudinal component of the speed associated with the lateral segment and the longitudinal component of the known speed of the main vehicle.
  • the plausibility score may depend on a difference in forward speed (or movement) between the main vehicle and the object associated with the lateral segment.
  • the plausibility score then makes it possible to assimilate to a vehicle the lateral segments having a longitudinal movement speed close to the known speed of the main vehicle.
  • the longitudinal component of a speed refers to the component of the speed along the main direction of travel of the vehicle.
  • the longitudinal component of the speed corresponds to the speed component along the axis of the road (i.e., of the motorway lane).
  • the lateral component of a speed refers to the speed component along a biased or lateral direction relative to the main direction of travel of the vehicle.
  • the lateral component of the speed corresponds to the speed component along an axis on the ground perpendicular to the axis of the road, i.e., the axis of travel of a vehicle moving from one motorway lane to another, for example.
  • the difference between the two longitudinal components of two speeds makes it possible to quantify a differential in travel speed between the main vehicle and the element associated with the lateral segment. For example, if the element associated with the lateral segment happens to be a sign or a tree leaf, the differential in longitudinal speed components of such an element and the main vehicle will exceed a predetermined tolerance threshold, which will reduce the plausibility score.
  • the known speed of the main vehicle and the speed associated with the lateral segment each being composed of a lateral component and a longitudinal component in a predefined coordinate system
  • the plausibility score varies inversely with an increasing value of the lateral component of the speed associated with the lateral segment.
  • the plausibility score allows to assess whether the element associated with the lateral segment moves in a direction substantially similar to a direction of movement of the main vehicle. Indeed, the greater the lateral component of the speed associated with the lateral segment, the more it reflects a significant lateral displacement of the element associated with the lateral segment. [30] According to one embodiment, the method further comprises:
  • the plausibility score takes into account a dimension associated with the side segment, such a dimension being able to reflect a size or a height of the element associated with the side segment.
  • the plausibility score therefore makes it possible to verify that the element associated with the side segment has a height comparable to a vehicle.
  • an insufficient height e.g., less than a predefined minimum height threshold
  • an excessively high height e.g., greater than a predefined maximum height threshold
  • a vehicle e.g., a bird flying above the vehicles
  • the method further comprises, after detecting the presence state of the neighboring vehicle corresponding to a presence of the neighboring vehicle,:
  • the proposed method makes it possible to detect the presence of a neighboring vehicle in the environment of the main vehicle, as well as to estimate a position of such a vehicle, once detected, in the environment.
  • the method also makes it possible to create a virtual object associated with the lateral segment from such a position, in order to mark the presence of a detected neighboring vehicle.
  • a landmark associated with the side segment reference is made to a point belonging to the element associated with the side segment, which is, at this stage, identified as being a neighbouring vehicle.
  • a landmark may, for example, be assimilated to a front end of the neighbouring vehicle.
  • Such a landmark may, for example, be a point whose position marks a presumed position of a front face of the vehicle.
  • a created object associated with the side segment in the camera's field of view reference is made to a virtual object superimposable on an image acquired by the camera.
  • a created virtual object is further associated with the side segment in the sense that the object is estimated to be superimposed on a location presumed to be occupied by the neighboring vehicle detected.
  • Such a virtual object is notably characterized by a position in the environment and/or in the image.
  • Such a virtual object can also be characterized by dimensions so as to reflect presumed dimensions of the detected vehicle.
  • the virtual object created can be used to provide a driving assistance function to the main vehicle, for example by displaying such a virtual object on a field of view displayable on a dashboard of the main vehicle for example.
  • the virtual object thus created then makes it possible to represent the space of the environment occupied by the neighboring vehicle, so that a signal or an alert can be triggered when it is detected that the space occupied by the main vehicle is approaching and/or substantially coincides with the space occupied by the virtual object.
  • the object associated with the side segment is further created from predetermined dimensions associated with a type of motor vehicle.
  • the created virtual object may include a modeling of the neighboring vehicle by representing the space presumed to be occupied by such a vehicle.
  • the predetermined dimensions may, for example, correspond to average dimensions of vehicles traveling on such a portion of the environment, or even to maximum dimensions of a vehicle, so as to assist the driving of the main vehicle in an “unfavorable” configuration (where the space of the environment occupied by the main vehicle may coincide more quickly with the space occupied by the neighboring vehicle compared to a smaller vehicle).
  • Figure 1 shows a schematic of a main vehicle according to one embodiment.
  • Figure 2 shows an aerial view of a scene surrounding the main vehicle according to one embodiment.
  • Figure 3 shows a diagram of a driving assistance device according to one embodiment.
  • Figure 4 shows steps of a method for early detection of a vehicle according to one embodiment.
  • FIG. 5 shows steps of a method for early detection of a vehicle according to one embodiment.
  • Figure 6 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 7 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 8 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 9 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 10 shows an aerial view of a scene surrounding the main vehicle according to one embodiment.
  • Figure 11 shows a modeling of a point of a scene surrounding the main vehicle according to one embodiment.
  • Figure 12 shows a virtual object associated with a lateral segment according to one embodiment.
  • FIG. 1 shows a diagram of a main passenger vehicle (VP).
  • the main passenger vehicle (VP) may be a motor vehicle. There is no limitation on the type of vehicle to which the main passenger vehicle (VP) belongs.
  • the main passenger vehicle (VP) may, for example, be a private, utility or industrial vehicle, and may, for example, correspond to a car, a van, a two-wheeler, a truck or a bus.
  • the main passenger vehicle may also be a towed vehicle, for example, towing a trailer, a semi-trailer or a caravan.
  • the dimensions of the main passenger vehicle may be between 2 metres and 20 metres in length, between 0.5 metres and 5 metres in width and between 1 metre and 5 metres in height.
  • the main vehicle VP is equipped with at least one on-board system providing a plurality of functions or applications of the main vehicle VP.
  • Such functions may, for example, correspond to cruise control, power steering, automated airbag deployment, automatic headlight adjustment, etc.
  • the main vehicle VP is in particular equipped with an on-board system allowing detection of objects surrounding the main vehicle VP, for example as part of a driving assistance function such as obstacle detection, lane change assistance or automatic lane change.
  • the on-board system of the main vehicle VP comprises a driving assistance device 2.
  • the device 2 is capable of providing a driving assistance function on the basis of a plurality of shots (or images) of the environment of the main vehicle VP.
  • the device 2 is in particular connected to one or more vision sensors such as a camera or a camera 1 (the vision sensor will be considered to be a camera 1 in the remainder of the description).
  • the device 2 may also be capable of transmitting or communicating data, for example relating to the driving assistance function provided.
  • the device 2 may be connected to a communication interface 50.
  • the interface 50 may be integrated into the device 2.
  • a communication interface 50 may for example be a human-machine interface.
  • the interface 50 may include a display screen, a touch screen, a dashboard, and/or a loudspeaker.
  • the data transmitted by the device 2 to the interface 50 may for example correspond to assistance information indicating to the driver of the main vehicle VP whether or not he can change lanes.
  • Figure 2 illustrates an ENV environment (or scene), in which the main vehicle VP is located.
  • Figure 2 is an aerial view of such an ENV scene.
  • the ENV environment can be defined in a three-dimensional frame (X,Y,Z), called a “world frame” as illustrated in Figures 1 and 2.
  • the origin of such a world frame (X,Y,Z) is predefined and fixed in the ENV environment.
  • the main vehicle VP is considered to be moving in the scene ENV.
  • a scene ENV corresponds for example to a road or a motorway made up of several traffic lanes. These traffic lanes may in particular be parallel to each other, as represented by the linked dotted vertical lines in Figure 2.
  • Figure 2 illustrates for example three traffic lanes, the main vehicle VP being located on the middle traffic lane.
  • the main vehicle VP is considered to be moving in the main direction X of the (X,Y,Z) reference frame, such a main direction being called the longitudinal direction.
  • Such a movement is shown diagrammatically in Figures 1 and 2 by an arrow attached to the main vehicle VP.
  • the main vehicle VP may also have a movement in the Y direction of the (X,Y,Z) reference frame, called the lateral direction. Such a movement in the Y direction, called a lateral movement (or displacement), may for example take place when the vehicle changes traffic lane.
  • a movement in the Z direction, i.e. in height, of the main vehicle VP is not considered.
  • the main vehicle VP is therefore considered to be kept on the ground and therefore has a height in the Z direction that is substantially constant, corresponding approximately to a predefined dimension of the main vehicle VP.
  • such a height in the Z direction of the main vehicle VP may vary by the order of a centimeter or a decimeter, such a variation in height in the Z direction being for example linked to shock absorbers of the main vehicle VP and/or to reliefs or roughness present in the ENV environment (in particular on the traffic lane of the main vehicle VP). In the remainder of the description, such a height in the Z direction of the main vehicle VP is considered known.
  • the scene ENV surrounding the main vehicle VP may also include other OV elements and vehicles VV1, VV2, VV3.
  • the vehicles VV1, VV2, VV3 are neighboring vehicles of the main vehicle VP.
  • Such neighboring vehicles VV1, VV2, VV3 are, like the main vehicle VP, motor vehicles moving in the scene ENV.
  • Such neighboring vehicles VV1, VV2, VV3 may in particular have dimensions and movement characteristics (in terms of speed or acceleration for example) similar to or different from the main vehicle VP.
  • figure 2 may represent a main vehicle VP moving on a motorway lane and neighboring vehicles VV1, VV2, VV3 traveling on the motorway lanes neighboring the lane taken by the main vehicle VP.
  • OV objects are neighboring elements of the main vehicle VP and can refer to any element distinct from a neighboring vehicle VV1, VV2, VV3.
  • a neighboring element OV can for example correspond to an obstacle located in the scene such as a central reservation separating two traffic lanes, an indication sign or even a bird flying in the scene ENV.
  • the main vehicle VP is considered to be equipped with a camera 1 positioned at the rear of the main vehicle VP.
  • the camera 1 can be positioned at the front of the main vehicle VP or several cameras 1 can be positioned both at the front and at the rear of the main vehicle VP.
  • the camera 1 makes it possible to capture images (or shots) of the ENV scene of the main vehicle VP according to a field of view FOV (or in English “Field of View”).
  • a field of view FOV depends in particular on the type of camera 1 used and the positioning of the camera 1 in (or on) the main vehicle VP.
  • the field of view FOV covers a part of the ENV scene, so that a limited portion of the ENV scene is captured according to the field of view FOV.
  • the field of view FOV represented covers a portion of the traffic lane in which the main vehicle VP is located and respective portions of the neighboring traffic lanes.
  • the field of view FOV covers a portion of the scene ENV in which the neighboring vehicle VV2 is located in its entirety and a portion of the scene ENV in which the neighboring vehicle VV1 is partially located.
  • the portion of the scene ENV in which the neighboring vehicle VV1 is partially located may comprise a point A, called the first reference point A (having coordinates in the world reference frame (X,Y,Z)), positioned on the neighboring vehicle VV1, corresponding for example to a reference point placed at the rear-left of the neighboring vehicle VV1 at the height of the neighboring vehicle VV1.
  • a second reference point W for example located at the middle of the front face of the vehicle closest to the ground, is not in the field of view FOV in Figure 2.
  • the neighboring vehicle VV3 is not visible in the field of view FOV of the main vehicle VP.
  • a portion of the neighboring vehicle VV1 is not visible in the field of view FOV of the main vehicle VP.
  • the non-visible parts of the neighboring vehicles VV1, VV3 in the field of view FOV are represented in Figure 2 by striped areas.
  • a neighboring object OV for example a bird, may be visible in the field of view FOV.
  • the main vehicle VP moves at a main speed known.
  • a main speed is considered to be of constant VVP standard.
  • the neighboring vehicle VV1 is considered to be moving at a neighboring speed unknown to the driving assistance device 2 of the main vehicle VP.
  • the VVP standard of the neighboring speed is lower than the VVP standard of the main speed V ⁇ .
  • the distance difference in the longitudinal direction X between the main vehicle VP and the neighboring vehicle VV1 will increase over time, so that at a future time, the overtaking of the main vehicle VP on the neighboring vehicle VV1 will be such that the neighboring vehicle VV1 will be entirely included in the (rear) field of view FOV of the main vehicle VP, as is the initial case of the neighboring vehicle VV2.
  • the VVP norm of the neighboring speed may be greater than the VVP norm of the main speed V ⁇ .
  • the distance difference in the longitudinal direction X between the main vehicle VP and the neighboring vehicle VV1 will increase over time, so that at a future time, the overtaking of the neighboring vehicle on the main vehicle VP will be such that the neighboring vehicle VV1 will be entirely included in a field of view (front) of the main vehicle VP, for a camera 1 placed at the front of the main vehicle VP (case not shown in the figures).
  • Figures 6, 7 and 8 show schematically shots of the scene ENV surrounding the main vehicle VP according to the (rear) field of view FOV of camera 1 of the main vehicle VP, as positioned in Figure 2.
  • FOV field of view
  • Figures 6, 7 and 8 only the portion of the neighboring vehicle VV1 visible in the field of view FOV is shown in Figures 6, 7 and 8, the neighboring vehicle VV2 and the neighboring element OV of Figure 2 included in the field of view FOV are not shown in the shots of Figures 6, 7 and 8.
  • Figures 6, 7 and 8 correspond to images successively acquired by the camera 1 at successive instants (or acquisition times) T1, T2 and T3.
  • Each of the instants T1, T2 and T3 may, for example, be spaced one or more milliseconds apart in time.
  • Each of the images corresponds to a set of pixels with coordinates definable in a two-dimensional (y,z) frame of reference, called the “image frame”, as shown in Figures 6, 7 and 8.
  • the lowest and leftmost pixel of each image acquired by the camera 1 may correspond to the origin of the two-dimensional (y,z) frame of reference.
  • the central pixel of the image acquired by the camera may correspond to the origin of the reference (y,z).
  • the resolution of the acquired images (and therefore the pixels) is the same for all the acquired images and depends in particular on the properties of the camera 1.
  • Figure 6 shows a diagram of an image acquired by camera 1 at time T 1 , corresponding for example to a configuration of the scene ENV and the field of view FOV illustrated in figure 2.
  • a first, lateral, portion of the neighboring vehicle VV1 is visible on the image of figure 6, such a first lateral portion including in particular the left rear wheel of the neighboring vehicle VV1 and the portion of the neighboring vehicle VV1 on which the first reference point A is located.
  • a first reference point A is positioned on a pixel A' of the image of figure 6.
  • Such a pixel A' then corresponds to the projection of the first reference point A in the image reference frame (y,z) at time T1 and has the coordinates (yA'.zA').
  • Figure 7 shows a diagram of an image acquired by the camera 1 at time T2 following time T1.
  • a second lateral portion of the neighboring vehicle VV1 larger than the first lateral portion is visible in the image of Figure 7, such a second lateral portion including in particular the left rear wheel, partially the left front wheel of the neighboring vehicle VV1 and the portion of the neighboring vehicle VV1 on which the first reference point A is located.
  • such a first reference point A is positioned on a pixel A” of the image of Figure 7 different from the pixel A’ of the image of Figure 6.
  • Such a pixel A” corresponds to the projection of the first reference point A in the image reference frame (y,z) at time T2 and has the coordinates (yA”,zA”).
  • the speed differential between the main vehicle VP and the neighboring vehicle VV1 between times T1 and T2 is such that the neighboring vehicle VV1 “enters more and more” into the field of view FOV of camera 1 between times T1 and T2.
  • Figure 8 shows a diagram of an image acquired by camera 1 at time T3 following time T2.
  • the entirety of the neighboring vehicle VV1 is visible in the image of Figure 8 and in particular, the portion of the neighboring vehicle VV1 on which the first reference point A is located as well as a portion of the neighboring vehicle VV1 on which the second reference point W shown in Figure 2 is located and positioned on the front end of the neighboring vehicle VV1 are therefore visible.
  • the first reference point A is positioned on a pixel A’” of the image of Figure 8, different from the pixels A’ and A” of the images of Figures 6 and 7.
  • Such a pixel A’ then corresponds to the projection of the first reference point A in the image frame (y,z) at time T3 and has coordinates (yA’”,zA’”).
  • the second reference point W is positioned on a pixel W’” of the image of Figure 8.
  • Such a pixel W’” then corresponds to the projection of the second reference point W in the image frame (y,z).
  • the speed differential between the main vehicle VP and the neighboring vehicle VV1 between times T2 and T3 is such that the neighboring vehicle VV1 “entered entirely” into the field of view FOV of the camera 1 between times T2 and T3.
  • a process for detecting vehicles surrounding the main vehicle VP is required, so that the main vehicle VP does not move onto a neighboring traffic lane if it risks colliding with one of the surrounding vehicles.
  • the device 2 may aim to assist the main vehicle VP in its lane change towards the traffic lane of the neighboring vehicle VV1, so that the main vehicle VP does not collide with the neighboring vehicle VV1.
  • classifiers based for example on convolutional neural network (CNN) methods, K-nearest neighbors (KNN) or support vector machines (SVM).
  • CNN convolutional neural network
  • KNN K-nearest neighbors
  • SVM support vector machines
  • Such classifiers allowing the detection of vehicles surrounding the main vehicle VP rely in particular on the detection and classification of a frontal (front or rear) view (or face) of the vehicles surrounding the main vehicle VP.
  • the use of such classifiers may in particular comprise a learning phase based on a plurality of images representing frontal views of various types of vehicles.
  • a front frontal view of the neighboring vehicle VV2 belonging to the field of view FOV of the camera 1, the detection of the neighboring vehicle VV2 may be implemented on the basis of existing classification techniques. The same applies to the neighboring vehicle VV1 in the image of FIG. 8 at time T3.
  • the positions of the neighboring vehicle VV1 shown in Figure 2 and Figures 6 and 7 correspond to situations in which the existing classifiers fail to detect or track the neighboring vehicle VV1 effectively, or in any case, not without generating significant costs and/or computational time, due to the absence of a visible frontal view of the neighboring vehicle VV1 in the shots of Figures 6 and 7 (the second reference point W of Figure 2 positioned on the front frontal face of the neighboring vehicle VV1 not yet being visible in the field of view FOV of camera 1 at these stages).
  • FIG. 3 represents a diagram of an on-board system of a main vehicle VP.
  • an on-board system corresponds to a driving assistance system for the main vehicle VP.
  • the driving assistance system of the main vehicle VP makes it possible in particular to provide a lane change assistance or automatic lane change function for the main vehicle VP, when the main vehicle VP is moving on a traffic lane as represented for example in Figure 2.
  • the system firstly comprises the driving assistance device 2.
  • the device 2 may in particular comprise a unit 20 for detecting optical flows, a unit 30 for detecting an object associated with the detected vehicle and a unit 40 for creating such an object associated with the detected vehicle.
  • the driving assistance device 2 is further connected, on the one hand, to a vision sensor of the camera or camera type 1.
  • the device 2 comprises an input unit (not shown in FIG. 3) allowing the device 2 to receive in substantially real time a data stream from the camera 1.
  • a data stream corresponds to a discrete or continuous succession of images (or shots) of the scene ENV according to the field of view FOV of the camera 1.
  • Each image received is associated with an acquisition time of the image by the camera 1.
  • Each image can be time-stamped. Examples of such images transmitted by the camera 1 are shown in FIGS. 6, 7 and 8.
  • the driving assistance device 2 may be connected to a communication interface 50.
  • Such an interface 50 may correspond to a human-machine interface integrated into the on-board system of the main vehicle VP. Such an interface 50 may also be integrated into the device 2.
  • the communication interface 50 may also be a remote interface.
  • the communication interface 50 may for example comprise a display screen, a touch screen, a dashboard or even a loudspeaker, making it possible to transmit, for example by visual, haptic and/or audible information, indications relating to assistance in driving the main vehicle VP.
  • the communication interface 50 may make it possible to transmit a detection status of a vehicle neighboring the main vehicle VP or even an indication relating to a possibility of changing lane of the main vehicle VP.
  • the optical flow detection unit 20 is capable of receiving and processing the data stream received from the camera 1.
  • the unit 20 can, from the succession of images acquired by the camera 1 at successive acquisition times, obtain optical flows over given time intervals.
  • Such a unit 20 can also implement a step of segmenting the determined optical flows, so as to obtain one or more segments associated with each acquired image (or segmented images), a segment then being associated with a set of optical flows on a given image.
  • the unit 20 can comprise a processing circuit composed of at least one processor 21 and at least one memory unit 22 capable of determining optical flows and/or segments associated with temporal data from the acquired images.
  • the unit 30 for detecting an object associated with the detected vehicle may be capable, for each segment determined by the unit 20, of implementing a plausibility test to associate this segment with a detected vehicle.
  • the unit 30 may comprise a processing circuit composed of at least one processor 31 and at least one memory unit 32, such a processing circuit being capable of implementing the plausibility test and, for example, of determining a plausibility score or a probability of presence of a vehicle obtained at the end of such a test.
  • the unit 40 for creating an object associated with the detected vehicle may be capable, for each vehicle detected by the unit 20 and according to the plausibility score determined by the unit 30, of creating a virtual object associated with the detected vehicle corresponding to the optical flows (or segments) detected as belonging to such a vehicle.
  • the unit 40 may comprise a processing circuit composed of at least one processor 41 and at least one memory unit 42, the processing circuit of the unit 40 being capable of taking as input data from the units 20 and 30 and of determining initial conditions (e.g., initial position and/or speed data, vehicle dimensioning data, etc.) so as to create a virtual object associated with the vehicle detected by the unit 30.
  • the virtually created object and/or its initial conditions may then be transmitted for communication to the user of the device 2 (e.g., the driver of the main vehicle VP) via the communication interface 50.
  • Figure 4 illustrates a succession of steps for implementing a method for early detection of a neighboring vehicle VV1 by a system including a device 2 for assisting the driving of a main vehicle VP as shown in Figures 1 and 3.
  • the device 2 receives a plurality of images (or shots) associated with respective acquisition times of the images from the camera 1. Such images may in particular be received continuously, for example via a video stream.
  • the unit 20 of the device 2 may discretize the received video stream so as to obtain a set of discrete images associated with respective acquisition times.
  • the unit 20 of the device 2 may proceed, in step 400, to image processing, for example by homographies, so as to identify one or more related sets of relatively homogeneous speed on the images.
  • image processing then consists of determining a displacement of pixels at a substantially common speed from one image to another, or optical flow.
  • Each optical flow can be determined by matching points between several successive images, for example by the Lucas-Kanade method.
  • Each optical flow is then determined on at least one of the images of a pair of images and is associated with iTTC temporal data.
  • iTTC temporal data relates to an inverse magnitude of a collision time associated with the optical flow.
  • the determined optical flows can in particular, at step 400, be segmented into one or more segments having a common point or vanishing line and belonging to planes in the field of view FOV.
  • each acquired image can be segmented into one or more segments, each segment defining a grouping of optical flows (and therefore a grouping of pixels having substantially the same speed and describing the same movement in a given time interval).
  • Step 400 can then comprise, after determining such optical flows, the generation of hypotheses of movement of the objects and vehicles of the ENV scene, for example on the basis of an affine movement model of the objects and vehicles of the ENV scene, and to classify (or partition) the optical flows into segments.
  • a segment can then be defined as a set of optical flows having a substantially common movement.
  • all of the optical flows of a segment have a substantially common collision time value iTTC: it is therefore considered that a collision time associated with a lateral segment SL is equivalent to a collision time associated with an optical flow belonging to this lateral segment SL.
  • a segment can be defined by a coplanar set of optical flows. It is thus possible to distinguish three types of segments in a segmented image:
  • - so-called "horizontal” segments corresponding to coplanar sets of optical flows belonging to planes parallel to the (X, Y) plane in the world frame (X, Y, Z).
  • a horizontal segment can correspond to the plane formed by the road in images 6 to 9.
  • - so-called "vertical” segments corresponding to coplanar sets of optical flows belonging to planes parallel to the (Y, Z) plane in the world frame (X, Y, Z).
  • a vertical segment can correspond to the plane of camera 1.
  • lateral segments corresponding to coplanar sets of optical flows belonging to planes parallel to the plane (X, Z) in the world frame (X, Y, Z).
  • a lateral segment SL is represented in figure 9.
  • Such a step 400 can be implemented concomitantly with the following steps of the method, in particular when the camera sends a stream of images in real time and continuously (non-punctual).
  • the device 2 can implement the rest of the steps (410, 420, 430 and 440) of the method on a lateral segment considered and continue to detect other optical flows (and/or other segments) in step 400.
  • a lateral distance d is first determined for at least one lateral segment SL.
  • Figure 9 corresponds to the image acquired by the camera 1 at time T1 (corresponding to the image of Figure 6) on which is represented a lateral segment SL determined by the unit 20 in step 400.
  • the lateral segment SL comprises in particular a set of optical flows represented schematically by points in Figure 9.
  • the optical flows can be represented schematically by bipoints reflecting a displacement between two successively acquired images.
  • a vertical axis VL of the acquired image is considered.
  • a vanishing point of the acquired image is also considered, corresponding to the vanishing point of the optical flows in the image.
  • Such a vanishing point is represented by the point C’ with coordinates (yC’,zC’) in Figure 9.
  • the chosen optical flow is associated with a pixel B’ with coordinates (yB’.zB’) on the acquired image and corresponding to a third reference point B of the vehicle detected in the ENV scene (not shown in the figures, corresponding for example to a reference point located on the left rear wheel of the neighboring vehicle VV1).
  • a third reference point B of the vehicle detected in the ENV scene not shown in the figures, corresponding for example to a reference point located on the left rear wheel of the neighboring vehicle VV1.
  • the optical flow B’ corresponding to the optical flow of the lateral segment SL being closest to the ground thus determined.
  • the chosen optical flow B’ corresponds to a pixel B’ on one of the acquired images having coordinates (yB’,zB’) in the image frame (y,z). From such coordinates (yB’,zB’) in the image frame (y,z), the coordinates of the third reference point B are determined, in step 410, in the world frame (X,Y,Z). In particular, such coordinates of the third reference point B in the world frame (X,Y,Z) can be determined, from the coordinates (yB’,zB’) and the predefined characteristics of the camera 1, on the basis of the pinhole model (or in English, “pinhole model”).
  • step 410 of determining the coordinates of the third reference point B in the world reference frame (X,Y,Z) may comprise a correction of the distortion of the lens of the camera 1.
  • step 410 it is then possible to obtain a position according to the world reference frame (X,Y,Z) of the third reference point B corresponding to the chosen optical flow B' in the environment ENV.
  • a lateral distance d (real, expressed in meters) of the third reference point B can then be directly deduced from the coordinate along the Y axis of the position according to the world reference frame (X,Y,Z) of the third reference point B corresponding to the chosen optical flow B' in the environment ENV.
  • the lateral distance d can in particular be obtained by calculating the difference between the coordinate along the Y axis of the position according to the world reference frame (X,Y,Z) of the third reference point B in the environment ENV and the coordinate along the Y axis of a point of origin of the camera 1 of the main vehicle VP, for example coincident with a vanishing point of the camera 1.
  • the lateral distance d estimated at step 410 then corresponds to an estimate of a lateral gap separating the main vehicle VP from the object to which the detected lateral segment SL belongs (at the stage of step 410, the system 2 has not yet determined that it is a vehicle, namely the neighboring vehicle VV1).
  • a lateral distance d’ (on the acquired image, expressed in pixels) of the optical flow B’ can also be obtained from the coordinate yB’ of the optical flow B’ along the y axis in the image frame (y,z) as well as from a coordinate yC’ of the origin (or central) point of the camera 1 of the main vehicle VP, for example coincident with the vanishing point C’.
  • a central point can for example correspond to the optical center of the acquired image or to a point associated with the location of the camera 1 in the environment ENV.
  • Such a lateral distance d’ is for example represented in figure 9.
  • the lateral distance d associated with a detected SL lateral segment corresponds to the lateral distance d’ associated with the optical flow B’ detected in the SL lateral segment as being closest to the ground.
  • any reference to an optical flow of the lateral segment SL corresponds to the chosen optical flow B’ belonging to the lateral segment SL and having made it possible to determine the lateral distance d (or equivalently d’) associated with the lateral segment SL.
  • step 410 a value of a speed associated v SL with the lateral segment SL can then be estimated:
  • - v SL is a relative speed associated with the lateral segment SL (expressed in meters per second),
  • - iTTC is the time data associated with the lateral segment SL (expressed as the inverse of a time).
  • the speed v SL is then an estimated relative speed in the ENV scene of the element corresponding to the detected lateral SL segment (such an element not yet being identified as being a vehicle or not at this stage). Such a speed v SL is relative to a known defined speed VVP of the main vehicle VP.
  • a step 420 the lateral segment SL detected in step 400 and characterized in step 410 by a lateral distance d and in particular, by a relative speed v SL associated with the lateral segment SL, is tested according to a plausibility test, in order to identify whether such a lateral segment SL is likely to correspond to a neighboring vehicle VV1.
  • a plausibility test implemented in step 420 can be based on one or more plausibility (or likelihood) criteria, each criterion being able for example to be quantified by a plausibility sub-score.
  • a value relating to a pixel height associated with the lateral segment SL is estimated, from the acquired image as represented in figure 6.
  • the projection of the point (or pixel) A’ of figure 6 on the z axis makes it possible to obtain the coordinate zA’, which corresponds, in pixels, to a height associated with the lateral segment SL.
  • a first sub-score Sh can be determined:
  • - zA’ is the height (in pixels) associated with the lateral segment SL on an acquired image
  • - h ths is a predefined height threshold (in pixels or px).
  • the first plausibility sub-score s h verifies that a height in pixels of the lateral segment SL in the acquired image exceeds a certain height threshold h tfls , which depends on the resolution of the acquired image.
  • a height threshold h ths can for example be predefined at 200 px.
  • Such a sub-score then makes it possible to assign a first sub-score s h zero if the height of the lateral segment SL is considered "too close to the ground" (i.e. height zA' below the height threshold h tfls ).
  • an absolute speed V ⁇ L associated with the lateral segment SL can be determined:
  • V SL is an absolute speed associated with the lateral segment SL
  • V vp is the known speed of movement of the main vehicle VP and therefore of movement of camera 1.
  • Such an absolute speed V ⁇ L associated with the lateral segment SL includes in particular a lateral component, noted V SL i M of norm V SL i at along the Y axis and a longitudinal component, noted V SLiiong of norm V SL iong along the X axis.
  • V SL lat 0.
  • a second sub-score s (at can then be determined on the basis of the norm V SL i at of the lateral component V SL i M of the absolute speed V ⁇ L associated with the lateral segment SL:
  • - a is a first predefined adjustment parameter (homogeneous to the inverse of a speed).
  • a first adjustment parameter can be relative to a maximum lateral speed tolerated for a vehicle along the Y axis.
  • the second plausibility sub-score s lat makes it possible to verify that the lateral segment SL belongs to an element which moves in the same direction as the main vehicle VP, namely substantially along the X axis.
  • a third sub-score si ong can be determined on the basis of the norm V SL i ong of the longitudinal component V SLiiong of the absolute velocity V ⁇ L associated with the lateral segment SL: [113] Math.5 where: siong is a third plausibility sub-score,
  • - a 2 is a second predefined adjustment parameter (homogeneous to a speed).
  • a second adjustment parameter can be relative to a minimum longitudinal movement speed tolerated for a vehicle along the X axis, so as to exclude (i.e., assign a third plausibility sub-score if ong is zero) lateral segments that are substantially immobile or considered not or insufficiently mobile to be associated with vehicles.
  • the lower the value of the second adjustment parameter a 2 the more false vehicle detections (i.e., false positives) can be avoided.
  • the third plausibility sub-score si ong makes it possible to verify that the difference between the respective longitudinal components of the main vehicle VP and the element corresponding to the lateral segment SL is small (i.e. less than a 2 ).
  • the third plausibility sub-score si ong makes it possible to rule out the hypothesis that the element corresponding to the lateral segment SL is a vehicle, if a significant differential (greater than a 2 ) in speed exists between the main vehicle VP and the element corresponding to the lateral segment SL (such an element could be another object close to the main vehicle VP such as a sign, a bird or a leaf for example).
  • the total plausibility score s can then be determined by:
  • the plausibility score formula can be chosen between the expressions Math. 6 and Math. 7 depending on whether the pixel height criterion of the side segment SL is considered to be a required preliminary condition or not (binarily).
  • the plausibility score s may be based on one or some of the plausibility subscores.
  • one or more other plausibility sub-scores may be determined and adapted in the formula Math. 6 or Math. 7.
  • a fourth plausibility sub-score s ang may be related to the lateral distance d associated with the detected lateral segment SL.
  • Such a fourth plausibility sub-score s ang may for example be defined by:
  • D is a predefined Euclidean distance
  • - a 3 is a third predefined adjustment parameter.
  • other plausibility sub-scores may include an estimation of the height of the element associated with the lateral segment SL from the pixel B', comparing ratios of lateral and/or longitudinal speeds respectively associated with the main vehicle VP and the lateral segment SL with respect to predefined thresholds for example.
  • the plausibility score can then be compared to a plausibility threshold Sths comprised for example between 1 and 2, or between 0 and 1. If, at the end of such a comparison in step 424, the plausibility score s is lower than the plausibility threshold s t hs, then, a step 430 of detecting a presence state (eg, by a Boolean value of plausibility or non-plausibility of presence) of a vehicle represented in FIG. 4 consists of considering that it is not plausible that the detected lateral segment SL corresponds to a neighboring vehicle VV1 and concludes that there is no vehicle corresponding to the lateral segment SL.
  • a presence state eg, by a Boolean value of plausibility or non-plausibility of presence
  • step 430 of detecting a state of presence of a vehicle consists of considering that it is plausible that the segment lateral SL is associated with a neighboring vehicle VV1 (sub-step 4241 of figure 5) and concludes that there is a vehicle corresponding to the lateral segment SL.
  • step 440 of creating an object associated with the lateral segment SL can optionally be implemented, as represented in figure 4.
  • the device 2 determines that the detected lateral segment SL does not belong to a potential neighboring vehicle (substep 4242). No virtual object is then created in correspondence with the detected lateral segment SL and the method represented in FIG. 4 ends without creation of an object associated with the detected lateral segment SL at step 440. The method can then be repeated for another lateral segment detected at step 400.
  • step 424 If, in step 424, the plausibility score s is greater than the plausibility threshold s t hs, then a presence of a vehicle is detected (substep 4241) in correspondence with the lateral segment SL considered.
  • the neighboring vehicle VV1 has been detected in an anticipated manner on the basis of a lateral portion of the neighboring vehicle VV1 visible in the field of view FOV (resulting in the lateral segment SL detected on the acquired image).
  • the device 2 can determine a (plausible) presence of a vehicle associated with the initial conditions (i.e., speed, lateral distance, etc.) of the lateral segment SL detected in step 430.
  • the device 2 can then emit a signal, via the communication interface 50, informing of the detection of a neighboring vehicle VV1 to the main vehicle VP and/or provide data relating to a positioning of such a vehicle detected in the environment ENV (e.g., by providing one or more elements among the lateral distance d, the position of the point B, the speed associated with the lateral segment SL, etc.).
  • the device 2 can also proceed, in a step 440, to the creation of an object associated with the lateral segment SL identified as corresponding to a neighboring vehicle VV1.
  • Figure 10 represents an aerial view of the scene ENV at an acquisition time preceding the instant T3, and the unhatched grayed surface has been identified as corresponding, as one or more detected optical flows (or segments), to a neighboring vehicle VV1.
  • Figure 11 corresponds to a diagram of the second reference point W according to the pinhole model.
  • Figure 12 corresponds to an image acquired at an acquisition time upstream of T3, on which a virtual object associated with the detected lateral segment SL is created by the device 2.
  • a neighboring vehicle VV1 has been detected in step 430 as being associated with the lateral segment SL.
  • the unit 40 can estimate a position (X_W, Y_W, Z_W) of a second reference point, or reference point, W belonging to the neighboring vehicle VV1, for example placed at the lower part in the center of the front face of the detected neighboring vehicle VV1, as illustrated in Figures 1, 2 and 10.
  • the unit 40 can use predetermined dimensions of a type of vehicle similar to the neighboring vehicle VV1, for example a truck with dimensions L1 in length, L2 in width and H in height and assume that these dimensions correspond to those of the neighboring vehicle VV1.
  • the unit 40 is able to determine, by applying the pinhole model as well as Thales' theorem:
  • sensor_size is the actual sensor size
  • - L2 is a predefined width dimension of the neighboring vehicle VV1.
  • Such coordinates of the reference point W are determined by considering that the optical center C (or central point) is the same as the center of the acquired image. Optical deformations can be considered neglected. Furthermore, the focal length f is considered identical on both axes - vertical VL and horizontal - of the image.
  • the coordinate Z_W of the reference point W along the Z axis in the world frame is determined as corresponding to the coordinate along the Z axis of the chosen optical flow B to determine the lateral distance d, in the world frame.
  • the reference point W is placed, in height along the Z axis, at the level of the optical flow of the lateral segment SL being closest to the ground.
  • the device 2 can obtain coordinates (X_W, Y_W, Z_W) in the world reference frame (X,Y,Z) of a reference point W located on the front face of the detected neighboring vehicle VV1.
  • the device 2 can then be configured to transmit such position data via the interface 50 in order to indicate a front position of the neighboring vehicle VV1.
  • the device 2 can also transmit data making it possible to estimate an occupation space of the environment of the detected neighboring vehicle VV1, for example by transmitting the coordinates (X_W, Y_W, Z_W), the predefined dimensions L1, L2, H.
  • the device 2 can also transmit a detection or alert signal when the main vehicle VP is estimated to be approaching such an occupation space of the neighboring vehicle VV1 (for example, by comparing the coordinates of the neighboring vehicle VV1 with positioning coordinates of the main vehicle VP).
  • the device 2 may also be configured to create a virtual object associated with the detected neighboring vehicle VV1 and/or display such a virtual object on an image transmitted via the communication interface 50.
  • the unit 40 may, from the coordinates (X_W, Y_W, Z_W) of the reference point W determined and using the model of the camera, place a virtual reference point W having coordinates (yW’.zW’) in the image frame (y,z) on an acquired image, for example the image on which the lateral segment SL was detected.
  • the virtual point W is positioned in the image frame (y,z) under several hypotheses:
  • the detected lateral segment SL corresponds to a rear portion of the neighboring vehicle VV1 (e.g., it includes a rear wheel of the neighboring vehicle VV1),
  • the virtual reference point W is considered positioned on a lateral edge of the acquired image.
  • the lateral portion visible on the acquired image is considered to represent the entire length of the neighboring vehicle VV1 in the state considered on the acquired image and the reference point W is considered to be associated with the front of the neighboring vehicle VV1.
  • the virtual reference point W may be placed elsewhere than on the lateral border of the image, for example inside the image or outside the image.
  • the coordinate zW of the reference point W’ along the z axis is determined from the coordinate along the z axis of the chosen optical flow B’ to determine the lateral distance d’, in the image reference frame.
  • the reference point W is placed, in height along the z axis, at the level of the optical flow of the lateral segment SL being closest to the ground.
  • the height of the ground corresponding to the height zW of the reference point W’ along the z axis can be predefined and stored by the device 2.
  • the height zW can also differ from the height of the optical flow of the lateral segment SL.
  • Such a virtual reference point W is for example represented in Figure 12.
  • a new virtual object can be created by the unit 40 of the device 2, in the two-dimensional space (y,z) and substantially superimposed on the lateral segment SL identified as corresponding to the neighboring vehicle VV1 on the acquired image.
  • An example of such a virtual object is represented by the object OV in Figure 12.
  • Such a virtual object associated with the detected lateral segment SL can then be displayed on the communication interface 50 corresponding to a display screen, for example by superimposing the created object on a display of the image stream coming from the camera 1, as illustrated in FIG. 11.
  • the method allows early detection of a neighboring vehicle from a detected lateral segment SL.
  • detection does not require that a frontal face (front or rear) be included in the field of view of the camera 1.
  • the method also makes it possible, once such a neighboring vehicle has been detected, to create a virtual object associated with such a lateral segment SL, such a virtual object being created with initial conditions of position, speed and associated dimensions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Procédé de détection d'un véhicule voisin dans un environnement d'un véhicule principal, par un dispositif d'assistance à la conduite relié à une caméra embarquée sur le véhicule principal apte à acquérir des images selon un champ de vue et à des temps d'acquisition, - obtenir, pour une paire d'images successivement acquises, au moins un segment latéral et une donnée temporelle associée, - déterminer une distance latérale associée au segment latéral à partir d'au moins une mesure effectuée sur une image de ladite paire d'images, - déterminer une vitesse associée au segment latéral à partir de la distance latérale et de la donnée temporelle,- déterminer, à partir au moins de la vitesse associée au segment latéral et d'une vitesse du véhicule principal, un score de plausibilité associé au segment latéral, et - si le score de plausibilité est supérieur à au moins un seuil, détecter la présence du véhicule voisin.

Description

Description
Titre : Détection de segments
Domaine technique
[1] La présente divulgation relève du domaine des systèmes d’assistance à la conduite et plus particulièrement de la détection automatique de véhicules dans des zones d’intérêt, notamment latérales.
Technique antérieure
[2] L’ essor des Systèmes de Transports Intelligents (ou STI) a conduit au développement de nombreux systèmes embarqués dans les véhicules, notamment de transport routier. De tels systèmes embarqués incluent notamment des systèmes d’assistance à la conduite ou encore de conduite autonome. En particulier, la détection d’objets, dont des véhicules, joue un rôle important dans des problématiques telles que la fluidification du trafic, la sécurité routière ou encore la gestion de l’infrastructure routière (par exemple les panneaux à messages variables ou encore les radars automatiques).
[3] Dans le cadre des systèmes embarqués dans des véhicules autonomes ou semi- autonomes circulant dans un trafic routier (par exemple, sur une autoroute), la détection d’objets environnant un véhicule concerné est particulièrement importante afin d’éviter des collisions entre le véhicule concerné et d’autres véhicules par exemple. En particulier, dans des systèmes d’assistance au changement de voie, de changement de voie automatique ou encore de détection d’angle mort, une détection précise et anticipée d’obstacles comme un terre-plein central ou un autre véhicule situé sur une voie voisine du véhicule concerné est requise. En effet, si le véhicule autonome concerné ne détecte pas (ou pas de façon suffisamment anticipée) un autre véhicule situé sur une voie voisine et se décale, une collision risque d’avoir lieu entre les deux véhicules.
[4] Dans un tel contexte, la plupart des procédés de détection de véhicules existants se basent sur des algorithmes de classification permettant d’identifier des véhicules à partir de séquences d’images ou de flux vidéo acquis par des capteurs de vision (typiquement, une caméra). De tels capteurs de vision sont en général disposés à l’avant et/ou à l’arrière du véhicule concerné, de sorte à acquérir des images et/ou séquences d’images d’un champ de vue (en anglais, « Field of View ») avant et/ou arrière du véhicule concerné. Les algorithmes de classification peuvent alors identifier un ou plusieurs véhicules voisins du véhicule concerné sur la base d’une reconnaissance frontale des véhicules voisins (c’est- à-dire en identifiant et classifiant des véhicules détectés dans le champ de vue à partir de leur face avant ou arrière). [5] Cependant, de tels procédés de détection utilisant des classifieurs de véhicules s’avèrent inefficaces lorsqu’une face frontale des véhicules voisins n’est pas encore détectable dans le champ de vue, quand bien même de tels véhicules voisins seraient partiellement visibles dans le champ de vue, par exemple via une face latérale partielle. Ainsi, si le véhicule concerné se situe sur une voie d’autoroute et qu’un véhicule voisin se situe relativement au niveau du (ou légèrement derrière le) véhicule concerné sur une voie voisine, une caméra placée à l’arrière du véhicule concerné capterait une portion latérale arrière du véhicule voisin. Dans une telle situation, la face avant du véhicule voisin n’est pas encore visible par la caméra placée à l’arrière du véhicule concerné, par exemple jusqu’à ce que le différentiel de vitesse entre le véhicule concerné et le véhicule voisin soit suffisamment grand pour que le véhicule concerné dépasse complètement le véhicule voisin. Jusqu’à ce qu’un tel dépassement complet se produise, le véhicule voisin se situe donc sensiblement au même niveau que le véhicule concerné et un changement de voie du véhicule concerné sur la voie voisine entraînerait une collision avec le véhicule voisin. Une telle situation de criticité n’est pourtant pas détectable par les procédés de classification existants.
[6] Il existe donc un besoin de sécuriser la prise de décision des systèmes d’assistance à la conduite et/ou de conduite autonome, notamment dans un tel contexte de décision de changement de voie. En particulier, il existe un besoin d’une détection et anticipée de véhicules environnant un véhicule concerné avant même qu’une vue frontale (avant ou arrière) de tels véhicules environnants soient visibles dans un champ de vue d’un capteur de vision du véhicule concerné - et donc qu’une classification et qu’un suivi classique de tels véhicules environnants par des classifieurs existants soient possibles.
Résumé
[7] La présente divulgation vient améliorer une telle situation.
[8] Il est proposé un procédé de détection d’au moins un véhicule voisin présent dans un environnement d’un véhicule principal, ledit véhicule voisin et ledit véhicule principal étant des véhicules automobiles, le procédé étant mis en œuvre par un dispositif configuré pour assurer une fonction d’assistance à la conduite du véhicule principal, ledit dispositif étant relié à au moins une caméra embarquée sur le véhicule principal et apte à acquérir des images d’une scène environnant le véhicule principal selon au moins un champ de vue et à des temps d’acquisition, le procédé comprenant les étapes suivantes :
- obtenir, pour au moins une paire d’images successivement acquises : * au moins un segment latéral correspondant à un ensemble coplanaire latéral de flots optiques détectés dans le champ de vue, entre les temps d’acquisition respectifs des deux images de ladite paire d’images, et
* une donnée temporelle lié à un temps de collision associé audit segment latéral,
- déterminer, selon au moins un système de coordonnées prédéfini, une valeur relative à une distance latérale associée au segment latéral, ladite distance latérale étant déterminée à partir d’au moins une mesure effectuée sur une image parmi les deux images de ladite paire d’images,
- déterminer une vitesse associée au segment latéral à partir de la distance latérale et du temps de collision,
- déterminer, à partir au moins de la vitesse associée au segment latéral et d’une vitesse connue du véhicule principal, un score de plausibilité associé au segment latéral, et
- si le score de plausibilité est supérieur à au moins un seuil prédéterminé, détecter la présence du véhicule voisin dans la scène.
[9] Par conséquent, le procédé proposé permet la mise en œuvre d’une détection anticipée d’un véhicule voisin au voisin principal, à savoir dès qu’un tel véhicule voisin entre, même partiellement, dans le champ de vue d’une caméra embarquée sur le véhicule principal. Autrement dit, le procédé proposé permet de détecter un véhicule voisin au véhicule principal malgré l’absence de visibilité d’une face frontale avant ou arrière du véhicule voisin sur laquelle la plupart des classifieurs existants s’appuient pour la détection de véhicules.
[10] Ainsi, le procédé permet à un véhicule principal de bénéficier d’une fonction d’assistance à la conduite dans des instants potentiellement critiques, par exemple lorsque le véhicule principal souhaite effectuer un changement de voie ou un dépassement et que des véhicules voisins sont situés quasiment au même niveau que le véhicule principal, ou encore dans l’angle mort de celui-ci.
[11] Par une fonction d’assistance à la conduite du véhicule principal, il est fait référence à une fonctionnalité d’un système embarqué sur le véhicule principal permettant d’assister, de guider voire de décider un guidage du véhicule principal. Une telle fonction d’assistance à la conduite peut être mise en œuvre dans le contexte d’un véhicule semi-autonome ou autonome par exemple, avec ou sans conducteur. Une fonction d’assistance à la conduite peut inclure une assistance à la conduite, au changement de voie, au dépassement d’un autre véhicule, ou encore au stationnement par exemple.
[12] Par un champ de vue, il est fait référence à une portion de l’environnement du véhicule principal couverte par le champ de la caméra. Un tel champ peut par exemple être à l’avant et/ou à l’arrière du véhicule principal. [13] Par des images acquises à des temps d’acquisition, il est fait référence à une succession continue ou discrétisée d’images (i.e., en deux dimensions) de la portion de l’environnement comprise dans le champ de vue, associée à une succession d’instants auxquels ces images ont été acquises. En particulier, le mouvement des éléments environnant le véhicule principal dans le temps implique un champ de vue couvrant un environnement évolutif : les véhicules et éléments voisins du véhicule principal présentent un mouvement relatif par rapport au véhicule principal (au fur et à mesure que le véhicule principal se déplace) et/ou un mouvement absolu dans l’environnement.
[14] Par un segment latéral correspondant à un ensemble coplanaire latéral de flots optiques détectés dans le champ de vue, entre les temps d’acquisition respectifs des deux images de ladite paire d’images, il est fait référence à l’obtention d’un champ de déplacement de pixels observé entre deux images acquises. Un flot optique peut alors être assimilé à un bipoint (ou vecteur) représentant un déplacement dans l’espace. Un ensemble de flots optiques coplanaires et reflétant un mouvement commun peut alors être associé à un segment. On peut alors distinguer trois différents types de segments dans un environnement à trois dimensions, chaque type de segment étant parallèle à un plan formé par deux axes d’un repère cartésien associé à l’environnement à trois dimensions. Un segment latéral correspond alors à un segment parallèle à un plan dit latéral ou de biais par rapport à un axe principal de circulation du véhicule principal (e.g., sur une voie d’autoroute).
[15] Par une donnée temporelle lié à un temps de collision associé audit segment latéral, il est fait référence à une valeur reflétant un temps avant collision entre l’élément associé au segment latéral et le véhicule principal observant un tel segment latéral. Un tel temps de collision peut être déduit par exemple du calcul d’un flot optique, un ensemble de flots optiques coplanaires formant un segment latéral présentant un même temps de collision. Un temps de collision peut alors être associé à un segment latéral.
[16] Par une distance latérale, il est fait référence à un écart latéral ou de biais entre l’élément associé au segment latéral détecté et le véhicule principal. Par exemple, dans le cas d’un véhicule principal et d’un véhicule voisin circulant sur deux voies de circulation parallèles (e.g., deux voies d’autoroute), la distance latérale correspond à l’écart latéral séparant les couloirs respectant occupés par les véhicules principal et voisin. Une telle distance latérale reflète ainsi un écart dans l’environnement entre les véhicules principal et voisin.
[17] Par un score de plausibilité, il est fait référence à une valeur reflétant une probabilité (ou plausibilité) que le segment latéral détecté corresponde à un véhicule voisin au véhicule principal. Un tel score de plausibilité peut alors être déterminé à partir de paramètres associés au segment latéral (e.g., sa vitesse relative par rapport au véhicule principal, sa vitesse absolue dans l’environnement, sa position dans l’environnement...) et un ou plusieurs seuils de tolérance prédéterminés, qui permettent de délimiter les valeurs desdits paramètres comme plausiblement assimilables à un véhicule. Ainsi, plus le score de plausibilité est élevé, plus l’objet associé au segment latéral peut être plausiblement assimilé à un véhicule.
[18] Selon un autre aspect, il est proposé un dispositif configuré pour assurer une fonction d’assistance à la conduite d’un véhicule principal, ledit dispositif étant relié à au moins une caméra embarquée sur le véhicule principal et apte à acquérir des images d’une scène environnant le véhicule principal selon au moins un champ de vue et à des temps d’acquisition, le dispositif comprenant au moins un circuit de traitement configuré pour mettre en œuvre un procédé de détection d’au moins un véhicule voisin présent dans un environnement du véhicule principal tel que proposé.
[19] Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre du procédé tel que proposé lorsque ce programme est exécuté par un processeur.
[20] Selon un autre aspect, il est proposé un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé tel que proposé lorsque ce programme est exécuté par un processeur.
[21] Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre, indépendamment les unes des autres ou en combinaison les unes avec les autres :
[22] Selon un mode de réalisation, la distance latérale associée au segment latéral est déterminée à partir d’un flot optique appartenant au segment latéral choisi de sorte qu’un angle minimal est mesuré entre ledit flot optique choisi et un axe vertical défini selon le système de coordonnées prédéfini.
[23] Par conséquent, le procédé proposé permet de déterminer un écart latéral séparant effectivement le véhicule principal de l’objet associé au segment latéral dans l’environnement (qui n’est pas encore identifié par le dispositif comme étant un véhicule ou non à ce stade). Une telle distance latérale peut notamment être obtenue en effectuant des mesures sur l’image présentant le segment latéral. L’angle minimal déterminé permet alors d’assurer que le flot optique choisi pour déterminer la distance latérale est le plus proche du sol parmi l’ensemble des flots optiques formant le segment latéral.
[24] Selon un mode de réalisation, la vitesse connue du véhicule principal et la vitesse associée au segment latéral étant chacune composées d’une composante latérale et d’une composante longitudinale selon un système de coordonnées prédéfini, le score de plausibilité varie inversement avec un écart entre la composante longitudinale de la vitesse associée au segment latéral et la composante longitudinale de la vitesse connue du véhicule principal.
[25] Par conséquent, le score de plausibilité peut dépendre d’un écart de vitesse d’avancement (ou de déplacement) entre le véhicule principal et l’objet associé au segment latéral. Le score de plausibilité permet alors d’assimiler à un véhicule les segments latéraux présentant une vitesse de déplacement longitudinale proche de la vitesse connue du véhicule principal.
[26] Par la composante longitudinale d’une vitesse, il est fait référence à la composante de la vitesse selon la direction d’avancement principale du véhicule. Par exemple, dans le cas d’un véhicule se déplaçant sur une voie d’autoroute, la composante longitudinale de la vitesse correspond à la composante de vitesse selon l’axe de la route (i.e., de la voie d’autoroute). Par la composante latérale d’une vitesse, il est alors fait référence à la composante de la vitesse selon une direction de biais ou latérale par rapport à la direction d’avancement principale du véhicule. Par exemple, dans le cas d’un véhicule se déplaçant sur une voie d’autoroute, la composante latérale de la vitesse correspond à la composante de vitesse selon un axe au sol perpendiculaire à l’axe de la route, i.e., l’axe de déplacement d’un véhicule passant d’une voie d’autoroute à une autre par exemple.
[27] Ainsi, l’écart entre les deux composantes longitudinales de deux vitesses permet de quantifier un différentiel de vitesse de déplacement entre le véhicule principal et l’élément associé au segment latéral. Par exemple, si l’élément associé au segment latéral se trouve être un panneau ou une feuille d’arbre, le différentiel de composantes longitudinales de vitesses d’un tel élément et du véhicule principal excédera un seuil de tolérance prédéterminé, ce qui diminuera le score de plausibilité.
[28] Selon un mode de réalisation, la vitesse connue du véhicule principal et la vitesse associée au segment latéral étant chacune composée d’une composante latérale et d’une composante longitudinale dans un système de coordonnées prédéfini, le score de plausibilité varie inversement avec une valeur croissante de la composante latérale de la vitesse associée au segment latéral.
[29] Par conséquent, le score de plausibilité permet d’évaluer si l’élément associé au segment latéral se déplace dans une direction sensiblement similaire à une direction de déplacement du véhicule principal. En effet, plus la composante latérale de la vitesse associée au segment latéral est grande, plus celle-ci reflète un déplacement latéral significatif de l’élément associé au segment latéral. [30] Selon un mode de réalisation, le procédé comprend en outre :
- une détermination, selon le système de coordonnées prédéfini, d’une valeur relative à une hauteur associée au segment latéral, et dans lequel le score de plausibilité dépend de la hauteur associée au segment latéral.
[31] Par conséquent, le score de plausibilité prend en compte une dimension associée au segment latéral, une telle dimension pouvant refléter une taille ou une hauteur de l’élément associé au segment latéral. Le score de plausibilité permet donc de vérifier que l’élément associé au segment latéral présente une hauteur assimilable à un véhicule.
[32] Ainsi, une hauteur insuffisante (e.g., inférieure à un seuil minimal de hauteur prédéfini) peut indiquer que l’élément associé au segment latéral est « trop bas » pour être assimilable à un véhicule (e.g., un terre-plein central séparant deux voies de circulation). A contrario, une hauteur trop importante (e.g., supérieure à un seuil maximal de hauteur prédéfini) peut indiquer que l’élément associé au segment latéral est « trop haut » pour être assimilable à un véhicule (e.g., un oiseau volant au-dessus des véhicules).
[33] Selon un mode de réalisation, le procédé comprend en outre, après détection de l’état de présence du véhicule voisin correspondant à une présence du véhicule voisin, :
- une détermination, selon le système de coordonnées prédéfini, d’une position d’au moins un point repère associé au segment latéral, ladite position du point repère étant déterminée à partir au moins de la distance latérale associée au segment latéral, et
- une création d’un objet associé au segment latéral dans le champ de vue de la caméra à partir au moins de la position du point repère.
[34] Par conséquent, le procédé proposé permet de détecter la présence d’un véhicule voisin dans l’environnement du véhicule principal, ainsi que d’estimer une position d’un tel véhicule, une fois détecté, dans l’environnement. Le procédé permet également de créer un objet virtuel associé au segment latéral à partir d’une telle position, afin de marquer la présence d’un véhicule voisin détecté.
[35] Par un point repère associé au segment latéral, il est fait référence à un point appartenant à l’élément associé au segment latéral, qui est, à ce stade, identifié comme étant un véhicule voisin. Un tel point repère peut par exemple être assimilé à une extrémité avant du véhicule voisin. Un tel point repère peut par exemple être un point dont la position marque une position présumée d’une face avant du véhicule.
[36] Par un objet créé associé au segment latéral dans le champ de vue de la caméra, il est fait référence à un objet virtuel superposable à une image acquise par la caméra. Un tel objet virtuel créé est en outre associé au segment latéral au sens où l’objet est estimé de sorte à être superposé sur un emplacement présumé occupé par le véhicule voisin détecté. Un tel objet virtuel est notamment caractérisé par une position dans l’environnement et/ou dans l’image. Un tel objet virtuel peut également être caractérisé par des dimensions de sorte à refléter des dimensions présumées du véhicule détecté.
[37] Ainsi, l’objet virtuel créé peut être utilisé afin de fournir une fonction d’assistance à la conduite au véhicule principal, par exemple en affichant un tel objet virtuel sur un champ de vue affichable sur un tableau de bord du véhicule principal par exemple. L’objet virtuel ainsi créé permet alors de représenter l’espace de l’environnement occupé par le véhicule voisin, de sorte qu’un signal ou une alerte peut être déclenché lorsqu’il est détecté que l’espace occupé par le véhicule principal s’approche et/ou coïncide sensiblement avec l’espace occupé par l’objet virtuel.
[38] Selon un mode de réalisation, l’objet associé au segment latéral est en outre créé à partir de dimensions prédéterminées associées à un type de véhicule automobile.
[39] Par conséquent, l’objet virtuel créé peut inclure une modélisation du véhicule voisin en représentant l’espace présumé occupé par un tel véhicule. Les dimensions prédéterminées peuvent par exemple correspondre à des dimensions moyennes de véhicules circulant sur une telle portion de l’environnement, ou encore à des dimensions maximales d’un véhicule, de sorte à assister la conduite du véhicule principal dans une configuration « défavorable » (où l’espace de l’environnement occupé par le véhicule principal peut coïncider plus rapidement avec l’espace occupé par le véhicule voisin par rapport à un véhicule de plus petite taille).
Brève description des dessins
[40] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
[41] [Fig. 1] La figure 1 montre une schématisation d’un véhicule principal selon un mode de réalisation.
[42] [Fig. 2] La figure 2 montre une vue aérienne d’une scène environnant le véhicule principal selon un mode de réalisation.
[43] [Fig. 3] La figure 3 montre une schématisation d’un dispositif d’assistance à la conduite selon un mode de réalisation.
[44] [Fig. 4] La figure 4 montre des étapes d’un procédé de détection anticipée d’un véhicule selon un mode de réalisation.
[45] [Fig. 5] La figure 5 montre des étapes d’un procédé de détection anticipée d’un véhicule selon un mode de réalisation. [46] [Fig. 6] La figure 6 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
[47] [Fig. 7] La figure 7 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
[48] [Fig. 8] La figure 8 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
[49] [Fig. 9] La figure 9 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
[50] [Fig. 10] La figure 10 montre une vue aérienne d’une scène environnant le véhicule principal selon un mode de réalisation.
[51] [Fig. 11] La figure 11 montre une modélisation d’un point d’une scène environnant le véhicule principal selon un mode de réalisation.
[52] [Fig. 12] La figure 12 montre un objet virtuel associé à un segment latéral selon un mode de réalisation.
Description des modes de réalisation
[53] Il est fait référence à la figure 1. La figure 1 schématise un véhicule principal VP. Le véhicule principal VP peut être un véhicule automobile. Aucune limitation n’est imposée sur le type de véhicule auquel appartient le véhicule principal VP. Le véhicule principal VP peut par exemple être un véhicule particulier, utilitaire, industriel, et peut par exemple correspondre à une voiture, un fourgon, un deux-roues un camion ou encore un bus. Le véhicule principal VP peut également être un véhicule tracté et tractant par exemple une remorque, une semi-remorque ou encore une caravane. Les dimensions du véhicule principal VP peuvent être comprises entre 2 mètres et 20 mètres en longueur, entre 0,5 mètre et 5 mètres en largeur et entre 1 mètre et 5 mètres en hauteur.
[54] Le véhicule principal VP est muni d’au moins un système embarqué assurant une pluralité de fonctions ou d’applications du véhicule principal VP. De telles fonctions peuvent par exemple correspondre à une régulation de vitesse, à une direction assistée, à un déploiement d’airbag automatisé, à un réglage automatique des phares...
[55] Le véhicule principal VP est en particulier muni d’un système embarqué permettant une détection d’objets environnant le véhicule principal VP, par exemple dans le cadre d’une fonction d’assistance à la conduite de type détection d’obstacles, assistance au changement de voie ou encore changement de voie automatique. Pour cela, le système embarqué du véhicule principal VP comprend un dispositif 2 d’assistance à la conduite. Le dispositif 2 est apte à assurer une fonction d’assistance à la conduite sur la base d’une pluralité de prises de vues (ou images) de l’environnement du véhicule principal VP. Pour cela, le dispositif 2 est notamment relié à un ou plusieurs capteurs de vision comme un appareil de prise de vues ou encore une caméra 1 (le capteur de vision sera considéré être une caméra 1 dans la suite de la description). Le dispositif 2 peut également être apte à transmettre ou communiquer des données, par exemple relatives à la fonction d’assistance à la conduite assurée. Pour cela, le dispositif 2 peut être relié à une interface 50 de communication. Dans un mode de réalisation particulier, l’interface 50 peut être intégrée au dispositif 2. Une telle interface 50 de communication peut par exemple être une interface homme-machine. L’interface 50 peut inclure un écran d’affichage, un écran tactile, un tableau de bord, et/ou encore un haut-parleur. Les données transmises par le dispositif 2 à l’interface 50 peuvent par exemple correspondre à des informations d’assistance indiquant au conducteur du véhicule principal VP qu’il peut ou non changer de voie.
[56] Il est maintenant fait référence à la figure 2. La figure 2 illustre un environnement (ou une scène) ENV, dans lequel se situe le véhicule principal VP. La figure 2 est une vue aérienne d’une telle scène ENV.
[57] L’ environnement ENV peut être défini dans un repère à trois dimensions (X,Y,Z), qualifié de « repère monde » tel qu’illustré sur les figures 1 et 2. L’origine d’un tel repère monde (X,Y,Z) est prédéfini et fixe dans l’environnement ENV.
[58] Le véhicule principal VP est considéré en mouvement dans la scène ENV. Une telle scène ENV correspond par exemple à une route ou une autoroute constituée de plusieurs voies de circulation. Ces voies de circulation peuvent notamment être parallèles les unes aux autres, comme représentées par les lignes verticales pointi liées sur la figure 2. La figure 2 illustre par exemple trois voies de circulation, le véhicule principal VP étant situé sur la voie de circulation du milieu. Le véhicule principal VP est considéré comme étant en mouvement selon la direction principale X du repère (X,Y,Z), une telle direction principale étant appelée direction longitudinale. Un tel mouvement est schématisé sur les figures 1 et 2 par une flèche accolée au véhicule principal VP. Le véhicule principal VP peut également avoir un mouvement selon la direction Y du repère (X,Y,Z), dite direction latérale. Un tel mouvement selon la direction Y, dit mouvement (ou déplacement) latéral, peut par exemple avoir lieu lorsque le véhicule change de voie de circulation. Un déplacement selon la direction Z, c’est-à-dire en hauteur, du véhicule principal VP n’est pas considérée. Le véhicule principal VP est donc considéré maintenu au sol et présente donc une hauteur selon la direction Z sensiblement constante, correspondant approximativement à une dimension prédéfinie du véhicule principal VP. Dans un mode de réalisation, une telle hauteur selon la direction Z du véhicule principal VP peut varier de l’ordre du centimètre ou du décimètre, une telle variation de hauteur selon la direction Z étant par exemple liée à des amortisseurs du véhicule principal VP et/ou à des reliefs ou aspérités présents dans l’environnement ENV (notamment sur la voie de circulation du véhicule principal VP). Dans la suite de la description, une telle hauteur selon la direction Z du véhicule principal VP est considérée connue.
[59] La scène ENV environnant le véhicule principal VP peut également comprendre d’autres éléments OV et véhicules VV1 , VV2, VV3. Les véhicules VV1 , VV2, VV3 sont des véhicules voisins du véhicule principal VP. De tels véhicules voisins VV1 , VV2, VV3 sont, à l’instar du véhicule principal VP, des véhicules automobiles en mouvement dans la scène ENV. De tels véhicules voisins VV1 , VV2, VV3 peuvent notamment avoir des dimensions et des caractéristiques de mouvement (en termes de vitesse ou d’accélération par exemple) similaires ou différentes du véhicule principal VP. Par exemple, la figure 2 peut représenter un véhicule principal VP en mouvement sur une voie d’autoroute et des véhicules voisins VV1 , VV2, VV3 circulant sur les voies d’autoroute voisines de la voie empruntée par le véhicule principal VP. Les objets OV sont des éléments voisins du véhicule principal VP et peuvent faire référence à tout élément distinct d’un véhicule voisin VV1 , VV2, VV3. Un élément voisin OV peut par exemple correspondre à un obstacle situé dans la scène comme un terre-plein central séparant deux voies de circulation, un panneau d’indication ou encore un oiseau volant dans la scène ENV.
[60] Comme illustré sur la figure 2, le véhicule principal VP est considéré muni d’une caméra 1 positionnée à l’arrière du véhicule principal VP. Dans un autre mode de réalisation (non représenté sur la figure 2), la caméra 1 peut être positionnée à l’avant du véhicule principal VP ou plusieurs caméras 1 peuvent être positionnées à la fois à l’avant et à l’arrière du véhicule principal VP. La caméra 1 permet de capter des images (ou prises de vues) de la scène ENV du véhicule principal VP selon un champ de vue FOV (ou en anglais « Field of View »). Un tel champ de vue FOV dépend notamment du type de caméra 1 utilisé et du positionnement de la caméra 1 dans (ou sur) le véhicule principal VP. En référence à la figure 2, le champ de vue FOV recouvre une partie de la scène ENV, de sorte qu’une portion limitée de la scène ENV est capturée selon le champ de vue FOV. Ainsi, sur la figure 2, le champ de vue FOV représenté recouvre une portion de la voie de circulation dans laquelle se situe le véhicule principal VP et des portions respectives des voies de circulation voisines. En particulier, le champ de vue FOV recouvre une portion de la scène ENV dans laquelle se situe intégralement le véhicule voisin VV2 et une portion de la scène ENV dans laquelle se situe partiellement le véhicule voisin VV1. À titre d’exemple, la portion de la scène ENV dans laquelle se situe partiellement le véhicule voisin VV1 peut comprendre un point A, dit premier point repère A (possédant des coordonnées dans le repère monde (X,Y,Z)), positionné sur le véhicule voisin VV1 , correspondant par exemple à un point repère placé au niveau de l’arrière-gauche du véhicule voisin VV1 à la hauteur du véhicule voisin VV1. Contrairement au premier point repère A, un deuxième point repère W, par exemple situé au niveau du milieu de la face avant du véhicule au plus proche du sol, n’est pas dans le champ de vue FOV sur la figure 2. Le véhicule voisin VV3 n’est pas visible dans le champ de vue FOV du véhicule principal VP. Une portion du véhicule voisin VV1 n’est pas visible dans le champ de vue FOV du véhicule principal VP. Les parties non visibles des véhicules voisins VV1 , VV3 dans le champ de vue FOV sont représentés sur la figure 2 par des zones rayées. Un objet voisin OV, par exemple un oiseau, peut être visible dans le champ de vue FOV.
[61] Dans le contexte d’une scène ENV telle que représentée en figure 2 selon le repère (X,Y,Z), il est par exemple considéré que le véhicule principal VP se déplace à une vitesse principale
Figure imgf000014_0001
connue. Pour faciliter la suite de la description, une telle vitesse principale est considérée de norme VVP constante. Le véhicule voisin VV1 est considéré comme se déplaçant à une vitesse voisine
Figure imgf000014_0002
inconnue du dispositif 2 d’assistance à la conduite du véhicule principal VP. Dans le mode de réalisation décrit par la suite, il peut être considéré que la norme VVP de la vitesse voisine
Figure imgf000014_0003
est inférieure à la norme VVP de la vitesse principale V^. Sous une telle hypothèse et sous l’hypothèse que la vitesse voisine du véhicule voisin VV1 reste sensiblement constante sur un intervalle de temps considéré, à l’instar de la vitesse principale
Figure imgf000014_0004
du véhicule principal VP, l’écart de distance selon la direction longitudinale X entre le véhicule principal VP et le véhicule voisin VV1 augmentera dans le temps, de sorte qu’à un temps futur, le dépassement du véhicule principal VP sur le véhicule voisin VV1 sera tel que le véhicule voisin VV1 sera intégralement compris dans le champ de vue (arrière) FOV du véhicule principal VP, comme c’est le cas initial du véhicule voisin VV2.
[62] Une telle évolution de l’appartenance du véhicule voisin VV1 au champ de vue FOV du véhicule principal VP dans le temps est illustrée sur les figures 6, 7 et 8.
[63] Cependant, dans un autre mode de réalisation, la norme VVP de la vitesse voisine peut être supérieure à la norme VVP de la vitesse principale V^. Sous une telle hypothèse et sous l’hypothèse que la vitesse voisine
Figure imgf000014_0005
du véhicule voisin VV1 reste sensiblement constante sur un intervalle de temps considéré, à l’instar de la vitesse principale
Figure imgf000014_0006
du véhicule principal VP, l’écart de distance selon la direction longitudinale X entre le véhicule principal VP et le véhicule voisin VV1 augmentera dans le temps, de sorte qu’à un temps futur, le dépassement du véhicule voisin sur le véhicule principal VP sera tel que le véhicule voisin VV1 sera intégralement compris dans un champ de vue (avant) du véhicule principal VP, pour une caméra 1 placée à l’avant du véhicule principal VP (cas non représenté sur les figures).
[64] Dans la suite de la description, le cas d’un dépassement du véhicule principal VP sur le véhicule voisin VV1 est considéré, de sorte que la norme VVP de la vitesse voisine est considérée comme étant inférieure à la norme Vvp de la vitesse principale ^. Il est également considéré, comme représenté sur la figure 2, que la caméra 1 est placée à l’arrière du véhicule principal VP, de sorte que le champ de vue FOV considéré est un champ de vue arrière par rapport au véhicule principal VP.
[65] Il est fait référence aux figures 6, 7 et 8. Les figures 6, 7 et 8 schématisent des prises de vue de la scène ENV environnant le véhicule principal VP selon le champ de vue (arrière) FOV de la caméra 1 du véhicule principal VP, telle que positionnée sur la figure 2. Afin de faciliter la lisibilité des figures 6, 7 et 8, seule la portion du véhicule voisin VV1 visible dans le champ de vue FOV est représentée sur les figures 6, 7 et 8, le véhicule voisin VV2 et l’élément voisin OV de la figure 2 inclus dans le champ de vue FOV ne sont pas représentés sur les prises de vue des figures 6, 7 et 8.
[66] Les figures 6, 7 et 8 correspondent à des images successivement acquises par la caméra 1 à des instants (ou temps d’acquisition) successifs T1 , T2 et T3. Chacun des instants T1 , T2 et T3 peuvent par exemple être espacés d’une ou plusieurs millisecondes dans le temps. Chacune des images correspond à un ensemble de pixels aux coordonnées définissables dans un repère à deux dimensions (y,z), dit « repère image », tel que représenté sur les figures 6, 7 et 8. Par exemple, le pixel le plus en bas et le plus à gauche de chaque image acquise par la caméra 1 peut correspondre à l’origine du repère à deux dimensions (y,z). Dans d’autres modes de réalisation, le pixel central de l’image acquise par la caméra, le pixel correspondant à un point de fuite C’ de l’image acquise (ces deux pixels étant confondus sur la figure 6) ou encore le pixel de coordonnées (yC’, zO) tel que représentés sur la figure 6 peuvent correspondre à l’origine du repère (y,z). La résolution des images acquises (et donc les pixels) est la même pour toutes les images acquises et dépend notamment des propriétés de la caméra 1.
[67] La portion du véhicule voisin VV1 visible dans le champ de vue FOV du véhicule principal VP au cours du temps est mise en évidence sur les figures 6, 7 et 8, par exemple en observant les projections respectives A’, A”, A’” du premier point repère A susmentionné sur les images acquises aux figures 6, 7 et 8.
[68] La figure 6 schématise une image acquise par la caméra 1 à l’instant T 1 , correspondant par exemple à une configuration de la scène ENV et du champ de vue FOV illustrée en figure 2. Ainsi, seule une première portion, latérale, du véhicule voisin VV1 est visible sur l’image de la figure 6, une telle première portion latérale incluant notamment la roue arrière gauche du véhicule voisin VV1 et la portion du véhicule voisin VV1 sur laquelle se situe le premier point repère A. En particulier, un tel premier point repère A est positionné sur un pixel A’ de l’image de la figure 6. Un tel pixel A’ correspond alors à la projection du premier point repère A dans le repère image (y,z) à l’instant T1 et a pour coordonnées (yA’.zA’).
[69] La figure 7 schématise une image acquise par la caméra 1 à l’instant T2 succédant à l’instant T1. À un tel instant T2, une deuxième portion latérale du véhicule voisin VV1 plus grande que la première portion latérale est visible sur l’image de la figure 7, une telle deuxième portion latérale incluant notamment la roue arrière gauche, partiellement la roue avant gauche du véhicule voisin VV1 et la portion du véhicule voisin VV1 sur laquelle se situe le premier point repère A. En particulier, un tel premier point repère A est positionné sur un pixel A” de l’image de la figure 7 différent du pixel A’ de l’image de la figure 6. Un tel pixel A” correspond alors à la projection du premier point repère A dans le repère image (y,z) à l’instant T2 et a pour coordonnées (yA”,zA”). Autrement dit, le différentiel de vitesse entre le véhicule principal VP et le véhicule voisin VV1 entre les instants T1 et T2 est tel que le véhicule voisin VV1 « entre de plus en plus » dans le champ de vue FOV de la caméra 1 entre les instants T1 et T2.
[70] La figure 8 schématise une image acquise par la caméra 1 à l’instant T3 succédant à l’instant T2. À un tel instant T3, l’intégralité du véhicule voisin VV1 est visible sur l’image de la figure 8 et en particulier, la portion du véhicule voisin VV1 sur laquelle se situe le premier point repère A ainsi qu’une portion du véhicule voisin VV1 sur laquelle se situe le second point repère W représenté sur la figure 2 et positionné sur la face frontale avant du véhicule voisin VV1 sont donc visibles. En particulier, le premier point repère A est positionné sur un pixel A’” de l’image de la figure 8, différent des pixels A’ et A” des images des figures 6 et 7. Un tel pixel A’” correspond alors à la projection du premier point repère A dans le repère image (y,z) à l’instant T3 et a pour coordonnées (yA’”,zA’”). Le deuxième point repère W est positionné sur un pixel W’” de l’image de la figure 8. Un tel pixel W’” correspond alors à la projection du deuxième point repère W dans le repère image (y,z). Autrement dit, le différentiel de vitesse entre le véhicule principal VP et le véhicule voisin VV1 entre les instants T2 et T3 est tel que le véhicule voisin VV1 « est intégralement entré » dans le champ de vue FOV de la caméra 1 entre les instants T2 et T3.
[71] Dans le contexte d’une fonction d’assistance à la conduite assurée par le dispositif 2, visant par exemple à assister le véhicule principal VP dans une manœuvre de changement de voie, un processus de détection de véhicules environnant le véhicule principal VP est requis, de sorte à ce que le véhicule principal VP ne se déplace pas sur une voie de circulation voisine s’il risque d’entrer en collision avec un des véhicules environnants. Par exemple, dans le contexte de la figure 2, le dispositif 2 peut viser à assister le véhicule principal VP dans son changement de voie vers la voie de circulation du véhicule voisin VV1 , de sorte que le véhicule principal VP n’entre pas en collision avec le véhicule voisin VV1. Des techniques existantes de détection de véhicules environnant le véhicule principal VP reposent notamment sur l’utilisation de classifieurs, basés par exemple sur des méthodes de réseaux de neurones à convolution (ou en anglais « Convolutional Neural Networks » ou CNN), de K plus proches voisins (ou en anglais « K-Nearest Neighbors » ou KNN) ou encore machines à vecteurs de support (ou en anglais « Support Vector Machine » ou SVM). De tels classifieurs permettant la détection des véhicules environnant le véhicule principal VP s’appuient en particulier sur la détection et la classification d’une vue (ou face) frontale (avant ou arrière) des véhicules environnant le véhicule principal VP. L’utilisation de tels classifieurs peut notamment comprendre une phase d’apprentissage sur la base d’une pluralité d’images représentant des vues frontales de divers types de véhicules. Ainsi, en référence à la figure 2, une vue frontale avant du véhicule voisin VV2 appartenant au champ de vue FOV de la caméra 1 , la détection du véhicule voisin VV2 peut être mise en œuvre sur la base de techniques de classification existantes. Il en va de même pour le véhicule voisin VV1 sur l’image de la figure 8 à l’instant T3.
[72] Cependant, les positionnements du véhicule voisin VV1 représentés sur la figure 2 et les figures 6 et 7 correspondent à des situations dans lesquelles les classifieurs existants ne parviennent pas à détecter ou suivre efficacement le véhicule voisin VV1 , ou en tout cas, non sans engendrer des coûts et/ou temps de calcul significatifs, du fait de l’absence de vue frontale visible du véhicule voisin VV1 sur les prises de vues des figures 6 et 7 (le deuxième point repère W de la figure 2 positionné sur la face frontale avant du véhicule voisin VV1 n’étant pas encore visible dans le champ de vue FOV de la caméra 1 à ces stades). Ces situations correspondent pourtant à des situations critiques durant lesquelles le véhicule principal VP pourrait entrer en collision avec le véhicule voisin VV1 si le véhicule principal VP change de position et se déplace sur la voie du véhicule voisin VV1 , en l’absence d’information d’assistance au changement de voie indiquant que le véhicule voisin VV1 est détecté près d’une telle position.
[73] Un procédé de détection anticipée du véhicule voisin VV1 est alors proposé et décrit par les figures 4, 5, 9, 10 et 11 pour détecter le véhicule voisin VV1 , et notamment au stade des situations représentées aux figures 2, 6 et 7. Un tel procédé de détection est qualifié d’anticipé en ce qu’il est mis en œuvre avant la visibilité d’une face avant ou arrière du véhicule voisin VV1 dans le champ de vue FOV. Un tel procédé de détection anticipée du véhicule voisin VV1 est mis en œuvre par un système d’assistance à la conduite du véhicule principal VP représenté en figure 3. [74] Il est maintenant fait référence à la figure 3. La figure 3 représente une schématisation d’un système embarqué d’un véhicule principal VP. En particulier, un tel système embarqué correspond à un système d’assistance à la conduite du véhicule principal VP. Le système d’assistance à la conduite du véhicule principal VP permet notamment d’assurer une fonction d’assistance au changement de voie ou de changement de voie automatique du véhicule principal VP, lorsque le véhicule principal VP se déplace sur une voie de circulation comme représenté par exemple en figure 2.
[75] Le système comprend tout d’abord le dispositif 2 d’assistance à la conduite. Le dispositif 2 peut notamment comprendre une unité 20 de détection de flots optiques, une unité 30 de détection d’un objet associé au véhicule détecté et une unité 40 de création d’un tel objet associé au véhicule détecté.
[76] Le dispositif 2 d’assistance à la conduite est en outre relié, d’une part à un capteur de vision de type appareil de prise de vues ou caméra 1. Le dispositif 2 comprend une unité d’entrée (non représentée sur la figure 3) permettant au dispositif 2 de recevoir en temps sensiblement réel un flux de données en provenance de la caméra 1 . Un tel flux de données correspond à une succession, discrète ou continue, d’images (ou prises de vue) de la scène ENV selon le champ de vue FOV de la caméra 1. Chaque image reçue est associée à un temps d’acquisition de l’image par la caméra 1. Chaque image peut être horodatée. Des exemples de telles images transmises par la caméra 1 sont représentés sur les figures 6, 7 et 8.
[77] D’autre part, le dispositif 2 d’assistance à la conduite peut être relié à une interface 50 de communication. Une telle interface 50 peut correspondre à une interface homme- machine intégrée au système embarqué du véhicule principal VP. Une telle interface 50 peut également être intégrée au dispositif 2. L’interface 50 de communication peut également être une interface distante. L’interface 50 de communication peut par exemple comprendre un écran d’affichage, un écran tactile, un tableau de bord ou encore un haut- parleur, permettant de transmettre, par exemple par une information visuelle, haptique et/ou sonore, des indications relatives à une assistance à la conduite du véhicule principal VP. En particulier, l’interface 50 de communication peut permettre de transmettre un état de détection d’un véhicule voisin du véhicule principal VP ou encore une indication relative à une possibilité de changement de voie du véhicule principal VP. Une telle information transmise par l’interface 50 peut par exemple correspondre à une représentation visuelle aérienne estimée des positionnements respectifs du véhicule principal VP et des éléments voisins appartenant au champ de vue FOV en temps réel (e.g., telle que représentée sur la figure 2), ou encore un stimulus audio alertant d’un risque de collision. [78] L’ unité 20 de détection de flots optiques est apte à recevoir et traiter le flux de données reçues en provenance de la caméra 1. En particulier, l’unité 20 peut, à partir de la succession d’images acquises par la caméra 1 à des temps d’acquisition successifs, obtenir des flots optiques sur des intervalles de temps donnés. Une telle unité 20 peut également mettre en œuvre une étape de segmentation des flots optiques déterminés, de sorte à obtenir un ou plusieurs segments associés à chaque image acquise (ou des images segmentées), un segment étant alors associé à un ensemble de flots optiques sur une image donnée. Pour cela, l’unité 20 peut comprendre un circuit de traitement composé d’au moins un processeur 21 et d’au moins une unité mémoire 22 apte à déterminer des flots optiques et/ou des segments associés à des données temporelles à partir des images acquises.
[79] L’ unité 30 de détection d’un objet associé au véhicule détecté peut être apte, pour chaque segment déterminé par l’unité 20, à mettre en œuvre un test de plausibilité d’associer ce segment à un véhicule détecté. Pour cela, l’unité 30 peut comprendre un circuit de traitement composé d’au moins un processeur 31 et d’au moins une unité mémoire 32, un tel circuit de traitement étant apte à mettre en œuvre le test de plausibilité et, par exemple à déterminer un score de plausibilité ou une probabilité de présence d’un véhicule obtenu à l’issue d’un tel test.
[80] L’ unité 40 de création d’un objet associé au véhicule détecté peut être apte, pour chaque véhicule détecté par l’unité 20 et selon le score de plausibilité déterminé par l’unité 30, à créer un objet virtuel associé au véhicule détecté correspondant aux flots optiques (ou segments) détectés comme appartenant à un tel véhicule. Pour cela, l’unité 40 peut comprendre un circuit de traitement composé d’au moins un processeur 41 et d’au moins une unité mémoire 42, le circuit de traitement de l’unité 40 étant apte à prendre en entrée des données issues des unités 20 et 30 et à déterminer des conditions initiales (e.g., des données de position et/ou de vitesse initiales, des données de dimensionnement du véhicule...) de sorte à créer un objet virtuel associé au véhicule détecté par l’unité 30. L’objet virtuellement créé et/ou ses conditions initiales peuvent alors être transmis pour communication à l’utilisateur du dispositif 2 (e.g., le conducteur du véhicule principal VP) via l’interface 50 de communication.
[81] Il est maintenant fait référence à la figure 4. La figure 4 illustre une succession d’étapes de mise en œuvre d’un procédé de détection anticipée d’un véhicule voisin VV1 par un système incluant un dispositif 2 d’assistance à la conduite d’un véhicule principal VP tel représenté aux figures 1 et 3. [82] À une première étape 400, le dispositif 2 reçoit une pluralité d’images (ou de prises de vue) associées à des temps d’acquisition respectifs des images en provenance de la caméra 1 . De telles images peuvent notamment être reçues de façon continue, par exemple via un flux vidéo. Dans un tel cas, à l’étape 400, l’unité 20 du dispositif 2 peut discrétiser le flux vidéo reçu de sorte à obtenir un ensemble d’images discrètes associées à des temps d’acquisition respectifs. À partir d’au moins deux images successivement acquises, l’unité 20 du dispositif 2 peut procéder, à l’étape 400, à un traitement d’images, par exemple par homographies, de sorte à identifier un ou plusieurs ensembles connexes de vitesse relativement homogènes sur les images. Un tel traitement d’images consiste alors à déterminer un déplacement de pixels à une vitesse sensiblement commune d’une image à l’autre, ou flot optique. Chaque flot optique peut être déterminé par appariement de points entre plusieurs images successives, par exemple par la méthode de Lucas-Kanade. Chaque flot optique est alors déterminé sur au moins une des images d’un couple d’images et est associé à des données temporelles iTTC. En particulier, de telles données temporelles iTTC sont relatives à une grandeur inverse d’un temps de collision associé au flot optique. Les flots optiques déterminés peuvent notamment, à l’étape 400, être segmentés en un ou plusieurs segments ayant un point ou une ligne de fuite commun(e) et appartenant à des plans dans le champ de vue FOV. Autrement dit, chaque image acquise peut être segmentée en un ou plusieurs segments, chaque segment définissant un groupement de flots optiques (et donc un groupement de pixels ayant sensiblement la même vitesse et décrivant un même mouvement dans un intervalle de temps donné). L’étape 400 peut alors comprendre, après détermination de tels flots optiques, la génération d’hypothèses de mouvement des objets et véhicules de la scène ENV, par exemple sur la base d’un modèle de mouvement affine des objets et véhicules de la scène ENV, et à classifier (ou partitionner) les flots optiques à des segments. Un segment peut alors être défini comme un ensemble de flots optiques ayant un mouvement sensiblement commun. En particulier, l’ensemble des flots optiques d’un segment présentent sensiblement une valeur commune de temps de collision iTTC : on considère donc qu’un temps de collision associé à un segment latéral SL est équivalent à un temps de collision associé à un flot optique appartenant à ce segment latéral SL. De plus, un segment peut être défini par un ensemble coplanaires de flots optiques. Il est ainsi possible de distinguer trois types de segments dans une image segmentée :
[83] - des segments dits « horizontaux », correspondant à des ensembles coplanaires de flots optiques appartenant à des plans parallèles au plan (X, Y) dans le repère monde (X,Y,Z). Par exemple, un segment horizontal peut correspondre au plan formé par la route sur les images 6 à 9. [84] - des segments dits « verticaux », correspondant à des ensembles coplanaires de flots optiques appartenant à des plans parallèles au plan (Y, Z) dans le repère monde (X,Y,Z). Par exemple, un segment vertical peut correspondre au plan de la caméra 1.
[85] - des segments dits « latéraux », correspondant à des ensembles coplanaires de flots optiques appartenant à des plans parallèles au plan (X, Z) dans le repère monde (X,Y,Z). Par exemple, un segment latéral SL est représenté sur la figure 9.
[86] L’ obtention de tels flots optiques et de tels segments à partir d’images successivement acquises ainsi que de données temporelles iTTC associées à chaque flot optique sont notamment décrits dans les documents antérieurs WO 2018059629, WO 2018059631 et WO 2018059632. Pour la suite de la description, il est considéré qu’au moins un segment est déterminé à l’étape 400. En particulier, pour la suite de la description, il est considéré qu’au moins un segment latéral est déterminé à partir de plusieurs flots optiques coplanaires dans un plan latéral détecté et la suite du procédé est mise en œuvre pour chaque segment latéral déterminé dans une image segmentée.
[87] Une telle étape 400 peut être mise en œuvre de façon concomitante avec les étapes suivantes du procédé, notamment lorsque la caméra envoie un flux d’images en temps réel et de façon continue (non ponctuelle). Le dispositif 2 peut mettre en œuvre le reste des étapes (410, 420, 430 et 440) du procédé sur un segment latéral considéré et continuer à détecter d’autres flots optiques (et/ou d’autres segments) à l’étape 400.
[88] À une étape 410, une distance latérale d est tout d’abord déterminée pour au moins un segment latéral SL. Il est fait référence pour cela à la figure 9. La figure 9 correspond à l’image acquise par la caméra 1 à l’instant T1 (correspondant à l’image de la figure 6) sur laquelle est représenté un segment latéral SL déterminé par l’unité 20 à l’étape 400. Le segment latéral SL comprend notamment un ensemble de flots optiques représentés schématiquement par des points sur la figure 9. Dans un autre mode de réalisation, les flots optiques peuvent être représentés schématiquement par des bipoints reflétant un déplacement entre deux images successivement acquises.
[89] Il est considéré un axe vertical VL de l’image acquise. Il est également considéré un point de fuite de l’image acquise, correspondant au point de fuite des flots optiques dans l’image. Un tel point de fuite est représenté par le point C’ de coordonnées (yC’,zC’) sur la figure 9.
[90] Afin de déterminer la distance latérale d associée au segment latéral SL détecté, l’angle formé par chacune des droites formées entre chacun des flots optiques du segment latéral SL et le point de fuite C’ avec l’axe vertical VL est considéré. Un flot optique B’ du segment latéral SL est alors choisi de sorte que l’angle formé 0min entre un tel flot optique B’ choisi et le point de fuite C’ avec la verticale VL soit minimal parmi les angles 0 respectivement formés entre chacun des flots optiques du segment latéral SL et le point de fuite C’ avec la verticale VL. En référence à la figure 9, un flot optique ainsi choisi correspond au flot optique le plus proche du sol parmi les flots optiques du segment latéral SL
[91] Le flot optique choisi est associé à un pixel B’ de coordonnées (yB’.zB’) sur l’image acquise et correspondant à un troisième point repère B du véhicule détecté dans la scène ENV (non représenté sur les figures, correspondant par exemple à un point repère situé sur la roue arrière gauche du véhicule voisin VV1). Dans la suite de la description, il sera fait référence au flot optique B’ correspondant au flot optique du segment latéral SL étant le plus proche du sol ainsi déterminé.
[92] Le flot optique choisi B’ correspond alors à un pixel B’ sur l’une des images acquises ayant des coordonnées (yB’,zB’) dans le repère image (y,z). À partir de telles coordonnées (yB’,zB’) dans le repère image (y,z), les coordonnées du troisième point repère B sont déterminées, à l’étape 410, dans le repère monde (X,Y,Z). En particulier, de telles coordonnées du troisième point repère B dans le repère monde (X,Y,Z) peuvent être déterminées, à partir des coordonnées (yB’,zB’) et des caractéristiques prédéfinies de la caméra 1 , sur la base du modèle sténopé (ou en anglais, « pinhole model »). L’application du modèle sténopé de sorte à obtenir les coordonnées du troisième point repère B dans le repère monde (X,Y,Z) à partir des coordonnées (yB’,zB’) du flot optique choisi B’ repose notamment sur plusieurs hypothèses de calcul liées aux propriétés de la caméra 1 ainsi qu’à l’environnement ENV associé au repère monde (X,Y,Z). Pour cela, des paramètres extrinsèques classiques de la caméra 1 peuvent être considérés. Une caméra 1 de type « Bird View » peut être utilisée. De plus, une hypothèse monde plat (ou en anglais « fiat world assumption ») peut être considérée. Autrement, un géoréférencement de l’environnement ENV par balisage au sol ou d’autres relevés topographiques peut également être considéré. Dans le contexte du modèle sténopé appliqué, les distorsions géométriques éventuellement induites par le système optique de la caméra 1 peuvent être négligées. Dans un autre mode de réalisation, l’étape 410 de détermination des coordonnées du troisième point repère B dans le repère monde (X,Y,Z) peut comprendre une correction de la distorsion de l’objectif de la caméra 1 .
[93] Lors de l’étape 410, il est alors possible d’obtenir une position selon le repère monde (X,Y,Z) du troisième point repère B correspondant au flot optique choisi B’ dans l’environnement ENV. Une distance latérale d (réelle, exprimée en mètres) du troisième point repère B peut alors être directement déduite à partir de la coordonnée selon l’axe Y de la position selon le repère monde (X,Y,Z) du troisième point repère B correspondant au flot optique choisi B’ dans l’environnement ENV. La distance latérale d peut notamment être obtenue par calcul de la différence entre la coordonnée selon l’axe Y de la position selon le repère monde (X,Y,Z) du troisième point repère B dans l’environnement ENV et la coordonnée selon l’axe Y d’un point d’origine de la caméra 1 du véhicule principal VP, par exemple confondu avec un point de fuite de la caméra 1. La distance latérale d estimée à l’étape 410 correspond alors à une estimation d’un écart latéral séparant le véhicule principal VP de l’objet auquel appartient le segment latéral SL détecté (au stade de l’étape 410, le système 2 n’a pas encore déterminé qu’il s’agit d’un véhicule, à savoir le véhicule voisin VV1).
[94] Une distance latérale d’ (sur l’image acquise, exprimée en pixels) du flot optique B’ peut également être obtenue à partir de la coordonnée yB’ du flot optique B’ selon l’axe y dans le repère image (y,z) ainsi que d’une coordonnée yC’ du point d’origine (ou central) de la caméra 1 du véhicule principal VP, par exemple confondu avec le point de fuite C’. Un tel point central peut par exemple correspondre au centre optique de l’image acquise ou encore à un point associé à l’emplacement de la caméra 1 dans l’environnement ENV. Une telle distance latérale d’ est par exemple représentée sur la figure 9.
[95] Par conséquent, la distance latérale d associée à un segment latéral SL détecté correspond à la distance latérale d’ associée au flot optique B’ détecté dans le segment latéral SL comme étant le plus proche du sol.
[96] Dans la suite du procédé décrite et sauf mention explicite contraire, toute référence à un flot optique du segment latéral SL correspond au flot optique choisi B’ appartenant au segment latéral SL et ayant permis de déterminer la distance latérale d (ou de façon équivalente d’) associée au segment latéral SL.
[97] À l’issue de l’étape 410, une valeur d’une vitesse associée vSL au segment latéral SL peut alors être estimée :
[98] Math.1 vSL = d x ITTC où :
- vSL est une vitesse relative associée au segment latéral SL (exprimées en mètres par seconde),
- d est la distance latérale associée au segment latéral SL (exprimée en mètres), et
- iTTC est la donnée temporelle associée au segment latéral SL (exprimée comme l’inverse d’un temps).
[99] La vitesse vSL est alors une vitesse relative estimée dans la scène ENV de l’élément correspondant au segment latéral SL détecté (un tel élément n’étant pas encore identifié comme étant un véhicule ou non à ce stade). Une telle vitesse vSL est relative à une vitesse définie connue VVP du véhicule principal VP.
[100] À une étape 420, le segment latéral SL détecté à l’étape 400 et caractérisé à l’étape 410 par une distance latérale d et en particulier, par une vitesse relative vSL associées au segment latéral SL, est testé selon un test de plausibilité, afin d’identifier si un tel segment latéral SL est susceptible de correspondre à un véhicule voisin VV1.
[101] Pour cela, un test de plausibilité mis en œuvre à l’étape 420 peut s’appuyer sur un ou plusieurs critères de plausibilité (ou de vraisemblance), chaque critère pouvant par exemple être quantifié par un sous-score de plausibilité.
[102] Il est fait référence à la figure 5 détaillant, des sous-étapes de l’étape 420 d’un test de plausibilité mis en œuvre pour un segment latéral SL détecté à l’étape 400. De telles sous-étapes sont détaillées de façon non-limitative et la personne du métier comprendra aisément qu’il est possible de calculer une pluralité de sous-scores de plausibilité sur la base des données de position, vitesse, accélération, dimensions, d’horodatage des images acquises ou encore de distance latérale associées à un segment latéral détecté.
[103] À une étape 421 , une valeur relative à une hauteur de pixels associée au segment latéral SL est estimée, à partir de l’image acquise comme représenté en figure 6. La projection du point (ou pixel) A’ de la figure 6 sur l’axe z permet d’obtenir la coordonnée zA’, qui correspond, en pixels, à une hauteur associée au segment latéral SL. À l’étape 310, un premier sous-score Sh peut être déterminé :
[104] Math.2
Figure imgf000024_0001
où : sh est un premier sous-score de plausibilité,
- zA’ est la hauteur (en pixels) associée au segment latéral SL sur une image acquise,
- hths est un seuil de hauteur prédéfini (en pixels ou px).
[105] Autrement dit, le premier sous-score de plausibilité sh vérifie qu’une hauteur en pixels du segment latéral SL dans l’image acquise dépasse un certain seuil de hauteur htfls, qui dépend de la résolution de l’image acquise. Un tel seuil de hauteur hths peut par exemple être prédéfini à 200 px. Un tel sous-score permet alors d’attribuer un premier sous-score sh nul si la hauteur du segment latéral SL est considéré « trop proche du sol » (c’est-à-dire de hauteur zA’ en deçà du seuil de hauteur htfls). En effet, si le segment latéral SL détecté est en ce sens, trop proche du sol, le test de plausibilité considère qu’il n’est pas plausible qu’un tel segment latéral SL soit associé à un véhicule. [106] À une étape 422, une vitesse absolue V^L associée au segment latéral SL peut être déterminée :
[107] Math.3 . L = ^VP + VSL où : vSL est la vitesse relative associée au segment latéral SL,
- VSL est une vitesse absolue associée au segment latéral SL, et
- Vvp est la vitesse connue de déplacement du véhicule principal VP et donc de déplacement de la caméra 1.
[108] Une telle vitesse absolue V^L associée au segment latéral SL comprend notamment une composante latérale, notée VSL iM de norme VSL iat selon l’axe Y et une composante longitudinale, notée VSLiiong de norme VSL iong selon l’axe X. Par exemple, si l’élément associé au segment latéral SL a une trajectoire parfaitement rectiligne selon la direction X, alors VSL lat = 0.
[109] À l’étape 422, un deuxième sous-score s(at peut alors être déterminé sur la base de la norme VSL iat de la composante latérale VSL iM de la vitesse absolue V^L associée au segment latéral SL :
[110] Math.4
Figure imgf000025_0001
où : siat est un deuxième sous-score de plausibilité,
- vsL,iat est la norme de la composante latérale de la vitesse absolue associée au segment latéral SL, et
- a est un premier paramètre d’ajustement prédéfini (homogène à l’inverse d’une vitesse). Un tel premier paramètre d’ajustement peut être relatif à une vitesse latérale maximale tolérée pour un véhicule selon l’axe Y.
[111] Autrement dit, le deuxième sous-score de plausibilité slat permet de vérifier que le segment latéral SL appartient à un élément qui se déplace dans la même direction que le véhicule principal VP, à savoir sensiblement selon l’axe X.
[112] À une étape 423, un troisième sous-score siong peut être déterminé sur la base de la norme VSL iong de la composante longitudinale VSLiiong de la vitesse absolue V^L associée au segment latéral SL: [113] Math.5
Figure imgf000026_0001
où : siong est un troisième sous-score de plausibilité,
- vsL,iong est la norme de la composante longitudinale de la vitesse absolue associée au segment latéral SL, et
- a2 est un deuxième paramètre d’ajustement prédéfini (homogène à une vitesse). Un tel deuxième paramètre d’ajustement peut être relatif à une vitesse de déplacement longitudinal minimale tolérée pour un véhicule selon l’axe X, de sorte à exclure (i.e., attribuer un troisième sous-score de plausibilité siong nul) les segments latéraux sensiblement immobiles ou considérés non ou insuffisamment mobiles pour être associés à des véhicules. Plus la value du deuxième paramètre d’ajustement a2 est faible, plus les fausses détections de véhicules (i.e., faux-positifs) peuvent être évitées.
[114] Autrement dit, le troisième sous-score de plausibilité siong permet de vérifier que l’écart entre les composantes longitudinales respectives du véhicule principal VP et de l’élément correspondant au segment latéral SL est faible (c’est-à-dire inférieur à a2). Ainsi, le troisième sous-score de plausibilité siong permet d’écarter l’hypothèse que l’élément correspondant au segment latéral SL est un véhicule, si un différentiel significatif (supérieur à a2) de vitesse existe entre le véhicule principal VP et l’élément correspondant au segment latéral SL (un tel élément pourrait être un autre objet voisin du véhicule principal VP comme un panneau, un oiseau ou une feuille par exemple).
[115] À une étape 424, le score total de plausibilité s, peut alors être alors déterminé par :
[116] Math.6 h ( lat + iong ) ou encore par :
[117] Math.7 /i + S at + S ong où : sh est le premier sous-score de plausibilité, siat est le deuxième sous-score de plausibilité, et
- siong est Ie troisième sous-score de plausibilité. [118] La formule du score de plausibilité peut être choisie entre les expressions Math. 6 et Math. 7 selon s’il est considéré que le critère de hauteur en pixels du segment latéral SL est respectivement une condition préliminaire requise ou non (de façon binaire).
[119] En variante des expressions Math. 6 et Math. 7, le score de plausibilité s peut être basé sur un seul ou une partie des sous-scores de plausibilité.
[120] Dans d’autres modes de réalisation, un ou plusieurs autres sous-scores de plausibilité peuvent être déterminés et adaptés dans la formule Math. 6 ou Math. 7. Par exemple, un quatrième sous-score de plausibilité sang peut être lié à la distance latérale d associé au segment latéral SL détecté. Un tel quatrième sous-score de plausibilité sang peut par exemple être défini par :
[121] Math.8
Figure imgf000027_0001
Sang ®^t Un quatrième sous-score de plausibilité, d est la distance latérale associée au segment latéral SL,
D est une distance euclidienne prédéfinie, et
- a3 est un troisième paramètre d’ajustement prédéfini.
[122] Dans d’autres modes de réalisation, d’autres sous-scores de plausibilité peuvent inclure une estimation de la hauteur de l’élément associé au segment latéral SL à partir du pixel B’, comparer des ratios de vitesses latérales et/ou longitudinales respectivement associées au véhicule principal VP et au segment latéral SL par rapport à des seuils prédéfinis par exemple.
[123] À l’étape 424, le score de plausibilité peut alors être comparé à un seuil de plausibilité Sths compris par exemple entre 1 et 2, ou encore entre 0 et 1. Si, à l’issue d’une telle comparaison à l’étape 424, le score de plausibilité s est inférieur au seuil de plausibilité sths, alors, une étape 430 de détection d’un état de présence (e.g., par une valeur booléenne de plausibilité ou non plausibilité de présence) d’un véhicule représenté en figure 4 consiste à considérer qu’il n’est pas plausible que le segment latéral SL détecté corresponde à un véhicule voisin VV1 et conclut à l’absence d’un véhicule correspondant au segment latéral SL. Le procédé de détection anticipée s’arrête alors, comme représenté à une sous-étape 4242 de la figure 5, pour le segment latéral SL considéré et est éventuellement mis en œuvre pour un autre segment latéral détecté à l’étape 400. Au contraire, si le score de plausibilité s est supérieur au seuil de plausibilité Sths, alors, l’étape 430 de détection d’un état de présence d’un véhicule consiste à considérer qu’il est plausible que le segment latéral SL soit associé à un véhicule voisin VV1 (sous-étape 4241 de la figure 5) et conclut à la présence d’un véhicule correspondant au segment latéral SL.
[124] Selon l’issue de l’étape 430 de la figure 4 (et donc de l’étape 424 de la figure 5) de détection d’un état de présence d’un véhicule associé au segment latéral SL, une étape 440 de création d’un objet associé au segment latéral SL peut optionnellement être mise en œuvre, telle que représentée sur la figure 4.
[125] Si à l’étape 424, le score de plausibilité s est strictement inférieur au seuil de plausibilité sths, alors le dispositif 2 détermine que le segment latéral SL détecté n’appartient pas à un véhicule voisin potentiel (sous-étape 4242). Aucun objet virtuel n’est alors créé en correspondance avec le segment latéral SL détecté et le procédé représenté en figure 4 prend fin sans création d’objet associé au segment latéral détecté SL à l’étape 440. Le procédé peut alors être réitéré pour un autre segment latéral détecté à l’étape 400.
[126] Si, à l’étape 424, le score de plausibilité s est supérieur au seuil de plausibilité sths, alors une présence d’un véhicule est détectée (sous-étape 4241) en correspondance avec le segment latéral SL considéré. Autrement dit, le véhicule voisin VV1 a été détecté de façon anticipée sur la base d’une portion latérale du véhicule voisin VV1 visible dans le champ de vue FOV (se traduisant par le segment latéral SL détecté sur l’image acquise).
[127] Dans ce cas 4241 , le dispositif 2, et plus précisément l’unité 40 du dispositif 2 peut déterminer une présence (plausible) d’un véhicule associé au conditions initiales (i.e., vitesse, distance latérale...) du segment latéral SL détecté à l’étape 430. Le dispositif 2 peut alors émettre un signal, via l’interface de communication 50, informant de la détection d’un véhicule voisin VV1 au véhicule principal VP et/ou fournir des données relatives à un positionnement d’un tel véhicule détecté dans l’environnement ENV (e.g., en fournissant un ou plusieurs éléments parmi la distance latérale d, la position du point B, la vitesse associées au segment latéral SL etc.). Optionnellement, le dispositif 2 peut également procéder, à une étape 440, à la création d’un objet associé au segment latéral SL identifié comme correspondant à un véhicule voisin VV1.
[128] Il est maintenant fait référence aux figures 10, 11 et 12. La figure 10 représente une vue aérienne de la scène ENV à un temps d’acquisition précédant l’instant T3, et la surface grisée non hachurée a bien été identifiée comme correspondant, en tant qu’un ou plusieurs flots optiques (ou segments) détectés, à un véhicule voisin VV1. La figure 11 correspond à une schématisation du deuxième point repère W selon le modèle sténopé. La figure 12 correspond à une image acquise à un temps d’acquisition en amont de T3, sur laquelle un objet virtuel associé au segment latéral SL détecté est créé par le dispositif 2. [129] Dans le mode de réalisation décrit par la suite dans les figures 10 à 12, il est considéré qu’un véhicule voisin VV1 a été détecté à l’étape 430 comme étant associé au segment latéral SL. À une étape 440, l’unité 40 peut estimer une position (X_W, Y_W, Z_W) d’un deuxième point repère, ou point de référence, W appartenant au véhicule voisin VV1 , par exemple placé au niveau de la partie inférieure au centre de la face frontale du véhicule voisin VV1 détecté, comme illustré sur les figures 1 , 2 et 10.
[130] Pour cela, l’unité 40 peut utiliser des dimensions prédéterminées d’un type de véhicule assimilé au véhicule voisin VV1 , par exemple un camion aux dimensions L1 en longueur, L2 en largeur et H en hauteur et faire l’hypothèse que ces dimensions correspondent à celles du véhicule voisin VV1 .
[131] À partir des coordonnées (X_C, Y_C) du point central C de la caméra 1 dans le repère monde (X,Y,Z) correspondant par exemple à un point associé à l’emplacement de la caméra 1 ou d’un capteur de la caméra 1 dans l’environnement ENV, de dimensions prédéterminées L1 , L2 du véhicule voisin VV1 , de la distance latérale réelle d déterminée, de la focale / de la caméra 1 , et de la taille du capteur sz_capt, l’unité 40 est apte à déterminer, en appliquant le modèle sténopé ainsi que le théorème de Thalès :
[132] Math.9
Figure imgf000029_0001
Où :
- Y_W) sont des coordonnées du point de référence W dans le repère monde (X,Y,Z),
- (X_C, Y_C) sont des coordonnées du point central C de la caméra 1 dans le repère monde (X,Y,Z),
- d est la distance latérale réelle associée au segment latéral SL,
- / est la composante selon l’axe X de la focale de la caméra 1 taille _capteur est la taille réelle du capteur, et
- L2 est une dimension en largeur prédéfinie du véhicule voisin VV1.
[133] De telles coordonnées du point de référence W sont déterminées en considérant que le centre optique C (ou point central) est confondu avec le centre de l’image acquise. Les déformations optiques peuvent être considérées négligées. Par ailleurs, la focale f est considérée identique sur les deux axes - vertical VL et horizontal - de l’image.
[134] En effet, de telles coordonnées (X_W, Y_W) sont déterminées par application du modèle sténopé tel qu’illustré en figure 11 , sur laquelle l’origine du repère monde (X,Y,Z) correspond au point central C de la caméra 1. Sur la figure 10, le point d’origine O du repère monde (X,Y,Z) diffère du point central C de la caméra 1 , qui a alors pour coordonnées (X_C, Y_C, Z_C) dans le repère monde (X,Y,Z). En particulier, les formules Math. 9 dépendent du positionnement relatif du véhicule voisin VV1 par rapport au véhicule principal VP.
[135] En particulier, la coordonnée Z_W du point de référence W selon l’axe Z dans le repère monde est déterminée comme correspondant à la coordonnée selon l’axe Z du flot optique choisi B pour déterminer la distance latérale d, dans le repère monde. Autrement dit, le point de référence W est placé, en hauteur selon l’axe Z, au niveau du flot optique du segment latéral SL étant le plus proche du sol.
[136] Ainsi, lors de l’étape 440, le dispositif 2 peut obtenir des coordonnées (X_W, Y_W, Z_W) dans le repère monde (X,Y,Z) d’un point de référence W situé sur la face frontale du véhicule voisin VV1 détecté. Le dispositif 2 peut alors être configuré pour transmettre de telles données de position via l’interface 50 afin d’indiquer une position avant du véhicule voisin VV1. Le dispositif 2 peut également transmettre des données permettant d’estimer un espace d’occupation de l’environnement du véhicule voisin VV1 détecté, par exemple en transmettant les coordonnées (X_W, Y_W, Z_W), les dimensions prédéfinies L1 , L2, H. Le dispositif 2 peut également transmettre un signal de détection ou d’alerte lorsque le véhicule principal VP est estimé comme approchant un tel espace d’occupation du véhicule voisin VV1 (par exemple, en comparant les coordonnées du véhicule voisin VV1 avec des coordonnées de positionnement du véhicule principal VP).
[137] Dans un mode de réalisation, le dispositif 2 peut également être configuré pour créer un objet virtuel associé au véhicule voisin VV1 détecté et/ou afficher un tel objet virtuel sur une image transmise via l’interface de communication 50. Pour cela, l’unité 40 peut, à partir des coordonnées (X_W, Y_W, Z_W) du point de référence W déterminées et en utilisant le modèle de la caméra, placer un point de référence virtuel W ayant des coordonnées (yW’.zW’) dans le repère image (y,z) sur une image acquise, par exemple l’image sur laquelle le segment latéral SL a été détecté. En particulier, le point virtuel W est positionné dans le repère image (y,z) sous plusieurs hypothèses :
[138] - le segment latéral SL détecté correspond à une portion arrière du véhicule voisin VV1 (e.g., il comprend une roue arrière du véhicule voisin VV1),
[139] - le point de référence virtuel W est considéré positionné sur une bordure latérale de l’image acquise. Autrement dit, la portion latérale visible sur l’image acquise est considérée comme représentant toute la longueur du véhicule voisin VV1 à l’état considéré sur l’image acquise et le point de référence W est considéré comme associé à l’avant du véhicule voisin VV1. [140] Dans un autre mode de réalisation, le point de référence virtuel W peut être placé ailleurs que sur la bordure latérale de l’image, par exemple à l’intérieur de l’image ou encore en dehors de l’image.
[141] Ainsi, si le point, noté O’ sur la figure 12 (correspondant au pixel situé le plus en bas à gauche de l’image acquise) est considéré comme étant l’origine du repère image (y,z) et que le véhicule voisin VV1 est détecté comme étant sur le côté latéral droit du véhicule principal VP (comme illustré sur les figures 6 à 10 et 12), on a y W' = 0, comme illustré sur la figure 12.
[142] De plus, la coordonnée zW du point de référence W’ selon l’axe z est déterminée à partir de la coordonnée selon l’axe z du flot optique choisi B’ pour déterminer la distance latérale d’, dans le repère image. Autrement dit, le point de référence W est placé, en hauteur selon l’axe z, au niveau du flot optique du segment latéral SL étant le plus proche du sol. Dans un mode de réalisation, la hauteur du sol correspondant à la hauteur zW du point de référence W’ selon l’axe z peut être prédéfinie et stockée par le dispositif 2. Dans un mode de réalisation, la hauteur zW peut également différer de la hauteur du flot optique du segment latéral SL.
[143] Un tel point de référence virtuel W est par exemple représenté sur la figure 12.
[144] À partir d’un tel point de référence W positionné sur l’image acquise et des dimensions prédéfinies L1 , L2, H associées au véhicule voisin VV1 , un nouvel objet virtuel peut être créé par l’unité 40 du dispositif 2, dans l’espace à deux dimensions (y,z) et sensiblement superposé sur le segment latéral SL identifié comme correspondant au véhicule voisin VV1 sur l’image acquise. Un exemple d’un tel objet virtuel est représenté par l’objet OV sur la figure 12.
[145] Un tel objet virtuel associé au segment latéral SL détecté peut alors être affiché sur l’interface 50 de communication correspondant à un écran d’affichage, par exemple en superposant l’objet créé sur un affichage du flux d’images en provenance de la caméra 1 , comme illustré sur la figure 11 .
[146] En particulier, à l’issue de l’étape 440, un objet virtuel ayant une position initiale (par exemple, obtenue via les coordonnées (X_W, Y_W, Z_W) et les dimensions L1 , L2, H) et une vitesse correspondant à Vw = Vsi_ est déterminé.
[147] Par conséquent, le procédé permet une détection anticipée d’un véhicule voisin à partir d’un segment latéral SL détecté. En particulier, une telle détection ne requiert pas qu’une face frontale (avant ou arrière) soit incluse dans le champ de vue de la caméra 1 . -SO-
1148] Le procédé permet également, une fois un tel véhicule voisin détecté, de créer un objet virtuel associé à un tel segment latéral SL, un tel objet virtuel étant créé avec des conditions initiales de position, de vitesse et de dimensions associées.

Claims

Revendications
[Revendication 1] Procédé de détection d’au moins un véhicule voisin (VV1) présent dans un environnement (ENV) d’un véhicule principal (VP), ledit véhicule voisin (VV1) et ledit véhicule principal (VP) étant des véhicules automobiles, le procédé étant mis en œuvre par un dispositif (2) configuré pour assurer une fonction d’assistance à la conduite du véhicule principal (VP), ledit dispositif (2) étant relié à au moins une caméra (1) embarquée sur le véhicule principal (VP) et apte à acquérir des images d’une scène environnant le véhicule principal (VP) selon au moins un champ de vue (FOV) et à des temps d’acquisition, le procédé comprenant les étapes suivantes :
- obtenir, pour au moins une paire d’images successivement acquises, : * au moins un segment latéral (SL) correspondant à un ensemble coplanaire latéral de flots optiques détectés dans le champ de vue (FOV), entre les temps d’acquisition respectifs des deux images de ladite paire d’images, et
*une donnée temporelle lié à un temps de collision associé audit segment latéral (SL),
- déterminer, selon au moins un système de coordonnées prédéfini, une valeur relative à une distance latérale (d) associée au segment latéral (SL), ladite distance latérale (d) étant déterminée à partir d’au moins une mesure effectuée sur une image parmi les deux images de ladite paire d’images,
- déterminer une vitesse (VSL) associée au segment latéral (SL) à partir de la distance latérale (d) et du temps de collision,
- déterminer, à partir au moins de la vitesse (VSL) associée au segment latéral (SL) et d’une vitesse connue (VVP) du véhicule principal (VP), un score de plausibilité (s) associé au segment latéral (SL), et
- si le score de plausibilité (s) est supérieur à au moins un seuil prédéterminé, détecter la présence du véhicule voisin (VV1) dans la scène.
[Revendication 2] Procédé selon la revendication 1 , dans lequel la distance latérale (d) associée au segment latéral (SL) est déterminée à partir d’un flot optique appartenant au segment latéral (SL) choisi de sorte qu’un angle minimal (0min) est mesuré entre ledit flot optique choisi et un axe vertical (VL) défini selon le système de coordonnées prédéfini.
[Revendication 3] Procédé selon l’une quelconque des revendications précédentes, la vitesse connue (VVP) du véhicule principal (VP) et la vitesse (VSL) associée au segment latéral (SL) étant chacune composées d’une composante latérale et d’une composante longitudinale (VVP, long, VSL, long) selon un système de coordonnées prédéfini, et dans lequel le score de plausibilité (s) varie inversement avec un écart entre la composante longitudinale (VsL ong) de la vitesse (VSL) associée au segment latéral (SL) et la composante longitudinale (Vvp.iong) de la vitesse connue (VVP) du véhicule principal (VP).
[Revendication 4] Procédé selon l’une quelconque des revendications précédentes, la vitesse connue (VVP) du véhicule principal (VP) et la vitesse (VSL) associée au segment latéral (SL) étant chacune composée d’une composante latérale (VsL.iat) et d’une composante longitudinale (VVP, long, VSL, long) dans un système de coordonnées prédéfini, et dans lequel le score de plausibilité (s) varie inversement avec une valeur croissante de la composante latérale (VsL.iat) de la vitesse (VSL) associée au segment latéral (SL).
[Revendication 5] Procédé selon l’une quelconque des revendications précédentes comprenant en outre :
- une détermination, selon le système de coordonnées prédéfini, d’une valeur relative à une hauteur associée au segment latéral (SL), et dans lequel le score de plausibilité (s) dépend de la hauteur associée au segment latéral (SL).
[Revendication 6] Procédé selon l’une quelconque des revendications précédentes comprenant en outre, si la présence du véhicule voisin (VV1) est détectée :
- une détermination, selon le système de coordonnées prédéfini, d’une position d’au moins un point repère (W) associé au segment latéral (SL), ladite position du point repère (W) étant déterminée à partir au moins de la distance latérale (d) associée au segment latéral (SL), et
- une création d’un objet (OV) associé au segment latéral (SL) dans le champ de vue (FOV) de la caméra (1) à partir au moins de la position du point repère (W).
[Revendication 7] Procédé selon la revendication 6, dans lequel l’objet (OV) associé au segment latéral (SL) est en outre créé à partir de dimensions prédéterminées (L1 , L2, H) associées à un type de véhicule automobile.
[Revendication 8] Dispositif (2) configuré pour assurer une fonction d’assistance à la conduite d’un véhicule principal (VP), ledit dispositif (2) étant relié à au moins une caméra (1) embarquée sur le véhicule principal (VP) et apte à acquérir des images d’une scène environnant le véhicule principal (VP) selon au moins un champ de vue (FOV) et à des temps d’acquisition, dans lequel le dispositif (2) comprend au moins un circuit de traitement (20, 30, 40, 50) configuré pour mettre en œuvre un procédé de détection d’au moins un véhicule voisin (VV1) présent dans un environnement (ENV) du véhicule principal (VP) selon l’une des revendications 1 à 7.
[Revendication 9] Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes lorsque ce programme est exécuté par au moins un processeur (21 , 31 , 41).
[Revendication 10] Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé selon l’une des revendications 1 à 7 lorsque ce programme est exécuté par au moins un processeur (21 , 31, 41).
PCT/EP2024/082262 2023-11-13 2024-11-13 Détection de segments Pending WO2025104133A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2312389 2023-11-13
FR2312389A FR3155191A1 (fr) 2023-11-13 2023-11-13 Détection de segments

Publications (1)

Publication Number Publication Date
WO2025104133A1 true WO2025104133A1 (fr) 2025-05-22

Family

ID=90810180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/082262 Pending WO2025104133A1 (fr) 2023-11-13 2024-11-13 Détection de segments

Country Status (2)

Country Link
FR (1) FR3155191A1 (fr)
WO (1) WO2025104133A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309516A1 (en) * 2007-05-03 2008-12-18 Sony Deutschland Gmbh Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
WO2018059629A1 (fr) 2016-09-29 2018-04-05 Conti Temic Microelectronic Gmbh Détection et validation d'objets à partir d'images séquentielles d'une caméra à l'aide d'homographies
WO2018059631A1 (fr) 2016-09-29 2018-04-05 Conti Temic Microelectronic Gmbh Détection et validation d'objets à partir d'images séquentielles d'une caméra à l'aide d'homographies
WO2018059632A1 (fr) 2016-09-29 2018-04-05 Conti Temic Microelectronic Gmbh Détection et validation d'objets à partir d'images séquentielles d'une caméra au moyen d'homographies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309516A1 (en) * 2007-05-03 2008-12-18 Sony Deutschland Gmbh Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
WO2018059629A1 (fr) 2016-09-29 2018-04-05 Conti Temic Microelectronic Gmbh Détection et validation d'objets à partir d'images séquentielles d'une caméra à l'aide d'homographies
WO2018059631A1 (fr) 2016-09-29 2018-04-05 Conti Temic Microelectronic Gmbh Détection et validation d'objets à partir d'images séquentielles d'une caméra à l'aide d'homographies
WO2018059632A1 (fr) 2016-09-29 2018-04-05 Conti Temic Microelectronic Gmbh Détection et validation d'objets à partir d'images séquentielles d'une caméra au moyen d'homographies

Also Published As

Publication number Publication date
FR3155191A1 (fr) 2025-05-16

Similar Documents

Publication Publication Date Title
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
EP2275971B1 (fr) Procédé de détection d'un obstacle pour véhicule automobile
US8040227B2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
CN104781829B (zh) 用于识别车辆在车道上的位置的方法和设备
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
EP3455788A1 (fr) Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
CN106575473A (zh) 用于对车辆进行非接触式计轴的方法和计轴设备以及用于道路交通的计轴系统
EP3332352B1 (fr) Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile
Liu et al. Vehicle detection and ranging using two different focal length cameras
US20190362512A1 (en) Method and Apparatus for Estimating a Range of a Moving Object
JP6826010B2 (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
WO2025104133A1 (fr) Détection de segments
CN113658252A (zh) 用于估计摄像头仰角的方法、介质、装置及该摄像头
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
WO2025104124A1 (fr) Suivi de véhicules par suivi d'objets latéraux
WO2025104114A1 (fr) Suivi anticipé d'objets latéraux
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
CN111414833A (zh) 目标检测跟踪方法、目标检测跟踪装置和存储介质
WO2020036039A1 (fr) Dispositif de caméra stéréo
FR3151816A1 (fr) Procédé de détection d’objets dynamiques
EP3394571B1 (fr) Procédé et dispositif de détermination de positions spatiales et de paramètres cinématiques d'objets dans l'environnement d'un véhicule
FR2938227A1 (fr) Procede de detection d'obstacles depuis un vehicule automobile
EP3008664B1 (fr) Procédé et système de suivi d'objets en mouvement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24808869

Country of ref document: EP

Kind code of ref document: A1