[go: up one dir, main page]

WO2025104124A1 - Suivi de véhicules par suivi d'objets latéraux - Google Patents

Suivi de véhicules par suivi d'objets latéraux Download PDF

Info

Publication number
WO2025104124A1
WO2025104124A1 PCT/EP2024/082248 EP2024082248W WO2025104124A1 WO 2025104124 A1 WO2025104124 A1 WO 2025104124A1 EP 2024082248 W EP2024082248 W EP 2024082248W WO 2025104124 A1 WO2025104124 A1 WO 2025104124A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
virtual object
parameters
neighboring
neighboring vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/082248
Other languages
English (en)
Inventor
Florian DON
William GELARD
Robert STÛCK
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of WO2025104124A1 publication Critical patent/WO2025104124A1/fr
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present disclosure relates to the field of driver assistance systems and more particularly to the automatic detection of vehicles in areas of interest, in particular lateral areas.
  • most existing vehicle detection and tracking methods are based on classification algorithms for identifying and tracking vehicles from image sequences or video streams acquired by vision sensors (typically, a camera).
  • vision sensors are generally arranged at the front and/or rear of the vehicle concerned, so as to acquire images and/or image sequences of a front and/or rear field of view of the vehicle concerned.
  • the classification algorithms can then identify one or more vehicles neighboring the vehicle concerned on the basis of frontal recognition of the neighboring vehicles (i.e. by identifying and classifying detected vehicles in the field of view from their front or rear face).
  • existing classifiers can track detected vehicles by maintaining the detection of such a front face of the vehicles.
  • the front face of the neighboring vehicle is not yet visible to the camera placed at the rear of the vehicle concerned, for example until the speed differential between the vehicle concerned and the neighboring vehicle is large enough for the vehicle concerned to completely overtake the neighboring vehicle.
  • the neighbouring vehicle is therefore located substantially at the same level as the vehicle concerned and a lane change by the vehicle concerned into the neighbouring lane would result in a collision with the neighbouring vehicle.
  • Such a criticality situation is then not detectable by existing classification methods.
  • the proposed method advantageously allows the tracking of a neighboring vehicle over time.
  • such tracking is possible even when the neighboring vehicle is no longer fully visible in the field of view of the camera and the detected portion of the vehicle corresponds only to a lateral portion of the vehicle (e.g., a front face of the neighboring vehicle is no longer visible in the field of view).
  • the method also allows the updating of parameters associated with the tracked vehicle, in particular a length associated with the tracked vehicle. The method then allows an estimation of the actual dimensions of the neighboring vehicle, which ensures greater tracking accuracy and therefore increased safety and assistance in road traffic.
  • An initial acquisition time may refer to a time at which the camera's field of view captures an initial situation of the environment, and in particular of the neighboring vehicle relative to the main vehicle.
  • an initial image may be captured in which the neighboring vehicle may be fully included in the field of view (e.g., a front face of the neighboring vehicle may be visible in the field of view).
  • a first acquisition time subsequent to the initial acquisition time may refer to an acquisition time subsequent to the initial acquisition time, during which the movements of the neighboring vehicle and the main vehicle have changed the situation captured by the field of view.
  • the neighboring vehicle may have moved forward relative to the main vehicle, so that the front face of the neighboring vehicle is no longer visible in the field of view.
  • the field of view may include, for example, only a lateral portion of the neighboring vehicle.
  • the method detects a (lateral) object which may or may not correspond to the neighboring vehicle.
  • first and second sets of parameters reference may be made to one or more parameters for representing the objects detected in the environment. Elements of these sets of parameters may for example include a position (or a set of positions), a speed, an acceleration. These sets of parameters may be associated with three-dimensional coordinates. In particular, these sets of parameters may also be associated with sets of pixels (or two-dimensional coordinates) in the acquired images.
  • a modeling of the neighboring vehicle as detected in the environment may be represented in two dimensions on an image, or else be represented as a set of positions in the environment representing an occupancy of the neighboring vehicle as estimated by the method.
  • a device configured to provide a driving assistance function for a main vehicle by ensuring tracking of a neighboring vehicle present in an environment of a main vehicle, said device being connected to at least one camera on board the main vehicle and capable of acquiring images of a scene surrounding the main vehicle according to at least one field of view and at acquisition times, said device being configured to ensure tracking of the neighboring vehicle by implementing the proposed method.
  • a non-transitory recording medium readable by a computer on which is recorded a program for implementing the proposed method, when this program is executed by a processor.
  • the first criterion is satisfied if a distance between at least a first element of the first set of parameters and a second element of the second set of parameters does not exceed a first predefined threshold. [0018] Consequently, the method makes it possible to test whether the object detected at the first acquisition time is likely to belong to (or correspond to) the virtual object, and therefore to the detected neighboring vehicle. If such a first criterion is satisfied, it is then considered that the first object and the virtual object can be associated and correspond to the neighboring vehicle being tracked.
  • a distance By a distance, reference may be made to a gap, a difference or a mathematical distance (e.g., a Mahonois distance) allowing a difference in magnitude between the two elements to be quantified.
  • a mathematical distance e.g., a Mahonois distance
  • first element and a second element reference may be made to two homogeneous, comparable quantities, characterizing respectively the virtual object and the detected object.
  • a first/second element may for example be a position or a speed.
  • the first set of parameters including a first position associated with the virtual object and the second set of parameters including a second position associated with the detected object, and the first criterion is satisfied at least if a difference between the first position and the second position does not exceed a first predefined position threshold; or else:
  • the first set of parameters including a first speed associated with the virtual object and the second set of parameters including a second speed associated with the detected object, and the first criterion is satisfied at least if a difference between the first speed and the second speed does not exceed a first predefined speed threshold.
  • a first set of pixels and a second set of pixels being respectively associated with the virtual object and the object detected on the first acquired image, and the first criterion is satisfied if a distance between said first set of pixels and said second set of pixels does not exceed a first predefined threshold.
  • the method advantageously makes it possible to test whether the virtual object and the detected object can be associated in the image.
  • the method takes into account a margin of uncertainty (for example linked to the imprecision of obtaining the virtual object and/or to the detection of the object): the virtual object and the detected object can be associated even if they do not overlap (i.e., the first predefined threshold can be greater than 0).
  • a distance between sets of pixels reference may be made to a mathematical gap or distance separating two nearest pixels each belonging to a set of pixels. Such a distance is considered zero if the intersection between the two sets of pixels is not zero.
  • the first set of parameters including a first position associated with the virtual object and the second set of parameters including a second position associated with the detected object, and in which the second criterion is satisfied at least if a difference between the first position and the second position does not exceed a second predefined position threshold.
  • the method advantageously makes it possible to determine criteria for updating the parameters associated with the neighboring vehicle being tracked.
  • the relevance of such an update, in particular of the estimated length of the neighboring vehicle may depend on a situation of the virtual object in the field of view, such as for example the occupation of such a virtual object in the field of view.
  • a first set of pixels being associated with the virtual object on the first acquired image the second criterion is satisfied if at least one of the following elements is satisfied:
  • the method advantageously makes it possible to determine the relevance of an update of the length associated with the virtual object according to the number of pixels occupied by the virtual object in the acquired image, and/or the percentage of the size of the virtual object included in the image. Indeed, if the virtual object is still “too” included in the image, an estimation of its length is not considered relevant.
  • the number of pixels occupied by the neighboring vehicle when a front face of the neighboring vehicle is visible in the field of view can for example be obtained at the initial acquisition time, by quantifying the number of pixels occupied by the virtual object at such an instant.
  • the first set of parameters including a first position associated with the virtual object and the second set of parameters including a second position associated with the detected object, the first set of parameters including first dimensions associated with the virtual object, the estimation of the length includes an extension of a dimension among the first dimensions by an amount relating to a difference between the first position and the second position.
  • the method advantageously proposes updating the length of the virtual object using the parameters of the detected object (considered at this stage as belonging to the neighboring vehicle).
  • an extension of the first dimensions may correspond to the extension of an estimated length associated with the neighboring vehicle being followed.
  • the method advantageously makes it possible to update the estimated length of the virtual object even when the detected object does not coincide precisely with the virtual object.
  • the first position and the second position correspond, in a predefined coordinate system, to sets of coordinates associated with portions of the environment respectively occupied by the virtual object and the detected object.
  • the method makes it possible to compare and quantify distances between the virtual object and the object detected in the environment as in the image, when these objects correspond to sets of positions (of optical flows for example).
  • the virtual object and the detected object can each correspond to a set of positions reflecting the space occupied by each object.
  • these sets of coordinates (or positions) can correspond to sets of pixels occupied on the image by each of the objects as captured in the field of view.
  • the tracking of the neighboring vehicle is ensured for a plurality of acquisition times by repeating the steps of detection, updating and estimation for a plurality of objects detected from a plurality of images acquired at the acquisition times of said plurality of acquisition times.
  • the proposed method makes it possible to track the neighboring vehicle on a plurality of acquired images.
  • the method also makes it possible to test the association of the virtual object with several objects detected on the images (such detected objects may correspond to different sections of the neighboring vehicle or to other elements/objects present in the environment and distinct from the tracked vehicle).
  • the tracking of the neighboring vehicle ends at a final acquisition time when a probability of existence in the field of view associated with the neighboring vehicle is less than a predefined threshold, said probability of existence depending at least on a difference between the initial and final acquisition times and on the first and second sets of parameters.
  • the proposed method advantageously makes it possible to optimize the tracking resources of a vehicle by delimiting the tracking time of each detected vehicle. For example, from an initial acquisition time during which a given vehicle is detected for the first time and an estimate of its speed, the method can estimate an evolution of such a vehicle in the environment (from hypotheses of movement of the main vehicle and the tracked vehicle), so as to estimate a duration beyond which the tracked vehicle will no longer be in the field of view.
  • the method can advantageously track a plurality of objects in the environment by optimizing the use and storage of the computing resources required during the association and/or creation of detected objects. Such an embodiment proves particularly advantageous when a plurality of vehicles are tracked and a newly detected object can potentially be associated with each of these tracked vehicles.
  • Figure 1 shows a schematic of a main vehicle according to one embodiment.
  • Figure 2 shows an aerial view of a scene surrounding the main vehicle according to one embodiment.
  • Figure 3 shows a diagram of a driving assistance device according to one embodiment.
  • Figure 4 shows steps of a method for tracking a vehicle according to one embodiment.
  • Figure 5 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 6 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 7 shows a shot of a scene surrounding the main vehicle according to one embodiment.
  • Figure 1 shows a diagram of a main vehicle VP.
  • the main vehicle VP may be a motor vehicle. No limitation is imposed on the type of vehicle to which the main vehicle VP belongs.
  • the main vehicle VP may, for example, be a private, utility, or industrial vehicle, and may, for example, correspond to a car, a van, a two-wheeler, a truck, or even a bus.
  • the main vehicle (VP) can also be a towed vehicle, for example a trailer, a semi-trailer or a caravan.
  • the dimensions of the main vehicle (VP) can, for example, be between 2 and 20 meters in length, between 0.5 and 5 meters in width and between 1 and 5 meters in height.
  • the main vehicle VP is equipped with at least one on-board system providing a plurality of functions or applications of the main vehicle VP.
  • Such functions may, for example, correspond to cruise control, power steering, automated airbag deployment, automatic headlight adjustment, etc.
  • the main vehicle VP is in particular equipped with an on-board system allowing detection of objects surrounding the main vehicle VP, for example as part of a driving assistance function such as obstacle detection, lane change assistance or automatic lane change.
  • the on-board system of the main vehicle VP comprises a driving assistance device 2.
  • the device 2 is capable of providing a driving assistance function on the basis of a plurality of shots (or images) of the environment ENV of the main vehicle VP.
  • the device 2 is in particular connected to one or more vision sensors such as a camera or a camera 1 (the vision sensor will be considered to be a camera 1 in the remainder of the description).
  • the device 2 may also be capable of transmitting or communicating data, for example relating to the driving assistance function provided.
  • the device 2 may be connected to a communication interface 50.
  • the interface 50 may be integrated into the device 2.
  • a communication interface 50 may, for example, be a human-machine interface.
  • the interface 50 may include a display screen, a touch screen, a dashboard, and/or a speaker.
  • the data transmitted by the device 2 to the interface 50 may, for example, correspond to assistance information indicating to the driver of the main vehicle VP whether or not he can change lanes.
  • Figure 2 illustrates an environment (or scene) ENV, in which the main vehicle VP is located.
  • Figure 2 is an aerial view of such an ENV scene.
  • the ENV environment can be defined in a three-dimensional frame of reference (X,Y,Z), referred to as a “world frame of reference” as illustrated in Figures 1 and 2.
  • the origin of such a world frame of reference (X,Y,Z) is predefined and fixed in the ENV environment.
  • the main vehicle VP is considered to be moving in the scene ENV.
  • a scene ENV corresponds for example to a road or a motorway made up of several traffic lanes. These traffic lanes may in particular be parallel to each other. to others, as represented by the vertical dotted lines linked in Figure 2.
  • Figure 2 illustrates for example three traffic lanes, the main vehicle VP being located on the middle traffic lane.
  • the main vehicle VP is considered to be moving in the main direction X of the (X,Y,Z) reference frame, such a main direction being called the longitudinal direction.
  • Such a movement is shown diagrammatically in Figures 1 and 2 by an arrow attached to the main vehicle VP.
  • the main vehicle VP can also have a movement in a Y direction of the (X,Y,Z) reference frame, called the lateral direction.
  • a movement in the Y direction called a lateral movement (or displacement)
  • a displacement in the Z direction, that is to say in height, of the main vehicle VP is considered absent or negligible.
  • the main vehicle VP is therefore considered to be kept on the ground and therefore has a height in the constant Z direction, corresponding to a predefined dimension of the main vehicle VP.
  • such a height along the Z direction of the main vehicle VP may vary by the order of a centimeter or a decimeter, such a variation in height along the Z direction being for example linked to shock absorbers of the main vehicle VP and/or to reliefs or roughness present in the ENV environment (in particular on the traffic lane of the main vehicle VP). In the remainder of the description, such a height along the Z direction of the main vehicle VP is considered known.
  • the scene ENV surrounding the main vehicle VP also comprises other elements OV and vehicles VV1, VV2, VV3.
  • the vehicles VV1, VV2, VV3 are neighboring vehicles of the main vehicle VP.
  • Such neighboring vehicles VV1, VV2, VV3 are, like the main vehicle VP, motor vehicles in motion in the scene ENV.
  • Such neighboring vehicles VV1, VV2, VV3 may in particular have dimensions and movement characteristics (in terms of speed or acceleration for example) similar to or different from the main vehicle VP.
  • FIG. 2 may represent a main vehicle VP in motion on a motorway lane and neighboring vehicles VV1, VV2, VV3 traveling on the motorway lanes neighboring the lane taken by the main vehicle VP.
  • OV objects are neighboring elements of the main vehicle VP and can refer to any element distinct from a neighboring vehicle VV1, VV2, VV3.
  • a neighboring element OV can for example correspond to an obstacle located in the scene such as a central reservation separating two traffic lanes, an indication sign or even a bird flying in the scene ENV.
  • the main vehicle VP is considered to be equipped with a camera 1 positioned at the rear of the main vehicle VP.
  • the camera 1 can be positioned at the front of the vehicle.
  • main vehicle VP or several cameras 1 can be positioned both at the front and at the rear of the main vehicle VP.
  • the camera 1 is considered positioned at the rear of the main vehicle VP and the field of view FOV is a rear field of view of the main vehicle VP.
  • the camera 1 makes it possible to capture images (or shots) of the ENV scene of the main vehicle VP according to a field of view FOV (or in English "Field of View").
  • Such a field of view FOV depends in particular on the type of camera 1 used and the positioning of the camera 1 in (or on) the main vehicle VP.
  • the field of view FOV covers a part of the ENV scene, so that a limited portion of the ENV scene is captured according to the field of view FOV.
  • the field of view FOV represented covers a portion of the traffic lane in which the main vehicle VP is located and respective portions of the neighboring traffic lanes.
  • the field of view FOV covers a portion of the scene ENV in which the neighboring vehicle VV2 is entirely located and a portion of the scene ENV in which the neighboring vehicle VV1 is partially located (greyed area not hatched).
  • a left rear end of the neighboring vehicle VV1 (for example including the left rear wheel of the neighboring vehicle VV2) belongs to the field of view FOV.
  • a reference point W for example located at the middle of the front face of the vehicle, is not in the field of view FOV in Figure 2.
  • the same neighboring vehicle VV1 is represented at an initial time T0 preceding the time T1 considered: such a neighboring vehicle VV1 is represented in dotted lines in Figure 2.
  • the neighboring vehicle VV1 is fully visible in the field of view FOV of the camera 1.
  • the reference point, denoted W n for example located at the middle of the front face of the neighboring vehicle VV1 , is visible in the field of view FOV.
  • a portion of the neighboring vehicle VV1 (including in particular the reference point W) is no longer visible in the field of view FOV of the main vehicle VP.
  • the situation of the neighboring vehicle VV1 shown in Figure 2 between the instants T0 and T1 may correspond to the case of overtaking on the right of the main vehicle VP by the neighboring vehicle VV1.
  • the neighboring vehicle VV3 is not visible in the field of view FOV of the main vehicle VP.
  • the non-visible parts of the neighboring vehicles VV1, VV3 in the field of view FOV are represented in Figure 2 by striped areas.
  • a neighboring object OV for example a bird, may be visible in the field of view FOV.
  • the main vehicle VP moves at a speed main speed V vp known.
  • a main speed can be considered to be of constant VVP standard.
  • the neighboring vehicle VV1 is considered to be moving at a neighboring speed unknown to the driving assistance device 2 of the main vehicle VP.
  • the VP standard of the neighboring speed is higher than the VVP standard of the main speed V ⁇ , for example in the case of a neighboring vehicle VV1 overtaking the main vehicle VP on a neighboring lane.
  • the distance difference in the longitudinal direction X between the main vehicle VP and the neighboring vehicle VV1 will vary over time, so that the neighboring vehicle VV1 will for example approach (in the longitudinal direction X) the main vehicle VP while overtaking and then will move away (in the longitudinal direction X) from the main vehicle VP once overtaking has been carried out.
  • the neighboring vehicle VV1 can be fully visible in the rear field of view FOV of the main vehicle VP.
  • the neighboring vehicle VV1 can gradually "exit” from the rear field of view FOV, until it is completely outside the field of view FOV (like for example the neighboring vehicle VV3).
  • Such an evolution of the neighboring vehicle VV1 in the field of view FOV is for example represented between figure 5 on the one hand, and figures 6 and 7 on the other hand.
  • Figure 5 represents an image acquired by the camera 1 at an initial acquisition time T0.
  • the neighboring vehicle VV1 is entirely in the field of view FOV.
  • a front face of the neighboring vehicle VV1 is visible in the field of view FOV.
  • Figures 6 and 7 represent images acquired by the camera 1 according to two distinct embodiments at a first acquisition time T1, subsequent to the initial acquisition time T0.
  • the neighboring vehicle VV1 has advanced relative to the main vehicle VP in the environment ENV, such that the neighboring vehicle VV1 gradually arrives at the level of the main vehicle VP.
  • the front face of the neighboring vehicle VV1 is no longer visible in the field of view FOV.
  • Only a lateral portion, shown in Figures 6 and 7, including for example the rear-left wheels of the neighboring vehicle VV1 are visible at the first acquisition time T1.
  • the frame shown in each of Figures 6 and 7 delimits the size of the shot and corresponds to the field of view FOV.
  • the elements represented outside the frame which will be described later in the description, are illustrated for explanatory purposes and are not visible depending on the point of view of the FOV field of view.
  • a process for tracking vehicles detected in the environment ENV of the main vehicle VP is required, so that the main vehicle VP does not move onto a neighboring traffic lane if it risks colliding with one of the surrounding vehicles.
  • Existing techniques for detecting and tracking vehicles surrounding the main vehicle VP are based in particular on the use of classifiers, based for example on convolutional neural network (CNN) methods, K-nearest neighbors (KNN) or support vector machines (SVM).
  • CNN convolutional neural network
  • KNN K-nearest neighbors
  • SVM support vector machines
  • Such classifiers allowing the detection and tracking of vehicles surrounding the main vehicle VP rely in particular on the detection and classification of a frontal (front or rear) view (or face) of the vehicles surrounding the main vehicle VP.
  • the use of such classifiers may in particular comprise a learning phase based on a plurality of images representing frontal views of various types of vehicles.
  • a front frontal view of the neighboring vehicle VV2 belonging to the field of view FOV of the camera 1 the detection and tracking of the neighboring vehicle VV2 can be implemented on the basis of existing classification techniques. The same applies to the neighboring vehicle VV1 in the image of FIG. 5 at the initial acquisition time T0.
  • the positions of the neighboring vehicle VV1 shown in Figure 2 at time T1 and Figures 6 and 7 correspond to situations in which the existing classifiers are unable to effectively track the neighboring vehicle VV1, or in any case, not without generating significant costs and/or computation time, due to the absence of a visible frontal view of the neighboring vehicle VV1 in the shots of Figures 6 and 7 (the reference point W of Figure 2 positioned on the front frontal face of the neighboring vehicle VV1 no longer being visible in the field of view FOV of the camera 1 at these stages).
  • a method for tracking the neighboring vehicle VV1 is then proposed and described in FIG. 4 to track the neighboring vehicle VV1, and in particular at the stage of the situations represented in Figures 2, 6 and 7.
  • Such a tracking method can in particular be described as a tracking maintenance method for a vehicle leaving the field of view FOV, in the sense that the vehicle, initially detected, can continue to be tracked even when a front face of the vehicle is outside the (and therefore no longer visible in the) field of view FOV.
  • Such a method for tracking the neighboring vehicle VV1 is implemented by a driving assistance system shown in Figure 3.
  • Figure 3 represents a diagram of an on-board system of a main vehicle VP.
  • an on-board system corresponds to a driving assistance system for the main vehicle VP.
  • the driving assistance system of the main vehicle VP makes it possible in particular to provide a lane change assistance or automatic lane change function for the main vehicle VP, when the main vehicle VP is moving on a traffic lane as shown for example in Figure 2.
  • the system firstly comprises the driving assistance device 2.
  • the device 2 may itself comprise a unit 20 for detecting objects on acquired images, a unit 30 for comparing the objects detected by the unit 20 with existing virtual objects and a unit 40 for updating parameters associated with the existing virtual objects for tracking elements associated with the existing virtual objects in the ENV environment.
  • the driving assistance device 2 is further connected, on the one hand, to a vision sensor of the camera or camera type 1.
  • the device 2 may also comprise an input unit (not shown in FIG. 3) allowing the device 2 to receive in substantially real time a data stream from the camera 1.
  • a data stream corresponds to a discrete or continuous succession of images (or shots) of the scene ENV according to the field of view FOV of the camera 1.
  • Each image received is associated with an acquisition time of the image by the camera 1.
  • Each image may be time-stamped.
  • the driving assistance device 2 may be connected to a communication interface 70.
  • Such an interface 70 may correspond to a human-machine interface integrated into the on-board system of the main vehicle VP. Such an interface 70 may also be integrated into the device 2.
  • the communication interface 70 may also be a remote interface.
  • the communication interface 70 may comprise a display screen, a touch screen, a dashboard or even a loudspeaker, making it possible to transmit, for example by visual, haptic and/or audible information, indications relating to assistance in driving the main vehicle VP.
  • the communication interface makes it possible to transmit a detection status of a vehicle neighboring the main vehicle VP or even an indication relating to a possibility of changing lane of the main vehicle VP.
  • Such information transmitted by the interface 70 may for example correspond to an estimated aerial visual representation of the respective positions of the main vehicle VP and the neighboring elements belonging to the field of view FOV in real time (eg, as represented in FIG. 2), an audio stimulus alerting of a risk of collision, or even a superposition of a virtual object highlighted and updated in real time on a stream of images coming from the camera 1, as illustrated for example in FIGS. 5, 6 and 7.
  • the units 20, 30 and 40 of the device 2 may each comprise a processing circuit including at least one processor (21, 31, 41) and a memory unit (22, 32, 42) in order to implement one or more steps of the method for tracking a neighboring vehicle VV1, which will be described in FIG. 4.
  • each processing unit 20, 30, 40 of the device 2 may rely on data processed and/or obtained by other units in order to implement one or more steps of the method for tracking a neighboring vehicle VV1, as illustrated by the arrows in FIG. 3.
  • Figure 4 illustrates a succession of steps for implementing a method for tracking a previously detected neighboring vehicle VV1.
  • a tracking method can be implemented by a system including a device 2 for assisting the driving of a main vehicle VP as shown in Figure 3.
  • the device 2 receives a plurality of images (or shots) associated with respective acquisition times of the images from the camera 1. Such images may in particular be received continuously, for example via a video stream. In such a case, the device 2 may discretize the received video stream so as to obtain a set of discrete time-stamped images associated with respective acquisition times.
  • the neighboring vehicle VV1 is previously detected on an initial image, acquired at an initial acquisition time T0.
  • Such an initial image is for example represented in FIG. 5.
  • the neighboring vehicle VV1 is fully visible in the field of view FOV.
  • the front face of the neighboring vehicle VV1 is visible in the field of view FOV.
  • the neighboring vehicle VV1 can then be detected by conventional methods, for example by a vehicle classifier based on recognition of different types of vehicle front faces.
  • the neighboring vehicle VV1 can be detected via other methods, for example based on optical flow detection.
  • a first position p n associated with the neighboring vehicle VV1 can be determined in the image frame (y,z) and/or in the world frame (X,Y,Z).
  • a first position p n associated with the neighboring vehicle VV1 can correspond to a set of coordinates associated with a first portion of the environment ENV occupied by the neighboring vehicle VV1.
  • Such a first set of coordinates can be expressed in three dimensions according to the world frame (X,Y,Z), so that the first position reflects an occupation space of the environment ENV estimated to be occupied by the detected neighboring vehicle VV1.
  • such a first set of coordinates can also be expressed in two dimensions according to the image frame (y,z) so that the first position reflects an occupation space of the initial image occupied by the neighboring vehicle VV1 as detected on the initial image.
  • the conversion of the first position p n between the image (y,z) and world (X,Y,Z) reference frames can be obtained from the pinhole model and hypotheses (e.g., flat world hypothesis).
  • the first position p n associated with the neighboring vehicle VV1 can correspond to the position of a first reference point W n positioned on the detected neighboring vehicle VV1, for example on the front face of the neighboring vehicle VV1.
  • Such a reference point W n can be expressed in the world (X,Y,Z) reference frame or, equivalently, be a (virtual) reference point w n (corresponding to a pixel for example) expressed in the image (y,z) reference frame.
  • a reference point w n is for example represented in Figure 5.
  • the detected neighboring vehicle VV1 may be associated with a first set of parameters, such a first set of parameters being able for example to include one or more parameters from among:
  • first dimensions s n including for example first values of length, width and/or height associated with the neighboring vehicle VV1 detected in the environment ENV,
  • a first lateral distance d n reflecting for example a lateral gap (i.e. in the so-called lateral direction Y in the world frame (X,Y,Z) or y in the image frame (y,z)) separating the detected neighboring vehicle VV1 from the main vehicle VP.
  • a lateral gap i.e. in the so-called lateral direction Y in the world frame (X,Y,Z) or y in the image frame (y,z)
  • Such parameters may for example be determined or estimated by one or more classifiers from one or more initial acquired images associated with the initial acquisition time T0. Such parameters may also be estimated from measurements made on the initial acquired images.
  • the neighboring vehicle VV1 detected in step 400 can be associated with a virtual object OV n .
  • a virtual object OV n can for example correspond to a set of pixels (and therefore of two-dimensional coordinates in the image frame (y,z)) superimposable on the space occupied by the neighboring vehicle VV1 in the initial image.
  • the virtual object OV n can also correspond to a three-dimensional virtual object in the world frame (X,Y,Z) making it possible to model the space occupied by the neighboring vehicle VV1 in the environment ENV.
  • a virtual object OV n is characterized by one or more kinematic parameters corresponding to the first set of parameters and making it possible to delimit the neighboring vehicle VV1 as detected in time (here, at the initial acquisition time T0) and in space (here, in the environment ENV).
  • the neighboring vehicle VV1 is detected and modeled by the virtual object OV n (or equivalently, by a first set of parameters).
  • an object OBJ is detected on at least one of the acquired images, called the first image(s).
  • the first image(s) With reference to FIGS. 6 and 7 representing two possible variants of the detected object OBJ, such a detected object OBJ is represented at a first acquisition time T1.
  • the detected object OBJ is a so-called lateral object in the acquired image, in that the detected object OBJ1 belongs to a lateral plane of the image, such a lateral plane being for example parallel to the plane (X,Z) in the world reference frame (X,Y,Z).
  • the detection of such a lateral object OBJ can in particular take place without a front face of the neighboring vehicle VV1 being visible in the field of view FOV.
  • the detected object OBJ corresponds to a non-inert body which is not a priori not yet assimilated to the neighboring vehicle VV1 previously detected.
  • the detected object OBJ corresponds to a body moving in the environment ENV (and therefore, in the world frame (X,Y,Z)) and therefore having at least one speed, called second speed v* (for example, a so-called longitudinal speed corresponding to a movement along the X axis in the world frame (X,Y,Z), a so-called lateral speed corresponding to a movement along the Y axis and/or a rotation speed).
  • the object OBJ can be detected in step 410 on an image (for example, the image of FIG. 6 or the image of FIG. 7) by processing one or more successively acquired images.
  • the object OBJ can for example be detected by a classifier capable of detecting a lateral object OBJ on the acquired image, for example a classifier detecting a lateral portion of a vehicle, such as a vehicle wheel detector.
  • the object OBJ can be detected by homographies on at least two successively acquired images, so as to identify one or more related sets, or optical flows, of relatively homogeneous speed on the images in a delimited time interval.
  • the detection of the object OBJ1 then includes determining a displacement of pixels at a substantially common speed from one image to the next, or optical flow.
  • Each optical flow can be determined by matching points between several successive images, for example by the Lucas-Kanade method.
  • the determined optical flows can in particular be segmented into one or more segments having a common point or vanishing line and belonging to lateral planes in the field of view FOV.
  • the acquired image can be segmented into one or more segments, each segment defining a grouping of optical flows (and therefore a grouping of pixels having substantially the same speed and describing the same movement in a given time interval).
  • the detected object OBJ is a set of pixels that can be formed by an instance, an outline, a polygon or even a rectangle (or in English, a “bounding box”) detected and classified by a classifier by segmentation of objects in the acquired image for example.
  • the detected object OBJ is a set of pixels that can be formed by an optical flow or segment including several optical flows.
  • the set of pixels forming the detected object OBJ can be a set of coplanar pixels parallel to a lateral plane in the world reference frame (X,Y,Z).
  • the detected object OBJ can be associated with a second set of parameters, such a second set of parameters being able for example to include one or more parameters from among:
  • - second dimensions s* including for example second values of length, width and/or height associated with the detected object OBJ in the environment ENV,
  • d n reflecting for example a lateral deviation (i.e. in the so-called lateral direction Y in the world frame (X,Y,Z) or y in the image frame (y,z)) separating the detected object OBJ from the main vehicle VP.
  • the second position p* associated with the detected object OBJ can correspond to a set of coordinates (in the world frame (X,Y,Z) and/or in the image frame (y,z)) representing a portion of the environment ENV occupied by the detected object OBJ or, as a variant, correspond to the position of a reference point belonging to the detected object OBJ.
  • a reference point can for example correspond to a pixel located closest to the ground.
  • the second set of parameters can for example be determined or estimated by one or more classifiers from the first acquired images associated with the first acquisition time T1. Such parameters can also be estimated from measurements made on the first acquired images.
  • the device therefore obtains on the one hand, a virtual object OV n associated with a first set of parameters representing the neighboring vehicle VV1 initially detected and on the other hand, a detected object OBJ associated with a second set of parameters.
  • a consistency (or plausibility) test is implemented, so as to determine whether the detected object OBJ and the virtual object OV n correspond to the same element in the environment ENV, namely the neighboring vehicle VV1.
  • the consistency test may comprise the test of a first criterion.
  • a first criterion may for example correspond to a comparison between the first position p n associated with the virtual object OV n and the second position p* associated with the detected object OBJ. The first criterion may then be satisfied if the difference between the first position p n and the second position p* is less than a first predefined position threshold.
  • the first position threshold can be defined on a lateral coordinate (i.e., along the X axis) of the first position p n and of the second position p*, respectively denoted p n (X and p*(X).
  • the consistency test can be satisfied if:
  • - patty(X) is the coordinate of the first position p n along the X axis in the world frame (X,Y,Z),
  • - p*(X) is the coordinate of the second position p* along the X axis in the world frame (X,Y,Z),
  • the first criterion can then be satisfied if the difference between two closest points (or pixels), the two points belonging respectively to the two sets of coordinates, is less than the first position threshold.
  • the first criterion may also relate to other parameters of the parameter sets than the positions p n , p*. In one embodiment, the first criterion may be satisfied if the difference between the first speed v n and second speed v* does not exceed a first predefined speed threshold.
  • the first criterion may be satisfied if a determined Mahalanobis distance between the first set of parameters and the second set of parameters does not exceed a first predefined threshold.
  • the first criterion may also relate to a comparison or a combination of the aforementioned comparisons.
  • a step 421 can be implemented.
  • Such a step 421 can in particular include the creation of a new virtual object distinct from the virtual object OV n associated with the neighboring vehicle VV1.
  • the detected object OBJ reflects the movement in the environment of a moving body distinct from the neighboring vehicle VV1, such a moving body can for example correspond to a vehicle other than the neighboring vehicle VV1, to an obstacle in the environment ENV or to a bird for example.
  • a new virtual object can then be created on the basis of the second set of parameters.
  • the detected object OBJ may be ignored and steps 400 and 410 are repeated until a detected object OBJ is identified as belonging to the pre-existing virtual object OV n (in other words, the method may seek to track a particular vehicle VV1).
  • step 430 is implemented.
  • step 430 an update of the pre-existing virtual object OV n is implemented, so as to obtain an updated virtual object Oy n+1 .
  • the second set of parameters can be fed to a data estimator, for example to a Kalman filter of the Extended Kalman Filter (EKF) type.
  • EKF Extended Kalman Filter
  • Such a data estimator can also obtain the first set of parameters (for example, fed by one or more classifiers of the system).
  • the device 2 can obtain, in step 430, an updated set of parameters.
  • Such an updated set of parameters can in particular be estimated by the Kalman filter, on the one hand, from the second set of parameters provided and on the other hand, of a prediction estimated by the Kalman filter from at least the first set of parameters provided.
  • the device 2 can obtain an updated set of parameters.
  • an updated set of parameters can include at least:
  • the virtual object OV n associated with the neighboring vehicle VV1 can be updated into an updated virtual object OV n+1 , thus allowing tracking of the neighboring vehicle VV1 moving in the environment ENV between the times T0 and T1.
  • an updated reference point w n+1 can be associated with the updated virtual object OV n+1 .
  • Such an updated reference point w n+1 is for example represented in FIGS. 6 and 7.
  • the dimensions associated with the neighboring vehicle VV1 being tracked correspond to pre-existing dimensions (e.g., those of a typical truck), so that the space occupied by a detected vehicle can be estimated from a reference point (e.g., W n ) and predefined dimensions.
  • a reference point e.g., W n
  • predefined dimensions e.g., those of a typical truck
  • an update of the dimensions associated with the neighboring vehicle VV1 is also considered, so as in particular to allow an estimation of the actual length of the detected neighboring vehicle VV1.
  • a length estimation test is implemented, so as to determine whether an update of the length of the pre-existing virtual object OV n will be carried out.
  • a second criterion is tested.
  • Such a second criterion may for example include estimating the size of the portion of the neighboring vehicle VV1 still visible in the field of view FOV. For this, the space occupied by the virtual object OV n in the acquired image may be estimated (in number of pixels occupied in the image). In one embodiment, the lateral space occupied by the virtual object OV n in the acquired image may be estimated (in number of pixels occupied in the image). The second criterion may then be satisfied if the number of pixels occupied by the virtual object OV n in the image does not exceed a predefined pixel threshold, for example 100 pixels.
  • a predefined pixel threshold for example 100 pixels.
  • the second criterion may be satisfied if the ratio between the number of pixels occupied by the virtual object OV n in the image considered (for example in FIG. 6 or 7) and the number of pixels occupied by the virtual object OV n in the initial image (in Figure 5) does not exceed a predefined percentage of pixels, for example 10 percent. More generally, other variants can determine that the second criterion is satisfied if less than a given percentage of the entire virtual object OV n is visible in the image.
  • an update of the length of the neighboring vehicle VV1 can be considered too imprecise if the neighboring vehicle VV1 belongs entirely or almost entirely to the field of view FOV.
  • the perspective of the field of view FOV in fact biases the length associated with the virtual object OV n .
  • the second criterion can be satisfied if the gap 5 between the first position p n associated with the virtual object OV n and the second position p* associated with the detected object OBJ does not exceed a second predefined position threshold.
  • the second criterion can be satisfied if the spaces respectively occupied by the virtual object OV n and the detected object OBJ overlap substantially.
  • the second predefined position threshold can be similar to or different from the first position threshold.
  • the presence of the second position threshold means that the second criterion can be satisfied even if the virtual object OV n and the detected object OBJ have a zero intersection.
  • FIG. 6 there is shown an embodiment in which the gap between the virtual object OV n and the detected object OBJ is considered zero in that the virtual object OV n and the detected object OBJ overlap, as represented by the hatched area in Figure 6.
  • Figure 7 there is shown an embodiment in which the gap between the virtual object OV n and the detected object OBJ is non-zero in that the virtual object OV n and the detected object OBJ do not overlap: a non-zero gap 5, shown in Figure 7, exists between the virtual object OV n and the detected object OBJ.
  • the tolerance of a deviation 5 less than the second predefined position threshold means that it is considered that the second criterion is satisfied if the detected object OBJ on the one hand, and the virtual object OV n fictitiously extended according to the lateral component, noted s n (X), by a value corresponding to the second position threshold, on the other hand, overlap. It is considered that such a condition is satisfied in FIG. 7.
  • the second criterion can be considered satisfied on the basis of one or both of the comparisons previously described.
  • step 451 the updated dimensions s n+1 associated with the neighboring vehicle VV1 are retained and correspond to s n .
  • step 450 of estimating the updated length of the neighboring vehicle VV1 is implemented.
  • step 450 updated dimensions s n+1 associated with the neighboring vehicle VV1, distinct from the first dimensions s n are determined.
  • an updated lateral component, denoted s n+1 (X), of the updated dimensions s n+1 is determined in step 450.
  • the second dimensions s* associated with the detected object OBJ are considered.
  • the lateral coordinate associated with the pixel of the detected object OBJ furthest from the virtual object OV n is considered.
  • Such a lateral coordinate corresponds to the updated lateral coordinate of the end pixel of the updated virtual object OV n+1 .
  • the lateral object OV n is extended along the lateral direction, until it laterally includes the detected object OBJ.
  • Such an extension corresponds to compensating for the difference (according to the lateral component) between the first position p n and the second position p*, so that the virtual object at day OV n+1 is extended until it laterally occupies the space occupied by the detected object OBJ.
  • Such an extension is represented in each of Figures 6 and 7, so that a virtual object at day OV n+1 is obtained.
  • the dimensions at day s n+1 associated with the virtual object at day OV n+1 have been determined so as to allow an estimation of the length of the neighboring vehicle VV1.
  • the neighboring vehicle VV1 can be tracked between times T0 and T1 while allowing an estimation of the length of the neighboring vehicle VV1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Procédé de suivi d'un véhicule voisin (VV1) dans un environnement d'un véhicule principal (VP), mis en oeuvre par un dispositif (2) d'assistance à la conduite du véhicule principal (VP) apte à acquérir des images selon un champ de vue (FOV) à des temps d'acquisition (T0,T1), le procédé comprenant: - obtenir (400), pour un temps d'acquisition initial (T0), un premier ensemble de paramètres associés à un objet virtuel () associé au véhicule voisin (VV1), - détecter (410), à partir d'une première image acquise à un premier temps d'acquisition (T1) ultérieur au temps d'acquisition initial (T0), un objet (OBJ) latéral associé à un deuxième ensemble de paramètres, - assurer le suivi du véhicule voisin (VV1) en mettant à jour (430) le premier ensemble de paramètres à partir du deuxième ensemble de paramètres et si (440) un deuxième critère est satisfait, en estimant (450) une longueur associée à l'objet virtuel (OV).

Description

Description
Titre : Suivi de véhicules par suivi d’objets latéraux
Domaine technique
[0001] La présente divulgation relève du domaine des systèmes d’assistance à la conduite et plus particulièrement de la détection automatique de véhicules dans des zones d’intérêt, notamment latérales.
Technique antérieure
[0002] L’essor des Systèmes de Transports Intelligents (ou STI) a conduit au développement de nombreux systèmes embarqués dans les véhicules, notamment de transport routier. De tels systèmes embarqués incluent notamment des systèmes d’assistance à la conduite ou encore de conduite autonome. En particulier, la détection et/ou le suivi d’objets, dont des véhicules, joue un rôle important dans des problématiques telles que la fluidification du trafic, la sécurité routière ou encore la gestion de l’infrastructure routière (par exemple les panneaux à messages variables ou encore les radars automatiques).
[0003] Dans le cadre des systèmes embarqués dans des véhicules autonomes ou semi- autonomes circulant dans un trafic routier (par exemple, sur une autoroute), un suivi fiable et durable d’objets environnant le véhicule concerné est particulièrement important afin d’éviter des collisions entre le véhicule concerné et d’autres véhicules par exemple. En particulier, dans des systèmes d’assistance au changement de voie ou de changement de voie automatique, un suivi fiable d’obstacles comme un terre-plein central ou un autre véhicule situé sur une voie voisine du véhicule concerné au cours du temps est requise. En effet, si le véhicule autonome concerné ne détecte pas et surtout, n’assure pas un suivi dans le temps d’un autre véhicule situé sur une voie voisine et se décale, une collision risque d’avoir lieu entre les deux véhicules.
[0004] Dans un tel contexte, la plupart des procédés de détection et de suivi de véhicules existants se basent sur des algorithmes de classification permettant d’identifier et de suivre (ou de « tracker ») des véhicules à partir de séquences d’images ou de flux vidéo acquis par des capteurs de vision (typiquement, une caméra). De tels capteurs de vision sont en général disposés à l’avant et/ou à l’arrière du véhicule concerné, de sorte à acquérir des images et/ou séquences d’images d’un champ de vue (en anglais, « Field of View ») avant et/ou arrière du véhicule concerné. Les algorithmes de classification peuvent alors identifier un ou plusieurs véhicules voisins du véhicule concerné sur la base d’une reconnaissance frontale des véhicules voisins (c’est-à-dire en identifiant et classifiant des véhicules détectés dans le champ de vue à partir de leur face avant ou arrière). De plus, les classifieurs existants peuvent suivre les véhicules détectés en maintenant la détection d’une telle face frontale des véhicules.
[0005] Cependant, de tels procédés de suivi utilisant des classifieurs de véhicules s’avèrent inefficaces lorsqu’une face avant ou arrière des véhicules voisins n’est pas encore détectable dans le champ de vue, quand bien même de tels véhicules voisins seraient partiellement visibles dans le champ de vue, par exemple via une face latérale partielle (ou un côté). Ainsi, si le véhicule concerné se situe sur une voie d’autoroute et qu’un véhicule voisin se situe relativement au niveau du (ou légèrement derrière le) véhicule concerné sur une voie voisine, une caméra placée à l’arrière du véhicule concerné capterait une portion latérale arrière du véhicule voisin. Dans une telle situation, la face avant du véhicule voisin n’est pas encore visible par la caméra placée à l’arrière du véhicule concerné, par exemple jusqu’à ce que le différentiel de vitesse entre le véhicule concerné et le véhicule voisin soit suffisamment grand pour que le véhicule concerné dépasse complètement le véhicule voisin. Jusqu’à ce qu’un tel dépassement complet se produise, le véhicule voisin se situe donc sensiblement au même niveau que le véhicule concerné et un changement de voie du véhicule concerné sur la voie voisine entraînerait une collision avec le véhicule voisin. Une telle situation de criticité n’est alors pas détectable par les procédés de classification existants.
[0006] De plus, la plupart des procédés de suivi de véhicules existants s’appuient sur des dimensions prédéfinies associées à des types de véhicules détectés. De telles dimensions ne sont en général pas mises à jour, de sorte que même si un suivi d’un véhicule est mis en œuvre (e.g., par un classifieur), un tel suivi ne permet pas une connaissance fiable des dimensions du véhicule et donc un suivi précis de l’étendue de l’espace occupé par le véhicule détecté dans l’environnement du véhicule principal.
[0007] Il existe donc un besoin de sécuriser la prise de décision des systèmes d’assistance à la conduite et/ou de conduite autonome, notamment dans un tel contexte de décision de changement de voie. En particulier, il existe un besoin d’une détection et d’un suivi et d’une connaissance anticipés et fiables de véhicules environnant un véhicule concerné avant même qu’une face avant ou arrière de tels véhicules environnants soient visibles dans un champ de vue d’un capteur de vision du véhicule concerné - et donc qu’un suivi classique de tels véhicules environnants par des classifieurs existants soit possible-.
Résumé
[0008] La présente divulgation vient améliorer la situation. [0009] Il est proposé un procédé de suivi d’au moins un véhicule voisin présent dans un environnement d’un véhicule principal, ledit véhicule principal et ledit véhicule voisin étant des véhicules automobiles, le procédé étant mis en oeuvre par un dispositif configuré pour assurer une fonction d’assistance à la conduite du véhicule principal, ledit dispositif étant relié à au moins une caméra embarquée sur le véhicule principal et apte à acquérir des images d’une scène environnant le véhicule principal selon au moins un champ de vue et à des temps d’acquisition, le procédé comprenant les étapes suivantes :
- obtenir, pour un temps d’acquisition initial, un premier ensemble de paramètres associés à un objet virtuel, ledit objet virtuel étant associé à une détection du véhicule voisin dans l’environnement,
- détecter, à partir d’au moins une première image acquise à un premier temps d’acquisition ultérieur au temps d’acquisition initial, un objet présentant un plan vertical s’étendant latéralement par rapport au véhicule principal, ledit objet étant associé à un deuxième ensemble de paramètres,
- si un premier critère est satisfait, assurer le suivi du véhicule voisin entre le temps d’acquisition initial et le premier temps d’acquisition en mettant à jour le premier ensemble de paramètres à partir du deuxième ensemble de paramètres, ladite mise à jour comprenant, si un deuxième critère est satisfait, une estimation d’une longueur associée à l’objet virtuel.
[0010] Par conséquent, le procédé proposé permet avantageusement le suivi (ou « tracking ») d’un véhicule voisin au cours du temps. En particulier, un tel suivi est possible même lorsque le véhicule voisin n’est plus intégralement visible dans le champ de vue de la caméra et que la portion détectée du véhicule correspond seulement à une portion latérale du véhicule (e.g., une face avant du véhicule voisin n’est plus visible dans le champ de vue). Par ailleurs, le procédé permet de plus la mise à jour de paramètres associés au véhicule suivi, en particulier d’une longueur associée au véhicule suivi. Le procédé permet alors une estimation des dimensions réelles du véhicule voisin, ce qui assure une plus grande précision de suivi et donc une sécurité et une assistance accrues dans le trafic routier.
[0011] Par un temps d’acquisition initial, il peut être fait référence à un instant au cours duquel le champ de vue de la caméra capture une situation initiale de l’environnement, et en particulier du véhicule voisin par rapport au véhicule principal. À un tel temps d’acquisition initial, une image initiale peut être capturée sur laquelle le véhicule voisin peut être intégralement compris dans le champ de vue (par exemple, une face avant du véhicule voisin peut être visible dans le champ de vue). Par un premier temps d’acquisition ultérieur au temps d’acquisition initial, il peut être fait référence à un temps d’acquisition ultérieur au temps d’acquisition initial, au cours duquel les mouvement du véhicule voisin et du véhicule principal ont fait évoluer la situation capturée par le champ de vue. En particulier, le véhicule voisin peut avoir avancé par rapport au véhicule principal, de sorte que la face frontale du véhicule voisin n’est plus visible dans le champ de vue. Le champ de vue peut inclure par exemple seulement une portion latérale du véhicule voisin. Au premier temps d’acquisition, le procédé détecte un objet (latéral) pouvant correspondre ou non au véhicule voisin.
[0012] Par des premier et deuxième ensemble de paramètres, il peut être fait référence à un ou plusieurs paramètres permettant de représenter les objets détectés dans l’environnement. Des éléments de ces ensembles de paramètres peuvent par exemple inclure une position (ou un ensemble de positions), une vitesse, une accélération. Ces ensembles de paramètres peuvent être associés à des coordonnées en trois dimensions. En particulier, ces ensembles de paramètres peuvent également être associés à des ensembles de pixels (ou de coordonnées à deux dimensions) dans les images acquises.
[0013] Par un objet virtuel, il peut être fait référence à une modélisation du véhicule voisin tel que détecté dans l’environnement. Une telle modélisation peut être représenté en deux dimensions sur une image, ou encore être représenté comme un ensemble de positions dans l’environnement représentant une occupation du véhicule voisin telle qu’estimée par le procédé.
[0014] Selon un autre aspect, il est proposé un dispositif configuré pour assurer une fonction d’assistance à la conduite d’un véhicule principal en assurant un suivi d’un véhicule voisin présent dans un environnement d’un véhicule principal, ledit dispositif étant relié à au moins une caméra embarquée sur le véhicule principal et apte à acquérir des images d’une scène environnant le véhicule principal selon au moins un champ de vue et à des temps d’acquisition, ledit dispositif étant configuré pour assurer le suivi du véhicule voisin par la mise en œuvre du procédé proposé.
[0015] Selon un autre aspect, il est proposé un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé proposé, lorsque ce programme est exécuté par un processeur.
[0016] Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre, indépendamment les unes des autres ou en combinaison les unes avec les autres :
[0017] Dans un mode de réalisation, le premier critère est satisfait si une distance entre au moins un premier élément du premier ensemble de paramètres et un deuxième élément du deuxième ensemble de paramètres n’excède pas un premier seuil prédéfini. [0018] Par conséquent, le procédé permet de tester si l’objet détecté au premier temps d’acquisition est susceptible d’appartenir (ou de correspondre) à l’objet virtuel, et donc au véhicule voisin détecté. Si un tel premier critère est satisfait, il est alors considéré que le premier objet et l’objet virtuel peuvent être associés et correspondent au véhicule voisin suivi.
[0019] Par une distance, il peut être fait référence à un écart, une différence ou une distance mathématique (e.g., une distance de Mahonois) permettant de quantifier un écart de grandeur entre les deux éléments.
[0020] Par un premier élément et un deuxième élément, il peut être fait référence à deux grandeurs homogènes, comparables, caractérisant respectivement l’objet virtuel et l’objet détecté. Un tel premier/deuxième élément peut par exemple être une position ou encore une vitesse. Autrement dit :
[0021] dans un mode de réalisation, le premier ensemble de paramètres incluant une première position associée à l’objet virtuel et le deuxième ensemble de paramètres incluant une deuxième position associée à l’objet détecté, et le premier critère est satisfait au moins si un écart entre la première position et la deuxième position n’excède pas un premier seuil de position prédéfini ; ou encore :
[0022] dans un mode de réalisation, le premier ensemble de paramètres incluant une première vitesse associée à l’objet virtuel et le deuxième ensemble de paramètres incluant une deuxième vitesse associée à l’objet détecté, et le premier critère est satisfait au moins si un écart entre la première vitesse et la deuxième vitesse n’excède pas un premier seuil de vitesse prédéfini.
[0023] Dans un mode de réalisation, un premier ensemble de pixels et un deuxième ensemble de pixels étant respectivement associés à l’objet virtuel et à l’objet détecté sur la première image acquise, et le premier critère est satisfait si une distance entre ledit premier ensemble de pixels et ledit deuxième ensemble de pixels n’excède pas un premier seuil prédéfini.
[0024] Par conséquent, le procédé permet avantageusement de tester si l’objet virtuel et l’objet détecté peuvent être associés sur l’image. En particulier, le procédé prend en compte une marge d’incertitude (par exemple lié à l’imprécision de l’obtention de l’objet virtuel et/ou à la détection de l’objet) : l’objet virtuel et l’objet détecté peuvent être associés même s’ils ne se recoupent pas (i.e. , le premier seuil prédéfini peut être supérieur à 0).
[0025] Par une distance entre des ensembles de pixels, il peut être fait référence à un écart ou une distance mathématique séparant deux pixels les plus proches appartenant chacun à un ensemble de pixels. Une telle distance est considérée nulle si l’intersection entre les deux ensembles de pixels n’est pas nulle.
[0026] Dans un mode de réalisation, le premier ensemble de paramètres incluant une première position associée à l’objet virtuel et le deuxième ensemble de paramètres incluant une deuxième position associée à l’objet détecté, et dans lequel le deuxième critère est satisfait au moins si un écart entre la première position et la deuxième position n’excède pas un deuxième seuil de position prédéfini.
[0027] Par conséquent, le procédé permet avantageusement de déterminer des critères de mise à jour des paramètres associés au véhicule voisin suivi. En effet, la pertinence d’une telle mise à jour, notamment de la longueur estimée du véhicule voisin, peut dépendre d’une situation de l’objet virtuel dans le champ de vue, comme par exemple l’occupation d’un tel objet virtuel dans le champ de vue.
[0028] Dans un mode de réalisation, un premier ensemble de pixels étant associé à l’objet virtuel sur la première image acquise, le deuxième critère est satisfait si au moins un des éléments suivants est satisfait :
[0029] - une taille du premier ensemble de pixels n’excède pas un deuxième seuil prédéfini,
[0030] - un ratio entre la taille du premier ensemble de pixels et un nombre de pixels occupé par le véhicule voisin lorsqu’une face frontale du véhicule voisin est visible dans le champ de vue n’excède pas un ratio prédéfini.
[0031] Par conséquent, le procédé permet avantageusement de déterminer la pertinence d’une mise à jour de la longueur associée à l’objet virtuel selon le nombre de pixels occupé par l’objet virtuel dans l’image acquise, et/ou du pourcentage de la taille de l’objet virtuel compris dans l’image. En effet, si l’objet virtuel est encore ’’trop” inclus dans l’image, une estimation de sa longueur n’est pas considérée pertinente.
[0032] Le nombre de pixels occupé par le véhicule voisin lorsqu’une face frontale du véhicule voisin est visible dans le champ de vue peut par exemple être obtenue au temps d’acquisition initial, en quantifiant le nombre de pixels occupé par l’objet virtuel à un tel instant.
[0033] Dans un mode de réalisation, le premier ensemble de paramètres incluant une première position associée à l’objet virtuel et le deuxième ensemble de paramètres incluant une deuxième position associée à l’objet détecté, le premier ensemble de paramètres incluant des premières dimensions associées à l’objet virtuel, l’estimation de la longueur inclut un rallongement d’une dimension parmi les premières dimensions d’une valeur relative à un écart entre la première position et la deuxième position. [0034] Par conséquent, le procédé propose avantageusement de mettre à jour la longueur de l’objet virtuel en utilisant les paramètres de l’objet détecté (considéré à ce stade comme appartenant au véhicule voisin). En particulier, un rallongement des premières dimensions peut correspondre au rallongement d’une longueur estimée associée au véhicule voisin suivi. De plus, le procédé permet avantageusement de mettre à jour la longueur estimée de l’objet virtuel même lorsque l’objet détecté ne coïncide pas précisément avec l’objet virtuel.
[0035] Dans un mode de réalisation, la première position et la deuxième position correspondent, dans un système de coordonnées prédéfini, à des ensembles de coordonnées associés à des portions de l’environnement respectivement occupées par l’objet virtuel et l’objet détecté.
[0036] Par conséquent, le procédé permet de comparer et de quantifier des distances entre l’objet virtuel et l’objet détecté dans l’environnement comme dans l’image, lorsque ces objets correspondent à des ensembles de positions (de flots optiques par exemple). Autrement dit, dans l’environnement, l’objet virtuel et l’objet détecté peuvent chacun correspondre à un ensemble de positions reflétant l’espace occupé par chaque objet. Dans l’image, ces ensembles de coordonnées (ou positions) peuvent correspondre à des ensembles de pixels occupés sur l’image par chacun des objets tels que capturés dans le champ de vue.
[0037] Dans un mode de réalisation, le suivi du véhicule voisin est assuré pour une pluralité de temps d’acquisition en réitérant les étapes de détection, de mise à jour et d’estimation pour une pluralité d’objets détectés à partir d’une pluralité d’images acquises aux temps d’acquisition de ladite pluralité de temps d’acquisition.
[0038] Par conséquent, le procédé proposé permet de suivre le véhicule voisin sur une pluralité d’images acquises. De plus, le procédé permet également de tester l’association de l’objet virtuel avec plusieurs objets détectés sur les images (de tels objets détectés pouvant correspondre à différentes sections du véhicule voisin ou à d’autres éléments/objets présents dans l’environnement et distincts du véhicule suivi).
[0039] Dans un mode de réalisation, le suivi du véhicule voisin prend fin à un temps d’acquisition final lorsqu’une probabilité d’existence dans le champ de vue associée au véhicule voisin est inférieur à un seuil prédéfini, ladite probabilité d’existence dépendant au moins d’un écart entre les temps d’acquisition initial et final et des premier et deuxième ensembles de paramètres.
[0040] Par conséquent, le procédé proposé permet avantageusement d’optimiser les ressources de suivi d’un véhicule en délimitant le temps de suivi de chaque véhicule détecté. Par exemple, à partir d’un temps d’acquisition initial au cours duquel un véhicule donné est détecté pour la première fois et d’une estimation de sa vitesse, le procédé peut estimer une évolution d’un tel véhicule dans l’environnement (à partir d’hypothèses de mouvement du véhicule principal et du véhicule suivi), de sorte à estimer une durée au-delà de laquelle le véhicule suivi ne sera plus dans le champ de vue. Ainsi, le procédé peut avantageusement suivre une pluralité d’objets dans l’environnement en optimisant l’utilisation et le stockage des ressources informatiques requises lors de l’association et/ou la création d’objets détectés. Un tel mode de réalisation se révèle particulièrement avantageux lorsqu’une pluralité de véhicules sont suivis et qu’un objet nouvellement détecté peut être potentiellement associé à chacun de ces véhicules suivis.
Brève description des dessins
[0041] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
[0042] [Fig. 1] La figure 1 montre une schématisation d’un véhicule principal selon un mode de réalisation.
[0043] [Fig. 2] La figure 2 montre une vue aérienne d’une scène environnant le véhicule principal selon un mode de réalisation.
[0044] [Fig. 3] La figure 3 montre une schématisation d’un dispositif d’assistance à la conduite selon un mode de réalisation.
[0045] [Fig. 4] La figure 4 montre des étapes d’un procédé de suivi d’un véhicule selon un mode de réalisation.
[0046] [Fig. 5] La figure 5 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
[0047] [Fig. 6] La figure 6 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
[0048] [Fig. 7] La figure 7 montre une prise de vue d’une scène environnant le véhicule principal selon un mode de réalisation.
Description des modes de réalisation
[0049] Il est fait référence à la figure 1. La figure 1 schématise un véhicule principal VP. Le véhicule principal VP peut être un véhicule automobile. Aucune limitation n’est imposée sur le type de véhicule auquel appartient le véhicule principal VP. Le véhicule principal VP peut par exemple être un véhicule particulier, utilitaire, industriel, et peut par exemple correspondre à une voiture, un fourgon, un deux-roues, un camion ou encore un bus. Le véhicule principal VP peut également être un véhicule tracté et tractant par exemple une remorque, une semi-remorque ou encore une caravane. Les dimensions du véhicule principal VP peuvent par exemple être comprises entre 2 mètres et 20 mètres en longueur, entre 0,5 mètre et 5 mètres en largeur et entre 1 mètre et 5 mètres en hauteur.
[0050] Le véhicule principal VP est muni d’au moins un système embarqué assurant une pluralité de fonctions ou d’applications du véhicule principal VP. De telles fonctions peuvent par exemple correspondre à une régulation de vitesse, à une direction assistée, à un déploiement d’airbag automatisé, à un réglage automatique des phares...
[0051] Le véhicule principal VP est en particulier muni d’un système embarqué permettant une détection d’objets environnant le véhicule principal VP, par exemple dans le cadre d’une fonction d’assistance à la conduite de type détection d’obstacles, assistance au changement de voie ou encore changement de voie automatique. Pour cela, le système embarqué du véhicule principal VP comprend un dispositif 2 d’assistance à la conduite. Le dispositif 2 est apte à assurer une fonction d’assistance à la conduite sur la base d’une pluralité de prises de vues (ou images) de l’environnement ENV du véhicule principal VP. Pour cela, le dispositif 2 est notamment relié à un ou plusieurs capteurs de vision comme un appareil de prise de vues ou encore une caméra 1 (le capteur de vision sera considéré être une caméra 1 dans la suite de la description). Le dispositif 2 peut également être apte à transmettre ou communiquer des données, par exemple relatives à la fonction d’assistance à la conduite assurée. Pour cela, le dispositif 2 peut être relié à une interface 50 de communication. Dans un mode de réalisation particulier, l’interface 50 peut être intégrée au dispositif 2. Une telle interface 50 de communication peut par exemple être une interface homme-machine. L’interface 50 peut inclure un écran d’affichage, un écran tactile, un tableau de bord, et/ou encore un haut-parleur. Les données transmises par le dispositif 2 à l’interface 50 peuvent par exemple correspondre à des informations d’assistance indiquant au conducteur du véhicule principal VP qu’il peut ou non changer de voie.
[0052] Il est maintenant fait référence à la figure 2. La figure 2 illustre un environnement (ou une scène) ENV, dans lequel se situe le véhicule principal VP. La figure 2 est une vue aérienne d’une telle scène ENV.
[0053] L’environnement ENV peut être défini dans un repère à trois dimensions (X,Y,Z), qualifié de « repère monde » tel qu’illustré sur les figures 1 et 2. L’origine d’un tel repère monde (X,Y,Z) est prédéfini et fixe dans l’environnement ENV.
[0054] Le véhicule principal VP est considéré en mouvement dans la scène ENV. Une telle scène ENV correspond par exemple à une route ou une autoroute constituée de plusieurs voies de circulation. Ces voies de circulation peuvent notamment être parallèles les unes aux autres, comme représentées par les lignes verticales pointi liées sur la figure 2. La figure 2 illustre par exemple trois voies de circulation, le véhicule principal VP étant situé sur la voie de circulation du milieu. Le véhicule principal VP est considéré comme étant en mouvement selon la direction principale X du repère (X,Y,Z), une telle direction principale étant appelée direction longitudinale. Un tel mouvement est schématisé sur les figures 1 et 2 par une flèche accolée au véhicule principal VP. Le véhicule principal VP peut également avoir un mouvement selon une direction Y du repère (X,Y,Z), dite direction latérale. Un tel mouvement selon la direction Y, dit mouvement (ou déplacement) latéral, peut par exemple avoir lieu lorsque le véhicule principal VP change de voie de circulation. Un déplacement selon la direction Z, c’est-à-dire en hauteur, du véhicule principal VP est considéré absent ou négligeable. Le véhicule principal VP est donc considéré maintenu au sol et présente donc une hauteur selon la direction Z constante, correspondant à une dimension prédéfinie du véhicule principal VP. Dans un mode de réalisation, une telle hauteur selon la direction Z du véhicule principal VP peut varier de l’ordre du centimètre ou du décimètre, une telle variation de hauteur selon la direction Z étant par exemple liée à des amortisseurs du véhicule principal VP et/ou à des reliefs ou aspérités présents dans l’environnement ENV (notamment sur la voie de circulation du véhicule principal VP). Dans la suite de la description, une telle hauteur selon la direction Z du véhicule principal VP est considérée connue.
[0055] La scène ENV environnant le véhicule principal VP comprend également d’autres éléments OV et véhicules VV1 , VV2, VV3. Les véhicules VV1 , VV2, VV3 sont des véhicules voisins du véhicule principal VP. De tels véhicules voisins VV1 , VV2, VV3 sont, à l’instar du véhicule principal VP, des véhicules automobiles en mouvement dans la scène ENV. De tels véhicules voisins VV1 , VV2, VV3 peuvent notamment avoir des dimensions et des caractéristiques de mouvement (en termes de vitesse ou d’accélération par exemple) similaires ou différentes du véhicule principal VP. Par exemple, la figure 2 peut représenter un véhicule principal VP en mouvement sur une voie d’autoroute et des véhicules voisins VV1 , VV2, VV3 circulant sur les voies d’autoroute voisines de la voie empruntée par le véhicule principal VP. Les objets OV sont des éléments voisins du véhicule principal VP et peuvent faire référence à tout élément distinct d’un véhicule voisin VV1 , VV2, VV3. Un élément voisin OV peut par exemple correspondre à un obstacle situé dans la scène comme un terre-plein central séparant deux voies de circulation, un panneau d’indication ou encore un oiseau volant dans la scène ENV.
[0056] Comme illustré sur la figure 2, le véhicule principal VP est considéré muni d’une caméra 1 positionnée à l’arrière du véhicule principal VP. Dans un autre mode de réalisation (non représenté sur la figure 2), la caméra 1 peut être positionnée à l’avant du véhicule principal VP ou plusieurs caméras 1 peuvent être positionnées à la fois à l’avant et à l’arrière du véhicule principal VP. Dans le contexte de la présente description, la caméra 1 est considérée positionnée à l’arrière du véhicule principal VP et le champ de vue FOV est un champ de vue arrière du véhicule principal VP. La caméra 1 permet de capter des images (ou prises de vues) de la scène ENV du véhicule principal VP selon un champ de vue FOV (ou en anglais « Field of View »). Un tel champ de vue FOV dépend notamment du type de caméra 1 utilisé et du positionnement de la caméra 1 dans (ou sur) le véhicule principal VP. En référence à la figure 2, le champ de vue FOV recouvre une partie de la scène ENV, de sorte qu’une portion limitée de la scène ENV est capturée selon le champ de vue FOV. Ainsi, sur la figure 2, le champ de vue FOV représenté recouvre une portion de la voie de circulation dans laquelle se situe le véhicule principal VP et des portions respectives des voies de circulation voisines. En particulier, à un instant T1 considéré sur la figure 2, le champ de vue FOV recouvre une portion de la scène ENV dans laquelle se situe intégralement le véhicule voisin VV2 et une portion de la scène ENV dans laquelle se situe partiellement (zone grisée non hachurée) le véhicule voisin VV1. À titre d’exemple, comme illustré sur la figure 2, une extrémité arrière gauche du véhicule voisin VV1 (par exemple incluant la roue arrière gauche du véhicule voisin VV2) appartient au champ de vue FOV. Cependant, un point repère W, par exemple situé au niveau du milieu de la face avant du véhicule, n’est pas dans le champ de vue FOV sur la figure 2. À titre de comparaison, le même véhicule voisin VV1 est représenté à un instant initial T0 précédant l’instant T1 considéré : un tel véhicule voisin VV1 est représenté en pointillés sur la figure 2. À un tel instant initial T0, le véhicule voisin VV1 est intégralement visible dans le champ de vue FOV de la caméra 1 . En particulier, à un tel instant initial T0, le point repère, noté Wn, par exemple situé au niveau du milieu de la face avant du véhicule voisin VV1 , est visible dans le champ de vue FOV.
[0057] À l’instant T 1 considéré, ultérieur au temps initial T0, une portion du véhicule voisin VV1 (incluant notamment le point repère W) n’est plus visible dans le champ de vue FOV du véhicule principal VP. Par exemple, la situation du véhicule voisin VV1 représentée sur la figure 2 entre les instants T0 et T1 peut correspondre au cas d’un dépassement par la droite du véhicule principal VP par le véhicule voisin VV1.
[0058] Sur la figure 2, le véhicule voisin VV3 n’est pas visible dans le champ de vue FOV du véhicule principal VP. Les parties non visibles des véhicules voisins VV1 , VV3 dans le champ de vue FOV sont représentés sur la figure 2 par des zones rayées. Un objet voisin OV, par exemple un oiseau, peut être visible dans le champ de vue FOV.
[0059] Dans le contexte d’une scène ENV telle que représentée en figure 2 selon le repère (X,Y,Z), il est par exemple considéré que le véhicule principal VP se déplace à une vitesse principale Vvp connue. Pour faciliter la suite de la description, une telle vitesse principale peut être considérée de norme VVP constante. Le véhicule voisin VV1 est considéré comme se déplaçant à une vitesse voisine
Figure imgf000014_0001
inconnue du dispositif 2 d’assistance à la conduite du véhicule principal VP. Dans le mode de réalisation décrit par la suite, il peut être considéré que la norme VP de la vitesse voisine
Figure imgf000014_0002
est supérieure à la norme VVP de la vitesse principale V^, par exemple dans le cas d’un véhicule voisin VV1 effectuant un dépassement du véhicule principal VP sur une voie voisine. Sous une telle hypothèse et sous l’hypothèse que la vitesse voisine
Figure imgf000014_0003
du véhicule voisin VV1 reste sensiblement constante sur un intervalle de temps considéré, à l’instar de la vitesse principale
Figure imgf000014_0004
du véhicule principal VP, l’écart de distance selon la direction longitudinale X entre le véhicule principal VP et le véhicule voisin VV1 variera dans le temps, de sorte que le véhicule voisin VV1 va par exemple se rapprocher (selon la direction longitudinale X) du véhicule principal VP en effectuant son dépassement puis va s’éloigner (selon la direction longitudinale X) du véhicule principal VP une fois le dépassement effectué. Ainsi, à un instant initial T0 (ou temps d’acquisition initial T0) considéré, le véhicule voisin VV1 peut être intégralement visible dans le champ de vue arrière FOV du véhicule principal VP. Au fur et à mesure que le dépassement est mis en œuvre par le véhicule voisin VV1 , le véhicule voisin VV1 peut « sortir » progressivement du champ de vue arrière FOV, jusqu’à être complètement hors du champ de vue FOV (comme par exemple le véhicule voisin VV3). Une telle évolution du véhicule voisin VV1 dans le champ de vue FOV est par exemple représentée entre la figure 5 d’une part, et les figures 6 et 7 d’autre part.
[0060] La figure 5 représente une image acquise par la caméra 1 à un temps d’acquisition initial T0. À un tel temps d’acquisition initial T0, le véhicule voisin VV1 est intégralement dans le champ de vue FOV. En particulier, une face avant du véhicule voisin VV1 est visible dans le champ de vue FOV.
[0061] Les figures 6 et 7 représentent des images acquises par la caméra 1 selon deux modes de réalisation distincts à un premier temps d’acquisition T1 , ultérieur au temps d’acquisition initial T0. À un tel premier temps d’acquisition T1 , le véhicule voisin VV1 a avancé relativement au véhicule principal VP dans l’environnement ENV, de sorte que le véhicule voisin VV1 arrive progressivement au niveau du véhicule principal VP. En particulier, la face avant du véhicule voisin VV1 n’est plus visible dans le champ de vue FOV. Seule une portion latérale, représentée sur les figures 6 et 7, incluant par exemple les roues arrière-gauches du véhicule voisin VV1 sont visible au premier temps d’acquisition T1 . En effet, le cadre représenté sur chacune des figures 6 et 7 délimite la taille de la prise de vue et correspond au champ de vue FOV. Ainsi, les éléments représentés hors du cadre, qui seront décrits plus tard dans la description, sont illustrés à titre explicatif et ne sont pas visibles selon le point de vue du champ de vue FOV.
[0062] Dans le contexte d’une fonction d’assistance à la conduite assurée par le dispositif 2, visant par exemple à assister le véhicule principal VP dans une manœuvre de changement de voie, un processus de suivi de véhicules détectés dans l’environnement ENV du véhicule principal VP est requis, de sorte que le véhicule principal VP ne se déplace pas sur une voie de circulation voisine s’il risque d’entrer en collision avec un des véhicules environnants. Des techniques existantes de détection et de suivi de véhicules environnant le véhicule principal VP reposent notamment sur l’utilisation de classifieurs, basés par exemple sur des méthodes de réseaux de neurones à convolution (ou en anglais « Convolutional Neural Networks » ou CNN), de K plus proches voisins (ou en anglais « K- Nearest Neighbors » ou KNN) ou encore machines à vecteurs de support (ou en anglais « Support Vector Machine » ou SVM). De tels classifieurs permettant la détection et le suivi des véhicules environnant le véhicule principal VP s’appuient en particulier sur la détection et la classification d’une vue (ou face) frontale (avant ou arrière) des véhicules environnant le véhicule principal VP. L’utilisation de tels classifieurs peut notamment comprendre une phase d’apprentissage sur la base d’une pluralité d’images représentant des vues frontales de divers types de véhicules. Ainsi, en référence à la figure 2, une vue frontale avant du véhicule voisin VV2 appartenant au champ de vue FOV de la caméra 1 , la détection et le suivi du véhicule voisin VV2 peuvent être mis en œuvre sur la base de techniques de classification existantes. Il en va de même pour le véhicule voisin VV1 sur l’image de la figure 5 au temps d’acquisition initial T0.
[0063] Cependant, les positionnements du véhicule voisin VV1 représentés sur la figure 2 au temps T1 et les figures 6 et 7 correspondent à des situations dans lesquelles les classifieurs existants ne parviennent pas à suivre efficacement le véhicule voisin VV1 , ou en tout cas, non sans engendrer des coûts et/ou temps de calcul significatifs, du fait de l’absence de vue frontale visible du véhicule voisin VV1 sur les prises de vues des figures 6 et 7 (le point repère W de la figure 2 positionné sur la face frontale avant du véhicule voisin VV1 n’étant plus visible dans le champ de vue FOV de la caméra 1 à ces stades). Ces situations correspondent pourtant à des situations critiques durant lesquelles le véhicule principal VP pourrait entrer en collision avec le véhicule voisin VV1 si le véhicule principal VP change de position et se déplace sur la voie du véhicule voisin VV1 , en l’absence d’information d’assistance au changement de voie indiquant que le véhicule voisin VV1 est détecté près d’une telle position.
[0064] Un procédé de suivi du véhicule voisin VV1 est alors proposé et décrit par la figure 4 pour suivre le véhicule voisin VV1 , et notamment au stade des situations représentées aux figures 2, 6 et 7. Un tel procédé de suivi peut notamment être qualifié d’un procédé de maintien de suivi pour un véhicule sortant du champ de vue FOV, au sens où le véhicule, initialement détecté, peut continuer à être suivi même lorsqu’une face avant du véhicule est hors du (et donc n’est plus visible dans le) champ de vue FOV. Un tel procédé de suivi du véhicule voisin VV1 est mis en œuvre par un système d’assistance à la conduite représenté en figure 3.
[0065] Il est maintenant fait référence à la figure 3. La figure 3 représente une schématisation d’un système embarqué d’un véhicule principal VP. En particulier, un tel système embarqué correspond à un système d’assistance à la conduite du véhicule principal VP. Le système d’assistance à la conduite du véhicule principal VP permet notamment d’assurer une fonction d’assistance au changement de voie ou de changement de voie automatique du véhicule principal VP, lorsque le véhicule principal VP se déplace sur une voie de circulation comme représenté par exemple en figure 2.
[0066] Le système comprend tout d’abord le dispositif 2 d’assistance à la conduite. Le dispositif 2 peut comprendre lui-même une unité 20 de détection d’objets sur des images acquises, une unité 30 de comparaison des objets détectés par l’unité 20 à des objets virtuels existants et une unité 40 de mise à jour de paramètres associés aux objets virtuels existants pour le suivi d’éléments associés aux objets virtuels existants dans l’environnement ENV.
[0067] Le dispositif 2 d’assistance à la conduite est en outre relié, d’une part à un capteur de vision de type appareil de prise de vues ou caméra 1. Le dispositif 2 peut aussi comprendre une unité d’entrée (non représentée sur la figure 3) permettant au dispositif 2 de recevoir en temps sensiblement réel un flux de données en provenance de la caméra 1. Un tel flux de données correspond à une succession, discrète ou continue, d’images (ou prises de vue) de la scène ENV selon le champ de vue FOV de la caméra 1. Chaque image reçue est associée à un temps d’acquisition de l’image par la caméra 1 . Chaque image peut être horodatée.
[0068] D’autre part, le dispositif 2 d’assistance à la conduite peut être relié à une interface 70 de communication. Une telle interface 70 peut correspondre à une interface homme- machine intégrée au système embarqué du véhicule principal VP. Une telle interface 70 peut également être intégrée au dispositif 2. L’interface 70 de communication peut également être une interface distante. L’interface 70 de communication peut comprendre un écran d’affichage, un écran tactile, un tableau de bord ou encore un haut-parleur, permettant de transmettre, par exemple par une information visuelle, haptique et/ou sonore, des indications relatives à une assistance à la conduite du véhicule principal VP. En particulier, l’interface de communication permet de transmettre un état de détection d’un véhicule voisin du véhicule principal VP ou encore une indication relative à une possibilité de changement de voie du véhicule principal VP. Une telle information transmise par l’interface 70 peut par exemple correspondre à une représentation visuelle aérienne estimée des positionnements respectifs du véhicule principal VP et des éléments voisins appartenant au champ de vue FOV en temps réel (e.g., telle que représentée sur la figure 2), un stimulus audio alertant d’un risque de collision, ou encore une superposition d’un objet virtuel mis en évidence et mis à jour en temps réel sur un flux d’images provenant la caméra 1 , comme illustré par exemple sur les figures 5, 6 et 7.
[0069] Les unités 20, 30 et 40 du dispositif 2 peuvent comprendre chacune un circuit de traitement incluant au moins un processeur (21 , 31 , 41) et une unité mémoire (22, 32, 42) afin de mettre en œuvre une ou plusieurs étapes du procédé de suivi d’un véhicule voisin VV1 , qui sera décrit dans la figure 4. En particulier, chaque unité de traitement 20, 30, 40 du dispositif 2 peut s’appuyer sur des données traitées et/ou obtenues par d’autres unités afin de mettre en œuvre une ou plusieurs étapes du procédé de suivi d’un véhicule voisin VV1 , comme illustré par les flèches de la figure 3.
[0070] Il est maintenant fait référence à la figure 4. La figure 4 illustre une succession d’étapes de mise en œuvre d’un procédé de suivi d’un véhicule voisin VV1 préalablement détecté. Un tel procédé de suivi peut être mis en œuvre par un système incluant un dispositif 2 d’assistance à la conduite d’un véhicule principal VP tel que représenté sur la figure 3.
[0071] Tout au long du procédé décrit par la suite, le dispositif 2 reçoit une pluralité d’images (ou de prises de vue) associées à des temps d’acquisition respectifs des images en provenance de la caméra 1. De telles images peuvent notamment être reçues de façon continue, par exemple via un flux vidéo. Dans un tel cas, le dispositif 2 peut discrétiser le flux vidéo reçu de sorte à obtenir un ensemble d’images discrètes horodatées associées à des temps d’acquisition respectifs.
[0072] À une étape 400, le véhicule voisin VV1 est préalablement détecté sur une image initiale, acquise à un temps d’acquisition initial T0. Une telle image initiale est par exemple représentée sur la figure 5. À un tel temps d’acquisition initial T0, le véhicule voisin VV1 est intégralement visible dans le champ de vue FOV. En particulier, la face avant du véhicule voisin VV1 est visible dans le champ de vue FOV. Le véhicule voisin VV1 peut alors être détecté par des méthodes classiques, par exemple par un classifieur de véhicules sur la base d’une reconnaissance de différents types de faces avant de véhicules. Dans un autre mode de réalisation, le véhicule voisin VV1 peut être détecté via d’autres méthodes, par exemple basées sur la détection de flots optiques. À l’étape 400, le véhicule voisin VV1 est alors détecté sur l’image initiale et une première position pn associée au véhicule voisin VV1 peut être déterminée dans le repère image (y,z) et/ou dans le repère monde (X,Y,Z). Dans un mode de réalisation, une telle première position pn associée au véhicule voisin VV1 peut correspondre à un ensemble de coordonnées associées à une première portion de l’environnement ENV occupée par le véhicule voisin VV1. Un tel premier ensemble de coordonnées peut être exprimé en trois dimensions selon le repère monde (X,Y,Z), de sorte que la première position reflète un espace d’occupation de l’environnement ENV estimé être occupé par le véhicule voisin VV1 détecté. De façon équivalente, un tel premier ensemble de coordonnées peut également être exprimé en deux dimensions selon le repère image (y,z) de sorte que la première position reflète un espace d’occupation de l’image initiale occupé par le véhicule voisin VV1 tel que détecté sur l’image initiale. La conversion de la première position pn entre les repères image (y,z) et monde (X,Y,Z) peut être obtenue à partir du modèle sténopé et d’hypothèses (e.g., hypothèse monde plat). En variante, la première position pn associée au véhicule voisin VV1 peut correspondre à la position d’un premier point repère Wn positionné sur le véhicule voisin VV1 détecté, par exemple sur la face avant du véhicule voisin VV1. Un tel point repère Wn peut être exprimé dans le repère monde (X,Y,Z) ou, de façon équivalente être un point repère (virtuel) wn (correspondant à un pixel par exemple) exprimé dans le repère image (y,z). Un tel point repère wn est par exemple représenté sur la figure 5.
[0073] Plus généralement, à l’étape 400, le véhicule voisin VV1 détecté peut être associé à un premier ensemble de paramètres, un tel premier ensemble de paramètres pouvant par exemple inclure un ou plusieurs paramètres parmi :
- la première position pn,
- une première vitesse vn reflétant une vitesse du véhicule voisin VV1 détecté dans l’environnement ENV,
- des premières dimensions sn incluant par exemple des premières valeurs de longueur, largueur et/ou hauteur associées au véhicule voisin VV1 détecté dans l’environnement ENV,
- un premier temps de collision iTTCn associé au véhicule voisin VV1 détecté,
- une première distance latérale dn reflétant par exemple un écart latéral (c’est-à-dire selon la direction dite latérale Y dans le repère monde (X,Y,Z) ou y dans le repère image (y,z)) séparant le véhicule voisin détecté VV1 du véhicule principal VP.
[0074] De tels paramètres peuvent par exemple être déterminés ou estimés par un ou plusieurs classifieurs à partir d’une ou plusieurs images initiales acquises associées au temps d’acquisition initial T0. De tels paramètres peuvent également être estimés à partir de mesures effectuées sur les images initiales acquises. [0075] À partir d’un tel premier ensemble de paramètres, le véhicule voisin VV1 détecté à l’étape 400 peut être associé à un objet virtuel OVn. Un tel objet virtuel OVn peut par exemple correspondre à un ensemble de pixels (et donc de coordonnées en deux dimensions dans le repère image (y,z)) superposable à l’espace occupé par le véhicule voisin VV1 dans l’image initiale. En particulier, l’objet virtuel OVn peut également correspondre à un objet virtuel en trois dimensions dans le repère monde (X,Y,Z) permettant de modéliser l’espace occupé par le véhicule voisin VV1 dans l’environnement ENV. Un tel objet virtuel OVn est caractérisé par un ou plusieurs paramètres cinématiques correspondant au premier ensemble de paramètres et permettant de délimiter le véhicule voisin VV1 tel que détecté dans le temps (ici, au temps d’acquisition initial T0) et dans l’espace (ici, dans l’environnement ENV). Ainsi, au temps d’acquisition initial, le véhicule voisin VV1 est détecté et modélisé par l’objet virtuel OVn (ou de façon équivalente, par un premier ensemble de paramètres).
[0076] À une étape 410, un objet OBJ est détecté sur au moins une des images acquises, dite première(s) image(s). En référence aux figures 6 et 7 représentant deux variantes possibles de l’objet détecté OBJ, un tel objet OBJ détecté est représenté à un premier temps d’acquisition T1. Dans un mode de réalisation, l’objet détecté OBJ est un objet dit latéral dans l’image acquise, en ce que l’objet détecté OBJ1 appartient à un plan latéral de l’image, un tel plan latéral étant par exemple parallèle au plan (X,Z) dans le repère monde (X,Y,Z). La détection d’un tel objet latéral OBJ peut notamment avoir lieu sans qu’une face avant du véhicule voisin VV1 ne soit visible dans le champ de vue FOV. En particulier, au stade de l’étape 410, l’objet OBJ détecté correspond à un corps non inerte qui n’est pas a priori pas encore assimilé au véhicule voisin VV1 précédemment détecté. Autrement dit, au stade de l’étape 410, l’objet détecté OBJ correspond à un corps en mouvement dans l’environnement ENV (et donc, dans le repère monde (X,Y,Z)) et présentant donc au moins une vitesse, dite deuxième vitesse v* (par exemple, une vitesse dite longitudinale correspondant à un déplacement selon l’axe X dans le repère monde (X,Y,Z), une vitesse dite latérale correspondant à un déplacement selon l’axe Y et/ou une vitesse de rotation).
[0077] L’objet OBJ peut être détecté à l’étape 410 sur une image (par exemple, l’image de la figure 6 ou l’image de la figure 7) par traitement d’une ou plusieurs images successivement acquises. Dans un mode de réalisation, l’objet OBJ peut par exemple être détecté par un classifieur apte à détecter un objet latéral OBJ sur l’image acquise, par exemple un classifieur détectant une portion latérale d’un véhicule, comme un détecteur de roue de véhicule. En variante, l’objet OBJ peut être détecté par homographies sur au moins deux images successivement acquises, de sorte à identifier un ou plusieurs ensembles connexes, ou flots optiques, de vitesse relativement homogène sur les images dans un intervalle de temps délimité. Selon une telle variante, la détection de l’objet OBJ1 inclut alors de déterminer un déplacement de pixels à une vitesse sensiblement commune d’une image à la suivante, ou flot optique. Chaque flot optique peut être déterminé par appariement de points entre plusieurs images successives, par exemple par la méthode de Lucas-Kanade. Les flots optiques déterminés peuvent notamment être segmentés en un ou plusieurs segments ayant un point ou une ligne de fuite commun(e) et appartenant à des plans latéraux dans le champ de vue FOV. Autrement dit, l’image acquise peut être segmentée en un ou plusieurs segments, chaque segment définissant un groupement de flots optiques (et donc un groupement de pixels ayant sensiblement la même vitesse et décrivant un même mouvement dans un intervalle de temps donné).
[0078] Ainsi, à l’étape 410, l’objet détecté OBJ est un ensemble de pixels pouvant être formé par une instance, un contour, un polygone ou encore un rectangle (ou en anglais, un « bounding box ») détecté et classifié par un classifieur par segmentation d’objets dans l’image acquise par exemple. En variante, l’objet détecté OBJ est un ensemble de pixels pouvant être formé par un flot optique ou segment incluant plusieurs flots optiques. En particulier, l’ensemble de pixels formant l’objet détecté OBJ peut être un ensemble de pixels coplanaires parallèles à un plan latéral dans le repère monde (X,Y,Z).
[0079] En particulier, l’objet détecté OBJ peut être associé à un deuxième ensemble de paramètres, un tel deuxième ensemble de paramètres pouvant par exemple inclure un ou plusieurs paramètres parmi :
- une deuxième position p*,
- la deuxième vitesse v’,
- des deuxièmes dimensions s* incluant par exemple des deuxièmes valeurs de longueur, largueur et/ou hauteur associées à l’objet détecté OBJ dans l’environnement ENV,
- un deuxième temps de collision ITTC* associé à l’objet détecté OBJ,
- une deuxième distance latérale dn reflétant par exemple un écart latéral (c’est-à-dire selon la direction dite latérale Y dans le repère monde (X,Y,Z) ou y dans le repère image (y ,z)) séparant l’objet détecté OBJ du véhicule principal VP.
[0080] À l’instar de la première position pn associée à l’objet virtuel OVn , la deuxième position p* associée à l’objet détecté OBJ peut correspondre à un ensemble de coordonnées (dans le repère monde (X,Y,Z) et/ou dans le repère image (y,z)) représentant une portion de l’environnement ENV occupé par l’objet détecté OBJ ou, en variante, correspondre à la position d’un point de référence appartenant à l’objet détecté OBJ. Un tel point de référence peut par exemple correspondre à un pixel situé au plus proche du sol. [0081] Le deuxième ensemble de paramètres peut par exemple être déterminé ou estimé par un ou plusieurs classifieurs à partir des premières images acquises associées au premier temps d’acquisition T1 . De tels paramètres peuvent également être estimés à partir de mesures effectuées sur les premières images acquises.
[0082] Au stade de l’étape 420, le dispositif obtient donc d’une part, un objet virtuel OVn associé à un premier ensemble de paramètres représentant le véhicule voisin VV1 initialement détecté et d’autre part, un objet détecté OBJ associé à un deuxième ensemble de paramètres.
[0083] À une étape 420, un test de cohérence (ou de plausibilité) est mis en œuvre, de sorte à déterminer si l’objet détecté OBJ et l’objet virtuel OVn corresponde au même élément dans l’environnement ENV, à savoir au véhicule voisin VV1. Pour cela, le test de cohérence peut comprendre le test d’un premier critère. Un tel premier critère peut par exemple correspondre à une comparaison entre la première position pn associée à l’objet virtuel OVn et la deuxième position p* associée à l’objet détecté OBJ. Le premier critère peut alors être satisfait si l’écart entre la première position pn et la deuxième position p* est inférieur à un premier seuil de position prédéfini. En particulier, si la première position pn et la deuxième position p* correspondent aux coordonnées respectives d’un point de repère Wn et d’un point de référence appartenant respectivement à l’objet virtuel OVn et à l’objet détecté OBJ, le premier seuil de position peut être défini sur une coordonnée latérale (c’est-à-dire, selon l’axe X) de la première position pn et de la deuxième position p*, respectivement notés pn(X et p*(X). Autrement dit, le test de cohérence peut être satisfait si :
[0084] Math.1
|p„(X) - p*(X)| < Pi où :
- p„(X) est la coordonnée de la première position pn selon l’axe X dans le repère monde (X,Y,Z),
- p*(X) est la coordonnée de la deuxième position p* selon l’axe X dans le repère monde (X,Y,Z),
- P± est le premier seuil de position prédéfini.
[0085] En variante, si la première position pn et la deuxième position p* correspondent à des ensembles de coordonnées (i.e., des ensembles de points ou de pixels reflétant les espaces respectivement occupés par l’objet virtuel OVn et à l’objet détecté OBJ), le premier critère peut alors être satisfait si l’écart entre deux points (ou pixels) les plus proches, les deux points appartenant respectivement aux deux ensembles de coordonnées, est inférieur au premier seuil de position. [0086] En variante, le premier critère peut également porter sur d’autres paramètres des ensembles de paramètres que les positions pn, p*. Dans un mode de réalisation, le premier critère peut être satisfait si l’écart entre les première vitesse vn et deuxième vitesse v* n’excède pas un premier seuil de vitesse prédéfini.
[0087] En variante, le premier critère peut être satisfait si une distance de Mahalanobis déterminée entre le premier ensemble de paramètres et le deuxième ensemble de paramètres n’excède pas un premier seuil prédéfini.
[0088] Le premier critère peut également porter sur une comparaison ou une combinaison des comparaisons précitées.
[0089] Si, à l’issue de l’étape 420, l’objet détecté OBJ n’est pas déterminé comme appartenant à l’objet virtuel préexistant OVn (autrement dit, si le premier critère n’est pas satisfait), une étape 421 peut être mise en œuvre. Une telle étape 421 peut notamment inclure la création d’un nouvel objet virtuel distinct de l’objet virtuel OVn associé au véhicule voisin VV1. Autrement dit, si le premier critère n’est pas satisfait, il est déterminé que l’objet détecté OBJ reflète le mouvement dans l’environnement d’un corps mobile distinct du véhicule voisin VV1 , un tel corps mobile peut par exemple correspondre à un autre véhicule que le véhicule voisin VV1 , à un obstacle dans l’environnement ENV ou à un oiseau par exemple. Un nouvel objet virtuel peut alors être créé sur la base du deuxième ensemble de paramètres. Dans un autre mode de réalisation, si l’objet détecté OBJ n’est pas déterminé comme appartenant à l’objet virtuel préexistant OVn, l’objet détecté OBJ peut être ignoré et les étapes 400 et 410 sont réitérées jusqu’à identifier un objet détecté OBJ comme appartenant à l’objet virtuel préexistant OVn (autrement dit, le procédé peut chercher à traquer un véhicule VV1 en particulier).
[0090] En revanche, si à l’issue de l’étape 420, l’objet détecté OBJ est déterminé comme appartenant à l’objet virtuel préexistant OVn (autrement dit, si le premier critère est satisfait), une étape 430 est mise en œuvre.
[0091] À l’étape 430, une mise à jour de l’objet virtuel préexistant OVn est mise en œuvre, de sorte à obtenir un objet virtuel à jour Oyn+1. Pour cela, le deuxième ensemble de paramètres peut être alimenté à un estimateur de données, par exemple à un filtre de Kalman de type Filtre de Kalman Étendu (ou en anglais, « Extended Kalman Filter» ou EKF). Un tel estimateur de données peut également obtenir le premier ensemble de paramètres (par exemple, alimenté par un ou plusieurs classifieurs du système). Sur la base des paramètres fournis à l’estimateur de données, le dispositif 2 peut obtenir, à l’étape 430, un ensemble de paramètres à jour. Un tel ensemble de paramètres à jour peut notamment être estimé par le filtre de Kalman, à partir d’une part, du deuxième ensemble de paramètres fourni et d’autre part, d’une prédiction estimée par le filtre de Kalman à partir au moins du premier ensemble de paramètres fourni.
[0092] Ainsi, à l’étape 430, le dispositif 2 peut obtenir un ensemble de paramètres à jour. En particulier, un tel ensemble de paramètres à jour peut inclure au moins :
- une position à jour pn+1, déterminée à partir au moins de la première position pn et de la deuxième position p*, et
- une vitesse à jour vn+1, déterminée à partir au moins de la première vitesse vn et de la deuxième vitesse v*.
[0093] À partir de tels paramètres à jour, l’objet virtuel OVn associé au véhicule voisin VV1 peut être mis à jour en un objet virtuel à jour OVn+1, permettant ainsi un suivi du véhicule voisin VV1 se déplaçant dans l’environnement ENV entre les instants T0 et T1. En particulier, un point repère à jour wn+1 peut être associé à l’objet virtuel à jour OVn+1. Un tel point repère à jour wn+1 est par exemple représenté sur les figures 6 et 7.
[0094] Dans la plupart des procédés de suivi existants, les dimensions associées au véhicule voisin VV1 suivi (c’est-à-dire les premières dimensions sn) correspondent à des dimensions préexistantes (par exemples, celles d’un camion typique), de sorte que l’espace occupé par un véhicule détecté peut être estimé à partir d’un point repère (par exemple, Wn) et de dimensions prédéfinies. Lors de la mise à jour de l’objet virtuel OVn, de telles dimensions sont alors conservées et l’espace occupé par l’objet virtuel à jour OVn+1 est déplacé en conséquence.
[0095] Dans le contexte de la présente divulgation, une mise à jour des dimensions associées au véhicule voisin VV1 est également considérée, de sorte à notamment permettre une estimation de la longueur réelle du véhicule voisin détecté VV1.
[0096] Pour cela, à une étape 440, un test d’estimation de la longueur est mis en œuvre, de sorte à déterminer si une mise à jour de la longueur de l’objet virtuel préexistant OVn va être effectuée. À l’étape 440, un deuxième critère est testé.
[0097] Un tel deuxième critère peut par exemple inclure d’estimer la taille de la portion du véhicule voisin VV1 encore visible dans le champ de vue FOV. Pour cela, l’espace occupé par l’objet virtuel OVn dans l’image acquise peut être estimée (en nombre de pixels occupé dans l’image). Dans un mode de réalisation, l’espace latéral occupé par l’objet virtuel OVn dans l’image acquise peut être estimée (en nombre de pixels occupé dans l’image). Le deuxième critère peut alors être satisfait si le nombre de pixels occupé par l’objet virtuel OVn dans l’image n’excède pas un seuil de pixel prédéfini, par exemple 100 pixels. En variante, le deuxième critère peut être satisfait si le ratio entre le nombre de pixels occupé par l’objet virtuel OVn dans l’image considérée (par exemple sur la figure 6 ou 7) et le nombre de pixels occupé par l’objet virtuel OVn dans l’image initiale (sur la figure 5) n’excède pas un pourcentage de pixels prédéfini, par exemple 10 pourcents. Plus généralement, d’autres variantes peuvent permettre de déterminer que le deuxième critère est satisfait si moins d’un pourcentage donné de la totalité de l’objet virtuel OVn est visible dans l’image.
[0098] En effet, une mise à jour de la longueur du véhicule voisin VV1 peut être considérée comme trop imprécise si le véhicule voisin VV1 appartient intégralement ou quasi- intégralement au champ de vue FOV. La perspective du champ de vue FOV biaise en effet la longueur associée à l’objet virtuel OVn.
[0099] Dans un mode de réalisation, le deuxième critère peut être satisfait si l’écart 5 entre la première position pn associée à l’objet virtuel OVn et la deuxième position p* associée à l’objet détecté OBJ n’excède pas un deuxième seuil de position prédéfini. À l’instar du premier critère précédemment décrit à l’étape 420 selon un mode de réalisation (par exemple, celui de Math. 1), le deuxième critère peut être satisfait si les espaces respectivement occupés par l’objet virtuel OVn et l’objet détecté OBJ se chevauchent sensiblement. Le deuxième seuil de position prédéfini peut être semblable ou différent du premier seuil de position. En particulier, la présence du deuxième seuil de position signifie que le deuxième critère peut être satisfait même si l’objet virtuel OVn et l’objet détecté OBJ ont une intersection nulle. En référence à la figure 6, il est représenté un mode de réalisation dans lequel l’écart entre l’objet virtuel OVn et l’objet détecté OBJ est considéré nul en ce que l’objet virtuel OVn et l’objet détecté OBJ se chevauchent, comme représenté par la zone hachurée sur la figure 6. En référence à la figure 7, il est représenté un mode de réalisation dans lequel l’écart entre l’objet virtuel OVn et l’objet détecté OBJ est non nul en ce que l’objet virtuel OVn et l’objet détecté OBJ ne se chevauchent pas : un écart 5 non nul, représenté sur la figure 7, existe entre l’objet virtuel OVn et l’objet détecté OBJ. En particulier, la tolérance d’un écart 5 inférieur au deuxième seuil de position prédéfini signifie qu’il est considéré que le deuxième critère est satisfait si l’objet détecté OBJ d’une part, et l’objet virtuel OVn fictivement rallongé selon la composante latérale, notée sn(X) , d’une valeur correspondant au deuxième seuil de position, d’autre part, se chevauchent. Il est considéré qu’une telle condition est satisfaite sur la figure 7. Dans un mode de réalisation, le deuxième critère peut être considéré satisfait sur la base de l’une ou des deux comparaisons précédemment décrites.
[0100] Si, à l’issue de l’étape 440, le deuxième critère n’est pas satisfait, une étape 451 est mise en œuvre. À l’étape 451 , les dimensions à jour sn+1 associées au véhicule voisin VV1 sont conservées et correspondent à sn. [0101] Si, à l’issue de l’étape 440, le deuxième critère est satisfait, une étape 450 d’estimation de la longueur à jour du véhicule voisin VV1 est mise en œuvre. À l’étape 450, des dimensions à jour sn+1 associées au véhicule voisin VV1 , distinctes des premières dimensions sn sont déterminées. En particulier, une composante latérale à jour, notée sn+1(X), des dimensions à jour sn+1 est déterminée à l’étape 450. Pour cela, les deuxièmes dimensions s* associées à l’objet détecté OBJ sont considérées. En particulier, la coordonnée latérale associée au pixel de l’objet détecté OBJ le plus éloigné de l’objet virtuel OVn est considérée. Une telle coordonnée latérale correspond alors à la coordonnée latérale à jour du pixel d’extrémité de l’objet virtuel à jour OVn+1. Autrement dit, l’objet latéral OVn est rallongé selon la direction latérale, jusqu’à latéralement inclure l’objet détecté OBJ.
La valeur d’un tel rallongement correspond alors à compenser l’écart (selon la composante latérale) entre la première position pn et la deuxième position p*,de sorte que l’objet virtuel à jour OVn+1 est rallongé jusqu’à occuper latéralement l’espace occupé par l’objet détecté OBJ. Un tel rallongement est représenté sur chacune des figures 6 et 7, de sorte qu’un objet virtuel à jour OVn+1 est obtenu. En particulier, les dimensions à jour sn+1 associées à l’objet virtuel à jour OVn+1 ont été déterminées de sorte à permettre une estimation de la longueur du véhicule voisin VV1 .
[0102] Par conséquent, le véhicule voisin VV1 peut être suivi entre les instants T0 et T1 tout en permettant une estimation de la longueur du véhicule voisin VV1 .

Claims

Revendications
[Revendication 1] Procédé de suivi d’au moins un véhicule voisin (VV1) présent dans un environnement (ENV) d’un véhicule principal (VP), ledit véhicule principal (VP) et ledit véhicule voisin (VV1) étant des véhicules automobiles, le procédé étant mis en oeuvre par un dispositif (2) configuré pour assurer une fonction d’assistance à la conduite du véhicule principal (VP), ledit dispositif (2) étant relié à au moins une caméra (1) embarquée sur le véhicule principal (VP) et apte à acquérir des images d’une scène environnant le véhicule principal (VP) selon au moins un champ de vue (FOV) et à des temps d’acquisition (T0,T1), le procédé comprenant les étapes suivantes :
- obtenir (400), pour un temps d’acquisition initial (T0), un premier ensemble de paramètres associés à un objet virtuel (OVn), ledit objet virtuel (OVn) étant associé à une détection du véhicule voisin (VV1) dans l’environnement (ENV),
- détecter (410), à partir d’au moins une première image acquise à un premier temps d’acquisition (T1) ultérieur au temps d’acquisition initial (T0), un objet (OBJ) présentant un plan vertical s’étendant latéralement par rapport au véhicule principal (VP), ledit objet (OBJ) étant associé à un deuxième ensemble de paramètres,
- si (420) un premier critère est satisfait, assurer le suivi du véhicule voisin (VV1) entre le temps d’acquisition initial (T0) et le premier temps d’acquisition (T1) en mettant à jour (430) le premier ensemble de paramètres à partir du deuxième ensemble de paramètres, ladite mise à jour (430) comprenant, si (440) un deuxième critère est satisfait, une estimation (450) d’une longueur associée à l’objet virtuel (OV).
[Revendication 2] Procédé selon la revendication 1 , dans lequel le premier critère est satisfait si une distance entre au moins un premier élément du premier ensemble de paramètres et un deuxième élément du deuxième ensemble de paramètres n’excède pas un premier seuil prédéfini.
[Revendication 3] Procédé selon l’une quelconque revendications précédentes, le premier ensemble de paramètres incluant une première position (pn) associée à l’objet virtuel (OVn) et le deuxième ensemble de paramètres incluant une deuxième position (p*) associée à l’objet détecté (OBJ), et dans lequel le premier critère est satisfait au moins si un écart entre la première position (p„) et la deuxième position (p*) n’excède pas un premier seuil de position prédéfini.
[Revendication 4] Procédé selon l’une quelconque des revendications précédentes, le premier ensemble de paramètres incluant une première vitesse (v„) associée à l’objet virtuel (OVn) et le deuxième ensemble de paramètres incluant une deuxième vitesse (v*) associée à l’objet détecté (OBJ), et dans lequel le premier critère est satisfait au moins si un écart entre la première vitesse (v„) et la deuxième vitesse (v*) n’excède pas un premier seuil de vitesse prédéfini.
[Revendication 5] Procédé selon l’une quelconque des revendications précédentes, un premier ensemble de pixels et un deuxième ensemble de pixels étant respectivement associés à l’objet virtuel (OVn) et à l’objet détecté (OBJ) sur la première image acquise, et dans lequel le premier critère est satisfait si une distance entre ledit premier ensemble de pixels et ledit deuxième ensemble de pixels n’excède pas un premier seuil prédéfini.
[Revendication 6] Procédé selon l’une quelconque des revendications précédentes, le premier ensemble de paramètres incluant une première position (pn) associée à l’objet virtuel (OVn) et le deuxième ensemble de paramètres incluant une deuxième position (p*) associée à l’objet détecté (OBJ), et dans lequel le deuxième critère est satisfait au moins si un écart entre la première position (p„) et la deuxième position (p*) n’excède pas un deuxième seuil de position prédéfini.
[Revendication 7] Procédé selon l’une quelconque des revendications précédentes, un premier ensemble de pixels étant associé à l’objet virtuel (OVn) sur la première image acquise, et dans lequel le deuxième critère est satisfait si au moins un des éléments suivants est satisfait :
- une taille du premier ensemble de pixels n’excède pas un deuxième seuil prédéfini,
- un ratio entre la taille du premier ensemble de pixels et un nombre de pixels occupé par le véhicule voisin (VV1) lorsqu’une face frontale du véhicule voisin (VV1) est visible dans le champ de vue (FOV) n’excède pas un ratio prédéfini.
[Revendication 8] Procédé selon l’une quelconque des revendications précédentes, le premier ensemble de paramètres incluant une première position (pn) associée à l’objet virtuel (OVn) et le deuxième ensemble de paramètres incluant une deuxième position (p*) associée à l’objet détecté (OBJ), le premier ensemble de paramètres incluant des premières dimensions (s„) associées à l’objet virtuel (OVn), et dans lequel l’estimation de la longueur inclut un rallongement d’une dimension (s„(X)) parmi les premières dimensions (s„) d’une valeur relative à un écart entre la première position (p„) et la deuxième position (p*)-
[Revendication 9] Procédé selon l’une quelconques des revendications précédentes, le premier ensemble de paramètres incluant une première position (p„) associée à l’objet virtuel (OVn) et le deuxième ensemble de paramètres incluant une deuxième position (p*) associée à l’objet détecté (OBJ), et dans lequel la première position (p„) et la deuxième position (p*) correspondent, dans un système de coordonnées prédéfini, à des ensemble de coordonnées associés à des portions de l’environnement (ENV) respectivement occupées par l’objet virtuel (OVn) et l’objet détecté (OBJ).
[Revendication 10] Procédé selon l’une quelconque des revendications précédentes, dans lequel le suivi du véhicule voisin (VV1) est assuré pour une pluralité de temps d’acquisition en réitérant les étapes de détection (410), de mise à jour (430) et d’estimation (450) pour une pluralité d’objets détectés à partir d’une pluralité d’images acquises aux temps d’acquisition de ladite pluralité de temps d’acquisition.
[Revendication 11] Procédé selon l’une quelconque des revendications précédentes, dans lequel le suivi du véhicule voisin (VV1) prend fin à un temps d’acquisition final lorsqu’une probabilité d’existence dans le champ de vue (FOV) associée au véhicule voisin VV1 est inférieur à un seuil prédéfini, ladite probabilité d’existence dépendant au moins d’un écart entre les temps d’acquisition initial (T0) et final et des premier et deuxième ensembles de paramètres.
[Revendication 12] Dispositif configuré pour assurer une fonction d’assistance à la conduite d’un véhicule principal (VP) en assurant un suivi d’un véhicule voisin (VV1) présent dans un environnement (ENV) d’un véhicule principal (VP), ledit dispositif (2) étant relié à au moins une caméra (1) embarquée sur le véhicule principal (VP) et apte à acquérir des images d’une scène environnant le véhicule principal (VP) selon au moins un champ de vue (FOV) et à des temps d’acquisition (T0,T1), ledit dispositif (2) étant configuré pour assurer le suivi du véhicule voisin (VV1) par la mise en œuvre du procédé selon l’une des revendications 1 à 11 par un processeur dudit dispositif (2).
[Revendication 13] Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé selon l’une des revendications 1 à 11 lorsque ce programme est exécuté par un processeur.
PCT/EP2024/082248 2023-11-13 2024-11-13 Suivi de véhicules par suivi d'objets latéraux Pending WO2025104124A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2312387A FR3155345A1 (fr) 2023-11-13 2023-11-13 Suivi de véhicules par suivi d’objets latéraux
FRFR2312387 2023-11-13

Publications (1)

Publication Number Publication Date
WO2025104124A1 true WO2025104124A1 (fr) 2025-05-22

Family

ID=89661680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/082248 Pending WO2025104124A1 (fr) 2023-11-13 2024-11-13 Suivi de véhicules par suivi d'objets latéraux

Country Status (2)

Country Link
FR (1) FR3155345A1 (fr)
WO (1) WO2025104124A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136479A1 (fr) * 2018-01-08 2019-07-11 The Regents On The University Of California Suivi de véhicules environnants et prédiction de mouvement
US20200327343A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Proximate vehicle localization and identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136479A1 (fr) * 2018-01-08 2019-07-11 The Regents On The University Of California Suivi de véhicules environnants et prédiction de mouvement
US20200327343A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Proximate vehicle localization and identification

Also Published As

Publication number Publication date
FR3155345A1 (fr) 2025-05-16

Similar Documents

Publication Publication Date Title
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
EP3455788A1 (fr) Procédé de traitement d&#39;image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol
US12450918B2 (en) Automatic lane marking extraction and classification from lidar scans
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
FR3146523A1 (fr) Procédé d’estimation de la vitesse d’un véhicule
FR3056530B1 (fr) Detection d&#39;obstacles par fusion d&#39;objets pour vehicule automobile
FR3056531B1 (fr) Detection d&#39;obstacles pour vehicule automobile
FR3054672B1 (fr) Procede et systeme d&#39;association de donnees de detection et de suivi d&#39;objets mobile pour vehicule automobile
WO2025104124A1 (fr) Suivi de véhicules par suivi d&#39;objets latéraux
FR3047589A1 (fr) Procede et dispositif d&#39;estimation de la position laterale d&#39;un vehicule dans une voie de circulation
FR3098778A1 (fr) Procédé et dispositif embarqué d’aide à la conduite avec tracé de contour de voie dépassé
WO2025104114A1 (fr) Suivi anticipé d&#39;objets latéraux
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d&#39;objets sur des images d&#39;une scene
WO2025104133A1 (fr) Détection de segments
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
EP4090565B1 (fr) Procédé et dispositif de contrôle d&#39;un vehicule
FR3151816A1 (fr) Procédé de détection d’objets dynamiques
FR3132487A1 (fr) Procédé de détection d’une ligne centrale d’une voie de circulation
FR3137780A1 (fr) Procédé et dispositif de détermination d’un tracé arrière d’au moins une délimitation latérale de voie de circulation
FR3118746A1 (fr) Procédé et dispositif d’aide à la conduite d’un véhicule circulant sur une chaussée comprenant plusieurs voies de circulation
EP3394571B1 (fr) Procédé et dispositif de détermination de positions spatiales et de paramètres cinématiques d&#39;objets dans l&#39;environnement d&#39;un véhicule
WO2024194543A1 (fr) Procede d&#39;analyse d&#39;un flux video, programme d&#39;ordinateur, dispositif de traitement et vehicule associes
WO2022112672A1 (fr) Procédé et dispositif de détermination d&#39;une ligne virtuelle de délimitation entre deux voies de circulation
WO2024256350A1 (fr) Procédé de caractérisation d&#39;une posture d&#39;un objet mobile se déplaçant sur un axe de circulation
EP4486614A1 (fr) Procédé et dispositif de contrôle de sélection d&#39;un véhicule cible d&#39;un système de régulation adaptative de vitesse d&#39;un véhicule

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24805542

Country of ref document: EP

Kind code of ref document: A1