[go: up one dir, main page]

WO2025223820A1 - Method for identifying a person in the vicinity of a motor vehicle - Google Patents

Method for identifying a person in the vicinity of a motor vehicle

Info

Publication number
WO2025223820A1
WO2025223820A1 PCT/EP2025/059522 EP2025059522W WO2025223820A1 WO 2025223820 A1 WO2025223820 A1 WO 2025223820A1 EP 2025059522 W EP2025059522 W EP 2025059522W WO 2025223820 A1 WO2025223820 A1 WO 2025223820A1
Authority
WO
WIPO (PCT)
Prior art keywords
individual
gait
vehicle
sensors
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2025/059522
Other languages
French (fr)
Inventor
Norbert Rossello
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ampere SAS
Original Assignee
Ampere SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ampere SAS filed Critical Ampere SAS
Publication of WO2025223820A1 publication Critical patent/WO2025223820A1/en
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/60Indexing scheme relating to groups G07C9/00174 - G07C9/00944
    • G07C2209/63Comprising locating means for detecting the position of the data carrier, i.e. within the vehicle or within a certain distance from the vehicle
    • G07C2209/64Comprising locating means for detecting the position of the data carrier, i.e. within the vehicle or within a certain distance from the vehicle using a proximity sensor

Definitions

  • the present invention relates to a method for identifying an individual in the vicinity of a motor vehicle, in particular for the purpose of authenticating him in order to determine whether the individual is associated or not with said motor vehicle.
  • Vehicle access via connected devices is a technology deployed in automobiles. It emerged thanks to the evolution of wireless networks, Bluetooth connectivity, and Internet of Things (IoT) technologies. Vehicle access via connected devices is primarily used for simple functions, such as remotely unlocking vehicle doors using a smartphone or remote control.
  • IoT Internet of Things
  • the Virtual Key solution relies on the creation of a physical device containing a BLE module that interacts with a wireless remote control from the BMW range. Access to the vehicle's doors and windows is via this remote control, which already has all the necessary pairing mechanisms with the vehicle, and in particular the module that operates the vehicle's doors and windows. This technology exists in the prior art.
  • Access to the vehicle without a connected device could be considered, so that the vehicle owner would no longer need a key or code to unlock their vehicle.
  • the vehicle would recognize people as they approach. identified as legitimate and can thus unlock the doors and then welcome them without any constraints for them.
  • Application KR 20220144186 describes a biometric authentication method that uses an individual's gait pattern as a means of identification, along with a two-dimensional composite multiplier neural network model for classification.
  • US application 2022/0201389 discloses a method for locating a primary user performing a remote control operation of a vehicle and uses amplitude-modulated (AM) ultrasonic communication via an ultrasonic beamforming device.
  • AM amplitude-modulated
  • Application EP 4 139 177 describes a system for assessing the risk posed by a person approaching a vehicle equipped with surveillance cameras.
  • US application 2019/0051069 discloses a user recognition system for automated recognition in an autonomous vehicle that includes an environmental sensor, specifically to recognize a stop request gesture from the user.
  • Application EP 3 342 097 describes a device managing biometric information, allowing the user to register new biometric information, such as a fingerprint and information from a connected device.
  • US patent application 2020/0193005 discloses a method for unlocking a vehicle when the person approaching the vehicle matches an authorized individual. Images are acquired, and the person's gait and facial features are determined and compared to stored data.
  • the present invention addresses this need by means of, according to one of its aspects, a method for identifying an individual in the vicinity of a motor vehicle, using a plurality of sensors arranged on said vehicle, the method comprising at least the following steps when said individual approaches said motor vehicle: a) detecting his gait by means of at least one of said plurality of sensors, analyzing at least one parameter related to the gait, comparing it to previously established and recorded gait models and calculating a gait recognition score, b) detecting the face of said individual by means of at least one of said plurality of sensors, analyzing at least one parameter of said face, comparing it to previously established and recorded face models and calculating a facial recognition score, c) normalizing said scores according to reference scores, and d) merging said normalized gait recognition and facial recognition scores in order to obtain an identification score to identify whether or not the individual is associated with said motor vehicle.
  • the invention makes it possible to identify an individual based in particular on their way of walking, that is to say their gait.
  • This gait This can be considered a distinctive characteristic of the person, as it is unique and can be used to authenticate them.
  • the identification and authentication process involves a thorough analysis of how the person moves, including foot placement, arm movements, walking speed, and pace.
  • the merging of the two recognition techniques improves the accuracy of person identification and authentication by using information from each technique to compensate for any limitations of either. This combination results in more reliable and precise person recognition, reducing the risk of errors or uncertainties in identification.
  • the fusion system ensures vehicle security and protection by guaranteeing access only to authorized personnel. To achieve this, a final identification and authentication system is implemented before each individual is allowed to enter their vehicle. This system utilizes facial and gait recognition technologies, which the fusion system uses to verify the individual's identity by comparing these elements to a pre-populated database. Once the double recognition is successfully completed, access to the vehicle is granted. This security procedure guarantees the confidentiality and security of vehicles, preventing unauthorized access.
  • a vehicle owner can access their vehicle freely, without needing any connected devices. Thanks to this invention, the user can enter their vehicle completely naturally, without encountering any constraints or difficulties. In other words, there's no need to carry a key, a badge, or any other unlocking device, as the access system is fully automated and personalized.
  • the process according to the invention makes it possible to minimize the power consumed necessary for the implementation of its steps.
  • the vehicle's electronic system When the vehicle's electronic system processes data, it can consume significant power. Therefore, to preserve battery range, it is important to reduce power consumption. This consumption is maximized.
  • data processing is only activated when truly necessary. Thus, each step of the process is only advantageously initiated if the preceding step has validated its necessity. This approach therefore saves battery energy by avoiding unnecessary processing.
  • the vehicle's electronic system, particularly the multimedia system only uses its resources at the appropriate time, selectively, according to the needs of the task at hand. This technique aims to optimize battery life, which is crucial.
  • optimizing power consumption improves the energy efficiency of the multimedia system, which can also have significant environmental and economic implications. Indeed, reducing energy consumption helps to lessen the environmental impact of energy production and transmission activities.
  • Step b) of detecting the individual's face advantageously uses the analysis of at least one image of said individual, taken by at least one of said plurality of sensors.
  • At least one machine learning algorithm including at least one neural network, is used to establish gait models and face models.
  • Step a) can begin when an individual is detected near the vehicle at a predefined minimum distance, in particular between 2 and 5 meters.
  • the method according to the invention may further include an authentication step of the individual in order to authorize or deny them access to the vehicle, in particular by means of an authentication score.
  • Gait biometrics is a biometric technology that focuses on the unique characteristics of a person's gait. It is based on the fact that each person has a unique way of walking.
  • Gait recognition biometrics is a subset of behavioral biometrics, in which subjects can be identified by their gait. The theory Behind this recognition system lies the fact that each person has a unique gait. It's common for a familiar person to be recognized from a distance by their walk. This is one of the few recognition methods capable of identifying people remotely.
  • a person's gait is as unique as the timbre of their voice. Thanks to this knowledge, gait recognition technology can be implemented using machine learning (ML) algorithms.
  • ML machine learning
  • Walking speed is the distance covered by an individual during a given period of time.
  • Stride length corresponds to the distance traveled by a foot between two successive contacts with the ground
  • Foot contact time with the ground is the time during which a foot is in contact with the ground during a stride
  • Swing time is the duration for which one foot is in the air during a stride.
  • Stride length is the distance covered by both feet during one stride
  • Range of motion Range of motion is the distance traveled by a body limb during normal walking.
  • Symmetry of gait is the similarity between the movements of the left and right body during walking
  • the ankle angle is the angle formed between the foot and the leg during walking
  • pelvic movement is the amplitude of pelvic movement during walking
  • Walking cadence is the number of steps taken by an individual during a given period of time.
  • the knee angle is the angle formed by the leg and thigh during walking.
  • Hip height is the distance between the hip and the ground during walking.
  • Such an algorithm can use a deep neural network architecture to identify patterns and relationships between gait data and individual characteristics. Once the individual's gait model has been created, it can be used to recognize that person by comparing their gait characteristics to those of the model, identifying them if their gait recognition score is above a predetermined threshold.
  • Facial recognition is an identification and authentication method that uses facial features to uniquely identify a person. It is based on the analysis of the physical characteristics of the facial features such as interocular distance, jaw shape, nose-to-mouth distance, and cheek and eyebrow shape.
  • the authentication process for its part, consists of verifying that the identified person is indeed present and that, consequently, the system is not dealing with fraud by photo, video or mask, in particular.
  • Facial biometrics relies in particular on deep machine learning techniques that provide accurate and robust facial recognition. To achieve this, machine learning algorithms analyze a large number of facial images to identify common features and build a model that can detect and extract the same features in new images.
  • This model can then be used to compare an unknown face image to previously established and recorded face models, in order to identify the person when their facial recognition score is above a predetermined reference threshold.
  • the invention involves facial biometrics outside the vehicle. To achieve this, it must be able to function in a variety of environmental conditions, such as sunlight, wind, rain, or snow. It captures a person's face tracking in real-time video, even when that person is moving towards the vehicle.
  • Each biometric device behaves advantageously as a detection source, reporting whether a single hypothesis is true or false, and similarly for the opposing hypothesis.
  • these detectors produce a binary response based on a decision threshold: either they indicate detection (in our case, biometric detection), or identification (i.e., the hypothesis is true), or they indicate no detection (i.e., the hypothesis is false). They can therefore generate the following four situations: -
  • a "true positive” is a situation in which a test or model correctly predicts the existence of a hypothesis. In other words, a true positive is when the test result is positive and the tested condition actually exists.
  • test hypothesis is wrongly rejected, i.e., it is reported as positive when it is actually negative.
  • test hypothesis is wrongly accepted, i.e., it is reported as negative when it is actually positive.
  • a "true negative" occurs when a test hypothesis is correctly accepted as negative. This means that the test correctly indicates the absence of the targeted condition.
  • the false positive rate is the probability that a detection test incorrectly indicates the presence of a condition that is actually absent. It represents the proportion of false positive errors in detection tests.
  • the false negative rate is the probability that the detection method fails to correctly identify a condition that is actually present. It represents the proportion of false negative errors in detection tests.
  • the biometric detection system can be considered bimodal because it uses two biometrics that combine their detection scores. Therefore, score fusion applies.
  • a machine learning algorithm system for bimodal fusion biometric detection can be used. This system is advantageously made to learn in order to improve itself. This minimizes the system's energy consumption.
  • score fusion is the process of combining the results of multiple classifiers or detectors to produce a more accurate and reliable estimate.
  • the rationale for score fusion is that different models or classifiers utilize different characteristics. or different processing methods to represent the same object or phenomenon. Merging the scores of each model or classifier provides a more robust, complete, and accurate estimate.
  • Score fusion is the most common approach because scores generated by different detectors can be easily accessed and combined. This fusion is advantageously preceded by a score normalization step.
  • the established gait and facial patterns are preferably recorded beforehand in one or more reference databases. These patterns can then be used to compile statistics.
  • Distributions and histograms of scores from tests of legitimate and illegitimate or imposter applications are advantageously calculated.
  • the fusion of said standardized gait recognition and facial recognition scores is carried out by linear combination.
  • the following function is applied to the sets of gait detection #1 and face detection #2 scores to obtain the fusion statistic S:
  • N the number of scores from detections #1 and #2, s1 the N normalized scores from detection #1, s2 the N normalized scores from detection #2, oc e [0, 1]
  • the fusion scores are thus constructed by linear combination.
  • the gait recognition score and the facial recognition score are advantageously compared to predetermined reference thresholds.
  • the method according to the invention may use at least one video sensor, in particular one or more cameras, and may also utilize a radar sensor and/or an audio sensor. These sensors not only detect movements near the vehicle but also capture videos and images. This combination of sensors offers considerable potential for identifying a person outside the vehicle by providing precise information about their physical appearance, position, and movements.
  • Exterior vehicle video sensors are monitoring devices that capture images and videos of the surrounding environment. These sensors can be located in various places on the vehicle, such as the windshield, sides, and rear of the body. The primary purpose of exterior vehicle video sensors is to improve driver safety and visibility by detecting obstacles and potential hazards to help avoid collisions.
  • External radar sensors on a vehicle are sensors that use radio waves to detect objects and obstacles in the surrounding environment.
  • the radar sensor works by establishing its Radar Cross Section (RCS), which is a measure of an object's ability to reflect the radio waves emitted by a radar.
  • RCS Radar Cross Section
  • the RCS is determined by several factors, such as the object's size, shape, texture, and composition.
  • the RCS is used to assess an object's ability—potentially a pedestrian—to be detected by radar and to help determine the object's distance, speed, and direction relative to the vehicle.
  • These sensors can be placed in various locations on the vehicle, such as the front or rear bumper.
  • the primary benefit of external radar sensors on a vehicle is to improve safety by detecting obstacles and potential hazards on the road.
  • Radar sensors are particularly useful in situations of limited visibility, such as at night, in fog, or in rain. Radar sensors can detect the presence of moving or stationary objects near the vehicle, such as cars, pedestrians, animals, or obstacles. This type of sensor can therefore be used to improve driver assistance features. Any type of video, radar or other sensors can be used.
  • the method according to the invention may include a specific identification or re-identification step, which consists of identifying an individual who has already been previously identified, and the time interval between these two identifications is sufficiently short to reasonably assume that their fundamental characteristics have not changed between them. These fundamental characteristics, considered as prior knowledge, can then significantly assist other identification systems. It is thus possible to locate a specific person in a scene using information previously collected during their initial identification. This technique relies on the use of highly discriminating criteria, including:
  • - Gender a characteristic that allows us to distinguish people according to their male or female sex.
  • Estimating a person's height a criterion that can help identify a person within a group by taking into account their estimated height.
  • this characteristic allows for the identification of individuals by taking into account their overall silhouette, their build or their posture, pregnant woman,
  • this information can help differentiate people based on their attire.
  • the person's distinctive movements or gestures can also help to identify a person in a scene. Thanks to the combination of these discriminating criteria, the re-identification technique makes it possible to sort a specific person in a scene, even if they are not in the same position or context as during their first identification.
  • the method according to the invention may further include a step of recognizing the individual's voice by means of at least one of said plurality of sensors, said voice being compared to previously recorded voice models. Identification and authentication are thus carried out by voice biometrics, for example by asking the user to pronounce a secret phrase that would have previously enrolled them.
  • At least one of the sensors can therefore be an external microphone to capture the individual's voice so that they can be identified by voice biometrics.
  • the method according to the invention may further include a step of recognizing a specific gesture of the individual.
  • the user can perform a specific gesture known only to them, which would serve as additional authentication to secure access to the vehicle.
  • the method according to the invention may include a preliminary step of predicting the trajectory of individuals; if the detection is positive, indicating that the individual is approaching the vehicle, steps a) to d) are carried out.
  • This step involves estimating the pedestrian's trajectory towards the vehicle. This step triggers the more complex steps described earlier. This step must also be carried out with minimal energy consumption, as it operates in standby mode.
  • the pedestrian trajectory prediction problem consists of predicting where and in which direction the pedestrian will be in the future using information on the pedestrian and the environment. Predicting the trajectory of pedestrians is complex due to the uncertainty of their interaction with the environment.
  • the pedestrian kinematics model is a physical method for predicting a pedestrian's trajectory. It uses information such as the change in the pedestrian's position, initial velocity, acceleration, and direction.
  • the method according to the invention advantageously calculates the estimation and confirmation of a trajectory. Simply establishing that a pedestrian is heading towards the vehicle is sufficient to implement steps a) to d) of the method.
  • the models of both gait and facial biometrics are updated in real time.
  • the video data that enabled this decision is advantageously used to generate new feed data, such as validation or development data.
  • This data is distinct from the training data used to calculate the reference model values and the test data used to measure the model's accuracy.
  • the updated model can be evaluated against the test data after training is complete to measure its final performance.
  • Two machine learning algorithms can be used in parallel with those used to establish gait and facial models, in order to enhance future detections.
  • the performance of the gait and facial biometric detection models of the invention is improved. continuously using this new power data from the experiences of already authenticated users.
  • the invention relates to a device for identifying an individual in the vicinity of a motor vehicle, the device comprising a plurality of sensors arranged on said vehicle and being configured to perform at least the following steps when said individual approaches said motor vehicle: a) detect his gait by means of at least one of said plurality of sensors, analyze at least one parameter related to the gait, compare it to previously established and recorded gait models and calculate a gait recognition score, b) detect the face of said individual by means of at least one of said plurality of sensors, analyze at least one parameter of said face, compare it to previously established and recorded face models and calculate a facial recognition score, c) normalize said scores according to reference scores, and d) fuse said normalized gait recognition and facial recognition scores in order to obtain an identification score to identify whether or not the individual is associated with said motor vehicle.
  • the device advantageously includes at least one video sensor, in particular one or more cameras.
  • the device may also include a radar sensor and/or an audio sensor.
  • the invention relates to a motor vehicle comprising a powertrain and at least one identification device according to the invention.
  • Figure 1 illustrates an example of the implementation of the invention
  • Figure 2 represents a flowchart illustrating the example of implementation of the invention of Figure 1,
  • Figure 3 illustrates an example of the implementation of the invention on a motor vehicle
  • FIG 4 Figure 4 illustrates the recognition of the approach according to the invention
  • Figure 5 illustrates facial recognition according to the invention
  • FIG. 6a [Fig 6b] [Fig 6c] [Fig 6d] [Fig 6e] [Fig 6f]
  • Figures 6a to 6f are histograms and curves illustrating the principle of fusion
  • Figure 7 illustrates an example of the implementation of part of the invention
  • FIG 8 represents a flowchart illustrating the example of implementation of the invention of Figure 7,
  • Figure 9 illustrates another example of an implementation of the invention.
  • FIG 10 illustrates a variant embodiment of Figure 9.
  • Figure 1 illustrates an example of implementation of the invention.
  • step 0 the vehicle is parked, its sensors are ready to operate. An individual approaches the vehicle. In step 1, where the individual is standing at a distance greater than 5 meters, the basic pedestrian trajectory estimation begins, as described previously.
  • step 2 if the individual approaches within a distance of less than 5 meters, specific identification or re-identification is triggered.
  • step 3 the individual's gait is detected by means of a plurality of sensors, visible in Figure 3. At least one parameter related to the The individual's gait is analyzed and compared to previously established and recorded gait models. A gait recognition score is calculated. These steps are also performed for facial biometrics, with a facial recognition score being calculated. These scores are then normalized.
  • step 4 and 5 the standardized gait and facial recognition scores are merged to identify and authenticate the individual as being associated with the vehicle. Identification and authentication scores are then calculated.
  • step 6 specific identification or re-identification can be triggered again.
  • Step 7 corresponds to an optional step of recognizing the individual's voice by means of at least one of said plurality of sensors, said voice being compared to previously recorded voice models, and to an optional step of recognizing a particular gesture of the individual.
  • step 8 access to the vehicle may be granted to the individual if they have been properly identified and authenticated.
  • Figure 2 is a flowchart illustrating the invention and is broken down as follows:
  • the specific identification module establishes the instantaneous current classes.
  • the specific identification module establishes the instantaneous current classes and transmits them to the same pre-processing module to serve as reference classes.
  • Figure 3 shows the sensors and their location on the motor vehicle.
  • Figure 4 illustrates gait biometrics
  • Figure 5 illustrates facial biometrics, as described previously.
  • the internal architecture of the neural networks used is indicative and varies according to the needs and expected performance.
  • Figure 6a illustrates the possible responses provided by the sensors, as described previously.
  • the established gait and facial models are preferably pre-recorded in one or more reference databases. These models can then be used to generate statistics.
  • Distributions and histograms of scores from tests of legitimate and illegitimate or imposter applications are advantageously calculated.
  • Figure 6b illustrates an example of a histogram for a first biometric system #1 that could be assigned to facial biometrics and its associated DET curve, with ‘tar’ for ‘target’ representing the histogram of legitimate test scores, and ‘nontar’ for ‘non-target’ representing the histogram of sham test scores.
  • the red perpendicular bisector line intersects the EER.
  • Figure 6c illustrates an example of a histogram of a first biometric system #1 that could be assigned to the biometrics of gait and its associated DET curve, with the same notations as for Figure 6b.
  • Figure 6e shows the EER of the fusion of the two biometrics.
  • a minimum EER is observed for an oc_min of 0.62.
  • the linear combination fusion is therefore optimal for this a_min.
  • the optimal fusion produces a DET curve lower than the two DET curves of detection systems #1 and #2, with a lower minimum EER.
  • the optimal fusion is therefore the most selective.
  • This fusion with this oc_min generates a DET curve lower than each of the two DET curves of detection systems #1 and #2, but also lower than all those resulting from the same fusion with a different oc_min. This fusion with this oc_min is therefore the most selective.
  • Figure 7 illustrates an example of trajectory detection using the front left side radar.
  • the ego vehicle is parked.
  • the ego vehicle's front side radar receives the echo from the target person. If the person's trajectory simply converges towards the ego vehicle's radar, this triggers the more complex identification steps according to the invention.
  • FIG. 8 is a flowchart illustrating the processing for a radar and is broken down as follows:
  • the radar receives the "Radar Cross Section” or (RCS radar cross section)
  • the radar establishes the polar coordinates of visible targets for a maximum of 10.
  • Figure 9 illustrates another example of implementing the invention, using machine learning algorithms (3’) in parallel with those used to establish gait and face models.
  • this data is transmitted to enhance subsequent detections.
  • the invention is not limited to the examples just described.
  • the arrangement and number of sensors on the vehicle may differ.
  • neural networks used may differ.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method for identifying a person in the vicinity of a motor vehicle using sensors arranged on the vehicle, the method comprising the following steps when the person approaches the motor vehicle: a) detecting their gait by means of the sensors, analysing at least one gait-related parameter, comparing it with previously recorded and established gait models and calculating a gait recognition score; b) detecting the face of the person by means of the sensors, analysing at least one parameter of the face, comparing it with previously recorded and established face models and calculating a face recognition score; c) normalising the scores according to reference scores; d) fusing the normalised gait recognition and face recognition scores in order to identify whether or not the person is associated with the motor vehicle.

Description

Description Description

Titre : Procédé d’identification d’un individu aux abords d’un véhicule automobile Title: Method for identifying an individual near a motor vehicle

Domaine technique technical field

La présente invention concerne un procédé d’identification d’un individu aux abords d’un véhicule automobile, notamment en vue de son authentification afin de déterminer si l’individu est associé ou non audit véhicule automobile. The present invention relates to a method for identifying an individual in the vicinity of a motor vehicle, in particular for the purpose of authenticating him in order to determine whether the individual is associated or not with said motor vehicle.

Technique antérieure Previous technique

L'accès aux véhicules par des objets connectés est une technologie déployée dans les véhicules automobiles. Elle est apparue grâce à l'évolution des réseaux sans fil, de la connectivité Bluetooth et des technologies de l'Internet des Objets (loT). L'accès au véhicule par objet connecté est principalement utilisé pour des fonctions simples, telles que l'ouverture des portes du véhicule à distance à l'aide d'un smartphone ou d'une télécommande. Access to vehicles via connected devices is a technology deployed in automobiles. It emerged thanks to the evolution of wireless networks, Bluetooth connectivity, and Internet of Things (IoT) technologies. Vehicle access via connected devices is primarily used for simple functions, such as remotely unlocking vehicle doors using a smartphone or remote control.

Renault par son projet Virtual Key basé sur la technologie Bluetooth Low Energy (BLE) offre cette prestation pour le confort client. La solution Virtual Key s’appuie sur la création d’un boitier physique contenant un module BLE qui interagit avec une télécommande à distance sans-fil de la gamme Renault. L’accès aux ouvrants se fait à travers cette télécommande à distance qui a déjà tous les mécanismes d’appairage avec le véhicule et en particulier le module qui actionne les ouvrants du véhicule. Cette technologie est présente dans l’art antérieur. Renault, through its Virtual Key project based on Bluetooth Low Energy (BLE) technology, offers this service for customer convenience. The Virtual Key solution relies on the creation of a physical device containing a BLE module that interacts with a wireless remote control from the Renault range. Access to the vehicle's doors and windows is via this remote control, which already has all the necessary pairing mechanisms with the vehicle, and in particular the module that operates the vehicle's doors and windows. This technology exists in the prior art.

Il est aussi possible de pouvoir gérer l’accès à sa voiture avec son smartphone plutôt qu’avec sa clef, ceci de façon interopérable avec le plus grand nombre de références de smartphones présents dans le monde. L'accès aux véhicules par des objets connectés est par conséquent un moyen mature d’accès au véhicule. It is also possible to manage access to your car with your smartphone rather than your key, with interoperability across the vast majority of smartphone models worldwide. Accessing vehicles via connected devices is therefore a mature method of vehicle access.

L'accès au véhicule sans appareil connecté pourrait être envisagé, de sorte que la personne propriétaire du véhicule n'a plus besoin ni de clé ni de code pour ouvrir son véhicule. Ce dernier reconnaîtrait à l'approche les personnes identifiées légitimes et peut ainsi déverrouiller les ouvrants puis les accueillir sans aucune contrainte pour eux. Access to the vehicle without a connected device could be considered, so that the vehicle owner would no longer need a key or code to unlock their vehicle. The vehicle would recognize people as they approach. identified as legitimate and can thus unlock the doors and then welcome them without any constraints for them.

La demande KR 20220144186 décrit une méthode d'authentification biométrique qui utilise le schéma de marche d'un individu comme moyen d'identification, ainsi qu’un modèle de réseau neuronal multiplicateur composite bidimensionnel pour la classification. Application KR 20220144186 describes a biometric authentication method that uses an individual's gait pattern as a means of identification, along with a two-dimensional composite multiplier neural network model for classification.

La demande US 2022/0201389 divulgue une méthode pour la localisation d'un utilisateur principal effectuant une opération de contrôle à distance d'un véhicule et utilise la communication par ultrasons modulés en amplitude (AM) via un dispositif de formation de faisceau ultrasonique. US application 2022/0201389 discloses a method for locating a primary user performing a remote control operation of a vehicle and uses amplitude-modulated (AM) ultrasonic communication via an ultrasonic beamforming device.

La demande EP 4 139 177 décrit un système pour évaluer le risque que représente une personne approchant un véhicule équipé de caméras de surveillance. Application EP 4 139 177 describes a system for assessing the risk posed by a person approaching a vehicle equipped with surveillance cameras.

La demande US 2019/0051069 divulgue un système de reconnaissance d'utilisateur pour une reconnaissance automatisée dans un véhicule autonome qui comprend un capteur environnemental, afin notamment de reconnaître un geste de demande d'arrêt de la part de l'utilisateur. US application 2019/0051069 discloses a user recognition system for automated recognition in an autonomous vehicle that includes an environmental sensor, specifically to recognize a stop request gesture from the user.

Il est connu de la demande internationale WO 2017/176618 d’utiliser la biométrie gestuelle et la biométrie cardiaque pour déterminer si un utilisateur est autorisé à utiliser le véhicule. International application WO 2017/176618 is known to use gesture biometrics and heart biometrics to determine whether a user is authorized to use the vehicle.

La demande EP 3 342 097 décrit un dispositif gérant des informations biométriques, permettant notamment à l'utilisateur d’enregistrer une nouvelle information biométrique, comme l’empreinte digitale et celle issue d’un appareil connecté. Application EP 3 342 097 describes a device managing biometric information, allowing the user to register new biometric information, such as a fingerprint and information from a connected device.

La demande US 2020/0193005 divulgue une méthode permettant de déverrouiller un véhicule lorsque la personne approchant le véhicule correspond à une personne autorisée. Des images sont acquises et le pas ainsi que les traits du visage de la personne sont déterminés et comparés à des données stockées. US patent application 2020/0193005 discloses a method for unlocking a vehicle when the person approaching the vehicle matches an authorized individual. Images are acquired, and the person's gait and facial features are determined and compared to stored data.

Exposé de l’invention Il existe ainsi un besoin pour perfectionner encore les moyens pour sélectionner et identifier un individu aux abords d’un véhicule automobile afin de faciliter l’accès éventuel audit véhicule. Description of the invention There is therefore a need to further improve the means of selecting and identifying an individual in the vicinity of a motor vehicle in order to facilitate possible access to said vehicle.

Résumé de l’invention Summary of the invention

Procédé d’identification Identification method

La présente invention répond à ce besoin grâce à, selon l’un de ses aspects, un procédé d’identification d’un individu aux abords d’un véhicule automobile, utilisant une pluralité de capteurs disposés sur ledit véhicule, le procédé comportant au moins les étapes suivantes lorsque ledit individu s’approche dudit véhicule automobile : a) détecter sa démarche par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre lié à la démarche, le comparer à des modèles de démarche établis et enregistrés au préalable et calculer un score de reconnaissance de démarche, b) détecter le visage dudit individu par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre dudit visage, le comparer à des modèles de visage établis et enregistrés au préalable et calculer un score de reconnaissance faciale, c) normaliser lesdits scores en fonction de scores de référence, et d) fusionner lesdits scores normalisés de reconnaissance de démarche et de reconnaissance faciale afin d’obtenir un score d’identification pour identifier si l’individu est associé ou non audit véhicule automobile. The present invention addresses this need by means of, according to one of its aspects, a method for identifying an individual in the vicinity of a motor vehicle, using a plurality of sensors arranged on said vehicle, the method comprising at least the following steps when said individual approaches said motor vehicle: a) detecting his gait by means of at least one of said plurality of sensors, analyzing at least one parameter related to the gait, comparing it to previously established and recorded gait models and calculating a gait recognition score, b) detecting the face of said individual by means of at least one of said plurality of sensors, analyzing at least one parameter of said face, comparing it to previously established and recorded face models and calculating a facial recognition score, c) normalizing said scores according to reference scores, and d) merging said normalized gait recognition and facial recognition scores in order to obtain an identification score to identify whether or not the individual is associated with said motor vehicle.

Grâce à l’invention, il est possible de sélectionner et de détecter un piéton qui se dirige vers le véhicule et qui pourrait potentiellement être le propriétaire du véhicule à identifier. Le véhicule est équipé d'un système sophistiqué qui lui permet d'estimer la trajectoire de l'utilisateur et de sécuriser une identification biométrique fiable. Thanks to this invention, it is possible to select and detect a pedestrian walking towards the vehicle who could potentially be the vehicle's owner. The vehicle is equipped with a sophisticated system that allows it to estimate the user's trajectory and secure reliable biometric identification.

L’invention permet d'identifier un individu en se basant notamment sur sa manière de marcher, c'est-à-dire sa démarche (en anglais « Gait »). Cette démarche peut être considérée comme une caractéristique distinctive de la personne, car elle est unique et peut être utilisée pour l'authentifier. Le processus d'identification et d'authentification implique une analyse approfondie de la façon dont la personne se déplace, y compris la façon dont elle positionne ses pieds, les mouvements de ses bras, sa vitesse de marche et son rythme. The invention makes it possible to identify an individual based in particular on their way of walking, that is to say their gait. This gait This can be considered a distinctive characteristic of the person, as it is unique and can be used to authenticate them. The identification and authentication process involves a thorough analysis of how the person moves, including foot placement, arm movements, walking speed, and pace.

La fusion des deux techniques de reconnaissance permet d'améliorer la précision de l'identification et de l'authentification de la personne, en utilisant les informations provenant de chaque technique pour compenser les éventuelles limites de l'une ou de l'autre. La fusion de ces deux techniques permet ainsi d'obtenir une reconnaissance plus fiable et plus précise de la personne, en réduisant les risques d'erreurs ou d'incertitudes dans l'identification. The merging of the two recognition techniques improves the accuracy of person identification and authentication by using information from each technique to compensate for any limitations of either. This combination results in more reliable and precise person recognition, reducing the risk of errors or uncertainties in identification.

La fusion garantit la sécurité et la protection des véhicules en veillant à ce que seules les personnes autorisées y aient accès. Pour y parvenir, un système d'identification et d'authentification finale de la personne est mis en place avant de lui permettre de rentrer dans son véhicule. Ce système utilise des technologies de reconnaissance faciale et de la démarche, dont la fusion permet de vérifier l'identité de la personne en comparant ces éléments à une base de données préalablement complétée. Une fois que la double reconnaissance a été effectuée avec succès, l'accès au véhicule est autorisé. Cette procédure de sécurité garantit la confidentialité et la sécurité des véhicules, en évitant que des personnes non autorisées y aient accès. The fusion system ensures vehicle security and protection by guaranteeing access only to authorized personnel. To achieve this, a final identification and authentication system is implemented before each individual is allowed to enter their vehicle. This system utilizes facial and gait recognition technologies, which the fusion system uses to verify the individual's identity by comparing these elements to a pre-populated database. Once the double recognition is successfully completed, access to the vehicle is granted. This security procedure guarantees the confidentiality and security of vehicles, preventing unauthorized access.

Le propriétaire d'un véhicule peut y accéder librement, sans avoir besoin d'aucun objet connecté avec lui. Grâce à l’invention, l'utilisateur peut entrer dans son véhicule de manière tout à fait naturelle, sans rencontrer aucune contrainte ni difficulté. En d'autres termes, il n'est pas nécessaire de transporter une clé, un badge ou tout autre dispositif de déverrouillage, car le système d'accès est entièrement automatisé et personnalisé. A vehicle owner can access their vehicle freely, without needing any connected devices. Thanks to this invention, the user can enter their vehicle completely naturally, without encountering any constraints or difficulties. In other words, there's no need to carry a key, a badge, or any other unlocking device, as the access system is fully automated and personalized.

Le procédé selon l’invention permet de minimiser la puissance consommée nécessaire à la mise en œuvre de ses étapes. The process according to the invention makes it possible to minimize the power consumed necessary for the implementation of its steps.

Lorsque le dispositif électronique du véhicule effectue des traitements de données, cela peut engendrer une consommation importante de puissance. Par conséquent, pour préserver l'autonomie de la batterie, il est important de réduire au maximum cette consommation. Dans le cas de l’invention, afin d’optimiser la consommation de puissance, les traitements de données ne sont activés que lorsque cela est vraiment nécessaire. Ainsi, chaque étape du procédé ne s'enclenche avantageusement que si la précédente a validé sa nécessité d'enclenchement. Cette approche permet donc d'économiser l'énergie de la batterie en évitant des traitements inutiles. Le dispositif électronique du véhicule, notamment le système multi média, ne fait appel à ses ressources qu'au moment opportun, de façon sélective, en fonction des besoins de la tâche en cours. Cette technique vise à optimiser l'autonomie de la batterie, ce qui est crucial. When the vehicle's electronic system processes data, it can consume significant power. Therefore, to preserve battery range, it is important to reduce power consumption. This consumption is maximized. In the case of the invention, to optimize power consumption, data processing is only activated when truly necessary. Thus, each step of the process is only advantageously initiated if the preceding step has validated its necessity. This approach therefore saves battery energy by avoiding unnecessary processing. The vehicle's electronic system, particularly the multimedia system, only uses its resources at the appropriate time, selectively, according to the needs of the task at hand. This technique aims to optimize battery life, which is crucial.

En outre, en optimisant la consommation de puissance, on améliore donc l'efficacité énergétique du système multi média, ce qui peut aussi avoir des implications importantes sur le plan environnemental et économique. En effet, une réduction de la consommation d'énergie permet de réduire l'impact environnemental des activités de production et de transport d'énergie. Furthermore, optimizing power consumption improves the energy efficiency of the multimedia system, which can also have significant environmental and economic implications. Indeed, reducing energy consumption helps to lessen the environmental impact of energy production and transmission activities.

L’étape b) de détection du visage de l’individu utilise avantageusement l’analyse d’au moins une image dudit individu, prise par l’un au moins de ladite pluralité de capteurs. Step b) of detecting the individual's face advantageously uses the analysis of at least one image of said individual, taken by at least one of said plurality of sensors.

Dans un mode de réalisation préféré, au moins un algorithme d'apprentissage automatique, notamment utilisant au moins un réseau de neurones, est utilisé pour établir les modèles de démarche et les modèles de visage. In a preferred embodiment, at least one machine learning algorithm, including at least one neural network, is used to establish gait models and face models.

L’étape a) peut débuter lorsqu’un individu est détecté aux abords du véhicule à une distance minimum prédéfinie, notamment comprise entre 2 et 5 mètres. Step a) can begin when an individual is detected near the vehicle at a predefined minimum distance, in particular between 2 and 5 meters.

Le procédé selon l’invention peut comporter en outre une étape d’authentification de l’individu afin de lui autoriser ou non l’accès au véhicule, notamment grâce à un score d’authentification. The method according to the invention may further include an authentication step of the individual in order to authorize or deny them access to the vehicle, in particular by means of an authentication score.

Biométrie de la démarche Biometrics of the gait

La biométrie de la démarche est une technologie biométrique qui se concentre sur les caractéristiques uniques de la démarche d'une personne. Elle est basée sur le fait que chaque personne a une façon unique de marcher. La biométrie de reconnaissance de la marche fait partie de la biométrie comportementale, dans laquelle les sujets peuvent être identifiés avec leur manière de marcher. La théorie derrière ce système de reconnaissance est que chaque personne a une démarche unique. Il est courant qu'une personne familière puisse être reconnue à distance par sa démarche. C'est l'une des rares méthodes de reconnaissance capable d'identifier les personnes à distance. Gait biometrics is a biometric technology that focuses on the unique characteristics of a person's gait. It is based on the fact that each person has a unique way of walking. Gait recognition biometrics is a subset of behavioral biometrics, in which subjects can be identified by their gait. The theory Behind this recognition system lies the fact that each person has a unique gait. It's common for a familiar person to be recognized from a distance by their walk. This is one of the few recognition methods capable of identifying people remotely.

La démarche d'une personne est aussi unique que le timbre de sa voix. Grâce à ces connaissances, une technologie de reconnaissance de la marche peut être mise en œuvre sur la base d'algorithmes d'apprentissage automatique/Machine Learning (ML). De nos jours, l'identification des individus par leur démarche se déploie pour les raisons suivantes : A person's gait is as unique as the timbre of their voice. Thanks to this knowledge, gait recognition technology can be implemented using machine learning (ML) algorithms. Today, identifying individuals by their gait is being deployed for the following reasons:

- la reconnaissance de la démarche fonctionne bien à distance, - Recognition of the approach works well remotely,

- la reconnaissance de la démarche peut être effectuée à partir d'une basse résolution vidéo et avec une instrumentation simple, - Gait recognition can be performed using low-resolution video and simple instrumentation.

- la reconnaissance de la démarche peut se faire sans la coopération des personnes, - Recognition of the approach can occur without the cooperation of individuals.

- la reconnaissance de la marche peut bien fonctionner tandis que d'autres fonctionnalités telles que les visages et les empreintes digitales ne sont pas disponible, - Gait recognition may work well while other features such as faces and fingerprints are not available.

- les caractéristiques de la démarche sont généralement difficiles à imiter. - the characteristics of the approach are generally difficult to imitate.

L’analyse de la démarche se concentre avantageusement sur un éventail de caractéristiques personnelles au moins comme suit et de manière non exhaustive: The analysis of the approach focuses advantageously on a range of personal characteristics, at least as follows and in a non-exhaustive manner:

- vitesse de la marche : la vitesse de la marche est la distance parcourue par un individu pendant une période donnée de temps, - Walking speed: Walking speed is the distance covered by an individual during a given period of time.

- longueur de la foulée : la longueur de la foulée correspond à la distance parcourue par un pied entre deux contacts successifs avec le sol, - Stride length: Stride length corresponds to the distance traveled by a foot between two successive contacts with the ground,

- temps de contact du pied avec le sol : le temps de contact du pied avec le sol est le temps pendant lequel un pied est en contact avec le sol pendant une foulée,- Foot contact time with the ground: Foot contact time with the ground is the time during which a foot is in contact with the ground during a stride,

- temps de swing : le temps de swing est la durée pendant laquelle un pied est en l'air pendant une foulée, - Swing time: Swing time is the duration for which one foot is in the air during a stride.

- longueur des pas : la longueur des pas est la distance parcourue par les deux pieds pendant une foulée, - amplitude des mouvements : l'amplitude des mouvements est la distance parcourue par un membre du corps pendant une marche normale, - Stride length: stride length is the distance covered by both feet during one stride, - Range of motion: Range of motion is the distance traveled by a body limb during normal walking.

- symétrie de la démarche : la symétrie de la démarche est la similitude entre les mouvements du corps gauche et droit pendant la marche, - Symmetry of gait: Symmetry of gait is the similarity between the movements of the left and right body during walking,

- angle de la cheville : l'angle de la cheville est l'angle formé entre le pied et la jambe pendant la marche, - ankle angle: the ankle angle is the angle formed between the foot and the leg during walking,

- mouvement du bassin : le mouvement du bassin est l'amplitude du mouvement du bassin pendant la marche, - Pelvic movement: pelvic movement is the amplitude of pelvic movement during walking,

- cadence de la marche : la cadence de la marche est le nombre de pas effectués par un individu pendant une période donnée de temps, - Walking cadence: Walking cadence is the number of steps taken by an individual during a given period of time.

- angle du genou : l'angle du genou est l'angle formé par la jambe et la cuisse pendant la marche, - Knee angle: The knee angle is the angle formed by the leg and thigh during walking.

- la taille : répertorier que la personne recherchée est très grande ou très petite peut aider à la sélection, - Height: noting that the person being sought is very tall or very short can help with the selection process.

- hauteur de la hanche : la hauteur de la hanche est la distance entre la hanche et le sol pendant la marche. - Hip height: Hip height is the distance between the hip and the ground during walking.

Ces caractéristiques peuvent ensuite être analysées à l'aide d'au moins un algorithme de reconnaissance de modèles basé sur l'apprentissage automatique (Machine Learning en anglais, ou ML) pour créer un modèle unique de la démarche de l'individu. These characteristics can then be analyzed using at least one machine learning-based pattern recognition algorithm to create a unique model of the individual's gait.

Un tel algorithme peut utiliser une architecture à base de réseaux neuronaux profonds pour identifier des modèles et des relations entre les données de la démarche et les caractéristiques de l'individu. Une fois que le modèle de la démarche de l'individu a été créé, il peut être utilisé pour reconnaître cette personne en comparant les caractéristiques de sa démarche à celles du modèle, afin de l'identifier si son score de reconnaissance de démarche est supérieur à un seuil de référence prédéterminé.. Such an algorithm can use a deep neural network architecture to identify patterns and relationships between gait data and individual characteristics. Once the individual's gait model has been created, it can be used to recognize that person by comparing their gait characteristics to those of the model, identifying them if their gait recognition score is above a predetermined threshold.

Biométrie faciale Facial biometrics

La reconnaissance faciale est une méthode d'identification et d’authentification qui utilise les traits du visage pour identifier une personne de manière unique. Elle est basée sur l'analyse des caractéristiques physiques du visage telles que la distance interoculaire, la forme de la mâchoire, la distance nez- bouche, la forme des joues et des sourcils. Facial recognition is an identification and authentication method that uses facial features to uniquely identify a person. It is based on the analysis of the physical characteristics of the facial features such as interocular distance, jaw shape, nose-to-mouth distance, and cheek and eyebrow shape.

Le traitement d’authentification, pour sa part, consiste à vérifier que la personne identifiée est bien présente et que par conséquent le système n’est pas en présence d’une fraude par photo, vidéo ou masque, notamment. The authentication process, for its part, consists of verifying that the identified person is indeed present and that, consequently, the system is not dealing with fraud by photo, video or mask, in particular.

La biométrie faciale est notamment basée sur des techniques d'apprentissage profonds automatique offrant une reconnaissance faciale précise et robuste. Pour ce faire, les algorithmes de Machine Learning analysent un grand nombre d'images de visages afin d'identifier des caractéristiques communes et de construire un modèle qui permettra de détecter et d'extraire les mêmes caractéristiques dans de nouvelles images. Facial biometrics relies in particular on deep machine learning techniques that provide accurate and robust facial recognition. To achieve this, machine learning algorithms analyze a large number of facial images to identify common features and build a model that can detect and extract the same features in new images.

Ce modèle peut ensuite être utilisé pour comparer une image de visage inconnue à des modèles de visage établis et enregistrés au préalable, afin d'identifier la personne lorsque son score de reconnaissance faciale est supérieur à un seuil de référence prédéterminé. This model can then be used to compare an unknown face image to previously established and recorded face models, in order to identify the person when their facial recognition score is above a predetermined reference threshold.

Dans l’invention, la biométrie faciale à l'extérieur du véhicule. Pour ce faire elle doit être capable de fonctionner dans une variété de conditions environnementales, telles que la lumière du soleil, le vent, la pluie ou la neige. Elle capture le suivi de visage d'une personne dans une vidéo en temps réel, même lorsque cette personne est en mouvement d’approche du véhicule. The invention involves facial biometrics outside the vehicle. To achieve this, it must be able to function in a variety of environmental conditions, such as sunlight, wind, rain, or snow. It captures a person's face tracking in real-time video, even when that person is moving towards the vehicle.

Fusion Fusion

Les scores normalisés de reconnaissance de démarche et de reconnaissance faciale sont fusionnés. The standardized scores for gait recognition and facial recognition are merged.

Chaque biométrie se comporte avantageusement comme une source de détection reportant si une hypothèse unique est vraie ou fausse, de même pour l’hypothèse opposée. Cela signifie que ces détecteurs produisent une réponse binaire à partir d'un seuil de décision : soit ils indiquent qu'il y a une détection, dans notre cas biométrique, soit une identification, c'est-à-dire que l'hypothèse est vraie, soit ils indiquent qu'il n'y a pas de détection, c'est-à-dire que l'hypothèse est fausse. Ils peuvent donc générer les quatre situations suivantes : - le « vrai positif » est une situation dans laquelle un test ou un modèle prédit correctement l'existence d'une hypothèse. En d'autres termes, un vrai positif est lorsque le résultat du test est positif et que la condition testée existe réellement.Each biometric device behaves advantageously as a detection source, reporting whether a single hypothesis is true or false, and similarly for the opposing hypothesis. This means that these detectors produce a binary response based on a decision threshold: either they indicate detection (in our case, biometric detection), or identification (i.e., the hypothesis is true), or they indicate no detection (i.e., the hypothesis is false). They can therefore generate the following four situations: - A "true positive" is a situation in which a test or model correctly predicts the existence of a hypothesis. In other words, a true positive is when the test result is positive and the tested condition actually exists.

- le « faux positif » se produit lorsqu'une hypothèse de test est rejetée à tort, c'est- à-dire qu'elle est signalée comme positive alors qu'elle est en réalité négative.- A "false positive" occurs when a test hypothesis is wrongly rejected, i.e., it is reported as positive when it is actually negative.

- le « faux négatif » se produit lorsqu'une hypothèse de test est acceptée à tort, c'est-à-dire qu'elle est signalée comme négative alors qu'elle est en réalité positive.- A "false negative" occurs when a test hypothesis is wrongly accepted, i.e., it is reported as negative when it is actually positive.

- le « vrai négatif » se produit lorsqu'une hypothèse de test est correctement acceptée comme négative. Cela signifie que le test indique correctement l'absence de la condition ciblée. - A "true negative" occurs when a test hypothesis is correctly accepted as negative. This means that the test correctly indicates the absence of the targeted condition.

Ceci explique pourquoi, dans les statistiques et l'apprentissage automatique, diverses métriques telles que la précision, le rappel et le score F1 peuvent être utilisées pour évaluer les mesures de performances du modèle. This explains why, in statistics and machine learning, various metrics such as accuracy, recall, and F1 score can be used to evaluate model performance measures.

On définit de manière connue : We define in a well-known way:

- le taux de faux positifs (False Positive Rate, FPR) est la probabilité que la détection signale à tort la présence d'une condition qui est en réalité absente. C'est la proportion d'erreurs de type faux positif dans le cadre de tests de détection. - The false positive rate (FPR) is the probability that a detection test incorrectly indicates the presence of a condition that is actually absent. It represents the proportion of false positive errors in detection tests.

- le taux de faux négatifs (False Negative Rate, FNR) est la probabilité que la détection ne parvienne pas à identifier correctement une condition qui est réellement présente. C'est la proportion d'erreurs de faux négatifs dans le cadre de tests de détection. - The false negative rate (FNR) is the probability that the detection method fails to correctly identify a condition that is actually present. It represents the proportion of false negative errors in detection tests.

Dans l’invention, le système de détection biométrique peut être considéré comme bimodal car il utilise deux biométries qui combinent leurs scores de détection. Par conséquent, la fusion de scores s’applique. In the invention, the biometric detection system can be considered bimodal because it uses two biometrics that combine their detection scores. Therefore, score fusion applies.

Un système d’algorithmes d’apprentissage automatique de détection biométrique à fusion bimodale, et plus optionnellement, peut être utilisé. Ledit système est avantageusement rendu apprenant pour qu’il se perfectionne. Cela permet de minimiser la consommation d’énergie dudit système. A machine learning algorithm system for bimodal fusion biometric detection, and optionally more, can be used. This system is advantageously made to learn in order to improve itself. This minimizes the system's energy consumption.

Dans sa définition générale, la fusion des scores est le processus de combinaison des résultats de plusieurs classificateurs ou détecteurs pour produire une estimation plus précise et fiable. La raison d'être de la fusion des scores est la suivante : différents modèles ou classificateurs utilisent différentes caractéristiques ou différentes méthodes de traitement pour représenter le même objet ou phénomène. La fusion des scores de chaque modèle ou classificateur donne une estimation plus robuste, complète et précise. In its general definition, score fusion is the process of combining the results of multiple classifiers or detectors to produce a more accurate and reliable estimate. The rationale for score fusion is that different models or classifiers utilize different characteristics. or different processing methods to represent the same object or phenomenon. Merging the scores of each model or classifier provides a more robust, complete, and accurate estimate.

La fusion au niveau des scores est l'approche la plus courante car les scores générés par différents détecteurs peuvent être facilement consultés et combinés. Cette fusion est avantageusement précédée d'une étape de normalisation des scores. Score fusion is the most common approach because scores generated by different detectors can be easily accessed and combined. This fusion is advantageously preceded by a score normalization step.

Les modèles de démarche et de visage établis sont de préférence enregistrés au préalable dans une ou plusieurs bases de données de référence. Ces modèles peuvent être utilisés pour établir des statistiques. The established gait and facial patterns are preferably recorded beforehand in one or more reference databases. These patterns can then be used to compile statistics.

Des distributions et des histogrammes de scores issus des tests de candidatures légitimes et de candidatures non légitimes ou imposteurs sont avantageusement calculés. Distributions and histograms of scores from tests of legitimate and illegitimate or imposter applications are advantageously calculated.

Selon l’invention, la fusion desdits scores normalisés de reconnaissance de démarche et de reconnaissance faciale est effectuée par combinaison linéaire. According to the invention, the fusion of said standardized gait recognition and facial recognition scores is carried out by linear combination.

De préférence, la fonction suivante est appliquée aux ensembles de scores de détection de la démarche #1 et de détection du visage #2 pour obtenir la statistique de fusion S : Preferably, the following function is applied to the sets of gait detection #1 and face detection #2 scores to obtain the fusion statistic S:

[Math 1 ] [Math 1]

Avec i :1..N, N le nombre de scores issus des détections #! et #2, s1 les N scores normalisés de la détection #1 , s2 les N scores normalisés de la détection #2, oc e [0, 1] With i :1..N, N the number of scores from detections #1 and #2, s1 the N normalized scores from detection #1, s2 the N normalized scores from detection #2, oc e [0, 1]

Dans ce mode préféré de l’invention, les scores de fusion sont ainsi construits par combinaison linéaire. In this preferred mode of the invention, the fusion scores are thus constructed by linear combination.

Cette fusion est avantageusement optimisée en cherchant le a minimisant l’Equal Error Rate (ou EER) associée : This fusion is advantageously optimized by seeking the a that minimizes the associated Equal Error Rate (or EER):

[Math 2] oc e [0, 1], o min | EER( <K,Ù minimale [Math 2] oc e [0, 1], o min | EER( <K,Ù minimum

Le score de reconnaissance de démarche et le score de reconnaissance faciale sont avantageusement comparés à des seuils de référence prédéterminés. Capteurs The gait recognition score and the facial recognition score are advantageously compared to predetermined reference thresholds. Sensors

Le procédé selon l’invention peut utiliser au moins un capteur vidéo, notamment une ou plusieurs caméras, le procédé utilisant notamment en outre un capteur radar et/ou un capteur audio. Ces capteurs permettent non seulement de détecter les mouvements à proximité du véhicule, mais également de capturer des vidéos et des images. Cette combinaison de capteurs offre un potentiel considérable pour identifier une personne à l'extérieur du véhicule, en fournissant des informations précises sur son apparence physique, sa position et ses mouvements. The method according to the invention may use at least one video sensor, in particular one or more cameras, and may also utilize a radar sensor and/or an audio sensor. These sensors not only detect movements near the vehicle but also capture videos and images. This combination of sensors offers considerable potential for identifying a person outside the vehicle by providing precise information about their physical appearance, position, and movements.

Les capteurs vidéo extérieurs du véhicule sont des dispositifs de contrôle qui permettent de capturer des images et des vidéos de l'environnement extérieur. Ces capteurs peuvent être situées à différents endroits sur le véhicule, tels que le pare-brise, les côtés, et à l'arrière de la carrosserie. L'intérêt principal des capteurs vidéo extérieurs d'un véhicule est d'améliorer la sécurité et la visibilité du conducteur pour détecter les obstacles et les dangers potentiels afin d'éviter les collisions. Exterior vehicle video sensors are monitoring devices that capture images and videos of the surrounding environment. These sensors can be located in various places on the vehicle, such as the windshield, sides, and rear of the body. The primary purpose of exterior vehicle video sensors is to improve driver safety and visibility by detecting obstacles and potential hazards to help avoid collisions.

Les capteurs radar externes du véhicule sont des capteurs qui utilisent des ondes radio pour détecter des objets et des obstacles dans l'environnement extérieur. Le capteur radar fonctionne en établissant son RCS (Radar Cross Section) qui est une mesure de la capacité d'un objet à renvoyer les ondes radio émises par un radar. Le RCS est déterminé par plusieurs facteurs, tels que la taille, la forme, la texture et la composition de l'objet. Dans le contexte des capteurs radar automobiles, le RCS est utilisé pour évaluer la capacité d'un "objet", potentiellement un piéton, à être détecté par le radar et pour aider à déterminer la distance, la vitesse et la direction de cet objet par rapport au véhicule. Ces capteurs peuvent être placés à différents endroits du véhicule, comme le pare-chocs avant ou arrière. L'intérêt principal des capteurs radar externes d'un véhicule est d'améliorer la sécurité en détectant les obstacles et les dangers potentiels sur la route. Ces capteurs radar sont particulièrement utiles dans les situations de visibilité limitée, comme la nuit, par temps de brouillard ou de pluie. Les capteurs radar peuvent détecter la présence d'objets en mouvement ou immobiles à proximité du véhicule, tels que des voitures, des piétons, des animaux ou des obstacles. Ce type de capteur peut donc être utilisé pour améliorer les fonctions d'assistance à la conduite. Tout type de capteurs vidéo, radar ou autres peuvent être utilisés. External radar sensors on a vehicle are sensors that use radio waves to detect objects and obstacles in the surrounding environment. The radar sensor works by establishing its Radar Cross Section (RCS), which is a measure of an object's ability to reflect the radio waves emitted by a radar. The RCS is determined by several factors, such as the object's size, shape, texture, and composition. In the context of automotive radar sensors, the RCS is used to assess an object's ability—potentially a pedestrian—to be detected by radar and to help determine the object's distance, speed, and direction relative to the vehicle. These sensors can be placed in various locations on the vehicle, such as the front or rear bumper. The primary benefit of external radar sensors on a vehicle is to improve safety by detecting obstacles and potential hazards on the road. These radar sensors are particularly useful in situations of limited visibility, such as at night, in fog, or in rain. Radar sensors can detect the presence of moving or stationary objects near the vehicle, such as cars, pedestrians, animals, or obstacles. This type of sensor can therefore be used to improve driver assistance features. Any type of video, radar or other sensors can be used.

Identification spécifique Specific identification

Le procédé selon l’invention peut comporter une étape d’identification spécifique ou réidentification qui consiste à identifier un individu qui a déjà été précédemment identifié et que l'intervalle de temps entre ces deux identifications est suffisamment court pour que l'on puisse légitimement penser que ses caractéristiques fondamentales n'ont pas changé entre ces deux identifications. Ces caractéristiques fondamentales considérées comme des connaissances à priori peuvent alors aider considérablement les autres systèmes d'identification. Il est ainsi possible de retrouver une personne spécifique dans une scène en utilisant des informations préalablement collectées lors de sa première identification. Cette technique repose sur l'exploitation de critères fortement discriminants, notamment :The method according to the invention may include a specific identification or re-identification step, which consists of identifying an individual who has already been previously identified, and the time interval between these two identifications is sufficiently short to reasonably assume that their fundamental characteristics have not changed between them. These fundamental characteristics, considered as prior knowledge, can then significantly assist other identification systems. It is thus possible to locate a specific person in a scene using information previously collected during their initial identification. This technique relies on the use of highly discriminating criteria, including:

- la couleur de la peau : cette information permet de différencier les personnes selon leur teinte de peau, ce qui peut être utile pour identifier une personne dans une scène où plusieurs individus se ressemblent, - Skin color: this information allows us to differentiate people according to their skin tone, which can be useful for identifying a person in a scene where several individuals look alike.

- le genre : une caractéristique qui permet de distinguer les personnes selon leur sexe masculin ou féminin, - Gender: a characteristic that allows us to distinguish people according to their male or female sex.

- l'estimation de la taille de la personne : un critère qui peut aider à identifier une personne parmi un groupe en prenant en compte sa taille estimée, - Estimating a person's height: a criterion that can help identify a person within a group by taking into account their estimated height.

- la forme générale de la morphologie de la personne : cette caractéristique permet d'identifier des individus en prenant en compte leur silhouette générale, leur corpulence ou leur posture, femme enceinte, - the general shape of the person's morphology: this characteristic allows for the identification of individuals by taking into account their overall silhouette, their build or their posture, pregnant woman,

- les vêtements portés : cette information peut aider à différencier les personnes en fonction de leur tenue vestimentaire, - Clothing worn: this information can help differentiate people based on their attire.

- les accessoires portés tels que des chapeaux, des sacs ou des lunettes : ces objets distinctifs peuvent aider à identifier une personne dans une scène, - Accessories worn, such as hats, bags, or glasses: these distinctive items can help identify a person in a scene,

- les mouvements ou gestes distinctifs de la personne : des particularités comme un boitement, un balancement ou un geste spécifique peuvent également aider à identifier une personne dans une scène. Grâce à la combinaison de ces critères discriminants, la technique de réidentification permet de trier une personne spécifique dans une scène, même si elle ne se trouve pas dans la même position ou le même contexte que lors de sa première identification. - the person's distinctive movements or gestures: particularities such as a limp, a swaying gait or a specific gesture can also help to identify a person in a scene. Thanks to the combination of these discriminating criteria, the re-identification technique makes it possible to sort a specific person in a scene, even if they are not in the same position or context as during their first identification.

Ces critères sont avantageusement associés à des classes d’un modèle basé sur des techniques d'apprentissage profonds automatique permettant une détection de critères discriminants via différentes classes que l’on cherche à extraire de la personne à identifier. These criteria are advantageously associated with classes of a model based on deep machine learning techniques allowing the detection of discriminating criteria via different classes that we seek to extract from the person to be identified.

Autres reconnaissances Other recognitions

Le procédé selon l’invention peut comprendre en outre une étape de reconnaissance de la voix de l’individu par le biais de l’un au moins de ladite pluralité de capteurs, ladite voix étant comparée à des modèles de voix enregistrés au préalable. L'identification et l'authentification se font ainsi par biométrie vocale, en demandant par exemple à l'utilisateur de prononcer une phrase secrète qui l'aurait enrôlé au préalable. The method according to the invention may further include a step of recognizing the individual's voice by means of at least one of said plurality of sensors, said voice being compared to previously recorded voice models. Identification and authentication are thus carried out by voice biometrics, for example by asking the user to pronounce a secret phrase that would have previously enrolled them.

Au moins un des capteurs peut ainsi être un microphone extérieur pour capturer la voix de l’individu afin que celle-ci s’identifie par biométrie vocale. At least one of the sensors can therefore be an external microphone to capture the individual's voice so that they can be identified by voice biometrics.

Le procédé selon l’invention peut comprendre en outre une étape de reconnaissance d’un geste particulier de l’individu. L'utilisateur peut exécuter un geste particulier que lui seul connaît et qui servirait d’authentification supplémentaire pour sécuriser l’accès au véhicule. The method according to the invention may further include a step of recognizing a specific gesture of the individual. The user can perform a specific gesture known only to them, which would serve as additional authentication to secure access to the vehicle.

Estimation de la trajectoire des individus Estimating the trajectory of individuals

Le procédé selon l’invention peut comprendre une étape préalable de prédiction de trajectoire des individus, si la détection est positive, indiquant que l’individu s’approche du véhicule, les étapes a) à d) sont effectuées. The method according to the invention may include a preliminary step of predicting the trajectory of individuals; if the detection is positive, indicating that the individual is approaching the vehicle, steps a) to d) are carried out.

Cette étape consiste à estimer la trajectoire d'un piéton vers le véhicule. Cette étape permet d’enclencher les étapes plus complexes décrites précédemment. Cette étape doit également se dérouler avec un minimum d'énergie consommée car elle est fonctionnelle en veille. This step involves estimating the pedestrian's trajectory towards the vehicle. This step triggers the more complex steps described earlier. This step must also be carried out with minimal energy consumption, as it operates in standby mode.

Le problème de prédiction de la trajectoire d'un piéton consiste à prédire où et dans quelle direction le piéton sera dans le futur en utilisant des informations sur le piéton et l'environnement. La prédiction de la trajectoire des piétons est complexe en raison de l'incertitude de son interaction avec l’environnement. The pedestrian trajectory prediction problem consists of predicting where and in which direction the pedestrian will be in the future using information on the pedestrian and the environment. Predicting the trajectory of pedestrians is complex due to the uncertainty of their interaction with the environment.

Il existe deux types de méthodes connues pour prédire la trajectoire des piétons : les méthodes qui consistent à établir un modèle de la cinématique du piéton pour prédire sa trajectoire, puis récemment les méthodes basées sur la prédiction basées sur l'apprentissage en profondeur. Cependant, comme cette étape peut être la première à être mise en place pendant ce qui sera le cycle de veille du véhicule, elle se doit de consommer un minimum de ressources énergétiques. L’invention utilise avantageusement une estimation de trajectoire cinématique simple plutôt qu'un traitement par apprentissage profond qui serait trop coûteux en ressources à ce stade. There are two known methods for predicting pedestrian trajectories: methods that involve building a model of the pedestrian's kinematics to predict their trajectory, and more recently, prediction-based methods using deep learning. However, since this step may be the first to be implemented during the vehicle's standby cycle, it must consume minimal energy resources. The invention advantageously uses a simple kinematic trajectory estimation rather than deep learning processing, which would be too resource-intensive at this stage.

Le modèle de la cinématique du piéton est une méthode physique pour prédire la trajectoire d'un piéton. Elle utilise des informations telles que la variation de la position du piéton, sa vitesse initiale, son accélération et sa direction. The pedestrian kinematics model is a physical method for predicting a pedestrian's trajectory. It uses information such as the change in the pedestrian's position, initial velocity, acceleration, and direction.

Le procédé selon l’invention calcule avantageusement l'estimation et la confirmation d'une trajectoire. Seul le fait d'établir qu'un piéton a pour cap le véhicule peut suffire à mettre en œuvre les étapes a) à d) du procédé. The method according to the invention advantageously calculates the estimation and confirmation of a trajectory. Simply establishing that a pedestrian is heading towards the vehicle is sufficient to implement steps a) to d) of the method.

Modèles apprenants Learning models

Dans un mode de réalisation de l’invention, les modèles des deux biométries de la démarche et du visage sont mis à jour en temps différé. Chaque fois qu'un individu est correctement identifié et authentifié, les données vidéo qui ont permis cette décision sont avantageusement utilisées pour créer de nouvelles données d'alimentation, telles que des données de validation ou de développement. Ces données sont différentes des données d'entraînement utilisées pour calculer les valeurs du modèle de référence et des données de test utilisées pour mesurer la précision du modèle. Le modèle mis à jour peut être évalué sur les données de test une fois que l'entraînement est terminé pour mesurer sa performance finale. In one embodiment of the invention, the models of both gait and facial biometrics are updated in real time. Each time an individual is correctly identified and authenticated, the video data that enabled this decision is advantageously used to generate new feed data, such as validation or development data. This data is distinct from the training data used to calculate the reference model values and the test data used to measure the model's accuracy. The updated model can be evaluated against the test data after training is complete to measure its final performance.

Deux algorithmes d'apprentissage automatique peuvent être utilisés en parallèle de ceux utilisés pour établir les modèles de démarche et les modèles de visage, afin d'enrichir les détections à venir. La performance des modèles de détection des biométries de la démarche et du visage de l’invention est améliorée en continu en utilisant ces nouvelles données d'alimentation provenant des expériences des utilisateurs déjà authentifiés. Two machine learning algorithms can be used in parallel with those used to establish gait and facial models, in order to enhance future detections. The performance of the gait and facial biometric detection models of the invention is improved. continuously using this new power data from the experiences of already authenticated users.

Dispositif Device

Selon un autre de ses aspects, l’invention porte sur un dispositif pour identifier un individu aux abords d’un véhicule automobile, le dispositif comportant une pluralité de capteurs disposés sur ledit véhicule et étant configuré pour réaliser au moins les étapes suivantes lorsque ledit individu s’approche dudit véhicule automobile : a) détecter sa démarche par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre lié à la démarche, le comparer à des modèles de démarche établis et enregistrés au préalable et calculer un score de reconnaissance de démarche, b) détecter le visage dudit individu par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre dudit visage, le comparer à des modèles de visage établis et enregistrés au préalable et calculer un score de reconnaissance faciale, c) normaliser lesdits scores en fonction de scores de référence, et d) fusionner lesdits scores normalisés de reconnaissance de démarche et de reconnaissance faciale afin d’obtenir un score d’identification pour identifier si l’individu est associé ou non audit véhicule automobile. According to another aspect, the invention relates to a device for identifying an individual in the vicinity of a motor vehicle, the device comprising a plurality of sensors arranged on said vehicle and being configured to perform at least the following steps when said individual approaches said motor vehicle: a) detect his gait by means of at least one of said plurality of sensors, analyze at least one parameter related to the gait, compare it to previously established and recorded gait models and calculate a gait recognition score, b) detect the face of said individual by means of at least one of said plurality of sensors, analyze at least one parameter of said face, compare it to previously established and recorded face models and calculate a facial recognition score, c) normalize said scores according to reference scores, and d) fuse said normalized gait recognition and facial recognition scores in order to obtain an identification score to identify whether or not the individual is associated with said motor vehicle.

Le dispositif comporte avantageusement au moins un capteur vidéo, notamment une ou plusieurs caméras. Le dispositif peut comporter en outre un capteur radar et/ou un capteur audio. The device advantageously includes at least one video sensor, in particular one or more cameras. The device may also include a radar sensor and/or an audio sensor.

Les caractéristiques énoncées en relation avec le procédé s’appliquent au dispositif et vice-versa. The characteristics stated in relation to the process apply to the device and vice versa.

Véhicule automobile Motor vehicle

Selon un autre de ses aspects, l’invention porte sur un véhicule automobile comprenant un groupe motopropulseur et au moins un dispositif d’identification selon l’invention. According to another aspect, the invention relates to a motor vehicle comprising a powertrain and at least one identification device according to the invention.

Les caractéristiques énoncées en relation avec le procédé s’appliquent au véhicule et vice-versa. Brève description des dessins The characteristics stated in relation to the process apply to the vehicle and vice versa. Brief description of the drawings

L’invention pourra être mieux comprise à la lecture de la description détaillée qui va suivre, d’un exemple de mise en œuvre non limitatif de celle-ci, et à l’examen du dessin annexé, sur lequel The invention will be better understood by reading the detailed description that follows, a non-limiting example of its implementation, and by examining the attached drawing, in which

[Fig 1 ] la figure 1 illustre un exemple de mise en œuvre de l’invention,[Fig 1] Figure 1 illustrates an example of the implementation of the invention,

[Fig 2] la figure 2 représente un logigramme illustrant l’exemple de mise en œuvre de l’invention de la figure 1 , [Fig 2] Figure 2 represents a flowchart illustrating the example of implementation of the invention of Figure 1,

[Fig 3] la figure 3 illustre un exemple de mise en œuvre de l’invention sur un véhicule automobile, [Fig 3] Figure 3 illustrates an example of the implementation of the invention on a motor vehicle,

[Fig 4] la figure 4 illustre la reconnaissance de la démarche selon l’invention, [Fig 4] Figure 4 illustrates the recognition of the approach according to the invention,

[Fig 5] la figure 5 illustre la reconnaissance du visage selon l’invention,[Fig 5] Figure 5 illustrates facial recognition according to the invention,

[Fig 6a] [Fig 6b] [Fig 6c] [Fig 6d] [Fig 6e] [Fig 6f] les figures 6a à 6f sont des histogrammes et des courbes illustrant le principe de la fusion, [Fig 6a] [Fig 6b] [Fig 6c] [Fig 6d] [Fig 6e] [Fig 6f] Figures 6a to 6f are histograms and curves illustrating the principle of fusion,

[Fig 7] la figure 7 illustre un exemple de mise en œuvre d’une partie de l’invention, [Fig 7] Figure 7 illustrates an example of the implementation of part of the invention,

[Fig 8] la figure 8 représente un logigramme illustrant l’exemple de mise en œuvre de l’invention de la figure 7, [Fig 8] Figure 8 represents a flowchart illustrating the example of implementation of the invention of Figure 7,

[Fig 9] la figure 9 illustre un autre exemple de mise en œuvre de l’invention, et [Fig 9] Figure 9 illustrates another example of an implementation of the invention, and

[Fig 10] la figure 10 illustre une variante de réalisation de la figure 9. [Fig 10] Figure 10 illustrates a variant embodiment of Figure 9.

Description détaillée Detailed description

La figure 1 illustre un exemple de mise en œuvre de l’invention. Figure 1 illustrates an example of implementation of the invention.

Dans une étape 0, le véhicule est stationné, ses capteurs sont prêts à fonctionner. Un individu approche du véhicule. Dans une étape 1 où l’individu se tient à une distance supérieure à 5 mètres, l’estimation basique de la trajectoire piéton débute, tel que décrit précédemment. In step 0, the vehicle is parked, its sensors are ready to operate. An individual approaches the vehicle. In step 1, where the individual is standing at a distance greater than 5 meters, the basic pedestrian trajectory estimation begins, as described previously.

Dans une étape 2, si l’individu s’approche d’une distance inférieure à 5 mètres, l’identification spécifique ou réidentification est enclenchée. In step 2, if the individual approaches within a distance of less than 5 meters, specific identification or re-identification is triggered.

Dans une étape 3, la démarche de l’individu est détectée par le biais d’une pluralité de capteurs, visible à la figure 3. Au moins un paramètre lié à la démarche est analysé et comparé à des modèles de démarche établis et enregistrés au préalable. Un score de reconnaissance de démarche est calculé. Ces étapes sont également effectuées pour la biométrie du visage de l’individu, un score de reconnaissance faciale étant calculé. Ces scores sont normalisés. In step 3, the individual's gait is detected by means of a plurality of sensors, visible in Figure 3. At least one parameter related to the The individual's gait is analyzed and compared to previously established and recorded gait models. A gait recognition score is calculated. These steps are also performed for facial biometrics, with a facial recognition score being calculated. These scores are then normalized.

Dans des étapes 4 et 5, lesdits scores normalisés de reconnaissance de démarche et de reconnaissance faciale sont fusionnés afin d’identifier si l’individu est associé ou non audit véhicule automobile, et de l’authentifier. Des scores d’identification et d’authentification sont calculés. In steps 4 and 5, the standardized gait and facial recognition scores are merged to identify and authenticate the individual as being associated with the vehicle. Identification and authentication scores are then calculated.

Dans une étape 6, l’identification spécifique ou réidentification peut être enclenchée de nouveau. In step 6, specific identification or re-identification can be triggered again.

L’étape 7 correspond à une étape optionnelle de reconnaissance de la voix de l’individu par le biais de l’un au moins de ladite pluralité de capteurs, ladite voix étant comparée à des modèles de voix enregistrés au préalable, et à une étape optionnelle de reconnaissance d’un geste particulier de l’individu. Step 7 corresponds to an optional step of recognizing the individual's voice by means of at least one of said plurality of sensors, said voice being compared to previously recorded voice models, and to an optional step of recognizing a particular gesture of the individual.

Dans une étape 8, l’accès au véhicule peut être accordé à l’individu s’il a été correctement identifié et authentifié. In step 8, access to the vehicle may be granted to the individual if they have been properly identified and authenticated.

La figure 2 est un logigramme illustrant l’invention et se découpant ainsi :Figure 2 is a flowchart illustrating the invention and is broken down as follows:

1 ) Situation d'origine dans laquelle le véhicule est garé. 1) Original situation in which the vehicle is parked.

2) Estimation de trajectoire d'un piéton se dirigeant vers le véhicule.2) Estimation of the trajectory of a pedestrian moving towards the vehicle.

3) S'il y a détection d'un piéton se dirigeant vers le véhicule le traitement continue ; sinon, retour à l'estimation de trajectoire. 3) If a pedestrian is detected moving towards the vehicle, the processing continues; otherwise, it returns to trajectory estimation.

4) Si c'est le premier passage il n'y a pas de comparaison possible pour une nouvelle identification. 4) If it is the first time, there is no possible comparison for a new identification.

5) Sinon, le module d'identification spécifique établit les classes courantes instantanées. 5) Otherwise, the specific identification module establishes the instantaneous current classes.

6) S'il y a cohérence avec les classes précédemment établies la personne a donc les mêmes caractéristiques discriminantes qu’à la précédente identification, le traitement peut poursuivre ; sinon, retour à l'estimation de trajectoire. 6) If there is consistency with the previously established classes, the person therefore has the same discriminating characteristics as in the previous identification, the processing can continue; otherwise, return to trajectory estimation.

7) Traitement biométrique par la démarche et par la reconnaissance faciale. 7) Biometric processing by gait and facial recognition.

8) Fusion des scores. 9) Report du score d'identification et du score d'authentification. 8) Merging of scores. 9) Reporting of the identification score and the authentication score.

10) S'il y a identification et d'authentification, la personne est celle escomptée ; sinon, retour à l'estimation de trajectoire. 10) If there is identification and authentication, the person is the expected one; otherwise, back to trajectory estimation.

11 ) le module d'identification spécifique établit les classes courantes instantanées et les transmet au même module d'avant traitement afin de lui servir de classes de référence. 11) The specific identification module establishes the instantaneous current classes and transmits them to the same pre-processing module to serve as reference classes.

12) Biométries optionnelles nécessitant l'intervention de l'utilisateur comme la biométrie vocale ou gestuelle. 12) Optional biometrics requiring user intervention such as voice or gesture biometrics.

13) S'il y a identification et d'authentification, la personne est celle escomptée ; sinon, retour à l'estimation de trajectoire. 13) If there is identification and authentication, the person is the expected one; otherwise, back to trajectory estimation.

14) La personne identifiée et authentifiée est légitime à accéder à son véhicule. 14) The identified and authenticated person is legitimately entitled to access their vehicle.

La figure 3 montre les capteurs et leur place sur le véhicule automobile.Figure 3 shows the sensors and their location on the motor vehicle.

La figure 4 illustre la biométrie de la démarche, et la figure 5 Figure 5 illustre la biométrie faciale, comme décrites précédemment. L’architecture interne des réseaux de neurones utilisés est indicative et se décline par rapport aux besoins et performances attendues. Figure 4 illustrates gait biometrics, and Figure 5 illustrates facial biometrics, as described previously. The internal architecture of the neural networks used is indicative and varies according to the needs and expected performance.

La figure 6a décrit les réponses possibles fournies par les capteurs, comme décrites précédemment. Les modèles de démarche et de visage établis sont de préférence enregistrés au préalable dans une ou plusieurs bases de données de référence. Ces modèles peuvent être utilisés pour établir des statistiques. Figure 6a illustrates the possible responses provided by the sensors, as described previously. The established gait and facial models are preferably pre-recorded in one or more reference databases. These models can then be used to generate statistics.

Des distributions et des histogrammes de scores issus des tests de candidatures légitimes et de candidatures non légitimes ou imposteurs sont avantageusement calculés. Distributions and histograms of scores from tests of legitimate and illegitimate or imposter applications are advantageously calculated.

La figure 6b illustre un exemple d’histogramme d’un premier système biométrique #1 que l’on pourrait affecter à la biométrie faciale et de sa courbe DET associée, avec ‘tar’ pour ‘target’ qui représente l’histogramme des scores des tests légitimes, et ‘nontar’ pour ‘non target’ qui représente l’histogramme des scores des tests imposteurs. La droite rouge médiatrice intercepte l’EER. Figure 6b illustrates an example of a histogram for a first biometric system #1 that could be assigned to facial biometrics and its associated DET curve, with ‘tar’ for ‘target’ representing the histogram of legitimate test scores, and ‘nontar’ for ‘non-target’ representing the histogram of sham test scores. The red perpendicular bisector line intersects the EER.

La figure 6c illustre un exemple d’histogramme d’un premier système biométrique #1 que l’on pourrait affecter à la biométrie de la démarche et de sa courbe DET associée, avec les mêmes notations que pour la figure 6b. En regroupant les deux courbes DET sur le même graphe, à la figure 6d, on constate que la courbe DET du système de détection #1 est inférieure à celle du système de détection #2 avec EER#1 < EER#2. Cela provient du fait que la statistique du système de détection #1 possède une surface ce recouvrement entre ses deux histogrammes plus petits que celle du système de détection #2. Le système de détection #1 est donc plus sélectif que le système de détection #2. Figure 6c illustrates an example of a histogram of a first biometric system #1 that could be assigned to the biometrics of gait and its associated DET curve, with the same notations as for Figure 6b. By combining the two DET curves on the same graph, as shown in Figure 6d, we observe that the DET curve for detection system #1 is lower than that of detection system #2, with EER#1 <EER#2. This is because the statistics for detection system #1 have a smaller overlap area between its two histograms than those for detection system #2. Therefore, detection system #1 is more selective than detection system #2.

La figure 6e montre l’EER de la fusion des deux biométries. Dans l’exemple illustré, on observer une EER minimale pour un oc_min valant 0.62. La fusion par combinaison linéaire est donc optimale pour ce a_min. Comme représenté à la figure 6f, la fusion optimale produit une courbe DET inferieure aux deux courbes DET des systèmes de détections #1 et #2 avec une EER minimale inferieure. La fusion optimale est donc la plus sélective. Cette fusion avec ce oc_min génère une courbe DET inferieure à chacune des deux courbes DET des systèmes de détections #1 et #2 mais aussi inférieure à toutes celles issues de cette même fusion avec un « différent. Cette fusion avec ce oc_min est donc la plus sélective. Figure 6e shows the EER of the fusion of the two biometrics. In the illustrated example, a minimum EER is observed for an oc_min of 0.62. The linear combination fusion is therefore optimal for this a_min. As shown in Figure 6f, the optimal fusion produces a DET curve lower than the two DET curves of detection systems #1 and #2, with a lower minimum EER. The optimal fusion is therefore the most selective. This fusion with this oc_min generates a DET curve lower than each of the two DET curves of detection systems #1 and #2, but also lower than all those resulting from the same fusion with a different oc_min. This fusion with this oc_min is therefore the most selective.

La figure 7 illustre un exemple de détection de la trajectoire, utilisant le radar de côté avant gauche. Le véhicule ego est stationné. Le radar de côté avant du véhicule égo reçoit l’écho de la personne cible. Si la trajectoire de la personne converge simplement vers le radar du véhicule égo, cela réveille les étapes plus complexes d’identification selon l’invention. Figure 7 illustrates an example of trajectory detection using the front left side radar. The ego vehicle is parked. The ego vehicle's front side radar receives the echo from the target person. If the person's trajectory simply converges towards the ego vehicle's radar, this triggers the more complex identification steps according to the invention.

La figure 8 est un logigramme illustrant le traitement pour un radar et se découpant ainsi : Figure 8 is a flowchart illustrating the processing for a radar and is broken down as follows:

1 ) Le radar en veille fonctionnelle à un échantillonnage de F=5 Hz. 1) The radar in functional standby mode has a sampling rate of F=5 Hz.

2) Le radar reçoit la "Surface équivalente radar" ou (RCS radar cross section) 2) The radar receives the "Radar Cross Section" or (RCS radar cross section)

3) Le radar établit les coordonnées polaires des cibles visibles pour un maximum de 10. 3) The radar establishes the polar coordinates of visible targets for a maximum of 10.

4) Pour l'ensemble des cibles. 4) For all target groups.

5) Si la cible est à moins de 5 mètres elle a un intérêt sinon pas d'intérêt. 5) If the target is less than 5 meters away, it is of interest; otherwise, it is not of interest.

6) Calcul de la variation de sa distance au véhicule. 6) Calculation of the variation in its distance from the vehicle.

7 et 8) Si la distance de la cible au véhicule diminue, elle approche le véhicule ; Sinon elle s'éloigne du véhicule et n'a pas d'intérêt. 9) Comme la cible s'approche du véhicule, on réveille les traitements plus complexes pour identifier la personne. 7 and 8) If the distance of the target to the vehicle decreases, it approaches the vehicle; otherwise, it moves away from the vehicle and is of no interest. 9) As the target approaches the vehicle, more complex processes are activated to identify the person.

La figure 9 illustre un autre exemple de mise en œuvre de l’invention, utilisant des algorithmes d’apprentissage automatique (3’) en parallèle de ceux utilisés pour établir les modèles de démarche et les modèles de visage. A l’étape 8’, ces données sont transmises afin d'enrichir les détections à venir. Figure 9 illustrates another example of implementing the invention, using machine learning algorithms (3’) in parallel with those used to establish gait and face models. In step 8’, this data is transmitted to enhance subsequent detections.

Dans cet exemple, ce traitement étant différé, il est possible de l’effectuer via le cloud, comme illustré à la figure 10. In this example, since this processing is deferred, it is possible to perform it via the cloud, as illustrated in Figure 10.

L’invention n’est pas limitée aux exemples qui viennent d’être décrits. En particulier, la disposition et le nombre de capteurs sur le véhicule peuvent être différents. The invention is not limited to the examples just described. In particular, the arrangement and number of sensors on the vehicle may differ.

Les réseaux de neurones utilisés peuvent en outre être différents. Furthermore, the neural networks used may differ.

Claims

Revendications Demands 1 . Procédé d’identification d’un individu aux abords d’un véhicule automobile, utilisant une pluralité de capteurs disposés sur ledit véhicule, le procédé comportant au moins les étapes suivantes lorsque ledit individu s’approche dudit véhicule automobile : a) détecter sa démarche par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre lié à la démarche, le comparer à des modèles de démarche établis et enregistrés au préalable et calculer un score de reconnaissance de démarche, b) détecter le visage dudit individu par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre dudit visage, le comparer à des modèles de visage établis et enregistrés au préalable et calculer un score de reconnaissance faciale, c) normaliser lesdits scores en fonction de scores de référence, et d) fusionner par combinaison linéaire lesdits scores normalisés de reconnaissance de démarche et de reconnaissance faciale afin d’obtenir un score d’identification pour identifier si l’individu est associé ou non audit véhicule automobile. 1. A method for identifying an individual in the vicinity of a motor vehicle, using a plurality of sensors arranged on said vehicle, the method comprising at least the following steps when said individual approaches said motor vehicle: a) detecting their gait by means of at least one of said plurality of sensors, analyzing at least one parameter related to the gait, comparing it to previously established and recorded gait models and calculating a gait recognition score, b) detecting the face of said individual by means of at least one of said plurality of sensors, analyzing at least one parameter of said face, comparing it to previously established and recorded face models and calculating a facial recognition score, c) normalizing said scores according to reference scores, and d) merging by linear combination said normalized gait recognition and facial recognition scores in order to obtain an identification score to identify whether or not the individual is associated with said motor vehicle. 2. Procédé selon la revendication 1 , dans lequel l’étape b) de détection du visage de l’individu utilise l’analyse d’au moins une image dudit individu, prise par l’un au moins de ladite pluralité de capteurs. 2. A method according to claim 1, wherein step b) of detecting the individual's face uses the analysis of at least one image of said individual, taken by at least one of said plurality of sensors. 3. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’étape a) débute lorsqu’un individu est détecté aux abords du véhicule à une distance minimum prédéfinie, notamment comprise entre 2 et 5 mètres. 3. A method according to any one of the preceding claims, wherein step a) begins when an individual is detected near the vehicle at a predefined minimum distance, in particular between 2 and 5 meters. 4. Procédé selon l’une quelconque des revendications précédentes, utilisant au moins un capteur vidéo, notamment une ou plusieurs caméras, le procédé utilisant notamment en outre un capteur radar et/ou un capteur audio. 4. A method according to any one of the preceding claims, using at least one video sensor, in particular one or more cameras, the method further using in particular a radar sensor and/or an audio sensor. 5. Procédé selon l’une quelconque des revendications précédentes, dans lequel au moins un algorithme d'apprentissage automatique, notamment utilisant au moins un réseau de neurones, est utilisé pour établir les modèles de démarche et les modèles de visage. 5. A method according to any one of the preceding claims, wherein at least one machine learning algorithm, in particular using at least one neural network, is used to establish gait models and face models. 6. Procédé selon l’une quelconque des revendications précédentes, dans lequel le score de reconnaissance de démarche et le score de reconnaissance faciale sont comparés à des seuils de référence prédéterminés. 6. A method according to any one of the preceding claims, wherein the gait recognition score and the facial recognition score are compared to predetermined reference thresholds. 7. Procédé selon l’une quelconque des revendications précédentes, comportant en outre une étape d’authentification de l’individu afin de lui autoriser ou non l’accès au véhicule, notamment grâce à un score d’authentification. 7. A method according to any one of the preceding claims, further comprising an authentication step of the individual in order to authorize or deny them access to the vehicle, in particular by means of an authentication score. 8. Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape de reconnaissance de la voix de l’individu par le biais de l’un au moins de ladite pluralité de capteurs, ladite voix étant comparée à des modèles de voix enregistrés au préalable. 8. A method according to any one of the preceding claims, further comprising a step of recognizing the individual's voice by means of at least one of said plurality of sensors, said voice being compared to previously recorded voice models. 9. Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape de reconnaissance d’un geste particulier de l’individu. 9. A method according to any one of the preceding claims, further comprising a step of recognizing a particular gesture of the individual. 10. Procédé selon l’une quelconque des revendications précédentes, comprenant une étape préalable de prédiction de trajectoire des individus, si la détection est positive, indiquant que l’individu s’approche du véhicule, les étapes a) à d) sont effectuées. 10. A method according to any one of the preceding claims, comprising a preliminary step of predicting the trajectory of individuals; if the detection is positive, indicating that the individual is approaching the vehicle, steps a) to d) are carried out. 11 . Dispositif pour identifier un individu aux abords d’un véhicule automobile, le dispositif comportant une pluralité de capteurs disposés sur ledit véhicule et étant configuré pour réaliser au moins les étapes suivantes lorsque ledit individu s’approche dudit véhicule automobile : a) détecter sa démarche par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre lié à la démarche, le comparer à des modèles de démarche établis et enregistrés au préalable et calculer un score de reconnaissance de démarche, b) détecter le visage dudit individu par le biais de l’un au moins de ladite pluralité de capteurs, analyser au moins un paramètre dudit visage, le comparer à des modèles de visage établis et enregistrés au préalable et calculer un score de reconnaissance faciale, c) normaliser lesdits scores en fonction de scores de référence, et d) fusionner par combinaison linéaire lesdits scores normalisés de reconnaissance de démarche et de reconnaissance faciale afin d’obtenir un score d’identification pour identifier si l’individu est associé ou non audit véhicule automobile. 11. A device for identifying an individual in the vicinity of a motor vehicle, the device comprising a plurality of sensors arranged on said vehicle and configured to perform at least the following steps when said individual approaches said motor vehicle: a) detect their gait by means of at least one of said plurality of sensors, analyze at least one parameter related to the gait, compare it to a) detect the face of said individual by means of at least one of said plurality of sensors, analyze at least one parameter of said face, compare it to previously established and recorded face models and calculate a facial recognition score, c) normalize said scores according to reference scores, and d) merge said normalized gait recognition and facial recognition scores by linear combination in order to obtain an identification score to identify whether the individual is associated with said motor vehicle or not. 12. Dispositif selon la revendication précédente, comportant au moins un capteur vidéo, notamment une ou plusieurs caméras. 12. Device according to the preceding claim, comprising at least one video sensor, in particular one or more cameras. 13. Dispositif selon la revendication 11 ou 12, comportant en outre un capteur radar et/ou un capteur audio. 13. Device according to claim 11 or 12, further comprising a radar sensor and/or an audio sensor. 14. Véhicule automobile comprenant un groupe motopropulseur et au moins un dispositif d’identification selon l’une quelconque des revendications 11 à 13. 14. A motor vehicle comprising a powertrain and at least one identification device according to any one of claims 11 to 13.
PCT/EP2025/059522 2024-04-23 2025-04-07 Method for identifying a person in the vicinity of a motor vehicle Pending WO2025223820A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2404181 2024-04-23
FR2404181A FR3161491A1 (en) 2024-04-23 2024-04-23 Method of identifying an individual near a motor vehicle

Publications (1)

Publication Number Publication Date
WO2025223820A1 true WO2025223820A1 (en) 2025-10-30

Family

ID=92626779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2025/059522 Pending WO2025223820A1 (en) 2024-04-23 2025-04-07 Method for identifying a person in the vicinity of a motor vehicle

Country Status (2)

Country Link
FR (1) FR3161491A1 (en)
WO (1) WO2025223820A1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017176618A1 (en) 2016-04-04 2017-10-12 Analog Devices, Inc. Wireless keyless entry systems and methods
EP3342097A1 (en) 2015-12-24 2018-07-04 Samsung Electronics Co., Ltd. Electronic device for processing biometric information and method of controlling same
US20190051069A1 (en) 2017-08-10 2019-02-14 GM Global Technology Operations LLC User recognition system and methods for autonomous vehicles
US20200193005A1 (en) 2018-12-17 2020-06-18 Zf Active Safety And Electronics Us Llc Authentication system for vehicle
EP3842969A1 (en) * 2019-12-24 2021-06-30 Imprimerie Nationale Method and system for biometric identification and authentication with audiovisual template
US20220201389A1 (en) 2020-12-23 2022-06-23 Ford Global Technologies, Llc Targeted beamforming communication for remote vehicle operators and users
KR20220144186A (en) 2021-04-19 2022-10-26 고려대학교 세종산학협력단 Biometric identification system based on individual gait patterns and method of the same
EP4139177A1 (en) 2020-04-21 2023-03-01 Micron Technology, Inc. Passenger screening
US20230174018A1 (en) * 2021-12-03 2023-06-08 Ford Global Technologies, Llc Vehicle and method of controlling a powered door based on user identification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3342097A1 (en) 2015-12-24 2018-07-04 Samsung Electronics Co., Ltd. Electronic device for processing biometric information and method of controlling same
WO2017176618A1 (en) 2016-04-04 2017-10-12 Analog Devices, Inc. Wireless keyless entry systems and methods
US20190051069A1 (en) 2017-08-10 2019-02-14 GM Global Technology Operations LLC User recognition system and methods for autonomous vehicles
US20200193005A1 (en) 2018-12-17 2020-06-18 Zf Active Safety And Electronics Us Llc Authentication system for vehicle
EP3842969A1 (en) * 2019-12-24 2021-06-30 Imprimerie Nationale Method and system for biometric identification and authentication with audiovisual template
EP4139177A1 (en) 2020-04-21 2023-03-01 Micron Technology, Inc. Passenger screening
US20220201389A1 (en) 2020-12-23 2022-06-23 Ford Global Technologies, Llc Targeted beamforming communication for remote vehicle operators and users
KR20220144186A (en) 2021-04-19 2022-10-26 고려대학교 세종산학협력단 Biometric identification system based on individual gait patterns and method of the same
US20230174018A1 (en) * 2021-12-03 2023-06-08 Ford Global Technologies, Llc Vehicle and method of controlling a powered door based on user identification

Also Published As

Publication number Publication date
FR3161491A1 (en) 2025-10-24

Similar Documents

Publication Publication Date Title
EP2883189B1 (en) Spoof detection for biometric authentication
JP7004522B2 (en) Liveness inspection method and equipment
CN105844128B (en) Identity recognition method and device
EP2140401B1 (en) Method of comparing images, notably for iris recognition, implementing at least one quality measurement determined by applying a statistical learning model
Derman et al. Continuous real-time vehicle driver authentication using convolutional neural network based face recognition
Sarhan et al. Multimodal biometric systems: a comparative study
Nickel et al. Classification of acceleration data for biometric gait recognition on mobile devices
Qin et al. A fuzzy authentication system based on neural network learning and extreme value statistics
Xu et al. ER: Early recognition of inattentive driving leveraging audio devices on smartphones
EP2751739B1 (en) Detection of fraud for access control system of biometric type
CN110276189B (en) User identity authentication method based on gait information
FR3105479A1 (en) Method and system for biometric identification and authentication with audiovisual template
WO2025223820A1 (en) Method for identifying a person in the vicinity of a motor vehicle
Singla et al. Face Detection and Recognition Using Digital Image Processing:" State of the Art"
De Marsico et al. Biometric walk recognizer
Manjunath et al. Analysis of unimodal and multimodal biometric system using iris and fingerprint
EP4099200A1 (en) Method and device for biometric identification and/or authentication
Hossain et al. Person identification in surveillance video using gait biometric cues
Joans et al. Enhanced Elman Spike Neural Network optimized with Glowworm Swarm Optimization for Authentication of Multiple Transaction using Finger Vein
Gunasekaran et al. Implementation of multimodal biometric authentication using soft computing techniques
You et al. A New Algorithm Based on Cascaded Convolutional Neural Network for Driver Fatigue Detection
Mary Joans et al. Enhanced Elman Spike Neural Network optimized with Glowworm Swarm Optimization for Authentication of Multiple Transaction using Finger Vein
WO2023061934A1 (en) Method for authenticating a snapshot captured in a passenger compartment of a motor vehicle
HK1189673B (en) Methods and systems for spoof detection for biometric authentication
HK1211716B (en) Methods and systems for spoof detection for biometric authentication

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25717647

Country of ref document: EP

Kind code of ref document: A1