[go: up one dir, main page]

WO2023285490A1 - Device for detecting contact between at least one hand of a vehicle driver and the steering wheel of the vehicle and use thereof in a semi-autonomous vehicle - Google Patents

Device for detecting contact between at least one hand of a vehicle driver and the steering wheel of the vehicle and use thereof in a semi-autonomous vehicle Download PDF

Info

Publication number
WO2023285490A1
WO2023285490A1 PCT/EP2022/069516 EP2022069516W WO2023285490A1 WO 2023285490 A1 WO2023285490 A1 WO 2023285490A1 EP 2022069516 W EP2022069516 W EP 2022069516W WO 2023285490 A1 WO2023285490 A1 WO 2023285490A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
steering wheel
driver
hand
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2022/069516
Other languages
French (fr)
Inventor
Paul MENDEZ
Martin PETROV
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of WO2023285490A1 publication Critical patent/WO2023285490A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Definitions

  • the present disclosure relates to a device for detecting contact between an individual and an object, from the processing of an image on which at least the individual and the object are visible.
  • This disclosure finds application in the verification of the fact that at least one hand of the driver of a vehicle is in contact with a control device of a system such as the steering wheel of a car.
  • a device for detecting physical contact between the hands of a driver of a vehicle and a control member or steering wheel of said vehicle comprising: a camera on board the passenger compartment of the vehicle oriented so as to allow the acquisition of images on which the steering wheel is at least partially visible, and a computer, the device being configured to: acquire at least one image, process the image acquired to detect the different parts of the body of the driver visible on the image, detecting the position of a point of the image corresponding to the position of each wrist of the driver in the image, determining at least one zone of interest in the image in which is located at at least one hand of the driver as an area of the image of predetermined size and shape, and whose relative position with respect to the point corresponding to the position of a wrist is determined, implementing hand detection within each area of interest of the image, and if at least one hand of the driver is in an area of interest of the image delimiting the steering wheel of the vehicle, determining whether contact is established between said hand of the driver and the steering wheel
  • the computer is configured to apply a convolutional neural network to locate each hand within each corresponding area of interest.
  • the computer is configured to also determine a relative position of each hand with respect to the steering wheel from among the following positions: in contact with the steering wheel, close to the steering wheel, if the hand is in the area of interest of the image delimiting the steering wheel, but not in contact with the steering wheel, or far from the steering wheel, if the hand is outside the area of interest of the image delimiting the steering wheel.
  • the device further comprises a memory storing a steering wheel mask in the images taken by the camera, the mask comprising the positions of the pixels belonging to the steering wheel in the images, in which the steering wheel mask comprises in addition, for each pixel belonging to the steering wheel in the images taken by the camera, a range of intensity values that can be taken by said pixel
  • the computer is further configured to: determine, for all the pixels of the the image whose positions correspond to the pixels of the steering wheel mask in the image, of an intensity value associated with each pixel, selecting the pixels whose intensity value is outside the range of intensity values associated with the corresponding pixel of the steering wheel mask in the image, identifying at least one group of selected pixels adjacent to each other, and for each identified group of pixels, determining, from size and position parameters, on said group of pixels, if said group of pixels corresponds to a driver's hand and, if said group of pixels corresponds to a driver's hand, deciding that contact is established between the driver's hand and the steering wheel.
  • the size and position parameters comprise at least one of the parameters from the following group: center, perimeter and area of the group of pixels.
  • the vehicle is of the partially autonomous type, and the device is configured to detect contact between at least one hand of the driver and the control member of the vehicle during an operating mode in autonomous mode of the vehicle, and to allow the vehicle to switch to non-autonomous operating mode in the event of detected contact between at least one hand of the driver and the control member.
  • the device comprises a first computer on board the vehicle and a remote computer, the remote computer being configured to receive the acquired image, to implement at least the processing operations for determining the areas of interest, location of each hand within an area of interest and determination of a contact between a hand and the control member, and for transmitting the result of said determination to the on-board computer in the vehicle.
  • the invention relates to a computer program product, comprising code instructions for the implementation of steps of: determination, from an image on which a driver and a steering wheel are at least partially visible, of at least one area of interest in the image in which at least one hand of the driver is located, location of each hand within each area of interest of the image, and if at least a driver's hand is in an area of interest of the image delimiting the steering wheel, determination of a contact between said driver's hand and the steering wheel, when it is implemented by a computer.
  • the invention relates to a computer, configured to implement, on an image on which a driver and a steering wheel are at least partially visible, and where the locations of the various parts of the driver's body visible on the image are marked, steps of: determining, from an image on which a driver and a steering wheel are at least partially visible, at least one zone of interest in the image in which is located at least a hand of the driver, location of each hand within each zone of interest of the image, and if at least one hand of the driver is located in a zone of interest of the image delimiting the steering wheel, determination of a contact between said driver's hand and the steering wheel.
  • the invention also relates to a method for detecting physical contact between at least one hand of a driver of a vehicle equipped with a device having any of the aforementioned characteristics and the steering wheel of said vehicle, comprising the steps of: acquisition of at least one image, processing of the acquired image to detect the various parts of the driver's body visible on the image, detection of the position of a point of the image corresponding to the position of each wrist of the driver in the image, determination of at least one area of interest in the image in which at least one hand of the driver is located as an area of the image of predetermined size and shape, and whose relative position with respect to the point corresponding to the position of a wrist is determined, implementation of a hand detection within each area of interest of the image, and if at least one hand of the driver is in an area of interest of the image delimiting the steering wheel, determining the establishment of contact between said driver's hand and the steering wheel.
  • the detection device proposed makes it possible to detect contact between the hands of a driver and a steering wheel reliably. Indeed, the different parts of the driver's body on the image are first detected in order to determine with certainty an area of interest in the image where each hand is located. A precise localization of the hands within each zone of interest is then carried out before determining whether the hands thus located are in a zone of interest of the image corresponding to the steering wheel. Otherwise, the absence of contact between the hands and the steering wheel is established, and it can even be deduced that the hands are relatively far from the steering wheel.
  • the detection device can immediately deduce therefrom a proximity of this hand with respect to the steering wheel, and determine then if this hand is actually in contact with the steering wheel. This can be achieved, for example, by identifying pixels located at positions corresponding to the steering wheel, and whose intensity varies with respect to the pixels of the same position actually belonging to the steering wheel. If the groups of pixels thus identified have a position and a size similar to that of the driver's hands, the detection device concludes that there is contact between the driver's hands and the steering wheel.
  • the proposed device therefore makes it possible to reliably determine that an element in contact with the steering wheel and disturbing the appearance of the pixels normally belonging to the steering wheel in the figure does indeed correspond to the driver's hands.
  • FIG. 1 shows a detection device according to one embodiment.
  • Fig. 2 shows a detection device according to one embodiment.
  • FIG. 2 shows a detection device according to another embodiment.
  • FIG. 3 schematically represents the main steps implemented by a contact detection device between the hands of a driver and a steering wheel according to an example embodiment.
  • FIG. 4 represents an example of an acquired image on which the parts of the driver's body have been detected.
  • Fig. 5 represents an example of an acquired image on which the parts of the driver's body have been detected.
  • FIG. 5 represents the image of figure 4 on which an area of interest in which each hand of the driver is located has been identified.
  • FIG. 6 represents the image of figure 5 on which each hand of the driver has been precisely located within each zone of interest.
  • FIG. 7 represents the image of figure 6 on which contact has been determined between the driver's hand and the steering wheel.
  • a device 1 for detecting physical contact between the hands of a driver and a steering wheel has been shown.
  • This device can for example be adapted to detect contact between the hands of a driver and a control device of a system, which can be a vehicle.
  • the vehicle can be a partially autonomous vehicle and the detection device 1 can be adapted to detect that the driver of the vehicle has his hands in contact with the steering wheel of the vehicle.
  • the device 1 comprises a camera 10 which can be oriented, or possibly having a fixed orientation, so that the camera can acquire images on which the steering wheel is at least partially visible, as well as the location where a driver who normally needs to be in contact with the steering wheel.
  • the position of the camera in the passenger compartment being known, the position of the driver relative to said camera and that of the steering wheel relative to said camera are known.
  • the camera 10 can be embedded in the passenger compartment of the vehicle and oriented so as to acquire an image on which the driver's head and chest, as well as at least part of the steering wheel, are visible, as is the case in the example images of FIG. 4.
  • This entry region can for example be defined by a reference point (a middle or an identified corner) and dimensions of the region of interest with respect to this reference point.
  • the device 1 further comprises at least one computer 11, configured to implement the steps described below to process the image(s) acquired by the camera in order to determine whether the driver's hands are in contact with the steering wheel.
  • the device 1 comprises a single computer 11, which can be embedded in the vehicle, which performs all of the steps described below.
  • the computer 11 can be integrated with the camera or be a separate computer, for example a computer of the on-board computer of the vehicle, able to receive transmitted by the camera.
  • the device may include at least a first computer 11 'embedded in the vehicle, performing certain steps, and a second remote computer 12' that can perform other steps.
  • the device 1 further comprises at least one memory 13 storing code instructions executed by the computer or a respective computer to be able to implement the steps described below.
  • the memory 13 can also store a mask of the steering wheel in the images acquired by the camera, that is to say the positions of the pixels belonging to the steering wheel in these images.
  • this mask is determined during a pre-processing in which a reference image is acquired with the camera, according to the same orientation as during the detection of a contact between the driver and the steering wheel, but without a driver being present, therefore without the presence of a hand on the steering wheel, so as to be able to determine all the pixels belonging to the steering wheel and which may be visible on an image acquired by the camera.
  • the pre-processing may comprise acquiring several reference images of the same scene with the same camera, or of a video, with different lighting conditions, and recording the mask pixel intensity parameters for each acquired image.
  • an intensity parameter can be a gray level between 0 and 255.
  • an intensity parameter can be a set of three values red, green, blue, where each value is between 0 and 255.
  • a range of intensity values can be determined from the set of values obtained for the pixel over the set of reference images.
  • the range of intensity values can be defined by the minimum and maximum intensities observed on all the images acquired for said pixel.
  • a mean value and a standard deviation of the intensities are determined for each pixel of the mask, and the range can be determined from this mean value and this standard deviation.
  • the range can be defined by: [m-No; m+No], where m is the mean value, o is the standard deviation and N a positive integer, for example 2 or 3.
  • the mask of the steering wheel in the image then comprises, in addition to the positions of the pixels belonging to the steering wheel in the image, the range of intensity values calculated for each pixel.
  • the memory 13 also stores the definition of the zone of interest Z1 delimiting the steering wheel in the image.
  • a first step 100 includes the acquisition of an image by the camera. In this image, the driver and steering wheel are at least partially visible.
  • the device 1 implements processing on the acquired image to detect the various parts of the driver's body visible in the image.
  • the processing implemented may be the determination of a simplified digital representation, sometimes referred to as the "skeleton", of the parts of the driver's body, comprising for example the representation of the joints (shoulders, elbows, wrists, etc.) by points, and limbs by segments connecting two joints.
  • This digital representation can for example be obtained by an algorithm for detecting the pose of the conductor on the image or a skeletonization algorithm.
  • steps 1 of image acquisition and detection of parts of the driver's body in the image can be pooled for other functionalities of the system or of the vehicle. Consequently, in some embodiments, the computer implementing step 200 can be distinct from that implementing the following steps.
  • steps 100 and 200 can be implemented respectively by the camera and a computer on board a vehicle, and the following steps can be implemented. implemented by the remote computer.
  • the image acquired by the camera in step 100 is transmitted to a remote computer which implements the entire process on the image.
  • the result concerning the detection or not of a contact between one or both hands of the driver and the steering wheel, and possibly the determination of the relative distance (near or far) between the hands of the driver and the steering wheel can then be returned by the remote computer to the on-board computer.
  • the device 1 determines, from the locations of the different parts of the driver's body, at least one zone of interest Z2 in the image, corresponding to a set of possible positions of a driver's hand.
  • Such areas of interest are represented in the example of FIG. 5.
  • Each area of interest Z2 can have a predetermined size and shape, and be positioned at a determined relative position with respect to one of the parts of the body of the driver detected in the previous step.
  • the driver's wrists are located during step 200 of determining the simplified digital representation of the driver's body.
  • Each zone of interest Z2 is defined with respect to the position of one of the wrists, so as to contain all the possible positions of the driver's hands given the location of his wrists.
  • the size, shape and relative position of each zone of interest with respect to a corresponding wrist of the driver can be determined for example by calibration from possible positions of the hands of the driver on different images acquired by the same camera. 10, where the conductor has various positions.
  • step 300 is not implemented. implemented because no area of interest can be determined from a wrist.
  • the device 1 implements a hand detection step 400 within each zone of interest Z2, to effectively locate the driver's hands. .
  • a zone Z3 of the image, smaller than the zone Z2 can be defined so as to surround each hand of the driver.
  • this step 400 can be implemented by applying, to the image reduced to each zone of interest, a convolutional neural network.
  • the device 1 determines during a step 500 if at least one hand is located in the zone of interest Z1 delimiting the steering wheel in the image. This is represented in the example of FIG. 7.
  • the device 1 can determine whether each zone Z3 delimiting a driver's hand in the image is included in the zone Z1.
  • the device 1 can determine that a zone Z3 is included in the zone Z1 for example if all the pixels of the zone Z3 are included in the zone Z1, or, according to another example, if at least a predetermined proportion of the pixels of the zone Z3, for example half, is included in zone Z1.
  • a zone Z3 delimiting a hand in the image is not included in the zone delimiting the steering wheel, the device 1 deduces therefrom that the corresponding hand is away from the steering wheel.
  • Figure 3 a corresponding step of decision-making by the device 1 concerning the position of the hands relative to the steering wheel.
  • the device 1 deduces therefrom that the corresponding hand is close to the steering wheel, and implements an additional step 600 to determine whether each hand is actually in contact with the steering wheel.
  • the device 1 is configured to determine, for each pixel of the image belonging to the steering wheel mask, an intensity value, and to compare this intensity value with the range of intensity values associated with the corresponding pixel of the mask, in order to select groups of adjacent pixels of the mask whose intensity value lies outside of said range, which corresponds to a significant variation in the intensity value of the pixel compared to a set of reference images in which no hand is in contact with the steering wheel.
  • the device 1 is configured to determine from parameters of size and position of said group of pixels, if this group corresponds to a hand of the driver. In particular, the device 1 can calculate a center (or a barycenter) of the group of pixels, an area of the group of pixels, and a perimeter of the group of pixels.
  • the area of the group of pixels can be calculated as the sum of the areas of each pixel in the group, or as the area of a circle approximating the outline of the group of pixels.
  • the perimeter of the group of pixels can be calculated as the perimeter of a circle approximating the outline of the group of pixels.
  • the size parameters such as the area and the perimeter are compared to ranges of predetermined values corresponding to hand sizes, and the position parameters such as the position of the center of the group of pixels, are compared to the location of each zone Z3 corresponding to the hands.
  • the detection device detects a contact between a hand contained in a zone Z3 and the steering wheel.
  • the detection device can reliably determine that an object disturbing the usual appearance of the steering wheel is indeed the hand of a determined driver, and in particular the driver's hand in the case of a vehicle, and not another object or part of the body.
  • step 600 of determining contact between each hand and the steering wheel can be implemented by other methods, for example by applying other image processing algorithms or by applying a deep machine learning model trained for this task.
  • the device can authorize, if it detects contact between the two hands of the driver and the steering wheel, to allow passage of a autonomous operating mode of the vehicle to a non-autonomous operating mode.
  • this authorization can be issued if additional conditions are satisfied, such as for example that the driver is looking at the road.
  • the device described above uses a digital representation of the driver's body obtained by an algorithm which may be common to several processing operations implemented in the same vehicle for different applications, which limits the calculation resources specific to this device. of detection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a device for detecting physical contact between a driver's hand and a steering wheel, comprising a camera oriented so as to acquire images on which the object is at least partially visible, and a computer, the device being configured to: acquire at least one image, process the acquired image to detect the different parts of the driver's body visible on the image, detect the position of a point on the image corresponding to the driver's wrist in the image, determine at least one area of interest in the image in which a driver's hand is located, detect the hand within each area of interest in the image and, if at least one of the driver's hands is located in an area of interest of the image defining the object, determine whether any contact is established between the driver's hand and the object.

Description

Description Description

Titre : Dispositif de détection d’un contact entre au moins une main d’un conducteur de véhicule et le volant dudit véhicule et application à un véhicule semi-autonome Domaine technique Title: Device for detecting contact between at least one hand of a vehicle driver and the steering wheel of said vehicle and application to a semi-autonomous vehicle Technical field

[0001] La présente divulgation concerne un dispositif de détection d’un contact entre un individu et un objet, à partir du traitement d’une image sur laquelle au moins l’individu et l’objet sont visibles. Cette divulgation trouve application dans la vérification du fait qu’au moins une main du conducteur d’un véhicule est en contact avec un organe de contrôle d’un système tel que le volant d’une voiture. The present disclosure relates to a device for detecting contact between an individual and an object, from the processing of an image on which at least the individual and the object are visible. This disclosure finds application in the verification of the fact that at least one hand of the driver of a vehicle is in contact with a control device of a system such as the steering wheel of a car.

Technique antérieure Prior technique

[0002] Il existe des véhicules partiellement autonomes pouvant, dans certaines phases de circulation, fonctionner selon un mode de conduite complètement autonome dans lequel le conducteur n’est plus tenu de tenir le volant, et, dans d’autres phases de circulation, être commandés par le conducteur qui doit alors tenir le volant. Lors du passage à un mode de conduite autonome à un mode de conduite non autonome, le véhicule doit d’abord s’assurer que le conducteur est prêt à reprendre le contrôle du véhicule. Dans ce contexte, le véhicule doit notamment s’assurer que le conducteur a les mains en contact avec le volant. [0002] There are partially autonomous vehicles which can, in certain traffic phases, operate in a completely autonomous driving mode in which the driver is no longer required to hold the steering wheel, and, in other traffic phases, be controlled by the driver who must then hold the steering wheel. When switching from an autonomous driving mode to a non-autonomous driving mode, the vehicle must first ensure that the driver is ready to regain control of the vehicle. In this context, the vehicle must in particular ensure that the driver has his hands in contact with the steering wheel.

[0003] Plusieurs systèmes proposés jusqu’à présent utilisent à cette fin des capteurs capacitifs, thermiques ou des capteurs de pression. Cependant, ces systèmes ne permettent pas de déterminer si ce sont réellement les mains du conducteur qui sont en contact avec le volant, ou s’il s’agit par exemple des mains du passager, des genoux du conducteur ou encore d’un autre objet. Ces systèmes de détection peuvent donc être induits en erreur, volontairement ou non, et générer une information fausse de détection des mains sur le volant, pouvant causer des accidents. [0003] Several systems proposed hitherto use capacitive, thermal or pressure sensors for this purpose. However, these systems do not make it possible to determine whether it is really the driver's hands which are in contact with the steering wheel, or whether they are for example the hands of the passenger, the driver's knees or yet another object. . These detection systems can therefore be misled, voluntarily or not, and generate false information for detecting hands on the steering wheel, which can cause accidents.

[0004] D’autres solutions par analyse d’image ont également été proposées, comme par exemple dans les publications suivantes : [0004] Other solutions by image analysis have also been proposed, such as for example in the following publications:

Siddharth; Akshay Rangesh; Eshed Ohn-Bar; Mohan M. Trivedi, « Driver Hand Localization and Grasp Analysis ; A Vision-Based Real-Time Approach », 2016 IEEE 19th International Conférence on Intelligent Transpostation Systems. Siddharth; Akshay Rangesh; Eshed Ohn-Bar; Mohan M. Trivedi, “Driver Hand Localization and Grasp Analysis; A Vision-Based Real-Time Approach”, 2016 IEEE 19 th International Conference on Intelligent Transpostation Systems.

Eshed Ohn-Bar; Mohan Trivedi, Ίh-Vehicle Hand Activity Récognition Using Intégration of Régions”, 2013 IEEE Intelligent Vehicles Symposium. [0005] Ces solutions ne sont pas entièrement fiables dans la mesure où elles ne permettent pas de déterminer avec certitude que c’est bien la main du conducteur, et non celles d’une autre personne ou un objet, qui est en contact avec le volant. Eshed Ohn-Bar; Mohan Trivedi, Ίh-Vehicle Hand Activity Recognition Using Integration of Regions”, 2013 IEEE Intelligent Vehicles Symposium. [0005] These solutions are not entirely reliable insofar as they do not make it possible to determine with certainty that it is indeed the driver's hand, and not those of another person or an object, which is in contact with the flying.

Résumé [0006] La présente divulgation vient améliorer la situation. Summary [0006] The present disclosure improves the situation.

[0007] A cet égard, il est proposé un dispositif de détection d’un contact physique entre les mains d’un conducteur d’un véhicule et un organe de commande ou volant dudit véhicule, comprenant : une caméra embarquée dans l’habitacle du véhicule orientée de façon à permettre l’acquisition d'images sur lesquelles le volant est au moins partiellement visible, et un calculateur, le dispositif étant configuré pour : acquérir au moins une image, traiter l’image acquise pour détecter les différentes parties du corps du conducteur visibles sur l’image, détecter la position d’un point de l’image correspondant à la position de chaque poignet du conducteur dans l’image, déterminer au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur comme une zone de l’image de taille et de forme prédéterminées, et dont la position relative par rapport au point correspondant à la position d’un poignet est déterminée, mettre en œuvre une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant du véhicule, déterminer si un contact est établi entre ladite main de du conducteur et le volant du véhicule. [0007] In this respect, there is proposed a device for detecting physical contact between the hands of a driver of a vehicle and a control member or steering wheel of said vehicle, comprising: a camera on board the passenger compartment of the vehicle oriented so as to allow the acquisition of images on which the steering wheel is at least partially visible, and a computer, the device being configured to: acquire at least one image, process the image acquired to detect the different parts of the body of the driver visible on the image, detecting the position of a point of the image corresponding to the position of each wrist of the driver in the image, determining at least one zone of interest in the image in which is located at at least one hand of the driver as an area of the image of predetermined size and shape, and whose relative position with respect to the point corresponding to the position of a wrist is determined, implementing hand detection within each area of interest of the image, and if at least one hand of the driver is in an area of interest of the image delimiting the steering wheel of the vehicle, determining whether contact is established between said hand of the driver and the steering wheel of the vehicle.

[0008] Dans des modes de réalisation, le calculateur est configuré pour appliquer un réseau de neurones convolutif pour localiser chaque main au sein de chaque zone d’intérêt correspondante. [0009] Dans des modes de réalisation, le calculateur est configuré pour déterminer en outre une position relative de chaque main par rapport au volant parmi les positions suivantes : en contact avec le volant, proche du volant, si la main est dans la zone d’intérêt de l’image délimitant de le volant, mais sans être en contact avec le volant, ou éloignée du volant, si la main est en dehors de la zone d’intérêt de l’image délimitant le volant. [0008] In embodiments, the computer is configured to apply a convolutional neural network to locate each hand within each corresponding area of interest. [0009] In some embodiments, the computer is configured to also determine a relative position of each hand with respect to the steering wheel from among the following positions: in contact with the steering wheel, close to the steering wheel, if the hand is in the area of interest of the image delimiting the steering wheel, but not in contact with the steering wheel, or far from the steering wheel, if the hand is outside the area of interest of the image delimiting the steering wheel.

[0010] Dans des modes de réalisation, le dispositif comprend en outre une mémoire stockant un masque du volant dans les images prises par la caméra, le masque comprenant les positions des pixels appartenant au volant dans les images, dans lequel le masque du volant comprend en outre, pour chaque pixel appartenant au volant dans les images prises par la caméra, une gamme de valeurs d’intensité pouvant être prises par ledit pixel, et le calculateur est en outre configuré pour : déterminer, pour l’ensemble des pixels de l’image dont les positions correspondent aux pixels du masque du volant dans l’image, d’une valeur d’intensité associée à chaque pixel, sélection des pixels dont la valeur d’intensité est hors de la gamme de valeurs d’intensité associée au pixel correspondant du masque du volant dans l’image, identifier au moins un groupe de pixels sélectionnés adjacents les uns aux autres, et pour chaque groupe de pixels identifié, déterminer, à partir de paramètres de taille et de position dudit groupe de pixels, si ledit groupe de pixels correspond à une main du conducteur et, si ledit groupe de pixels correspond à une main du conducteur, décider qu’un contact est établi entre la main du conducteur et le volant. [0010] In some embodiments, the device further comprises a memory storing a steering wheel mask in the images taken by the camera, the mask comprising the positions of the pixels belonging to the steering wheel in the images, in which the steering wheel mask comprises in addition, for each pixel belonging to the steering wheel in the images taken by the camera, a range of intensity values that can be taken by said pixel, and the computer is further configured to: determine, for all the pixels of the the image whose positions correspond to the pixels of the steering wheel mask in the image, of an intensity value associated with each pixel, selecting the pixels whose intensity value is outside the range of intensity values associated with the corresponding pixel of the steering wheel mask in the image, identifying at least one group of selected pixels adjacent to each other, and for each identified group of pixels, determining, from size and position parameters, on said group of pixels, if said group of pixels corresponds to a driver's hand and, if said group of pixels corresponds to a driver's hand, deciding that contact is established between the driver's hand and the steering wheel.

[0011] Dans des modes de réalisation, les paramètres de taille et de position comprennent au moins l’un des paramètres parmi le groupe suivant : centre, périmètre et aire du groupe de pixels. [0011] In embodiments, the size and position parameters comprise at least one of the parameters from the following group: center, perimeter and area of the group of pixels.

[0012] Dans des modes de réalisation, le véhicule est de type partiellement autonome, et le dispositif est configuré pour détecter un contact entre au moins une main du conducteur et l’organe de commande du véhicule pendant un mode de fonctionnement en mode autonome du véhicule, et pour permettre un passage du véhicule en mode de fonctionnement non autonome en cas de contact détecté entre au moins une main du conducteur et l’organe de commande. [0012] In some embodiments, the vehicle is of the partially autonomous type, and the device is configured to detect contact between at least one hand of the driver and the control member of the vehicle during an operating mode in autonomous mode of the vehicle, and to allow the vehicle to switch to non-autonomous operating mode in the event of detected contact between at least one hand of the driver and the control member.

[0013] Dans des modes de réalisation, le dispositif comprend un premier calculateur embarqué dans le véhicule et un calculateur distant, le calculateur distant étant configuré pour recevoir l’image acquise, pour mettre en œuvre au moins les traitements de détermination des zones d’intérêt, localisation de chaque main au sein d’une zone d’intérêt et détermination d’un contact entre une main et l’organe de commande, et pour transmettre au calculateur embarqué dans le véhicule le résultat de ladite détermination. [0013] In some embodiments, the device comprises a first computer on board the vehicle and a remote computer, the remote computer being configured to receive the acquired image, to implement at least the processing operations for determining the areas of interest, location of each hand within an area of interest and determination of a contact between a hand and the control member, and for transmitting the result of said determination to the on-board computer in the vehicle.

[0014] Selon un autre objet, l’invention concerne un produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre d’étapes de : détermination, à partir d’une image sur laquelle un conducteur et un volant sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant, détermination d’un contact entre ladite main du conducteur et le volant, lorsqu’il est mis en œuvre par un calculateur. [0014] According to another object, the invention relates to a computer program product, comprising code instructions for the implementation of steps of: determination, from an image on which a driver and a steering wheel are at least partially visible, of at least one area of interest in the image in which at least one hand of the driver is located, location of each hand within each area of interest of the image, and if at least a driver's hand is in an area of interest of the image delimiting the steering wheel, determination of a contact between said driver's hand and the steering wheel, when it is implemented by a computer.

[0015] Selon un autre objet, l’invention concerne un calculateur, configuré pour mettre en œuvre, sur une image sur laquelle un conducteur et un volant sont au moins partiellement visibles, et où les emplacements des différentes parties du corps du conducteur visibles sur l’image sont repérées, des étapes de : détermination, à partir d’une image sur laquelle un conducteur et un volant sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant, détermination d’un contact entre ladite main du conducteur et le volant. According to another object, the invention relates to a computer, configured to implement, on an image on which a driver and a steering wheel are at least partially visible, and where the locations of the various parts of the driver's body visible on the image are marked, steps of: determining, from an image on which a driver and a steering wheel are at least partially visible, at least one zone of interest in the image in which is located at least a hand of the driver, location of each hand within each zone of interest of the image, and if at least one hand of the driver is located in a zone of interest of the image delimiting the steering wheel, determination of a contact between said driver's hand and the steering wheel.

[0016] L’invention concerne encore un procédé de détection d’un contact physique entre au moins une main d’un conducteur de véhicule muni d’un dispositif présentant l’une quelconque des caractéristiques susmentionné et le volant dudit véhicule, comprenant les étapes de : acquisition d’au moins une image, traitement de l’image acquise pour détecter les différentes parties du corps du conducteur visibles sur l’image, détection de la position d’un point de l’image correspondant à la position de chaque poignet du conducteur dans l’image, détermination d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur comme une zone de l’image de taille et de forme prédéterminées, et dont la position relative par rapport au point correspondant à la position d’un poignet est déterminée, mise en œuvre d’une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant, détermination de l’établissement d’un contact entre ladite main du conducteur et le volant. The invention also relates to a method for detecting physical contact between at least one hand of a driver of a vehicle equipped with a device having any of the aforementioned characteristics and the steering wheel of said vehicle, comprising the steps of: acquisition of at least one image, processing of the acquired image to detect the various parts of the driver's body visible on the image, detection of the position of a point of the image corresponding to the position of each wrist of the driver in the image, determination of at least one area of interest in the image in which at least one hand of the driver is located as an area of the image of predetermined size and shape, and whose relative position with respect to the point corresponding to the position of a wrist is determined, implementation of a hand detection within each area of interest of the image, and if at least one hand of the driver is in an area of interest of the image delimiting the steering wheel, determining the establishment of contact between said driver's hand and the steering wheel.

[0017] Le dispositif de détection proposé permet de détecter un contact entre les mains d’un conducteur et un volant de façon fiable. En effet, les différentes parties du corps du conducteur sur l’image sont d’abord détectées afin de déterminer avec certitude une zone d’intérêt dans l’image où se situe chaque main. Une localisation précise des mains au sein de chaque zone d’intérêt est ensuite menée avant de déterminer si les mains ainsi localisées se trouvent dans une zone d’intérêt de l’image correspondant au volant. Dans le cas contraire, l’absence de contact entre les mains et le volant est établi, et on peut même en déduire que les mains se trouvent relativement éloignées du volant. [0017] The detection device proposed makes it possible to detect contact between the hands of a driver and a steering wheel reliably. Indeed, the different parts of the driver's body on the image are first detected in order to determine with certainty an area of interest in the image where each hand is located. A precise localization of the hands within each zone of interest is then carried out before determining whether the hands thus located are in a zone of interest of the image corresponding to the steering wheel. Otherwise, the absence of contact between the hands and the steering wheel is established, and it can even be deduced that the hands are relatively far from the steering wheel.

[0018] En revanche, dans le cas où une main au moins se trouve dans la zone d’intérêt de l’image correspondant au volant, le dispositif de détection peut immédiatement en déduire une proximité de cette main par rapport au volant, et déterminer ensuite si cette main est effectivement en contact avec le volant. Ceci peut être réalisé, par exemple, par identification de pixels situés à des positions correspondant au volant, et dont l’intensité varie par rapport aux pixels de même position appartenant effectivement au volant. Si les groupes de pixels ainsi identifiés présentent une position et une taille analogue à celle des mains du conducteur, le dispositif de détection conclut à l’existence d’un contact entre les mains du conducteur et le volant. [0018] On the other hand, in the case where at least one hand is in the zone of interest of the image corresponding to the steering wheel, the detection device can immediately deduce therefrom a proximity of this hand with respect to the steering wheel, and determine then if this hand is actually in contact with the steering wheel. This can be achieved, for example, by identifying pixels located at positions corresponding to the steering wheel, and whose intensity varies with respect to the pixels of the same position actually belonging to the steering wheel. If the groups of pixels thus identified have a position and a size similar to that of the driver's hands, the detection device concludes that there is contact between the driver's hands and the steering wheel.

[0019] Le dispositif proposé permet donc de déterminer de façon fiable qu’un élément en contact du volant et venant perturber l’apparence des pixels appartenant normalement au volant sur la figure correspond bien aux mains du conducteur. The proposed device therefore makes it possible to reliably determine that an element in contact with the steering wheel and disturbing the appearance of the pixels normally belonging to the steering wheel in the figure does indeed correspond to the driver's hands.

Brève description des dessins Brief description of the drawings

[0020] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels : [0020] Other characteristics, details and advantages will appear on reading the detailed description below, and on analyzing the appended drawings, in which:

Fig. 1 Fig. 1

[0021] [Fig. 1] montre un dispositif de détection selon un mode de réalisation. Fig. 2 [0021] [Fig. 1] shows a detection device according to one embodiment. Fig. 2

[0022] [Fig. 2] montre un dispositif de détection selon un autre mode de réalisation. [0022] [Fig. 2] shows a detection device according to another embodiment.

Fig. 3 Fig. 3

[0023] [Fig. 3] représente schématiquement les principales étapes mises en œuvre par un dispositif de détection de contact entre les mains d’un conducteur et un volant selon un exemple de réalisation. [0023] [Fig. 3] schematically represents the main steps implemented by a contact detection device between the hands of a driver and a steering wheel according to an example embodiment.

Fig. 4 Fig. 4

[0024] [Fig. 4] représente un exemple d’image acquise sur laquelle les parties du corps du conducteur ont été détectée. Fig. 5 [0024] [Fig. 4] represents an example of an acquired image on which the parts of the driver's body have been detected. Fig. 5

[0025] [Fig. 5] représente l’image de la figure 4 sur laquelle une zone d’intérêt dans laquelle se situe chaque main du conducteur a été identifiée. [0025] [Fig. 5] represents the image of figure 4 on which an area of interest in which each hand of the driver is located has been identified.

Fig. 6 Fig. 6

[0026] [Fig. 6] représente l’image de la figure 5 sur laquelle chaque main du conducteur a été précisément localisée au sein de chaque zone d’intérêt. [0026] [Fig. 6] represents the image of figure 5 on which each hand of the driver has been precisely located within each zone of interest.

Fig. 7 Fig. 7

[0027] [Fig. 7] représente l’image de la figure 6 sur laquelle un contact a été déterminé entre une main du conducteur et le volant. [0027] [Fig. 7] represents the image of figure 6 on which contact has been determined between the driver's hand and the steering wheel.

Description des modes de réalisation [0028] En référence à la figure 1 , on a représenté un dispositif 1 de détection d’un contact physique entre les mains d’un conducteur et un volant. Ce dispositif peut par exemple être adapté pour détecter un contact entre les mains d’un conducteur et un organe de commande d’un système, qui peut être un véhicule. Par exemple, le véhicule peut être un véhicule partiellement autonome et le dispositif 1 de détection peut être adapté pour détecter que le conducteur du véhicule a les mains en contact avec le volant du véhicule. Description of the embodiments [0028] With reference to FIG. 1, a device 1 for detecting physical contact between the hands of a driver and a steering wheel has been shown. This device can for example be adapted to detect contact between the hands of a driver and a control device of a system, which can be a vehicle. For example, the vehicle can be a partially autonomous vehicle and the detection device 1 can be adapted to detect that the driver of the vehicle has his hands in contact with the steering wheel of the vehicle.

[0029] Le dispositif 1 comprend une caméra 10 pouvant être orientée, ou présentant éventuellement une orientation fixe, de sorte que la caméra puisse acquérir des images sur lesquelles le volant est au moins partiellement visible, ainsi que l’emplacement où doit se situer un conducteur devant normalement être en contact avec le volant. En effet, la position de la caméra dans l’habitacle étant connue, on connaît la position du conducteur par rapport à ladite caméra ainsi que celle du volant par rapport à ladite caméra. Par exemple, dans le cas où l’on cherche à déterminer si le conducteur d’un véhicule a les mains en contact avec le volant d’un véhicule, la caméra 10 peut être embarquée dans l’habitacle du véhicule et orientée de manière à acquérir une image sur laquelle la tête et le buste du conducteur, ainsi qu’au moins une partie du volant, sont visibles, comme c’est le cas dans les exemples d’images de la figure 4. Elle peut par exemple être positionnée dans ou autour du rétroviseur intérieur central du véhicule, dans le tableau de bord central, etc. Etant donnée l’orientation fixe de la caméra, la position du volant sur les images acquises par la caméra est fixe et connue, elle est définie par une zone d’intérêt Z1 qui est un paramètre d’entrée connu. Cette région d’entrée peut par exemple être définie par un point de référence (un milieu ou un coin identifié) et des dimensions de la région d’intérêt par rapport à ce point de référence. The device 1 comprises a camera 10 which can be oriented, or possibly having a fixed orientation, so that the camera can acquire images on which the steering wheel is at least partially visible, as well as the location where a driver who normally needs to be in contact with the steering wheel. Indeed, the position of the camera in the passenger compartment being known, the position of the driver relative to said camera and that of the steering wheel relative to said camera are known. For example, in the case where one seeks to determine whether the driver of a vehicle has his hands in contact with the steering wheel of a vehicle, the camera 10 can be embedded in the passenger compartment of the vehicle and oriented so as to acquire an image on which the driver's head and chest, as well as at least part of the steering wheel, are visible, as is the case in the example images of FIG. 4. It can for example be positioned in or around the central interior mirror of the vehicle, in the central dashboard, etc. Given the fixed orientation of the camera, the position of the steering wheel on the images acquired by the camera is fixed and known, it is defined by a zone of interest Z1 which is a known input parameter. This entry region can for example be defined by a reference point (a middle or an identified corner) and dimensions of the region of interest with respect to this reference point.

[0030] Le dispositif 1 comprend en outre au moins un calculateur 11 , configuré pour mettre en œuvre les étapes décrites ci-après pour traiter la ou les images acquises par la caméra afin de déterminer si les mains du conducteur sont en contact avec le volant. Dans un mode de réalisation, le dispositif 1 comprend un seul calculateur 11 , qui peut être embarqué dans le véhicule, qui réalise l’ensemble des étapes décrites ci-dessous. Le calculateur 11 peut être intégré avec la caméra ou être un calculateur séparé, par exemple un calculateur de l’ordinateur de bord du véhicule, apte à recevoir transmises par la caméra. [0030] The device 1 further comprises at least one computer 11, configured to implement the steps described below to process the image(s) acquired by the camera in order to determine whether the driver's hands are in contact with the steering wheel. . In one embodiment, the device 1 comprises a single computer 11, which can be embedded in the vehicle, which performs all of the steps described below. The computer 11 can be integrated with the camera or be a separate computer, for example a computer of the on-board computer of the vehicle, able to receive transmitted by the camera.

[0031] En variante, et comme représenté schématiquement sur la figure 2, le dispositif peut comprendre au moins un premier calculateur 11’ embarqué dans le véhicule, réalisant certaines étapes, et un deuxième calculateur 12’ distant pouvant réaliser d’autres étapes. Alternatively, and as shown schematically in Figure 2, the device may include at least a first computer 11 'embedded in the vehicle, performing certain steps, and a second remote computer 12' that can perform other steps.

[0032] Le dispositif 1 comprend en outre au moins une mémoire 13 stockant des instructions de code exécutée par le calculateur ou un calculateur respectif pour pouvoir mettre en œuvre les étapes décrites ci-dessous. Avantageusement, la mémoire 13 peut en outre stocker en outre un masque du volant dans les images acquises par la caméra, c’est- à-dire les positions des pixels appartenant au volant dans ces images. The device 1 further comprises at least one memory 13 storing code instructions executed by the computer or a respective computer to be able to implement the steps described below. Advantageously, the memory 13 can also store a mask of the steering wheel in the images acquired by the camera, that is to say the positions of the pixels belonging to the steering wheel in these images.

[0033] Dans des modes de réalisations, ce masque est déterminé au cours d’un pré traitement dans lequel une image de référence est acquise avec la caméra, selon la même orientation que lors de la détection d’un contact entre le conducteur et le volant, mais sans qu’un conducteur soit présent, donc sans la présence d’une main sur le volant, de manière à pouvoir déterminer tous les pixels appartenant au volant et qui peuvent être visibles sur une image acquise par la caméra. [0033] In some embodiments, this mask is determined during a pre-processing in which a reference image is acquired with the camera, according to the same orientation as during the detection of a contact between the driver and the steering wheel, but without a driver being present, therefore without the presence of a hand on the steering wheel, so as to be able to determine all the pixels belonging to the steering wheel and which may be visible on an image acquired by the camera.

[0034] Dans un mode de réalisation, le pré-traitement peut comprendre une acquisition de plusieurs images de référence de la même scène avec la même caméra, ou d’une vidéo, avec des conditions d’éclairage différentes, et l’enregistrement des paramètres d’intensité des pixels du masque pour chaque image acquise. Pour un pixel, un paramètre d’intensité peut être un niveau de gris compris entre 0 et 255. En variante, dans le cas d’une image couleur, un paramètre d’intensité peut être un ensemble de trois valeurs rouge, vert, bleu, où chaque valeur est comprise entre 0 et 255. [0034] In one embodiment, the pre-processing may comprise acquiring several reference images of the same scene with the same camera, or of a video, with different lighting conditions, and recording the mask pixel intensity parameters for each acquired image. For a pixel, an intensity parameter can be a gray level between 0 and 255. Alternatively, in the case of a color image, an intensity parameter can be a set of three values red, green, blue, where each value is between 0 and 255.

[0035] Dans certains modes de réalisation, pour chaque pixel appartenant au masque de pixels, une gamme de valeurs d’intensité peut être déterminée à partir de l’ensemble des valeurs obtenues pour le pixel sur l’ensemble des images de référence. Par exemple, la gamme de valeurs d’intensité peut être définie par les intensités minimales et maximales observées sur l’ensemble des images acquises pour ledit pixel. En variante, une valeur moyenne et un écart-type des intensités sont déterminés pour chaque pixel du masque, et la gamme peut être déterminée à partir de cette valeur moyenne et de cet écart-type. Par exemple, la gamme peut être définie par : [m-No ; m+No], où m est la valeur moyenne, o est l’écart type et N un entier positif, par exemple 2 ou 3. In certain embodiments, for each pixel belonging to the mask of pixels, a range of intensity values can be determined from the set of values obtained for the pixel over the set of reference images. For example, the range of intensity values can be defined by the minimum and maximum intensities observed on all the images acquired for said pixel. Alternatively, a mean value and a standard deviation of the intensities are determined for each pixel of the mask, and the range can be determined from this mean value and this standard deviation. For example, the range can be defined by: [m-No; m+No], where m is the mean value, o is the standard deviation and N a positive integer, for example 2 or 3.

[0036] Le masque du volant dans l’image comprend alors, en plus des positions des pixels appartenant au volant dans l’image, la gamme de valeurs d’intensité calculée pour chaque pixel. The mask of the steering wheel in the image then comprises, in addition to the positions of the pixels belonging to the steering wheel in the image, the range of intensity values calculated for each pixel.

[0037] De plus, comme indiqué ci-avant, la mémoire 13 stocke également la définition de la zone d’intérêt Z1 délimitant le volant dans l’image. [0037] Furthermore, as indicated above, the memory 13 also stores the definition of the zone of interest Z1 delimiting the steering wheel in the image.

[0038] En référence aux figures 3 et 4, on va maintenant décrire les principales étapes du procédé mis en œuvre par le dispositif 1 pour déterminer si les mains du conducteur sont en contact avec le volant. With reference to Figures 3 and 4, we will now describe the main steps of the method implemented by the device 1 to determine whether the driver's hands are in contact with the steering wheel.

[0039] Une première étape 100 comprend l’acquisition d’une image par la caméra. Sur cette image, le conducteur et le volant sont au moins partiellement visibles. A first step 100 includes the acquisition of an image by the camera. In this image, the driver and steering wheel are at least partially visible.

[0040] Lors d’une étape 200, dont un exemple est représenté en figure 4, le dispositif 1 met en œuvre un traitement sur l’image acquise pour détecter les différentes parties du corps du conducteur visibles sur l’image. Dans un mode de réalisation, le traitement mis en œuvre peut être la détermination d’une représentation numérique simplifiée, parfois désignée sous le terme « squelette », des parties du corps du conducteur, comprenant par exemple la représentation des articulations (épaules, coudes, poignets, etc.) par des points, et des membres par des segments reliant deux articulations. Cette représentation numérique peut par exemple être obtenue par un algorithme de détection de pose du conducteur sur l’image ou un algorithme de squelettisation. L’Homme du Métier pourra se référer à la publication de Zhe Cao, Gines Hidalgo, Tomas Simon, Yaser Sheikh, « OpenPose : Realtime Multi- Person 2D Pose Estimation using Part Affinity Fields », arXiv :1812.08008v2-30 Mai 2019, pour un exemple de mise en œuvre. [0041] Dans un mode de réalisation, les étapes 1 d’acquisition d’image et de détection des parties du corps de le conducteur sur l’image peuvent être mutualisées pour d’autres fonctionnalités du système ou du véhicule. Par conséquent, dans des modes de réalisation, le calculateur mettant en œuvre l’étape 200 peut être distinct de celui mettant en œuvre les étapes suivantes. En reprenant le cas décrit ci-avant dans lequel une partie du traitement est effectuée par un calculateur distant, les étapes 100 et 200 peuvent être mises en œuvre respectivement par la caméra et un calculateur embarqué dans un véhicule, et les étapes suivantes peuvent être mises en œuvre par le calculateur distant. Alternativement, l’image acquise par la caméra à l’étape 100 est transmise à un calculateur distant qui met en œuvre l’ensemble du procédé sur l’image. Le résultat concernant la détection ou non d’un contact entre l’une ou les deux mains du conducteur et le volant, et éventuellement la détermination de la distance relative (proche ou éloignée) entre les mains du conducteur et le volant peut ensuite être renvoyée par le calculateur distant au calculateur embarqué. During a step 200, an example of which is represented in FIG. 4, the device 1 implements processing on the acquired image to detect the various parts of the driver's body visible in the image. In one embodiment, the processing implemented may be the determination of a simplified digital representation, sometimes referred to as the "skeleton", of the parts of the driver's body, comprising for example the representation of the joints (shoulders, elbows, wrists, etc.) by points, and limbs by segments connecting two joints. This digital representation can for example be obtained by an algorithm for detecting the pose of the conductor on the image or a skeletonization algorithm. Those skilled in the art may refer to the publication by Zhe Cao, Gines Hidalgo, Tomas Simon, Yaser Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1812.08008v2-30 May 2019, for an example of implementation. [0041] In one embodiment, steps 1 of image acquisition and detection of parts of the driver's body in the image can be pooled for other functionalities of the system or of the vehicle. Consequently, in some embodiments, the computer implementing step 200 can be distinct from that implementing the following steps. Returning to the case described above in which part of the processing is performed by a remote computer, steps 100 and 200 can be implemented respectively by the camera and a computer on board a vehicle, and the following steps can be implemented. implemented by the remote computer. Alternatively, the image acquired by the camera in step 100 is transmitted to a remote computer which implements the entire process on the image. The result concerning the detection or not of a contact between one or both hands of the driver and the steering wheel, and possibly the determination of the relative distance (near or far) between the hands of the driver and the steering wheel can then be returned by the remote computer to the on-board computer.

[0042] Lors d’une étape 300, le dispositif 1 détermine ensuite, à partir des localisations des différentes parties du corps du conducteur, au moins une zone d’intérêt Z2 dans l’image, correspondant à un ensemble de positions possibles d’une main du conducteur. De telles zones d’intérêt sont représentées dans l’exemple de la figure 5. Chaque zone d’intérêt Z2 peut présenter une taille et une forme prédéterminées, et être positionnée à une position relative déterminée par rapport à l’une des parties du corps du conducteur détectées à l’étape précédente. Dans des modes de réalisation, les poignets du conducteur sont localisés lors de l’étape 200 consistant à déterminer la représentation numérique simplifiée du corps du conducteur. Chaque zone d’intérêt Z2 est définie par rapport à la position de l’un des poignets, de manière à contenir l’ensemble des positions possibles des mains du conducteur compte-tenu de la localisation de ses poignets. [0043] La taille, la forme et la position relative de chaque zone d’intérêt par rapport à un poignet correspondant du conducteur peuvent être déterminées par exemple par calibrage à partir de positions possibles des mains du conducteur sur différentes images acquises par la même caméra 10, où le conducteur présente des positions variées. [0042] During a step 300, the device 1 then determines, from the locations of the different parts of the driver's body, at least one zone of interest Z2 in the image, corresponding to a set of possible positions of a driver's hand. Such areas of interest are represented in the example of FIG. 5. Each area of interest Z2 can have a predetermined size and shape, and be positioned at a determined relative position with respect to one of the parts of the body of the driver detected in the previous step. In embodiments, the driver's wrists are located during step 200 of determining the simplified digital representation of the driver's body. Each zone of interest Z2 is defined with respect to the position of one of the wrists, so as to contain all the possible positions of the driver's hands given the location of his wrists. [0043] The size, shape and relative position of each zone of interest with respect to a corresponding wrist of the driver can be determined for example by calibration from possible positions of the hands of the driver on different images acquired by the same camera. 10, where the conductor has various positions.

[0044] Dans certains cas, si un ou les deux poignets ne sont pas visibles sur l’image, ils ne sont pas détectés lors de la mise en œuvre de l’étape 200 et par conséquent l’étape 300 n’est pas mise en œuvre car aucune zone d’intérêt ne peut être déterminée à partir d’un poignet. [0044] In some cases, if one or both wrists are not visible on the image, they are not detected during the implementation of step 200 and consequently step 300 is not implemented. implemented because no area of interest can be determined from a wrist.

[0045] Dans les autres cas, une fois la ou les zones d’intérêt Z2 déterminées, le dispositif 1 met en œuvre une étape 400 de détection de main au sein de chaque zone d’intérêt Z2, pour localiser effectivement les mains du conducteur. En sortie de cette étape, et comme représenté par exemple sur la figure 6, une zone Z3 de l’image, plus petite que la zone Z2, peut être définie de façon à entourer chaque main du conducteur. Dans un mode de réalisation, cette étape 400 peut être mise en œuvre par application, sur l’image réduite à chaque zone d’intérêt, d’un réseau de neurones convolutif. [0046] Le dispositif 1 détermine ensuite au cours d’une étape 500 si au moins une main se situe dans la zone d’intérêt Z1 délimitant le volant dans l’image. Ceci est représenté dans l’exemple de la figure 7. Pour cela, le dispositif 1 peut déterminer si chaque zone Z3 délimitant une main du conducteur dans l’image est incluse dans la zone Z1. Le dispositif 1 peut déterminer qu’une zone Z3 est incluse dans la zone Z1 par exemple si tous les pixels de la zone Z3 sont inclus dans la zone Z1, ou, selon un autre exemple, si au moins une proportion prédéterminée des pixels de la zone Z3, par exemple la moitié, est incluse dans la zone Z1. In the other cases, once the zone or zones of interest Z2 have been determined, the device 1 implements a hand detection step 400 within each zone of interest Z2, to effectively locate the driver's hands. . At the end of this stage, and as represented for example in FIG. 6, a zone Z3 of the image, smaller than the zone Z2, can be defined so as to surround each hand of the driver. In one embodiment, this step 400 can be implemented by applying, to the image reduced to each zone of interest, a convolutional neural network. The device 1 then determines during a step 500 if at least one hand is located in the zone of interest Z1 delimiting the steering wheel in the image. This is represented in the example of FIG. 7. For this, the device 1 can determine whether each zone Z3 delimiting a driver's hand in the image is included in the zone Z1. The device 1 can determine that a zone Z3 is included in the zone Z1 for example if all the pixels of the zone Z3 are included in the zone Z1, or, according to another example, if at least a predetermined proportion of the pixels of the zone Z3, for example half, is included in zone Z1.

[0047] Si une zone Z3 délimitant une main dans l’image n’est pas incluse dans la zone délimitant le volant, le dispositif 1 en déduit que la main correspondante est éloignée du volant. On a représenté sur la figure 3 une étape correspondante de prise de décision par le dispositif 1 concernant la position des mains par rapport au volant. Au contraire, si la zone Z3 est incluse dans la zone délimitant le volant sur l’image, le dispositif 1 en déduit que la main correspondante est proche du volant, et met en œuvre une étape 600 supplémentaire pour déterminer si chaque main est effectivement en contact avec le volant. [0048] Pour cela, dans des modes de réalisation dans lequel la mémoire 13 stocke un masque du volant, le dispositif 1 est configuré pour déterminer, pour chaque pixel de l’image appartenant au masque du volant, une valeur d’intensité, et pour comparer cette valeur d’intensité à la gamme de valeurs d’intensité associée au pixel correspondant du masque, afin de sélectionner des groupes de pixels adjacents du masque dont la valeur d’intensité se trouve hors de ladite gamme, ce qui correspond à une variation importante de la valeur d’intensité du pixel par rapport à un ensemble d’images de référence dans lesquelles aucune main n’est en contact avec le volant. If a zone Z3 delimiting a hand in the image is not included in the zone delimiting the steering wheel, the device 1 deduces therefrom that the corresponding hand is away from the steering wheel. There is shown in Figure 3 a corresponding step of decision-making by the device 1 concerning the position of the hands relative to the steering wheel. On the contrary, if the zone Z3 is included in the zone delimiting the steering wheel on the image, the device 1 deduces therefrom that the corresponding hand is close to the steering wheel, and implements an additional step 600 to determine whether each hand is actually in contact with the steering wheel. For this, in embodiments in which the memory 13 stores a steering wheel mask, the device 1 is configured to determine, for each pixel of the image belonging to the steering wheel mask, an intensity value, and to compare this intensity value with the range of intensity values associated with the corresponding pixel of the mask, in order to select groups of adjacent pixels of the mask whose intensity value lies outside of said range, which corresponds to a significant variation in the intensity value of the pixel compared to a set of reference images in which no hand is in contact with the steering wheel.

[0049] Le cas échéant, pour chaque groupe de pixels sélectionné, le dispositif 1 est configuré pour déterminer à partir de paramètres de taille et de position dudit groupe de pixels, si ce groupe correspond à une main du conducteur. En particulier, le dispositif 1 peut calculer un centre (ou un barycentre) du groupe de pixels, une aire du groupe de pixels, et un périmètre du groupe de pixels. L’aire du groupe de pixels peut être calculée comme la somme des surfaces de chaque pixel du groupe, ou comme l’aire d’un cercle approximant le contour du groupe de pixels. De même, le périmètre du groupe de pixels peut être calculé comme le périmètre d’un cercle approximant le contour du groupe de pixels. [0050] Les paramètres de taille tels que l’aire et le périmètre sont comparés à des plages de valeurs prédéterminées correspondant à des tailles de mains, et les paramètres de position tels que la position du centre du groupe de pixels, sont comparés à l’emplacement de chaque zone Z3 correspondant aux mains. If necessary, for each group of pixels selected, the device 1 is configured to determine from parameters of size and position of said group of pixels, if this group corresponds to a hand of the driver. In particular, the device 1 can calculate a center (or a barycenter) of the group of pixels, an area of the group of pixels, and a perimeter of the group of pixels. The area of the group of pixels can be calculated as the sum of the areas of each pixel in the group, or as the area of a circle approximating the outline of the group of pixels. Similarly, the perimeter of the group of pixels can be calculated as the perimeter of a circle approximating the outline of the group of pixels. [0050] The size parameters such as the area and the perimeter are compared to ranges of predetermined values corresponding to hand sizes, and the position parameters such as the position of the center of the group of pixels, are compared to the location of each zone Z3 corresponding to the hands.

[0051] Si les paramètres de taille sont inclus dans les plages de valeurs correspondantes, et si la distance entre un groupe de pixels et la zone Z3 correspondant à une main est inférieure à un seuil prédéterminé, le dispositif de détection détecte un contact entre une main contenue dans une zone Z3 et le volant. If the size parameters are included in the corresponding ranges of values, and if the distance between a group of pixels and the zone Z3 corresponding to a hand is less than a predetermined threshold, the detection device detects a contact between a hand contained in a zone Z3 and the steering wheel.

[0052] Ainsi, le dispositif de détection peut déterminer de façon fiable qu’un objet perturbant l’apparence habituelle du volant est bien la main d’un conducteur déterminé, et en particulier la main du conducteur dans le cas d’un véhicule, et non un autre objet ou une autre partie du corps. [0052] Thus, the detection device can reliably determine that an object disturbing the usual appearance of the steering wheel is indeed the hand of a determined driver, and in particular the driver's hand in the case of a vehicle, and not another object or part of the body.

[0053] En variante, l’étape 600 de détermination d’un contact entre chaque main et le volant peut être mise en œuvre par d’autres méthodes, par exemple par application d’autres algorithmes de traitement d’images ou par application d’un modèle d’apprentissage automatique profond entraîné pour cette tâche. Alternatively, step 600 of determining contact between each hand and the steering wheel can be implemented by other methods, for example by applying other image processing algorithms or by applying a deep machine learning model trained for this task.

[0054] Dans le cas d’un dispositif de détection intégré à un véhicule de type semi-autonome, le dispositif peut autoriser, s’il détecte un contact entre les deux mains du conducteur et le volant, de permettre un passage d’un mode de fonctionnement autonome du véhicule à un mode de fonctionnement non autonome. Dans d’autres modes de réalisation, cette autorisation peut être délivrée si des conditions supplémentaires sont satisfaites, telles que par exemple le fait que le conducteur regarde la route. [0054] In the case of a detection device integrated into a vehicle of the semi-autonomous type, the device can authorize, if it detects contact between the two hands of the driver and the steering wheel, to allow passage of a autonomous operating mode of the vehicle to a non-autonomous operating mode. In other embodiments, this authorization can be issued if additional conditions are satisfied, such as for example that the driver is looking at the road.

De plus, le dispositif décrit ci-avant exploite une représentation numérique du corps du conducteur obtenue par un algorithme qui peut être commun à plusieurs traitements mis en œuvre dans un même véhicule pour différentes applications, ce qui limite les ressources de calcul propres à ce dispositif de détection. In addition, the device described above uses a digital representation of the driver's body obtained by an algorithm which may be common to several processing operations implemented in the same vehicle for different applications, which limits the calculation resources specific to this device. of detection.

Claims

Revendications Claims [Revendication 1] Dispositif (1) de détection d’un contact physique entre au moins une main d’un conducteur d’un véhicule et un organe de commande ou volant dudit véhicule, comprenant : - une caméra (10) embarquée dans l’habitacle du véhicule orientée de façon à permettre l’acquisition d'images sur lesquelles le volant est au moins partiellement visible, et un calculateur (11,12), le dispositif étant configuré pour : acquérir au moins une image, traiter l’image acquise pour détecter les différentes parties du corps du conducteur visibles sur l’image, détecter la position d’un point de l’image correspondant à la position de chaque poignet du conducteur dans l’image, déterminer au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur comme une zone de l’image de taille et de forme prédéterminées, et dont la position relative par rapport au point correspondant à la position d’un poignet est déterminée, mettre en œuvre une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant du véhicule, déterminer si un contact est établi entre ladite main de du conducteur et le volant du véhicule. [Claim 1] Device (1) for detecting physical contact between at least one hand of a driver of a vehicle and a control member or steering wheel of said vehicle, comprising: - a camera (10) on board the passenger compartment of the vehicle oriented so as to allow the acquisition of images on which the steering wheel is at least partially visible, and a computer (11,12), the device being configured to: acquire at least one image, process the acquired image to detect the different parts of the driver's body visible on the image, detect the position of a point of the image corresponding to the position of each wrist of the driver in the image, determine at least one zone of interest in the image in which at least one hand of the driver is located as an area of the image of predetermined size and shape, and whose relative position with respect to the point corresponding to the position of a wrist is determined, implement a hand detection within each area of interest of the image, and if at least one hand of the driver is located in an area of interest of the image delimiting the steering wheel of the vehicle, determining whether contact is established between said hand of the driver and the steering wheel of the vehicle. [Revendication 2] Dispositif (1) selon l’une quelconque des revendications 1 ou 2, dans lequel le calculateur (11,12) est configuré pour appliquer un réseau de neurones convolutif pour localiser chaque main au sein de chaque zone d’intérêt correspondante. [Claim 2] A device (1) according to any of claims 1 or 2, wherein the computer (11,12) is configured to apply a convolutional neural network to locate each hand within each corresponding area of interest . [Revendication 3] Dispositif (1) selon l’une quelconque des revendications précédentes, dans lequel le calculateur (11,12) est configuré pour déterminer en outre une position relative de chaque main par rapport au volant parmi les positions suivantes : - en contact avec le volant, proche du volant, si la main est dans la zone d’intérêt de l’image délimitant le volant, mais sans être en contact avec le volant, ou éloignée du volant, si la main est en dehors de la zone d’intérêt de l’image délimitant le volant. [Claim 3] Device (1) according to any one of the preceding claims, in which the computer (11,12) is configured to further determine a relative position of each hand with respect to the steering wheel from among the following positions: - in contact with the steering wheel, close to the steering wheel, if the hand is in the area of interest of the image delimiting the steering wheel, but without being in contact with the steering wheel, or away from the steering wheel, if the hand is outside the area of interest of the image delimiting the steering wheel. [Revendication 4] Dispositif (1) selon l’une quelconque des revendications précédentes, comprenant en outre une mémoire (13) stockant un masque du volant dans les images prises par la caméra, le masque comprenant les positions des pixels appartenant au volant dans les images, dans lequel le masque du volant comprend en outre, pour chaque pixel appartenant au volant dans les images prises par la caméra, une gamme de valeurs d’intensité pouvant être prises par ledit pixel, et le calculateur (11,12) est en outre configuré pour : déterminer, pour l’ensemble des pixels de l’image dont les positions correspondent aux pixels du masque du volant dans l’image, d’une valeur d’intensité associée à chaque pixel, sélection des pixels dont la valeur d’intensité est hors de la gamme de valeurs d’intensité associée au pixel correspondant du masque du volant dans l’image, identifier au moins un groupe de pixels sélectionnés adjacents les uns aux autres, et pour chaque groupe de pixels identifié, déterminer, à partir de paramètres de taille et de position dudit groupe de pixels, si ledit groupe de pixels correspond à une main du conducteur et, si ledit groupe de pixels correspond à une main du conducteur, décider qu’un contact est établi entre la main du conducteur et le volant. [Claim 4] Device (1) according to any one of the preceding claims, further comprising a memory (13) storing a mask of the steering wheel in the images taken by the camera, the mask comprising the positions of the pixels belonging to the steering wheel in the images, in which the steering wheel mask further comprises, for each pixel belonging to the steering wheel in the images taken by the camera, a range of intensity values that can be taken by said pixel, and the computer (11,12) is in furthermore configured to: determine, for all the pixels of the image whose positions correspond to the pixels of the steering wheel mask in the image, an intensity value associated with each pixel, selection of the pixels whose value d intensity is outside the range of intensity values associated with the corresponding steering wheel mask pixel in the image, identifying at least one group of selected pixels adjacent to each other, and for each identified group of pixels, determining iner, from size and position parameters of said group of pixels, if said group of pixels corresponds to a hand of the driver and, if said group of pixels corresponds to a hand of the driver, decide that a contact is established between the driver's hand and steering wheel. [Revendication 5] Dispositif (1) selon la revendication précédente, dans lequel les paramètres de taille et de position comprennent au moins l’un des paramètres parmi le groupe suivant : centre, périmètre et aire du groupe de pixels. [Claim 5] Device (1) according to the preceding claim, in which the size and position parameters comprise at least one of the parameters from the following group: center, perimeter and area of the group of pixels. [Revendication 6] Dispositif (1) selon l’une quelconque des revendications précédentes, dans lequel le véhicule est de type partiellement autonome, et le dispositif est configuré pour détecter un contact entre au moins une main du conducteur et l’organe de commande du véhicule pendant un mode de fonctionnement en mode autonome du véhicule, et pour permettre un passage du véhicule en mode de fonctionnement non autonome en cas de contact détecté entre au moins une main du conducteur et l’organe de commande. [Claim 6] Device (1) according to any one of the preceding claims, in which the vehicle is of the partially autonomous type, and the device is configured to detect contact between at least one hand of the driver and the control member of the vehicle during an operating mode in autonomous mode of the vehicle, and to allow the vehicle to switch to non-autonomous operating mode in the event of contact detected between at least one hand of the driver and the control member. [Revendication 7] Dispositif selon l’une quelconque des revendications 6 ou 7, comprenant un premier calculateur (11’) embarqué dans le véhicule et un calculateur distant (12), le calculateur distant (12) étant configuré pour recevoir l’image acquise, pour mettre en œuvre au moins les traitements de détermination des zones d’intérêt, localisation de chaque main au sein d’une zone d’intérêt et détermination d’un contact entre une main et l’organe de commande, et pour transmettre au calculateur embarqué dans le véhicule le résultat de ladite détermination. [Claim 7] Device according to any one of Claims 6 or 7, comprising a first computer (11') on board the vehicle and a remote computer (12), the remote computer (12) being configured to receive the image acquired , to implement at least the processing operations for determining the zones of interest, locating each hand within a zone of interest and determining a contact between a hand and the control member, and to transmit the result of said determination to the onboard computer in the vehicle. [Revendication 8] Produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre d’étapes de : - détermination, à partir d’une image sur laquelle le conducteur et le volant sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant, détermination d’un contact entre ladite du conducteur et le volant, lorsqu’il est mis en œuvre par un calculateur (11 , 12). [Claim 8] Computer program product, comprising code instructions for the implementation of steps of: - determination, from an image on which the driver and the steering wheel are at least partially visible, of at least at least one area of interest in the image in which at least one hand of the driver is located, location of each hand within each area of interest of the image, and if at least one hand of the driver is in a area of interest of the image delimiting the steering wheel, determination of contact between said driver and the steering wheel, when it is implemented by a computer (11, 12). [Revendication 9] Procédé de détection d’un contact physique entre au moins une main d’un conducteur de véhicule muni d’un dispositif (1) selon l’une quelconque des revendications 1 à 7 et le volant dudit véhicule, comprenant les étapes de : acquisition d’au moins une image, traitement de l’image acquise pour détecter les différentes parties du corps du conducteur visibles sur l’image, détection de la position d’un point de l’image correspondant à la position de chaque poignet du conducteur dans l’image, détermination d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main du conducteur comme une zone de l’image de taille et de forme prédéterminées, et dont la position relative par rapport au point correspondant à la position d’un poignet est déterminée, mise en œuvre d’une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main du conducteur se trouve dans une zone d’intérêt de l’image délimitant le volant, détermination de l’établissement d’un contact entre ladite main du conducteur et le volant. [Claim 9] Method for detecting physical contact between at least one hand of a driver of a vehicle fitted with a device (1) according to any one of claims 1 to 7 and the steering wheel of said vehicle, comprising the steps of: acquisition of at least one image, processing of the acquired image to detect the various parts of the driver's body visible on the image, detection of the position of a point of the image corresponding to the position of each wrist of the driver in the image, determination of at least one area of interest in the image in which at least one hand of the driver is located as an area of the image of predetermined size and shape, and whose relative position with respect to the point corresponding to the position of a wrist is determined, implementation of a hand detection within each zone of interest of the image, and if at least one hand of the driver is in a zone of interest of the image delimiting the steering wheel, determination of the establishment of contact between said driver's hand and the steering wheel.
PCT/EP2022/069516 2021-07-12 2022-07-12 Device for detecting contact between at least one hand of a vehicle driver and the steering wheel of the vehicle and use thereof in a semi-autonomous vehicle Ceased WO2023285490A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2107574A FR3125155B1 (en) 2021-07-12 2021-07-12 Device for detecting contact between an individual and an object and application to a semi-autonomous vehicle
FRFR2107574 2021-07-12

Publications (1)

Publication Number Publication Date
WO2023285490A1 true WO2023285490A1 (en) 2023-01-19

Family

ID=77711082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/069516 Ceased WO2023285490A1 (en) 2021-07-12 2022-07-12 Device for detecting contact between at least one hand of a vehicle driver and the steering wheel of the vehicle and use thereof in a semi-autonomous vehicle

Country Status (2)

Country Link
FR (1) FR3125155B1 (en)
WO (1) WO2023285490A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115973168A (en) * 2023-01-18 2023-04-18 重庆长安汽车股份有限公司 A method and system for monitoring the attitude of the driver holding the steering wheel

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AKSHAY RANGESHESHED OHN-BARMOHAN M. TRIVEDI: "Driver Hand Localization and Grasp Analysis ; A Vision-Based Real-Time Approach", 2016 IEEE 19TH INTERNATIONAL CONFÉRENCE ON INTELLIGENT TRANSPOSTATION SYSTEMS
ESHED OHN-BAR, MOHAN TRIVEDI: "In-Vehicle Hand Activity Recognition using Integration of Regions", IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2013, XP032501941 *
ESHED OHN-BARMOHAN TRIVEDI: "In-Vehicle Hand Activity Récognition Using Intégration of Regions", 2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM
REZAEI MAHDI: "Computer Vision for Driver Assistance", 1 January 2017, SPRINGER, pages: 21 - 24, XP055876914 *
SIDDHARTH, AKSHAY RANGESH, ESHED OHN-BAR, MOHAN TRIVEDI: "IEEE 19th International Conférence on Intelligent Trans-postation Systems", 2016, article "Driver Hand Localization and Grasp Analysis A Vision-Based Real-Time Approach", XP033028694 *
ZHE CAOGINES HIDALGOTOMAS SIMONYASER SHEIKH: "OpenPose : Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", ARXIV :1812.08008V2, 30 May 2019 (2019-05-30)

Also Published As

Publication number Publication date
FR3125155B1 (en) 2023-07-14
FR3125155A1 (en) 2023-01-13

Similar Documents

Publication Publication Date Title
EP2766872B1 (en) Method of calibrating a computer-based vision system onboard a craft
EP2013816B1 (en) Procedure for identifying a person by eyelash analysis
EP3285209B1 (en) Monitoring method using a multi-sensor system
CN110678873A (en) Attention detection method based on cascade neural network, computer device and computer readable storage medium
FR2947657A1 (en) METHOD FOR DETECTING AN OBSTACLE FOR A MOTOR VEHICLE
EP1986126A1 (en) Method and device for locating a human iris in an image
FR3075433B1 (en) METHOD FOR DETERMINING THE HIGHLIGHTS OF A TARGET ON AN IMAGE
WO2018146400A1 (en) Method for detecting false positives relating to a traffic light
EP3614306B1 (en) Method for facial localisation and identification and pose determination, from a three-dimensional view
WO2012007382A1 (en) Method for detecting a target in stereoscopic images by learning and statistical classification on the basis of a probability law
WO2023285490A1 (en) Device for detecting contact between at least one hand of a vehicle driver and the steering wheel of the vehicle and use thereof in a semi-autonomous vehicle
EP3839816A1 (en) Electronic device for identifying and monitoring at least one target, associated electronic system, method and computer program
EP0863488A1 (en) Method for detecting level contours in two stereoscopic images
EP2333693B1 (en) Process for correcting eyes position in an image
WO2015092049A1 (en) Method for detecting people and/or objects in a space
EP3847417A1 (en) Method for detecting false positives of an image-processing device of a camera
FR3066303B1 (en) METHOD FOR CALIBRATING A DEVICE FOR MONITORING A DRIVER IN A VEHICLE
WO2015092040A1 (en) Method for estimating the number of persons and/or objects in a space
FR3146270A1 (en) DRIVER CONSCIOUSNESS DETECTION
EP3757942B1 (en) Method and device for passive telemetry by image processing
FR3160262A1 (en) Visual sealing device, vision system, vehicle and associated visual sealing method
FR3080938A1 (en) HIGH PASSENGER IDENTIFICATION OF PASSENGERS IN PORTAL SURVEILLANCE
WO2024240657A1 (en) Checking the compliance of a light beam in a vehicle
WO2024042288A1 (en) System and method for providing navigation assistance to a mobile system by means of a model for predicting the traversability of the mobile system on a terrain
WO2015092045A1 (en) Method for detecting persons and/or objects in a space

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22751310

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22751310

Country of ref document: EP

Kind code of ref document: A1