[go: up one dir, main page]

WO2013153538A1 - Procede de determination de la direction du regard d'un utilisateur - Google Patents

Procede de determination de la direction du regard d'un utilisateur Download PDF

Info

Publication number
WO2013153538A1
WO2013153538A1 PCT/IB2013/052930 IB2013052930W WO2013153538A1 WO 2013153538 A1 WO2013153538 A1 WO 2013153538A1 IB 2013052930 W IB2013052930 W IB 2013052930W WO 2013153538 A1 WO2013153538 A1 WO 2013153538A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
user
images
image
treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/IB2013/052930
Other languages
English (en)
Inventor
Marc Massonneau
Marc SWYNGHEDAUW
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to US14/391,579 priority Critical patent/US9715274B2/en
Priority to EP13725787.9A priority patent/EP2836893A1/fr
Publication of WO2013153538A1 publication Critical patent/WO2013153538A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to the determination of the direction of gaze of a person by monitoring his eye movements, especially when this person visualizes a screen of a computer system.
  • US 6,113,237 relates to a device for detecting the horizontal and vertical movements of a person's eyes. It gives the position of the pupil, but not the direction of the gaze. It does not allow to obtain a great precision.
  • Patent applications US 2005/0110950 and US 2010/0283972 relate to medical applications of the detection of saccadic movements of the eye and do not teach more particularly to determine the direction of gaze.
  • the application US 2010/045933 proposes a method for identifying the direction of the gaze involving a reflection on the retina which requires a complex optical apparatus (mobile mirrors scanning the area measured from a very small point light source) associated with a method of deferred processing of information based on fixed repositories.
  • This device does not use the synergistic and self-sustaining aspects of a dual source of real-time information with relative referencing and therefore can not satisfactorily address the issues of instantaneous information processing and self-correction of data. drifts.
  • the application EP 2 261 772 describes a method for reconstructing the direction of gaze from a still, remote camera facing the user.
  • a first process identifies and then tracks the position and orientation of the head by optical flow, and a second process identifies one or both of the user's irises.
  • This fixed device not embedded, significantly restricts the mobility of the user and does not meet the precision constraints expected from such a system.
  • the application US 2012/019645 describes a device for determining the look data on an onboard display screen. It does not include SEO to the outside world.
  • the invention aims to meet all or part of these needs.
  • the object of the invention is thus, according to a first of its aspects, a method of determining the direction of the gaze of a user comprising the acquisition of images of the eye, in particular using an optical sensor. , preferably a camera, the method comprising:
  • the best accuracy reduces the drift over time compared to the initial calibration and thus extend the duration of use without the need for a new calibration.
  • the comfort of use is increased.
  • the first and second treatments do not necessarily take place in the order a) then b) and can also take place in order b) then a), the treatments being performed in a loop to provide at intervals of time regular information about the direction of the gaze.
  • the image acquisition method used in the method may advantageously be non-intrusive to the eye.
  • the images are used to determine the position and / or the displacement of the eye are images of the outside of the eye and not images of a deep surface of the eye, such as the retina or the macula, or involving refractions and / or reflections on elements of the eye, such as the retina or cornea.
  • the images that can be used in the invention are surface appearance images of the eye, such as at least a portion of the contour of the iris and / or sclera. This may make it possible to maintain a relatively simple acquisition lens that is easy to integrate into glasses, for example. This can also simplify the lighting integrated in the device worn by the user, because it is not necessary to penetrate a light beam within the eye in particular incidence conditions.
  • Diffuse illumination of the surface of the eye, especially the iris and sclera may be appropriate.
  • the invention is not based on the observation of the reflection of light sources on the eye and can thus be more independent of the light environment.
  • Acquired images may represent anatomical and / or external kinematic data of the eye.
  • the first and second treatments may be based on the acquisition of images at different acquisition frequencies, and preferably the first processing is performed at a first acquisition frequency less than the second processing which takes place at a second frequency, preferably with a factor of at least 10 between the first and second frequencies.
  • the first and second treatments may be based on the acquisition of images at different resolutions, and preferably the first processing is based on the acquisition of images at a resolution greater than the resolution of the acquisition made during the second processing, for example greater by a factor of 5 at least.
  • the information delivered by the first treatment can make it possible to correct the drifts related to the second treatment, in the precision of the measurement.
  • the first treatment provides information on the orientation of the eye, from the observation of an area of the eye whose appearance varies with the rotation of the eye.
  • the orientation is determined statically regardless of its evolution over time.
  • This first treatment can be performed from a single image. It can be done for each image.
  • This first treatment may comprise the determination of the parameters related to the shape of the ellipse corresponding to the pupil, in particular to determine the position of a point of the eye, for example the center of the pupil.
  • An algorithm for reconstructing the shape of the pupil on the image can be used by determining by image processing the parameters of the ellipse corresponding to the circle of the pupil observed in a direction making an angle with the normal to the plane of the pupil. this circle. We can deduce the orientation of the eye by analyzing the evolution of the shape of this ellipse.
  • the reconstruction of an ellipse is for example possible from five points of its contour.
  • a limited number of contour points, in particular five, are sufficient to calculate the descriptive parameters of this ellipse (center, minor axis, major axis and rotation angle). Knowing these characteristics and those of the camera, it is thus possible to reconstruct in 3D the direction of the vector normal to the disk whose projection is the ellipse.
  • the reconstruction of the ellipse may require minimal resolution to obtain the necessary precision.
  • an ellipse reconstruction algorithm is used to take into account the intensity of the gray levels in the entire image, rather than focusing on the outline of the task corresponding to the pupil to trace the ellipse.
  • the direction of the eye in the repository of the camera is given by the normal to the disc of the pupil taken in its center. This normal and the center of the disc, different from the center of the ellipse, are obtained from the characteristics of the ellipse.
  • the direction of gaze in the reference frame of the head is obtained by applying a rotation matrix with 3 axes which is fixed and known.
  • the processed image does not necessarily include a view of the iris of the eye in its entirety.
  • the invention makes it possible to obtain the ellipse even when the image comprises only a portion of the iris of the eye, whether the eye has been partially closed when the image is taken, or that the image is taken on the eye with significant magnification.
  • the treatment can provide the desired information, even if only a partial view of the border of the iris, or only a border of the iris with the white of the eye.
  • this method Unlike conventional methods that calculate the orientation of the eye as a non-linear function of the distance between the center of the ellipse and the center of one of the reflections on the cornea of an external illumination, called points of Purkinje), this method allows to know the orientation of the eye without using an external reference such as Purkinje points. The linearity of this solution makes it possible to get lost from the calibration methods inherent in the classical method.
  • the second treatment provides information on the kinematics of the eye by comparing at least two successive images, that is to say information on the evolution of the position of the eye in its orbit between two instants.
  • This second treatment can be performed from two consecutive images. It can be performed for each pair of successive images acquired by the optical sensor.
  • the second treatment provides information on the movement of the eye in its orbit, including information on the angle of rotation of the eye, assuming that the eye is a sphere.
  • the second treatment involves determining the optical flux between two successive images of the eye, that is to say the apparent movement caused by the relative movement between the optical sensor that acquires images and the eye.
  • a corresponding algorithm is known from the article "Determining Optical Flow” Berthold KP Horn et al, Artificial Intellingence, vol. 17, pp. 185-203, 1981.
  • the variation of the flux of pixels in an image is measured by difference between two or more images.
  • Two successive images can be very close together in time.
  • Two successive images are preferably of constant intensity.
  • One can locate between two images of the same area of a moving part of the eye having contrasts, for example two successive images of the sclera comprising blood vessels, or any region including all or part of the Iris or pupil, the choice of the region is not limiting, the variation of the location of characteristic areas by their shapes or intensity.
  • the variation in the location of the characteristic zones is observed by the variation of the intensity flux of pixels in the plane parallel to the plane of the sensor.
  • the measurement of this variation of the optical pixel flux does not require having to explicitly identify a reference image or features or reference patterns in the image.
  • these "images" can be taken at very high frequencies by a second sensor independent of the first treatment. It is not necessary that this second sensor has a good resolution or a good focus provided that the measured area is contrasted.
  • the measurement of this variation of the optical flux is facilitated if the intensity of each image is constant.
  • the information resulting from the two treatments can be combined to generate information about the direction of the gaze, which can be information about the direction of an eye.
  • the information concerning the direction of gaze may result from the addition of the two pieces of information, each being weighted according to a law that may depend on the two pieces of information themselves.
  • the first treatment makes it possible to obtain information concerning a change of orientation of the direction of gaze, in the reference frame of the camera, by the measurement of the normal to the pupil.
  • the second treatment makes it possible to know the differential of movement of one or more points of the sphere modeling the eye in the plane of the camera.
  • These two informations come from two independent treatments. They are combined and weighted to obtain a measure of the direction of the final eye. This weighting is a function of the coherence of the movement at this moment.
  • the solution of the rotation enabling get the final state at time t + dt, which can be the next image, depending on the two information obtained.
  • the chosen solution is a weighting of the two results as a function of their consistency with the imposed rotation model. Both treatments can be performed simultaneously or almost simultaneously. This can make it possible to take advantage of their functional and / or topographical complementarity to accelerate or facilitate the treatments or to improve the quality.
  • One of the information can be used to correct the other or to help determine it. One can for example proceed by interpolation to determine one of the information.
  • the second treatment makes it possible to obtain information on the displacement of the eye in its orbit with a lesser influence of the refraction, insofar as the zone of the eye used is preferably situated relatively in the corner of the latter, for example on the sclera.
  • the second treatment can produce errors in the case where the eye rotates too fast relative to the capture speed of optical sensors, hence the advantage of using successive images close in time, so a high optical sensor acquisition frequency, and the combination with the first treatment.
  • the center of rotation of the pupil in space is the minimizing solution, for example by the method of the least squares, the equation of a sphere knowing the positions in the plane of the multi-point camera of this sphere as well as normal to the sphere in each of these points.
  • the first treatment makes it possible to precisely know the position of the pupil when the movement of the eye is slow or zero compared to the acquisition frequency, angular velocity corresponding to a movement frequency of, for example, 30 Hz. If the displacement is very fast, especially with an angular velocity corresponding to a frequency greater than or equal to 200 Hz, the image is distorted, appears blurred, scrambled and reconstruction bad.
  • the second treatment measures a rotation speed.
  • the angular orientation is obtained by integrating this speed in time.
  • the acquisition system is much faster than the movement of the eye, this method allows accurate measurement during very fast movements of the eye. Conversely it is less interesting during slow movements of the eye because the background noise of the image becomes important in the face of the small displacement.
  • the combination of the two treatments is therefore particularly advantageous and makes it possible to obtain both a good spatial accuracy and a good temporal accuracy of the orientation of the eye by allowing a reciprocal self-correction of the two treatments.
  • a device carried by the user comprising at least a first camera configured to acquire an image of all or part of an eye of the user.
  • the device may also comprise an electronic circuit for processing the images acquired according to the method according to the invention, so as to determine a relative movement of the eye relative to the camera and the evolution of the direction of gaze over time .
  • This device can be worn in whole or in part by the user.
  • the device may further comprise at least one information representation system including screen type or semi-transparent screen, projector, speaker or earpiece, vibratory force feedback system.
  • the representation system can for example to represent visually, graphically, sound or other information obtained in step a) or b) or derived from such information.
  • the device may further comprise at least one sensor of a physiological information relating to the wearer of the device.
  • the latter sensor is for example selected from a microphone, a motion or acceleration sensor, an image sensor, one or more electrodes, a sweat sensor.
  • the treatment can take place fully integrated with glasses worn by the user, for example, or remotely, thanks to remote transmission of images for example, or in a mixed way, partly at the glasses and partly in a remote manner, a pretreatment being for example performed through an electrical circuit carried by the glasses and information sent to a remote circuit by a non-wire link. Preprocessing reduces the data transfer rate.
  • the eye or both eyes are preferably illuminated with infrared lighting, in particular with one or more LEDs.
  • the light source or sources are for example relatively wide angular aperture, especially greater than 60 °, to cover a large area of the eye.
  • the light source or sources can be arranged on the sides, especially outside, this advantageously allows to minimize the reflections observed by the camera.
  • the device may have only one optical sensor to acquire an image of the user's eye.
  • the first and only optical sensor can alone to obtain the images required for both treatments.
  • the successive images captured by the optical sensor (s) may be images of the corner of the eye and / or the pupil and / or the sclera.
  • the device may comprise at least one second optical sensor configured to acquire an image of all or part of the eye.
  • the first and second optical sensors can allow the acquisition of images of the same eye of the user.
  • the use of two sensors for one eye makes it less possible to depend on any significant variations in the direction of gaze.
  • the first and second optical sensors are each directed to a different part of the same eye of the user, for example the pupil and the sclera.
  • the acquisition and processing chain associated with one eye can be duplicated for the other eye.
  • the device may comprise at least a third optical sensor carried by the user and configured to acquire an image of all or part of the second eye of the user.
  • the device may include a fourth optical sensor carried by the user and configured to acquire an image of all or part of the second eye of the user.
  • the third and fourth optical sensors are each directed to a different part of the user's second eye, for example the pupil and the sclera.
  • the frequency of closure of the eyelid of the studied eye or the studied eyes can be detected.
  • An electromyogram and / or an electroocculogram can be used.
  • the closing of one or both eyelids can be used to indicate that the user validates the positioning of the mouse at the target point of the screen, that is to say that he clicks with his eyes on the screen.
  • the user may, for example, have to close his eyes strongly enough to indicate that he wishes to validate a choice of position.
  • the sensor or sensors, in particular the second and / or fourth sensors may be sufficiently fast digital sensors, for example operating at a frequency of at least 200 Hz, or even at least 500 Hz, or even at least 1000 Hz, by example at a frequency of about 1500 Hz, or even a frequency of at least 2000 Hz.
  • the sensor or sensors in particular the second and / or fourth sensors, may have a relatively low resolution, for example less than 500 * 500 pixels, or even less than 200 * 200 pixels, for example between 16 * 16 and 100 * 100 pixels.
  • An image captured may for example have a resolution of the order of 100 * 100 pixels, or even 32 * 32 pixels, or even 24 * 24 pixels.
  • the sensor or sensors may be thermal or infrared radiation.
  • the sensor or sensors may be associated with one or more LEDs.
  • the sensor or sensors may include a camera, including RGB.
  • the camera (s) can be thermal (s).
  • the camera (s) can be configured so that the eye is located in the focal plane of the camera.
  • the sensor or sensors are preferably arranged on the device other than centered with respect to an eye. They are preferably distant from a plane passing through the pupil of the corresponding eye.
  • the placement of the sensors can provide enough contrast between two acquired images to visualize a difference between the two images.
  • the sensors are preferably arranged sufficiently far from the eyelashes.
  • the sensor or sensors can capture an area of the eye of a size of about 5 mm by 5 mm.
  • the sensor or sensors may for example be arranged at a distance from the eye of between 1 cm and 5 cm, for example of the order of 2 cm. The choice of distance ensures that the sensor is close enough to the eye, and therefore only sees the eye, so as to improve accuracy.
  • the sensor or sensors may be configured to preferably provide a light localized, ie rather diffuse. Indeed, we try to avoid producing on the eye a reflection of the light source.
  • the first sensor and the optional third sensor may have speed and resolution characteristics different from the second and fourth sensors.
  • the first sensor and the optional third sensor can operate at a frequency between 10 Hz and 150 Hz, in particular about 30 images / sec and have a resolution of at least 100 * 100 pixels, for example between 300 * 300 pixels and 1280 * 960 pixels.
  • the possible second sensor and the possible fourth sensor can operate at a frequency greater than 200Hz, in particular between 200Hz and 2000Hz, or even between 300Hz and 2000Hz, in particular equal to 500Hz and have a resolution of between 32 * 32pixels and 140 * 140 pixels.
  • the frequency ratio between the two sensors is preferably about 10 or more, i.e., the acquisition frequency of the second sensor is preferably greater than 10 times that of the first sensor.
  • the movement of the device relative to a basic module can be determined.
  • the basic module can for example be attached to a screen of a computer system.
  • computer system any computer system comprising a screen for interacting with the user, for example a computer or laptop, a tablet, a landline or mobile phone, this list is not limiting.
  • optical beacons or light sources disposed on the device, in particular fixed to the device, for example on branches of the latter, and a sensor, for example a camera, arranged on the base module.
  • optical beacon here designates a passive element such as an optical reflector or a material reflecting a certain wavelength when it is illuminated by an external source.
  • passive element such as an optical reflector or a material reflecting a certain wavelength when it is illuminated by an external source.
  • tags offer an alternative possibility to the presence of active elements such as light sources of a certain wavelength belonging to the device.
  • the wavelength emitted directly by a light source of the device or reflected by a beacon can be in the visible, or the near infrared, which is preferable because being invisible to the human eye.
  • This luminous flux emitted directly by the light source of the device or reflected by a beacon can have one or more wavelengths simultaneously or alternately in time, can be polarized linearly, circularly, or in any other way, can be continuous in amplitude or in phase, or modulated in amplitude or phase.
  • the movement of the device relative to the base module is determined for example by triangulation.
  • at least three points defined by beacons or light sources [see your paragraph below on possible shapes] can be used on the device and a camera on the basic module.
  • the at least three points are not aligned and are arranged in a plane not perpendicular to the optical axis of said camera.
  • the at least three points may be arranged in a plane substantially parallel to the optical axis of said camera.
  • a corresponding algorithm is described in the article "3D Pose from 3 Matching Points" under Weak-Perspective Projection by TD Alter, Massachusetts Institute of Technology, Artifical Intelligence Laboratory, AI Memo No. 1378, July 1992.
  • Optical beacons or light sources can be of different shapes.
  • each point then comprising an optical beacon or a light source may be one-off, for example of the number LED type, which may be between 3 and 9, each point then comprising an optical beacon or a light source.
  • They may be of linear shape, curved, straight, continuous or non-continuous, for example comprising a lateral illumination optical fiber.
  • Optical beacons or light sources can form an identifiable and unambiguous pattern.
  • Sources or beacons are for example arranged to the outside of the head.
  • the light sources used to determine the movement of the device relative to the base module can be for example infrared LEDs.
  • the camera can be an infrared camera.
  • one can for example use two gyroscopes and a distance sensor, one disposed on the device and the other disposed on the base module, which can be attached to a screen.
  • the screen is not independent of the device but integral with the latter, so that the determination of the direction of the user's gaze relative to the device is sufficient to determine the direction of gaze of the user relative to the screen.
  • the screen is remote from the device.
  • the observation point of the user can be determined on a screen on which the basic module is fixed, in particular a screen of the computer system mentioned above, from the meeting point of the two visual axes of the user determined in FIG. from the information concerning the direction of the gaze.
  • visual axis is meant the axis between the fovea and the optical center of the eye of the user.
  • the fovea is an area of the retina slightly offset from the center of the retina, and allowing the best vision of the color.
  • the meeting point of the two visual axes thus indicates the point of observation on the screen.
  • the "optical axis” is the axis between the center of the retina of the user and the optical center of the eye.
  • the invention makes it possible to obtain the measurement of the convergent visual axes. on the screen.
  • the measurement of the direction of the optical axes does not call for the reconstruction of the corneal reflection point (glint in English) introducing a non-linearity to be corrected by a heavy calibration.
  • the invention facilitates the determination of the observation point.
  • Calibration can be done by asking the user to follow a moving target on the screen, ie the eye is forced to follow the eye.
  • the eye physiologically optimizes its movement to minimize it, and uses the same area of the fovea, so that this calibration makes it possible to better define the position of the fovea.
  • An alternative is to ask the user to set one or more points on the screen at specific times. In the foregoing, the user is warned that a calibration is performed.
  • Another aspect of the invention is a device for determining the the direction of a user's gaze, in particular glasses or headphones, intended to be immobilized on the user's head, for controlling a computer system, comprising:
  • At least one first optical sensor configured to acquire an image of all or part of an eye of the user
  • the wireless transmission of data makes it necessary to reduce the volume of data to be transmitted.
  • the wireless transmitter can have receiver functions and be a transmitter / receiver.
  • the transmitted data can be analog or digital. These are, for example, data of the audio or video type.
  • the processor speeds up the final processing of data through preprocessing.
  • the use of an on-board processor makes it possible to pre-process the data obtained from the sensors and thus to reduce the amount of data to be transmitted to the basic module, thereby speeding up the process.
  • the processor may include at least some of the previously mentioned algorithms necessary for data processing.
  • the device is preferably positioned on the nose and / or the ears of the user, similarly to a pair of glasses.
  • the device may comprise a battery giving it sufficient autonomy, for example at least several hours of operation without recharging, or even at least a day.
  • the use of low resolution images makes it possible to reduce the power consumption and thus to increase the autonomy of the device.
  • the user's head may be stationary relative to the device.
  • a basic module intended to be attached to a screen of a computer system and connected to the latter.
  • the device can communicate with the base module by a wireless link.
  • the base module can be configured to be used as soon as it is connected to the computer system. In other words, it can be recognized quickly, easily and automatically by the operating system of the computer system upon connection or upon restart after the hardware installation ("Plug and Play" in English). This procedure allows the installation by requiring a minimum of intervention from the user and thus minimizing handling and parameterization errors.
  • the assembly may comprise several devices able to communicate with the same basic module.
  • FIG. 1 is a schematic and partial perspective view of a device for determining the direction of gaze according to the invention
  • FIG. 2 schematically and partially illustrates an assembly comprising the device of FIG. 1,
  • FIG. 3 is a block diagram illustrating the method for determining the gaze direction according to the invention
  • FIG. 4 illustrates the capture of the images on the eye
  • FIG. 5 schematically illustrates an assembly according to the invention in a given environment.
  • FIG. 1 shows a user U carrying a device 10 for determining the direction of the gaze, in the form of spectacles worn by the user, comprising branches 11 resting on the ears and a central portion 12 resting on the nose, the glasses 13 of the glasses may include an anti-reflective coating.
  • the device comprises in the example described two infrared LEDs 16 disposed in the central portion 12 on either side of the nose and each directed towards one of the eyes of the user, and four RGB cameras 15a, 15b can detect infrared radiation.
  • Each of the cameras 15a, 15b is arranged and oriented towards one of the eyes of the user, being disposed below the eyes on the periphery of the lenses 13 of the device and arranged each other than in a vertical plane passing through the center from the pupil of the user.
  • two cameras 15a, 15b are arranged on either side of the latter, one on the side of the nose and the other on the side of the branch resting on the corresponding ear, being oriented towards the corresponding eye of the user to acquire images of the latter.
  • the cameras 15a are oriented towards the pupil of the user, and the cameras 15b towards the sclera of the user.
  • the device 10 also comprises an electronic circuit 17 housed in the example described in one of the branches 11 of the device, this electronic circuit 17 for processing the images acquired by the cameras 15a, 15b, as will be described later.
  • the device further comprises a battery not visible in the figure, arranged for example in the second branch of the device and giving it sufficient autonomy to avoid having to be recharged for an acceptable duration, for example several hours, or even a whole day.
  • the device further comprises a wireless transmitter also housed in one of the branches, transmitting the data to a base module 20 attached to a screen 25 of a computer system and connected thereto, as illustrated in FIG.
  • the device further comprises light sources 19 which make it possible, thanks to a camera 22 arranged on the base module 20, to determine the movement of the device 10 relative to the base module 20, so as to determine a relative displacement of the eye to the camera and the evolution of the direction of gaze over time.
  • Said light sources 19 are, in the example described, infrared LEDs, for example arranged in a non-aligned manner and in a plane that is not perpendicular to an axis of the camera of the base module, as illustrated.
  • one of the light sources 19 is disposed above the nose of the user, while the others are arranged on either side of the eyes in the upper part of the device.
  • the light sources 19 are oriented outwards, that is to say towards a camera 22 of the base module 20.
  • optical beacons are used instead of the light sources 19.
  • each of the cameras 15a, 15b captures images I at regular time intervals from the corresponding eye of the user or more precisely from the part of the eye of the corresponding user.
  • the cameras 15a capture an image A of an area of the eye having at least partially the pupil while the sensors 15b capture an at least partial B image of the sclera of the eye, as can be seen see FIG. 4.
  • each of the sensors could capture images of both the pupil and the sclera without going beyond the scope of the present invention.
  • the images I are processed in a step 40 at least partially to perform at least partly two separate treatments (a) and (b), by means of the electronic circuit 17 of the device 10, which makes it possible to carry out these two treatments at least in part, the treatments being then continued in the basic module.
  • the two processes can be performed in the on-board processor on the device, the data then being transmitted by a wireless link F to the base module in which the rest of the processing is performed.
  • the first treatment (a) provides information on the orientation of the eye from the observation of an area of the eye whose appearance varies with the rotation of the eye. This treatment can be performed for each of the captured images. It comprises the determination in step 41 of the parameters related to the shape of the ellipse corresponding to the pupil.
  • the first processing (a) allows to deduce the optical axes in the repository of the user's head in step 42.
  • the pupil orientation reconstruction steps 41 and 42 comprise the selection of the darkest zone of the processed image, the isolation of the pupil in this image, and then the obtaining of the contour of the pupil. pupil.
  • the center of rotation of the pupil is then reconstructed by determining a sphere from measurement points and previously determined normals. We deduce the center of rotation and the radius of this sphere.
  • a second image processing (b) is performed which provides information on the kinematics of the eye by comparing at least two successive images in step 45.
  • the change of orientation of the eye is calculated from the set of infinitesimal displacements determined previously.
  • the second treatment (b) is used to correct at step 47 corneal refraction which can produce non-linearities from the pupil refraction on the cornea, which make it possible to correct the information of the first treatment (a). ) at step 42.
  • the direction of the normal obtained above makes it possible to determine a direction of the optical axis that can be tainted by error due to corneal diffraction, and noise from the reconstruction of the ellipse.
  • the angular displacement makes it possible to obtain the variation of the angular variation of the optical axis from any initial direction. This measurement may also be marred by an error related to the resolution of the correlation measurement.
  • the direction of the optical axis is obtained by weighting these two measurements at each iteration, taking into account the positioning obtained in the previous step, the three-dimensional reconstruction of the eye, and a parametrization resulting from the calibration.
  • a processing 50 is performed to determine the position of the user's head relative to the base module, that is to say the movement of the device 10 relative to the base module 20.
  • the camera 22 arranged on the basic module 20 captures images I of the head of the user on which is visible light from at least three points defined by the optical beacons or light sources 19 of the device 10. These images are processed to determine the position of the device relative to the base module.
  • a first step 51 the light spots in the image are selected.
  • the noise is eliminated so as to ensure that the light spots displayed on the images correspond to the beacons or light sources 19 intended to determine the movement of the device relative to the base module.
  • the position of the light spots in the image is determined and from these data, in a step 55, the position of the head relative to the base module is calculated.
  • the four angles of the fovea with respect to the cameras are furthermore determined from physiological data 61, preset parameters 62 and pre-calibrated screen coordinates 63.
  • the preset parameters 62 may be device and base module construction parameters, for example the position of the cameras or lighting.
  • step coordinates of the screen viewed by the user which can be transmitted to the user, are calculated at step 80. step 81 to the computer system.
  • Example 1 evolution in a given environment
  • the device makes it possible to establish a relationship between the direction of an operator's gaze and a work environment in order to improve the design and ergonomics of this environment.
  • the environment can be for example an aircraft pilot cockpit, as shown in Figure 5, car, simulator or a multi-screen environment control.
  • the assembly 100 of FIG. 5 comprises a device 10 in the form of glasses, not illustrated, communicating by a wireless link with the base module 20, the latter connected to a computer system 90.
  • the assembly 100 is arranged in a environment 200, here a cockpit flying plane.
  • the base module 20 can be used as soon as it is connected to the computer system.
  • the assembly 100 shown comprises several devices 10 and 10 ', worn for example by the pilot and the co-pilot.
  • each device 10, 10 ' comprises a transmitter / receiver 40 for wireless communication with the base 20, an information representation system 60 comprising in the example illustrated a semi-transparent screen 62 partially superimposed on the spectacle lenses and an atrium 63.
  • the device 1 also comprises a sensor of a physiological information 70 in order to evaluate the psychological state of the wearer of the device 10, in particular in an emergency situation generating potential stress.
  • Example 2 Training and / or game
  • the device makes it possible to quantify the look and the effectiveness of the training, in particular to measure compliance with the safety standards of the operator in a critical environment.
  • the device according to the invention may in particular act as a substitute for the mouse and the keyboard for paraplegic upper limbs
  • the binocular measurement Simultaneous measurement of the direction of the two eyes in the same frame
  • vergence of the user which is a fundamental parameter having applications in the field of ophthalmology or three-dimensional registration in space.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

Procédé de détermination de la direction du regard d'un utilisateur
La présente invention concerne la détermination de la direction du regard d'une personne par le suivi de ses mouvements oculaires, notamment lorsque cette personne visualise un écran d'un système informatique.
Le brevet US 6 113 237 porte sur un dispositif permettant de détecter les mouvements horizontaux et verticaux des yeux d'une personne. Il donne la position de la pupille, mais pas la direction du regard. Il ne permet pas d'obtenir une grande précision.
Les demandes de brevet US 2005/0110950 et US 2010/0283972 portent sur des applications médicales de la détection des mouvements saccadiques de l'œil et n'enseignent pas plus particulièrement de déterminer la direction du regard.
Dans la demande internationale WO 2010/083853, on acquiert une image de la scène observée par l'utilisateur pour déterminer le point d'observation de ce dernier.
La demande US 2010/045933 propose une méthode d'identification de la direction du regard faisant intervenir une réflexion sur la rétine qui nécessite un appareillage optique complexe (miroirs mobiles balayant la zone mesurée à partir d'une source lumineuse ponctuelle de très petite taille) associé à une méthode de traitement différé de l'information basé sur des référentiels fixes. Ce dispositif n'utilise pas les aspects synergiques et auto-entretenus d'une double source d'informations temps réel à référencement relatif et ne peut donc répondre de façon satisfaisante aux problématiques de traitement instantané de l'information et d'auto-correction des dérives.
La demande EP 2 261 772 décrit une méthode de reconstruction de la direction du regard à partir d'une caméra immobile, distante faisant face à l'utilisateur. Un premier traitement identifie puis suit par flux optique la position et l'orientation de la tête et un deuxième traitement identifie un ou les deux iris de l'utilisateur. Ce dispositif fixe, non embarqué, restreint signifîcativement la mobilité de l'utilisateur et ne répond pas aux contraintes de précision attendues d'un tel système.
La demande US 2012/019645 décrit un dispositif permettant de déterminer la donnée regard sur un écran de visualisation embarqué. Il n'inclue pas de référencement au monde extérieur.
Les systèmes existant peuvent nécessiter une calibration relativement longue et contraignante. De plus, une dérive est susceptible d'intervenir, qui limite dans la durée la précision obtenue et donc la possibilité d'utiliser durablement les résultats obtenus. Il existe un besoin pour améliorer la productivité et la précision de l'interface entre l'homme et un système informatique, et notamment pour simplifier le processus de calibration.
Il existe encore un besoin pour accélérer le traitement des données et rendre le système de détermination de la direction du regard plus réactif et facilement utilisable en temps réel.
Enfin, il existe un besoin pour disposer d'un procédé permettant à l'utilisateur de bénéficier d'une certaine liberté de mouvement, au moins de la tête.
L'invention vise à répondre à tout ou partie de ces besoins.
Procédé
L'invention a ainsi pour objet, selon un premier de ses aspects, un procédé de détermination de la direction du regard d'un utilisateur comportant l'acquisition d'images de l'œil, notamment à l'aide d'un capteur optique, de préférence une caméra, le procédé comportant :
a) un premier traitement de ces images qui fournit une information sur l'orientation de l'œil, à partir de l'observation d'une zone de l'œil dont l'aspect varie avec la rotation de l'œil, et
b) un deuxième traitement de ces images qui fournit une information sur la cinématique de l'œil par comparaison d'au moins deux images successives,
Procédé dans lequel on génère une information concernant la direction du regard relativement à la tête de l'utilisateur, notamment dans le référentiel de la tête de l'utilisateur à partir au moins des informations délivrées par les premier et deuxième traitements.
Grâce au cumul de ces traitements, la précision est améliorée ; cela permet de diminuer la résolution de la caméra utilisée pour acquérir les images et donc d'accroître la vitesse de traitement et de simplifier celui-ci ; cela permet de réduire la consommation électrique ou d'alléger le système ou de rendre le système sans fils et d'allonger l'autonomie.
En outre, la meilleure précision permet de réduire la dérive dans le temps par rapport à la calibration initiale et ainsi de prolonger la durée d'utilisation sans qu'il y ait besoin d'une nouvelle calibration. Le confort d'utilisation s'en trouve accru. Les premier et deuxième traitements n'ont pas nécessairement lieu dans l'ordre a) puis b) et peuvent aussi avoir lieu dans l'ordre b) puis a), les traitements étant réalisés selon une boucle permettant de fournir à des intervalles de temps réguliers une information concernant la direction du regard.
La méthode d'acquisition d'image utilisée dans le procédé peut avantageusement être non intrusive de l'œil. Autrement dit, les images servent à déterminer la position et/ou le déplacement de l'œil sont des images de l'extérieur de l'œil et non des images d'une surface profonde de l'œil, telle que la rétine ou la macula, ou faisant intervenir des réfractions et/ou réflexions sur des éléments de l'œil, telles que la rétine ou la cornée. Ainsi, les images pouvant être utilisées dans l'invention sont des images d'aspect de surface de l'œil, telles qu'une portion au moins du contour de l'iris et/ou de la sclérotique. Cela peut permettre de conserver une optique d'acquisition relativement simple et facile à intégrer à des lunettes par exemple. Cela peut également permettre de simplifier l'éclairage intégré au dispositif porté par l'utilisateur, car il n'est pas nécessaire de faire pénétrer un rayon lumineux au sein de l'œil dans des conditions d'incidence particulières.
Un éclairage diffus de la surface de l'œil, notamment de l'iris et de la sclérotique peut convenir.
L'invention ne repose pas sur l'observation du reflet de sources lumineuses sur l'œil et peut ainsi être plus indépendante de l'environnement lumineux. Les images acquises peuvent représenter des données anatomiques et/ou cinématiques externes de l'œil.
Les premier et deuxième traitements peuvent reposer sur l'acquisition d'images à des fréquences d'acquisitions différentes, et de préférence le premier traitement s'effectue à une première fréquence d'acquisition moindre que le deuxième traitement qui s'effectue à une deuxième fréquence, avec de préférence encore un facteur d'au moins 10 entre les première et deuxième fréquences.
Les premier et deuxième traitements peuvent reposer sur l'acquisition d'images à des résolutions différentes, et de préférence le premier traitement repose sur l'acquisition d'images à une résolution supérieure à la résolution de l'acquisition effectuée lors du deuxième traitement, par exemple supérieure d'un facteur 5 au moins. L'information délivrée par le premier traitement peut permettre de corriger les dérives liées au deuxième traitement, dans la précision de la mesure.
Premier traitement
Le premier traitement fournit une information sur l'orientation de l'œil, à partir de l'observation d'une zone de l'œil dont l'aspect varie avec la rotation de l'œil. L'orientation est déterminée de façon statique indépendamment de son évolution dans le temps.
Ce premier traitement peut être effectué à partir d'une seule image. Il peut être effectué pour chaque image.
Ce premier traitement peut comporter la détermination des paramètres liés à la forme de l'ellipse correspondant à la pupille, notamment afin de déterminer la position d'un point de l'œil, par exemple du centre de la pupille. On peut utiliser un algorithme de reconstruction de la forme de la pupille sur l'image en déterminant par traitement de l'image les paramètres de l'ellipse correspondant au cercle de la pupille observé selon une direction faisant un angle avec la normale au plan de ce cercle. On peut déduire l'orientation de l'œil par analyse de l'évolution de la forme de cette ellipse.
Un tel algorithme est connu de l'article « Matching 2-D ellipses to 3-D circles with application to vehicle pose identification » de M. Hutter et al. Image and Vision Computing New Zealand, 2009. IVCN '09.
La reconstruction d'une ellipse est par exemple possible à partir de cinq points de son contour.
Le disque de la pupille, projeté sur un plan, est une ellipse qui peut être paramétrée sous la forme générale : a.x2 + b.x.y+ c.y2+d.x+e.y+f=0, avec b2 - 4.a.c <0. Un nombre limité de points du contour, en particulier cinq, suffisent pour calculer les paramètres descriptifs de cette ellipse (centre, axe mineur, axe majeur et angle de rotation). Connaissant ces caractéristiques et celles de la caméra, il est ainsi possible de reconstruire en 3D la direction du vecteur normal au disque dont la projection est l'ellipse.
La reconstruction de l'ellipse peut nécessiter une résolution minimale pour obtenir la précision nécessaire. Dans le cas où la résolution de l'image est faible, on utilise un algorithme de reconstruction de l'ellipse permettant de tenir compte dans l'intégralité de l'image de l'intensité des niveaux de gris, plutôt que de se concentrer sur le contour de la tâche correspondant à la pupille pour y retracer l'ellipse. On recherche ensuite à faire correspondre une fonction continue de forme donnée avec les niveaux de gris. On obtient ainsi une résolution meilleure que la résolution de l'image dépendant de la taille et du nombre des pixels de cette dernière. On peut ainsi utiliser une résolution relativement basse tout en gardant une précision suffisante.
La direction de l'œil dans le référentiel de la caméra est donnée par la normale au disque de la pupille prise en son centre. Cette normale ainsi que le centre du disque, différent du centre de l'ellipse, sont obtenues à partir des caractéristiques de l'ellipse. La direction du regard dans le référentiel de la tête est obtenue par application d'une matrice de rotation à 3 axes qui est fixe et connue.
L'image traitée ne comporte pas nécessairement une vue de l'iris de l'œil dans sa totalité. L'invention permet d'obtenir l'ellipse même lorsque l'image ne comporte qu'une portion de l'iris de l'œil, soit que l'œil ait été fermé partiellement lors de la prise de l'image, soit que l'image soit prise sur l'œil avec un grossissement important. Le traitement peut permettre d'obtenir l'information voulue, même si l'on ne dispose que d'une vue partielle de la bordure de l'iris, voire seulement d'une frontière de ce dernier avec le blanc de l'œil.
A la différence des méthodes classiques qui calculent l'orientation de l'œil comme une fonction non linéaire de la distance entre le centre de l'ellipse et le centre d'une des réflexions sur la cornée d'un éclairage externe, appelées points de Purkinje), cette méthode permet de connaître l'orientation de l'œil sans faire appel à un référentiel externe comme les points de Purkinje. La linéarité de cette solution permet de s'abstraire des méthodes de calibration inhérentes à la méthode classique.
Deuxième traitement
Le deuxième traitement fournit une information sur la cinématique de l'œil par comparaison d'au moins deux images successives, c'est-à-dire une information concernant l'évolution de la position de l'œil dans son orbite entre deux instants.
Ce deuxième traitement peut être effectué à partir de deux images consécutives. Il peut être effectué pour chaque couple d'images successives acquises par le capteur optique.
Le deuxième traitement permet d'obtenir des informations sur le déplacement de l'œil dans son orbite, et notamment une information sur l'angle de rotation de l'œil, en prenant l'hypothèse que l'œil est une sphère. Le deuxième traitement comporte la détermination du flux optique entre deux images successives de l'œil, c'est-à-dire le mouvement apparent causé par le mouvement relatif entre le capteur optique qui acquiert des images et l'œil. Un algorithme correspondant est connu de l'article « Determining Optical Flow » de Berthold K. P. Horn et al, Artificial Intellingence, vol. 17, pp. 185-203, 1981.
On mesure la variation du flux de pixels dans une image, par différence entre deux ou plusieurs images. Deux images successives peuvent être très rapprochées dans le temps. Deux images successives sont de préférence d'intensité constante. On peut repérer entre deux images d'une même zone d'une partie mobile de l'œil comportant des contrastes, par exemple deux images successives de la sclérotique comportant des vaisseaux sanguins, ou n'importe quelle région incluant tout ou partie de l'iris ou de la pupille, le choix de la région n'étant pas limitatif, la variation de l'emplacement de zones caractéristiques par leur formes ou intensité.
La variation d'emplacement des zones caractéristiques est observée par la variation du flux d'intensité de pixels dans le plan parallèle au plan du capteur. La mesure de cette variation du flux optique de pixels ne nécessite pas d'avoir à identifier explicitement une image de référence ou des caractéristiques ou des motifs de référence dans l'image. En particulier ces « images » peuvent être prises à très hautes fréquences par un deuxième capteur indépendant du premier traitement. Il n'est pas nécessaire que ce deuxième capteur présente une bonne résolution ou une bonne focalisation pourvu que la zone mesurée soit contrastée. La mesure de cette variation du flux optique est facilitée si l'intensité de chaque image est constante.
Combinaison
Les informations résultant des deux traitements peuvent être combinées pour générer l'information concernant la direction du regard, qui peut être une information concernant la direction d'un œil. L'information concernant la direction du regard peut résulter de l'addition des deux informations, chacune étant pondérée en fonction d'une loi qui peut dépendre des deux informations elles-mêmes. Le premier traitement permet d'obtenir une information concernant un changement d'orientation de la direction du regard, dans le référentiel de la caméra, par la mesure de la normale à la pupille. Le deuxième traitement permet de connaître le différentiel de mouvement d'un ou plusieurs points de la sphère modélisant l'œil dans le plan de la caméra. Ces deux informations proviennent de deux traitements indépendants. Elles sont combinées et pondérées pour obtenir une mesure de la direction de l'œil finale. Cette pondération est fonction de la cohérence du mouvement à cet instant. Sous l'hypothèse d'un mouvement de rotation tridimensionnel pure selon deux axes et de centre et de rayon inconnu, à partir d'une position angulaire initiale correspondant à l'image à un instant t, on optimise la solution de la rotation permettant d'obtenir l'état final à l'instant t+dt, qui peut être l'image suivante, suivant les deux informations obtenues. La solution retenue est une pondération des deux résultats en fonction de leur cohérence avec le modèle de rotation imposé. Les deux traitements peuvent être effectués simultanément ou quasi-simultanément. Cela peut permettre de profiter de leur complémentarité fonctionnelle et/ou topographique pour accélérer ou faciliter les traitements ou en améliorer la qualité. L'une des informations peut permettre de corriger l'autre ou d'aider à la déterminer. On peut par exemple procéder par interpolation pour déterminer l'une des informations.
On peut par exemple grâce à ces informations s'affranchir de la réfraction cornéenne qui peut produire des non-linéarités provenant de la réfraction de la pupille sur la cornée, cette réfraction étant due à la position du capteur optique. Le deuxième traitement permet d'obtenir les informations sur le déplacement de l'œil dans son orbite avec une influence moindre de la réfraction, dans la mesure où la zone de l'œil utilisée est de préférence située relativement dans le coin de ce dernier, par exemple sur la sclérotique.
Le deuxième traitement peut produire des erreurs dans le cas où l'œil tourne trop vite relativement à la vitesse de capture des capteurs optiques, d'où l'intérêt d'utiliser des images successives proches dans le temps, donc un capteur optique à haute fréquence d'acquisition, et de la combinaison avec le premier traitement.
On peut par exemple effectuer une modélisation de l'emplacement du centre de rotation en considérant que l'ensemble des directions du regard déjà déterminées passent par le centre de l'œil. Ainsi, on peut faciliter la détermination des directions du regard ultérieures, en présupposant qu'elles doivent aussi passer par le centre de rotation modélisé. Par le premier traitement, on connaît à chaque instant, la position du centre de la pupille et la normale à celle-ci. A partir de plusieurs mesures successives, le centre de rotation de la pupille dans l'espace, est la solution minimisant, par exemple par la méthode des moindres carrés, l'équation d'une sphère connaissant les positions dans le plan de la caméra de plusieurs points de cette sphère ainsi que la normale à la sphère en chacun de ces points.
La synergie de ces deux traitements permet de d'optimiser les avantages de chacun dans leurs régimes propres.
Le premier traitement permet de connaître précisément la position de la pupille quand le mouvement de l'œil est lent ou nul comparé à la fréquence d'acquisition, vitesse angulaire correspondant à une fréquence de mouvement voisine de 30Hz par exemple. Si le déplacement est très rapide, notamment avec une vitesse angulaire correspondant à une fréquence supérieure ou égale à 200Hz, l'image est distordue, apparaît floue, brouillée et la reconstruction mauvaise.
Le deuxième traitement mesure une vitesse de rotation. L'orientation angulaire est obtenue par intégration de cette vitesse dans le temps. Le système d'acquisition étant beaucoup plus rapide que le mouvement de l'œil, cette méthode permet une mesure précise lors des mouvements très rapides de l'œil. A l'inverse elle est moins intéressante lors de mouvements lents de l'œil car le bruit de fond de l'image devient important face au faible déplacement.
La combinaison des deux traitements est donc particulièrement avantageuse et permet d'obtenir à la fois une bonne précision spatiale et une bonne précision temporelle de l'orientation de l'œil en permettant une autocorrection réciproque des deux traitements.
Dispositif
On peut avantageusement utiliser pour l'acquisition des images un dispositif porté par l'utilisateur, comportant au moins une première caméra configurée pour acquérir une image de tout ou partie d'un œil de l'utilisateur.
Le dispositif peut également comporter un circuit électronique permettant de traiter les images acquises selon le procédé selon l'invention, de façon à déterminer un déplacement relatif de l'œil par rapport à la caméra et l'évolution de la direction du regard dans le temps.
Ce dispositif peut être porté en tout ou partie par l'utilisateur.
Le dispositif peut comporter en outre au moins un système de représentation d'information notamment de type écran ou écran semi-transparent, projecteur, hautparleur ou oreillette, système vibratoire de retour de force. Le système de représentation peut ainsi représenter par exemple de façon visuelle, graphique, sonore ou autre une information obtenue à l'étape a) ou b) ou dérivant d'une telle information.
Le dispositif peut comporter en outre au moins un capteur d'une information physiologique relative au porteur du dispositif. Ce dernier capteur est par exemple choisi parmi un microphone, un capteur de mouvement ou d'accélération, un capteur d'image, une ou plusieurs électrodes, un capteur de sudation.
Le traitement peut avoir lieu de façon entièrement intégrée à des lunettes portées par l'utilisateur, par exemple, ou de façon déportée, grâce à une transmission à distance des images par exemple, ou encore de façon mixte, en partie au niveau des lunettes et en partie de façon déportée, un prétraitement étant par exemple effectué grâce à un circuit électrique porté par les lunettes et une information envoyée à un circuit distant par une liaison non filaire. Le prétraitement permet de réduire le débit de données transférées.
Pour l'acquisition des images, on éclaire l'œil ou les deux yeux de préférence avec un éclairage infrarouge, notamment avec une ou plusieurs LED. La ou les sources lumineuses sont par exemple de relativement large ouverture angulaire, notamment supérieure à 60°, afin de couvrir une grande zone de l'œil. La ou les sources d'éclairage peuvent être disposées sur les côtés, notamment extérieurs, cela permet avantageusement de minimiser les réflexions observées par la caméra.
Le dispositif peut ne comporter qu'un seul capteur optique pour acquérir une image de l'œil de l'utilisateur. Dans le cas où le dispositif ne comporte qu'un seul capteur optique et est dépourvu d'un deuxième capteur optique, le premier et unique capteur optique peut permettre à lui seul d'obtenir les images nécessaires aux deux traitements.
Les images successives saisies par le ou les capteurs optiques peuvent être des images du coin de l'œil et/ou de la pupille et/ou de la sclérotique.
Le dispositif peut comporter au moins un deuxième capteur optique configuré pour acquérir une image de tout ou partie de l'œil.
Les premier et deuxième capteurs optiques peuvent permettre l'acquisition d'images d'un même œil de l'utilisateur. L'utilisation de deux capteurs pour un œil permet de moins dépendre d'éventuelles variations importantes de la direction du regard.
Les premier et deuxième capteurs optiques sont chacun dirigés vers une partie différente d'un même œil de l'utilisateur, par exemple la pupille et la sclérotique. La chaîne d'acquisition et de traitement associée à un œil peut être dupliquée pour l'autre œil. Ainsi, le dispositif peut comporter au moins un troisième capteur optique porté par l'utilisateur et configuré pour acquérir une image de tout ou partie du deuxième œil de l'utilisateur. Le dispositif peut comporter un quatrième capteur optique porté par l'utilisateur et configuré pour acquérir une image de tout ou partie du deuxième œil de l'utilisateur. Le troisième et le quatrième capteur optique sont chacun dirigés vers une partie différente du deuxième œil de l'utilisateur, par exemple la pupille et la sclérotique. Ainsi, on peut procéder à une observation simultanée des deux yeux, ce qui permet d'améliorer encore la précision.
On peut en outre détecter la fréquence de fermeture de la paupière de l'œil étudié ou des yeux étudiés. On peut utiliser un électromyogramme et/ou un électroocculogramme. La fermeture d'une ou des deux paupières peut être utilisée pour indiquer que l'utilisateur valide le positionnement de la souris au point visé de l'écran, autrement dit qu'il clique avec ses yeux sur l'écran. L'utilisateur peut par exemple avoir à fermer les yeux de manière assez forte pour indiquer qu'il souhaite valider un choix de position.
Capteurs
Le ou les capteurs, en particulier les deuxième et/ou quatrième capteurs, peuvent être des capteurs numériques suffisamment rapides, par exemple fonctionnant à une fréquence d'au moins 200Hz, voire d'au moins 500Hz, voire d'au moins 1000Hz, par exemple à une fréquence d'environ 1500 Hz, voire une fréquence d'au moins 2000Hz.
Le ou les capteurs, en particulier les deuxième et/ou quatrième capteurs, peuvent avoir une résolution relativement peu élevée, par exemple de moins de 500*500 pixels, voire de moins de 200*200 pixels, par exemple comprise entre 16* 16 et 100* 100 pixels.
Une image saisie peut par exemple avoir une résolution de l'ordre de 100* 100 pixels, voire de 32*32 pixels, voire encore de 24*24 pixels.
Une telle résolution peut être suffisante pour permettre d'obtenir des images satisfaisantes, tout en permettant de ne pas ralentir la détermination du calcul de la direction du regard de l'utilisateur. Le ou les capteurs peuvent être thermiques ou à rayonnement infrarouge. Le ou les capteurs peuvent être associés à une ou plusieurs LED. Le ou les capteurs peuvent comporter une caméra, notamment RGB. La ou les caméras peuvent être thermique(s).
La ou les caméras peuvent être configurées pour que l'œil soit situé dans le plan focal de la caméra.
Le ou les capteurs sont de préférence disposés sur le dispositif autrement que centrés par rapport à un œil. Ils sont de préférence éloignés d'un plan passant par la pupille de l'œil correspondant.
Le placement des capteurs peut permettre d'obtenir suffisamment de contraste entre deux images acquises pour visualiser une différence entre les deux images. Les capteurs sont de préférence disposés suffisamment loin des cils. Le ou les capteurs peuvent permettre de saisir une zone de l'œil d'une taille d'environ 5 mm par 5 mm. Le ou les capteurs peuvent par exemple être disposés à une distance de l'œil comprise entre 1 cm et 5 cm, par exemple de l'ordre de 2 cm. Le choix de la distance permet d'assurer que le capteur soit suffisamment proche de l'œil, et donc ne voit que l'œil, de manière à améliorer la précision.
Le ou les capteurs peuvent être configurés pour fournir de préférence un éclairage peu localisé, autrement dit plutôt diffus. En effet, on cherche à éviter de produire sur l'œil un reflet de la source lumineuse.
Le premier capteur et l'éventuel troisième capteur peuvent avoir des caractéristiques de vitesses et de résolution différentes des éventuels deuxième et quatrième capteurs. En particulier, le premier capteur et l'éventuel troisième capteur peuvent fonctionner à une fréquence comprise entre 10Hz et 150 Hz, notamment d'environ 30 images/sec et avoir une résolution d'au moins 100* 100 pixels, par exemple comprise entre 300*300 pixels et 1280*960 pixels.
L'éventuel deuxième capteur et l'éventuel quatrième capteur peuvent fonctionner à une fréquence supérieure à 200Hz, notamment comprise entre 200Hz et 2000Hz, voire entre 300Hz et 2000Hz, en particulier égale à 500Hz et avoir une résolution comprise entre 32*32pixels et 140* 140 pixels.
Afin de minimiser l'accumulation d'erreurs de la mesure dynamique et de sa dérive, le rapport fréquentiel entre les deux capteurs est de préférence environ 10 ou plus, c'est-à-dire que la fréquence d'acquisition du deuxième capteur est de préférence égale à plus de 10 fois celle du premier capteur.
Position de la tête de l'utilisateur
On peut déterminer le mouvement du dispositif par rapport à un module de base. Le module de base peut par exemple se fixer à un écran d'un système informatique.
Par «système informatique», on entend tout système informatique comportant un écran pour interagir avec l'utilisateur, par exemple un ordinateur fixe ou portable, une tablette, un téléphone fixe ou mobile, cette liste n'étant pas limitative.
On peut par exemple utiliser des balises optiques ou des sources lumineuses disposées sur le dispositif, notamment fixées au dispositif, par exemple sur des branches de ce dernier, et un capteur, par exemple une caméra, disposé sur le module de base.
Le terme « balise optique » désigne ici un élément passif comme un réflecteur optique ou un matériau réfléchissant une certaine longueur d'onde quand il est éclairé par une source externe. De telles balises offrent une possibilité alternative à la présence d'éléments actifs comme des sources lumineuses d'une certaine longueur d'onde appartenant au dispositif.
La longueur d'onde émise directement par une source lumineuse du dispositif ou réfléchie par une balise peut être dans le visible, ou le proche infrarouge, qui est préférable car étant invisible par l'œil humain. Ce flux lumineux émis directement par la source lumineuse du dispositif ou réfléchi par une balise peut avoir une ou plusieurs longueurs d'ondes simultanément ou alternativement dans le temps, peut être polarisé linéairement, circulairement, ou de tout autre façon, peut être continu en amplitude ou en phase, ou modulé en amplitude ou en phase.
On détermine le mouvement du dispositif par rapport au module de base par exemple par triangulation. On peut par exemple utiliser au moins trois points définis par des balises ou sources lumineuses [voir votre paragraphe plus loin sur les formes possibles] sur le dispositif et une caméra sur le module de base.
Les au moins trois points ne sont pas alignés et sont disposés dans un plan non perpendiculaire à l'axe optique de ladite caméra. Les au moins trois points peuvent être disposés dans un plan sensiblement parallèle à l'axe optique de ladite caméra. Un algorithme correspondant est décrit dans l'article «3D Pose from 3 Corresponding Points under Weak-Perspective Projection» de T. D. Alter, Massachusetts Institute of Technology, Artifïcial Intelligence Laboratory, A. I. Mémo No. 1378, Juillet 1992.
Les balises optiques ou sources lumineuses peuvent être de différentes formes.
Elles peuvent être ponctuelles, par exemple de type LED de nombre pouvant être compris entre 3 et 9, chaque point comportant alors une balise optique ou une source lumineuse.
Elles peuvent être de forme linéaire, courbes, rectilignes, continues ou non continues, par exemple comporter une fibre optique à éclairage latéral.
Les balises optiques ou sources lumineuses peuvent former un motif identifiable et non ambigu.
Elles peuvent présenter des combinaisons de plusieurs formes.
Les sources ou balises sont par exemple disposées vers l'extérieur de la tête.
Les sources lumineuses utilisées pour déterminer le mouvement du dispositif par rapport au module de base peuvent être par exemple des LED infrarouge. La caméra peut être une caméra à infrarouge.
On procède à une reconstruction des six degrés de liberté de la position de la tête par rapport au module de base, autrement dit par rapport à l'écran auquel il peut être fixé.
Ainsi, on mesure d'une part la direction du regard, autrement dit le mouvement des yeux par rapport à la tête, et d'autre part le mouvement de la tête par rapport à l'écran. Un tel procédé permet de minimiser la calibration nécessaire. Les deux traitements peuvent être effectués simultanément.
Dans une variante de réalisation, on peut par exemple utiliser deux gyroscopes et un capteur de distance, l'un disposé sur le dispositif et l'autre disposé sur le module de base, qui peut être fixé à un écran.
Dans une variante de réalisation, l'écran n'est pas indépendant du dispositif mais solidaire de ce dernier, de sorte que la détermination de la direction du regard de l'utilisateur par rapport au dispositif suffit à déterminer la direction du regard de l'utilisateur par rapport à l'écran. Dans une autre variante de réalisation, l'écran est distant du dispositif.
Point d'observation On peut déterminer le point d'observation de l'utilisateur sur un écran sur lequel est fixé le module de base, notamment un écran du système informatique mentionné plus haut, à partir du point de rencontre des deux axes visuels de l'utilisateur déterminé à partir des informations concernant la direction du regard. Par «axe visuel», on entend l'axe entre la fovéa et le centre optique de l'œil de l'utilisateur. La fovéa est une zone de la rétine légèrement décalée par rapport au centre de la rétine, et permettant la meilleure vision de la couleur. Le point de rencontre des deux axes visuels indique donc le point d'observation sur l'écran. L'«axe optique» est l'axe entre le centre de la rétine de l'utilisateur et le centre optique de l'œil. Il existe un léger décalage entre ces deux axes, d'environ 5° et qui dépend de l'utilisateur. En utilisant une mesure précise de l'orientation relative de la tête par rapport à l'écran, et une mesure de l'orientation des deux yeux, autrement dit une mesure binoculaire, l'invention permet d'obtenir la mesure des axes visuels convergents sur l'écran. La mesure de la direction des axes optiques ne fait pas appel à la reconstruction du point de réflexion cornéenne (glint en anglais) introduisant une non-linéarité devant être corrigée par une calibration lourde. Ainsi, l'invention permet de faciliter la détermination du point d'observation.
Calibration
On peut effectuer une calibration en demandant à l'utilisateur de suivre une cible mobile sur l'écran, autrement dit on impose à l'œil d'effectuer une poursuite oculaire. En cas de poursuite oculaire, l'œil optimise physiologiquement son déplacement pour le minimiser, et utilise la même zone de la fovéa, de sorte que cette calibration permet de mieux définir la position de la fovéa. Une variante consiste à demander à l'utilisateur de fixer un ou plusieurs points sur l'écran à des instants précis. Dans ce qui précède, on prévient l'utilisateur qu'une calibration est effectuée.
Dans l'invention, on ne recherche pas de points de réflexions d'une source lumineuse, par exemple des capteurs. On ne cherche pas à repérer un point de réflexion (glint) d'une source lumineuse sur la cornée. Dans l'invention, on ne cherche pas non plus à reconnaître dans les images saisies l'image d'un objet réel réfléchie sur la cornée de l'utilisateur.
Dispositif
L'invention a encore pour objet, selon un autre de ses aspects, indépendamment ou en combinaison avec ce qui précède, un dispositif de détermination de la direction du regard d'un utilisateur, notamment lunettes ou casque, destiné à être immobilisé sur la tête de l'utilisateur, pour contrôler un système informatique, comportant :
- au moins un premier capteur optique configuré pour acquérir une image de tout ou partie d'un œil de l'utilisateur,
- un circuit électronique permettant au moins un prétraitement des données, et
- un émetteur sans fil.
La transmission sans fil des données impose de réduire le volume des données à transmettre.
L'émetteur sans fil peut avoir des fonctions réceptrices et être un émetteur/récepteur. Les données transmises peuvent être analogiques ou numériques. Ce sont par exemple des données de type audio ou vidéo.
Le processeur permet d'accélérer le traitement final des données grâce au prétraitement. L'utilisation d'un processeur embarqué permet d'effectuer un prétraitement des données obtenues des capteurs et donc de diminuer la quantité de données à transmettre au module de base, ce qui permet d'accélérer le procédé. Le processeur peut comporter au moins une partie des algorithmes mentionnés précédemment nécessaire au traitement des données.
Le dispositif est de préférence positionné sur le nez et/ou les oreilles de l'utilisateur, de manière analogue à une paire de lunettes.
Le dispositif peut comporter une batterie lui conférant une autonomie suffisante, par exemple d'au moins plusieurs heures de fonctionnement sans recharge, voire d'au moins une journée. L'utilisation d'images à basse résolution permet de réduire la consommation électrique et ainsi d'augmenter l'autonomie du dispositif.
La tête de l'utilisateur peut être immobile par rapport au dispositif.
Ensemble
L'invention a encore pour objet, selon un autre de ses aspects, indépendamment ou en combinaison avec ce qui précède, un ensemble comportant :
- un dispositif tel que décrit plus haut, et
- un module de base destiné à être fixé à un écran d'un système informatique et connecté à ce dernier.
Le dispositif peut communiquer avec le module de base par une liaison sans fil. Le module de base peut être configuré pour pouvoir être utilisé dès sa connexion au système informatique. Autrement dit, il peut être reconnu rapidement, facilement et automatiquement par le système d'exploitation du système informatique dès la connexion ou dès le redémarrage après l'installation matérielle (« Plug and Play » en anglais). Cette procédure permet l'installation en requérant un minimum d'intervention de la part de l'utilisateur et donc en minimisant les erreurs de manipulation et de paramétrage.
L'ensemble peut comporter plusieurs dispositifs aptes à communiquer avec un même module de base.
Description des figures
L'invention sera mieux comprise à la lecture de la description détaillée qui va suivre, d'un exemple de réalisation de l'invention, et à l'examen du dessin annexé sur lequel :
- la figure 1 est une vue en perspective, schématique et partielle, d'un dispositif de détermination de la direction du regard conforme à l'invention
- la figure 2 illustre de manière schématique et partielle un ensemble comportant le dispositif de la figure 1 ,
- la figure 3 est un schéma blocs illustrant le procédé de détermination de la direction du regard conforme à l'invention,
- la figure 4 illustre la saisie des images sur l'œil, et
- la figure 5 illustre de manière schématique un ensemble selon l'invention dans un environnement donné.
On a illustré à la figure 1 , un utilisateur U portant un dispositif 10 de détermination de la direction du regard, se présentant sous la forme de lunettes portées par l'utilisateur, comportant des branches 11 reposant sur les oreilles et une partie centrale 12 reposant sur le nez, les verres 13 des lunettes pouvant comporter un revêtement anti - réfléchissant.
Le dispositif comporte dans l'exemple décrit deux LEDs à infrarouge 16 disposées dans la partie centrale 12 de part et d'autre du nez et orientées chacune vers l'un des yeux de l'utilisateur, ainsi que quatre caméras RGB 15a, 15b pouvant détecter un rayonnement infrarouge. Chacune des caméras 15a, 15b est disposée et orientée vers l'un des yeux de l'utilisateur, étant disposées en dessous des yeux sur le pourtour des verres 13 du dispositif et disposées chacune autrement que dans un plan vertical passant par le centre de la pupille de l'utilisateur. Pour chacun des yeux de l'utilisateur, deux caméras 15a, 15b sont disposées de part et d'autre de ces derniers, l'une du côté du nez et l'autre du côté de la branche reposant sur l'oreille correspondante, étant orienté vers l'œil correspondant de l'utilisateur pour acquérir des images de ce dernier. Les caméras 15a sont orientées vers la pupille de l'utilisateur, et les caméras 15b vers la sclérotique de l'utilisateur.
Le dispositif 10 comporte également un circuit électronique 17 logé dans l'exemple décrit dans l'une des branches 11 du dispositif, ce circuit électronique 17 permettant de traiter les images acquises par les caméras 15 a, 15b, comme cela sera décrit plus loin.
Le dispositif comporte en outre une batterie non visible sur la figure, disposée par exemple dans la deuxième branche du dispositif et lui conférant une autonomie suffisante pour ne pas avoir à être rechargée pendant une durée acceptable, par exemple de plusieurs heures, voire d'une journée entière.
Le dispositif comporte en outre un émetteur sans fil également logé dans l'une des branches, transmettant les données à un module de base 20 fixé à un écran 25 d'un système informatique et connecté à ce dernier, comme illustré sur la figure 2.
Le dispositif comporte en outre des sources lumineuses 19 qui permettent, grâce à une caméra 22 disposée sur le module de base 20, de déterminer le mouvement du dispositif 10 par rapport au module de base 20, de façon à déterminer un déplacement relatif de l'œil par rapport à la caméra et l'évolution de la direction du regard dans le temps.
Lesdites sources lumineuses 19 sont, dans l'exemple décrit, des LEDS infrarouge, par exemple disposées de manière non alignée et dans un plan qui n'est pas perpendiculaire à un axe de la caméra du module de base, comme illustré. Dans l'exemple, une des sources lumineuses 19 est disposée au-dessus du nez de l'utilisateur, tandis que les autres sont disposées de part et d'autre des yeux dans la partie supérieure du dispositif. Les sources lumineuses 19 sont orientées vers l'extérieur, c'est-à-dire vers une caméra 22 du module de base 20.
Dans une variante des balises optiques sont utilisées à la place des sources lumineuses 19.
On va maintenant décrire en détails les étapes d'un procédé conforme à l'invention telles qu'illustrées à la figure 3. Dans une étape 30, chacune des caméras 15a, 15b saisit des images I à des intervalles de temps réguliers de l'œil correspondant de l'utilisateur ou plus précisément de la partie de l'œil de l'utilisateur correspondant.
Dans l'exemple décrit, les caméras 15a saisissent une image A d'une zone de l'œil comportant au moins partiellement la pupille tandis que les capteurs 15b saisissent une image B au moins partielle de la sclérotique de l'œil, comme on peut le voir sur la figure 4. Bien entendu, chacun des capteurs pourrait saisir des images à la fois de la pupille et de la sclérotique sans que l'on sorte du cadre de la présente invention.
Les images I sont traités dans une étape 40 au moins partiellement pour effectuer au moins en partie deux traitements distincts (a) et (b), au moyen du circuit électronique 17 du dispositif 10, lequel permet d'effectuer ces deux traitements au moins en partie, les traitements étant ensuite poursuivis dans le module de base. Dans l'exemple décrit, seule une partie des deux traitements peut être effectuée dans le processeur embarqué sur le dispositif, les données étant ensuite transmises par une liaison sans fil F au module de base dans lequel le reste des traitements est effectué.
Le premier traitement (a) permet de fournir une information sur l'orientation de l'œil à partir de l'observation d'une zone de l'œil dont l'aspect varie avec la rotation de l'œil. Ce traitement peut être effectué pour chacune des images saisies. Il comporte la détermination à l'étape 41 des paramètres liés à la forme de l'ellipse correspondant à la pupille. Le premier traitement (a) permet d'en déduire les axes optiques dans le référentiel de la tête de l'utilisateur à l'étape 42.
Plus précisément, les étapes 41 et 42 de reconstruction de l'orientation de la pupille comportent la sélection de la zone la plus sombre de l'image traitée, l'isolation de la pupille dans cette image, puis l'obtention du contour de la pupille. On en déduit la position du centre de la pupille, les axes majeur et mineur de l'ellipse et un angle définissant l'orientation de l'ellipse, et enfin la normale à la pupille dans un espace à trois dimensions.
On procède ensuite à une reconstruction du centre de rotation de la pupille en déterminant une sphère à partir de points de mesure et des normales précédemment déterminées. On en déduit le centre de rotation et le rayon de cette sphère. On effectue par ailleurs un deuxième traitement (b) des images qui fournit une information sur la cinématique de l'œil par comparaison d'au moins deux images successives à l'étape 45.
A cet effet, on sélectionne d'abord une sous-image contrastée dans l'image I à un instant donné. Puis on recherche un déplacement de cette même sous-image en recherchant une sous-image correspondante dans l'image suivante telle qu'une corrélation entre les deux sous-images soit maximale. L'approximation de la non-déformation de la sous-image entre les deux images successives est correcte dans la mesure où la fréquence de saisie des images est suffisante, étant notamment très supérieure à la vitesse du mouvement observé, c'est-à-dire dans l'exemple décrit supérieure à 500 Hz.
A partant d'une orientation primaire de l'œil, on calcule le changement d'orientation de l'œil à partir de l'ensemble des déplacements infinitésimaux déterminés précédemment. On reconstruit alors le déplacement angulaire de l'œil, c'est-à-dire les deux angles de rotation (tangage et lacet) autour d'axes quelconque perpendiculaires, à partir d'une direction quelconque.
Par ailleurs, on utilise le deuxième traitement (b) pour corriger à l'étape 47 la réfraction cornéenne qui peut produire des non-linéarités provenant de la réfraction de la pupille sur la cornée, qui permettent de corriger les informations du premier traitement (a) à l'étape 42. La direction de la normale précédemment obtenue permet de déterminer une direction de l'axe optique qui peut être entachée d'erreur dues à la diffraction cornéenne, et de bruit provenant de la reconstruction de l'ellipse. Le déplacement angulaire permet d'obtenir la variation de la variation angulaire de l'axe optique à partir d'une direction initiale quelconque. Cette mesure peut aussi être entachée d'une erreur liée à la résolution de la mesure de corrélation. La direction de l'axe optique est obtenue en pondérant ces deux mesures à chaque itération, en prenant en compte le positionnement obtenue à l'étape précédente, la reconstruction en trois dimensions de l'œil, et une paramétrisation issue de la calibration.
En parallèle, on effectue un traitement 50 pour déterminer la position de la tête de l'utilisateur par rapport au module de base, c'est-à-dire le mouvement du dispositif 10 par rapport au module de base 20. La caméra 22 disposée sur le module de base 20 saisit des images I de la tête de l'utilisateur sur lesquelles est visible la lumière issue d'au moins trois points définis par les balises optiques ou les sources lumineuses 19 du dispositif 10. Ces images sont traitées de manière à déterminer la position du dispositif par rapport au module de base. Dans une première étape 51, on sélectionne les points lumineux dans l'image. Dans une deuxième étape 52, on élimine le bruit de manière à assurer que les points lumineux visualisés sur les images correspondent bien aux balises ou sources lumineuses 19 destinées à déterminer le mouvement du dispositif par rapport au module de base. Dans une troisième étape 53, on détermine la position des points lumineux dans l'image et à partir de ces données, dans une étape 55 on calcule la position de la tête par rapport au module de base.
On détermine par ailleurs à une étape 60 les quatre angles de la fovéa par rapport aux caméras à partir de données physiologiques 61, de paramètres préréglés 62, ainsi que de coordonnées de l'écran 63 calibrées au préalable. Les paramètres préréglés 62 peuvent être des paramètres de constructions du dispositif et du module de base, par exemple la position des caméras ou de l'éclairage.
Avec des données de calibration 65, on en déduit les deux axes visuels à une étape 70.
Enfin, à partir du croisement des axes visuels ainsi que de la position de la tête par rapport au module de base, on calcule à l'étape 80 les coordonnées du point de l'écran regardé par l'utilisateur, lequel peut être transmis à l'étape 81 au système informatique.
Exemples d'utilisation d'un dispositif selon l'invention.
Exemple 1 : évolution dans un environnement donné
Le dispositif permet d'établir un rapport entre la direction du regard d'un opérateur et un environnement de travail afin d'améliorer le design et l'ergonomie de cet environnement. L'environnement pouvant être par exemple un cockpit de pilotage d'avion, tel qu'illustré figure 5, de voiture, de simulateur ou un environnent multi écran de contrôle.
L'ensemble 100 de la figure 5 comporte un dispositif 10 sous forme de lunettes, non illustrées, communiquant par une liaison sans fil avec le module de base 20, ce dernier connecté à un système informatique 90. L'ensemble 100 est disposé dans un environnement 200, ici un cockpit de pilotage d'avion. Ainsi le module de base 20 peut être utilisé dès sa connexion au système informatique. L'ensemble 100 représenté comporte plusieurs dispositifs 10 et 10', portés par exemple par le pilote et le co-pilote. Outre quatre capteurs d'image et un circuit électrique, non représentés, chaque dispositif 10, 10'comporte un émetteur/récepteur 40 pour communiquer sans fil avec la base 20, un système de représentation d'information 60 comportant dans l'exemple illustré un écran semi-transparent 62 superposé partiellement aux verres des lunettes et une oreillette 63. Le dispositif 1 comporte également un capteur d'une information physiologique 70 afin d'évaluer l'état psychologique du porteur du dispositif 10, en particulier en situation d'urgence génératrice potentielle de stress.
Exemple 2 : Formation et/ou jeu
Dans le cas des « jeux sérieux » ou des procédures de formation d'opérateur, le dispositif permet de quantifier le regard et l'efficacité de la formation, en particulier de mesurer le respect des normes de sécurité de l'opérateur en environnement critique.
Exemple 3 : interface utilisateur
Dans le cas du handicap, Le dispositif selon l'invention peut notamment agir comme substitutif à la souris et au clavier pour les paraplégiques des membres supérieurs Avec la mesure binoculaire (mesure simultanée de la direction des deux yeux dans le même référentiel), on mesure la vergence de l'utilisateur qui est un paramètre fondamental ayant des applications dans le domaine ophtalmologique ou du repérage en trois dimensions dans l'espace.
Les mises en œuvre représentées et les exemples ne sont donnés qu'à titre illustratif et ne sont pas limitatifs de l'invention.

Claims

REVENDICATIONS
1. Procédé de détermination de la direction du regard d'un utilisateur comportant l'acquisition d'images de l'œil, à l'aide d'au moins un capteur optique, le procédé comportant :
a) un premier traitement (a) de ces images qui fournit une information sur l'orientation de l'œil, à partir de l'observation d'une zone de l'œil (A) dont l'aspect varie avec la rotation de l'œil, et
b) un deuxième traitement (b) de ces images qui fournit une information sur la cinématique de l'œil par comparaison d'au moins deux images (B) successives,
procédé dans lequel on génère une information concernant la direction du regard relativement à la tête de l'utilisateur à partir au moins des informations délivrées par les premier et deuxième traitements.
2. Procédé selon la revendication précédente, dans lequel le premier traitement comporte la détermination des paramètres liés à la forme de l'ellipse correspondant à la pupille, notamment afin de déterminer la position d'un point de l'œil.
3. Procédé selon la revendication précédente, dans lequel le deuxième traitement comporte la détermination du flux optique entre deux images successives de l'œil.
4. Procédé selon l'une quelconque des revendications précédentes, la méthode d'acquisition d'image utilisée étant non intrusive de l'œil et les images acquises représentant des données anatomiques et/ou cinématiques externes de l'œil.
5. Procédé selon l'une quelconque des revendications précédentes, les premier et deuxième traitements reposant sur l'acquisition d'images à des première et deuxième fréquences d'acquisitions différentes, de préférence la première fréquence d'acquisition étant inférieure à la deuxième fréquence, notamment avec un facteur d'au moins 10 entre les première et deuxième fréquences.
6. Procédé selon l'une quelconque des revendications précédentes, les premier et deuxième traitements reposant sur l'acquisition d'images à des résolutions différentes en particulier le premier traitement reposant sur l'acquisition d'images à une résolution supérieure à la résolution de l'acquisition effectuée lors du deuxième traitement, notamment supérieure d'un facteur 5 au moins.
7. Procédé selon l'une quelconque des revendications précédentes, l'information délivrée par le premier traitement permettant de corriger dans la précision de la mesure les dérives liées au deuxième traitement.
8. Procédé selon l'une quelconque des revendications précédentes, dans lequel on utilise un dispositif (10) porté par l'utilisateur (U) comportant :
au moins un premier capteur optique étant une caméra (15a, 15b) configuré pour acquérir une image de tout ou partie d'un œil de l'utilisateur,
- un circuit électrique (17) permettant au moins un prétraitement des images acquises, de façon à déterminer un déplacement relatif de l'œil par rapport à la caméra et l'évolution de la direction du regard dans le temps.
9. Procédé selon la revendication précédente, dans lequel le dispositif comporte au moins un deuxième capteur optique configuré pour acquérir une image de tout ou partie de l'œil de l'utilisateur.
10. Procédé selon la revendication précédente, dans lequel les premier et deuxième capteurs optiques permettent l'acquisition d'images d'un même œil de l'utilisateur.
11. Procédé selon l'une des deux revendications précédentes, dans lequel le premier et le deuxième capteur optique sont chacun dirigés vers une partie différente d'un même œil de l'utilisateur, notamment la pupille et la sclérotique.
12. Procédé selon l'une quelconque des revendications précédentes, comportant en outre au moins un autre capteur optique porté par l'utilisateur et configuré pour acquérir une image de tout ou partie du deuxième œil de l'utilisateur.
13. Procédé selon la revendication précédente, dans lequel on détermine le mouvement du dispositif (10) par rapport à un module de base (20).
14. Procédé selon la revendication précédente, dans lequel on détermine le point d'observation de l'utilisateur sur un écran auquel est fixé le module de base (20), à partir du point de rencontre des deux axes visuels de l'utilisateur déterminé à partir des informations concernant la direction du regard.
15. Procédé selon l'une quelconque revendication précédente dans lequel on effectue une calibration en demandant à l'utilisateur de suivre une cible mobile sur l'écran.
16. Dispositif de détermination de la direction du regard d'un utilisateur, notamment lunettes ou casque, destiné à être immobilisé sur la tête de l'utilisateur, pour contrôler un système informatique, pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 15, comportant :
- au moins un premier capteur optique (15a, 15b) configuré pour acquérir au moins une image de tout ou partie d'un œil de l'utilisateur,
un système de traitement d'images, comportant notamment un circuit électrique (17) permettant au moins
a) un premier traitement (a) de ladite au moins une image qui fournit une information sur l'orientation de l'œil, à partir de l'observation d'une zone de l'œil (A) dont l'aspect varie avec la rotation de l'œil, et
b) un deuxième traitement (b) de ces images qui fournit une information sur la cinématique de l'œil par comparaison d'au moins deux images (B) successives.
17. Dispositif selon la revendication précédente comportant en outre un émetteur sans fil
18. Dispositif selon la revendication précédente, l'émetteur étant un émetteur/récepteur.
19. Dispositif selon l'une des deux revendications précédentes comportant en outre
- au moins un système de représentation d'information (60, 62, 63) notamment de type écran ou écran semi-transparent, projecteur, haut-parleur et/ou oreillette, système vibratoire de retour de force, et/ou
au moins un capteur d'une information physiologique (70).
20. Ensemble (100) comportant :
- au moins un dispositif (10) selon l'une quelconque des revendications 16 à
19, et
un module de base (20) destiné à être connecté à un système informatique^ 0) .
21. Ensemble selon la revendication précédente, dans lequel le dispositif (10) communique avec le module de base (20) par une liaison sans fil.
22. Ensemble selon l'une des deux revendications précédentes, dans lequel le module de base (20) est configuré pour pouvoir être utilisé dès sa connexion au système informatique.
PCT/IB2013/052930 2012-04-12 2013-04-12 Procede de determination de la direction du regard d'un utilisateur Ceased WO2013153538A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/391,579 US9715274B2 (en) 2012-04-12 2013-04-12 Method for determining the direction in which a user is looking
EP13725787.9A EP2836893A1 (fr) 2012-04-12 2013-04-12 Procede de determination de la direction du regard d'un utilisateur

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1253395A FR2989482B1 (fr) 2012-04-12 2012-04-12 Procede de determination de la direction du regard d'un utilisateur.
FR1253395 2012-04-12

Publications (1)

Publication Number Publication Date
WO2013153538A1 true WO2013153538A1 (fr) 2013-10-17

Family

ID=46889151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2013/052930 Ceased WO2013153538A1 (fr) 2012-04-12 2013-04-12 Procede de determination de la direction du regard d'un utilisateur

Country Status (4)

Country Link
US (1) US9715274B2 (fr)
EP (1) EP2836893A1 (fr)
FR (1) FR2989482B1 (fr)
WO (1) WO2013153538A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017045818A1 (fr) 2015-09-18 2017-03-23 Suricog Systeme portatif comportant un support deformable
US10007338B2 (en) 2013-10-14 2018-06-26 Suricog Method of interaction by gaze and associated device

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563805B2 (en) * 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
US20170168323A1 (en) * 2015-04-22 2017-06-15 Kurt Matthew Gardner Method of Determining Eyeglass Fitting Measurements from an Image by Executing Computer-Executable Instructions Stored on a Non-Transitory Computer-Readable Medium
US9885887B2 (en) * 2015-04-22 2018-02-06 Kurt Matthew Gardner Method of determining eyeglass frame measurements from an image by executing computer-executable instructions stored on a non-transitory computer-readable medium
FR3041230B1 (fr) 2015-09-18 2022-04-15 Suricog Procede de determination de parametres anatomiques
CN108700934B (zh) 2015-09-24 2022-07-26 托比股份公司 能够进行眼睛追踪的可穿戴设备
US10565446B2 (en) * 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
JP2017163180A (ja) * 2016-03-07 2017-09-14 富士通株式会社 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
CN106526869A (zh) * 2016-12-14 2017-03-22 柯轩 眼睛防护仪
CN111629653B (zh) 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
CN111542800B (zh) 2017-11-13 2024-09-17 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
KR102848051B1 (ko) 2018-01-18 2025-08-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备
CN111556305B (zh) * 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6113237A (en) 1999-12-06 2000-09-05 Ober; Jan Krzysztof Adaptable eye movement measurement device
EP1403680A1 (fr) * 2002-09-27 2004-03-31 The Boeing Company Système de poursuite du regard, système de poursuite oculaire et procédé de calibration associé
US20050110950A1 (en) 2003-03-13 2005-05-26 Thorpe William P. Saccadic motion sensing
US20100045933A1 (en) 2000-10-07 2010-02-25 Physoptics Opto-Electronic Gmbh Device and method for determining the orientation of an eye
WO2010083853A1 (fr) 2009-01-26 2010-07-29 Tobii Technology Ab Détection de point de regard aidé par des signaux optiques de référence
US20100283972A1 (en) 2004-03-13 2010-11-11 Plant Charles P Saccadic Motion Detection System
EP2261772A1 (fr) 2009-06-12 2010-12-15 Star Nav Procédé de contrôle d'un dispositif d'entrée basé sur la détection d'une attitude ou du regard
US20120019645A1 (en) 2010-07-23 2012-01-26 Maltz Gregory A Unitized, Vision-Controlled, Wireless Eyeglasses Transceiver
AU2012201615A1 (en) * 2011-07-22 2012-04-05 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
DE102008053248A1 (de) 2008-10-25 2010-04-29 Schaeffler Kg Wälzlagerkäfig
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6113237A (en) 1999-12-06 2000-09-05 Ober; Jan Krzysztof Adaptable eye movement measurement device
US20100045933A1 (en) 2000-10-07 2010-02-25 Physoptics Opto-Electronic Gmbh Device and method for determining the orientation of an eye
EP1403680A1 (fr) * 2002-09-27 2004-03-31 The Boeing Company Système de poursuite du regard, système de poursuite oculaire et procédé de calibration associé
US20050110950A1 (en) 2003-03-13 2005-05-26 Thorpe William P. Saccadic motion sensing
US20100283972A1 (en) 2004-03-13 2010-11-11 Plant Charles P Saccadic Motion Detection System
WO2010083853A1 (fr) 2009-01-26 2010-07-29 Tobii Technology Ab Détection de point de regard aidé par des signaux optiques de référence
EP2261772A1 (fr) 2009-06-12 2010-12-15 Star Nav Procédé de contrôle d'un dispositif d'entrée basé sur la détection d'une attitude ou du regard
US20120019645A1 (en) 2010-07-23 2012-01-26 Maltz Gregory A Unitized, Vision-Controlled, Wireless Eyeglasses Transceiver
AU2012201615A1 (en) * 2011-07-22 2012-04-05 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERTHOLD K. P. HORN ET AL.: "Determining Optical Flow", ARTIFICIAL INTELLINGENCE, vol. 17, 1981, pages 185 - 203
BHARATH L ET AL: "Tracking method for Human Computer Interaction using Wii Remote", EMERGING TRENDS IN ROBOTICS AND COMMUNICATION TECHNOLOGIES (INTERACT), 2010 INTERNATIONAL CONFERENCE ON, IEEE, 3 December 2010 (2010-12-03), pages 133 - 137, XP031890065, ISBN: 978-1-4244-9004-2, DOI: 10.1109/INTERACT.2010.5706202 *
M. HUTTER ET AL.: "Matching 2-D ellipses to 3-D circles with application to vehicle pose identification", IMAGE AND VISION COMPUTING NEW ZEALAND, 2009
T. D. ALTER: "3D Pose from 3 Corresponding Points under Weak-Perspective Projection", ARTIFICIAL INTELLIGENCE LABORATORY, no. 1378, July 1992 (1992-07-01)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007338B2 (en) 2013-10-14 2018-06-26 Suricog Method of interaction by gaze and associated device
WO2017045818A1 (fr) 2015-09-18 2017-03-23 Suricog Systeme portatif comportant un support deformable

Also Published As

Publication number Publication date
FR2989482A1 (fr) 2013-10-18
FR2989482B1 (fr) 2022-12-23
US9715274B2 (en) 2017-07-25
EP2836893A1 (fr) 2015-02-18
US20150042558A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
EP2836893A1 (fr) Procede de determination de la direction du regard d&#39;un utilisateur
EP2498671B1 (fr) Procédé et dispositif de mesure automatique d&#39;au moins une caractéristique de réfraction des deux yeux d&#39;un individu
JP6026444B2 (ja) データ転送速度を設定することにより２つの眼における少なくとも１つのパラメータを決定する方法及び光学的測定装置
EP0596868B1 (fr) Méthode de suive des yeux utilisant un dispositif d&#39;acquisition d&#39;images
EP3371781B1 (fr) Systèmes et procédés de génération et d&#39;utilisation d&#39;images tridimensionnelles
US20140055747A1 (en) Optical Measuring Device and Method for Capturing at Least One Parameter of at Least One Eye Wherein an Illumination Characteristic is Adjustable
KR101094766B1 (ko) 시선 위치 추적 장치 및 방법
EP0733338A1 (fr) Dispositif de mesure de la position du point de fixation d&#39;un oeil sur une cible
KR20180115285A (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
EP3092616A1 (fr) Mise en correspondance de reflets avec des sources de lumière
JP7165994B2 (ja) 眼の計測を収集するための方法及びデバイス
JPH0782539B2 (ja) 瞳孔画像撮影装置
WO2018154272A1 (fr) Systèmes et procédés pour obtenir des informations concernant le visage et les yeux d&#39;un sujet
EP3897488A1 (fr) Dispositif médical d&#39;aide à la perception d&#39;environnement pour des utilisateurs aveugles ou malvoyants
EP0547931B1 (fr) Procédé et dispositif de mesure des mouvements oculaires
CA3216150A1 (fr) Procede de simulation de produits optiques
EP3758578B1 (fr) Dispositif d&#39;exploration du systeme visuel
US20250180742A1 (en) Systems and methods for combining polarization information with time-of-flight information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13725787

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14391579

Country of ref document: US

Ref document number: 2013725787

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WPC Withdrawal of priority claims after completion of the technical preparations for international publication

Ref document number: 1253395

Country of ref document: FR

Date of ref document: 20141010

Free format text: WITHDRAWN AFTER TECHNICAL PREPARATION FINISHED