[go: up one dir, main page]

WO2007113975A1 - 視点検出装置 - Google Patents

視点検出装置 Download PDF

Info

Publication number
WO2007113975A1
WO2007113975A1 PCT/JP2007/054434 JP2007054434W WO2007113975A1 WO 2007113975 A1 WO2007113975 A1 WO 2007113975A1 JP 2007054434 W JP2007054434 W JP 2007054434W WO 2007113975 A1 WO2007113975 A1 WO 2007113975A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
subject
optical system
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/054434
Other languages
English (en)
French (fr)
Inventor
Yoshinobu Ebisawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2008508469A priority Critical patent/JP5167545B2/ja
Priority to US12/295,502 priority patent/US7766479B2/en
Publication of WO2007113975A1 publication Critical patent/WO2007113975A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Definitions

  • the present invention relates to a line-of-sight detection device that detects a viewpoint of an object person with respect to a displayed image.
  • Non-Patent Document 1 describes a device for measuring where a subject looks at the display screen by placing a camera at a distance of about 50 cm to 80 cm for the facial strength of the subject.
  • pointing devices that use a camera to detect the facial image power pupil and move the cursor on the display screen in accordance with the movement of the pupil caused by the movement of the subject's head (Patent Documents below). 1).
  • HMD line-of-sight detection device
  • an image output from a personal computer is displayed, and a camera for detecting a viewpoint on the image is provided, and an error caused by the movement of the subject's head is obtained, based on the error !,
  • an HMD line-of-sight detection device that corrects misalignment of the detection result is disclosed (see Patent Document 2 below).
  • an HMD that calculates which part of an external observation target is being watched by detecting the visual line direction of the subject is also disclosed (see Patent Document 3 below).
  • Patent Document 1 Japanese Patent Laid-Open No. 2005-182247
  • Patent Document 2 Japanese Patent Laid-Open No. 2001-134371
  • Patent Document 3 Japanese Patent Laid-Open No. 2005-286141
  • the present invention has been made in view of a serious problem, and is a visual inspection capable of improving the accuracy of detection of a subject's viewpoint on a display image while maintaining user convenience.
  • An object is to provide a dispensing device.
  • the viewpoint detection device of the present invention projects a display image displayed by the image display means to the outside through the window and is directed toward a subject positioned outside the window.
  • a viewpoint detection device that detects a viewpoint on a display image of a target person by capturing an eye image of the target person with an imaging unit according to the illumination light irradiated in this way, and between the window and the imaging means Based on a telecentric lens arranged on the optical path of the lens, a lens constituting a part of the telecentric lens arranged on the optical path between the image display means and the window, and an eye image taken by the imaging means Detection means for detecting the viewpoint position of the subject.
  • the viewpoint detection device of the present invention it is possible to improve the accuracy of the viewpoint detection of the target person with respect to the display image while maintaining the convenience for the user.
  • FIG. 1 is a partially cross-sectional configuration diagram showing a schematic configuration of a viewpoint detection apparatus 1 which is a preferred embodiment of the present invention.
  • FIG. 2 is an optical path diagram equivalently showing an optical path of an image display optical system in the HMD of FIG. 1.
  • FIG. 3 is an optical path diagram equivalently showing the optical path of the imaging optical system in the HMD of FIG.
  • FIG. 4 is a diagram for explaining the principle of viewpoint detection processing by the control device of FIG. 1, (a) is a diagram showing the positional relationship between the eyeball of the subject and the imaging surface, and (b) is (a FIG.
  • FIG. 5 is a diagram for explaining the principle of viewpoint detection processing by the control device of FIG. 1.
  • (a) is a diagram showing the positional relationship between the subject's eyeball and the imaging surface
  • (b) is a diagram in (a). It is a figure which shows an eye image.
  • FIG. 6 is a diagram showing an image of a display image displayed by the LCD of FIG. 1.
  • FIG. 7 is a diagram showing an image of an eye image taken by the CCD of FIG.
  • FIG. 8 is a diagram showing a relationship between an optical axis and a visual axis of a subject's eyeball.
  • FIG. 9 (a) is a diagram showing a cursor displayed by the LCD of FIG. 1, and (b) is a diagram showing an image of an eye image taken by the CCD of FIG.
  • FIG. 10 (a) is a diagram showing a cursor displayed by the LCD of FIG. 1
  • FIG. 10 (b) is a diagram showing an image of an eye image taken by the CCD of FIG.
  • FIG. 11 (a) is a diagram showing a cursor displayed by the LCD of FIG. 1, and (b) is a diagram showing an image of an eye image taken by the CCD of FIG.
  • FIG. 12 (a) is a diagram showing a cursor displayed by the LCD of FIG. 1
  • FIG. 12 (b) is a diagram showing an image of an eye image taken by the CCD of FIG.
  • FIG. 13 is a conceptual diagram showing an application example of the viewpoint detection apparatus of the present invention.
  • FIG. 14 is a diagram showing a schematic configuration of an HMD that is a modification of the present invention.
  • FIG. 15 (a) shows a cursor displayed on the LCD in a modification of the present invention.
  • FIG. 4B is a diagram showing an image of an eye image picked up by a CCD in the modification of the present invention.
  • FIG. 16 (a) is a diagram showing a cursor displayed by an LCD in a modification of the present invention, and (b) is a diagram showing an image of an eye image captured by a CCD in the modification of the present invention. It is.
  • Window 5, 105a, 105b ...
  • Optical system telecentric lens
  • 8 'LCD image display means
  • 8a Display surface
  • 9 ...
  • Aperture part telecentric aperture
  • 11 "CCD Imaging Means
  • FIG. 1 is a partial cross-sectional configuration diagram showing a schematic configuration of a viewpoint detection device 1 which is a preferred embodiment of the present invention.
  • the viewpoint detection device 1 includes a head mounted display (hereinafter referred to as “HMD”) 2 mounted on the head of a subject who detects a line of sight, a personal computer connected to the HMD 2, a server device, and the like.
  • Control device (detection means) 3 Although the HMD 2 actually has a housing, the illustration thereof is omitted.
  • the HMD2 includes a finder (window) 4 positioned in front of the eyeball E of the subject with the HMD2 mounted on the subject's head, and three lenses provided inside the finder 4 Optical system (telecentric lens) 5, prism 6 and LCD (image display means) 8 provided in this order in the direction away from optical system 5 along optical axis L 1 of optical system 5, and optical system 5 A prism 7, an aperture (telecentric aperture) 9, an optical system 10, and a CCD (imaging means) 1 1 provided in this order along the optical axis L2 perpendicular to the optical axis L1 and away from the optical system 5
  • the optical fiber cable 12 provided in parallel to the CCD 11 is provided in the housing.
  • the optical system 5 is a so-called telecentric lens configured such that its optical axis and the principal ray on the eyeball E side are parallel to each other.
  • the inclined surface 6a on the optical system 5 side of the prism 6 provided on the optical axis L1 of the optical system 5 is provided with a dichroic mirror coating, and the visible light component projected from the display surface 8a of the LCD 8 is reduced. The displayed image is transmitted to the optical system 5 side.
  • the inclined surface 6a emits illumination light having a near-infrared light component emitted from the optical fiber cable 12 and incident on the inclined surface 6a along the optical axis L2 perpendicular to the optical axis L1 to the optical system 5 side.
  • the incident light (eye image) reflected by the eyeball E is reflected to the prism 7 side.
  • a prism 7 is located on the optical axis L 2 of the optical system 5 bent by the prism 6.
  • the inclined surface 7a on the prism 6 side of the prism 7 is provided with a half mirror coating, and transmits an eye image incident along the optical axis L2 to the CCD 11 side.
  • the inclined surface 7a reflects the illumination light incident on the prism 13 after being irradiated from the light source (not shown) through the optical fiber cable 12 to the prism 6 side along the optical axis L2. .
  • the optical path (first optical path) of the image display optical system along the optical axis L1 and the imaging optics along the optical axis L2 are between the eyeball E and the inside of the HMD2.
  • FIG. 2 is an optical path diagram equivalently showing the optical path of the image display optical system.
  • the optical system 5 is equivalently shown as one lens.
  • the LCD 8 is provided such that the optical axis L1 passes between the center of the display surface 8a and the center of the viewfinder 4, and the display surface 8a is only the focal length f from the optical system 5. They are arranged so as to be separated from each other.
  • the display image displayed on the display surface 8a of the LCD 8 is emitted as visible light toward the optical system 5, and is converted into a substantially parallel light beam by the optical system 5 to be converted into the finder 4 Is projected onto the external eyeball E via Light rays that have entered the eyeball are projected onto the retina through the pupil and recognized by the subject.
  • R is converted so that the angles formed with the optical axis L1 are equal when entering the eyeball of the subject. It is. As a result, the chief rays R 1 and R 2 are the same when the subject is looking at the same angle.
  • the display image on the display surface 8a is recognized at the same position. For example, even if the subject 14 is viewing the display image and the casing 14 is translated relative to the eyeball E, the display image will appear to be stationary. This means that the gaze direction does not move even if the casing 14 is displaced while the subject is staring at a point on the display surface 8a. On the other hand, when the casing 14 rotates with respect to the eyeball E, the image projected from one point on the display surface 8a rotates accordingly.
  • FIG. 3 is an optical path diagram equivalently showing the optical path of the imaging optical system.
  • the optical system 5 is equivalently shown as one lens.
  • the optical system 5 is arranged on the optical axis L2 between the viewfinder 4 and the CCD 11, and the focal length f from the optical system 5 is such that the diaphragm 9 passes through the optical axis L1 in the center. They are separated by a distance.
  • the diaphragm 9 is set to an appropriate inner diameter so that the image picked up by the CCD 11 does not become dark.
  • the optical system 5 and the diaphragm 9 constitute a telecentric optical system. Specifically, the light beam generated by the point Q force on the surface M on the opposite side of the diaphragm 9 of the optical system 5 is focused by the diaphragm 9 to the shaded area, and is on the imaging surface 11a of the CCD 11. Forms an image at point Q and on surface M
  • each light beam including principal rays R and R is light when entering the optical system 5.
  • the size of the image captured by the CCD 11 does not change even if the distance between the optical system 5 and the viewfinder 4 and the subject changes.
  • the surface M when the surface M is considered as the surface of the eyeball, it depends on the reflected light from the subject person according to the illumination light irradiated to the outside from the optical fiber cable 12 through the finder 4.
  • the image (eye image) is picked up by the image pickup surface 11 a of the CCD 11 via the optical system 5 and the diaphragm 9. At this time, the distance between the CCD 11 and the light source and the eyeball as the subject can always be regarded as infinity.
  • the optical system 5 that constitutes a part of the telecentric optical system of the imaging optical system is also used as an optical system of the image display optical system.
  • the optical system 10 disposed on the optical axis L2 between the diaphragm 9 and the CCD 1 is powered by the visible light blocking filter (infrared transmission filter) 10a and the lenses 10b and 10c. , Provided to block the visible light component incident on the imaging surface 11a, correct aberrations, etc.
  • the control device 3 is a computer system that generates an image signal to be displayed on the LCD 8 and also has a CPU, a memory, and an input / output device that receive image data picked up by the CCD 11 and perform image processing.
  • the control device 3 executes a viewpoint detection process for detecting the viewpoint on the display surface 8a of the subject and a viewpoint calibration process for correcting the detected viewpoint.
  • a viewpoint detection process for detecting the viewpoint on the display surface 8a of the subject
  • a viewpoint calibration process for correcting the detected viewpoint.
  • FIG. 4 the principle of viewpoint detection processing by the control device 3 will be described with reference to FIGS. 4 and 5.
  • the eyeball of the subject can be modeled as a double sphere consisting of an eyeball E and a corneal sphere C (see FIG. 4 (a)). Since the distance between the CCD 11 and the light source 15 and the eyeball E is assumed to be infinite, and the light source 15 can be considered to exist on the optical axis L2 of the CCD11, the illumination light from the light source 15 irradiates the eyeball E as parallel light. Is done.
  • the eyeball E always remains on the imaging surface 11a.
  • the line-of-sight vector D of the subject is shifted from the optical axis L2 and is directed obliquely.
  • the eye image G to be captured in proportion to the angle formed by the line-of-sight vector D and the optical axis L2.
  • the locus which is the relative positional relationship between the position P of the corneal reflection at 02 and the position P of the pupil center
  • the control device 3 first compares the predetermined threshold value with the luminance of the eye image based on the eye image output from the CCD 11, thereby determining the position of the corneal reflection. Is detected. Furthermore, the control device 3 detects the center position of the pupil based on the face image of the subject including the eye image. More specifically, the face image captured by the CCD 11 has a property that the brightness of the pupil is higher than that of the face around the pupil due to illumination light having a near-infrared light component. The pupil position can be detected by detecting the luminance difference. Then, the control device 3 specifies the detected contour of the pupil, calculates an ellipse that can be approximated to the contour, and determines the center of the ellipse as the center position of the pupil.
  • control device 3 alternately illuminates illumination light having a wavelength of about 850 ° and illumination light having a wavelength of about 950 ° with light intensity such that the luminance on the surface of the subject's face is the same.
  • the pupil position may be detected by taking the difference between the obtained face images. In this way, the level of reflected light at the pupil portion is higher at the wavelength of 850 nm than at the wavelength of 950 nm, and by taking the difference, the portion other than the pupil is canceled out, so the pupil portion is more accurate. Can be detected.
  • the control device 3 Based on the position of the corneal reflection and the position of the pupil center obtained as described above, the control device 3 detects the viewpoint of the subject as follows.
  • the image is displayed by the display image power LCD 8 as shown in FIG.
  • the subject is looking at a point DP where the origin O force located at the center of the display surface 8a is also separated by the position vector g.
  • an eye image as shown in FIG. 7 is captured by the CCD 11, and the control device 3 calculates a vector r from the position of corneal reflection to the position of the pupil center as a relative positional relationship.
  • the center O of the display surface 8a of the LCD 8 is the center of the imaging surface 11a when viewed from the subject. Looking at the center O corresponds to looking at the center of the imaging surface 11a because it coincides with the optical axis L2 passing through and the optical path of the light source.
  • the angle between the horizontal axis of the display surface 8a of the position vector g and the horizontal axis of the imaging surface 11a of the vector r matches with ⁇ .
  • control device 3 uses the fact that there is a proportional relationship between the magnitude I g I of the position vector g and the magnitude I r I of the vector r, from the proportionality coefficient obtained in advance.
  • the position vector R is calculated and the viewpoint DP on the display surface 8a is detected.
  • the optical axis L3 of the eyeball E and the visual axis D indicating the line-of-sight direction are directed in different directions as shown in FIG.
  • the optical axis L3 is considered as a straight line passing through the center of the eyeball E and the center C of the pupil, and is the axis of symmetry of the eyeball optical system.
  • the image is displayed on the display image power LCD 8 as shown in FIG. 9 (a), and when the object to be viewed is located at the origin O, as shown in FIG.
  • the position P of the corneal reflection in 11a and the position P of the pupil center shift. This amount of deviation is individual for each subject.
  • the control device 3 executes the viewpoint calibration process as follows.
  • the control device 3 displays the cursor (index image) Cu on the display surface 8a, and in the captured eye image, the position P of the corneal reflection coincides with the position P of the pupil center.
  • the cursor Cu is moved in the direction of the
  • the control device 3 simultaneously displays the cursor (second index image) Cu at another position on the display surface 8a. 12 Eye shown in (b)
  • Positional force of corneal reflection in the image Calculate a vector r that reaches the center of the pupil. So After that, the control device 3 determines that the origin Cu has been corrected corresponding to the position of the cursor Cu.
  • control device 3 has the following formula (2);
  • the angle correction value ⁇ is obtained. Then, after determining the position r of the corneal reflection at the time of actual viewpoint detection and the vector r reaching the center of the pupil,
  • control device 3 determines the viewpoint coordinate g (x, y) of the subject with respect to the origin O '(x0', y0 ').
  • the control device 3 displays a plurality of cursors Cu on the display surface 8a, and stores both vectors g and r when the subject sees them. And the following formula (
  • Curve fitting (curve approximation) is used to find the coefficients a and b.
  • the control device 3 calculates an angle correction value ⁇ for each cursor Cu by using the equation (2), and calculates the angle formed by the position vector g by applying the average value to the equation (3).
  • FIG. 13 is a conceptual diagram illustrating an application example of the viewpoint detection device 1.
  • subjects such as patients
  • the selected image 16 is displayed on the display surface 8a.
  • the personal computer 3 detects the viewpoint position on the selection image 16 of the target person H and recognizes the viewpoint position within the specific range for a predetermined time or more, the personal computer 3 detects the blink of the target person H in the specific range.
  • the input corresponding to that range is detected.
  • the personal computer 3 recognizes the input character, the personal computer 3 outputs the character to a display (information display means) 17 connected to the outside simultaneously with outputting the sound. In this way, even if the subject is an unintentional person such as a patient, the surrounding people can easily read the will of the subject.
  • the viewpoint detection apparatus 1 when a display image is projected from the finder 4 to the outside, the viewpoint detection apparatus 1 passes through the optical system 5 provided at the position of the focal length f from the display surface 8a. Therefore, one point on the display surface 8a and the angle of the subject's line of sight correspond one-to-one.
  • the subject's eye image is displayed on the CCD 11 via the telecentric optical system in response to illumination light, so that the subject's position can be captured even if the subject's position changes back and forth with respect to the viewfinder 4. The size of the eye image does not change.
  • the subject is being imaged at infinity while irradiating light from infinity, so even if the HMD2 case and the eyeball are displaced, the line of sight is directed in a certain direction.
  • the relative relationship between the pupil center and the corneal reflection position does not change.
  • the viewpoint position is detected based on the eye image of the subject, the actual viewpoint of the subject on the display surface 8a and the detected line-of-sight direction have a one-to-one correspondence. Even if the position of the subject changes, the detection error of the subject's viewpoint is reduced.
  • the viewpoint position is calculated according to the positional relationship between the position of the corneal reflection in the eye image and the position of the pupil center, the position of the subject is perpendicular to the window portion. Even if the direction changes in parallel or in a parallel direction, the positional relationship between the position of corneal reflection and the position of the pupil center in the captured eye image does not change, so that the detection error of the subject's viewpoint is reliably reduced. .
  • the viewpoint calibration process is executed in the control device 3, even when the optical axis of the eyeball of the subject is different from the direction of the line of sight (visual axis), the cursor displayed in advance is displayed. The position detection error is further reduced by calibrating the viewpoint position by obtaining the positional relationship between the position of the corneal reflection and the center of the pupil.
  • an optical system 105a that is a telecentric lens provided on the optical axis L1 of the image display optical system and an optical axis L2 of the imaging optical system, such as an HMD102 that is a modification of the present invention shown in FIG.
  • the optical system 105b which is a telecentric lens, may be provided separately.
  • the illumination light irradiated from the optical fiber cable 12 may be configured to be irradiated along the optical axis L1 of the image display optical system.
  • the illumination light may be irradiated from a small light source device such as an LED fixed at a position corresponding to the tip of the optical fiber cable 12 in FIG.
  • a dichroic mirror 103 that reflects illumination light in a direction along the optical axis L1 and transmits a display image displayed on the LCD 8 along the optical axis L1 is disposed on the front surface of the LCD 8, Inside the viewfinder 4 is disposed a half mirror 104 that reflects the light, which is also reflected in the eyeball force of the subject by the illumination light, in the direction along the optical axis L2.
  • control device 3 may perform the following processing instead of the viewpoint calibration processing described above. Specifically, as shown in FIG. 15 (a), the control device 3 displays the cursor Cu at the origin O on the display surface 8a, and a vector from the position of the corneal reflection to the position of the pupil center at that time.
  • a r (a)
  • R is the following formula (6)
  • Torr r ' is applied, and the position of corneal reflection during viewpoint detection reaches the center of the pupil.
  • the viewpoint position on the display surface 8a can be detected. According to such viewpoint calibration processing, since it is not necessary for the subject to follow the cursor, it is possible to detect the viewpoint position with high accuracy without placing a burden on the user.
  • the control device 3 is not limited to a device externally connected to the HMD 2, and may be an arithmetic device such as a CPU board built in the housing of the HMD 2.
  • a telecentric stop disposed at the focal position of the telecentric lens on the optical path between the window portion and the imaging means.
  • the image display means is arranged at the focal position of the lens arranged between the image display means and the window.
  • the illumination light is emitted from a light source that can be regarded as being located at an infinite distance on the optical path between the image display means and the window.
  • the illumination light to be emitted is always emitted as parallel light even when the position of the subject is shifted, so that the line-of-sight direction of the subject can be detected stably.
  • the detection means detects the position of the corneal reflection and the position of the pupil center in the eye image, and calculates the viewpoint position according to the positional relationship between the position of the corneal reflection and the position of the pupil center. .
  • the position of the subject changes in a direction perpendicular to or parallel to the window, the positional relationship between the position of the corneal reflection in the captured eye image and the position of the pupil center does not change. The error of the subject's viewpoint detection is reliably reduced.
  • the detecting means detects the position of the corneal reflection and the position of the pupil center while displaying the index image on the image display means, and the first position where the position of the corneal reflection and the position of the pupil center match each other.
  • the position of the corneal reflection and the center of the pupil are determined while the second index image is displayed at a position different from the first index image on the image display means.
  • the detection means obtains the first positional relationship between the position of the corneal reflection and the position of the pupil center while displaying the first index image at the specific position on the image display means, and In the image display means, the second index image is not displayed at a position different from the first index image.
  • the second positional relationship between the position of corneal reflection and the position of the pupil center is obtained, and the first and second It is also preferable to calibrate the viewpoint position based on the positional relationship and the coordinates of the first and second index images.
  • the input character specifying means for specifying the input character based on the viewpoint position detected by the detecting means. It is also preferable to provide further. In this way, even when the subject changes the position of the subject when the subject inputs characters only by movement of the line of sight, the accuracy of character input and the convenience for the user can be improved.
  • the input character specifying means preferably outputs the specified input character to an external information display means.
  • the present invention uses a line-of-sight detection device that detects the viewpoint of the subject with respect to the displayed image, and improves the accuracy of the viewpoint detection of the subject with respect to the display image while maintaining user convenience. It is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

　視点検出装置１は、ＬＣＤ８によって表示された表示画像をファインダー４を介して外部に投射すると共に、ファインダー４から外部に向けて照射された照明光に応じて対象者の眼画像をＣＣＤ１１によって撮像することによって、対象者の視点を検出する視点検出装置であって、ＬＣＤ８とファインダー４との間の画像表示光学系の光路上において、表示面８ａから焦点距離分だけ離間して配置された光学系５と、ファインダー４とＣＣＤ１１との間の撮像光学系の光路上において配置された光学系５、及びその光路上において該光学系５から焦点距離分だけ離間して配置された絞り部９を含むテレセントリック光学系と、ＣＣＤ１１によって撮像された眼画像に基づいて対象者の視点位置を検出する制御装置３とを備える。

Description

明 細 書
視点検出装置
技術分野
[0001] 本発明は、表示させた画像に対する対象者の視点を検出する視線検出装置に関 するものである。
背景技術
[0002] 従来から、ディスプレイ等の観察対象物上の対象者の視線方向又は視点を検出す る装置が知られている。例えば、下記非特許文献 1には、対象者の顔力も 50cmから 8 0cm程度の距離にカメラを置き、対象者が表示画面内のどこを見て 、るかを計測する 装置が記載されている。また、カメラを用いて顔画像力 瞳孔を検出し、対象者の頭 の動きにより発生する瞳孔の動きに合わせて表示画面上のカーソルを動かすような ポインティング装置も知られて ヽる（下記特許文献 1参照)。
[0003] 一方で、対象者の頭部の大きな動きにも対応できるようにヘッドマウントディスプレイ
(以下、 HMDという）型の視線検出装置力 様々な応用面で有望視されている。例え ば、パーソナルコンピュータから出力された画像を映し出すとともに、その画像上の 視点を検出するためのカメラを備え、対象者の頭部の動きに起因する誤差を求めて 、その誤差に基づ!、て検出結果の位置ずれを補正する HMD型の視線検出装置が 開示されている（下記特許文献 2参照)。また、対象者の視線方向を検出することによ つて外部の観察対象物のどの部分を注視しているかを算出する HMDも開示されて いる（下記特許文献 3参照)。
特許文献 1 :特開 2005— 182247号公報
特許文献 2：特開 2001— 134371号公報
特許文献 3：特開 2005— 286141号公報
特干文献 1： Kay Talmi, Jin Liu 'Eye ana gaze tracking for visually controlled inter active stereoscopic displays", Signal Processing Image Communication vol.14, Augu st 1999, p.799-810
発明の開示 発明が解決しょうとする課題
[0004] し力しながら、上述した従来の視線検出装置においては、装着位置のずれ等により 装置に対する対象者の位置が変動した場合に、ディスプレイ等の観察対象物に対す る視線又は視点を精度よく検出することが困難である。これは、対象者の頭の位置が 変動すると対象者に対する観察対象物の見え方及び対象者の顔画像の位置が変化 すること〖こ起因する。上記特許文献 2に記載された視線検出装置は、視線入力が困 難になった場合に再較正を行う機能を有するが、装着ずれに対して再三にわたり較 正処理を行って 、たのでは、ユーザの利便性が低下する。
[0005] そこで、本発明は、力かる課題に鑑みて為されたものであり、ユーザの利便性を維 持しつつ表示画像に対する対象者の視点検出の精度を向上させることが可能な視 点検出装置を提供することを目的とする。
課題を解決するための手段
[0006] 上記課題を解決するため、本発明の視点検出装置は、画像表示手段によって表示 された表示画像を窓部を介して外部に投射すると共に、窓部の外部に位置する対象 者に向けて照射された照明光に応じて、対象者の眼画像を撮像手段によって撮像 することによって、対象者の表示画像上の視点を検出する視点検出装置であって、 窓部と撮像手段との間の光路上に配置されたテレセントリックレンズと、画像表示手 段と窓部との間の光路上に配置され、テレセントリックレンズの一部を構成するレンズ と、撮像手段によって撮像された眼画像に基づいて対象者の視点位置を検出する検 出手段とを備える。
[0007] このような視点検出装置によれば、窓部力 外部に表示画像が投射される際に、表 示面力 テレセントリックレンズを経由することによって、表示面上の 1点と対象者の 視線の角度とが 1対 1に対応することになると同時に、照明光の照射に応じて対象者 の眼画像がテレセントリックレンズを経由して撮像手段に映し出されることにより、対 象者の位置が窓部に対して前後に変化しても撮像される眼画像の大きさは変化しな い。これにより、対象者の眼画像に基づいて視点位置を検出する際に、表示面上の 対象者の実際の視点と、検出される視線方向とが 1対 1に対応するので、窓部に対す る対象者の位置が変化しても対象者の視点検出の誤差が低減される。 発明の効果
[0008] 本発明による視点検出装置によれば、ユーザの利便性を維持しつつ表示画像に 対する対象者の視点検出の精度を向上させることができる。
図面の簡単な説明
[0009] [図 1]本発明の好適な一実施形態である視点検出装置 1の概略構成を示す一部断 面構成図である。
[図 2]図 1の HMDにおける画像表示光学系の光路を等価的に示す光路図である。
[図 3]図 1の HMDにおける撮像光学系の光路を等価的に示す光路図である。
[図 4]図 1の制御装置による視点検出処理の原理について説明する図であり、 (a)は 、対象者の眼球と撮像面の位置関係を示す図であり、（b)は、（a)における眼画像を 示す図である。
[図 5]図 1の制御装置による視点検出処理の原理について説明する図であり、 (a)は 、対象者の眼球と撮像面の位置関係を示す図、（b)は、（a)における眼画像を示す 図である。
[図 6]図 1の LCDによって表示される表示画像のイメージを示す図である。
[図 7]図 1の CCDによって撮像される眼画像のイメージを示す図である。
[図 8]対象者の眼球の光軸及び視軸との関係を示す図である。
[図 9] (a)は、図 1の LCDによって表示されるカーソルを示す図、（b)は、図 1の CCD によって撮像される眼画像のイメージを示す図である。
[図 10] (a)は、図 1の LCDによって表示されるカーソルを示す図、（b)は、図 1の CCD によって撮像される眼画像のイメージを示す図である。
[図 11] (a)は、図 1の LCDによって表示されるカーソルを示す図、（b)は、図 1の CCD によって撮像される眼画像のイメージを示す図である。
[図 12] (a)は、図 1の LCDによって表示されるカーソルを示す図、（b)は、図 1の CCD によって撮像される眼画像のイメージを示す図である。
[図 13]本発明の視点検出装置の応用例を示す概念図である。
[図 14]本発明の変形例である HMDの概略構成を示す図である。
[図 15] (a)は、本発明の変形例において、 LCDによって表示されるカーソルを示す 図、（b)は、本発明の変形例において、 CCDによって撮像される眼画像のイメージを 示す図である。
[図 16] (a)は、本発明の変形例において、 LCDによって表示されるカーソルを示す 図、（b)は、本発明の変形例において、 CCDによって撮像される眼画像のイメージを 示す図である。
符号の説明
[0010] 1…視点検出装置、 2, 102-HMD, 3…制御装置 (検出手段）、 4…ファインダー
(窓部）、 5, 105a, 105b…光学系（テレセントリックレンズ）、 8· · 'LCD (画像表示手 段）、 8a…表示面、 9…絞り部 (テレセントリック絞り）、 11· "CCD (撮像手段)。
発明を実施するための最良の形態
[0011] 以下、図面を参照しつつ本発明に係る視点検出装置の好適な実施形態について 詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を 付し、重複する説明を省略する。また、各図面は説明用のために作成されたものであ り、説明の対象部位を特に強調するように描かれている。そのため、図面における各 部材の寸法比率は、必ずしも実際のものとは一致しな 、。
[0012] 図 1は、本発明の好適な一実施形態である視点検出装置 1の概略構成を示す一部 断面構成図である。同図に示すように、視点検出装置 1は、視線を検出する対象者 の頭部に装着されるヘッドマウントディスプレイ（以下、 HMDという） 2と、 HMD2に接 続されるパーソナルコンピュータ、サーバ装置等の制御装置 (検出手段) 3とを有して いる。なお、 HMD2は実際には筐体を有しているがその図示を省略している。
[0013] HMD2は、 HMD2が対象者の頭部に装着された状態で対象者の眼球 Eの前方に 位置するファインダー（窓部） 4と、ファインダー 4の内側に設けられた 3枚のレンズか らなる光学系（テレセントリックレンズ） 5と、光学系 5の光軸 L1に沿って光学系 5から 離れる方向にこの順で設けられたプリズム 6及び LCD (画像表示手段） 8と、光学系 5 の光軸 L1に垂直に交わる光軸 L2に沿って光学系 5から離れる方向にこの順で設け られたプリズム 7、絞り部 (テレセントリック絞り） 9、光学系 10、及び CCD (撮像手段） 1 1と、 CCD11に並列に設けられた光ファイバケーブル 12とを筐体内に備えて構成さ れている。以下、 HMD2の各構成要素について詳細に説明する。 [0014] 光学系 5は、その光軸と眼球 E側の主光線とが平行となるように構成されたいわゆる テレセントリックレンズである。この光学系 5の光軸 L1上に設けられたプリズム 6の光 学系 5側の傾斜面 6aは、ダイクロイツクミラーコーティングが施されており、 LCD8の 表示面 8aから投射された可視光成分を有する表示画像を光学系 5側に透過させる。 一方、傾斜面 6aは、光ファイバケーブル 12から出射され、光軸 L1に垂直に交わる光 軸 L2に沿って傾斜面 6aに入射する近赤外光成分を有する照明光を、光学系 5側に 反射させるとともに、照明光が眼球 Eにおいて反射されることによって入射した光（眼 画像)を、プリズム 7側に反射させる。
[0015] このプリズム 6によって折り曲げられた光学系 5の光軸 L2上には、プリズム 7が位置 している。このプリズム 7のプリズム 6側の傾斜面 7aは、ハーフミラーコーティングが施 されており、光軸 L2に沿って入射した眼画像を CCD11側に透過させる。その一方、 傾斜面 7aは、光源（図示せず)から光ファイバケーブル 12を通って照射された後に プリズム 13において反射されて入射した照明光を、光軸 L2に沿ってプリズム 6側に 反射させる。
[0016] このような構成により、眼球 Eと HMD2の内部との間には、光軸 L1に沿った画像表 示光学系の光路 (第 1の光路)と、光軸 L2に沿った撮像光学系の光路 (第 2の光路） とが構成される。
[0017] 図 2は、画像表示光学系の光路を等価的に示す光路図である。なお、図 2において は光学系 5を等価的に 1つのレンズとして示している。同図に示すように、 LCD8は、 その表示面 8aの中心とファインダー 4の中心との間に光軸 L1が通るように設けられる とともに、表示面 8aが光学系 5からその焦点距離 f 分だけ離間するように配置されて いる。このような配置により、 LCD8の表示面 8a上に表示された表示画像は、可視光 として光学系 5に向けて出射され、光学系 5にお 、てほぼ平行な光線に変換されてフ アインダー 4を介して外部の眼球 Eに投射される。眼球に入射した光線は、瞳孔を通 つて網膜に投影されて、対象者に認識される。
[0018] ここで、眼球 Eが実線の位置から点線の位置にずれた場合を想定すると、光学系 5 の作用により、表示面 8a上の一点から出射された可視光のそれぞれの主光線 R ,
01
R は、対象者の眼球に入射する際には光軸 L1との成す角が等しくなるように変換さ れる。その結果、主光線 R , R は、対象者が同じ角度を見ていたとすると、眼球 E
01 02
の網膜の同一点に投影されるので、 HMD2の筐体 14と眼球 Eとの相対的な位置が ずれても、表示面 8a上の表示画像は同じ位置に認識される。例えば、対象者が表示 画像を見ている際に眼球 Eに対して筐体 14が平行移動しても、表示画像は静止して いるように見えることになる。このことは、逆に対象者が表示面 8a上の一点を固視して いるときに筐体 14がずれても視線方向は動かないことを意味する。その一方で、眼 球 Eに対して筐体 14が回転移動した場合は、表示面 8a上の一点から投射される画 像はそれに従って回転する。
[0019] 図 3は、撮像光学系の光路を等価的に示す光路図である。なお、図 3においては光 学系 5を等価的に 1つのレンズとして示している。同図に示すように、ファインダー 4と CCD11との間の光軸 L2上に光学系 5が配置され、絞り部 9が、その中心に光軸 L1 が通るように、光学系 5から焦点距離 f 分だけ離間して配置されている。絞り部 9は、 CCD11によって撮像される像が暗くならな 、ように、適切な内径に設定される。
[0020] この光学系 5と絞り部 9とでテレセントリック光学系を構成する。具体的には、光学系 5の絞り部 9の反対側に位置する面 M上にある点 Q力 発せられた光線は、絞り部 9 によって斜線の部分に絞られ、 CCD11の撮像面 11a上の点 Qに結像し、面 M上の
2 1 点 y力 発せられた光線は、斜線の部分に絞られて撮像面 11a上の点 yに結像する
1 2
。その結果、主光線 R , R を含むそれぞれの光線は、光学系 5に入射する時に光
11 12
軸 L2にほぼ平行である光線に限定されて撮像面 11aに入射する。従って、光学系 5 及びファインダー 4と被写体との距離が変化しても CCD11によって撮像される像の 大きさは変化しない。
[0021] このような撮像光学系において面 Mを眼球の表面として考えると、光ファイバケー ブル 12からファインダー 4を通して外部に照射された照明光に応じて対象者力ゝら反 射された光線による像（眼画像）は、光学系 5及び絞り部 9を経由して CCD11の撮像 面 11aによって撮像される。このとき、 CCD11及び光源と被写体である眼球との距離 が常に無限遠とみなせる。
[0022] 言い換えると、撮像光学系のテレセントリック光学系の一部を構成する光学系 5が、 画像表示光学系の光学系としても共用されている。 [0023] 図 1に戻って、絞り部 9と CCD1との間の光軸 L2上に配置された光学系 10は、可視 光遮断フィルター（赤外透過フィルター） 10aとレンズ 10b, 10cと力 なり、撮像面 11 aへ向けて入射する可視光成分の遮断、及び収差の補正等のために設けられている
[0024] 制御装置 3は、 LCD8に表示させるための画像信号を生成するとともに、 CCD11 によって撮像された画像データを受け取って画像処理を行う CPU、メモリ、入出力装 置力もなるコンピュータシステムである。また、制御装置 3は、対象者の表示面 8a上の 視点を検出するために視点検出処理、及び検出された視点を補正するための視点 較正処理を実行する。以下、制御装置 3によって実行される各処理について説明す る。
[0025] (視点検出処理）
まず、制御装置 3による視点検出処理の原理について、図 4及び図 5を参照しなが ら説明する。
[0026] 一般に、対象者の眼球は近似的に眼球 Eと角膜球 Cとからなる 2重球にモデルィ匕す ることができる（図 4 (a)参照)。 CCD11及び光源 15と眼球 Eとの距離は無限遠とみさ せ、光源 15は CCD11の光軸 L2上に存在すると考えることができるので、光源 15か らの照明光は平行光として眼球 Eに照射される。対象者の視線方向を示す視線べク トル Dが光軸 L2に沿った方向を向いている場合は、照明光に応じて角膜球 Cの表 面において反射 (角膜反射)される反射光の光路と、瞳孔の中心 Cから反射される
P
反射光の光路とがほぼ一致する。従って、撮像面 11aによって撮像される角膜反射 の位置 P と瞳孔中心の位置 P とがほぼ一致することになる（図 4 (b) )。このとき、眼
01 02
球 Eが撮像された眼画像 G のどこに位置していても、眼球 Eが常に撮像面 11aから
01
無限遠にあると見なせるので、角膜反射の位置 P
01と瞳孔中心の位置 P
02との位置関 係が変化することはない。
[0027] これに対して、対象者の視線ベクトル Dが光軸 L2からずれて斜め方向を向いてい
2
る場合は、視線ベクトル Dと光軸 L2とが成す角度に比例して、撮像される眼画像 G
2 02 における角膜反射の位置 P と瞳孔中心の位置 P との相対的な位置関係である座
11 12
標のずれが大きくなる（図 5 (a)及び図 5 (b)参照)。このとき、眼球 Eが撮像された眼 画像 G のどこに位置していても、角膜反射の位置 P と瞳孔中心の位置 P との位
02 11 12 置関係は変化しないし、眼球 Eと撮像面 11aとの距離が有限値だけ変化してもその 位置関係は変化しない。従って、眼球 Eと撮像面 11aとの位置が 3次元的にずれても 撮像された角膜反射の位置と瞳孔中心の位置との位置関係を検出すれば、眼球 Eと CCD11及び光源 15との位置関係が分力もなくても対象者の視線方向を特定するこ とがでさる。
[0028] 以上のような原理を利用するため、制御装置 3は、まず、 CCD11から出力された眼 画像に基づいて、所定の閾値と眼画像の輝度とを比較することにより角膜反射の位 置を検出する。さらに、制御装置 3は、眼画像を含む対象者の顔画像に基づいて、 瞳孔の中心位置を検出する。より詳細には、 CCD11によって撮像される顔画像は、 近赤外光成分を有する照明光の照射によって瞳孔の周辺の顔よりも瞳孔の輝度が 高いという性質を有するので、制御装置 3は、この輝度差を検出することによって瞳 孔の位置を検出することができる。そして、制御装置 3は、検出した瞳孔の輪郭を特 定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置と して求める。
[0029] また、制御装置 3は、光源力も波長 850應付近の照明光と波長 950應付近の照明 光とを、対象者の顔の表面における輝度が同一になるような光強度で交互に点灯さ せて、得られた顔画像の差分を取ることによって、瞳孔の位置を検出するようにしても 良い。こうすれば、瞳孔の部分の反射光のレベルは波長 850nmの場合のほうが波長 9 50應の場合より高くなり、差分を取ることで瞳孔以外の部分が相殺されるので、瞳孔 部分をより精度よく検出することができる。
[0030] 上述のようにして得られた角膜反射の位置及び瞳孔中心の位置に基づ!/、て、制御 装置 3は、以下のようにして対象者の視点を検出する。
[0031] 図 6に示すような表示画像力LCD8によって表示された場合を考える。ここで、対象 者が表示面 8aの中心に位置する原点 O力も位置ベクトル gだけ離れた点 DPを見て いるとする。この場合、 CCD11によって図 7に示すような眼画像が撮像され、制御装 置 3が角膜反射の位置から瞳孔中心の位置に至るベクトル rを相対的位置関係とし て算出する。 LCD8の表示面 8aの中心 Oは、対象者から見て、撮像面 11aの中心を 通る光軸 L2及び光源の光路と一致しているため、中心 Oを見ることは撮像面 11aの 中心を見ることに相当する。また、既に述べたように、対象者が撮像面 11aの中心を 見る時は、角膜反射と瞳孔中心との像位置は一致する。従って、位置ベクトル gの表 示面 8aの横軸との成す角と、ベクトル rの撮像面 11aの横軸との成す角とは φ で一 致する。
[0032] そこで、制御装置 3は、位置ベクトル gの大きさ I g Iとベクトル rの大きさ I r Iと の間に比例関係があることを利用して、予め求めておいた比例係数から位置ベクトル Rを算出して表示面 8a上の視点 DPを検出する。
[0033] (視点較正処理）
し力しながら、実際の人間の眼球 Eでは、図 8に示すように眼球 Eの光軸 L3と視線 方向を示す視軸 Dとは異なる方向を向いている。ここでいう、光軸 L3は、眼球 Eの中 心と瞳孔中心 Cとを通る直線と考えられ、眼球光学系の対称軸である。また、視軸 D
P
は、網膜上で視覚の分解能が最も高い部分である中心窩に像が投影されるときの 光の経路を示す軸であり、一般には視軸の先に視対象が存在すると考えられる。こ のようにとらえると、図 9 (a)に示すような表示画像力LCD8に表示され、視対象が原 点 Oに位置している場合は、図 9 (b)に示すように、撮像面 11aにおける角膜反射の 位置 P と瞳孔中心の位置 P とがずれることになる。このずれ量は、対象者毎に個人
21 22
差が生じるので、位置ベクトル g (図 6参照）の大きさ I g Iとベクトル r (図 7参照）の 大きさ I r Iとの間の関係が一律には決まらなくなる。そこで、制御装置 3は、以下の ようにして視点較正処理を実行する。
[0034] まず、制御装置 3は、表示面 8a上にカーソル (指標画像) Cuを表示させながら、撮 像された眼画像において角膜反射の位置 P と瞳孔中心の位置 P とが一致する方
31 32
向にカーソル Cuを移動させて、両位置 P , P がー致するカーソル (第 1の指標画
1 31 32
像) Cuの座標を探索し記憶する（図 10 (a)及び図 10 (b)参照)。そして、記憶した点 を新たな原点 O 'に置き換える（図 11 (a) )。
[0035] このような原点補正後に、図 12 (a)に示すように、制御装置 3は、表示面 8a上の別 の位置にカーソル (第 2の指標画像) Cuを表示させると同時に、図 12 (b)に示す眼
2
画像における角膜反射の位置力 瞳孔中心の位置に至るベクトル rを算出する。そ の後、制御装置 3は、カーソル Cuの位置に対応して原点補正されたカーソル Cuの
1 2 位置ベクトル gと、ベクトル rとの関係を示す係数 kを、下記式（1)；
2 2
|g I …ひ）
Figure imgf000012_0001
に基づいて求める。
[0036] また、 HMD2の筐体が眼球に対して斜めに装着されているときは、位置ベクトル g
2 の表示面 8aの横軸との成す角 φ ，と、ベクトル rの撮像面 11aの横軸との成す角 φ
2 2 2 とは異なる値になる。そこで、制御装置 3は、下記式（2)；
φ — φ ，≡ Δ φ - -- (2)
2 2
によって角度補正値 Δ φを求めておく。そして、制御装置 3は、実際の視点検出時の 角膜反射の位置力 瞳孔中心の位置に至るベクトル rを求めた後、下記式（3)；
3
φ ， = φ — Δ φ · '· (3)
3 3
により、ベクトル の撮像面 11aの横軸との成す角 φ を Δ φで補正すること〖こよって
3 3
、視点検出対象の位置ベクトル gの表示面 8aの横軸との成す角 φ 'を求める。
3 3
[0037] 最後に、制御装置 3は、原点 O' (x0'， y0')に対する対象者の視点座標 g (x, y)を
3
、下記式 (4) ;
(x, v) = (χθ' +k I r c ，） "- (4)
3 I os ' , yO' +k | r | βίη
3 3 3
によって算出する。
[0038] なお、 LCD8の表示面 8aに対する対象者の視角が小さければ、位置ベクトル gと
2 ベクトル rとの間に線形関係が成り立つ力 視角が大きいときは次のようにして両べク
2
トルの関係を求める。すなわち、制御装置 3は、表示面 8aに複数のカーソル Cuを表 示させて、対象者がそれを見たときの両ベクトル g , rを記憶しておく。そして、次式（
2 2
5) ;
|g l=a|r |b … ）
2 2
を用いてカーブフィッティング（曲線近似）して係数 a, bを求める。また、制御装置 3は 、それぞれのカーソル Cuについて角度補正値 Δ φを式（2)を用いて求め、その平均 値を式（3)に適用して位置ベクトル gの成す角を算出する。
3
[0039] 以上説明した視点検出装置 1の応用例について説明する。図 13は、視点検出装 置 1の応用例について説明する概念図である。同図に示すように、患者等の対象者 Hの眼に HMD2が眼鏡等を介して装着され、 HMD2の外部に接続されたパーソナ ルコンピュータ (検出手段、入力文字特定手段） 3が、入力文字を選択するための複 数の範囲に区切られた選択用画像 16を表示面 8aに表示させる。パーソナルコンピュ ータ 3は、対象者 Hの選択用画像 16上の視点位置を検出し、視点位置を所定時間 以上特定範囲内に認識した場合、特定範囲において対象者 Hの瞬きを検出した場 合、又は、対象者の手足の一部 (例えば、足の親指のみ）に残存機能があるときはそ の部分によるボタン（図示せず)等の操作を検知した場合に、その範囲に対応する入 力文字が対象者 Hによって入力されたものと特定する。また、パーソナルコンピュータ 3は、入力文字を認識すると、その文字を音声出力すると同時に外部に接続された ディスプレイ (情報表示手段） 17に出力する。このようにすれば、患者等の体の不自 由な方を対象にしても、周囲の人間が対象者の意志を簡単に読み取ることができる。
[0040] このような視点検出装置 1によれば、ファインダー 4から外部に表示画像が投射され る際に、表示面 8aから焦点距離 f の位置に設けられた光学系 5を経由することによつ て、表示面 8a上の 1点と対象者の視線の角度とが 1対 1に対応する。それと同時に、 照明光の照射に応じて対象者の眼画像がテレセントリック光学系を経由して CCD 11 に映し出されることにより、対象者の位置がファインダー 4に対して前後に変化しても 撮像される眼画像の大きさは変化しない。換言すれば、対象者は無限遠から光を照 射されながら無限遠力 撮像されていることになるので、 HMD2の筐体と眼球とのず れが生じても、一定の方向に視線が向いている限り瞳孔中心と角膜反射位置との相 対関係は変化しない。これにより、対象者の眼画像に基づいて視点位置を検出する 際に、表示面 8a上の対象者の実際の視点と、検出される視線方向とが 1対 1に対応 するので、筐体に対する対象者の位置が変化しても対象者の視点検出の誤差が低 減される。
[0041] 特に、制御装置 3においては、眼画像における角膜反射の位置と瞳孔中心の位置 との位置関係に応じて視点位置を算出しているので、対象者の位置が窓部に対して 垂直な方向又は平行な方向に変化しても、撮像される眼画像における角膜反射の位 置と瞳孔中心の位置との位置関係は変化しないので、対象者の視点検出の誤差が 確実に低減される。 [0042] また、制御装置 3において視点較正処理が実行されることにより、対象者の眼球の 光軸と視線 (視軸）の方向とが異なる場合であっても、予め表示されたカーソルに対 する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視 点検出の誤差が更に低減される。
[0043] なお、本発明は、前述した実施形態に限定されるものではない。例えば、 HMD2の 各構成要素の光軸 LI, L2上の配置については、様々な変形態様を採ることができ る。例えば、図 14に示す本発明の変形例である HMD102のように、画像表示光学 系の光軸 L1上に設けられたテレセントリックレンズである光学系 105aと、撮像光学系 の光軸 L2上に設けられたテレセントリックレンズである光学系 105bとを別体に設けて もよい。また、同図に示すように、光ファイバケーブル 12から照射される照明光を、画 像表示光学系の光軸 L1に沿って照射させるように構成してもよい。なお、この照明光 は、図 14の光ファイバケーブル 12の先端に相当する位置に固定した LED等の小型 の光源装置から照射させてもよい。このような HMD102においては、 LCD8の前面 に、照明光を光軸 L1に沿った方向に反射させ、 LCD8によって表示される表示画像 を光軸 L1に沿って透過させるダイクロイツクミラー 103が配置され、ファインダー 4の 内側に、照明光により対象者の眼球力も反射された光を光軸 L2に沿った方向に反 射させるハーフミラー 104が配置される。
[0044] また、制御装置 3は、前述した視点較正処理に代えて、以下のように処理してもよい 。具体的には、制御装置 3は、図 15 (a)に示すように、表示面 8a上の原点 Oにカーソ ル Cuを表示し、そのときの角膜反射の位置から瞳孔中心の位置に至るベクトル A r (
3
図 15 (b)参照）を算出する。次に、制御装置 3は、そのカーソル Cuとは別の位置に
3
別のカーソル Cuを表示させ（図 16 (a)参照）、そのときの角膜反射の位置力も瞳孔
4
中心の位置に至るベクトル r (図 16 (b)参照）を求める。そして、制御装置 3は、ベタト
4
ル rを下記式（6) ;
4
r =r ― Δ Γ … (6)
4 4
を用いてベクトル r，に補正する。その後は、上述したように、式（1)及び式（2)にべク
4
トル r 'を適用するとともに、視点検出時の角膜反射の位置力 瞳孔中心の位置に至
4
るベクトルを上記式 (6)を用いて補正した後に、式（3)及び式 (4)を適用することによ つて、表示面 8a上の視点位置を検出することができる。このような視点較正処理によ れば、対象者にカーソルを追跡視させる必要がないため、ユーザに対する負担をか けることなく精度の高い視点位置の検出が可能となる。
[0045] また、制御装置 3は、 HMD2に外部接続された装置に限定されるものではなぐ H MD2の筐体に内蔵される CPUボード等の演算装置であってもよい。
[0046] 本発明において、窓部と撮像手段との間の光路上において該テレセントリックレン ズの焦点位置に配置されたテレセントリック絞りを更に有することが好ましい。
[0047] また、画像表示手段は、その表示面が画像表示手段と窓部との間に配置されたレ ンズの焦点位置に配置されて 、ることも好まし 、。
[0048] また、照明光は、画像表示手段と窓部との間の光路上において対象者力も無限遠 の距離に位置するとみなせる光源カゝら照射されることが好ましい。こうすれば、対象 者の位置がずれた場合であっても照射される照明光が常に平行光として照射される ので、対象者の視線方向が安定して検出される。
[0049] また、検出手段は、眼画像における角膜反射の位置と瞳孔中心の位置とを検出し、 角膜反射の位置と瞳孔中心の位置との位置関係に応じて視点位置を算出することも 好ましい。この場合、対象者の位置が窓部に対して垂直な方向又は平行な方向に変 化しても、撮像される眼画像における角膜反射の位置と瞳孔中心の位置との位置関 係は変化しないので、対象者の視点検出の誤差が確実に低減される。
[0050] また、検出手段は、画像表示手段において指標画像を表示させながら、角膜反射 の位置と瞳孔中心の位置とを検出し、角膜反射の位置と瞳孔中心の位置とがー致す る第 1の指標画像の座標を探索すると共に、画像表示手段において第 1の指標画像 とは異なる位置に第 2の指標画像を表示させながら角膜反射の位置と瞳孔中心の位 置関係を求め、当該位置関係と第 1及び第 2の指標画像の座標とに基づいて視点位 置を較正することも好ましい。こうすれば、対象者の眼球の光軸と視線 (視軸）の方向 とが異なる場合であっても、予め指標画像に対する角膜反射の位置と瞳孔中心の位 置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。
[0051] さらに、検出手段は、画像表示手段における特定位置に第 1の指標画像を表示さ せながら角膜反射の位置と瞳孔中心の位置との第 1の位置関係を求めると共に、画 像表示手段において第 1の指標画像とは異なる位置に第 2の指標画像を表示させな 力 角膜反射の位置と瞳孔中心の位置との第 2の位置関係を求め、当該第 1及び第 2の位置関係と第 1及び第 2の指標画像の座標とに基づいて視点位置を較正するこ とも好ましい。このような構成により、対象者の眼球の光軸と視線 (視軸)の方向とが異 なる場合であっても、予め指標画像に対する角膜反射の位置と瞳孔中心の位置関 係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。
[0052] またさらに、対象者に入力文字を選択させるための選択用画像を画像表示手段に 表示させた後、検出手段によって検出された視点位置に基づいて入力文字を特定 する入力文字特定手段を更に備えることも好ましい。このようにすることで、対象者が 視線の動きのみで文字入力を行う際に対象者の位置が変動しても、文字入力の精 度及びユーザの利便性を高めることができる。
[0053] さらにまた、入力文字特定手段は、特定した入力文字を外部の情報表示手段に出 力することも好ましい。力かる構成を採れば、対象者の入力した入力文字を読み取る ことができるので、周囲の人間が対象者の意志を簡単に把握することができる。 産業上の利用可能性
[0054] 本発明は、表示させた画像に対する対象者の視点を検出する視線検出装置を使 用用途とし、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の 精度を向上させるものである。

Claims

請求の範囲
[1] 画像表示手段によって表示された表示画像を窓部を介して外部に投射すると共に
、前記窓部の外部に位置する対象者に向けて照射された照明光に応じて、前記対 象者の眼画像を撮像手段によって撮像することによって、前記対象者の前記表示画 像上の視点を検出する視点検出装置であって、
前記窓部と前記撮像手段との間の光路上に配置されたテレセントリックレンズと、 前記画像表示手段と前記窓部との間の光路上に配置され、前記テレセントリックレ ンズの一部を構成するレンズと、
前記撮像手段によって撮像された眼画像に基づいて前記対象者の視点位置を検 出する検出手段と、
を備えることを特徴とする視点検出装置。
[2] 前記窓部と前記撮像手段との間の光路上において該テレセントリックレンズの焦点 位置に配置されたテレセントリック絞りを有することを特徴とする請求項 1に記載の視 点検出装置。
[3] 前記画像表示手段は、その表示面が前記画像表示手段と前記窓部との間に配置 された前記レンズの焦点位置に配置されていることを特徴とする請求項 1又は 2記載 の視点検出装置。
[4] 前記照明光は、前記画像表示手段と前記窓部との間の光路上において前記対象 者カゝら無限遠の距離に位置するとみなせる光源カゝら照射される、
ことを特徴とする請求項 1〜3のいずれか一項に記載の視点検出装置。
[5] 前記検出手段は、前記眼画像における角膜反射の位置と瞳孔中心の位置とを検 出し、前記角膜反射の位置と前記瞳孔中心の位置との位置関係に応じて前記視点 位置を算出する、
ことを特徴とする請求項 1〜4のいずれか一項に記載の視点検出装置。
[6] 前記検出手段は、前記画像表示手段において指標画像を表示させながら、前記 角膜反射の位置と前記瞳孔中心の位置とを検出し、前記角膜反射の位置と前記瞳 孔中心の位置とがー致する第 1の指標画像の座標を探索すると共に、前記画像表示 手段において前記第 1の指標画像とは異なる位置に第 2の指標画像を表示させなが ら前記角膜反射の位置と前記瞳孔中心の位置関係を求め、当該位置関係と前記第
1及び第 2の指標画像の座標とに基づいて前記視点位置を較正する、
ことを特徴とする請求項 5に記載の視点検出装置。
[7] 前記検出手段は、前記画像表示手段における特定位置に第 1の指標画像を表示 させながら前記角膜反射の位置と前記瞳孔中心の位置との第 1の位置関係を求める と共に、前記画像表示手段において前記第 1の指標画像とは異なる位置に第 2の指 標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置との第 2の位 置関係を求め、当該第 1及び第 2の位置関係と前記第 1及び第 2の指標画像の座標 とに基づいて前記視点位置を較正する、
ことを特徴とする請求項 5に記載の視点検出装置。
[8] 前記対象者に入力文字を選択させるための選択用画像を前記画像表示手段に表 示させた後、前記検出手段によって検出された視点位置に基づいて前記入力文字 を特定する入力文字特定手段を更に備える、
ことを特徴とする請求項 1〜7のいずれか一項に記載の視点検出装置。
[9] 前記入力文字特定手段は、特定した前記入力文字を外部の情報表示手段に出力 することを特徴とする請求項 8に記載の視点検出装置。
PCT/JP2007/054434 2006-03-31 2007-03-07 視点検出装置 Ceased WO2007113975A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008508469A JP5167545B2 (ja) 2006-03-31 2007-03-07 視点検出装置
US12/295,502 US7766479B2 (en) 2006-03-31 2007-03-07 View point detecting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006100205 2006-03-31
JP2006-100205 2006-03-31

Publications (1)

Publication Number Publication Date
WO2007113975A1 true WO2007113975A1 (ja) 2007-10-11

Family

ID=38563247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/054434 Ceased WO2007113975A1 (ja) 2006-03-31 2007-03-07 視点検出装置

Country Status (3)

Country Link
US (1) US7766479B2 (ja)
JP (1) JP5167545B2 (ja)
WO (1) WO2007113975A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0489058A (ja) * 1990-07-31 1992-03-23 Ya Man Ltd 接触温度を可変できる超音波美容装置
WO2012077713A1 (ja) * 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
JP2013254470A (ja) * 2012-06-05 2013-12-19 Utechzone Co Ltd 双方向アイ・モーション・コミュニケーション・システム
JP2014165616A (ja) * 2013-02-23 2014-09-08 Hyogo Prefecture ロービジョン者用ウェアラブルディスプレイ
JP2015013031A (ja) * 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法
WO2016158281A1 (ja) * 2015-03-31 2016-10-06 国立大学法人東北大学 画像表示装置、処理方法、検出方法、及び、処理装置
JPWO2016063600A1 (ja) * 2014-10-20 2017-09-07 株式会社クリュートメディカルシステムズ 視覚検査装置およびヘッドマウント型表示装置
JP2019512726A (ja) * 2016-03-11 2019-05-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 眼球モデルを生成するための角膜球追跡
US10614577B1 (en) 2016-03-11 2020-04-07 Facebook Technologies, Llc Eye tracking system with single point calibration
JP2020115630A (ja) * 2015-11-06 2020-07-30 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ オプティカル・フローを用いる眼球追跡

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237844B2 (en) * 2010-03-22 2016-01-19 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
US8670183B2 (en) 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013027280A1 (ja) * 2011-08-24 2013-02-28 株式会社東芝 画像処理装置及び方法、並びに、立体画像表示装置
JP5711104B2 (ja) * 2011-12-14 2015-04-30 株式会社東芝 画像表示装置、方法、プログラム、及び画像処理装置
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
WO2014043142A1 (en) * 2012-09-11 2014-03-20 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
WO2014156389A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、提示状態制御方法及びプログラム
TWD158441S (zh) * 2013-05-31 2014-01-11 由田新技股份有限公司 眼控電腦
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US10228561B2 (en) 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103431840B (zh) * 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103475893B (zh) * 2013-09-13 2016-03-23 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术（北京）有限公司 头戴式显示设备
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
KR102469507B1 (ko) 2014-12-17 2022-11-22 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
JP7016263B2 (ja) * 2015-03-10 2022-02-04 アイフリー アシスティング コミュニケ－ション リミテッド アイフィードバックによるコミュニケーションを可能にするシステム及び方法
JP6176284B2 (ja) * 2015-05-28 2017-08-09 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム
CN106063700B (zh) * 2016-05-24 2017-07-25 中国科学院长春光学精密机械与物理研究所 眼底10微米以下微细血管的快速捕捉与成像方法
JP2021506052A (ja) 2017-12-07 2021-02-18 アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． コミュニケーション方法及びシステム
CN108096678B (zh) * 2017-12-13 2020-05-12 河南科技大学第一附属医院 一种用于应答困难患者的辅助沟通系统
JP2023087377A (ja) * 2021-12-13 2023-06-23 キヤノン株式会社 視線検出装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108840A (ja) * 1996-10-09 1998-04-28 Canon Inc 視線検出装置
JPH10307314A (ja) * 1997-05-09 1998-11-17 Canon Inc 観察光学装置
JP2000010723A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線センサのキャリブレーション方法、視線入力装置およびプログラム記憶媒体
JP2000210257A (ja) * 1999-01-22 2000-08-02 Canon Inc 角膜形状測定装置
JP2005125086A (ja) * 2003-09-30 2005-05-19 Nidek Co Ltd 眼屈折力測定装置
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP2005279305A (ja) * 2005-06-20 2005-10-13 Nidek Co Ltd 眼科装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02150202A (ja) * 1988-11-29 1990-06-08 Konan Camera Kenkyusho:Kk 視標使用による眼球運動撮影装置
US5870167A (en) * 1993-07-14 1999-02-09 Knopp; Carl F. Apparatus and method for imaging anterior structures of the eye
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH11195131A (ja) * 1997-12-26 1999-07-21 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP2001134371A (ja) 1999-11-05 2001-05-18 Shimadzu Corp 視線検出装置
JP3709335B2 (ja) 2000-09-28 2005-10-26 株式会社ニデック 眼科装置
DE602004023831D1 (de) * 2003-05-12 2009-12-10 Elbit Systems Ltd Verfahren und system zur audiovisuellen kommunikation
JP4839432B2 (ja) 2003-12-17 2011-12-21 国立大学法人静岡大学 瞳孔位置検出によるポインティング装置及び方法
JP2005286141A (ja) 2004-03-30 2005-10-13 Seiko Epson Corp 半導体装置の製造方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108840A (ja) * 1996-10-09 1998-04-28 Canon Inc 視線検出装置
JPH10307314A (ja) * 1997-05-09 1998-11-17 Canon Inc 観察光学装置
JP2000010723A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線センサのキャリブレーション方法、視線入力装置およびプログラム記憶媒体
JP2000210257A (ja) * 1999-01-22 2000-08-02 Canon Inc 角膜形状測定装置
JP2005125086A (ja) * 2003-09-30 2005-05-19 Nidek Co Ltd 眼屈折力測定装置
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP2005279305A (ja) * 2005-06-20 2005-10-13 Nidek Co Ltd 眼科装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0489058A (ja) * 1990-07-31 1992-03-23 Ya Man Ltd 接触温度を可変できる超音波美容装置
JP5858433B2 (ja) * 2010-12-08 2016-02-10 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
WO2012077713A1 (ja) * 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
US9329683B2 (en) 2010-12-08 2016-05-03 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
JP2013254470A (ja) * 2012-06-05 2013-12-19 Utechzone Co Ltd 双方向アイ・モーション・コミュニケーション・システム
JP2014165616A (ja) * 2013-02-23 2014-09-08 Hyogo Prefecture ロービジョン者用ウェアラブルディスプレイ
JP2015013031A (ja) * 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法
JPWO2016063600A1 (ja) * 2014-10-20 2017-09-07 株式会社クリュートメディカルシステムズ 視覚検査装置およびヘッドマウント型表示装置
WO2016158281A1 (ja) * 2015-03-31 2016-10-06 国立大学法人東北大学 画像表示装置、処理方法、検出方法、及び、処理装置
US10321817B2 (en) 2015-03-31 2019-06-18 Tohoku University Image display apparatus, method of processing, and processing apparatus
JP2020115630A (ja) * 2015-11-06 2020-07-30 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ オプティカル・フローを用いる眼球追跡
JP6990220B2 (ja) 2015-11-06 2022-01-12 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー オプティカル・フローを用いる眼球追跡
JP2019512726A (ja) * 2016-03-11 2019-05-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 眼球モデルを生成するための角膜球追跡
US10614577B1 (en) 2016-03-11 2020-04-07 Facebook Technologies, Llc Eye tracking system with single point calibration

Also Published As

Publication number Publication date
JPWO2007113975A1 (ja) 2009-08-13
US7766479B2 (en) 2010-08-03
US20090219484A1 (en) 2009-09-03
JP5167545B2 (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
JP5167545B2 (ja) 視点検出装置
JP4517049B2 (ja) 視線検出方法および視線検出装置
JP6902075B2 (ja) 構造化光を用いた視線追跡
CN108780223B (zh) 用于生成眼睛模型的角膜球跟踪
JP5858433B2 (ja) 注視点検出方法及び注視点検出装置
JP4649319B2 (ja) 視線検出装置、視線検出方法、および視線検出プログラム
US10154254B2 (en) Time-of-flight depth sensing for eye tracking
US8371693B2 (en) Autism diagnosis support apparatus
US9870050B2 (en) Interactive projection display
WO2005063114A1 (ja) 視線検出方法および装置ならびに三次元視点計測装置
JP6631951B2 (ja) 視線検出装置及び視線検出方法
WO2015014058A1 (zh) 眼睛光学参数检测系统及眼睛光学参数检测方法
CN112336301B (zh) 斜视测量设备
US11624907B2 (en) Method and device for eye metric acquisition
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
WO2012020760A1 (ja) 注視点検出方法及び注視点検出装置
WO2015051605A1 (zh) 图像采集定位方法及图像采集定位装置
CN114973392B (zh) 一种人眼运动追踪系统及方法
WO2016202311A2 (zh) 手持式自主视力测量装置及视力测量方法
JP7221587B2 (ja) 眼科装置
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
CN108697321B (zh) 用于在限定操作范围内进行视线跟踪的装置
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP5590487B2 (ja) 視線計測方法及び視線計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07737948

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2008508469

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12295502

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07737948

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)