[go: up one dir, main page]

WO2018164104A1 - 眼部画像処理装置 - Google Patents

眼部画像処理装置 Download PDF

Info

Publication number
WO2018164104A1
WO2018164104A1 PCT/JP2018/008522 JP2018008522W WO2018164104A1 WO 2018164104 A1 WO2018164104 A1 WO 2018164104A1 JP 2018008522 W JP2018008522 W JP 2018008522W WO 2018164104 A1 WO2018164104 A1 WO 2018164104A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light source
pupil
period
corneal reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/008522
Other languages
English (en)
French (fr)
Inventor
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2019504593A priority Critical patent/JP6957048B2/ja
Publication of WO2018164104A1 publication Critical patent/WO2018164104A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to an eye image processing apparatus that detects a pupil from a human image.
  • a difference image is generated using a bright pupil image and a dark pupil image acquired by a video camera, and a pupil image is detected based on the difference image (Patent Document 1 below).
  • position correction between images based on the cornea reflection image in each image is performed. Such position correction improves the detection accuracy of the pupil image.
  • Non-illuminated images are acquired at the timing when the light source is turned off in order to improve the detection accuracy of pupil images in difference images even under the influence of ambient light such as sunlight.
  • the difference image based on the bright pupil image and the unilluminated image and the difference image based on the dark pupil image and the unilluminated image are created, and the difference image based on these two difference images is used.
  • An apparatus for detecting the pupil is also known (Patent Document 2 below).
  • One aspect of the present invention has been made in view of the above problems, and provides an eye image processing apparatus capable of improving the detection accuracy of a pupil image in an image even when ambient light is present.
  • the purpose is to provide.
  • an eye image processing apparatus has a camera that acquires an eye image by capturing an eye of a subject, and a distance from the center of the opening of the camera is the first.
  • a first light source arranged at a distance position, a second light source arranged at a second distance position where the distance from the center of the opening is larger than the first distance, the first light source and the second light source.
  • a lighting control unit that controls lighting of the light source, a bright pupil image that is an eye image acquired by the camera during the first period when the first light source is turned on, and a second light source that is turned on.
  • a calculation unit that calculates a position of the hole image the calculation unit detects the position of the cornea reflection image of the subject in the bright pupil image, the dark pupil image, and the background image, and based on the bright pupil image and the background image
  • a difference image based on the position of the corneal reflection image a difference bright pupil image is obtained, and a difference image based on the position of the corneal reflection image is calculated based on the dark pupil image and the background image.
  • the position of the pupil image of the subject is calculated by performing subtraction or division on the differential bright pupil image and the differential dark pupil image.
  • the pupil is relatively obtained by acquiring an image with the camera in accordance with the lighting timing of the first light source arranged at a position relatively close to the center of the opening of the camera. A bright pupil image was obtained, and the image was obtained with the camera in accordance with the lighting timing of the second light source disposed at a position relatively far from the center of the opening, so that the pupil appeared relatively dark. A dark pupil image is obtained.
  • a background image in which a corneal reflection image including the influence of ambient light is captured is obtained.
  • the difference bright pupil image obtained by subtracting the bright pupil image from the background image with reference to the corneal reflection image, and the difference from the dark pupil image and the background image using the cornea reflection image as a reference are obtained.
  • the position of the pupil image is calculated using the obtained difference dark pupil image.
  • the detection accuracy of a pupil image in an image can be improved even when ambient light is present.
  • FIG. 1 It is a figure which shows schematic structure of the pupil detection apparatus concerning 1st Embodiment. It is the top view which looked at the illuminating device of FIG. 1 from the outer side of the housing
  • a pupil detection device 1 includes a camera 2, an illumination device (light source) 3, and a control device 4.
  • the camera 2 includes a housing 5, an image sensor 6 such as a CCD or CMOS housed in the housing 5, and an objective lens 7 housed in the housing 5.
  • This camera 2 may be a high-speed camera in which the acquisition time interval of one frame of an image is very short, a so-called medium-speed camera, or a camera having a frame rate of about 60 Hz.
  • the housing 5 has a circular opening 8 formed on a surface facing the eyeball A of the observation subject.
  • the objective lens 7 is disposed between the opening 8 and the image sensor 6.
  • the optical axis L 0 of the objective lens 7 coincides with the central axis of the opening 8.
  • the imaging element 6 is fixed so that its light receiving surface intersects perpendicularly to the optical axis L0 of the objective lens 7.
  • the image sensor 6 generates eye image data by capturing an image of the eyeball A of the subject and outputs the eye image data to the control device 4.
  • the control device 4 controls the light emission intensity, lighting timing, and lighting period of the lighting device 3 and the imaging timing and imaging period of the camera 2. Further, the control device 4 executes difference processing, pupil detection processing, and corneal reflection detection processing based on the eye image data output from the image sensor 6.
  • the diameter of the opening 8 is smaller than the diameter of the objective lens 7 and is approximately the same as the effective diameter of the objective lens 7.
  • the illumination device 3 emits illumination light toward the subject's face.
  • the lighting device 3 includes a casing 9 and light sources 3A, 3B, and 3C embedded in the casing 9.
  • the casing 9 is attached to the housing 5 so as to cover the outside of the opening 8 along the edge of the opening 8.
  • the light sources 3A, 3B, 3C are all provided on the casing 9 so as to emit illumination light along the optical axis L0 of the objective lens 7.
  • the light source (first light source) 3A is a light source for irradiating illumination light for obtaining a bright pupil image toward the face of the subject.
  • a bright pupil image refers to an image in which the pupil of the subject appears relatively brighter than a dark pupil image described later.
  • the light source 3A includes, for example, a plurality of semiconductor light emitting elements (LEDs) whose output light has a center wavelength in the near-infrared region, and is disposed at a first distance D1 that is relatively close to the center of the opening 8. ing.
  • the light emitting elements constituting the light source 3 ⁇ / b> A are arranged in a ring shape at equal intervals along the edge of the opening 8 on the outside of the opening 8 on the casing 9.
  • the light source 3 ⁇ / b> A is preferably provided at a position as close as possible to the edge of the opening 8. As a result, as will be described later, in the image of the subject illuminated by the light source 3A, the pupil is projected brighter, and detection is easy even with a small pupil. In the image of the subject illuminated by the light source 3A, a cornea reflection image of the subject is also generated.
  • the light source (second light source, dark pupil light source) 3B is a light source for irradiating illumination light for obtaining a dark pupil image toward the face of the subject.
  • the dark pupil image refers to an image in which the pupil of the subject appears relatively dark compared to the above-described bright pupil image.
  • the light source 3B includes, for example, a plurality of semiconductor light emitting elements (LEDs) whose output light has a center wavelength in the near infrared region, and is disposed at a position of the second distance D2 that is relatively far from the center of the opening 8. ing. This second distance D2 is greater than the first distance D1.
  • the light emitting elements constituting the light source 3B are spaced apart from the light source 3A to the outside of the opening 8 on the casing 9 and arranged in a ring shape at equal intervals.
  • the light source (second light source, corneal reflection generation light source) 3C directs illumination light for conspicuously generating a corneal reflection image in the bright pupil image, the dark pupil image, and the background image toward the subject's face. It is a light source for irradiating.
  • the background image refers to an image mainly showing an image of the face of the subject illuminated by ambient light such as sunlight.
  • the light source 3C includes, for example, a plurality of semiconductor light emitting elements (LEDs) whose output light has a center wavelength in the near infrared region, and the distance from the center of the opening 8 is arranged at a third distance D3.
  • the third distance D3 is larger than the first distance D1 and smaller than the second distance D2.
  • the light emitting elements constituting the light source 3C are arranged in a ring shape on the casing 9 between the light source 3A and the light source 3B, spaced apart from the light sources 3A and 3B at equal intervals.
  • the pupil When the pupil is imaged by the camera 2 at the timing when the illumination light is emitted from the light source 3A to the eyeball A of the subject, a bright pupil image is acquired, and the illumination light is emitted from the light source 3B to the eyeball A of the subject.
  • the dark pupil image When the pupil is imaged by the camera 2 at the timing, the dark pupil image is acquired. This is due to the following properties. That is, when the illumination light to the eyeball A is incident from a position relatively distant from the optical axis L0 of the camera 2, the illumination light is incident from the pupil of the eyeball A, reflected inside the eyeball, and passed through the pupil again. Is difficult to reach the camera 2 in the direction of the illumination light, so that the pupil appears relatively dark.
  • the center wavelength of the output light of the light source 3A may be set to the same wavelength as the center wavelength of the output light of the light sources 3B and 3C, or may be set to a different wavelength.
  • the light source 3A which is a light source for acquiring a bright pupil image, uses a light source having an output light wavelength shorter than about 900 nm, such as 850 nm, for example, because the brightness of the light reflected from the retina is strong. desirable.
  • the light source 3B which is a light source for dark pupil acquisition, uses a light source with a wavelength of output light longer than about 900 nm, such as 940 nm, for example, in that the brightness of the light reflected back from the retina is weak. desirable.
  • the light source 3C only needs to have an intermediate effect between the light source 3A and the light source 3B for the illumination effect on the pupil of the subject.
  • the wavelength of 940 nm output light having the same wavelength as the light source 3B The light source is used.
  • the light source 3A having an output wavelength with a relatively short wavelength such as 850 nm is used, the light emission of the light source 3A is recognized by the subject when the amount of light is large, which affects driving when the subject is a car driver or the like.
  • a light source having a wavelength longer than about 900 nm is used as the light source 3A, which is the same as the light sources 3B and 3C in which light emission is difficult to be recognized by the subject.
  • the luminance difference of the pupil portion between the bright pupil image and the dark pupil image is less likely to occur due to the wavelength of the light source.
  • the light emission intensity (light emission power) of the light sources 3A and 3B is determined by the illuminance on the face of the subject who is a subject to be photographed when the light source 3A is emitted and the illuminance on the face when the light source 3B is emitted It is set to be substantially the same.
  • the light sources 3A, 3B, and 3C can control the lighting timing and the light emission amount of the illumination light independently by a control signal from the control device 4 described later.
  • the light sources 3A, 3B, and 3C are configured such that the lighting period can be controlled, and as a result, the light emission amount determined by the product of the light emission intensity and the lighting period is controlled.
  • control device 4 included in the pupil detection device 1 will be described with reference to FIGS. 3 and 4.
  • the control device 4 may be a computer that executes control of the image sensor 6 and the light sources 3A, 3B, and 3C, and detection of the pupil and corneal reflection of the subject.
  • the control device 4 may be constructed by a stationary or portable personal computer (PC), may be constructed by a workstation, or may be constructed by another type of computer.
  • the control device 4 may be constructed by combining a plurality of arbitrary types of computers. When a plurality of computers are used, these computers are connected via a communication network such as the Internet or an intranet.
  • the control device 4 includes a CPU (processor) 101, a main storage unit 102, an auxiliary storage unit 103, a communication control unit 104, an input device 105, and an output device 106.
  • the CPU 101 executes an operating system, application programs, and the like.
  • the main storage unit 102 includes a ROM and a RAM.
  • the auxiliary storage unit 103 is configured by a hard disk, a flash memory, or the like.
  • the communication control unit 104 includes a network card or a wireless communication module.
  • the input device 105 includes a keyboard and a mouse.
  • the output device 106 includes a display, a printer, and the like.
  • Each functional element of the control device 4 to be described later reads predetermined software on the CPU 101 or the main storage unit 102, operates the communication control unit 104, the input device 105, the output device 106, and the like under the control of the CPU 101, This is realized by reading and writing data in the main storage unit 102 or the auxiliary storage unit 103. Data and a database necessary for processing are stored in the main storage unit 102 or the auxiliary storage unit 103.
  • the control device 4 includes an image sensor driving unit 11, a lighting control unit (lighting control unit) 12, and a detection unit (calculation unit) 13 as functional components.
  • the image sensor driving unit 11 is a functional element that controls the shooting timing of the image sensor 6. Specifically, the imaging device 6 is controlled to repeatedly capture images at a predetermined frame rate and a predetermined exposure time, and sequentially acquire a bright pupil image, a background image, and a dark pupil image.
  • the lighting control unit 12 is a functional element that controls the lighting timing of the light sources 3 ⁇ / b> A, 3 ⁇ / b> B, and 3 ⁇ / b> C and the light emission amount within the exposure period of the imaging device 6 in synchronization with the imaging timing of the imaging device 6.
  • the lighting control unit 12 controls the light emission amounts of the light sources 3A, 3B, 3C by setting respective lighting periods. Specifically, the lighting control unit 12 turns on the light source 3A and the light source 3C continuously (or simultaneously) when taking a bright pupil image, and turns on only the light source 3C when taking a background image, thereby taking a dark pupil image. Sometimes, the light source 3B and the light source 3C are controlled to be continuously (or simultaneously) lit.
  • the detection unit 13 is a functional element that detects the pupil and corneal reflection in the eye image data using the eye image data output from the image sensor 6. The output destination of the information regarding the detected pupil and corneal reflection is not limited at all.
  • the control device 4 may display the result on a monitor as an image, graphic, or text, or may store the result in a storage device such as a memory or a database, or send it to another computer system via a communication network. May be.
  • the detection unit 13 includes an image acquisition unit 14, a difference image generation unit 16, a lighting time setting unit 17, a pupil detection unit 18, and a corneal reflection detection unit 19 as functional components.
  • the image acquisition unit 14 acquires, as eye image data, a bright pupil image, a background image, and a dark pupil image that are sequentially photographed from the image sensor 6 at a predetermined frame rate.
  • the difference image generation unit 16 generates a pupil detection image using the bright pupil image, the background image, and the dark pupil image. Specifically, the difference image generation unit 16 performs inter-pixel correspondence between the difference bright pupil image generated from the bright pupil image and the background image, and the difference dark pupil image generated from the dark pupil image and the background image.
  • a pupil detection image is generated by calculating the luminance subtraction or division.
  • the pupil detection unit 18 is a functional element that calculates the position of the pupil image using the pupil detection image.
  • the corneal reflection detection unit 19 is a functional element that calculates the position of the corneal reflection image using the bright pupil image, the background image, and the dark pupil image.
  • An example of processing performed by the pupil detection unit 18 and the corneal reflection detection unit 19 is as follows. First, the pupil detection unit 18 binarizes the pupil detection image, and performs isolated point removal, noise removal by morphological processing, and labeling. Then, the pupil detection unit 18 detects a pixel group having a shape most likely to be a pupil as a pupil.
  • the corneal reflection detection unit 19 binarizes the vicinity of the pupil of the bright pupil image with a threshold value higher than the pupil luminance, and obtains the center of the corneal reflection image as the center of gravity in consideration of the luminance.
  • the pupil luminance is given not by the area of the ellipse obtained as a result of the ellipse fitting, but by the luminance average of the pixels constituting the pupil obtained by binarization.
  • the corneal reflection detection unit 19 calculates the position of the corneal reflection image with respect to the background image and the dark pupil image.
  • the threshold used when obtaining the corneal reflection image from the background image is based on the threshold used when obtaining the corneal reflection image from the bright pupil image in the past and the threshold used when obtaining the corneal reflection image from the dark pupil image in the past. To be determined.
  • the lighting time setting unit 17 sets the lighting time of the lighting device 3 so that the degree of brightening the face of the subject within the exposure time of the camera 2 is equal between the acquired bright pupil image and dark pupil image.
  • the lighting time of the illumination device 3 is set so that the luminance of the corneal reflection image in the bright pupil image, the background image, and the dark pupil image is stabilized at the target value.
  • the degree to which the subject's face in the image is brightened (hereinafter simply referred to as “illumination intensity”) is not determined only by the lighting time of the illumination device 3, but the output of the light sources 3A, 3B, 3C.
  • the lighting time setting unit 17 sets the lighting time of each light source 3A, 3B, 3C in consideration of the wavelength of the output light of the light sources 3A, 3B, 3C and the emission intensity of the light sources 3A, 3B, 3C. .
  • the lighting time setting unit 17 controls the operation of the light sources 3A, 3B, and 3C via the lighting control unit 12 so that the lighting device 3 emits light for the set lighting time.
  • FIG. 5 is a timing chart showing the lighting timing of each light source controlled by the lighting time setting unit 17 and the lighting control unit 12, where (a) is the imaging timing of the camera 2 and (b) is the lighting of the light source 3A.
  • a shooting period (exposure period, first period) T 1 in which a bright pupil image is captured by the image sensor driving unit 11 and a shooting period (third period) T in which a background image is captured. 3.
  • An imaging period (second period) T 2 in which the dark pupil image is imaged and an imaging period T 3 in which the background image is imaged are set in this order, and then the imaging periods T 1 , T 3 , T 2 are set. , T 3 are periodically repeated.
  • the lighting control unit 12 the light source 3A in synchronization with the imaging period T 1, so 3C is lit, the lighting timing of the light emitting period T B of the light source 3A, and the lighting period T of the light source 3C overlapping in time it The lighting timing of CR is controlled.
  • the lighting control unit 12 so that only the light source 3C in synchronism with the shooting period T 3 is turned on, lighting timing of the light emitting period T CR of the light source 3C is controlled, the light source 3B in synchronism with shooting period T 2 as 3C is lit, the lighting timing of lighting period T D of the light source 3B, and the lighting timing of lighting period T CR source 3C overlapping in time it is controlled.
  • the light source 3B is turned off, for emphasis corneal reflected image in the bright pupil image light source 3C is lit for lighting period T CR to.
  • the light source 3C is lit for lighting period T CR to generate an image of corneal reflection to the image of the illuminated face by ambient light.
  • the light source 3A is turned off, the light source 3C for emphasis corneal reflected image in a dark pupil image Lights only during the lighting period TCR .
  • the lighting period T B and a lighting period T D is set so that the illumination intensity is equal .
  • the lighting period TCR at the time of acquisition of each image is set to be equal so that the brightness of the corneal reflection image can be balanced among the bright pupil image, the background image, and the dark pupil image.
  • the luminance component due to the ambient light or the light source 3C is canceled by the difference, and only the luminance component due to the light source 3A remains.
  • the luminance component due to the ambient light or the light source 3C is canceled by the difference, and only the luminance component due to the light source 3B remains.
  • the lighting time setting unit 17 sets the brightness value of the corneal reflection image in the bright pupil image, the background image, and the dark pupil image to be constant over time in the bright timing acquired in the previous timing frame.
  • pupil image to change the lighting period T CR frame of the next timing on the basis of the luminance values of the cornea reflection image of the background image, and the dark pupil image.
  • the “frame” refers to a continuous frame (for example, three consecutive frames) including one bright pupil image frame, one dark pupil image frame, and one background image. Accordingly, the lighting time setting unit 17 changes the lighting period T CR frame next timing.
  • the C i and brightness value of the peak of the cornea reflection image of the previous frame (i is a natural number)
  • the difference image generation unit 16 calculates a difference bright pupil image and a difference dark pupil image with respect to three consecutive bright pupil images, background images, and dark pupil images. That is, the difference image generation unit 16 aligns the bright pupil image and the background image with each other based on the position of the corneal reflection image, and then calculates a difference in luminance value between the images, thereby calculating the difference bright pupil image. To get. On the other hand, the difference image generation unit 16 aligns the dark pupil image and the background image with each other based on the position of the corneal reflection image, and then calculates the difference in luminance value between the images to calculate the difference darkness image. A pupil image is acquired.
  • the difference image generation unit 16 aligns the difference bright pupil image and the difference dark pupil image with each other based on the position of the corneal reflection image, the difference image generation unit 16 subtracts or divides the luminance value between these images.
  • the pupil detection image is acquired by the above.
  • the position (coordinates) of one image is shifted so that the positions of the corneal reflection images of the images coincide with each other, and then between one image and the other image. Subtract or divide by. By doing so, it is possible to obtain an image in which only the pupil portion of the subject appears by removing the cornea reflection image from the pupil detection image.
  • FIG. 6 is a graph showing a one-dimensional distribution of luminance in the vicinity of the pupil of the eye image data acquired by the image acquisition unit 14 and the difference image generation unit 16 of the control device 4, and (a) is a bright pupil image.
  • One-dimensional distribution part (b) shows the one-dimensional distribution of the dark pupil image
  • part (c) shows the one-dimensional distribution of the background image
  • part (d) shows the one-dimensional distribution of the pupil detection image.
  • These graphs show a one-dimensional distribution of eye image data on a straight line including corneal reflection. In this way, the light emission powers of the light sources 3A and 3B are adjusted so that the brightness values I D1 and I D2 of the bright pupil image and the dark pupil image are equal to those other than the pupil portion.
  • the bright pupil image has a luminance value I B is a relatively large value of the pupil portion
  • the luminance value I B of the pupil portion has a relatively small value I E in dark pupil image.
  • the luminance value saturation value It is set so as not to exceed I MAX . Therefore, in the pupil detection image, the luminance of the non-pupil portion is approximately zero appear only the luminance value I C at the pupil portion, noise and cornea reflection image due to ambient light is removed. As a result, the accuracy of the position of the pupil image calculated by the pupil detection unit 18 is improved.
  • an image is acquired by the camera 2 in accordance with the lighting timing of the light source 3A disposed at a position relatively close to the center of the opening 8 of the camera 2, so that the pupil is relatively A bright pupil image appears brightly, and the image is acquired by the camera 2 in accordance with the lighting timing of the light source 3B arranged at a position relatively far from the center of the opening 8 so that the pupil becomes relatively dark.
  • a captured dark pupil image is obtained.
  • the light sources 3A and 3B are turned off, and the camera 2 acquires an image in accordance with the timing when the light source 3C arranged at an intermediate position from the center of the opening 8 is turned on.
  • a background image including the corneal reflection image is obtained.
  • the difference bright pupil image obtained by subtracting the bright pupil image from the background image with reference to the corneal reflection image, and the difference from the dark pupil image and the background image using the cornea reflection image as a reference are obtained.
  • the position of the pupil image is calculated using the obtained difference dark pupil image.
  • the corneal reflection image can be stably generated in the bright pupil image, the dark pupil image, and the background image, and the position caused by the time difference in the acquisition timing between the bright pupil image and the dark pupil image and the background image The deviation can be corrected reliably. As a result, the detection accuracy of the position of the pupil image can be further improved.
  • an unilluminated image is acquired by turning off the illumination device, and the bright pupil image Create a differential bright pupil image based on the unilluminated image, create a differential dark pupil image based on the dark pupil image and the unilluminated image, and then use the differential bright pupil image and the differential dark pupil image to create the pupil. Detected.
  • this method when a medium-speed camera is used, if the subject's head moves, the head position shifts between the bright pupil image, the dark pupil image, and the unilluminated image. In some cases, the position of the pupil image cannot be obtained.
  • an unilluminated image is based on the position of the corneal reflection image detected in the differential bright pupil image and the differential dark pupil image. If the illuminating device is turned on, a position where a cornea reflection image is predicted to be generated is calculated using a constant velocity model, and the position between the bright pupil image and the dark pupil image and the unilluminated image is calculated based on the position. After the correction, the difference bright pupil image and the difference dark pupil image are acquired.
  • the constant velocity model cannot be applied, that is, when the head acceleration is large, such as when the head starts to move or just before the head stops moving, the position correction may not work well. is there.
  • the corneal reflection does not move only by the movement of the head but also moves by the rotation of the eyeball.
  • the constant velocity model is not established.
  • the time between these two sets may be long, and it may be difficult to predict the position in the pupil or corneal reflection image. As a result, the position of the pupil image may not be obtained accurately.
  • the present embodiment it is possible to correct the positional deviation due to the time difference in the acquisition timing between the bright pupil image and the dark pupil image and the background image.
  • the detection accuracy can be improved reliably.
  • the light emission amounts of the light sources 3A and 3B are controlled so that the detection unit 13 has the same illumination intensity between the bright pupil image and the dark pupil image, but this is disclosed in Japanese Patent Application Laid-Open No. 2016-093253.
  • the light emission amount of the light sources 3A and 3B may be controlled to be adjusted according to the brightness of the pupil.
  • the detection unit 13 may control the lighting period of each of the light sources 3A, 3B, and 3C as described below.
  • the detection unit 13 may control the lighting period as shown in FIG. FIG.
  • FIG. 7 is a timing chart showing another example of the lighting timing of each light source controlled by the lighting time setting unit 17 and the lighting control unit 12, in which (a) part is the imaging timing of the camera 2, and (b) part. Indicates the lighting timing of the light source 3A, (c) indicates the lighting timing of the light source 3B, and (d) indicates the lighting timing of the light source 3C.
  • the lighting intensity setting unit 17 uses the same illumination intensity so that the brightness of the face other than the pupil portion is equal between the bright pupil image and the dark pupil image by the lighting time setting unit 17 as in the control method shown in FIG. a lighting period T B and a lighting period T D is set to be.
  • the lighting period of the light source 3C is set so that T CR -T B.
  • the lighting time setting unit 17, the dark in a shooting period T 2 of the time pupil image acquisition, the lighting period of the light source 3C, the shooting period T from the illumination intensity of the light source 3C illumination intensity of the light source 3C is the shooting period T 3 2 is set to a value obtained by subtracting the illumination intensity of the light source 3B.
  • the lighting period of the light source 3C is set so that T CR -T D.
  • the lighting time setting unit 17, and the light emission amount of the light source 3A, 3C in the shooting period T 1, the light source 3B in shooting period T 2, the light emission amount of 3C, and the light emission amount of the light source 3C in shooting period T 3 Is adjusted so that the light emission amount of the light source 3C is uniform.
  • the brightness of the corneal reflection image in the bright pupil image, the background image, and the dark pupil image can be made equal.
  • the luminance of the corneal reflection image in the background image can be made sufficiently high to be detectable, and saturation of the luminance of the corneal reflection image in the bright pupil image and the dark pupil image can be prevented.
  • the configuration of the illumination device 3 shown in FIG. 2 is an example, and other various modifications are possible.
  • the light sources 3B and 3C may be arranged away from the opening 8. That is, in the configuration shown in FIG. 8, the light sources 3B and 3C form two concentric ring shapes, and the two link-shaped light sources 3B and 3C are symmetrical with respect to the opening 8 as a reference. Is arranged.
  • the distance from the center of the opening 8 of the light sources 3B and 3C is made larger than that of the light source 3A, and the distance from the center of the opening 8 of some light sources 3C is made smaller than that of the light source 3B.
  • the configuration shown in FIG. 9 is an example in which the light sources 3A, 3B, and 3C including the ultra-bright LED are arranged on a straight line.
  • the two light source groups of the light sources 3B and 3C arranged close to each other are arranged at positions that are symmetrical with respect to the opening 8 as a reference.
  • the distance from the center of the opening 8 of the light sources 3B and 3C is made larger than that of the light source 3A, and the distance from the center of the opening 8 of the light source 3C is made smaller than that of the light source 3B.
  • the positions of the light sources 3A and 3C that emit light when acquiring the bright pupil image are different from the positions of the light sources 3B and 3C that emit light when acquiring the dark pupil image, respectively.
  • the spectacle reflection image generated in the above image becomes difficult to cancel by subtraction or division. Therefore, it is desirable to keep the light source 3B as far from the opening 8 as possible.
  • the distance of the light source 3B be large in order to cause a difference in the brightness of the pupil image. Therefore, the effect of canceling the spectacle reflection image and the intensity of the pupil image are in a trade-off relationship.
  • the detection unit 13 may control the lighting period of the illumination device 3 as shown in FIG.
  • FIG. 10 is a timing chart showing another example of the lighting timing of each light source controlled by the lighting time setting unit 17 and the lighting control unit 12, wherein (a) part is the imaging timing of the camera 2, and (b) part. Indicates the lighting timing of the light source 3A, (c) indicates the lighting timing of the light source 3B, and (d) indicates the lighting timing of the light source 3C. That is, lighting time setting unit 17, the shooting period T 2 of the dark pupil image, it may be controlled so as to light for a moment at a much shorter period than the light source 3A lighting period T B.
  • a spectacle reflection image with a saturated luminance value can be generated at a position that matches the bright pupil image. By subtracting or dividing the bright pupil image and the dark pupil image, Reflection can be canceled out.
  • the illumination device 3 is shown in FIG. A configuration as shown in FIG.
  • the difference between the configuration example shown in FIG. 11 and the configuration example shown in FIG. 8 is that a light source 3D for spectacle reflection cancellation is added.
  • the light source 3D is disposed at a position where the distance from the center of the opening 8 is larger than the light source 3A and smaller than the light source 3C.
  • the difference between the configuration example shown in FIG. 12 and the configuration example shown in FIG. 9 is that a light source 3D for spectacle reflection cancellation is added.
  • the light source 3D is disposed at a position where the distance from the center of the opening 8 is larger than the light source 3A and smaller than the light source 3C.
  • the light source 3D similar to the lighting timing of the light source 3A shown in FIG. 10, the lighting time setting unit 17, so as to light for a moment at a much shorter period than the lighting period T B in the imaging period T 2 of the dark pupil image Be controlled.
  • the reason why the spectacle reflection is less likely to be a problem is that the light source 3A and the other light sources 3B and 3C are close to each other in terms of angle with respect to the opening 8. This is because the image is easily canceled.
  • the lighting device 3 shown in FIG. 8, FIG. 9, FIG. 11 or FIG. 12 should have its lateral width as small as possible when it is required to reduce the size of the device or to narrow the range of the light source. Is preferred.
  • the corneal reflection image produced by the light source that emits light when acquiring the dark pupil image or the background image is not two circular ones, but a horizontally long ellipse shape or a circular shape that overlaps horizontally.
  • Cheap These two circular images are synthesized images of the left and right light source groups. When the luminance of each image becomes unbalanced (for example, due to the effect of tears), the center of luminance of the entire image As a result, the accuracy of position detection of the cornea reflection image is affected.
  • the width of the illumination device 3 is set so that the corneal reflection image has an elliptical shape.
  • the corneal reflection detection unit 19 obtains the center of each corneal reflection image, These midpoints are calculated as the position of the corneal reflection image necessary for position correction.
  • the corneal reflection detection unit 19 performs the central corneal reflection image. Is calculated as the position of the corneal reflection image necessary for position correction.
  • the corneal reflection detection unit 19 calculates the position of the center of gravity of the corneal reflection image as the position of the corneal reflection image necessary for position correction. Also in this case, it is preferable that the lateral width of the illumination device 3 is set so that the size of the overlapped corneal reflection image becomes small. However, the detection accuracy of the position of the corneal reflection image does not have to be so high when the pupil image is small, and is sufficient to correct the position between the images, that is, the detection accuracy of the position where the pupil can be detected robustly. If there is enough.
  • FIG. 13 is a block diagram illustrating a functional configuration of the visual line detection device 201.
  • the line-of-sight detection device 201 includes two optical systems 202 a and 202 b each constituted by the light sources 3 ⁇ / b> A, 3 ⁇ / b> B, 3 ⁇ / b> C, and 3 ⁇ / b> D and the camera 2 including the imaging device 6, and the control device 4.
  • the light sources 3A, 3B, 3C, and 3D may be shared between the two optical systems 202a and 202b.
  • the detection unit 13 of the control device 4 further includes a visual line detection unit 20 as a functional element for detecting the visual line direction of the subject.
  • the image sensor driving unit 11 of the control device 4 controls the photographing timing of the image sensors 6 of the two optical systems 202a and 202b
  • the lighting control unit 12 is a light source 3A, 3B, 3C, of the two optical systems 202a and 202b. 3D lighting timing is controlled.
  • the two optical systems 202a and 202b can be controlled so that the light from the light source does not interfere with each other by shifting the photographing timing and lighting timing of each other. Further, in order to reduce the time difference of photographing by each camera 2 as much as possible, the photographing timings of the imaging elements 6 of the two optical systems 202a and 202b may be controlled to be synchronized.
  • the lighting periods of the light sources 3A, 3B, 3C, and 3D of the two optical systems 202a and 202b are set independently by the two optical systems 202a and 202b in the same manner as the setting procedure by the lighting time setting unit 17 described above.
  • the time difference between the eye image data obtained by the plurality of cameras 2 can be eliminated, and an error when obtaining the three-dimensional coordinates of the pupil by stereo matching from the plurality of pupil images is reduced.
  • This can reduce the error in line-of-sight detection. That is, if synchronization is established between the cameras 2 of each optical system, there is no difference in eye image data acquisition time between the two cameras, and errors due to the movement of the subject's head can be reduced.
  • the configuration of the illumination device 3 may be the configuration illustrated in FIG. 2 or may be a configuration in which some light sources are shared as illustrated in FIG.
  • the optical system 202a includes a light source 3A 1 that is a first light source, a light source 3B 1 that is a dark pupil light source, 3C 1 that is a corneal reflection generation light source, and a spectacle reflection canceling light source.
  • 3D 1 is provided around the opening 81 of the camera 2, as the optical system 202b, is the first light source 3A 2, the light source 3B 2, corneal reflection generating source is a dark pupil light source is a light source 3C 2, and 3D 2 is eyeglasses reflection cancellation light source, is provided on the periphery of the opening 8 camera 2.
  • the dark pupil light source 3B 12 and the light source 3C 12 which is a corneal reflection generating light source have two openings 8 1 and 8 2. It is provided in the middle.
  • the light source 3B 12 and the light source 3C 12 shared between the two optical systems 202a and 202b are controlled by the lighting time setting unit 17 so as to be turned on in synchronization with the photographing period of both cameras 2.
  • the light source 3B 12 and the light source 3C 12 need to be lit during the photographing period of the two cameras 2, they are arranged in a ring shape when the durability of the light emitting elements of the light source tends to be lowered.
  • the number of light emitting elements may be increased to about twice that of other light sources.
  • the configuration of the illuminating device 3 may be as shown in FIG. 15 in the case where the photographing timings of the cameras 2 of the two optical systems 202a and 202b are synchronized.
  • a dedicated light source optical system 202a a light source 3A 1 is a first light source and glasses reflection cancellation light source is provided around the opening 81 of the camera 2
  • a dedicated optical system 202b as the light source
  • the light source 3A 2 is a first light source and glasses reflection cancellation light source is provided around the opening 8 camera 2
  • a light source 3B 12 that is a light source (second light source) is provided between the two openings 8 1 and 8 2 .
  • FIG. 16 is a timing chart showing another example of the lighting timing of each light source controlled by the lighting time setting unit 17 and the lighting control unit 12, wherein (a) part is the imaging timing of the camera 2, and (b) part. Are the lighting timings of the light sources 3A 1 and 3A 2, and the part (c) shows the lighting timing of the light source 3B 12 .
  • the light sources 3A 1 , 3A 2 and the light source 3B 12 are turned on during the bright pupil image capturing period T 1 of each camera 2, and the light sources are emitted during the dark pupil image capturing period T 2 of each camera 2.
  • the light source 3A 1, 3A 2 is turned a very small amount of light emission. According to such control, the total light emission amount of the illumination device 3 is made the same when each image is acquired. At the same time, the luminance difference of the pupil portion between the bright pupil image and the dark pupil image appears due to the difference in position between the first light source and the second light source.
  • the illumination device 3 may have a configuration illustrated in FIG.
  • the optical system 202a as 202b shared light source, the dark pupil light source and the light source 3B 12 is a corneal reflection generating source, the two openings 81, 82 of the two outside It is divided and provided.
  • the difference between the distance from the respective openings 81 of the camera 2, 8 2 is increased between the first and second light sources, in particular, the opening from the opening 8 1 the distance to the light source 3B 12 disposed on the outside of part 82 is increased, the distance from the opening 8 2 to the light source 3B 12 arranged outside the opening 81 is increased.
  • the illuminating device 3 having the configuration shown in FIGS. 14, 15, and 17, since the bright pupil image, the dark pupil image, and the background image are illuminated with a symmetric light amount, the calculated corneal reflection image The position is stabilized.
  • the line-of-sight detection unit 20 of the control device 4 targets each of the position of the pupil image detected based on the pupil detection image and the difference dark pupil image and the difference bright pupil image for each of the two optical systems 202a and 202b.
  • the position of the detected cornea reflection image is acquired.
  • the line-of-sight detection unit 20 calculates the three-dimensional position of the subject's pupil using the positions of the pupil images obtained corresponding to the two optical systems 202a and 202b. Further, the line-of-sight detection unit 20 uses the calculated three-dimensional position of the pupil, the position of the pupil image obtained for each of the two optical systems 202a and 202b, and the position of the corneal reflection image, and the gaze direction and gaze point of the subject. Is detected.
  • the center of the pupil image on the pupil detection image coincides with the center of the pupil image at the time of acquiring the dark pupil image.
  • the line of sight is detected using the position of the pupil image and the position of the corneal reflection image detected on the dark pupil image.
  • the position of the differential dark pupil image is corrected with respect to the differential bright pupil image
  • the line of sight is detected using the position of the pupil image on the bright pupil image and the position of the corneal reflection image detected on the bright pupil image. Is done.
  • a method developed by the present inventors see International Publication No. 2012/020760
  • the line-of-sight detection device 201 in each of the two optical systems, it is possible to obtain a bright pupil image and a dark pupil image from which noise due to the influence of ambient light has been removed, and using these, the position of the pupil image Detection accuracy can be improved. Furthermore, by using the positions of the pupil images detected by the two optical systems, it is possible to improve the detection accuracy of the subject's gaze direction and gazing point.
  • the present invention is not limited to the embodiment described above.
  • the configuration of the above embodiment can be variously changed.
  • the detection unit 13 of the control device 4 detects the pupil position, corneal reflection position, or line-of-sight direction of the subject.
  • the posture may be detected. That is, the detection unit 13 calculates the center positions of the right and left nostrils of the subject on these images for three consecutive frames of the bright pupil image, the background image, and the dark pupil image.
  • the illumination device 3 since the illumination device 3 is turned on, it is possible to calculate the positions of the left and right pupil images based on the luminance by setting a window based on the position of the pupil image.
  • the detection unit 13 uses the position of the left and right pupil images on the respective frames and the center position of the left and right nostrils to obtain a normal vector indicating the face direction (face posture) of the subject person as a pinhole of the camera 2. It can be calculated using a model. As the calculation method of the center position of the nostril and the calculation method of the face direction, for example, the method described in International Publication No. 2010/010926 can be used. Further, the detection unit 13 may use the position correction method between the bright pupil image and the dark pupil image using the head posture disclosed in the publication. Since the position correction at the time of detection of the pupil image can be performed by the correction method, the window for detecting the corneal reflection image can be set to a smaller area. As a result, not only the accuracy of position detection of the corneal reflection image is improved, but also the image processing is speeded up.
  • the corneal reflection detection unit 19 of the detection unit 13 determines the position of the corneal reflection image on each eye image acquired by the cameras 2 1 and 2 2 corresponding to the two optical systems 202a and 202b.
  • a true corneal reflection image or a false corneal reflection image may be determined by the following processing.
  • the cameras 2 1 and 2 2 have been subjected to camera calibration in advance, and there are a plurality of images on each eye image of a frame synchronized (or close in time) by the two cameras 2 1 and 2 2 . It is assumed that the candidate position of the cornea reflection image is calculated.
  • 18 to 20 are conceptual diagrams for explaining the corneal reflection position authenticity determination processing by the corneal reflection detection unit 19.
  • the corneal reflection detection unit 19 is detected by one of the camera 2 1 and the candidate positions of the cornea reflection image detected on the obtained image of the eye by the eye image acquired by the other camera 2 2 2
  • a pair of candidate positions for the corneal reflection image is selected from the plurality of candidate positions for the corneal reflection image.
  • the corneal reflection detection unit 19, the one position of the pair of candidate positions specified camera 2 1 the criteria, and the other position of the pair of candidate positions specified camera 2 2 the criteria The distance between is calculated, and the authenticity of the pair of candidate positions is determined based on the distance.
  • the subject's cornea is a corneal sphere CB having a spherical surface
  • each of the cameras 2 1 and 2 2 has a lighting device at a position that can be regarded as coincident with the camera center (pinhole).
  • 3 1 and 3 2 are attached.
  • the center C of the corneal sphere CB exists in the direction of the corneal reflections R 1 and R 2 captured by the cameras 2 1 and 2 2 . Therefore, if the camera calibration is accurate, ideally, the straight lines L 1 and L 2 extending from the two cameras 2 1 and 2 2 toward the corneal reflections R 1 and R 2 are mutually at the center C of the corneal sphere CB. Has an intersection.
  • the corneal reflection detecting unit 19 for each of the selected candidate position in total per pair, the two straight lines L 1, whose distance between L 2 decreases linearly L 1, L 2 on the point (nearest point ) identify the G 1, G 2, and calculates the distance G 1 G 2 between recent their point G 1, G 2. Then, the corneal reflection detection unit 19 determines a pair of candidate positions where the distance G 1 G 2 is equal to or less than a preset threshold value as a pair of true corneal reflection image positions. Thereafter, the detection unit 13 performs processing for correcting the position between the eye images, detecting the pupil image, detecting the line of sight, and detecting the face posture, using a pair of true corneal reflection image positions.
  • the corneal reflection detection unit 19 uses the camera centers C 1 and C 2 of the two cameras 2 1 and 2 2 as a reference, as shown in FIG. between the camera center C 1 of a C 2 and the plane C 1 C 2 G 1 through the nearest point G 1, their camera center C 1, and C 2 and the plane C 1 C 2 G 2 through the nearest point G 2
  • a pair of true corneal reflection image positions may be determined by calculating an angle ⁇ formed by the above and determining whether the angle ⁇ is equal to or smaller than a preset threshold value.
  • the second light source includes a dark pupil light source and a corneal reflection generation light source that is closer to the dark pupil light source than the dark pupil light source.
  • the first light source and the corneal reflection generating light source are turned on.
  • the dark pupil light source and the corneal reflection generating light source are turned on.
  • the corneal reflection light source is turned on.
  • the light source for generation may be turned on.
  • the corneal reflection image can be stably generated in the bright pupil image, the dark pupil image, and the background image, and the position caused by the time difference in the acquisition timing between the bright pupil image and the dark pupil image and the background image The deviation can be corrected reliably.
  • the lighting control unit is configured so that the brightness of the corneal reflection image of the subject in the bright pupil image, the dark pupil image, and the background image is constant, in the first period, the second period, and the third period.
  • the light emission amount of the light source for generating corneal reflection may be adjusted. In this case, it is possible to correctly detect the cornea reflection image of the subject in the bright pupil image, the dark pupil image, and the background image even when the subject changes or the position of the subject changes, and as a result, the pupil The detection accuracy of the image position can be maintained.
  • the lighting control unit includes the light emission amounts of the first light source and the corneal reflection generation light source in the first period, the light emission amounts of the dark pupil light source and the corneal reflection generation light source in the second period, Adjusting the light emission amount of the light source for corneal reflection generation in the first period, the second period, and the third period so that the light emission amount of the light source for corneal reflection generation in the period is made uniform. Good.
  • the brightness of the corneal reflection image can be made equal among the bright pupil image, the dark pupil image, and the background image, and the position of the corneal reflection image in them can be detected correctly.
  • a bright pupil image and a dark pupil image from which noise due to the influence of ambient light is effectively removed can be obtained.
  • the lighting control unit may control the first light source to light up with a light emission amount smaller than that in the first period in the second period.
  • the spectacle reflection of the subject can be canceled by subtracting or dividing the difference bright pupil image and the difference dark pupil image.
  • the detection accuracy of the position of the pupil image can be further improved.
  • the apparatus further includes a spectacle reflection canceling light source that is closer to the opening center than the second light source and far from the first light source, and the lighting control unit includes the spectacle reflection canceling light source in the second period. It is good also as controlling to make it light with the light emission amount smaller than the light emission amount of the 1st light source.
  • the spectacle reflection of the subject can be canceled by subtracting or dividing the difference bright pupil image and the difference dark pupil image. As a result, the detection accuracy of the position of the pupil image can be further improved.
  • At least two or more optical systems including a camera, a first light source, and a second light source are provided, and the calculation unit targets pupil images obtained by each of the two or more optical systems, and pupil images And the position of the cornea reflection image may be calculated, and the line-of-sight direction of the subject may be calculated based on the position of the pupil image and the position of the cornea reflection image. Also in this case, the detection accuracy of the position of the pupil image by two or more optical systems can be improved, and as a result, the detection accuracy of the line-of-sight direction can also be improved.
  • the calculation unit includes a plurality of candidate positions of the corneal reflection image detected on the eye image acquired by one of the two or more optical systems, and the other optical system of the two or more optical systems.
  • the candidate position of the corneal reflection image is selected from the plurality of candidate positions of the corneal reflection image detected on the eye image acquired by the above, and the pair of the specified optical camera is used as a reference.
  • the authenticity of the pair of candidate positions may be determined based on the distance between one of the positions and the other position of the pair specified based on the camera of the other optical system. .
  • the calculation unit may further detect the position of the subject's nostril on the eye image and calculate the face posture of the subject based on the position of the pupil and the position of the nostril. In this way, the face posture of the subject can be calculated with high accuracy.
  • One aspect of the present invention is to use an eye image processing apparatus that detects a pupil from a human image, and can improve the detection accuracy of a pupil image in an image even when ambient light is present. It is.
  • SYMBOLS 1 Pupil detection apparatus, 2, 2 1 , 2 2 ... Camera, 3 ... Illumination device, 3A, 3A 1 , 3A 2 ... Light source (first light source), 3B, 3B 1 , 3B 12 , 3B 2 ... Light source (the second light source, the dark pupil light source), 3C, 3C 12 ... light source (second light source, the corneal reflection generator for the light source), 3D ... light source (light source for eyeglasses reflection cancellation), 4 ... control unit, 8,8 1 , 8 2 ... opening, 12 ... lighting control unit (lighting control part), 13 ... detection unit (calculation part), 17 ... lighting time setting part (lighting control part), 201 ... gaze detection device.
  • first light source first light source
  • Light source the second light source, the dark pupil light source
  • 3C, 3C 12 ... light source second light source, the corneal reflection generator for the light source

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

瞳孔検出装置１は、カメラ２と、光源３Ａと、開口部中心からの距離が光源３Ａよりも大きい光源３Ｂ，３Ｃと、点灯制御ユニット１２と、光源３Ａが点灯された期間に取得された明瞳孔画像と、光源３Ｂが点灯された期間に取得された暗瞳孔画像と、光源３Ｃが点灯された期間に取得された背景画像とを取得し、瞳孔像の位置を算出する検出ユニット１３とを備え、検出ユニット１３は、明瞳孔画像と背景画像とを基に角膜反射像の位置を規準にした差分画像を算出することにより、差分明瞳孔画像を取得し、暗瞳孔画像と背景画像とを基に角膜反射像の位置を規準にした差分画像を算出することにより、差分暗瞳孔画像を取得した後、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算もしくは除算を行うことにより瞳孔像の位置を算出する。

Description

眼部画像処理装置
　本発明は、人の画像から瞳孔を検出する眼部画像処理装置に関する。
　近年、近赤外光源等の光源とビデオカメラを使用した瞳孔検出装置が普及しつつある。このような視線検出装置では、ビデオカメラによって取得された明瞳孔画像と暗瞳孔画像とを用いて差分画像を生成し、その差分画像を基に瞳孔像を検出する（下記特許文献１）。この装置では、明瞳孔画像の取得時刻と暗瞳孔画像の取得時刻に時間差が生じるため、それぞれの画像における角膜反射像を基準にした画像間の位置補正を行っている。このような位置補正によって、瞳孔像の検出精度が向上する。
　また、太陽光等の環境光の影響下においても差分画像における瞳孔像の検出精度を向上させるために、明瞳孔画像と暗瞳孔画像に加えて、光源を消灯させたタイミングで無照明画像を取得し、明瞳孔画像と無照明画像とを基にした差分画像と、暗瞳孔画像と無照明画像とを基にした差分画像と作成し、これらの２つの差分画像を基にした差分画像を用いて瞳孔を検出する装置も知られている（下記特許文献２）。
特開２００８－０２９７０２号公報 特開２００８－２４６００４号公報
　上述した特許文献２に記載の瞳孔検出装置では、比較的低レートのビデオカメラを用いた場合に明瞳孔画像及び暗瞳孔画像と無照明画像との間の画像の取得タイミングにずれが生じるため、環境光の影響によるノイズが明瞳孔画像及び暗瞳孔画像において除去されにくくなる。その結果、差分画像を用いた瞳孔像の検出精度が低下する場合がある。
　本発明の一側面は、上記課題に鑑みて為されたものであり、環境光が存在する場合であっても画像中の瞳孔像の検出精度を向上させることが可能な眼部画像処理装置を提供することを目的とする。
　上記課題を解決するため、本発明の一形態にかかる眼部画像処理装置は、対象者の眼を撮像することにより眼画像を取得するカメラと、カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、第１の光源及び第２の光源の点灯を制御する点灯制御部と、第１の光源が点灯された第１の期間にカメラによって取得された眼画像である明瞳孔画像と、第２の光源が点灯された第２の期間にカメラによって取得された眼画像である暗瞳孔画像と、第１の光源が消灯され、第２の光源が点灯された第３の期間にカメラによって取得された眼画像である背景画像とを取得し、明瞳孔画像、暗瞳孔画像、及び背景画像を基に対象者の瞳孔像の位置を算出する算出部とを備え、算出部は、明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像の位置を検出し、明瞳孔画像と背景画像とを基に角膜反射像の位置を規準にした差分画像を算出することにより、差分明瞳孔画像を取得し、暗瞳孔画像と背景画像とを基に角膜反射像の位置を規準にした差分画像を算出することにより、差分暗瞳孔画像を取得した後、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算もしくは除算を行うことにより対象者の瞳孔像の位置を算出する。
　上記形態の眼部画像処理装置によれば、カメラの開口部中心から比較的近い位置に配置された第１の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、その開口部中心から比較的遠い位置に配置された第２の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られる。加えて、第１の光源が消灯され、第２の光源が点灯されたタイミングに合わせてカメラで画像を取得することにより、環境光による影響を含む角膜反射像が写った背景画像が得られる。さらに、明瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分明瞳孔画像と、暗瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分暗瞳孔画像と、を用いて瞳孔像の位置が算出される。これにより、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができる。その結果、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。
　本発明の一側面によれば、環境光が存在する場合であっても画像中の瞳孔像の検出精度を向上させることができる。
第１実施形態にかかる瞳孔検出装置の概略構成を示す図である。 図１の照明装置を筐体の外側から見た平面図である。 図１の制御装置のハードウェア構成を示すブロック図である。 図１の瞳孔検出装置の機能構成を示すブロック図である。 図４の制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。 図１の瞳孔検出装置によって得られた眼画像データの輝度の一次元分布を示すグラフである。 図４の制御装置によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートである。 図１の照明装置の他の構成を示す平面図である。 図１の照明装置の他の構成を示す平面図である。 図４の制御装置によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートである。 図１の照明装置の他の構成を示す平面図である。 図１の照明装置の他の構成を示す平面図である。 第２実施形態にかかる視線検出装置の機能構成を示すブロック図である。 第２実施形態にかかる照明装置の構成を示す平面図である。 第２実施形態にかかる照明装置の別の構成を示す平面図である。 図１３の制御装置によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートである。 第２実施形態にかかる照明装置の別の構成を示す平面図である。 図１３の角膜反射検出部による角膜反射の真偽判定処理を説明するための概念図である。 図１３の角膜反射検出部１９による角膜反射の真偽判定処理を説明するための概念図である。 図１３の角膜反射検出部１９による角膜反射の真偽判定処理を説明するための概念図である。
　以下、図面を参照しつつ本発明に係る眼部画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
　（第１実施形態）
［瞳孔検出装置］
　図１に示されるように、本発明の一実施形態である瞳孔検出装置１は、カメラ２と、照明装置（光源）３と、制御装置４と、を備えている。カメラ２は、筐体５と、筐体５内に収容されたＣＣＤ、ＣＭＯＳ等の撮像素子６と、筐体５内に収容された対物レンズ７とを有する。このカメラ２は、画像の１つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、又は６０Ｈｚ程度のフレームレートを有するカメラであってもよい。筐体５は、観察対象者の眼球Ａと対向する面に形成された円形状の開口部８を有する。対物レンズ７は、開口部８と撮像素子６との間に配置されている。対物レンズ７の光軸Ｌ０は、開口部８の中心軸線と一致している。撮像素子６は、その受光面が対物レンズ７の光軸Ｌ０に対して垂直に交わるように固定されている。撮像素子６は、対象者の眼球Ａの像を撮像することによって眼画像データを生成して制御装置４に出力する。制御装置４は、照明装置３の発光強度、点灯タイミング、及び点灯期間、並びにカメラ２の撮像タイミング及び撮像期間を制御する。また、制御装置４は、撮像素子６から出力された眼画像データに基づいて差分処理、瞳孔検出処理、及び角膜反射検出処理を実行する。
　なお、開口部８の径は、対物レンズ７の径に比較して小さく、対物レンズ７の有効径と略同程度である。このような構成により、対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。
　照明装置３は、対象者の顔に向けて照明光を出射する。図２に示されるように、照明装置３は、ケーシング９と、ケーシング９に埋め込まれた光源３Ａ，３Ｂ，３Ｃを有する。ケーシング９は、開口部８の縁部に沿って開口部８の外側を覆うように筐体５に取り付けられている。光源３Ａ，３Ｂ，３Ｃは、いずれも対物レンズ７の光軸Ｌ０に沿って照明光を出射するようにケーシング９上に設けられている。
　光源（第１の光源）３Ａは、明瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源３Ａは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的近い第１の距離Ｄ１の位置に配置されている。具体的には、光源３Ａを構成する発光素子は、ケーシング９上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に配設されている。光源３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源３Ａにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。光源３Ａにより照らし出される対象者の像においては、対象者の角膜反射像も生じる。
　光源（第２の光源、暗瞳孔用光源）３Ｂは、暗瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源３Ｂは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的遠い第２の距離Ｄ２の位置に配置されている。この第２の距離Ｄ２は第１の距離Ｄ１より大きい。具体的には、光源３Ｂを構成する発光素子は、ケーシング９上で、光源３Ａから開口部８の外側に離間して等間隔でリング状に配設されている。
　光源（第２の光源、角膜反射発生用光源）３Ｃは、明瞳孔画像、暗瞳孔画像、及び背景画像において角膜反射像を目立たせて生じさせるための照明光を、対象者の顔に向けて照射するための光源である。背景画像とは、太陽光等の環境光によって照らされた対象者の顔の像が主に映った画像をいう。光源３Ｃは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が第３の距離Ｄ３の位置に配置されている。この第３の距離Ｄ３は第１の距離Ｄ１より大きく、第２の距離Ｄ２より小さい。具体的には、光源３Ｃを構成する発光素子は、ケーシング９上で、光源３Ａと光源３Ｂとの間で光源３Ａ，３Ｂから離間して等間隔でリング状に配設されている。
　上記の光源３Ａから対象者の眼球Ａに照明光が出射されるタイミングでカメラ２によって瞳孔が撮像されると明瞳孔画像が取得され、上記の光源３Ｂから対象者の眼球Ａに照明光が出射されるタイミングでカメラ２によって瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Ａへの照明光がカメラ２の光軸Ｌ０から相対的に離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光が照明光の方向に戻ってカメラ２に届きにくいため、瞳孔が相対的に暗く映るという性質である。
　ここで、光源３Ａの出力光の中心波長は、光源３Ｂ，３Ｃの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。ただし、明瞳孔画像取得用の光源である光源３Ａは、網膜を反射して戻ってくる光の輝度が強い点で、例えば、８５０ｎｍ等の９００ｎｍ付近より短い出力光の波長の光源を用いることが望ましい。同様に、暗瞳孔取得用の光源である光源３Ｂは、網膜を反射して戻ってくる光の輝度が弱い点で、例えば、９４０ｎｍ等の９００ｎｍ付近より長い出力光の波長の光源を用いることが望ましい。このとき、光源３Ｃは、対象者の瞳孔に対する照明効果が光源３Ａと光源３Ｂとの間の中間の効果を有していればよく、例えば、光源３Ｂと同一の波長の９４０ｎｍの出力光の波長の光源が用いられる。一方で、８５０ｎｍ等の比較的短波長の出力波長の光源３Ａを用いると光量が大きい時に対象者によって光源３Ａの発光が認識されてしまうため、対象者が車のドライバー等の場合に運転に影響を与えるなどの問題が生じ望ましくない場合がある。その場合は、光源３Ａとして、対象者に発光が認識されにくい光源３Ｂ，３Ｃと同様な９００ｎｍ付近より長波長の光源を用いる。ただし、光源３Ａと光源３Ｂ，３Ｃとで出力光の中心波長を同じに設定する場合は、光源の波長によって明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差が生じにくくなるため、光源３Ａの開口部８からの距離Ｄ１と光源３Ｂの開口部８からの距離Ｄ２との差をより大きくすることが望ましい。これにより、カメラ２から見た光源３Ａからの照明光による瞳孔を照らす効果と、カメラ２から見た光源３Ｂからの照明光による瞳孔を照らす効果との差を大きくすることができる。
　また、光源３Ａ，３Ｂの発光強度（発光パワー）は、光源３Ａを発光させたときの撮影対象である対象者の顔面での照度と、光源３Ｂを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源３Ａ，３Ｂ，３Ｃは、後述する制御装置４からの制御信号により、それぞれ独立に照明光の点灯タイミング及び発光量を制御可能にされている。本実施形態では、光源３Ａ，３Ｂ，３Ｃは、点灯期間が制御可能にされ、その結果として、発光強度と点灯期間との積で決まる発光量が制御されるように構成されている。
　続いて、図３及び図４を参照して、瞳孔検出装置１に含まれる制御装置４の構成について説明する。
　制御装置４は、撮像素子６及び光源３Ａ，３Ｂ，３Ｃの制御と、対象者の瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置４は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置４は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
　図３に示されるように、制御装置４は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。
　後述する制御装置４の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。
　図４に示されるように、制御装置４は機能的構成要素として、撮像素子駆動ユニット１１と、点灯制御ユニット（点灯制御部）１２と、検出ユニット（算出部）１３とを有する。撮像素子駆動ユニット１１は、撮像素子６の撮影タイミングを制御する機能要素である。具体的には、撮像素子６を所定のフレームレート及び所定の露光時間で繰り返し撮像し、順番に明瞳孔画像、背景画像、及び暗瞳孔画像を取得するように制御する。点灯制御ユニット１２は、撮像素子６の撮影タイミングに同期させて、光源３Ａ，３Ｂ，３Ｃの点灯タイミング及び撮像素子６の露光期間内の発光量を制御する機能要素である。本実施形態では、点灯制御ユニット１２は、光源３Ａ，３Ｂ，３Ｃの発光量をそれぞれの点灯期間を設定することによって制御している。具体的には、点灯制御ユニット１２は、明瞳孔画像の撮像時には光源３Ａ及び光源３Ｃを連続して（又は同時に）点灯させ、背景画像の撮像時には光源３Ｃのみを点灯させ、暗瞳孔画像の撮像時には光源３Ｂ及び光源３Ｃを連続して（又は同時に）点灯させるように制御する。検出ユニット１３は、撮像素子６から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置４は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
　検出ユニット１３は、機能的構成要素として、画像取得部１４と、差分画像生成部１６と、点灯時間設定部１７と、瞳孔検出部１８と、角膜反射検出部１９、とを有する。画像取得部１４は、撮像素子６から所定のフレームレートで順番に撮影される明瞳孔画像、背景画像、及び暗瞳孔画像を、眼画像データとして取得する。差分画像生成部１６は、明瞳孔画像、背景画像、及び暗瞳孔画像を用いて瞳孔検出用画像を生成する。具体的には、差分画像生成部１６は、明瞳孔画像と背景画像とから生成した差分明瞳孔画像と、暗瞳孔画像と背景画像とから生成した差分暗瞳孔画像との間で対応する画素間の輝度の減算もしくは除算を計算することにより、瞳孔検出用画像を生成する。瞳孔検出部１８は、瞳孔検出用画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部１９は、明瞳孔画像、背景画像、及び暗瞳孔画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部１８及び角膜反射検出部１９により行われる処理の一例は、次の通りである。まず、瞳孔検出部１８は、瞳孔検出用画像を２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部１８は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部１９は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で２値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部１９は、角膜反射像の位置を、背景画像及び暗瞳孔画像を対象にしても算出する。背景画像から角膜反射像を求める際に用いる閾値は、過去に明瞳孔画像から角膜反射像を求める際に用いた閾値と過去に暗瞳孔画像から角膜反射像を求める際に用いた閾値とを参考に決定される。
　次に、検出ユニット１３の点灯時間設定部１７の機能構成について詳細に説明する。
　点灯時間設定部１７は、取得される明瞳孔画像と暗瞳孔画像との間で、カメラ２の露光時間内での対象者の顔を明るくする度合いが等しくなるように照明装置３の点灯時間を設定するとともに、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度が目標値で安定化するように照明装置３の点灯時間を設定する。画像での対象者の顔を明るくする度合い（以下、単に「照明強度」と言うものとする。）は、照明装置３の点灯時間のみで決定するものではなく、光源３Ａ，３Ｂ，３Ｃの出力光の波長、光源３Ａ，３Ｂ，３Ｃから顔までの距離、顔における光の反射率、光源３Ａ，３Ｂ，３Ｃの発光強度にも依存する。そのため、点灯時間設定部１７は、光源３Ａ，３Ｂ，３Ｃの出力光の波長、及び光源３Ａ，３Ｂ，３Ｃの発光強度を考慮して、それぞれの光源３Ａ，３Ｂ，３Ｃの点灯時間を設定する。点灯時間設定部１７は、設定した点灯時間で照明装置３が発光するように、点灯制御ユニット１２を経由して光源３Ａ，３Ｂ，３Ｃの動作を制御する。
　図５は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミング、（ｄ）は、光源３Ｃの点灯タイミングをそれぞれ示している。図５に示すように、撮像素子駆動ユニット１１により、明瞳孔画像が撮像される撮影期間（露光期間、第１の期間）Ｔ１、背景画像が撮像される撮影期間（第３の期間）Ｔ３、暗瞳孔画像が撮像される撮影期間（第２の期間）Ｔ２、及び背景画像が撮像される撮影期間Ｔ３がこの順番で設定され、その後、撮影期間Ｔ１、Ｔ３、Ｔ２、Ｔ３が周期的に繰り返される。同時に、点灯制御ユニット１２により、撮影期間Ｔ１に同期して光源３Ａ，３Ｃが点灯されるように、光源３Ａの点灯期間ＴＢの点灯タイミング、及びそれに時間的に重なる光源３Ｃの点灯期間ＴＣＲの点灯タイミングが制御される。また、点灯制御ユニット１２により、撮影期間Ｔ３に同期して光源３Ｃのみが点灯されるように、光源３Ｃの点灯期間ＴＣＲの点灯タイミングが制御され、撮影期間Ｔ２に同期して光源３Ｂ，３Ｃが点灯されるように、光源３Ｂの点灯期間ＴＤの点灯タイミング、及びそれに時間的に重なる光源３Ｃの点灯期間ＴＣＲの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源３Ａが明瞳孔画像を生成するために点灯期間ＴＢだけ点灯されるとともに、光源３Ｂが消灯され、明瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間ＴＣＲだけ点灯される。また、背景画像の撮像時には、環境光によって照らされた顔の像に角膜反射像を発生させるために光源３Ｃが点灯期間ＴＣＲだけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間ＴＤだけ点灯されるとともに、光源３Ａが消灯され、暗瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間ＴＣＲだけ点灯される。このとき、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるようにするため、照明強度が同じになるように点灯期間ＴＢと点灯期間ＴＤとが設定される。加えて、明瞳孔画像、背景画像、及び暗瞳孔画像間で角膜反射像の輝度のバランスが取れるように、各画像の取得時の点灯期間ＴＣＲが等しくなるように設定される。これにより、明瞳孔画像と背景画像との差分画像において、環境光あるいは光源３Ｃによる輝度成分が差分により相殺され、光源３Ａによる輝度成分のみが残ることになる。同様に、暗瞳孔画像と背景画像との差分画像において、環境光あるいは光源３Ｃによる輝度成分が差分により相殺され、光源３Ｂによる輝度成分のみが残ることになる。
　具体的には、点灯時間設定部１７は、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度値を時間的に一定にするために、前回のタイミングのフレームで取得された明瞳孔画像、背景画像、及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間ＴＣＲを変更する。ここでいう「フレーム」とは１つの明瞳孔画像のフレームと１つの暗瞳孔画像のフレームと１つの背景画像とを含む連続したフレーム（例えば、連続した３フレーム）のことを指すものとする。それに合わせて、点灯時間設定部１７は、次回のタイミングのフレームの点灯期間ＴＣＲを変更する。すなわち、Ｃｉを前回のフレームの角膜反射像のピークの輝度値とし（ｉは自然数）、ＣＧをそのピークの所定の目標値とすると、次回のフレームの点灯期間ＴＣＲ ｉ＋１は、前回のフレームの点灯期間ＴＣＲ ｉに対して、下記式；
ＴＣＲ ｉ＋１＝（ＣＧ／Ｃｉ）×ＴＣＲ ｉ　　　（１）
によって計算された値に変更される。言い換えると、点灯時間設定部１７は、角膜反射像の輝度値Ｃｉと目標値ＣＧとの大小関係（割合）に比例して、点灯期間ＴＣＲを増減させて光源３Ｃの発光量を調整するように制御する。
　次に、検出ユニット１３の差分画像生成部１６による瞳孔検出用画像の生成機能の詳細について説明する。
　差分画像生成部１６は、連続した３フレームの明瞳孔画像、背景画像、及び暗瞳孔画像を対象に、差分明瞳孔画像及び差分暗瞳孔画像を算出する。すなわち、差分画像生成部１６は、明瞳孔画像と背景画像とを角膜反射像の位置を規準に互いに位置合わせを行った後にそれらの画像間の輝度値の差分を計算することによって差分明瞳孔画像を取得する。その一方で、差分画像生成部１６は、暗瞳孔画像と背景画像とを角膜反射像の位置を規準に互いに位置合わせを行った後にそれらの画像間の輝度値の差分を計算することによって差分暗瞳孔画像を取得する。例えば、差分明瞳孔画像又は差分暗瞳孔画像を取得する際には、互いの画像の角膜反射像の位置が一致するように一方の画像の部分領域の画像の位置（座標）をずらした後に、一方の画像と他方の画像との差分画像を、角膜反射像の位置を含む部分領域において計算する。このようにすることで、明瞳孔画像及び暗瞳孔画像において、環境光による輝度成分のノイズが除去される。次に、差分画像生成部１６は、差分明瞳孔画像と差分暗瞳孔画像とを角膜反射像の位置を規準に互いに位置合わせを行った後に、それらの画像間で輝度値を減算あるいは除算することによって瞳孔検出用画像を取得する。例えば、瞳孔検出用画像を取得する際には、互いの画像の角膜反射像の位置が一致するように一方の画像の位置（座標）をずらした後に、一方の画像と他方の画像との間での減算あるいは除算を行う。このようにすることで、瞳孔検出用画像において、角膜反射像が除去されて対象者の瞳孔部のみが現れた画像を得ることができる。
　図６は、制御装置４の画像取得部１４及び差分画像生成部１６によって取得された眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）部は明瞳孔画像の一次元分布、（ｂ）部は暗瞳孔画像の一次元分布、（ｃ）部は背景画像の一次元分布、（ｄ）部は瞳孔検出用画像の一次元分布をそれぞれ示している。これらのグラフには、角膜反射を含む直線上の眼画像データの一次元分布を示している。このように、明瞳孔画像と暗瞳孔画像において瞳孔部以外の輝度値ＩＤ１，ＩＤ２が同等な値となるように光源３Ａ，３Ｂの発光パワーが調整されている。また、明瞳孔画像においては瞳孔部の輝度値ＩＢが比較的大きな値となっており、暗瞳孔画像においては瞳孔部の輝度値ＩＢが比較的小さな値ＩＥとなっている。さらに、明瞳孔画像、暗瞳孔画像、及び背景画像においては、角膜反射像のピークの輝度値ＩＡ１，ＩＡ２，ＩＡ３が目標値に近づくように制御されているため、輝度値の飽和値ＩＭＡＸを超えないように一定にされている。そのため、瞳孔検出用画像においては、瞳孔部以外の輝度がほぼ零にされて瞳孔部における輝度値ＩＣのみが現れ、環境光によるノイズ及び角膜反射像が除去されている。その結果、瞳孔検出部１８によって算出される瞳孔像の位置の精度が向上する。
　以上説明した瞳孔検出装置１によれば、カメラ２の開口部８の中心から比較的近い位置に配置された光源３Ａの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、その開口部８の中心から比較的遠い位置に配置された光源３Ｂの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られる。加えて、光源３Ａ，３Ｂが消灯され、開口部８の中心から中間的な位置に配置された光源３Ｃが点灯されたタイミングに合わせてカメラ２で画像を取得することにより、環境光による影響を含む背景画像が角膜反射像を含んで得られる。さらに、明瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分明瞳孔画像と、暗瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分暗瞳孔画像と、を用いて瞳孔像の位置が算出される。これにより、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができる。その結果、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。
　特に、明瞳孔画像の撮像期間Ｔ１には光源３Ａ及び光源３Ｃが点灯され、暗瞳孔画像の撮像期間Ｔ２には光源３Ｂ及び光源３Ｃが点灯され、背景画像の撮像期間Ｔ３には光源３Ｃを点灯されている。この場合、明瞳孔画像、暗瞳孔画像、及び背景画像において安定して角膜反射像を発生させることができ、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを確実に補正することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
　ここで、特開２００８－２４６００４号公報に開示されている瞳孔検出方法においては、明瞳孔画像と暗瞳孔画像のほかに、照明装置を消灯させることによって無照明画像を取得し、明瞳孔画像と無照明画像とを基に差分明瞳孔画像を作成し、暗瞳孔画像と無照明画像とを基に差分暗瞳孔画像を作成した後、差分明瞳孔画像と差分暗瞳孔画像とを用いて瞳孔を検出している。しかし、この方法では、中速度カメラを用いた場合は、対象者の頭部が動くと、明瞳孔画像、暗瞳孔画像、及び無照明画像の間で頭部の位置ずれが生じるため、正確に瞳孔像の位置を求めることができない場合がある。
　このような問題を解決するため、国際公開２０１６／０２７６２７号公報に開示された瞳孔検出方法では、差分明瞳孔画像および差分暗瞳孔画像において検出される角膜反射像の位置を基に、無照明画像において仮に照明装置が点灯していたら角膜反射像が発生すると予測される位置を等速モデルを用いて算出し、その位置を基に明瞳孔画像及び暗瞳孔画像と無照明画像との間で位置補正を行ってから差分明瞳孔画像及び差分暗瞳孔画像を取得するようにしている。しかし、この方法では、等速モデルが適用できない場合、すなわち、頭部が動き始めた際、あるいは頭部の動きが止まる直前等、頭部の加速度が大きい時には、位置補正がうまく機能しない場合がある。また、角膜反射は頭部の動きのみで移動するのではなく、眼球の回転によっても移動するが、眼球に回転に伴って角膜反射が移動する場合には等速モデルは成立しない。さらに、中速度カメラあるいは高速度カメラを用いて、明瞳孔画像、無照明画像、及び暗瞳孔画像の１セットを取得し、画像処理を行った後に再度これらの１セットを取得する際には、これらの２セットの間の時間が長くなる場合があり、瞳孔又は角膜反射の画像中の位置の予測が困難となる場合がある。その結果、正確に瞳孔像の位置を求めることができない場合がある。
　これらの従来の方法に比較して、本実施形態では、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができ、瞳孔像の位置の検出精度を確実に向上させることができる。
　上述した実施形態では、検出ユニット１３が明瞳孔画像と暗瞳孔画像との間で照明強度が等しくなるように光源３Ａ，３Ｂの発光量が制御されているが特開２０１６－０９３２５３号公報に開示された瞳孔検出用光源装置の制御方法にように、光源３Ａ，３Ｂの発光量を瞳孔の明るさに応じて調整するように制御してもよい。
　また、検出ユニット１３は、次に説明するように各光源３Ａ，３Ｂ，３Ｃの点灯期間を制御してもよい。
　つまり、図６に例示した明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値は飽和させないように制御することが好ましい。これは、明瞳孔画像あるいは暗瞳孔画像において眼鏡反射像が発生した場合にはこの眼鏡反射像は輝度が飽和しやすく、眼鏡反射像を角膜反射像あるいは瞳孔像として誤検出することを防ぐためには、眼鏡反射像以外は輝度が飽和しないことが望ましいからである。そこで、角膜反射像の輝度の飽和を防止るために、検出ユニット１３は、図７に示すように点灯期間を制御してもよい。図７は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、（ａ）部は、カメラ２の撮像タイミング、（ｂ）部は、光源３Ａの点灯タイミング、（ｃ）部は、光源３Ｂの点灯タイミング、（ｄ）部は、光源３Ｃの点灯タイミングをそれぞれ示している。
　すなわち、点灯時間設定部１７により、図５に示した制御方法と同様に、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるようにするため、照明強度が同じになるように点灯期間ＴＢと点灯期間ＴＤとが設定される。それとともに、点灯時間設定部１７により、明瞳孔画像取得時の撮影期間Ｔ１においては、光源３Ｃの点灯期間が、光源３Ｃの照明強度が撮影期間Ｔ３における光源３Ｃの照明強度から撮影期間Ｔ１における光源３Ａの照明強度を差し引いた値になるように設定される。例えば、光源３Ａ，３Ｂ，３Ｃの照度が同一に設定されている場合には、撮影期間Ｔ１においては、光源３Ｃの点灯期間がＴＣＲ－ＴＢとなるように設定される。同様に、点灯時間設定部１７により、暗瞳孔画像取得時の撮影期間Ｔ２においては、光源３Ｃの点灯期間を、光源３Ｃの照明強度が撮影期間Ｔ３における光源３Ｃの照明強度から撮影期間Ｔ２における光源３Ｂの照明強度を差し引いた値になるように設定される。例えば、光源３Ａ，３Ｂ，３Ｃの照度が同一に設定されている場合には、撮影期間Ｔ２においては、光源３Ｃの点灯期間がＴＣＲ－ＴＤとなるように設定される。このように、点灯時間設定部１７により、撮影期間Ｔ１における光源３Ａ，３Ｃの発光量と、撮影期間Ｔ２における光源３Ｂ，３Ｃの発光量と、撮影期間Ｔ３における光源３Ｃの発光量とが均一化されるように、光源３Ｃの発光量が調整される。このような制御により、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度の高さを同等とすることができる。これにより、背景画像における角膜反射像の輝度を検出可能な程度に十分高くすることができるとともに、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度の飽和を防ぐことができる。
　また、図２に示した照明装置３の構成は一例であり、他の様々な変形形態が可能である。例えば、全ての光源３Ａ，３Ｂ，３Ｃを同心円状に配置する必要は無く、明瞳孔画像と暗瞳孔画像との間の瞳孔の輝度の明暗差を出したい場合には、図８及び図９に示すように、光源３Ｂ，３Ｃを開口部８から離して配置してもよい。すなわち、図８に示す構成においては、光源３Ｂ、３Ｃが、同心円であるリング形状を２つ形成し、これらの２つのリンク形状の光源３Ｂ，３Ｃが開口部８を規準に左右対称となる位置に配置されている。このような構成においては、光源３Ｂ，３Ｃの開口部８の中心からの距離が光源３Ａより大きくされ、一部の光源３Ｃの開口部８の中心からの距離が光源３Ｂよりも小さくされている。また、図９に示す構成は、超高輝度ＬＥＤをから構成される光源３Ａ，３Ｂ，３Ｃが直線上に配置された例である。ここでは、接近して配置された光源３Ｂ、３Ｃの２つの光源群が、開口部８を規準に左右対称となる位置に配置されている。この構成においても、光源３Ｂ，３Ｃの開口部８の中心からの距離が光源３Ａより大きくされ、光源３Ｃの開口部８の中心からの距離が光源３Ｂよりも小さくされている。
　ただし、図８及び図９に示す照明装置３の構成においては、明瞳孔画像取得時に発光する光源３Ａ，３Ｃの位置と暗瞳孔画像取得時に発光する光源３Ｂ，３Ｃの位置とが異なるため、それぞれの画像で生じる眼鏡反射像が減算あるいは除算によって相殺されにくくなる場合がある。従って、光源３Ｂは開口部８からできるだけ離さないようにすることが望ましい。その一方で、光源３Ｂの距離は瞳孔像の明暗差を生じさせるためには大きい方が望ましいので、眼鏡反射像の相殺の効果と瞳孔像の強度とはトレードオフの関係となる。瞳孔像の明暗差を大きくしつつ眼鏡反射像の影響を低減させるためには、検出ユニット１３は、図１０に示すように照明装置３の点灯期間を制御してもよい。図１０は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、（ａ）部は、カメラ２の撮像タイミング、（ｂ）部は、光源３Ａの点灯タイミング、（ｃ）部は、光源３Ｂの点灯タイミング、（ｄ）部は、光源３Ｃの点灯タイミングをそれぞれ示している。すなわち、点灯時間設定部１７は、暗瞳孔画像の撮影期間Ｔ２において、光源３Ａを点灯期間ＴＢよりもかなり短い期間で一瞬点灯させるように制御してもよい。これにより、撮影期間Ｔ２において光源３Ａを撮影期間Ｔ１よりも小さい発光量で点灯させることができる。この場合、暗瞳孔画像において、明瞳孔画像と一致する位置に輝度値が飽和した眼鏡反射像を発生させることができ、明瞳孔画像と暗瞳孔画像とを対象に減算あるいは除算することにより、眼鏡反射を相殺させることができる。
　あるいは、３フレームのうちで光源３Ａを２回点灯させることが回路設計上困難であるか、そのようなことを実現する回路設計が面倒である場合には、照明装置３を、図１１あるいは図１２に示すような構成としてもよい。図１１に示す構成例の図８に示す構成例との相違点は、眼鏡反射相殺用の光源３Ｄが追加されている点である。この光源３Ｄは開口部８の中心からの距離が光源３Ａより大きく光源３Ｃより小さい位置に配置される。同様に、図１２に示す構成例の図９に示す構成例との相違点は、眼鏡反射相殺用の光源３Ｄが追加されている点である。この光源３Ｄは開口部８の中心からの距離が光源３Ａより大きく光源３Ｃより小さい位置に配置される。この光源３Ｄは、図１０に示した光源３Ａの点灯タイミングと同様に、点灯時間設定部１７により、暗瞳孔画像の撮影期間Ｔ２において点灯期間ＴＢよりもかなり短い期間で一瞬点灯させるように制御される。なお、図２に示した照明装置３の構成において眼鏡反射が問題となりにくいのは、光源３Ａと他の光源３Ｂ，３Ｃとが開口部８を規準にして角度的に近い位置にあるため眼鏡反射像が相殺されやすいためである。
　ここで、図８、図９、図１１あるいは図１２に示した照明装置３は、装置の小型化あるいは光源の配置範囲を狭くすることが要求される場合には、その横幅をできるだけ小さくすることが好ましい。ただし、この場合は暗瞳孔画像取得時あるいは背景画像取得時に発光する光源が作る角膜反射像が、円形のものが２つではなく、横長の楕円の形状、あるいは円形が横に重なった形状になりやすい。これらの２つの円形の像は左右のそれぞれの光源群による像が合成された像であり、それぞれの像の輝度がアンバランスになると（例えば、涙などの影響により）、像全体の輝度の重心が揺らぐことになり結果的に角膜反射像の位置検出の精度に影響する。従って、角膜反射像がせめて楕円の形状になるような照明装置３の横幅が設定されることが好ましい。ただし、左右の光源３Ｂ，３Ｃのセット間の距離が非常に大きく、画像上に角膜反射像が２つ写る場合には、角膜反射検出部１９は、それぞれの角膜反射像の中心を求めて、それらの中点を位置補正に必要な角膜反射像の位置として算出する。また、明瞳孔画像において、光源３Ａによる角膜反射像と光源３Ｃによる角膜反射像とを合わせた３つの角膜反射像が分離されて写る場合には、角膜反射検出部１９は、中央の角膜反射像の位置を位置補正に必要な角膜反射像の位置として算出する。一方、明瞳孔画像において３つの角膜反射像が重なって写る場合には、角膜反射検出部１９は、角膜反射像の重心位置を位置補正に必要な角膜反射像の位置として算出する。この場合も、重なった角膜反射像の大きさが小さくなるように照明装置３の横幅が設定されることが好ましい。ただし、角膜反射像の位置の検出精度は、瞳孔像が小さい時などはそれほど高くなくてよく、画像間を位置補正するのに十分な、すなわち、瞳孔がロバストに検出できるだけの位置の検出精度があれば十分である。
　（第２実施形態）
［視線検出装置］
　以下、上述した瞳孔検出装置１を応用した第２実施形態にかかる視線検出装置２０１の構成について説明する。図１３は、視線検出装置２０１の機能構成を示すブロック図である。視線検出装置２０１は、上述した光源３Ａ，３Ｂ，３Ｃ，３Ｄと撮像素子６を含むカメラ２とによってそれぞれ構成される２つの光学系２０２ａ，２０２ｂと、制御装置４とを備える。ただし、光源３Ａ，３Ｂ，３Ｃ，３Ｄは２つの光学系２０２ａ，２０２ｂとの間で共有されていてもよい。制御装置４の検出ユニット１３は、対象者の視線方向を検出するための機能要素として視線検出部２０をさらに備えている。
　制御装置４の撮像素子駆動ユニット１１は、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングを制御し、点灯制御ユニット１２は、２つの光学系２０２ａ，２０２ｂの光源３Ａ，３Ｂ，３Ｃ，３Ｄの点灯タイミングを制御する。２つの光学系２０２ａ，２０２ｂは、互いの撮影タイミング及び点灯タイミングをずらして光源の光が互いに干渉しあわないように制御されることも可能である。また、各カメラ２による撮影の時間差を可能な限り少なくするために、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングが同期するように制御されてもよい。その際、２つの光学系２０２ａ，２０２ｂの各光源３Ａ，３Ｂ，３Ｃ，３Ｄの点灯期間の設定は、上述した点灯時間設定部１７による設定手順と同様に、２つの光学系２０２ａ，２０２ｂで独立に行われる。このような構成にすることで、複数のカメラ２で得られた眼画像データ間の時間差をなくすことができ、複数の瞳孔画像からステレオマッチングで瞳孔の三次元座標を求める際の誤差を小さくすることができ、視線検出の誤差を小さくすることができる。つまり、各光学系のカメラ２間で同期をとっていれば、２台のカメラどうしで眼画像データの取得時間差がないため対象者の頭部の動きによる誤差を少なくすることができる。
　詳細には、照明装置３の構成は図２に示した構成であってもよいし、図１４に示すように一部の光源が共用された構成であってもよい。図１４に示す構成例では、光学系２０２ａとして、第１の光源である光源３Ａ１、暗瞳孔用光源である光源３Ｂ１、角膜反射発生用光源である３Ｃ１、及び眼鏡反射相殺用光源である３Ｄ１が、カメラ２の開口部８１の周辺に設けられ、光学系２０２ｂとして、第１の光源である光源３Ａ２、暗瞳孔用光源である光源３Ｂ２、角膜反射発生用光源である３Ｃ２、及び眼鏡反射相殺用光源である３Ｄ２が、カメラ２の開口部８２の周辺に設けられている。それに加えて、２つの光学系２０２ａ，２０２ｂ間で共用される光源として、暗瞳孔用光源である３Ｂ１２、及び角膜反射発生用光源である光源３Ｃ１２が、２つの開口部８１，８２の中間に設けられている。２つの光学系２０２ａ，２０２ｂ間で共用される光源３Ｂ１２及び光源３Ｃ１２は、両方のカメラ２の撮影期間に同期して点灯させるように点灯時間設定部１７によって制御される。ここで、光源３Ｂ１２及び光源３Ｃ１２は、２つのカメラ２の撮影期間に点灯させる必要があるため、光源の発光素子の耐久性が低下しやすい傾向がある場合には、リング状に配置される発光素子の数を他の光源に比較して２倍程度に増やしてもよい。
　照明装置３の構成は、２つの光学系２０２ａ，２０２ｂのカメラ２の撮影タイミングを同期させる場合には、図１５に示すような構成であってもよい。図１５に示す構成例では、光学系２０２ａの専用光源として、第１の光源及び眼鏡反射相殺用光源である光源３Ａ１がカメラ２の開口部８１の周辺に設けられ、光学系２０２ｂの専用光源として、第１の光源及び眼鏡反射相殺用光源である光源３Ａ２がカメラ２の開口部８２の周辺に設けられ、光学系２０２ａ，２０２ｂの共用光源として、暗瞳孔用光源及び角膜反射発生用光源（第２の光源）である光源３Ｂ１２が、２つの開口部８１，８２の中間に設けられている。このような照明装置３の構成が採用された場合は、図１６に示すように照明装置３の点灯期間が制御される。図１６は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、（ａ）部は、カメラ２の撮像タイミング、（ｂ）部は、光源３Ａ１，３Ａ２の点灯タイミング、（ｃ）部は、光源３Ｂ１２の点灯タイミングをそれぞれ示している。このように、各カメラ２の明瞳孔画像の撮影期間Ｔ１においては、光源３Ａ１，３Ａ２、及び光源３Ｂ１２が点灯され、各カメラ２の暗瞳孔画像の撮影期間Ｔ２においては、光源３Ｂ１２が点灯され、背景画像の撮影期間Ｔ３においては、光源３Ｂ１２のみが点灯される。加えて、各カメラ２の暗瞳孔画像の撮影期間Ｔ２においては、非常に小さな発光量で光源３Ａ１，３Ａ２が点灯される。このような制御によれば、各画像の取得時において照明装置３の合計の発光量は同一にされる。それとともに、明瞳孔画像と暗瞳孔画像の間の瞳孔部の輝度差が、第１の光源と第２の光源との間の位置の差によって現れる。
　また、２台のカメラ２の距離が十分に取れない場合には、照明装置３は図１７に示す構成であってもよい。図１７に示す構成では、光学系２０２ａ，２０２ｂの共用光源として、暗瞳孔用光源及び角膜反射発生用光源である光源３Ｂ１２が、２つの開口部８１，８２の外側に２か所に分割して設けられている。このような構成によれば、それぞれのカメラ２の開口部８１，８２からの距離の差が第１の光源と第２の光源との間で大きくなり、特に、開口部８１から開口部８２の外側に配置された光源３Ｂ１２までの距離が大きくなり、開口部８２から開口部８１の外側に配置された光源３Ｂ１２までの距離が大きくなる。これにより、照明装置３を小型化しても明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差を十分に大きくできる。なお、図１４、図１５、図１７の構成の照明装置３では、明瞳孔画像、暗瞳孔画像、及び背景画像の取得時に左右対称の光量で照明されているので、算出される角膜反射像の位置が安定化される。
　制御装置４の視線検出部２０は、２つの光学系２０２ａ，２０２ｂごとに、瞳孔検出用画像を基に検出された瞳孔像の位置と、差分暗瞳孔画像及び差分明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを取得する。そして、視線検出部２０は、２つの光学系２０２ａ，２０２ｂに対応して得られた瞳孔像の位置を用いて、対象者の瞳孔の三次元位置を算出する。さらに、視線検出部２０は、算出した瞳孔の三次元位置、２つの光学系２０２ａ，２０２ｂごとに得られた瞳孔像の位置及び角膜反射像の位置とを用いて対象者の視線方向および注視点を検出する。この際、差分明瞳孔画像を差分暗瞳孔画像に対して位置補正した場合は、瞳孔検出用画像上の瞳孔像の中心は暗瞳孔画像の取得時の瞳孔像の中心と一致すると考えられるので、それと同期をとるためにこの瞳孔像の位置と暗瞳孔画像上で検出された角膜反射像の位置とを用いて視線が検出される。一方、差分暗瞳孔画像を差分明瞳孔画像に対して位置補正した場合は、明瞳孔画像上の瞳孔像の位置と明瞳孔画像上で検出された角膜反射像の位置とを用いて視線が検出される。上記の瞳孔三次元位置の算出手法、視線方向および注視点の算出手法は、本発明者らによって開発された手法（国際公開２０１２／０２０７６０号公報参照）を採用することができる。
　上述した視線検出装置２０１によれば、それぞれの２つの光学系において、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。さらに、２つの光学系で検出された瞳孔像の位置を利用することで、対象者の視線方向および注視点の検出精度も向上させることができる。
　本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。
　上述した第１実施形態及び第２実施形態では、制御装置４の検出ユニット１３は対象者の瞳孔位置、角膜反射位置、あるいは視線方向を検出していたが、それらに加えて、対象者の顔姿勢を検出してもよい。すなわち、検出ユニット１３は明瞳孔画像、背景画像、及び暗瞳孔画像の連続する３フレームについて、それらの画像上の対象者の左右の鼻孔の中心位置を算出する。これらの画像取得時には照明装置３が点灯しているので瞳孔像の位置を規準にしてウィンドウを設定して輝度を基に左右の瞳孔像の位置を算出することができる。そして、検出ユニット１３は、それぞれのフレーム上における左右の瞳孔像の位置と左右の鼻孔の中心位置とを用いて、対象者の顔方向（顔姿勢）を示す法線ベクトルをカメラ２のピンホールモデルを用いて算出することができる。鼻孔の中心位置の算出方法、及び顔方向の算出方法は、例えば、国際公開２０１０／０１０９２６号公報に記載の方法を用いることができる。また、検出ユニット１３は、同公報に開示された頭部姿勢を用いた明瞳孔画像と暗瞳孔画像との間の位置補正法を用いてもよい。同補正法により瞳孔像の検出時の位置補正が可能となるため、角膜反射像の検出のためのウィンドウもより小さい領域に設定することができる。その結果、角膜反射像の位置検出の精度が向上するだけでなく、画像処理も高速化される。
　上述した第２実施形態では、検出ユニット１３の角膜反射検出部１９は、２つの光学系２０２ａ，２０２ｂに対応したカメラ２１，２２で取得された各眼画像上で角膜反射像の位置を検出する際には、次のような処理によって真の角膜反射像か偽の角膜反射像かを判断してもよい。
　ここで、カメラ２１，２２は予めカメラ較正が施されているものとし、２台のカメラ２１，２２によって同期した（あるいは時間的に接近した）フレームのそれぞれの眼画像上で複数の角膜反射像の候補位置が算出されているものとする。図１８～２０は、角膜反射検出部１９による角膜反射位置の真偽判定処理を説明するための概念図である。まず、角膜反射検出部１９は、一方のカメラ２１によって取得された眼画像上で検出された複数の角膜反射像の候補位置と、他方のカメラ２２によって取得された眼画像上で検出された複数の角膜反射像の候補位置とから、角膜反射像の候補位置のペアーを総当たりで選択する。そして、角膜反射検出部１９は、カメラ２１を規準に特定される候補位置のペアーのうちの一方の位置と、カメラ２２を規準に特定される候補位置のペアーのうちの他方の位置との間の距離を算出し、その距離を基にその候補位置のペアーの真偽を判定する。
　図１８に示すように、対象者の角膜を表面が球面である角膜球ＣＢと仮定し、各カメラ２１，２２にはカメラ中心（ピンホール）と一致しているとみなせる位置に照明装置３１，３２が取り付けられているとする。このように仮定すると、各カメラ２１，２２において写る角膜反射Ｒ１，Ｒ２の方向には角膜球ＣＢの中心Ｃが存在することになる。従って、カメラ較正が正確であれば、理想的には２つのカメラ２１，２２から角膜反射Ｒ１，Ｒ２に向けて伸びる直線Ｌ１，Ｌ２は、角膜球ＣＢの中心Ｃで互いに交点を持つ。一方で、２台のカメラ２１，２２の眼画像上でステレオマッチングの対象である角膜反射像の候補位置のペアーのうちの片方が真の角膜反射像の位置でなければ、図１９に示すように、２つのカメラカメラ２１，２２から伸びる２本の直線Ｌ１，Ｌ２がねじれの関係になって交点を持たない。
　そこで、角膜反射検出部１９は、総当たりで選択した候補位置のペアーのそれぞれに関して、２つの直線Ｌ１，Ｌ２の間で最も距離が小さくなる直線Ｌ１，Ｌ２上の点（最近点）Ｇ１，Ｇ２を特定し、それらの最近点Ｇ１，Ｇ２間の距離Ｇ１Ｇ２を算出する。そして、角膜反射検出部１９は、距離Ｇ１Ｇ２が予め設定された閾値以下となった候補位置のペアーを真の角膜反射像の位置のペアーと判定する。その後、検出ユニット１３では、真の角膜反射像の位置のペアーを用いて、眼画像間の位置補正、瞳孔像の検出、視線検出、顔姿勢検出の処理が実行される。また、角膜反射検出部１９は、候補位置のペアーを判定する際には、図２０に示すように、２台のカメラ２１、２２のカメラ中心Ｃ１，Ｃ２を規準にして、それらのカメラ中心Ｃ１，Ｃ２と最近点Ｇ１を通る平面Ｃ１Ｃ２Ｇ１と、それらのカメラ中心Ｃ１，Ｃ２と最近点Ｇ２を通る平面Ｃ１Ｃ２Ｇ２との間のなす角度δを計算し、その角度δが予め設定された閾値以下となったか否かを判定することによって、真の角膜反射像の位置のペアーを判定してもよい。
　このように処理することで、眼画像上で真の角膜反射像を正しく検出することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
　ここで、上記実施形態では、第２の光源は、暗瞳孔用光源と、開口部中心からの距離が暗瞳孔用光源より近い角膜反射発生用光源とを含んでおり、点灯制御部は、第１の期間には、第１の光源及び角膜反射発生用光源を点灯させ、第２の期間には、暗瞳孔用光源及び角膜反射発生用光源を点灯させ、第３の期間には、角膜反射発生用光源を点灯させる、こととしてもよい。この場合、明瞳孔画像、暗瞳孔画像、及び背景画像において安定して角膜反射像を発生させることができ、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを確実に補正することができる。
　また、点灯制御部は、明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像の輝度が一定となるように、第１の期間、第２の期間、及び第３の期間における角膜反射発生用光源の発光量を調整する、こととしてもよい。この場合、対象者が変わったり、対象者の位置が変動した場合であっても明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像を正しく検出することができ、その結果瞳孔像の位置の検出精度を維持することができる。
　また、点灯制御部は、第１の期間における第１の光源及び角膜反射発生用光源の発光量と、第２の期間における暗瞳孔用光源及び角膜反射発生用光源の発光量と、第３の期間における角膜反射発生用光源の発光量とが均一化されるように、第１の期間、第２の期間、及び第３の期間における角膜反射発生用光源の発光量を調整する、こととしてもよい。こうすれば、明瞳孔画像と暗瞳孔画像と背景画像との間で角膜反射像の輝度を同等にすることができ、それらにおける角膜反射像の位置を正しく検出することができる。その結果、環境光の影響によるノイズが効果的に除去された明瞳孔画像及び暗瞳孔画像を得ることができる。
　また、点灯制御部は、第２の期間において第１の光源を第１の期間よりも小さい発光量で点灯させるように制御する、こととしてもよい。この場合には、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算あるいは除算することにより対象者の眼鏡反射を相殺することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
　また、開口部中心からの距離が第２の光源より近く第１の光源より遠い眼鏡反射相殺用光源をさらに備え、点灯制御部は、第２の期間において眼鏡反射相殺用光源を第１の期間における第１の光源の発光量よりも小さい発光量で点灯させるように制御する、こととしてもよい。この場合にも、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算あるいは除算することにより対象者の眼鏡反射を相殺することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
　さらに、カメラと第１の光源と第２の光源とを含む光学系を少なくとも２つ以上備え、算出部は、２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、瞳孔像の位置及び角膜反射像の位置を算出し、瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出する、こととしてもよい。この場合にも、２つ以上の光学系による瞳孔像の位置の検出精度を向上させることができ、その結果視線方向の検出精度も向上させることができる。
　またさらに、算出部は、２つ以上の光学系の一方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置と、２つ以上の光学系の他方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置とのうちから、角膜反射像の候補位置のペアーを選択し、一方の光学系のカメラを規準に特定されるペアーのうちの一方の位置と、他方の光学系のカメラを規準に特定されるペアーのうちの他方の位置との間の距離を基に、候補位置のペアーの真偽を判定する、こととしてもよい。かかる構成を採れば、眼画像上で真の角膜反射像を正しく検出することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
　さらにまた、算出部は、眼画像上における対象者の鼻孔の位置をさらに検出し、瞳孔の位置及び鼻孔の位置を基に対象者の顔姿勢を算出する、こととしてもよい。こうすれば、対象者の顔姿勢を精度よく算出することができる。
　本発明の一側面は、人の画像から瞳孔を検出する眼部画像処理装置を使用用途とし、環境光が存在する場合であっても画像中の瞳孔像の検出精度を向上させることができるものである。
　１…瞳孔検出装置、２，２１，２２…カメラ、３…照明装置、３Ａ，３Ａ１，３Ａ２…光源（第１の光源）、３Ｂ，３Ｂ１，３Ｂ１２，３Ｂ２…光源（第２の光源、暗瞳孔用光源）、３Ｃ，３Ｃ１２…光源（第２の光源、角膜反射発生用光源）、３Ｄ…光源（眼鏡反射相殺用光源）、４…制御装置、８，８１，８２…開口部、１２…点灯制御ユニット（点灯制御部）、１３…検出ユニット（算出部）、１７…点灯時間設定部（点灯制御部）、２０１…視線検出装置。

Claims (9)

  1. 　対象者の眼を撮像することにより眼画像を取得するカメラと、
    　前記カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、
    　前記開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、
    　前記第１の光源及び前記第２の光源の点灯を制御する点灯制御部と、
    　前記第１の光源が点灯された第１の期間に前記カメラによって取得された前記眼画像である明瞳孔画像と、前記第２の光源が点灯された第２の期間に前記カメラによって取得された前記眼画像である暗瞳孔画像と、前記第１の光源が消灯され、前記第２の光源が点灯された第３の期間に前記カメラによって取得された前記眼画像である背景画像とを取得し、前記明瞳孔画像、前記暗瞳孔画像、及び前記背景画像を基に前記対象者の瞳孔像の位置を算出する算出部とを備え、
    　前記算出部は、前記明瞳孔画像、前記暗瞳孔画像、及び前記背景画像における前記対象者の角膜反射像の位置を検出し、前記明瞳孔画像と前記背景画像とを基に前記角膜反射像の位置を規準にした差分画像を算出することにより、差分明瞳孔画像を取得し、前記暗瞳孔画像と前記背景画像とを基に前記角膜反射像の位置を規準にした差分画像を算出することにより、差分暗瞳孔画像を取得した後、前記差分明瞳孔画像と前記差分暗瞳孔画像とを対象に減算もしくは除算を行うことにより前記対象者の瞳孔像の位置を算出する、
    眼部画像処理装置。
  2. 　前記第２の光源は、暗瞳孔用光源と、前記開口部中心からの距離が前記暗瞳孔用光源より近い角膜反射発生用光源とを含んでおり、
    　前記点灯制御部は、前記第１の期間には、前記第１の光源及び前記角膜反射発生用光源を点灯させ、前記第２の期間には、前記暗瞳孔用光源及び前記角膜反射発生用光源を点灯させ、前記第３の期間には、前記角膜反射発生用光源を点灯させる、
    請求項１記載の眼部画像処理装置。
  3. 　前記点灯制御部は、前記明瞳孔画像、前記暗瞳孔画像、及び前記背景画像における前記対象者の角膜反射像の輝度が一定となるように、前記第１の期間、前記第２の期間、及び前記第３の期間における前記角膜反射発生用光源の発光量を調整する、
    請求項２記載の眼部画像処理装置。
  4. 　前記点灯制御部は、前記第１の期間における前記第１の光源及び前記角膜反射発生用光源の発光量と、前記第２の期間における前記暗瞳孔用光源及び前記角膜反射発生用光源の発光量と、前記第３の期間における前記角膜反射発生用光源の発光量とが均一化されるように、前記第１の期間、前記第２の期間、及び前記第３の期間における前記角膜反射発生用光源の発光量を調整する、
    請求項２記載の眼部画像処理装置。
  5. 　前記点灯制御部は、前記第２の期間において第１の光源を第１の期間よりも小さい発光量で点灯させるように制御する、
    請求項１～４のいずれか１項に記載の眼部画像処理装置。
  6. 　前記開口部中心からの距離が前記第２の光源より近く前記第１の光源より遠い眼鏡反射相殺用光源をさらに備え、
    　前記点灯制御部は、前記第２の期間において前記眼鏡反射相殺用光源を第１の期間における前記第１の光源の発光量よりも小さい発光量で点灯させるように制御する、
    請求項１～４のいずれか１項に記載の眼部画像処理装置。
  7. 　前記カメラと前記第１の光源と前記第２の光源とを含む光学系を少なくとも２つ以上備え、
    　前記算出部は、前記２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、前記瞳孔像の位置及び前記角膜反射像の位置を算出し、前記瞳孔像の位置及び前記角膜反射像の位置を基に前記対象者の視線方向を算出する、
    請求項１～６のいずれか１項に記載の眼部画像処理装置。
  8. 　前記算出部は、
    前記２つ以上の光学系の一方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置と、前記２つ以上の光学系の他方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置とのうちから、角膜反射像の候補位置のペアーを選択し、前記一方の光学系のカメラを規準に特定される前記ペアーのうちの一方の位置と、前記他方の光学系のカメラを規準に特定される前記ペアーのうちの他方の位置との間の距離を基に、前記候補位置のペアーの真偽を判定する、
    請求項７に記載の眼部画像処理装置。
  9. 　前記算出部は、
    前記眼画像上における前記対象者の鼻孔の位置をさらに検出し、前記瞳孔の位置及び前記鼻孔の位置を基に前記対象者の顔姿勢を算出する、
    請求項１～８のいずれか１項に記載の眼部画像処理装置。
PCT/JP2018/008522 2017-03-08 2018-03-06 眼部画像処理装置 Ceased WO2018164104A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019504593A JP6957048B2 (ja) 2017-03-08 2018-03-06 眼部画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-044269 2017-03-08
JP2017044269 2017-03-08

Publications (1)

Publication Number Publication Date
WO2018164104A1 true WO2018164104A1 (ja) 2018-09-13

Family

ID=63448380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008522 Ceased WO2018164104A1 (ja) 2017-03-08 2018-03-06 眼部画像処理装置

Country Status (2)

Country Link
JP (1) JP6957048B2 (ja)
WO (1) WO2018164104A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112674713A (zh) * 2020-11-22 2021-04-20 泰州国安医疗用品有限公司 昏暗环境瞳孔辨识系统
WO2021087573A1 (en) * 2019-11-07 2021-05-14 Seeing Machines Limited High performance bright pupil eye tracking
EP3882686A1 (en) * 2020-03-19 2021-09-22 Aptiv Technologies Limited Optical system and method for monitoring a vehicle driver's eye gaze
JP2022523021A (ja) * 2019-01-25 2022-04-21 マジック リープ， インコーポレイテッド 異なる露光時間を有する画像を使用した眼追跡

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246004A (ja) * 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 瞳孔検出方法
JP2016093253A (ja) * 2014-11-12 2016-05-26 国立大学法人静岡大学 瞳孔検出用光源装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246004A (ja) * 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 瞳孔検出方法
JP2016093253A (ja) * 2014-11-12 2016-05-26 国立大学法人静岡大学 瞳孔検出用光源装置の制御方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022523021A (ja) * 2019-01-25 2022-04-21 マジック リープ， インコーポレイテッド 異なる露光時間を有する画像を使用した眼追跡
JP7431246B2 (ja) 2019-01-25 2024-02-14 マジック リープ， インコーポレイテッド 異なる露光時間を有する画像を使用した眼追跡
JP2024036459A (ja) * 2019-01-25 2024-03-15 マジック リープ， インコーポレイテッド 異なる露光時間を有する画像を使用した眼追跡
JP7679503B2 (ja) 2019-01-25 2025-05-19 マジック リープ， インコーポレイテッド 異なる露光時間を有する画像を使用した眼追跡
WO2021087573A1 (en) * 2019-11-07 2021-05-14 Seeing Machines Limited High performance bright pupil eye tracking
EP3882686A1 (en) * 2020-03-19 2021-09-22 Aptiv Technologies Limited Optical system and method for monitoring a vehicle driver's eye gaze
CN113496197A (zh) * 2020-03-19 2021-10-12 Aptiv技术有限公司 监测车辆驾驶员视线的光学系统和方法
US11436847B2 (en) 2020-03-19 2022-09-06 Aptiv Technologies Limited Optical system and method for monitoring a vehicle driver's eye gaze
CN113496197B (zh) * 2020-03-19 2024-04-12 Aptiv技术股份公司 监测车辆驾驶员视线的光学系统和方法
CN112674713A (zh) * 2020-11-22 2021-04-20 泰州国安医疗用品有限公司 昏暗环境瞳孔辨识系统
CN112674713B (zh) * 2020-11-22 2021-10-08 青岛大学附属医院 昏暗环境瞳孔辨识系统

Also Published As

Publication number Publication date
JP6957048B2 (ja) 2021-11-02
JPWO2018164104A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
US10481403B2 (en) Contact lens with retinal camera
US10437327B2 (en) Eye tracking device and method for operating an eye tracking device
JP6586523B2 (ja) 構造化光を用いた視線追跡
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
US10896324B2 (en) Line-of-sight detection device and method for detecting line of sight
CN106175801B (zh) 眨眼测量方法、眨眼测量装置及眨眼测量程序
JP6631951B2 (ja) 視線検出装置及び視線検出方法
JP6201956B2 (ja) 視線検出装置および視線検出方法
US11624907B2 (en) Method and device for eye metric acquisition
JP7030317B2 (ja) 瞳孔検出装置及び瞳孔検出方法
JP6957048B2 (ja) 眼部画像処理装置
JP6638354B2 (ja) 視線検出装置及び視線検出方法
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP6687195B2 (ja) 眼部画像処理装置
JP2016051317A (ja) 視線検出装置
US20190206082A1 (en) Corneal reflex position detection device, eye-gaze tracking device, and corneal reflex position detection method
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
JP7228885B2 (ja) 瞳孔検出装置
JP2017162233A (ja) 視線検出装置および視線検出方法
JP6900994B2 (ja) 視線検出装置及び視線検出方法
CN103565399A (zh) 瞳孔检测装置
JP7638541B2 (ja) 瞳孔検出装置
JP6370168B2 (ja) 照明撮像装置及びそれを備えた視線検出装置
JP7621639B2 (ja) 瞳孔検出装置及び瞳孔検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18764544

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019504593

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18764544

Country of ref document: EP

Kind code of ref document: A1