[go: up one dir, main page]

WO2019155570A1 - 視線推定装置、視線推定方法、および記録媒体 - Google Patents

視線推定装置、視線推定方法、および記録媒体 Download PDF

Info

Publication number
WO2019155570A1
WO2019155570A1 PCT/JP2018/004370 JP2018004370W WO2019155570A1 WO 2019155570 A1 WO2019155570 A1 WO 2019155570A1 JP 2018004370 W JP2018004370 W JP 2018004370W WO 2019155570 A1 WO2019155570 A1 WO 2019155570A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
image
line
sight
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/004370
Other languages
English (en)
French (fr)
Inventor
雄介 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2018/004370 priority Critical patent/WO2019155570A1/ja
Priority to JP2019570215A priority patent/JP7040539B2/ja
Publication of WO2019155570A1 publication Critical patent/WO2019155570A1/ja
Anticipated expiration legal-status Critical
Priority to JP2022033164A priority patent/JP7255721B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to a gaze estimation apparatus, a gaze estimation method, and a recording medium, and more particularly, to a gaze estimation apparatus that estimates a gaze of a person included in a captured image.
  • a person's line of sight (the direction in which the eyes are looking) can be an important clue in analyzing the person's actions and intentions. For example, an object or event that the person is gazing at can be identified from the line of sight of the person.
  • a technique for estimating a person's line of sight in particular, a technique for estimating a person's line of sight using an image including a person's face (hereinafter referred to as a “face image”) has been developed.
  • Patent Documents 1 to 3 and Non-Patent Documents 1 and 2 describe techniques for estimating a line of sight based on a face image.
  • Patent Document 1 discloses a feature-based method using a feature point (image feature point) included in a face image.
  • Non-Patent Document 1 discloses a method for estimating a line of sight from a face image including only one eye.
  • Patent Document 2 and Non-Patent Document 2 disclose examples of “appearance-based gaze estimation”, respectively.
  • the relationship between a face and a line of sight is learned by performing deep learning based on a CNN (Convolutional neural network) model using a given face image data set.
  • CNN Convolutional neural network
  • the related technology described above has a problem that the accuracy of gaze estimation varies depending on the shape of the human eye.
  • the technique disclosed in Patent Document 2 can accurately estimate the line of sight of a person with large eyes, but may cause a problem that the line of sight of a person with small eyes cannot be estimated with high accuracy. That is, with the related technique described above, it is difficult to estimate the line of sight with high accuracy regardless of the feature amount (for example, size and inclination) related to the shape of the eye.
  • the present invention has been made in view of the above problems, and an object of the present invention is to estimate a person's line of sight with high accuracy regardless of the shape of the person's eyes.
  • An eye gaze estimation apparatus includes an image acquisition unit that acquires an image including a human face, an eye detection unit that detects a human eye from the image, and a feature amount related to the detected eye shape. And a feature amount calculating means for calculating a partial image including the detected eye from the image, and in the extracted partial image, at least one feature amount related to the shape of the eye is a feature amount reference Image conversion means for converting the shape of the partial image so as to be equal to, gaze estimation means for estimating the gaze of the person using the transformed partial image, and outputting information on the estimated gaze Output means.
  • a gaze estimation method includes obtaining an image including a human face, detecting a human eye from the image, and calculating a feature amount related to the detected eye shape.
  • a partial image including the detected eye is extracted from the image, and in the extracted partial image, the at least one feature amount related to the shape of the eye is equal to a feature amount reference. Converting the shape of the partial image, estimating the line of sight of the person using the converted partial image, and outputting information of the estimated line of sight.
  • a non-temporary recording medium includes obtaining an image including a person's face, detecting a person's eyes from the image, and a feature amount related to the detected eye shape. Calculating and extracting a partial image including the detected eye from the image, and in the extracted partial image, at least one feature amount related to the shape of the eye is equal to a reference of the feature amount And converting the shape of the partial image, estimating the line of sight of the person using the converted partial image, and outputting information of the estimated line of sight to a computer device.
  • a program to be executed is recorded.
  • the line of sight of a person can be estimated with high accuracy regardless of the shape of the person's eyes.
  • FIG. 1 is a block diagram illustrating a configuration of a line-of-sight estimation apparatus 100 according to the first embodiment.
  • the gaze estimation apparatus 100 is an apparatus for estimating the gaze of a person included in an image. As shown in FIG. 1, the gaze estimation apparatus 100 includes at least an image acquisition unit 110, an eye detection unit 120, a feature amount calculation unit 130, a normalization unit 140, a gaze estimation unit 150, and an output unit 160. Including.
  • the line-of-sight estimation apparatus 100 may include other components not shown.
  • the image acquisition unit 110 acquires image data including a person's face.
  • the image acquisition unit 110 may acquire image data transmitted from another device.
  • the other device here may be an imaging device such as a monitoring camera or a built-in camera of an electronic device, or may be a storage device such as a database in which image data is recorded.
  • the image acquisition unit 110 outputs the acquired image data to the eye detection unit 120.
  • the image data acquired by the image acquisition unit 110 is expressed by luminance values of a plurality of pixels.
  • the number of pixels, the number of colors (number of color components), the number of gradations, and the like included in the image data are not limited to specific numerical values.
  • the image acquisition unit 110 may acquire only image data having a predetermined number of pixels and colors, but may not limit the number of pixels and colors of the image data.
  • the image data may be a still image or a moving image. For convenience of explanation, the image data acquired by the image acquisition unit 110 will be referred to as “input image” below.
  • each input image includes the face of only one person.
  • the image acquisition unit 110 may divide the input image into a plurality of input images each including only one face.
  • the image acquisition unit 110 generates a face image from the acquired input image, and supplies the generated face image to the eye detection unit 120 and the normalization unit 140.
  • a face image refers to an image including part or all of a person's face. In other words, the face image is obtained by removing elements (background, object, person's body, etc.) other than the person's face from the input image.
  • FIG. 2 shows a face image 400 that the image acquisition unit 110 generates from an input image.
  • the face image 400 shown in FIG. 2 includes facial parts (eyebrows, nose, and mouth) in addition to the eyes. However, it is sufficient that the face image 400 includes at least one eye. This is because in the present embodiment, only an eye region image (described later) extracted from the face image 400 is used.
  • the input image is composed of a plurality of images (frames).
  • the image acquisition unit 110 extracts only one or more images including a human face from the moving image, and detects the eyes using the extracted one or more images as a face image.
  • Unit 120 and normalization unit 140 may be supplied. With this configuration, the line-of-sight estimation apparatus 100 can improve the efficiency of the process (described later) for estimating the line of sight.
  • the image acquisition unit 110 may supply the input image as it is as a face image to the eye detection unit 120 and the normalization unit 140, or process the processed input image as a face image.
  • An image may be supplied to the eye detection unit 120 and the normalization unit 140.
  • the image acquisition unit 110 detects a human face from the input image, extracts a part of the input image including the detected human face as a face image, and extracts the extracted face image as an eye. You may supply to the detection part 120 and the normalization part 140.
  • the face image may be a monochrome image or a color image. That is, the face image may be composed of pixels including a plurality of color components such as R (red), G (green), and B (blue).
  • the image acquisition unit 110 may convert the face image so that the number of colors or the number of gradations becomes a predetermined value, and supply the converted face image to the eye detection unit 120 and the normalization unit 140. Good.
  • the image acquisition unit 110 may convert a face image that is a color image into a single-color face image represented by a single component gray scale. This is because color information (saturation, hue) included in the face image is not used in the present embodiment.
  • the face image thus converted is also simply referred to as “face image” hereinafter.
  • the eye detection unit 120 detects eyes from the face image 400 (see FIG. 2) supplied from the image acquisition unit 110.
  • the eye detection unit 120 detects the center of the pupil of the eye detected from the face image 400 and a plurality of points on the eye outline.
  • the plurality of points on the center of the pupil and the outline of the eyes detected by the eye detection unit 120 are hereinafter referred to as eye feature points.
  • the eye detection unit 120 specifies four points, that is, the inner eye angle, the outer eye angle, the upper eyelid center, and the lower eyelid center as eye feature points in addition to the center of the pupil.
  • the inner eye angle (so-called eye head) is the point on the inner side of the face among the two points where the upper and lower eyelids meet at both ends of the outline of the eye.
  • Outer eye angle (so-called eye corner) refers to the point on the outside of the face among the two points where the upper and lower eyelids meet.
  • the center of the upper eyelid is the center in the lateral direction of the boundary between the upper eyelid and the eyeball.
  • the center of the lower eyelid is the center in the lateral direction of the boundary between the lower eyelid and the eyeball.
  • the eye detection unit 120 may use any known method such as the method described in Patent Document 3 in order to detect eye feature points.
  • the eye detection unit 120 may use general machine learning such as supervised learning. In this configuration, the eye detection unit 120 learns the features and positions of the pupil and eye contours in the faces of a plurality of persons using the given face image 400.
  • the eye detection unit 120 outputs information about eye feature points detected from the face image 400 to the feature amount calculation unit 130.
  • the feature amount calculation unit 130 Based on the information about the eye feature points detected by the eye detection unit 120, the feature amount calculation unit 130 indicates an index (hereinafter, referred to as this index) indicating the feature related to the shape of the eye included in the face image 400 (see FIG. 2). , “Feature amount related to eye shape” or simply “feature amount”).
  • FIG. 3 is an enlarged view of a part of the face image 400 shown in FIG.
  • the face image 410 shown in FIG. 3 includes the left eye in the face image 400 shown in FIG. 2, and the face image 420 includes the right eye in the face image 400 shown in FIG.
  • the point I is the inner eye angle
  • the point O is the outer eye angle
  • the point H is the center of the upper eyelid
  • the point L is the center of the lower eyelid.
  • Point P is the center of the pupil.
  • the feature amount calculation unit 130 may use the eye height in the face images 410 and 420 as the feature amount related to the eye shape.
  • the eye height y is the distance between the center H of the upper eyelid and the center L of the lower eyelid.
  • the center H of the upper eyelid and the center L of the lower eyelid are detected by the eye detection unit 120. Therefore, the feature amount calculation unit 130 can calculate the eye height y using the information of the eye feature points (including the points H and L) acquired from the eye detection unit 120.
  • An eye having a high (low) eye height y has a characteristic that it is generally said that the eye is large (thin).
  • the feature amount calculation unit 130 may use the average value of the heights of the left and right eyes as the feature amount, or may use both the heights of the left and right eyes as the feature amount.
  • the feature amount calculation unit 130 may use the eye width x in the face image 410 as the feature amount related to the eye shape.
  • the eye width x is the distance between the inner eye angle I (eye head) and the outer eye angle O (eye corner).
  • the inner eye angle I and the outer eye angle O of the eye are detected by the eye detection unit 120. Therefore, the feature amount calculation unit 130 can calculate the eye width x using the information about the eye feature points (including points I and O) acquired from the eye detection unit 120.
  • the feature amount calculation unit 130 may use an average value of the widths of the left and right eyes as the feature amount, or may use both the widths of the left and right eyes as the feature amount.
  • the feature amount calculation unit 130 may use the eye inclination ⁇ shown in the face image 420 of FIG. 3 as the feature amount related to the eye shape.
  • the feature amount calculation unit 130 firstly calculates a first line segment that passes through the center P of the left and right pupils, and a second line segment that passes through the inner eye angle I (eye) and the outer eye angle O (eye corner). calculate.
  • the feature-value calculation part 130 calculates inclination (theta) of the 2nd line segment with respect to a 1st line segment.
  • the feature amount calculation unit 130 may use an average value of the inclinations of the left and right eyes as the feature amount, or may use both the inclinations of the left and right eyes as the feature amount.
  • the feature amount calculation unit 130 may use the eye outline detected by the eye detection unit 120 (that is, the boundary between the upper and lower eyelids and the eyeball) as the feature amount.
  • the feature amount calculation unit 130 may calculate the plurality of feature amounts described above.
  • the feature amount calculation unit 130 may use both the eye height and the eye width as the feature amount related to the eye shape.
  • the feature amount related to the eye shape is not limited to the above-described example.
  • the feature amount calculation unit 130 may calculate another element related to the shape of the eye as one of the feature amounts.
  • the normalization unit 140 acquires the face image 400 (see FIG. 2) from the image acquisition unit 110. Then, the normalization unit 140 generates an eye region image (normalized face image) by performing normalization processing on the face image 400 using the feature amount information acquired from the feature amount calculation unit 130. To do.
  • the normalization unit 140 first determines four reference coordinates that define the size of the eye area image on the face image 400.
  • the normalization unit 140 calculates a distance w between the left and right pupil centers P on the face image 400 (hereinafter referred to as “inter-eye distance”). Since the center P of the left and right pupils is detected by the eye detection unit 120, the feature amount calculation unit 130 uses the information on the eye feature points (including the point P) acquired from the eye detection unit 120 to determine the distance. w can be calculated.
  • the normalization unit 140 calculates the width X0 and the height Y0 of the eye region image according to the following equation (1).
  • the width X0 and the height Y0 of the eye region image are proportional to the distance w between the centers P of the left and right pupils.
  • k is a predetermined constant. k may be, for example, 0.75.
  • the normalization unit 140 sets four points separated from the center P of the pupil by ( ⁇ X0 / 2, ⁇ Y0 / 2) on the orthogonal coordinate system as the reference coordinates A to D of the eye area image.
  • FIGS. 4A and 4B generation of an eye region image by the normalization unit 140 will be described.
  • 4A shows face images 434 to 436 acquired by the normalization unit 140 from the eye detection unit 120.
  • FIG. 4B shows eye area images 437 to 439 generated by normalizing the face images 434 to 436.
  • illustration of facial parts other than eyes is omitted.
  • the face images 434 to 436 shown in FIG. 4 (a) include different human faces.
  • the sizes of the eyes included in the face images 434 to 436 are different from each other. Specifically, the eyes included in the face image 435 are large, and the eyes included in the face image 436 are small.
  • the eyes included in the face image 434 are smaller than the face image 435 but larger than the face image 436.
  • the normalization unit 140 first determines reference coordinates A ′ to D ′ that define the sizes of the face images 434 to 436 based on the feature amounts related to the shape of the eyes included in the face images 434 to 436.
  • the normalization unit 140 performs normalization processing on the face images 434 to 436 so that the feature amount related to the eye shape (the eye size in the present embodiment) is leveled. Thereby, eye area images 437 to 439 shown in FIG. 4B are generated from the face images 434 to 436 shown in FIG.
  • the normalization process includes, for example, affine transformation for the face images 434 to 436. A specific example of normalization processing executed by the normalization unit 140 will be described later.
  • the original face images 434 to 436 may be composed of 640 ⁇ 480 pixels, while the eye area images 437 to 439 may be composed of 50 ⁇ 50 pixels.
  • the normalization unit 140 can calculate the pixel values of the eye region images 437 to 439 using any known method such as a bilinear method (linear interpolation method) or a bicubic method.
  • Example 1 When the feature amount is eye height>
  • the normalization unit 140 normalizes the face image so that the position and height of the eyes are constant.
  • J1 in the above equation (2) depends on the eye height y in the face images 434 to 436.
  • J1 is represented by the following formula (4).
  • J1 j0 ⁇ y ⁇ w (4)
  • j0 is a ratio between the eye height y0 and the eye area image height Y0 in the eye area images 437 to 439, and is a constant value.
  • j0 may be 5.0, for example.
  • w is the above-described distance between eyes (see FIG. 3).
  • the height Y of the face images 434 to 436 is expressed as the following expression (5) according to the expressions (1), (2), and (4).
  • Y k ⁇ j0 ⁇ y (5)
  • the normalization unit 140 determines the height Y of the face images 434 to 436.
  • J2 1. That is, X is represented by the following formula (6).
  • X w ⁇ k (6)
  • the normalization unit 140 determines four reference coordinates A ′ to D ′ of the face images 434 to 436 having the height Y and the width X around the center P of the pupil.
  • the normalization unit 140 may rotate the eye region images 437 to 439 so that the line segment connecting the centers P of the left and right pupils is horizontal. Specifically, if the slope of the line segment connecting the centers P of the left and right pupils is ⁇ (see the face image 420 in FIG. 3), the normalization unit 140 converts the eye region images 437 to 439 to the eye regions. The center of rotation of the pupil P is rotated by ⁇ .
  • Example 2 When the feature amount is the width of the eye>
  • the normalization unit 140 normalizes the face image so that the eye width is constant.
  • the normalization unit 140 first determines a set of parameters (X0, Y0) that defines the size of the eye area image, as in the case where the feature amount is the eye height.
  • X be the width of the face image.
  • the width X of the face image is determined to be proportional to the inter-eye distance w (see FIG. 3).
  • the ratio between the width X0 of the eye area image and the eye width x0 in the eye area image is set to j1.
  • the width X of the face images 434 to 436 is expressed by the following equation (7).
  • X k ⁇ j1 ⁇ x (7)
  • J1 in Expression (7) is a ratio between the eye width x0 and the eye area image width X0 in the eye area images 437 to 439, and is a constant value.
  • j1 may be 1.25.
  • J2 in Equation (3) described above depends on the eye width x in the face images 434 to 436.
  • J2 is represented by the following formula (8).
  • J2 j1 ⁇ x ⁇ w
  • J1 in the equation (8) is a ratio between the eye width x0 and the eye region image width X0 in the eye region images 437 to 439, and is a constant value.
  • j1 may be 1.25.
  • w is the above-described distance between eyes (see FIG. 3).
  • the normalization unit 140 determines the width X of the face images 434 to 436.
  • J1 1. That is, Y is represented by the following formula (9).
  • the normalization unit 140 determines four reference coordinates A ′ to D ′ of the face images 434 to 436 having the height Y and the width X around the center P of the pupil. Further, as in the case where the feature amount is the eye height, the normalization unit 140 may rotate the eye region image so that the line segment connecting the centers P of the left and right pupils is horizontal.
  • Example 3 When the feature amount is an eye inclination> The normalizing unit 140 normalizes the face image so that the eye inclination ⁇ (see FIG. 3) is constant.
  • the normalization unit 140 first calculates reference coordinates that define the size of the eye region image, as in the case where the feature amount is the eye height. Next, the normalization unit 140 calculates, in the face image, a first line segment that connects the centers P of the left and right pupils, and a second line segment that connects the eyes and the outer eye angles.
  • the inclination angle of the first line segment with respect to the horizontal is ⁇
  • the inclination angle of the second line segment with respect to the first line segment is ⁇ .
  • the normalization unit 140 normalizes the coordinate system of the face image by rotating it by an angle ⁇ ( ⁇ + ⁇ ) with the center of the pupil as the rotation center. Thereby, the inclination of the eyes is constant between the eye region images.
  • the line-of-sight estimation unit 150 does not need to let the line-of-sight estimator 151 learn the relationship between the change in the size or inclination of the eyes and the line of sight. Therefore, the line-of-sight estimation unit 150 can estimate the line of sight more accurately using the eye region image.
  • the line-of-sight estimation unit 150 estimates the line of sight of a person from the face orientation and the eye (pupil) orientation included in the face image.
  • the line of sight indicates the direction (more precisely, the direction) in which a person's eyes are looking.
  • the gaze estimation unit 150 estimates the gaze from the eye area image normalized by the normalization unit 140.
  • the gaze estimation unit 150 can use any known gaze estimation method.
  • the line-of-sight estimation unit 150 causes the line-of-sight estimator 151 to learn the relationship between the appearance of the face and the line of sight using a face image (face image with correct answer) in which the line of sight is specified in advance.
  • the gaze estimation unit 150 estimates the gaze using the learned gaze estimator 151.
  • the gaze estimation unit 150 outputs gaze estimation result data to the output unit 160.
  • the line-of-sight estimator 151 calculates a line-of-sight vector (g x , g y ) indicating which direction the line of sight is directed using the following equation (10).
  • g x satisfies ⁇ 90 ⁇ g x ⁇ 90 [deg]
  • g y satisfies ⁇ 90 ⁇ g y ⁇ 90 [deg].
  • u x and u y are learned.
  • F shown in Expression (10) is an image feature amount (scalar), and (u x , u y ) is a weight vector.
  • the line-of-sight vector (g x , g y ) represents a relative direction with respect to the front of the face. Therefore, the direction in which the photographed person is looking with eyes is not specified only by the line-of-sight vector (g x , g y ), but is specified by the line-of-sight vector (g x , g y ) and the direction of the person's face.
  • the line-of-sight estimator 151 may use the camera direction as a reference instead of using the front of the face as a reference.
  • the line-of-sight vector (g x , g y ) (0, 0).
  • the image feature amount f indicates the direction and magnitude of the luminance change in the eye area with a predetermined number of dimensions (for example, several hundred to several thousand).
  • the image feature amount f relates to the gradient of the luminance of the image.
  • HOG Heistograms of Oriented Gradients
  • This image feature amount f is also expressed by a column vector having a predetermined number of elements.
  • the weight vectors u x and u y are row vectors having the same number of elements as the image feature amount f. Therefore, the line-of-sight estimator 151 can calculate the inner product of the image feature amount f and the weight vectors u x and u y .
  • the weight vectors u x and u y can be learned by a well-known method such as support vector regression (Support Vector Regression, SVR) or linear regression by the least square method.
  • the output unit 160 outputs data indicating the gaze estimated by the gaze estimation unit 150 (hereinafter also referred to as “gaze data”).
  • the line-of-sight data represents the direction indicated by the line of sight determined by the line-of-sight estimation unit 150 according to a predetermined rule.
  • the output by the output unit 160 may be, for example, supplying the line-of-sight data to another device such as a display device, or writing the line-of-sight data to a recording medium included in the line-of-sight estimation apparatus 100. .
  • the configuration of the gaze estimation apparatus 100 is as described above.
  • the line-of-sight estimation apparatus 100 having such a configuration operates as described below, for example.
  • the specific operation of the line-of-sight estimation apparatus 100 is not limited to the operation example described here.
  • FIG. 5 is a flowchart illustrating a gaze estimation method executed by the gaze estimation apparatus 100 according to the present embodiment.
  • the line-of-sight estimation apparatus 100 estimates the line of sight from the face image by sequentially executing the processing of each step shown in FIG. 5 according to the flow.
  • the line-of-sight estimation apparatus 100 can start the processing shown in FIG. 5 at an appropriate timing such as a timing designated by the user or an input image transmitted from another apparatus.
  • the image data input to the line-of-sight estimation apparatus 100 includes a human face.
  • the coordinates on the image are represented by an orthogonal coordinate system having a predetermined position (for example, the center of the image) as the origin.
  • step S11 shown in FIG. 5 the image acquisition unit 110 acquires an input image.
  • the image acquisition unit 110 generates one or a plurality of face images from the acquired input image.
  • Each face image includes the face of one person.
  • step S12 the eye detection unit 120 detects an eye included in the face image generated in step S11, and detects a feature point of the detected eye. Specifically, the eye detection unit 120 detects the iris center of the eye, the head of the eye, the corner of the eye, the center of the upper eyelid, and the center of the lower eyelid.
  • the feature amount calculation unit 130 calculates a feature amount related to the eye shape using the eye shape data calculated in step S12. For example, as described above, the feature amount calculation unit 130 calculates the eye height, the eye width, or the eye inclination as the feature amount related to the eye shape.
  • step S14 the normalization unit 140 extracts an eye region image from the face image generated in step S11. Then, the normalization unit 140 normalizes the eye region image using the feature amount calculated in step S13.
  • step S15 the line-of-sight estimation unit 150 estimates the line of sight of a person using the line-of-sight estimator 151 that has performed machine learning in advance.
  • step S ⁇ b > 16 the output unit 160 outputs line-of-sight data indicating the line of sight (g x , g y ) calculated by the line-of-sight estimation unit 150.
  • the line-of-sight data is visualized by being output to a display device (not shown), for example.
  • the line-of-sight data may be displayed as a numerical value, or may be displayed as an arrow indicating the line of sight on the face image.
  • the line-of-sight estimation unit 150 may estimate the face direction by using a known face orientation estimation technique.
  • the gaze estimation unit 150 may use the face direction estimated in this way as a reference.
  • Modification 2 The user may input feature points such as the center of the right eye and the left eye and an eye region image. In this case, the line-of-sight estimation apparatus 100 does not need to detect feature points and does not need to generate an eye area image.
  • the shape of the eye area image is not necessarily limited to a rectangle.
  • a part of the face that is, a part that does not directly affect the gaze estimation (for example, including eyebrows or nose) may be excluded.
  • the eye region image does not necessarily include only one eye (left eye or right eye).
  • the eye area image may include both eyes.
  • the visual line learning method by the visual line estimator 151 is not limited to the machine learning described above.
  • the line-of-sight estimator 151 may learn a non-linear function for estimating the line of sight using a collective learning algorithm such as a random forest.
  • the use of the line of sight estimated by the line-of-sight estimation apparatus 100 is not particularly limited.
  • the gaze estimation apparatus 100 may be applied to a system that estimates the gaze of a person imaged by a surveillance camera installed in a store and determines a suspicious person from the estimated gaze.
  • the line-of-sight estimation apparatus 100 may be applied to a system that estimates a user's line of sight with respect to a screen on which information is displayed, and estimates the user's interest / interest based on the line-of-sight estimation result.
  • the line-of-sight estimation apparatus 100 may be applied to an electronic device that can be operated by movement of the line of sight, or may be applied to driving assistance for an automobile or the like.
  • the specific hardware configuration of the line-of-sight estimation apparatus 100 may include various variations and is not limited to a specific configuration.
  • an apparatus according to the present disclosure may be realized using software, and may be configured to share various processes using a plurality of hardware. The configuration of this modification will be described in detail in the second embodiment.
  • the line-of-sight estimation apparatus 100 generates a normalized eye area image so that a feature amount related to the shape of a person's eyes is constant, and estimates the line of sight of the person based on the normalized eye area image To do.
  • a robust estimation result can be stably obtained by using the eye region image obtained by normalizing the feature amount related to the eye shape in this manner as an image with a correct answer for machine learning.
  • the linear learning device such as the linear regression based on the least square method has a relatively low expression ability compared to the non-linear learning device, and thus the difference in the feature amount related to the shape of the eye tends to affect the accuracy of the gaze estimation.
  • the gaze estimation performance by the linear learner is dramatically improved. This is because, according to the configuration of the present embodiment, it is possible to estimate the line of sight with high accuracy regardless of the difference in the feature amount related to the eye shape.
  • FIG. 6 is a block diagram illustrating an example of a hardware configuration of a computer that realizes the line-of-sight estimation apparatus 300 according to the second embodiment.
  • the line-of-sight estimation apparatus 300 includes a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, a RAM (Random Access Memory) 303, a storage device 304, a drive device 305, a communication interface 306, and an input / output. And an interface 307.
  • the line-of-sight estimation apparatus 300 according to the second embodiment can be realized by the hardware configuration (or part thereof) shown in FIG.
  • the CPU 301 executes the program 308 read into the RAM 303.
  • the program 308 may be stored in the ROM 302.
  • the program 308 may be recorded on a recording medium 309 such as a memory card and read by the drive device 305, or may be transmitted from the external device to the line-of-sight estimation device 300 via the network 310.
  • the communication interface 306 exchanges data with an external device via the network 310.
  • the input / output interface 307 exchanges data with peripheral devices (such as an input device and a display device).
  • the communication interface 306 and the input / output interface 307 can function as components for acquiring or outputting data.
  • the components of the line-of-sight estimation apparatus 300 may be configured by a single circuit (processor) or a combination of a plurality of circuits.
  • the circuit here may be either dedicated or general-purpose.
  • a part of the gaze estimation apparatus according to the present disclosure may be realized by a dedicated processor, and the other part may be realized by a general-purpose processor.
  • the line-of-sight estimation apparatus 300 does not have to be realized by a single computer.
  • the components of the line-of-sight estimation apparatus 300 may be distributed among a plurality of computers.
  • the line-of-sight estimation apparatus 300 according to the present embodiment may be realized by the cooperation of a plurality of computer apparatuses using cloud computing technology.
  • the present invention has been described as an exemplary example of the above-described embodiments and modifications. However, the present invention is not limited to these embodiments and modifications.
  • the present invention may include embodiments to which various modifications or applications that can be understood by those skilled in the art are applied within the scope of the present invention.
  • the present invention may include an embodiment in which matters described in the present specification are appropriately combined or replaced as necessary. For example, the matters described using a specific embodiment can be applied to other embodiments as long as no contradiction arises.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

人物の目の形状によらず、人物の視線を高精度に推定する。画像取得部（１１０）は、人物の顔を含む画像を取得する。目検出部（１２０）は、画像から目を検出する。特徴量計算部（１３０）は、目の形状に関する特徴量、例えば目の大きさまたは傾き、を計算する。正規化部（１４０）は、各画像から目を含む領域を抽出して、目の形状に関する特徴量が平準化されるように、抽出した画像を変換する。視線推定部（１５０）は、変換した画像を用いて視線を推定する。

Description

視線推定装置、視線推定方法、および記録媒体
　本開示は、視線推定装置、視線推定方法、および記録媒体に関し、特に、撮影画像に含まれる人物の視線を推定する視線推定装置に関する。
　人物の視線（目が見ている方向）は、その人物の行動や意図を解析する上で重要な手掛かりとなり得る。例えば、人物の視線から、その人物が注視している物体または事象を特定することができる。人物の視線を推定する技術、特に、人物の顔を含む画像（以下「顔画像」と呼ぶ。）を用いて、人物の視線を推定する技術が開発されている。
　顔画像に基づいて視線を推定する技術が、例えば、特許文献１～３、および非特許文献１～２に記載されている。特許文献１は、顔画像に含まれる特徴点（画像特徴点）を用いて、視線を推定する方法（feature-based methods）を開示している。非特許文献１は、ただ１つの目を含む顔画像から、視線を推定する方法を開示している。
　また、特許文献２および非特許文献２は、「見た目に基づく視線の推定」（appearance-based gaze estimation）の例を、それぞれ開示している。例えば、特許文献２では、与えられた顔画像のデータセットを用いて、ＣＮＮ（Convolutional neural network）モデルに基づく深層学習を行うことにより、顔と視線の関係を学習する。
特許第４８２９１４１号公報 特開２００９－０５９２５７号公報 特許第５７７２８２１号公報 国際公開第２００８／００７７８１号 特開２０１４－２１００７６号公報 特開２００８－２１０２３９号公報 特開２０００－３３９４５７号公報
J. Wang, E. Sung, and R. Venkateswarlu, "Eye Gaze Estimation from a Single Image of One Eye," Proc. IEEE ICCV 2003, pp.I－136－143, 2003. X. Zhang, Y. Sugano, M. Fritz and A. Bulling, "Appearance-Based Gaze Estimation in the Wild," Proc. IEEE CVPR 2015, pp. 4511-4520, 2015.
　上述した関連する技術には、人物の目の形状の違いによって、視線の推定の精度が変動するという問題がある。例えば、特許文献２に開示された技術では、目の大きい人物の視線を精度よく推定できるが、目の小さい人物の視線を精度よく推定できないといった問題が生じ得る。すなわち、上述した関連する技術は、目の形状に関する特徴量（例えば、大きさ、傾き）によらず、視線を高精度に推定することが困難である。
　本発明は上記の課題に鑑みてなされたものであり、その目的は、人物の目の形状によらず、人物の視線を高精度に推定することにある。
　本発明の一態様に係わる視線推定装置は、人物の顔を含む画像を取得する画像取得手段と、前記画像から人物の目を検出する目検出手段と、前記検出された目の形状に関する特徴量を計算する特徴量計算手段と、前記画像から、前記検出された目を含む部分画像を抽出し、前記抽出された部分画像において、前記目の形状に関する少なくとも１つの特徴量が、特徴量の基準と等しくなるように、前記部分画像の形状を変換する画像変換手段と、前記変換された部分画像を用いて、前記人物の視線を推定する視線推定手段と、前記推定された視線の情報を出力する出力手段と、を備えている。
　本発明の一態様に係わる視線推定方法は、人物の顔を含む画像を取得することと、前記画像から人物の目を検出することと、前記検出された目の形状に関する特徴量を計算することと、前記画像から、前記検出された目を含む部分画像を抽出し、前記抽出された部分画像において、前記目の形状に関する少なくとも１つの特徴量が、特徴量の基準と等しくなるように、前記部分画像の形状を変換することと、前記変換された部分画像を用いて、前記人物の視線を推定することと、前記推定された視線の情報を出力することと、を含む。
　本発明の一態様に係わる、一時的でない記録媒体は、人物の顔を含む画像を取得することと、前記画像から人物の目を検出することと、前記検出された目の形状に関する特徴量を計算することと、前記画像から、前記検出された目を含む部分画像を抽出し、前記抽出された部分画像において、前記目の形状に関する少なくとも１つの特徴量が、特徴量の基準と等しくなるように、前記部分画像の形状を変換することと、前記変換された部分画像を用いて、前記人物の視線を推定することと、前記推定された視線の情報を出力することと、をコンピュータ装置に実行させるためのプログラムを記録している。
　本開示によれば、人物の目の形状によらず、人物の視線を高精度に推定することができる。
視線推定装置の構成の一例を示すブロック図である。 顔画像の一例を示す図である。 目領域画像の一例を示す図である。 （ａ）および（ｂ）は、目の大きさ（高さ）に基づく目領域画像の正規化の流れを説明する図である。 視線推定装置の動作の一例を示すフローチャートである。 コンピュータ装置によって実現される視線推定装置のハードウェア構成の一例を示すブロック図である。
　［第１実施形態］
　図１は、第１実施形態に係る視線推定装置１００の構成を示すブロック図である。視線推定装置１００は、画像に含まれる人物の視線を推定するための装置である。図１に示すように、視線推定装置１００は、画像取得部１１０と、目検出部１２０と、特徴量計算部１３０と、正規化部１４０と、視線推定部１５０と、出力部１６０とを少なくとも含む。視線推定装置１００は、図示しない他の構成要素を含んでもよい。
　［画像取得部１１０］
　画像取得部１１０は、人物の顔を含む画像データを取得する。例えば、画像取得部１１０は、他の装置から送信される画像データを取得してもよい。ここでいう他の装置とは、監視カメラまたは電子機器の内蔵カメラ等の撮像装置であってもよいし、画像データが記録されたデータベース等の記憶装置であってもよい。画像取得部１１０は、目検出部１２０へ、取得した画像データを出力する。
　画像取得部１１０が取得する画像データは、複数の画素の輝度値によって表現されている。画像データに含まれる画素数、色数（色成分の数）、および階調数などは、特定の数値に限定されない。画像取得部１１０は、あらかじめ決められた画素数および色数を有する画像データのみを取得してもよいが、画像データの画素数および色数を制限しなくてもよい。また、画像データは、静止画であってもよいし、動画であってもよい。説明の便宜上、以下では、画像取得部１１０が取得する画像データを「入力画像」と呼ぶ。
　以下の説明においては、入力画像はいずれも、ただ１人の人物の顔を含んでいることとする。１つの入力画像に複数の顔が含まれる場合、画像取得部１１０は、その入力画像を、それぞれ１つの顔のみを含む複数の入力画像に分割すればよい。
　画像取得部１１０は、取得した入力画像から、顔画像を生成し、生成した顔画像を、目検出部１２０および正規化部１４０に供給する。顔画像とは、人物の顔の一部又は全部を含む画像のことをいう。換言すれば、顔画像とは、入力画像から、人物の顔以外の要素（背景、物体、および人物の体等）を除いたものである。
　（顔画像）
　図２は、画像取得部１１０が入力画像から生成する顔画像４００を示す。図２に示す顔画像４００は、目の他にも、顔のパーツ（眉、鼻、および口）を含んでいる。しかしながら、顔画像４００は、少なくとも片目を含んでいれば十分である。本実施形態では、顔画像４００から抽出した目領域画像（後述）のみを使用するからである。
　入力画像が動画である場合、入力画像は複数の画像（フレーム）で構成される。この場合、ある再生期間の画像には顔が含まれるが、別の再生期間の画像には顔が含まれない可能性がある。そこで、入力画像が動画である場合、画像取得部１１０は、動画から、人物の顔を含む１または複数の画像のみを抽出して、抽出した１または複数の画像を、顔画像として、目検出部１２０および正規化部１４０に供給してもよい。この構成により、視線推定装置１００が視線を推定する処理（後述）を効率化することができる。
　一方、入力画像が静止画である場合、画像取得部１１０は、入力画像をそのまま、顔画像として、目検出部１２０と正規化部１４０に供給してもよいし、加工した入力画像を、顔画像として、目検出部１２０と正規化部１４０に供給してもよい。後者の構成では、例えば、画像取得部１１０は、入力画像から人物の顔を検出し、検出した人物の顔を含む入力画像の一部を、顔画像として抽出し、抽出した顔画像を、目検出部１２０および正規化部１４０に供給してもよい。
　顔画像はモノクロ画像またはカラー画像であってよい。すなわち、顔画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）などの複数の色成分を含む画素により構成されていてよい。この場合、画像取得部１１０は、色数または階調数が所定の数値になるように、顔画像を変換し、変換した顔画像を、目検出部１２０および正規化部１４０に供給してもよい。あるいは、画像取得部１１０は、カラー画像である顔画像を、単一成分のグレースケールで表わされる単色の顔画像に変換してもよい。本実施形態では、顔画像に含まれる色の情報（彩度、色相）を使用しないからである。このようにして変換された顔画像のことも、以後は単に「顔画像」と呼ぶ。
　［目検出部１２０］
　目検出部１２０は、画像取得部１１０から供給される顔画像４００（図２参照）から、目を検出する。そして、目検出部１２０は、顔画像４００から検出した目の瞳の中心と、目の輪郭線上の複数の点とを検出する。目検出部１２０が検出する、瞳の中心、および、目の輪郭線上の複数の点のことを、以下では目の特徴点と呼ぶ。
　本実施形態において、目検出部１２０は、目の特徴点として、瞳の中心に加えて、内眼角、外眼角、上瞼の中心、および、下瞼の中心の４点を特定する。内眼角（いわゆる目頭）とは、目の輪郭線の両端において、上下の瞼が相会する２点のうち、顔の内側にあるほうの点を言う。外眼角（いわゆる目尻）とは、上下のまぶたが相会する２点のうち、顔の外側にあるほうの点を言う。上瞼の中心とは、上瞼と眼球との境界の、横方向における中心である。また、下瞼の中心とは、下瞼と眼球との境界の、横方向における中心である。
　目検出部１２０は、目の特徴点を検出するために、例えば特許文献３に記載された方法など、周知のいかなる方法を使用してもよい。例えば、目検出部１２０は、教師あり学習などの一般的な機械学習を用いてもよい。この構成では、目検出部１２０は、与えられた顔画像４００を用いて、複数の人物の顔における瞳および目の輪郭線の特徴および位置を学習する。
　目検出部１２０は、顔画像４００から検出した目の特徴点の情報を、特徴量計算部１３０に出力する。
　［特徴量計算部１３０］
　特徴量計算部１３０は、目検出部１２０が検出した目の特徴点の情報に基づいて、顔画像４００（図２参照）に含まれる目の形状に関する特徴を示す指標（以下では、この指標を、「目の形状に関する特徴量」あるいは単に「特徴量」と呼ぶ）を計算する。
　（特徴量の例）
　図３を参照して、目の形状に関する特徴量の具体例を説明する。図３は、図２に示す顔画像４００の一部の拡大図である。図３に示す顔画像４１０は、図２に示す顔画像４００において左側の目を含み、顔画像４２０は、図２に示す顔画像４００において右側の目を含む。顔画像４１０、４２０において、点Ｉが内眼角であり、点Ｏが外眼角である。また、図３に示す顔画像４１０において、点Ｈが上瞼の中心であり、点Ｌが下瞼の中心である。そして、点Ｐが瞳の中心である。
　例えば、特徴量計算部１３０は、顔画像４１０、４２０における目の高さを、目の形状に関する特徴量としてもよい。図３の顔画像４１０に示すように、目の高さｙは、上瞼の中心Ｈと下瞼の中心Ｌとの間の距離である。上瞼の中心Ｈおよび下瞼の中心Ｌは、目検出部１２０によって検出されている。そこで、特徴量計算部１３０は、目検出部１２０から取得した目の特徴点（点Ｈ，Ｌを含む）の情報を用いて、目の高さｙを計算することができる。目の高さｙが高い（低い）目は、一般的に目が大きい（細い）といわれるような特徴を備えている。
　左右の目の大きさは、通常、微妙に異なる。そこで、特徴量計算部１３０は、左右の目の高さの平均値を特徴量としてもよいし、左右の目の高さの両方を特徴量としてもよい。
　あるいは、他の例では、特徴量計算部１３０は、顔画像４１０における目の幅ｘを、目の形状に関する特徴量としてもよい。図３の顔画像４１０に示すように、目の幅ｘは、目の内眼角Ｉ（目頭）と外眼角Ｏ（目尻）との間の距離である。目の内眼角Ｉおよび外眼角Ｏは、目検出部１２０によって検出されている。そこで、特徴量計算部１３０は、目検出部１２０から取得した目の特徴点（点Ｉ、Ｏを含む）の情報を用いて、目の幅ｘを計算することができる。なお、特徴量計算部１３０は、左右の目の幅の平均値を特徴量としてもよいし、左右の目の幅の両方を特徴量としてもよい。
　あるいはまた、他の例では、特徴量計算部１３０は、図３の顔画像４２０に示す目の傾きθを、目の形状に関する特徴量としてもよい。この場合、特徴量計算部１３０は、まず、左右の瞳の中心Ｐを通る第１の線分と、内眼角Ｉ（目頭）と外眼角Ｏ（目尻）とを通る第２の線分とを計算する。そして、特徴量計算部１３０は、第１の線分に対する第２の線分の傾きθを計算する。なお、特徴量計算部１３０は、左右の目の傾きの平均値を特徴量としてもよいし、左右の目の傾きの両方を特徴量としてもよい。
　あるいはまた、特徴量計算部１３０は、目検出部１２０が検出した目の輪郭線（すなわち、上下の瞼と眼球との境界）そのものを、特徴量としてもよい。
　あるいはまた、特徴量計算部１３０は、上述した複数の特徴量を計算してもよい。例えば、特徴量計算部１３０は、目の高さおよび目の幅の両方を、目の形状に関する特徴量としてもよい。しかしながら、目の形状に関する特徴量は、上述した例に限定されない。特徴量計算部１３０は、目の形状に関する他の要素を、特徴量の一つとして計算してもよい。
　［正規化部１４０］
　正規化部１４０は、画像取得部１１０から、顔画像４００（図２参照）を取得する。そして、正規化部１４０は、特徴量計算部１３０から取得した特徴量の情報を用いて、顔画像４００に対する正規化処理を実行することによって、目領域画像（正規化された顔画像）を生成する。
　正規化部１４０は、まず、顔画像４００上において、目領域画像の大きさを規定する４つの基準座標を決定する。
　正規化部１４０は、顔画像４００上における左右の瞳の中心Ｐの間の距離ｗ（以下、「目間距離」と呼ぶ）を計算する。目検出部１２０によって、左右の瞳の中心Ｐが検出されているので、特徴量計算部１３０は、目検出部１２０から取得した目の特徴点（点Ｐを含む）の情報を用いて、距離ｗを計算することができる。
　正規化部１４０は、例えば、以下の式（１）にしたがって、目領域画像の幅Ｘ０および高さＹ０を計算する。
Ｘ０＝Ｙ０＝ｗ×ｋ　・・・・　（１）
　式（１）によれば、目領域画像の幅Ｘ０および高さＹ０は、左右の瞳の中心Ｐの間の距離ｗに比例する。ｋは所定の定数である。ｋは、例えば０．７５であってよい。
　正規化部１４０は、瞳の中心Ｐから、直交座標系上で（±Ｘ０／２，±Ｙ０／２）だけ離れた４つの点を、目領域画像の基準座標Ａ～Ｄとして設定する。
　（正規化処理）
　図４の（ａ）および（ｂ）を参照して、正規化部１４０による目領域画像の生成について説明する。図４の（ａ）は、正規化部１４０が目検出部１２０から取得する顔画像４３４～４３６を示す。図４の（ｂ）は、顔画像４３４～４３６が正規化されることによって生成される目領域画像４３７～４３９を示す。なお、図４の（ａ）および（ｂ）では、目以外の顔のパーツ（眉など）の図示を省略している。
　図４の（ａ）に示す顔画像４３４～４３６は、それぞれ異なる人物の顔を含んでいる。顔画像４３４～４３６に含まれる目の大きさは、互いに異なる。具体的には、顔画像４３５に含まれる目は大きく、顔画像４３６に含まれる目は小さい。また、顔画像４３４に含まれる目は、顔画像４３５よりも小さいが、顔画像４３６よりも大きい。
　正規化部１４０は、まず、顔画像４３４～４３６に含まれる目の形状に係わる特徴量に基づいて、顔画像４３４～４３６の大きさを規定する基準座標Ａ´～Ｄ´を決定する。
　次に、正規化部１４０は、目の形状に関する特徴量（本実施形態では目の大きさ）が平準化されるように、顔画像４３４～４３６に対する正規化処理を行う。これにより、図４の（ａ）に示す顔画像４３４～４３６から、図４の（ｂ）に示す目領域画像４３７～４３９が生成される。正規化処理は、例えば、顔画像４３４～４３６に対するアフィン変換（affine transformation）を含む。正規化部１４０が実行する正規化処理の具体例を後述する。
　図４の（ｂ）に示す目領域画像４３７～４３９の高さＹ０と、図４の（ａ）に示す顔画像４３４～４３６の高さＹとの比をＪ１とおく。また、図４の（ｂ）に示す目領域画像４３７～４３９の幅Ｘ０と、図４の（ａ）に示す顔画像４３４～４３６の幅Ｘとの比をＪ２とおく。このとき、Ｙ０とＹとの関係は、以下の式（２）によって表される。また、Ｘ０とＸとの関係は、以下の式（３）によって表される。
Ｙ＝Ｊ１×Ｙ０　　・・・・　（２）
Ｘ＝Ｊ２×Ｘ０　　・・・・　（３）
　ここで、図４の（ｂ）に示す目領域画像４３７～４３９の画素サイズは、図４の（ａ）に示す顔画像４３４～４３６の画素サイズと一致してもよい。しかしながら、これらは一致している必要はない。例えば、元の顔画像４３４～４３６が６４０×４８０画素で構成されている一方、目領域画像４３７～４３９は５０×５０画素で構成されていてもよい。
　なお、目領域画像４３７～４３９の画素の位置を示す座標が整数ではない場合、つまり、顔画像４３４～４３６における画素と画素との間の位置を示す座標と対応している場合、正規化部１４０は、バイリニア法（bilinear method）（線形補間法）またはバイキュービック法（bicubic method）などの周知の任意の方法を用いて、目領域画像４３７～４３９の画素値を計算することができる。
　（正規化の具体例）
　＜例１：特徴量が目の高さである場合＞
　一例では、正規化部１４０は、目の位置および高さが一定になるように、顔画像を正規化する。
　この例では、上述した式（２）のＪ１は、顔画像４３４～４３６における目の高さｙに依存する。具体的に、Ｊ１は、以下の式（４）で表される。
Ｊ１＝ｊ０×ｙ÷ｗ　・・・・　（４）
　式（４）のｊ０は、目領域画像４３７～４３９における目の高さｙ０と目領域画像の高さＹ０との比であり、一定値である。ｊ０は、例えば５．０であってよい。式（４）のｗは、前述した目間距離（図３参照）である。
　したがって、式（１）、式（２）、および式（４）にしたがって、顔画像４３４～４３６の高さＹは、以下の式（５）のように表される。
Ｙ＝ｋ×ｊ０×ｙ　　・・・・　（５）
　式（５）に基づいて、正規化部１４０は、顔画像４３４～４３６の高さＹを決定する。また、本例では、Ｊ２＝１である。すなわち、Ｘは、以下の式（６）で表される。
Ｘ＝ｗ×ｋ　　　　　・・・・　（６）
　正規化部１４０は、瞳の中心Ｐを中心とし、高さＹ、幅Ｘを有する顔画像４３４～４３６の４つの基準座標Ａ´～Ｄ´を決定する。
　さらに、正規化部１４０は、左右の瞳の中心Ｐを結ぶ線分が水平になるように、目領域画像４３７～４３９を回転させても良い。具体的には、左右の瞳の中心Ｐを結ぶ線分の傾きがθ（図３の顔画像４２０参照）であるとすれば、正規化部１４０は、目領域画像４３７～４３９を、目の瞳の中心Ｐを回転中心として、θだけ回転させる。
　＜例２：特徴量が目の幅である場合＞
　他の例では、正規化部１４０は、目の幅が一定になるように、顔画像を正規化する。
　正規化部１４０は、まず、特徴量が目の高さである場合と同様に、目領域画像の大きさを規定するパラメータの組（Ｘ０，Ｙ０）を決定する。
　顔画像の幅をＸとする。本例では、顔画像の幅Ｘは、目間距離ｗ（図３参照）に比例するように決定される。目領域画像の幅Ｘ０と、目領域画像における目の幅ｘ０との比を、ｊ１とおく。顔画像４３４～４３６の幅Ｘは、以下の式（７）によって表される。
Ｘ＝ｋ×ｊ１×ｘ　　・・・・　（７）
　　式（７）のｊ１は、目領域画像４３７～４３９における目の幅ｘ０と目領域画像の幅Ｘ０との比であり、一定値である。ｊ１は、例えば１．２５であってよい。
　この例では、上述した式（３）のＪ２は、顔画像４３４～４３６における目の幅ｘに依存する。具体的に、Ｊ２は、以下の式（８）で表される。
Ｊ２＝ｊ１×ｘ÷ｗ　・・・・　（８）
　式（８）のｊ１は、目領域画像４３７～４３９における目の幅ｘ０と目領域画像の幅Ｘ０との比であり、一定値である。ｊ１は、例えば１．２５であってよい。式（８）のｗは、前述した目間距離（図３参照）である。
　式（７）に基づいて、正規化部１４０は、顔画像４３４～４３６の幅Ｘを決定する。また、本例では、Ｊ１＝１である。すなわち、Ｙは、以下の式（９）で表される。
Ｙ＝ｗ×ｋ　　　　　・・・・　（９）
　正規化部１４０は、瞳の中心Ｐを中心とし、高さＹ、幅Ｘを有する顔画像４３４～４３６の４つの基準座標Ａ´～Ｄ´を決定する。さらに、特徴量が目の高さである場合と同様に、正規化部１４０は、左右の瞳の中心Ｐを結ぶ線分が水平になるように、目領域画像を回転させてもよい。
　＜例３：特徴量が目の傾きである場合＞
　正規化部１４０は、目の傾きθ（図３参照）が一定になるように、顔画像を正規化する。
　正規化部１４０は、まず、特徴量が目の高さである場合と同様に、目領域画像の大きさを規定する基準座標を計算する。次に、正規化部１４０は、顔画像において、左右の瞳の中心Ｐを結ぶ第１の線分と、目頭と外眼角とを結ぶ第２の線分とを計算する。
　水平に対する第１の線分の傾き角度をφとし、第１の線分に対する第２の線分の傾き角度をθとする。正規化部１４０は、顔画像の座標系を、瞳の中心を回転中心として、角度－（θ＋φ）だけ回転させることによって正規化する。これにより、目領域画像の間では、目の傾きが一定になる。
　正規化部１４０が、例１～３で説明したような画像処理を実行することによって、目領域画像における目の大きさ（ｘ０、ｙ０）または傾き（θ）は一定になる。したがって、視線推定部１５０は、目の大きさまたは傾きの変化と、視線との関係を視線推定器１５１に学習させる必要がなくなる。そのため、視線推定部１５０は、目領域画像を用いて、視線をより精度よく推定することができる。
　［視線推定部１５０］
　視線推定部１５０は、顔画像に含まれる顔の向きおよび目（瞳）の向きから、人物の視線を推定する。視線は、人物の目が見ている方向（より正確には向き）を示す。具体的には、視線推定部１５０は、正規化部１４０が正規化した目領域画像から視線を推定する。視線推定部１５０は、周知である任意の視線の推定方法を用いることができる。
　本実施形態では、視線推定部１５０は、視線が予め特定されている顔画像（正解あり顔画像）を用いて、顔の見た目と視線との関係を視線推定器１５１に学習させる。視線推定部１５０は、学習した視線推定器１５１を用いて、視線を推定する。視線推定部１５０は、視線の推定結果のデータを、出力部１６０に出力する。
　（教師あり学習）
　視線推定器１５１は、以下の式（１０）を用いて、視線がどちらの方向を向いているかを示す視線ベクトル（ｇｘ，ｇｙ）を算出する。式（１０）において、通常、ｇｘは、－９０≦ｇｘ≦９０[deg]を満たすように、また、ｇｙは、－９０≦ｇｙ≦９０[deg]を満たすように、式（１０）のｕｘ、ｕｙが学習される。
Figure JPOXMLDOC01-appb-M000001
 　式（１０）に示すｆは画像特徴量（スカラー）であり、（ｕｘ、ｕｙ）は重みベクトルである。式（１０）に示す視線ベクトル（ｇｘ，ｇｙ）は、顔の正面に対する視線のずれの方向を表してもよい。この場合、視線が顔の正面を向いているならば、（ｇｘ，ｇｙ）＝（０，０）である。視線が真上を向いているならば、（ｇｘ，ｇｙ）＝（０，＋９０）である。視線が真下を向いているならば、（ｇｘ，ｇｙ）＝（０，－９０）である。また、視線が真横（右または左）を向いているならば、（ｇｘ，ｇｙ）＝（±９０，０）である。
　なお、視線ベクトル（ｇｘ，ｇｙ）は、顔の正面に対する相対的な方向を表す。したがって、撮影された人物が目で見ている方向は、視線ベクトル（ｇｘ，ｇｙ）のみによっては特定されず、視線ベクトル（ｇｘ，ｇｙ）と人物の顔の向きとによって特定される。
　視線推定器１５１は、顔の正面を基準とする代わりに、カメラの方向を基準としてもよい。この場合、目がカメラを真っすぐに見ているとき、すなわち視線とカメラの方向とが一致するとき、視線ベクトル（ｇｘ，ｇｙ）＝（０，０）になる。視線ベクトル（ｇｘ，ｇｙ）は、カメラの方向からの視線のずれを水平角と仰俯角とによって表す。例えば、視線がカメラの方向に対して、上に３０度を向いているとき、視線ベクトル（ｇｘ，ｇｙ）＝（０，＋３０）である。視線がカメラの方向に対して、横（右または左）に３０度を向いているとき、視線ベクトル（ｇｘ，ｇｙ）＝（±３０，０）である。
　画像特徴量ｆは、目領域における輝度の変化の方向と大きさとを、所定の次元数（例えば、数百～数千）で示す。一例では、画像特徴量ｆは、画像の輝度の勾配に関する。輝度の勾配に関する画像特徴量ｆとしては、例えば、ＨＯＧ（Histograms of Oriented Gradients）が知られている。この画像特徴量ｆは、所定の要素数の列ベクトルによっても表現される。
　重みベクトルｕｘ、ｕｙは、それぞれ、画像特徴量ｆと同じ要素数の行ベクトルである。したがって、視線推定器１５１は、画像特徴量ｆと重みベクトルｕｘ、ｕｙとの内積を算出することができる。重みベクトルｕｘ、ｕｙは、サポートベクトル回帰（Support Vector Regression, SVR）や最小二乗法による線形回帰などの周知の手法によって、学習することができる。
　［出力部１６０］
　出力部１６０は、視線推定部１５０により推定された視線を示すデータ（以下「視線データ」ともいう。）を出力する。視線データは、視線推定部１５０により決定された視線が示す方向を、所定の規則に従って表す。出力部１６０による出力は、例えば、視線データを表示装置等の他の装置に供給することであってもよいし、視線推定装置１００に含まれる記録媒体に視線データを書き込むことであってもよい。
　視線推定装置１００の構成は以上のとおりである。このような構成を備えた視線推定装置１００は、例えば、以下で説明するように動作する。ただし、視線推定装置１００の具体的な動作は、ここで説明する動作例に限定されない。
　［視線の推定方法（視線推定装置１００の動作例）］
　図５は、本実施形態に係る視線推定装置１００が実行する視線の推定方法を示すフローチャートである。視線推定装置１００は、図５に示す各ステップの処理を、フローにしたがって順番に実行することにより、顔画像から視線を推定する。
　視線推定装置１００は、例えば、ユーザによって指定されたタイミングや、他の装置から入力画像が送信されたタイミングなどの適当なタイミングで、図５に示される処理を開始することができる。この例において、視線推定装置１００に入力される画像データは、人物の顔を含む。画像上の座標は、所定の位置（例えば、画像の中心）を原点とする直交座標系によって表される。
　図５に示すステップＳ１１において、画像取得部１１０は、入力画像を取得する。画像取得部１１０は、取得した入力画像から、１つまたは複数の顔画像を生成する。各顔画像は、一人の人物の顔を含む。
　ステップＳ１２において、目検出部１２０は、ステップＳ１１において生成された顔画像に含まれる目を検出し、検出した目の特徴点を検出する。具体的には、目検出部１２０は、目の虹彩の中心と、目頭と、目尻と、上瞼の中心と、下瞼の中心とを検出する。
　ステップＳ１３において、特徴量計算部１３０は、ステップＳ１２において計算された目の形状のデータを用いて、目の形状に関する特徴量を計算する。例えば、特徴量計算部１３０は、前述したように、目の形状に関する特徴量として、目の高さ、目の幅、または目の傾きを計算する。
　ステップＳ１４において、正規化部１４０は、ステップＳ１１で生成された顔画像から、目領域画像を抽出する。そして、正規化部１４０は、ステップＳ１３において計算された特徴量を用いて、目領域画像を正規化する。
　ステップＳ１５において、視線推定部１５０は、事前に機械学習を行った視線推定器１５１を用いて、人物の視線を推定する。
　ステップＳ１６において、出力部１６０は、視線推定部１５０により算出された視線（ｇｘ，ｇｙ）を示す視線データを出力する。視線データは、例えば、表示装置（図示せず）に出力されることによって可視化される。視線データは、数値で表示されてもよいし、顔画像上において、視線を示す矢印で表示されてもよい。
　［変形例］
　本実施形態１に対して、例えば、以下のような変形例を適用することができる。ここで説明する変形例は、必要に応じて組み合わせることも可能である。
　（変形例１）
　視線推定部１５０は、周知の顔向き推定技術を用いることによって、顔の方向を推定してもよい。視線推定部１５０は、このように推定された顔の方向を基準として用いても良い。
　（変形例２）
　右目および左目の中心などの特徴点や目領域画像を、ユーザが入力してもよい。この場合、視線推定装置１００は、特徴点を検出する必要がなく、また目領域画像を生成する必要がない。
　（変形例３）
　目領域画像の形状は、必ずしも矩形に限定されない。例えば、目領域画像では、顔の一部、すなわち視線の推定に直接的に影響しない部分（例えば眉または鼻を含む）が、除外されていてもよい。また、目領域画像は、必ずしも片目（左目または右目）のみを含んでいなくてもよい。目領域画像は両目を含んでいてもよい。
　（変形例４）
　視線推定器１５１による視線の学習方法は、上述した機械学習に限定されない。例えば、視線推定器１５１は、ランダムフォレスト（random forest）等の集団学習アルゴリズムにより、視線を推定するための非線形関数を学習してもよい。
　（変形例５）
　視線推定装置１００により推定された視線の用途は特に限定されない。例えば、視線推定装置１００は、店舗に設置された監視カメラによって撮像された人物の視線を推定し、推定した視線から不審人物を判定するシステムに適用されてもよい。
　あるいは、視線推定装置１００は、情報が表示された画面に対するユーザの視線を推定して、視線の推定結果に基づいて、ユーザの興味・関心を推測するシステムに適用されてもよい。そのほかにも、視線推定装置１００は、視線の動きによって操作可能な電子機器に適用されてもよいし、自動車等の運転支援に適用されてもよい。
　（変形例６）
　視線推定装置１００の具体的なハードウェア構成には、さまざまなバリエーションが含まれてよく、特定の構成に限定されない。例えば、本開示に係わる装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。なお、本変形例の構成に関して、実施形態２で詳細に説明する。
　［本実施形態の効果］
　本実施形態に係わる視線推定装置１００は、人物の目の形状に関する特徴量が一定になるように正規化した目領域画像を生成し、正規化した目領域画像に基づいて、人物の視線を推定する。このようにして目の形状に関する特徴量を正規化した目領域画像を、機械学習のための正解あり画像として用いることで、頑健（ロバスト）な推定結果を安定して得ることができる。
　最小二乗法による線形回帰などの線形学習器は、非線形学習器と比べ、表現能力が相対的に低いので、目の形状に関する特徴量の差異が、視線の推定の精度に影響を与えやすい。本実施形態の構成を適用した場合、線形学習器による視線の推定性能が飛躍的に改善する。本実施形態の構成によれば、目の形状に関する特徴量の差異によらず、視線を高精度に推定することができるためである。
　［実施形態２］
　図６は、本実施形態２に係わる視線推定装置３００を実現するコンピュータのハードウェア構成の一例を示すブロック図である。視線推定装置３００は、ＣＰＵ（Central Processing Unit）３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、記憶装置３０４と、ドライブ装置３０５と、通信インタフェース３０６と、入出力インタフェース３０７とを含んで構成される。本実施形態２に係わる視線推定装置３００は、図６に示されるハードウェア構成（又はその一部）によって実現され得る。
　ＣＰＵ３０１は、ＲＡＭ３０３に読み込んだプログラム３０８を実行する。プログラム３０８は、ＲＯＭ３０２に記憶されていてもよい。また、プログラム３０８は、メモリカード等の記録媒体３０９に記録され、ドライブ装置３０５によって読み出されてもよいし、外部装置から、ネットワーク３１０を介して、視線推定装置３００へと送信されてもよい。通信インタフェース３０６は、ネットワーク３１０を介して外部装置とデータをやり取りする。入出力インタフェース３０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース３０６および入出力インタフェース３０７は、データを取得または出力するための構成要素として機能することができる。
　あるいは、本実施形態に係わる視線推定装置３００の構成要素は、単一の回路（circuitry）（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路は、専用又は汎用のいずれであってもよい。例えば、本開示に係る視線推定装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
　本実施形態において、視線推定装置３００は単体のコンピュータによって実現されている必要はない。視線推定装置３００の構成要素は、複数のコンピュータに分散して設けられてもよい。例えば、本実施形態に係わる視線推定装置３００は、クラウドコンピューティング技術を用いて、複数のコンピュータ装置の協働によって実現されてもよい。
　以上、本発明は、上述された実施形態及び変形例を模範的な例として説明した。しかしながら、本発明は、これらの実施形態及び変形例に限定されない。本発明は、本発明のスコープ内において、当業者が把握し得るさまざまな変形又は応用を適用した実施の形態を含み得る。また、本発明は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した実施の形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用し得る。
１００　　視線推定装置
３００　　視線推定装置
１１０　　画像取得部
１２０　　目検出部
１３０　　特徴量計算部
１４０　　正規化部
１５０　　視線推定部
１６０　　出力部

Claims (6)

  1. 　人物の顔を含む画像を取得する画像取得手段と、
    　前記画像から人物の目を検出する目検出手段と、
    　前記検出された目の形状に関する特徴量を計算する特徴量計算手段と、
    　前記画像から、前記検出された目を含む部分画像を抽出し、前記抽出された部分画像において、前記目の形状に関する少なくとも１つの特徴量が、特徴量の基準と等しくなるように、前記部分画像の形状を変換する画像変換手段と、
    　前記変換された部分画像を用いて、前記人物の視線を推定する視線推定手段と、
    　前記推定された視線の情報を出力する出力手段と、
    を備えたことを特徴とする視線推定装置。
  2. 　前記目検出手段は、前記人物の目の中心、および目の輪郭線上の特徴点を検出することを特徴とする、請求項１に記載の視線推定装置。
  3. 　前記特徴量計算手段は、前記検出された目の高さ、目の幅、および目の傾きのうちの少なくとも１つを、前記特徴量として計算することを特徴とする、請求項１または２に記載の視線推定装置。
  4. 　前記特徴量計算手段は、個人の目ごとに、前記特徴量を計算することを特徴とする、請求項１～３のいずれか１項に記載の視線推定装置。
  5. 　人物の顔を含む画像を取得することと、
    　前記画像から人物の目を検出することと、
    　前記検出された目の形状に関する特徴量を計算することと、
    　前記画像から、前記検出された目を含む部分画像を抽出し、前記抽出された部分画像において、前記目の形状に関する少なくとも１つの特徴量が、特徴量の基準と等しくなるように、前記部分画像の形状を変換することと、
    　前記変換された部分画像を用いて、前記人物の視線を推定することと、
    　前記推定された視線の情報を出力することと、を含む
    ことを特徴とする視線推定方法。
  6. 　人物の顔を含む画像を取得することと、
    　前記画像から人物の目を検出することと、
    　前記検出された目の形状に関する特徴量を計算することと、
    　前記画像から、前記検出された目を含む部分画像を抽出し、前記抽出された部分画像において、前記目の形状に関する少なくとも１つの特徴量が、特徴量の基準と等しくなるように、前記部分画像の形状を変換することと、
    　前記変換された部分画像を用いて、前記人物の視線を推定することと、
    　前記推定された視線の情報を出力することと、
    　をコンピュータ装置に実行させるためのプログラムを記録した、
    一時的でない記録媒体。
PCT/JP2018/004370 2018-02-08 2018-02-08 視線推定装置、視線推定方法、および記録媒体 Ceased WO2019155570A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/004370 WO2019155570A1 (ja) 2018-02-08 2018-02-08 視線推定装置、視線推定方法、および記録媒体
JP2019570215A JP7040539B2 (ja) 2018-02-08 2018-02-08 視線推定装置、視線推定方法、およびプログラム
JP2022033164A JP7255721B2 (ja) 2018-02-08 2022-03-04 視線推定装置、視線推定方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/004370 WO2019155570A1 (ja) 2018-02-08 2018-02-08 視線推定装置、視線推定方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2019155570A1 true WO2019155570A1 (ja) 2019-08-15

Family

ID=67549300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004370 Ceased WO2019155570A1 (ja) 2018-02-08 2018-02-08 視線推定装置、視線推定方法、および記録媒体

Country Status (2)

Country Link
JP (1) JP7040539B2 (ja)
WO (1) WO2019155570A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021195124A (ja) * 2019-12-16 2021-12-27 エヌビディア コーポレーション 入力としてグレアを使用する注視判定
US20220327734A1 (en) * 2021-04-08 2022-10-13 EMOCOG Co., Ltd. Apparatus and method for gaze tracking based on machine learning
JP7164231B1 (ja) 2021-06-01 2022-11-01 株式会社プロモデルスタジオ キャスティング装置、方法及びプログラム
CN118506430A (zh) * 2024-07-17 2024-08-16 江苏富翰医疗产业发展有限公司 视线估计方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP2012037934A (ja) * 2010-08-03 2012-02-23 Canon Inc 視線検出装置、視線検出方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6525635B2 (ja) 2015-02-25 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037934A (ja) * 2010-08-03 2012-02-23 Canon Inc 視線検出装置、視線検出方法及びプログラム
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021195124A (ja) * 2019-12-16 2021-12-27 エヌビディア コーポレーション 入力としてグレアを使用する注視判定
JP7696764B2 (ja) 2019-12-16 2025-06-23 エヌビディア コーポレーション 入力としてグレアを使用する注視判定
US20220327734A1 (en) * 2021-04-08 2022-10-13 EMOCOG Co., Ltd. Apparatus and method for gaze tracking based on machine learning
JP2024513497A (ja) * 2021-04-08 2024-03-25 イモコグ インク． 機械学習ベースの視線追跡装置および方法
JP7645572B2 (ja) 2021-04-08 2025-03-14 イモコグ インク． 機械学習ベースの視線追跡装置および方法
US12412296B2 (en) * 2021-04-08 2025-09-09 EMOCOG Co., Ltd. Apparatus and method for gaze tracking based on machine learning
JP7164231B1 (ja) 2021-06-01 2022-11-01 株式会社プロモデルスタジオ キャスティング装置、方法及びプログラム
JP2022184465A (ja) * 2021-06-01 2022-12-13 株式会社プロモデルスタジオ キャスティング装置、方法及びプログラム
CN118506430A (zh) * 2024-07-17 2024-08-16 江苏富翰医疗产业发展有限公司 视线估计方法及系统

Also Published As

Publication number Publication date
JP7040539B2 (ja) 2022-03-23
JPWO2019155570A1 (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
US12142076B2 (en) Facial authentication device, facial authentication method, and program recording medium
US11232585B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
Sánchez et al. Differential optical flow applied to automatic facial expression recognition
JP2008194146A (ja) 視線検出装置及びその方法
JPWO2010137157A1 (ja) 画像処理装置、方法、プログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP7040539B2 (ja) 視線推定装置、視線推定方法、およびプログラム
US20230360433A1 (en) Estimation device, estimation method, and storage medium
JP4569186B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
Azzopardi et al. Fast gender recognition in videos using a novel descriptor based on the gradient magnitudes of facial landmarks
JP7255721B2 (ja) 視線推定装置、視線推定方法、およびプログラム
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2025062846A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2025191724A1 (ja) 情報処理装置、情報処理方法及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18904962

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019570215

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18904962

Country of ref document: EP

Kind code of ref document: A1