[go: up one dir, main page]

WO2022185436A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2022185436A1
WO2022185436A1 PCT/JP2021/008105 JP2021008105W WO2022185436A1 WO 2022185436 A1 WO2022185436 A1 WO 2022185436A1 JP 2021008105 W JP2021008105 W JP 2021008105W WO 2022185436 A1 WO2022185436 A1 WO 2022185436A1
Authority
WO
WIPO (PCT)
Prior art keywords
keypoint
image
learning
score
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/008105
Other languages
English (en)
French (fr)
Inventor
竜一 赤司
貴裕 戸泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2021/008105 priority Critical patent/WO2022185436A1/ja
Priority to JP2023503250A priority patent/JP7521682B2/ja
Priority to US17/639,952 priority patent/US11967138B2/en
Publication of WO2022185436A1 publication Critical patent/WO2022185436A1/ja
Anticipated expiration legal-status Critical
Priority to US18/495,386 priority patent/US12190571B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Definitions

  • This disclosure relates to the technical field of an information processing device, an information processing method, and a recording medium capable of extracting key points (that is, feature points) of an object from an image, for example.
  • Patent Document 1 describes an example of an information processing device capable of extracting key points (that is, feature points) of an object from an image. Specifically, Patent Literature 1 describes a three-dimensional face shape estimation apparatus that acquires face information indicating the positions of feature points on the face of a subject from an image in which the subject is captured.
  • Patent Documents 2 to 6 are listed as prior art documents related to this disclosure.
  • An object of this disclosure is to provide an information processing device, an information processing method, and a recording medium aimed at improving the technology described in the prior art document.
  • One aspect of the information processing apparatus includes extraction means for extracting a keypoint of an object from an input image as a target keypoint; and calculating means for calculating a score of the input image from which the target keypoint is extracted.
  • a keypoint of an object is extracted as a target keypoint from an input image, and an index value relating to the reliability of the target keypoint is calculated as the target keypoint based on the target keypoint. is calculated as the score of the extracted input image.
  • a computer extracts a keypoint of an object from an input image as a target keypoint, and based on the target keypoint, calculates an index value related to the reliability of the target keypoint as the target keypoint.
  • a recording medium recording a computer program for executing an information processing method for calculating a score of the input image from which keypoints are extracted.
  • FIG. 1 is a block diagram showing the overall configuration of the keypoint extraction system of the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the keypoint extraction device of the first embodiment.
  • FIG. 3 is a flow chart showing the flow of keypoint extraction operation performed by the keypoint extraction device of the first embodiment.
  • FIG. 4 is a plan view showing an example of iris key points extracted from a person image.
  • FIG. 5 is a block diagram showing the configuration of the keypoint extraction device of the second embodiment.
  • FIG. 6 is a block diagram showing the configuration of the keypoint extraction device of the third embodiment.
  • FIG. 7 is a graph showing the relationship between the number of learning image samples and the image score SC of the learning image.
  • FIG. 8 is a block diagram showing the configuration of the keypoint extraction device of the fourth embodiment.
  • FIG. 9 shows an example of learning data.
  • FIG. 10 is a block diagram showing the configuration of the keypoint extraction device of the fifth embodiment.
  • FIG. 11 is a block diagram showing the configuration of the
  • Embodiments of an information processing device, an information processing method, and a recording medium will be described below. Embodiments of an information processing apparatus, an information processing method, and a recording medium will be described below using the keypoint extraction system SYS.
  • the keypoint extraction system SYS is capable of extracting keypoints KP of objects from images.
  • the keypoint extraction system SYS extracts the keypoints KP of the person appearing in the person image IMG1 from the person image IMG1 generated by imaging a person (that is, a living body), which is an example of the object.
  • a person that is, a living body
  • An example that can be extracted will be described.
  • the keypoint extraction system SYS may be capable of extracting keypoints KP of arbitrary objects appearing in images from images in which arbitrary objects other than people appear.
  • An example of the object is a living body other than a human (for example, at least one of mammals such as dogs and cats, birds such as sparrows, reptiles such as snakes, amphibians such as frogs, and fish such as goldfish).
  • Another example of an object is an inanimate object.
  • An example of an inanimate object is a robot that imitates a person or an animal.
  • the keypoint extraction system SYS can extract, from the person image IMG1, the keypoint KP of the iris of the person reflected in the person image IMG1.
  • a keypoint extraction system SYS may be used as an iris authentication system.
  • An iris authentication system is a system that can authenticate a person using an iris. For example, the iris authentication system extracts the feature amount of the iris of the person appearing in the person image IMG1 based on the iris key point KP. For example, the iris authentication system may identify a doughnut-shaped iris region in which the iris is reflected in the person image IMG1 based on the iris keypoint KP.
  • the iris authentication system may identify the iris region based on the keypoints KP capable of identifying the inner contour of the iris and the keypoints KP capable of identifying the outer contour of the iris. Further, the iris authentication system may delete the region overlapping the eyelid from the doughnut-shaped iris region based on the keypoint KP that can identify the edge of the eyelid. After that, the iris authentication system divides the iris region into a plurality of ring-shaped blocks, divides each block into a plurality of sectors, and calculates the feature amount of each sector (for example, the feature amount related to the iris pattern included in the plurality of sectors). and, for example, a luminance value) may be extracted.
  • the feature amount of each sector for example, the feature amount related to the iris pattern included in the plurality of sectors. and, for example, a luminance value
  • the iris authentication system may authenticate the person appearing in the person image IMG1 based on the extracted iris feature amount.
  • this disclosure clearly distinguishes between iris feature points (that is, keypoints KP) and iris feature quantities.
  • the keypoint extraction system SYS may be able to extract, from the person image IMG1, keypoints KP of arbitrary parts of the person appearing in the person image IMG1.
  • An example of an arbitrary body part of a person is a body part that can be used to authenticate a person.
  • Another example of a part that can be used for person authentication is a face that can be used for face authentication.
  • Another example of a part that can be used to authenticate a person is a finger engraved with a fingerprint that can be used for fingerprint authentication.
  • Another example of a part that can be used to authenticate a person is a hand engraved with a palmprint that can be used for palmprint authentication.
  • Another example of a part that can be used for person authentication is a finger on which a vein pattern that can be used for vein authentication is embossed.
  • FIG. 1 is a block diagram showing the overall configuration of the keypoint extraction system SYSa of the first embodiment.
  • the keypoint extraction system SYSa includes a camera 1 and a keypoint extraction device 2, which is a specific example of an "information processing device.”
  • the keypoint extraction system SYSa may comprise a single camera 1 or multiple cameras 1 .
  • the camera 1 and the keypoint extraction device 2 can communicate with each other via the communication network 3 .
  • Communication network 3 may include a wired communication network.
  • Communication network 3 may include a wireless communication network.
  • the camera 1 is an imaging device capable of imaging an imaging target range.
  • the camera 1 includes processing for generating an image in which the imaging target range is captured by imaging the imaging target range. Since the keypoint extraction system SYSa extracts the keypoints KP of the person's iris as described above, a person usually exists in the imaging target range.
  • the camera 1 generates a person image IMG1 in which the person is captured by capturing an image of the person.
  • the camera 1 captures an image of a person's face (especially, at least a part of the face including the iris and a portion around the iris), thereby At least a part of the human body image IMG1 is generated.
  • the camera 1 outputs the generated person image IMG1 to the keypoint extraction device 2 . Specifically, the camera 1 transmits the generated person image IMG1 to the keypoint extraction device 2 via the communication network 3 .
  • the keypoint extraction device 2 receives the person image IMG1 transmitted from the camera 1 via the communication network 3.
  • the keypoint extracting device 2 performs a keypoint extracting operation for extracting the keypoint KP of the iris of the person reflected in the person image IMG1 from the person image IMG1 received.
  • the keypoint extraction system SYSa may further include a lighting device 4.
  • the illumination device 4 can illuminate an imaging target range that can be imaged by the camera 1 with illumination light.
  • the lighting device 4 may be capable of illuminating the person existing in the imaging target range with illumination light.
  • the camera 1 may capture an image of the person illuminated by the illumination device 4 .
  • the keypoint extraction system SYSa does not have to include the illumination device 4 .
  • FIG. 2 is a block diagram showing the configuration of the keypoint extraction device 2 of the first embodiment.
  • the keypoint extraction device 2 includes an arithmetic device 21, a storage device 22, and a communication device 23. Furthermore, the keypoint extraction device 2 may comprise an input device 24 and an output device 25 . However, the keypoint extraction device 2 does not have to include at least one of the input device 24 and the output device 25 . Arithmetic device 21 , storage device 22 , communication device 23 , input device 24 and output device 25 may be connected via data bus 26 .
  • the computing device 21 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array).
  • Arithmetic device 21 reads a computer program.
  • arithmetic device 21 may read a computer program stored in storage device 22 .
  • the computing device 21 may read a computer program stored in a computer-readable non-temporary recording medium using a recording medium reading device (not shown) included in the keypoint extraction device 2 .
  • the computing device 21 may acquire (that is, download) a computer program from a device (not shown) arranged outside the keypoint extraction device 2 via the communication device 23 (or other communication device). or read).
  • Arithmetic device 21 executes the read computer program.
  • logical functional blocks for executing the operation for example, the above-described keypoint extraction operation
  • the arithmetic device 21 can function as a controller for realizing logical functional blocks for executing the operations (in other words, processing) that the keypoint extraction device 2 should perform.
  • FIG. 2 shows an example of logical functional blocks implemented within the arithmetic unit 21 to perform the keypoint extraction operation.
  • the arithmetic unit 21 includes an image conversion section 211 as a specific example of the 'image conversion means', a key point extraction section 212 as a specific example of the 'extraction means', and a 'calculation unit'.
  • the operations of the image conversion unit 211, the key point extraction unit 212, and the score calculation unit 213 will be described in detail later, but here a brief overview will be given.
  • the image conversion unit 211 can generate a converted image IMG2 by performing image conversion processing for converting the person image IMG1.
  • the keypoint extraction unit 212 can extract the keypoint KP of the object (the iris in the first embodiment) appearing in the person image IMG1 from the person image IMG1. Further, the keypoint extraction unit 212 can extract keypoints KP of the object (the iris in the first embodiment) appearing in the converted image IMG2 from the converted image IMG2.
  • the keypoint KP extracted from the person image IMG1 is referred to as "keypoint KP1”
  • the keypoint KP extracted from the transformed image IMG2 is referred to as "keypoint KP2”.
  • the keypoint KP1 is a specific example of a "target keypoint”
  • the keypoint KP2 is a specific example of a "conversion keypoint”.
  • the score calculation unit 213 converts the index value of the reliability of the keypoint KP1 extracted from the person image IMG1 into the score of the person image IMG1 (hereinafter referred to as “image score SC”). ) can be calculated as Note that the “reliability” in the present embodiment includes the keypoint KP1 actually extracted from the person image IMG1 by the keypoint extraction unit 212 and the keypoint KP1 to be extracted from the person image IMG1 by the keypoint extraction unit 212 (that is, It is an index value for evaluating the error from the correct value of the key point KP1).
  • the smaller the error the more reliable the keypoint KP1 actually extracted from the person image IMG1 by the keypoint extraction unit 212 (that is, the more reliable the keypoint KP1 to be extracted from the person image IMG1 by the keypoint extraction unit 212). can be used without problems as Thus, typically the smaller the error, the higher the confidence.
  • the storage device 22 can store desired data.
  • the storage device 22 may temporarily store computer programs executed by the arithmetic device 21 .
  • the storage device 22 may temporarily store data temporarily used by the arithmetic device 21 while the arithmetic device 21 is executing a computer program.
  • the storage device 22 may store data that the keypoint extraction device 2 saves for a long time.
  • the storage device 22 may include at least one of RAM (Random Access Memory), ROM (Read Only Memory), hard disk device, magneto-optical disk device, SSD (Solid State Drive), and disk array device. good. That is, the storage device 22 may include non-transitory recording media.
  • the communication device 23 can communicate with the camera 1 via the communication network 3.
  • the communication device 23 receives (that is, acquires) the person image IMG1 from the camera 1 via the communication network 3 .
  • the input device 24 is a device that accepts input of information to the keypoint extraction device 2 from outside the keypoint extraction device 2 .
  • the input device 24 may include an operating device (for example, at least one of a keyboard, a mouse and a touch panel) operable by an operator of the keypoint extraction device 2 .
  • the input device 24 may include a reading device capable of reading information recorded as data on a recording medium that can be externally attached to the keypoint extraction device 2 .
  • the output device 25 is a device that outputs information to the outside of the keypoint extraction device 2 .
  • the output device 25 may output information as an image.
  • the output device 25 may include a display device (so-called display) capable of displaying an image showing information to be output.
  • the output device 25 may output information as voice.
  • the output device 25 may include an audio device (so-called speaker) capable of outputting audio.
  • the output device 25 may output information on paper.
  • the output device 25 may include a printing device (so-called printer) capable of printing desired information on paper.
  • FIG. 3 is a flow chart showing the flow of the keypoint extraction operation performed by the keypoint extraction device 2 of the first embodiment.
  • the keypoint extraction device 2 acquires a person image IMG1 from the camera 1 (step S11). Specifically, the keypoint extraction device 2 uses the communication device 23 to receive the person image IMG1 transmitted from the camera 1 to the keypoint extraction device 2 via the communication network 3 .
  • the keypoint extracting unit 212 extracts the iris keypoint KP (that is, the keypoint KP1) reflected in the person image IMG1 from the person image IMG1 acquired in step S11 (step S11).
  • the keypoints KP may include keypoints KP corresponding to points that can identify characteristic portions of the object. Therefore, the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP corresponding to a point capable of specifying a characteristic portion of the iris. For example, as shown in FIG. 4 showing an example of an iris keypoint KP extracted from a human image IMG1, the keypoint extraction unit 212 extracts the inner contour of the iris (that is, substantially , the contour of the pupil) may be extracted.
  • the keypoint KP#1 may be a point located on the inner contour of the iris. For example, as shown in FIG.
  • the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP#2 corresponding to a point capable of identifying the outer contour of the iris.
  • Keypoint KP#2 may be a point located on the outer contour of the iris.
  • the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP#3 corresponding to a point capable of specifying the center of the iris.
  • the keypoint KP#3 may be a point located in the center of the iris.
  • the keypoint extraction unit 212 specifies the center of the pupil located at the center of the iris as the iris keypoint KP in addition to or instead of the keypoint KP#3 corresponding to the point that can specify the center of the iris. Keypoints KP corresponding to possible points may be extracted. For example, as shown in FIG. 4, the keypoint extraction unit 212 selects, as the iris keypoint KP, a keypoint KP#4 corresponding to a point that can identify the edge of the eyelid that may partially hide the iris. may be extracted.
  • the keypoint KP#4 may be a point located on the edge of the eyelid. For example, as shown in FIG.
  • the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP#5 corresponding to a point that can identify the eye containing the iris.
  • the keypoint extracting unit 212 extracts keypoint KP#5-1 corresponding to the point at which the inner corner of the eye can be specified and keypoint KP#5-2 corresponding to the point at which the outer corner of the eye can be specified, as the keypoint KP#5. At least one of may be extracted.
  • the keypoints KP include keypoints KP corresponding to lines capable of identifying characteristic portions of the object in addition to or instead of keypoints KP corresponding to points capable of identifying characteristic portions of the object. You can stay. For this reason, the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP corresponding to a line capable of specifying a characteristic portion of the iris. For example, the keypoint extraction unit 212 extracts, as the iris keypoints KP, keypoints KP corresponding to lines capable of specifying the inner contour of the iris (for example, lines extending along the inner contour of the iris). good too.
  • the keypoint extraction unit 212 extracts, as the iris keypoints KP, keypoints KP corresponding to lines capable of identifying the outer contour of the iris (for example, lines extending along the outer contour of the iris). good too.
  • the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP corresponding to a line that can identify the edge of the eyelid (for example, a line extending along the edge of the eyelid).
  • the keypoint extraction unit 212 may extract a keypoint KP corresponding to a line connecting the outer corner and the inner corner of the eye as the iris keypoint KP.
  • the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP corresponding to at least one of points and lines that can be used to quantitatively specify the iris.
  • the keypoint extraction unit 212 may extract, as the iris keypoints KP, keypoints KP corresponding to lines that can be used to specify the size of the iris.
  • the keypoint extraction unit 212 can be used to identify the diameter of the iris, which is an example of the size of the iris, as the keypoint KP of the iris.
  • the keypoint extraction unit 212 specifies at least one of the major and minor diameters of the iris, which is an example of the size of the iris, as the keypoint KP of the iris.
  • a keypoint KP may be extracted that corresponds to a line that can be used to do so.
  • Lines that can be used to identify the long axis of the iris may include, for example, a line that indicates the long axis of the iris.
  • Lines that can be used to identify the minor axis of the iris may include, for example, a line that indicates the minor axis of the iris.
  • the keypoint extraction unit 212 may extract, as the iris keypoint KP, a keypoint KP corresponding to a line that can be used to specify the size (e.g., diameter) of the pupil located at the center of the iris. good.
  • the keypoint extraction unit 212 may use a neural network to extract the keypoints KP. Specifically, when the person image IMG1 (or any image including the converted image IMG2) is input, the keypoint extraction unit 212 extracts the The keypoints KP may be extracted using a neural network capable of outputting the keypoints KP of the congested iris.
  • the parameters of the neural network are a learning image for learning the parameters of the neural network and the correct label of the keypoint KP of the iris reflected in the learning image (that is, the keypoint KP to be extracted from the learning image. It is preferable that learning is performed using learning data including correct key points).
  • a neural network is an example of a learnable learning model. Therefore, the keypoint extraction unit 212 may extract the keypoints KP using any learning model different from the neural network.
  • the operation of extracting the keypoint KP means the operation of specifying the position of the keypoint KP within the person image IMG1 (for example, the position of the keypoint KP in each of the height direction and width direction within the person image IMG1). You may have In this case, the keypoint extraction unit 212 may identify the position of the keypoint KP within the person image IMG1. When the keypoint KP is extracted using a neural network as described above, the neural network may output the position of the keypoint KP within the person image IMG1.
  • the human image IMG1 generated by the camera 1 does not necessarily include the person (especially the iris) appropriately.
  • the keypoint extraction unit 212 does not have to extract at least one of the plurality of types of keypoints KP, one example of which has been described with reference to FIG. That is, the keypoint extraction unit 212 does not need to extract all of the multiple types of keypoints KP.
  • the keypoint extraction unit 212 may extract at least one keypoint KP that can be extracted from the person image IMG1.
  • the keypoint extraction unit 212 does not necessarily have to extract at least one keypoint KP that cannot be extracted from the person image IMG1. Therefore, the keypoint extraction unit 212 may not extract even one keypoint KP.
  • the keypoint extraction unit 212 does not need to extract even one keypoint KP. That is, the person image IMG1 input to the keypoint extraction unit 212 does not necessarily have to include a person (in particular, the iris).
  • the image conversion unit 211 performs image conversion processing for converting the person image IMG1 acquired in step S11 (step S13). As a result, the image conversion unit 211 generates a converted image IMG2, which is the person image IMG1 subjected to the image conversion processing (step S13).
  • the image transformation process in step S13 may include a process of geometrically transforming (in other words, linearly transforming) the person image IMG1.
  • the image conversion unit 211 may perform geometric conversion on the person image IMG1.
  • Affine transformation is an example of geometric transformation. That is, the image transformation processing in step S13 may include processing for performing affine transformation on the person image IMG1. Affine transformations may include translations. That is, the image conversion processing in step S13 may include translation processing for translating the person image IMG1 in at least one of the height direction and the width direction. Affine transformations may include rotations. That is, the image conversion processing in step S13 may include rotation processing for rotating the person image IMG1. Affine transformations may include expansion and contraction. That is, the image conversion processing in step S13 may include scaling processing for enlarging or reducing the person image IMG1. Affine transformations may include shear. That is, the image conversion processing in step S13 may include shear processing for shear-converting the person image IMG1.
  • the image conversion process in step S13 may include a process of inverting the person image IMG1.
  • the image conversion process in step S13 may include a process of horizontally reversing the person image IMG1 (in other words, reversing it in the width direction (horizontal direction)). That is, the image conversion processing in step S13 may include processing for generating an image line-symmetrical to the person image IMG1 with respect to the axis of symmetry along the height direction (vertical direction) as the conversion image IMG2.
  • the image conversion process in step S13 may include a process of vertically inverting the person image IMG1 (in other words, inverting it in the height direction (vertical direction)). That is, the image conversion process in step S13 may include a process of generating an image line-symmetrical to the person image IMG1 with respect to the axis of symmetry along the width direction (horizontal direction) as the conversion image IMG2.
  • the image conversion processing in step S13 may include processing for changing at least part of the characteristics of the person image IMG1.
  • the characteristics of the person image IMG1 may include the luminance (that is, brightness) of the person image IMG1.
  • the image conversion processing in step S13 may include processing for changing the luminance of at least part of the person image IMG1.
  • the image conversion processing in step S13 includes processing for changing the brightness of at least one of the image portion corresponding to the iris in the person image IMG1 and the image portion corresponding to the portion around the iris in the person image IMG1. You can stay.
  • the characteristics of the person image IMG1 may include the contrast (that is, the luminance ratio) of the person image IMG1 in addition to or instead of the luminance of the person image IMG1.
  • the image conversion processing in step S13 may include processing for changing the contrast of at least part of the person image IMG1.
  • the image conversion processing in step S13 includes processing for changing the contrast of at least one of the image portion corresponding to the iris in the person image IMG1 and the image portion corresponding to the portion around the iris in the person image IMG1. You can stay.
  • the image conversion unit 211 may generate a single converted image IMG2.
  • the keypoint extraction unit 212 may generate a plurality of transformed images IMG2.
  • the plurality of transformed images IMG2 may be generated by a plurality of different image transformation processes. For example, the image conversion unit 211 generates a first transformed image IMG2 by translating the person image IMG1, generates a second transformed image IMG2 by rotating the person image IMG1, and enlarges the person image IMG1.
  • a third transformed image IMG2 is generated by reducing the size
  • a fourth transformed image IMG2 is generated by inverting the person image IMG1
  • a fifth transformed image IMG2 is generated by changing the brightness of the person image IMG1.
  • a sixth transformed image IMG2 may be generated by changing the contrast of the person image IMG1.
  • the keypoint extracting unit 212 extracts the iris keypoint KP (that is, the keypoint KP2) reflected in the converted image IMG2 from the converted image IMG2 generated in step S13 (step S14).
  • the operation of extracting the keypoint KP2 in step S14 may be the same as the operation of extracting the keypoint KP1 in step S12. Therefore, a detailed description of the operation of extracting the keypoint KP2 in step S14 will be omitted.
  • the keypoint extraction unit 212 may extract keypoints KP2 from each of the multiple transformed images IMG2. For example, when the image conversion unit 211 generates the sixth conversion image IMG2 from the first conversion image IMG2 as described above, the keypoint extraction unit 212 extracts the first keypoints from the first conversion image IMG2. KP2, extracting a second keypoint KP2 from the second transformed image IMG2, extracting a third keypoint KP2 from the third transformed image IMG2, extracting a fourth keypoint KP2 from the fourth transformed image IMG2. A point KP2 may be extracted, a fifth keypoint KP2 may be extracted from the fifth transformed image IMG2, and a sixth keypoint KP2 may be extracted from the sixth transformed image IMG2.
  • the score calculation unit 213 calculates the image score SC of the person image IMG1 (step S15).
  • the image score SC of the person image IMG1 is an index value relating to the reliability of the keypoint KP1 extracted from the person image IMG1. Such an image score SC will be described below.
  • the quality of the person image IMG1 from which the keypoint extraction unit 212 extracts the keypoint KP1 is not always constant. For example, while the quality of the person image IMG1 input to the keypoint extraction unit 212 at one timing is relatively high, the person image IMG1 input to the keypoint extraction unit 212 at another timing different from the one timing. may be of relatively low quality. The higher the quality of the person image IMG1, the higher the possibility that the keypoint extraction unit 212 can reliably extract the keypoint KP1 to be extracted. Also, the higher the quality of the person image IMG1, the higher the possibility that the keypoint extraction unit 212 can extract the keypoint KP1 with high precision.
  • the accuracy of the keypoint KP1 referred to here is an index value for quantitatively evaluating the amount of deviation between the position of the keypoint KP1 extracted by the keypoint extraction unit 212 and the actual position of the keypoint KP1. .
  • the score calculation unit 213 calculates an index value relating to the reliability of the keypoint KP1 extracted from the person image IMG1 as an image score SC that can quantitatively evaluate the quality of the person image IMG1.
  • the person image IMG1 from which the keypoint extraction unit 212 is difficult to extract the keypoint KP1 is the person image IMG1 that is not compatible with the keypoint extraction unit 212.
  • a person image IMG1 from which the keypoint extraction unit 212 cannot extract the keypoint KP1 with high accuracy can also be said to be a person image IMG1 that is not compatible with the keypoint extraction unit 212.
  • the image score SC may be regarded as an index value for quantitatively evaluating the compatibility of the person image IMG1 with the keypoint extraction unit 212.
  • the compatibility of the person image IMG1 with the keypoint extraction unit 212 depends on the ease with which the keypoint extraction unit 212 extracts the keypoint KP1 from the person image IMG1 (in particular, the ease with which the keypoint KP1 is extracted with high precision). may mean.
  • the keypoint extraction unit 212 extracts the keypoint KP1 using a learnable neural network (or any learnable learning model)
  • the keypoint extraction unit 212 extracts the keypoint KP1.
  • the person image IMG1 that is difficult to extract is the person image IMG1 that has been insufficiently learned by the learning model.
  • the person image IMG1 from which the keypoint extraction unit 212 cannot extract the keypoint KP1 with high accuracy can also be said to be the person image IMG1 for which learning by the learning model is insufficient.
  • the image score SC is an index value for quantitatively evaluating the degree of insufficiency of learning of the person image IMG1 by the learning model (that is, the degree of insufficiency of learning of the person image IMG1 by the keypoint extraction unit 212).
  • the learning model that is, the degree of insufficiency of learning of the person image IMG1 by the keypoint extraction unit 2112.
  • the quality of the person image IMG1 may be affected by the state of the object (here, the person) reflected in the person image IMG1. Therefore, the image score SC may be regarded as an index value for quantitatively evaluating the state of an object (here, a person) appearing in the person image IMG1.
  • an example of the state of a person appearing in the person image IMG1 is the presence or absence of glasses. Specifically, when the person appearing in the person image IMG1 does not wear glasses, the illumination light from the illumination device 4 is not reflected by the glasses. Therefore, the camera 1 can capture an image of the person's eyes (particularly, the iris) without being affected by the reflected light of the illumination light from the glasses.
  • the person's eyes are appropriately reflected in the person image IMG1.
  • the possibility that the keypoint extraction unit 212 can extract the iris keypoint KP1 from the person image IMG1 with relatively high accuracy is relatively high.
  • the person in the person image IMG1 is wearing glasses, the illumination light from the illumination device 4 may be reflected by the glasses. Therefore, the camera 1 may be affected by the reflected light of the illumination light from the glasses. That is, there is a possibility that the person's eyes (particularly, the iris) are not appropriately captured in the person image IMG1.
  • the keypoint extraction unit 212 may not be able to extract the iris keypoint KP1 from the person image IMG1 with high accuracy. Therefore, the score calculation unit 213 determines that the image score SC of the person image IMG1 in which the person wearing the glasses is captured is worse than the image score SC of the person image IMG1 in which the person without the glasses is captured.
  • the image score SC may be calculated such that However, in the first embodiment, as will be described later, the score calculation unit 213 does not directly determine whether or not a person wearing glasses is reflected in the person image IMG1. calculates an image score SC based on the extracted keypoints KP. However, the score calculation unit 213 may calculate the image score SC by directly determining whether or not a person wearing glasses appears in the person image IMG1.
  • the keypoint extraction unit 212 may extract the iris from the person image IMG1 depending on the lighting conditions of the illumination light from the illumination device 4. , the key point KP1 can be extracted with high accuracy. Specifically, the keypoint extracting unit 212 can extract the keypoint KP1 with high accuracy from the human image IMG1 generated by capturing an image of the person under the lighting condition of the first condition. On the other hand, there is a possibility that the keypoint KP1 cannot be extracted with high accuracy from the human image IMG1 generated by capturing the person under the second condition, which is different from the first lighting condition.
  • the quality of the person image IMG1 may be affected by lighting conditions that affect the state of an object (here, a person) appearing in the person image IMG1. Therefore, the image score SC may be regarded as an index value for quantitatively evaluating lighting conditions.
  • the score calculator 213 may calculate the image score SC that may vary depending on the illumination conditions. However, in the first embodiment, the score calculation unit 213 calculates the image score SC based on the keypoints KP extracted by the keypoint extraction unit 212 without directly referring to the lighting conditions, as will be described later. . However, the score calculator 213 may calculate the image score SC based on lighting conditions.
  • step S15 the score calculation unit 213 calculates the image score SC of the person image IMG1 based on the keypoint KP1 extracted in step S12 and the keypoint KP2 extracted in step S14.
  • the keypoint extraction unit 212 can extract the keypoint KP1 with high accuracy. Therefore, the amount of deviation between the keypoint KP1 extracted by the keypoint extraction unit 212 from the person image IMG1 and the actual keypoint KP1 is relatively small. Furthermore, the amount of deviation between the keypoint KP2 extracted by the keypoint extraction unit 212 from the converted image IMG2 generated by performing image conversion processing on the person image IMG1 and the actual keypoint KP2 is also relatively small. Become.
  • the amount of deviation between the keypoints KP1 and KP2 (that is, the amount of deviation between the positions of the keypoints KP1 and KP2) is relatively high. expected to be smaller.
  • the keypoint extraction unit 212 may not be able to extract the keypoint KP1 with high precision. Therefore, it is assumed that the amount of deviation between the keypoint KP1 and the keypoint KP2 will be relatively large. This is because there is a possibility that the keypoint extraction unit 212 cannot extract the keypoint KP1 (furthermore, the keypoint KP2) with high accuracy. This is because there is a possibility that the difference between the keypoint KP2 extracted by the keypoint extraction unit 212 and the actual keypoint KP2 differs.
  • the score calculator 213 may compare the keypoint KP1 and the keypoint KP2, and calculate the image score SC based on the comparison result between the keypoint KP1 and the keypoint KP2.
  • the score calculation unit 213 compares the keypoints KP1 and KP2 for each type of keypoint KP. may For example, the score calculation unit 213 compares the first type keypoint KP1 with the same first type keypoint KP2, and compares the second type keypoint KP1 with the same second type keypoint KP2. , and the amount of deviation between the n-th (n is a variable representing an integer of 2 or more) type key point KP1 and the same n-th type key point KP2.
  • the score calculation unit 213 compares a keypoint KP1 capable of identifying the inner contour of the iris with a keypoint KP2 capable of identifying the same inner contour of the iris, and determines the outer contour of the iris.
  • the identifiable keypoint KP1 is compared with the same keypoint KP2 that can identify the inner contour of the iris, and the difference between the keypoint KP1 that can identify the center of the iris and the keypoint KP2 that can identify the same iris center. You can compare the quantity.
  • the score calculation unit 213 compares the keypoints KP1 and KP2 in all of the n types of keypoints KP. good. Alternatively, the score calculation unit 213 compares the keypoints KP1 and KP2 in some of the n types of keypoints KP, and compares the keypoints KP1 and KP2 with the keypoints KP1 and KP2 of the n types of keypoints KP. You don't have to compare in other parts of us. After that, the score calculator 213 may calculate the image score SC based on a plurality of comparison results respectively corresponding to a plurality of types of keypoints KP.
  • the score calculator 213 may calculate the image score SC based on an average value (for example, a simple average value or a root mean value) of a plurality of comparison results.
  • the score calculator 213 may calculate the image score SC based on the sum of a plurality of comparison results (for example, simple sum or square sum).
  • the score calculation unit 213 calculates the keypoints KP1 and a plurality of keypoints KP2. may be compared with the keypoint KP2 of .
  • the score calculation unit 213 compares the keypoint KP1 with the first keypoint KP2; compares the keypoint KP1 with the second keypoint KP2; compares the keypoint KP1 with the third keypoint KP2; KP1 may be compared with a fourth keypoint KP2, keypoint KP1 may be compared with a fifth keypoint KP2, and keypoint KP1 may be compared with a sixth keypoint KP2.
  • the score calculator 213 may calculate the image score SC based on a plurality of comparison results respectively corresponding to a plurality of keypoints KP2. For example, the score calculator 213 may calculate the image score SC based on an average value (for example, a simple average value or a root mean value) of a plurality of comparison results. The score calculator 213 may calculate the image score SC based on the sum of a plurality of comparison results (for example, simple sum or square sum).
  • the score calculation unit 213 may calculate the amount of deviation between the keypoints KP1 and KP2 by comparing the keypoints KP1 and KP2. In this case, the score calculator 213 may calculate the image score SC based on the amount of deviation corresponding to the comparison result. For example, the score calculation unit 213 may calculate the image score SC such that the image score SC becomes worse as the shift amount increases. In other words, the score calculation unit 213 may calculate the image score SC such that the smaller the amount of deviation, the better the image score SC. As an example, the score calculator 213 may calculate an image score SC that increases as the amount of deviation increases.
  • the score calculator 213 may calculate the image score SC that decreases as the shift amount increases. In this case, it can be said that the higher the image score SC, the better the quality of the person image IMG1 (in other words, the higher the reliability of the extracted keypoint KP1).
  • the keypoint extraction unit 212 identifies the position of the keypoint KP when extracting the keypoint KP. Since the position of the keypoint KP1 is specified in this way, the score calculation unit 213 calculates the distance between the keypoints KP1 and KP2 as the amount of deviation between the keypoints KP1 and KP2. good too.
  • a first coordinate system for identifying the position of the keypoint KP1 i.e., the coordinate system within the person image IMG1
  • a second coordinate system for identifying the position of the keypoint KP2 i.e., within the transformed image IMG2. coordinate system
  • the keypoint extraction device 2 since the keypoint extraction device 2 itself performs image conversion processing on the person image IMG1 to generate the transformed image IMG2, the keypoint extraction device 2 uses the first coordinate system and the second coordinate system can be transformed into either one of the first coordinate system and the second coordinate system.
  • the score calculation unit 213 converts the keypoint KP2 in the second coordinate system extracted in step S14 into the keypoint KP2 in the first coordinate system. good too. That is, the score calculator 213 may convert the position of the keypoint KP2 in the second coordinate system extracted in step S14 into the position of the keypoint KP2 in the first coordinate system. After that, the score calculator 213 may calculate the image score SC based on the keypoint KP1 in the first coordinate system and the keypoint KP2 in the first coordinate system. For example, the score calculator 213 may calculate the amount of deviation between the keypoint KP1 and the keypoint KP2 in the first coordinate system, and calculate the image score SC based on the calculated amount of deviation.
  • the score calculation unit 213 compares the keypoints KP1 and KP2 to obtain the standard deviation of the keypoints KP (that is, the variation between the keypoints KP1 and KP2 (in other words, the degree of dispersion)). may be calculated, and the image score SC may be calculated based on the standard deviation corresponding to the comparison result. In this case, the score calculator 213 may calculate the image score SC such that the larger the standard deviation, the worse the image score SC.
  • the score calculator 213 may calculate the image score SC such that the smaller the standard deviation, the better the image score SC.
  • the score calculator 213 may calculate an image score SC that increases as the standard deviation increases. In this case, it can be said that the higher the image score SC, the lower the quality of the person image IMG1 (in other words, the lower the reliability of the extracted keypoint KP1).
  • the score calculator 213 may calculate the image score SC that decreases as the standard deviation increases. In this case, it can be said that the higher the image score SC, the better the quality of the person image IMG1 (in other words, the higher the reliability of the extracted keypoint KP1).
  • the score calculator 213 may calculate the standard deviation of the keypoints KP when the keypoint extractor 212 extracts a plurality of keypoints KP2 from a plurality of transformed images IMG2. This is because the standard deviation becomes unreliable when the number of population samples (that is, the total number of keypoints KP1 and KP2 used to calculate the standard deviation) is too small. be.
  • the keypoint extraction device 2 of the first embodiment can calculate the image score SC.
  • the image score SC is an index value relating to the reliability of the keypoint KP1 extracted from the person image IMG1, and is an index value capable of quantitatively evaluating the quality of the person image IMG1. Therefore, the keypoint extraction device 2 can take various measures using this image score SC so that the keypoint extraction device 2 can extract the keypoint KP1 from the person image IMG1 with high accuracy.
  • the keypoint extraction unit 212 cannot extract the keypoint KP1 from the person image IMG1 for which the relatively poor image score SC is calculated (that is, the reliability of the extracted keypoint KP1 is relatively low).
  • the image may be of such poor quality that it is evaluated as Therefore, when a relatively poor image score SC is calculated, it is assumed that there is a relatively high need to improve the quality of the person image IMG1. Therefore, in this case, the keypoint extraction device 2 may take measures to improve the quality of the person image IMG1.
  • a countermeasure for improving the quality of the person image IMG1 is to change the illumination conditions of the illumination light from the illumination device 4. This countermeasure will be described in a second embodiment described later.
  • the keypoint extraction unit 212 cannot extract the keypoint KP1 from the person image IMG1 for which the relatively poor image score SC is calculated (that is, the reliability of the extracted keypoint KP1 is relatively low).
  • the image may be an image for which learning by the keypoint extraction unit 212 is so insufficient that it is evaluated as ). Therefore, when a relatively bad image score SC is calculated, the keypoint extraction unit 212 learns (specifically, the above-described learning model training) is assumed to be relatively high. Therefore, the keypoint extraction device 2 can learn the keypoint extraction unit 212 using the person image IMG1 with a relatively low image score SC.
  • the keypoint extraction device 2 extracts from the keypoint KP1 extracted from the person image IMG1 and from the transformed image IMG2 generated by performing image transformation processing on the person image IMG1.
  • the image score SC can be calculated by comparing with the keypoint KP2. As described above, when the quality of the person image IMG1 is relatively high, the amount of deviation between the keypoint KP1 and the keypoint KP2 is relatively small. , the amount of deviation between the keypoint KP1 and the keypoint KP2 is relatively large. Therefore, the keypoint extraction device 2 can appropriately calculate the image score SC by comparing the keypoint KP1 and the keypoint KP2.
  • the keypoint extraction device 2 can extract the keypoints KP from the person image IMG1 and can extract the keypoints KP from the transformed image IMG2.
  • a single keypoint extraction unit 212 is provided.
  • the keypoint extracting device 2 may separately include a keypoint extracting unit capable of extracting the keypoint KP from the person image IMG1 and a keypoint extracting unit capable of extracting the keypoint KP from the transformed image IMG2. .
  • the keypoint extraction system SYSb of the second embodiment differs from the keypoint extraction system SYSa of the first embodiment described above in that it includes a keypoint extraction device 2b instead of the keypoint extraction device 2.
  • Other features of the keypoint extraction system SYSb may be identical to other features of the keypoint extraction system SYSa. Therefore, the keypoint extraction device 2b of the second embodiment will be described below with reference to FIG.
  • FIG. 5 is a block diagram showing the configuration of the keypoint extraction device 2b of the second embodiment. Constituent elements that have already been explained are denoted by the same reference numerals, and detailed explanation thereof will be omitted. Further, the same step numbers are assigned to the processes that have already been explained, and the detailed explanation thereof will be omitted.
  • the calculation device 21 includes a specific example of "illumination control means". It differs in that a certain lighting control 214b is implemented. Other features of the keypoint extraction device 2 b may be the same as other features of the keypoint extraction device 2 .
  • the lighting control unit 214b can control the lighting device 4. Specifically, the illumination control unit 214b can control (specifically, change) the illumination conditions of the illumination light from the illumination device 4 by controlling the illumination device 4 .
  • the illumination conditions may include, for example, the conditions of the illumination light itself (hereinafter referred to as "light conditions").
  • the light conditions may include, for example, at least one of the intensity of the illumination light and the wavelength of the illumination light.
  • the lighting conditions may include, for example, the conditions of the lighting device 4 itself (hereinafter referred to as “device conditions”).
  • the device conditions are, for example, the position of the lighting device 4 (that is, the emission position where the illumination light is emitted from the lighting device 4) and the orientation of the lighting device 4 (that is, the posture of the lighting device 4). ) may be included.
  • the lighting control unit 214b may control the lighting device 4 particularly based on the image score SC calculated by the score calculation unit 213. Specifically, the lighting controller 214b may control the lighting device 4 so that the image score SC is improved (that is, improved). As described above, the better the quality of the person image IMG1 (in other words, the higher the reliability of the extracted keypoint KP1), the greater the image score SC. The control unit 214b may control the illumination device 4 so that the image score SC is increased (or maximized). As described above, when the image score SC decreases as the quality of the person image IMG1 improves (in other words, as the reliability of the extracted keypoint KP1 increases), the illumination control unit 214b The illumination device 4 may be controlled such that the image score SC is small (or minimized).
  • the camera 1 may image a person in each of a plurality of situations with different lighting conditions.
  • the illumination control unit 214b controls the illumination device 4 so that the illumination condition is set to the first condition, and the camera 1 controls the A person image IMG1#21 may be generated by capturing an image of a person.
  • the illumination control unit 214b controls the illumination device 4 so that the illumination condition is set to the second condition different from the first condition, and the camera 1 is set to the second condition.
  • a person image IMG1#22 may be generated by capturing an image of a person under a situation where the person is present.
  • the score calculation unit 213 may calculate an image score SC#21 of the person image IMG1#21 and an image score SC#22 of the person image IMG1#22.
  • the illumination control unit 214b may compare the image score SC#21 and the image score SC#22 to set the illumination condition so that the image score SC is improved. For example, when the image score SC#21 is better than the image score SC#22, the lighting control unit 214b controls the lighting device 4 so that the lighting conditions used in subsequent operations are set to the second conditions. You may After that, the camera 1 images the person under the condition that the illumination condition is set to the second condition.
  • the illumination control unit 214b may repeat the operation of changing the illumination condition and setting the illumination condition based on the comparison result of the image score SC before and after the change of the illumination condition, if necessary. As a result, the lighting conditions are changed so that the image score SC is further improved.
  • An example of a scene in which the image score SC is improved by the operation of the illumination control unit 214b is a scene in which a person wearing glasses is imaged by the camera 1.
  • a person wearing glasses when a person wearing glasses is imaged by the camera 1, the person wearing the glasses appears in the person image IMG1.
  • the illumination light from the illumination device 4 may be reflected by the glasses. Therefore, there is a possibility that the person's eyes (particularly, the iris) are not properly reflected in the person image IMG1.
  • the person image IMG1 there is a possibility that part of the person's eyes (particularly the iris), which should be behind the lenses of the glasses, is hidden due to reflection of light reflected on the lenses of the glasses.
  • the illumination control unit 214b is configured so that part of the person's eyes (particularly, the iris) is not hidden by reflection of light reflected on the lens of the glasses (as a result, the image score SC is improved).
  • the illumination device 4 can be controlled.
  • the keypoint extraction device 2b enables the keypoint extraction unit 212 to extract the keypoint KP1 with high accuracy (that is, the reliability of the extracted keypoint KP1 is relatively high). evaluated), the lighting device 4 can be controlled. Therefore, the keypoint extraction device 2b can take measures to improve the quality of the person image IMG1 while enjoying the same effects as those that the keypoint extraction device 2 of the first embodiment can enjoy. .
  • the illumination control unit 214b controls the image score SC
  • the illumination device 4 may be controlled so that the is improved.
  • the illumination control unit 214b improves the image score SC before the operation using the keypoint KP extracted by the keypoint extraction unit 212 (for example, the above-described operation of authenticating a person using the iris) is started.
  • the illumination device 4 may be controlled as follows.
  • the keypoint extraction system SYSc of the third embodiment differs from the keypoint extraction system SYSa of the first embodiment described above in that it includes a keypoint extraction device 2c instead of the keypoint extraction device 2.
  • Other features of the keypoint extraction system SYSc may be identical to other features of the keypoint extraction system SYSa. Therefore, the keypoint extraction device 2c of the third embodiment will be described below with reference to FIG.
  • FIG. 6 is a block diagram showing the configuration of the keypoint extraction device 2c of the second embodiment.
  • the keypoint extraction device 2c of the third embodiment is a specific example of "selection means" in the arithmetic unit 21, compared to the keypoint extraction device 2 of the first embodiment. It differs in that an image selection unit 215c is implemented. Other features of the keypoint extraction device 2c may be the same as other features of the keypoint extraction device 2c.
  • the image selection unit 215c selects the person image IMG1 whose image score SC calculated by the score calculation unit 213 satisfies a predetermined selection criterion.
  • the score calculation unit 213 typically calculates the image of the newly generated person image IMG1 each time the camera 1 newly captures a person (that is, each time the person image IMG1 is newly generated). Calculate the score SC. Therefore, typically, the score calculator 213 calculates the image score SC of each of the plurality of person images IMG1.
  • the image selection unit 215c selects at least one person image IMG1 whose image score SC satisfies a predetermined selection criterion from among the plurality of person images IMG1.
  • the selected person image IMG1 may be used for desired purposes.
  • the selected person image IMG1 may be used for learning of the keypoint extraction unit 212 (more specifically, learning of the learning model used by the keypoint extraction unit 212 described above).
  • the selection criteria used to select the person image IMG1 may be set according to the desired purpose.
  • the selection criteria may be set according to the purpose of learning the learning model.
  • An example of a selection criterion set according to the purpose of learning a learning model is a first criterion that the image score SC is worse than a predetermined selection threshold.
  • the image selection unit 215c selects the person image IMG1 whose image score SC is worse than the selection threshold. For example, as described above, when the image score SC increases as the quality of the person image IMG1 improves (in other words, as the reliability of the extracted keypoint KP1 increases), the image selection unit 215c may select a person image IMG1 whose image score SC is smaller than the selection threshold.
  • the image selection unit 215c may select the person image IMG1 whose image score SC is greater than the selection threshold.
  • the image selection unit 215c selects a person image IMG1 with a relatively poor image score SC.
  • the image selection unit 215c can select the person image IMG1 for which learning by the learning model is insufficient.
  • learning of the learning model is performed using the person image IMG1 for which learning by the learning model is insufficient. Therefore, the learning of the learning model is performed more efficiently than when the learning of the learning model is performed using the person image IMG1 that has been sufficiently learned by the learning model. In other words, the learning efficiency of the learning model increases.
  • the selection thresholds used in the first criterion are human image IMG1 for which learning by the learning model is insufficient (in other words, incompatible with the learning model), and human image IMG1 for which learning by the learning model is not insufficient (in other words, , and the human image IMG1 (which is compatible with the learning model) may be set to a desired value that is distinguishable from the image score SC.
  • the image scores SC are A second criterion is that the number of samples of the learning images classified when the learning model classifies a plurality of learning images according to the image scores SC is included in a range of image scores SC smaller than a predetermined number.
  • FIG. 7 shows the relationship between the number of samples of learning images and the image score SC of learning images. That is, FIG. 7 shows the number of samples of learning images with a certain image score SC for each image score SC.
  • a predetermined number is set as the threshold TH. In this case, as shown in FIG.
  • the range of image scores SC in which the number of learning image samples is less than a predetermined number is a range of “predetermined score SC1 ⁇ image score SC ⁇ predetermined score SC2”. . Therefore, in the example shown in FIG. 7, the image selection unit 215c selects the person image IMG1 whose image score SC is greater than the predetermined score SC1 and less than the predetermined score SC2.
  • the image selection unit 215c preferentially selects the person image IMG1 having an image score SC different from that of the learning image for which the learning model has been trained.
  • a human image IMG1 having an image score SC different from that of a training image already trained by the learning model is relatively likely to be an image for which learning by the learning model is insufficient. Therefore, when the second criterion is used as the selection criterion, the image selection unit 215c can select the person image IMG1 for which the learning by the learning model is insufficient.
  • learning of the learning model is performed using the person image IMG1 for which learning by the learning model is insufficient. Therefore, the learning of the learning model is performed more efficiently than when the learning of the learning model is performed using the person image IMG1 that has been sufficiently learned by the learning model. In other words, the learning efficiency of the learning model increases.
  • the predetermined number (for example, the threshold TH in FIG. 7) used in the second criterion is the human image IMG1 for which learning by the learning model is insufficient (in other words, incompatible with the learning model) and It may be set to a desired value that makes it possible to distinguish human images IMG1 that are not lacking in learning (in other words, that are compatible with the learning model) from the number of samples thereof.
  • the person image IMG1 When performing supervised learning to learn a learning model using the person image IMG1, the person image IMG1 is given a correct label of the key point KP to be extracted from the person image IMG1 (that is, , annotation) to generate learning data including the person image IMG1 and the correct label.
  • the first criterion or the second criterion is used as the selection criterion, for the person image IMG1 selected from among the plurality of person images IMG1 based on the first criterion or the second criterion, It is enough if the correct label is given. In other words, it is not necessary to assign correct labels to all of the plurality of person images IMG1. Therefore, in the second embodiment, the labor required for assigning correct labels is reduced. That is, the effort required to generate learning data is reduced.
  • the image selection unit 215c may select the person image IMG1 whose image score SC satisfies both the first criterion and the second criterion. For example, the image selection unit 215c selects a plurality of person images IMG1 whose image scores SC satisfy the first criterion from among the plurality of person images IMG1, and then selects a plurality of person images IMG1 whose image scores SC satisfy the first criterion. A plurality of person images IMG1 whose image scores SC satisfy the second criterion may be selected from the person images IMG1.
  • the keypoint extraction device 2c can select (for example, collect) human images IMG1 whose image scores SC satisfy the selection criteria. Therefore, the keypoint extraction device 2c uses the selected person image IMG1 to perform a desired operation (for example, learning of a learning model used by the keypoint extraction unit 212).
  • the keypoint extraction device 2b of the second embodiment described above may have configuration requirements specific to the keypoint extraction device 2c of the third embodiment.
  • a component specific to the keypoint extraction device 2c of the third embodiment may include the image selection unit 215c.
  • Configuration requirements specific to the keypoint extraction device 2c of the third embodiment may include configuration requirements regarding selection of the person image IMG1 based on the image score SC.
  • the keypoint extraction system SYSd of the fourth embodiment differs from the keypoint extraction system SYSa of the first embodiment described above in that it includes a keypoint extraction device 2d instead of the keypoint extraction device 2.
  • Other features of the keypoint extraction system SYSd may be identical to other features of the keypoint extraction system SYSa. Therefore, the keypoint extraction device 2d of the fourth embodiment will be described below with reference to FIG.
  • FIG. 8 is a block diagram showing the configuration of the keypoint extraction device 2d of the fourth embodiment.
  • the keypoint extraction device 2d of the fourth embodiment is a specific example of "learning means" in the arithmetic device 21, compared to the keypoint extraction device 2 of the first embodiment.
  • the difference is that the learning unit 216d and the weight calculation unit 217d, which is a specific example of the "learning means", are realized.
  • the storage device 22 stores learning data 221d used for learning the learning model used by the keypoint extraction unit 212. different in that.
  • Other features of the keypoint extraction device 2 d may be the same as other features of the keypoint extraction device 2 .
  • the learning unit 216d learns the learning model used by the keypoint extraction unit 212 using the learning data 221d.
  • the learning unit 216d learns a learning model by performing semi-supervised learning using the learning data 221d. Therefore, the learning unit 216d learns the learning model using the learning data 221d for semi-supervised learning.
  • the learning data 221d includes labeled learning data 2211d and unlabeled learning data 2212d.
  • the labeled learning data 2211d is a data set including a plurality of labeled unit data 2213d including the learning image IMG3 and the correct label indicating the keypoint KP to be extracted from the learning image IMG3.
  • the unlabeled learning data 2212d is a data set that includes a plurality of unlabeled unit data 2214d that includes the learning image IMG3 but does not include the correct label.
  • the learning image IMG3 included in the labeled learning data 2211d is referred to as “learning image IMG3-1”
  • the learning image IMG3 included in the unlabeled learning data 2212d is referred to as “learning image IMG3- 2”.
  • the number of learning images IMG3-1 included in the labeled learning data 2211d is equal to the number of learning images IMG3-2 included in the unlabeled learning data 2212d (that is, unlabeled number of unit data 2214d).
  • the learning unit 216d may learn a learning model using an existing algorithm for semi-supervised learning. For example, the learning unit 216d may learn the learning model using an algorithm based on the bootstrap method. In this case, the learning unit 216d may first learn the learning model using the labeled learning data 2211d. The learning of the learning model using the labeled learning data 2211d may be supervised learning. After that, based on the learning result using the labeled learning data 2211d, the learning unit 216d assigns each learning image IMG3 to at least some of the plurality of learning images IMG3-2 included in the unlabeled learning data 2212d. A pseudo-label may be given indicating the keypoint KP that is presumed to be extracted from -2.
  • the learning unit 216d assigns a pseudo label to at least one learning image IMG3-2 with a relatively high degree of reliability among the plurality of learning images IMG3-2 included in the unlabeled learning data 2212d.
  • the “learning image IMG3-2 with high reliability” referred to here may mean the learning image IMG3-2 with a relatively high likelihood of the keypoint KP estimated to be extracted.
  • the learning unit 216d may learn the learning model using the labeled learning data 2211d and the unlabeled unit data 2214d to which the pseudo label is assigned among the unlabeled learning data 2212d.
  • the learning of the learning model using the labeled learning data 2211d and the unlabeled unit data 2214d to which pseudo-labels are assigned among the unlabeled learning data 2212d may also be supervised learning.
  • the learning unit 216d creates a learning model using pseudo-labeling and supervised learning (i.e., the labeled learning data 2211d and the unlabeled unit data 2214d with pseudo-labeling among the unlabeled learning data 2212d). learning) may be repeated as many times as necessary. For this reason, in the third embodiment, the number of epochs is the number of repetitions of operations including pseudo labeling and supervised learning.
  • the learning unit 216d may alternately repeat supervised learning and assignment of pseudo labels until the loss function satisfies a predetermined learning end condition. As a result, semi-supervised learning is completed.
  • the weight calculator 217d calculates the weight w of the pseudo label. In order to calculate the weight w of the pseudo label, the weight calculator 217d may use the image scores SC of the multiple learning images IMG3-2 included in the unlabeled learning data 2212d.
  • the keypoint extraction device 2d may perform the keypoint extraction operation shown in FIG. 3 for a plurality of learning images IMG3-2 included in the unlabeled learning data 2212d. That is, the keypoint extraction device 2d acquires the learning image IMG3-2 (step S11 in FIG. 3), and the keypoint extraction unit 212 extracts the keypoint KP from the learning image IMG3-2 (step S12 in FIG. 3). ), the image conversion unit 211 calculates a conversion image IMG2 by performing image conversion processing for converting the learning image IMG3-2 (step S13 in FIG. 13), and the keypoint extraction unit 212 extracts keypoints from the conversion image IMG2. KP is extracted (step S14 in FIG.
  • the score calculation unit 213 calculates the learning image IMG3- based on the keypoint KP extracted from the learning image IMG3-2 and the keypoint KP extracted from the conversion image IMG2.
  • 2 image score SC may be calculated (step S15 in FIG. 3).
  • the weight calculation unit 217d calculates the weight w of the pseudo label assigned to each learning image IMG3-2 based on the image score SC of each learning image IMG3-2. For example, the weight calculator 217d calculates the weight w such that the better the image score SC of the one learning image IMG3-2, the greater the weight w of the pseudo label given to the one learning image IMG3-2. may For example, the weight calculator 217d calculates the weight w such that the lower the image score SC of the one learning image IMG3-2, the smaller the weight w of the pseudo label given to the one learning image IMG3-2. may As an example, the weight calculator 217d may calculate the reciprocal of the image score SC as the weight w. Note that the weight w may be, for example, a value of 0 or more and 1 or less.
  • the calculated weight w may be used by the learning unit 216d that performs semi-supervised learning.
  • the learning unit 216d may use unlabeled unit data 2214d to which a pseudo-label with a relatively large weight w is assigned in order to learn a learning model.
  • the learning unit 216d may use the unlabeled unit data 2214d to which a pseudo-label with a weight w greater than a predetermined weight threshold is assigned in order to learn the learning model.
  • the learning unit 216d does not have to use the unlabeled unit data 2214d to which the pseudo-label with the relatively small weight w is assigned in order to learn the learning model.
  • the learning unit 216d does not need to use the unlabeled unit data 2214d to which the pseudo-labels whose weight w is smaller than a predetermined weight threshold are assigned in order to learn the learning model.
  • the learning unit 216d may preferentially use the learning image IMG3-2 to which a pseudo-label with a relatively high weight w is assigned in order to learn the learning model.
  • the learning unit 216d selects a learning image IMG3-2 with relatively good quality (that is, a learning image with a relatively high possibility that the learning model can correctly extract the keypoint KP1) in order to learn the learning model. IMG3-2) will be preferentially used.
  • the number of learning images IMG3-2 from which the learning model has a relatively high probability of correctly extracting the keypoint KP1 gradually increases.
  • the learning image IMG3-2 with a relatively low probability that the learning model can correctly extract the keypoint KP1 that is, the learning image with relatively poor quality Opportunities for learning using IMG3-2
  • the learning efficiency of the learning model increases.
  • the weight threshold is set to the learning image IMG3-2 for which the learning by the learning model is insufficient (in other words, incompatible with the learning model) and the learning image IMG3-2 in which the learning by the learning model is not insufficient (in other words, compatibility for the learning model). may be set to a desired value distinguishable from the image score SC.
  • the weight calculation unit 217d Each time the learning unit 216d learns the learning model once (that is, the operation including the above-described pseudo label assignment and supervised learning is performed once), the weight calculation unit 217d newly calculates the weight w. can be calculated. That is, the weight calculator 217d may calculate the weight w for each epoch. This is because the behavior of the keypoint extraction unit 212 changes every time the learning unit 216d learns the learning model once. This is because SC may also change and the weight w calculated based on the image score SC may also change.
  • the keypoint extraction device 2d can learn the learning model using the weight w calculated based on the image score SC and the learning data 221d. Therefore, the keypoint extraction device 2d can learn the learning model efficiently while enjoying the same effects as those that the keypoint extraction device 2 of the first embodiment can enjoy. Furthermore, since the keypoint extraction device 2d learns the learning model using semi-supervised learning, it can efficiently learn the learning model without taking the trouble of annotation.
  • At least one of the keypoint extraction device 2b of the second embodiment to the keypoint extraction device 2c of the third embodiment described above has configuration requirements specific to the keypoint extraction device 2d of the fourth embodiment.
  • a component specific to the keypoint extraction device 2d of the fourth embodiment may include a learning unit 216d and a weight calculation unit 217d.
  • Configuration requirements specific to the keypoint extraction device 2d of the fourth embodiment may include configuration requirements related to semi-supervised learning using the weight w.
  • the keypoint extraction system SYSe of the fifth embodiment differs from the keypoint extraction system SYS of the first embodiment described above in that it includes a keypoint extraction device 2e instead of the keypoint extraction device 2.
  • Other features of the keypoint extraction system SYSe may be identical to other features of the keypoint extraction system SYSa. Therefore, the keypoint extraction device 2e of the fifth embodiment will be described below with reference to FIG.
  • FIG. 10 is a block diagram showing the configuration of the keypoint extraction device 2e of the fifth embodiment.
  • the keypoint extraction device 2e of the fifth embodiment is a specific example of "determination means" in the arithmetic device 21, compared to the keypoint extraction device 2 of the first embodiment. It differs in that an image determination unit 218e is implemented. Other features of the keypoint extraction device 2 e may be the same as other features of the keypoint extraction device 2 .
  • the image determination unit 218e may determine whether or not the person's eyes including the iris are reflected in the person image IMG1 based on the image score SC. In order to determine whether or not an eye is reflected in the person image IMG1, the image determination unit 218e may determine whether or not the calculated image score SC is worse than a predetermined first determination threshold TH1. . For example, when the image score SC increases as the quality of the person image IMG1 improves, the image determination unit 218e determines whether the calculated image score SC is smaller than a predetermined first determination threshold TH1.
  • the image determination unit 218e determines whether the calculated image score SC is greater than a predetermined first determination threshold TH1. You may As a result of this determination, if the image score SC is determined to be worse than the predetermined first determination threshold TH1, the image determination unit 218e may determine that the human image IMG1 does not include the eyes. This is because the image score SC deteriorates because the iris key point KP is not extracted when the eye is not reflected in the person image IMG1. On the other hand, the image determination unit 218e may determine that an eye is reflected in the person image IMG1 when it is determined that the image score SC is better than the predetermined first determination threshold TH1.
  • the image determination unit 218e determines that the eyes are not reflected in the person image IMG1 when the state where the image score SC is worse than the first determination threshold TH1 continues longer than the second determination threshold TH2. good too.
  • the image determination unit 218e determines that the eyes are reflected in the person image IMG1.
  • the image determination unit 218e determines that the image score SC is worse than the first determination threshold TH1 than the second determination threshold TH2. If it continues only for a short time, it may be determined that the eye is reflected in the person image IMG1. This is because when the person in the person image IMG1 blinks, the image score SC is determined to be worse than the first determination threshold TH1 even though the person's eyes are reflected in the person image IMG1. This is because there is a possibility that
  • the image determination unit 218e determines that the person image IMG1 does not include an eye. However, it may be determined that the eyes reflected in the person image IMG1 are blinking. That is, in a situation where it is determined that an eye is reflected in the person image IMG1, if the state in which the image score SC is worse than the first determination threshold TH1 lasts for a shorter time than the second determination threshold TH2, , the image determination unit 218e may determine that the eyes appearing in the person image IMG1 are blinking at that time.
  • the camera 1 In order to determine whether the state in which the image score SC is worse than the first determination threshold TH1 has continued for a period longer than the second determination threshold TH2, the camera 1 continuously captures the same person, thereby A plurality of person images IMG1 corresponding to the data may be generated. Furthermore, the keypoint extraction device 2 may calculate a plurality of image scores SC respectively corresponding to a plurality of person images IMG1. A plurality of calculated image scores SC indicate time-series changes in the image scores SC. Therefore, the image determination unit 218e determines whether or not the state in which the image score SC is worse than the first determination threshold TH1 has continued longer than the second determination threshold TH2, based on the time-series change in the image score SC. be able to.
  • the first determination threshold TH1 may be set to a desired value that allows the person image IMG1 in which the eye is captured and the person image IMG1 in which the eye is not captured to be distinguished from the image score SC.
  • the second determination threshold TH2 can distinguish between the person image IMG1 in which blinking (that is, closed) eyes are captured and the person image IMG1 in which no eyes are captured in the first place, from the image score SC. may be set to any desired value.
  • the keypoint extraction device 2e can determine whether or not the person's image IMG1 includes an eye. In this case, the keypoint extraction device 2e excludes the person image IMG1 in which the eyes are not included from the target of the action performed using the keypoint KP (for example, the above-described action of authenticating the person using the iris). may As a result, it is possible to shorten the time required for the operation performed using the keypoint KP.
  • the keypoint extraction device 2e can determine whether or not the eyes appearing in the person image IMG1 are blinking. In this case, the keypoint extraction device 2e may exclude the person image IMG1 in which blinking (that is, closed) eyes are captured from the target of the action performed using the keypoints KP. . As a result, it is possible to shorten the time required for the operation performed using the keypoint KP.
  • the keypoint extraction device 2e can shorten the time required for the operation performed using the keypoints KP while enjoying the same effects as those that the keypoint extraction device 2 of the first embodiment can enjoy. Become.
  • At least one of the keypoint extraction device 2b of the second embodiment to the keypoint extraction device 2d of the fourth embodiment described above has configuration requirements specific to the keypoint extraction device 2e of the fifth embodiment.
  • a component specific to the keypoint extraction device 2e of the fifth embodiment may include an image determination unit 218e.
  • the configuration requirements unique to the keypoint extraction device 2e of the fifth embodiment are determination of whether or not an eye is reflected in the person image IMG1, and determination of whether or not the eye reflected in the person image IMG1 is blinking. Constituent requirements for at least one of the determinations may be included.
  • the keypoint extraction system SYSf of the sixth embodiment differs from the keypoint extraction system SYS of the first embodiment described above in that it includes a keypoint extraction device 2f instead of the keypoint extraction device 2.
  • Other features of the keypoint extraction system SYSf may be identical to other features of the keypoint extraction system SYSa. Therefore, the keypoint extraction device 2f of the sixth embodiment will be described below with reference to FIG.
  • FIG. 11 is a block diagram showing the configuration of the keypoint extraction device 2f of the sixth embodiment.
  • the arithmetic unit 21 does not need to include the image conversion unit 211, unlike the keypoint extraction device 2 of the first embodiment. different in that respect.
  • Other features of the keypoint extraction device 2 f may be the same as other features of the keypoint extraction device 2 .
  • the keypoint extraction device 2f may not include the storage device 22, the communication device 23, the input device 24, and the output device 25, as shown in FIG.
  • the keypoint extraction device 2f may include at least one of the storage device 22, the communication device 23, the input device 24, and the output device 25.
  • the keypoint extraction device 2 performs image conversion processing on the keypoint KP1 extracted from the person image IMG1 and the person image IMG1.
  • the image score SC is calculated by comparing with the keypoint KP2 extracted from the converted image IMG2.
  • the keypoint extraction device 2f of the sixth embodiment may calculate the image score SC without generating the transformed image IMG2.
  • the keypoint extraction device 2f may calculate the image score SC without using the keypoint KP2 while using the keypoint KP1.
  • At least one of the keypoint extraction device 2b of the second embodiment to the keypoint extraction device 2e of the fifth embodiment may not include the image conversion unit 211 either.
  • Extraction means for extracting keypoints of an object from an input image as target keypoints; and calculating means for calculating, based on the target keypoint, an index value relating to reliability of the target keypoint as a score of the input image from which the target keypoint is extracted.
  • Appendix 2 further comprising image conversion means for generating a converted image by performing image conversion processing for converting the input image; The extracting means extracts keypoints of the object from the transformed image as transformed keypoints, The information processing apparatus according to appendix 1, wherein the calculation means calculates the score based on a comparison result between the target keypoint and the conversion keypoint.
  • the input image is generated by an imaging device imaging an imaging target range illuminated by a lighting device, 3.
  • the information processing apparatus according to appendix 1 or 2, further comprising a lighting control device that controls the lighting device so as to improve the score based on the score.
  • the extraction means extracts the target keypoint from each of the plurality of input images,
  • the calculation means calculates the score for each input image, 4.
  • the information processing apparatus according to any one of additional notes 1 to 3, further comprising a selection unit that selects at least one input image whose score satisfies a predetermined selection condition from the plurality of input images.
  • Appendix 5 The information processing apparatus according to appendix 4, wherein the selection condition includes a condition that the score is worse than a predetermined selection threshold.
  • the extraction means extracts the target keypoint using a learning model that has been trained using a plurality of learning images with known scores, The information processing apparatus according to appendix 4 or 5, wherein the selection condition includes a condition that the score is included in a score range in which the number of samples of the learning image is less than a predetermined number.
  • the extraction means extracts the target keypoints using a learnable learning model, Using learning data including a first learning image associated with a correct keypoint, which is a keypoint to be extracted, and a second learning image not associated with the correct keypoint, the learning model is further comprising learning means for learning, The extraction means extracts keypoints of the object from the second learning image as learning keypoints, The calculating means calculates, based on the learning keypoints, an index value relating to the reliability of the learning keypoints as a score of the second learning image from which the learning keypoints have been extracted; The learning means calculates a weight indicating the degree of contribution of the second learning image to learning of the learning model based on the score of the second learning image, and uses the learning data and the weight.
  • the information processing apparatus according to any one of appendices 1 to 6, wherein the learning model is learned by performing semi-supervised learning.
  • the object includes an iris of a living body, 8.
  • the determination means blinks the input image when it is determined that the eye is reflected in the input image and the duration of a state in which the score is lower than a predetermined second determination threshold is shorter than a predetermined time.
  • the information processing apparatus according to appendix 8, wherein it is determined that the eye is in the image.
  • [Appendix 10] Extract the keypoints of the object from the input image as target keypoints, An information processing method, comprising: calculating, based on the target keypoint, an index value relating to reliability of the target keypoint as a score of the input image from which the target keypoint is extracted. [Appendix 11] to the computer, Extract the keypoints of the object from the input image as target keypoints, A recording medium recording a computer program for executing an information processing method for calculating, based on the target keypoint, an index value relating to the reliability of the target keypoint as a score of the input image from which the target keypoint is extracted. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理装置（２）は、入力画像（ＩＭＧ１）から、対象物のキーポイント（ＫＰ）を対象キーポイント（ＫＰ１）として抽出する抽出手段（２１２）と、対象キーポイントに基づいて、対象キーポイントの信頼度に関する指標値を、対象キーポイントが抽出された入力画像のスコア（ＳＣ）として算出する算出手段（２１３）とを備える。

Description

情報処理装置、情報処理方法及び記録媒体
　この開示は、例えば、画像から対象物のキーポイント（つまり、特徴点）を抽出することが可能な情報処理装置、情報処理方法及び記録媒体の技術分野に関する。
　画像から対象物のキーポイント（つまり、特徴点）を抽出することが可能な情報処理装置の一例が、特許文献１に記載されている。具体的には、特許文献１には、対象者が写り込んだ画像から、対象者の顔の特徴点の位置を示す顔情報を取得する顔三次元形状推定装置が記載されている。
　その他、この開示に関連する先行技術文献として、特許文献２から特許文献６があげられる。
国際公開第２０２０／１４９００１号パンフレット 国際公開第２０１９／０７８３１０号パンフレット 特表２０１７－５０３２７６号公報 特開２０１７－１５１５５６号公報 特表２００９－５２９２００号公報 特開２００５－００４７８１号公報
　この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。
　情報処理装置の一の態様は、入力画像から、対象物のキーポイントを対象キーポイントとして抽出する抽出手段と、前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する算出手段とを備える。
　情報処理方法の一の態様は、入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する。
　記録媒体の一の態様は、コンピュータに、入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
図１は、第１実施形態のキーポイント抽出システムの全体構成を示すブロック図である。 図２は、第１実施形態のキーポイント抽出装置の構成を示すブロック図である。 図３は、第１実施形態のキーポイント抽出装置が行うキーポイント抽出動作の流れを示すフローチャートである。 図４は、人物画像から抽出された虹彩のキーポイントの一例を示す平面図である。 図５は、第２実施形態のキーポイント抽出装置の構成を示すブロック図である。 図６は、第３実施形態のキーポイント抽出装置の構成を示すブロック図である。 図７は、学習画像のサンプル数と、学習画像の画像スコアＳＣとの関係を示すグラフである。 図８は、第４実施形態のキーポイント抽出装置の構成を示すブロック図である。 図９は、学習用データの一例を示す。 図１０は、第５実施形態のキーポイント抽出装置の構成を示すブロック図である。 図１１は、第６実施形態のキーポイント抽出装置の構成を示すブロック図である。
　以下、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。以下では、キーポイント抽出システムＳＹＳを用いて、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。
　キーポイント抽出システムＳＹＳは、画像から対象物のキーポイントＫＰを抽出することが可能である。以下の説明では、キーポイント抽出システムＳＹＳが、対象物の一例である人物（つまり、生体）を撮像することで生成される人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物のキーポイントＫＰを抽出することが可能である例について説明する。但し、キーポイント抽出システムＳＹＳは、人物とは異なる任意の対象物が写り込んだ画像から、画像に写り込んだ任意の対象物のキーポイントＫＰを抽出することが可能であってもよい。対象物の一例として、人間以外の生体（例えば、犬及び猫等の哺乳類、スズメ等の鳥類、ヘビ等の爬虫類、カエル等の両生類及び金魚等の魚類の少なくとも一つ）があげられる。対象物の他の一例として、無生物たる物体があげられる。無生物たる物体の一例として、人物又は動物を模したロボットがあげられる。
　また、以下の説明では、キーポイント抽出システムＳＹＳが、人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物の虹彩のキーポイントＫＰを抽出することが可能である例について説明する。このようなキーポイント抽出システムＳＹＳは、虹彩認証システムとして用いられてもよい。虹彩認証システムは、虹彩を用いて人物を認証することが可能なシステムである。例えば、虹彩認証システムは、虹彩のキーポイントＫＰに基づいて、人物画像ＩＭＧ１に写り込んだ人物の虹彩の特徴量を抽出する。例えば、虹彩認証システムは、虹彩のキーポイントＫＰに基づいて、人物画像ＩＭＧ１中において虹彩が写り込んだドーナツ状の虹彩領域を特定してもよい。具体的には、虹彩認証システムは、虹彩の内側の輪郭を特定可能なキーポイントＫＰと虹彩の外側の輪郭を特定可能なキーポイントＫＰとに基づいて、虹彩領域を特定してもよい。更に、虹彩認証システムは、まぶたの縁を特定可能なキーポイントＫＰに基づいて、ドーナツ状の虹彩領域から、まぶたに重なっている領域部分を削除してもよい。その後、虹彩認証システムは、虹彩領域を複数のリング状のブロックに分割し、各ブロックを複数のセクタに分割し、各セクタの特徴量（例えば、複数のセクタに含まれる虹彩のパターンに関する特徴量であり、例えば、輝度値）を抽出してもよい。その後、虹彩認証システムは、抽出された虹彩の特徴量に基づいて、人物画像ＩＭＧ１に写り込んだ人物を認証してもよい。尚、虹彩認証システムの説明から分かるように、この開示では、虹彩の特徴点（つまり、キーポイントＫＰ）と虹彩の特徴量とは明確に区別される。
　但し、キーポイント抽出システムＳＹＳは、人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物の任意の部位のキーポイントＫＰを抽出することが可能であってもよい。人物の任意の部位の一例として、人物を認証するために利用可能な部位があげられる。人物を認証するために利用可能な部位の他の一例として、顔認証に利用可能な顔があげられる。人物を認証するために利用可能な部位の他の一例として、指紋認証に利用可能な指紋が刻まれた指があげられる。人物を認証するために利用可能な部位の他の一例として、掌紋認証に利用可能な掌紋が刻まれた手があげられる。人物を認証するために利用可能な部位の他の一例として、静脈認証に利用可能な静脈パターンが浮き出た指があげられる。
　以下、このようなキーポイント抽出システムＳＹＳについて、図面を参照しながら更に詳細に説明する
　（１）第１実施形態のキーポイント抽出システムＳＹＳ
　初めに、第１実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第１実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳａ”と称する。
　（１－１）キーポイント抽出システムＳＹＳａの全体構成
　初めに、図１を参照しながら、第１実施形態のキーポイント抽出システムＳＹＳａの全体構成について説明する。図１は、第１実施形態のキーポイント抽出システムＳＹＳａの全体構成を示すブロック図である。
　図１に示すように、キーポイント抽出システムＳＹＳａは、カメラ１と、「情報処理装置」の一具体例であるキーポイント抽出装置２とを備えている。キーポイント抽出システムＳＹＳａは、単一のカメラ１を備えていてもよいし、複数のカメラ１を備えていてもよい。カメラ１とキーポイント抽出装置２とは、通信ネットワーク３を介して互いに通信可能である。通信ネットワーク３は、有線の通信ネットワークを含んでいてもよい。通信ネットワーク３は、無線の通信ネットワークを含んでいてもよい。
　カメラ１は、撮像対象範囲を撮像可能な撮像装置である。カメラ１は、撮像対象範囲を撮像することで撮像対象範囲が写り込んだ画像を生成する処理を含む。上述したようにキーポイント抽出システムＳＹＳａが人物の虹彩のキーポイントＫＰを抽出するがゆえに、撮像対象範囲には、通常、人物が存在する。この場合、カメラ１は、人物を撮像することで、人物が写り込んだ人物画像ＩＭＧ１を生成する。特に、カメラ１は、人物の顔（特に、虹彩及び虹彩の周辺の部位を含む顔の少なくとも一部）を撮像することで、人物の顔（特に、虹彩及び虹彩の周辺の部位を含む顔の少なくとも一部）が写り込んだ人物画像ＩＭＧ１を生成する。カメラ１は、生成した人物画像ＩＭＧ１を、キーポイント抽出装置２に出力する。具体的には、カメラ１は、生成した人物画像ＩＭＧ１を、通信ネットワーク３を介して、キーポイント抽出装置２に送信する。
　キーポイント抽出装置２は、通信ネットワーク３を介してカメラ１から送信された人物画像ＩＭＧ１を受信する。キーポイント抽出装置２は、受信した人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んだ人物の虹彩のキーポイントＫＰを抽出するためのキーポイント抽出動作を行う。
　キーポイント抽出システムＳＹＳａは更に、照明装置４を備えていてもよい。照明装置４は、カメラ１が撮像可能な撮像対象範囲を照明光で照明可能である。撮像対象範囲に人物が存在する場合には、照明装置４は、撮像対象範囲に存在する人物を照明光で照明可能であってもよい。この場合、カメラ１は、照明装置４によって照明された人物を撮像してもよい。但し、キーポイント抽出システムＳＹＳａは、照明装置４を備えていなくてもよい。
　（１－２）キーポイント抽出装置２の構成
　続いて、図２を参照しながら、第１実施形態のキーポイント抽出装置２の構成について説明する。図２は、第１実施形態のキーポイント抽出装置２の構成を示すブロック図である。
　図２に示すように、キーポイント抽出装置２は、演算装置２１と、記憶装置２２と、通信装置２３とを備えている。更に、キーポイント抽出装置２は、入力装置２４と、出力装置２５とを備えていてもよい。但し、キーポイント抽出装置２は、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。
　演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、キーポイント抽出装置２が備える図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、キーポイント抽出装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、キーポイント抽出装置２が行うべき動作（例えば、上述したキーポイント抽出動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、キーポイント抽出装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
　図２には、キーポイント抽出動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、「画像変換手段」の一具体例である画像変換部２１１と、「抽出手段」の一具体例であるキーポイント抽出部２１２と、「算出手段」の一具体例であるスコア算出部２１３とが実現される。尚、画像変換部２１１、キーポイント抽出部２１２及びスコア算出部２１３の夫々の動作については後に詳述するが、ここでその概要を簡単に説明する。画像変換部２１１は、人物画像ＩＭＧ１を変換する画像変換処理を行うことで、変換画像ＩＭＧ２を生成可能である。キーポイント抽出部２１２は、人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んでいる対象物（第１実施形態では、虹彩）のキーポイントＫＰを抽出可能である。更に、キーポイント抽出部２１２は、変換画像ＩＭＧ２から、変換画像ＩＭＧ２に写り込んでいる対象物（第１実施形態では、虹彩）のキーポイントＫＰを抽出可能である。尚、以下の説明では、人物画像ＩＭＧ１から抽出されたキーポイントＫＰを、“キーポイントＫＰ１”と称し、且つ、変換画像ＩＭＧ２から抽出されたキーポイントＫＰを、“キーポイントＫＰ２”と称することで、両者を区別する。キーポイントＫＰ１は、「対象キーポイント」の一具体例であり、キーポイントＫＰ２は、「変換キーポイント」の一具体例である。スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とに基づいて、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値を、人物画像ＩＭＧ１のスコア（以降、“画像スコアＳＣ”と称する）として算出可能である。尚、本実施形態における「信頼度」は、キーポイント抽出部２１２が人物画像ＩＭＧ１から実際に抽出したキーポイントＫＰ１と、キーポイント抽出部２１２が人物画像ＩＭＧ１から抽出するべきキーポイントＫＰ１（つまり、キーポイントＫＰ１の正解値）との誤差を評価するための指標値である。典型的には、誤差が小さくなるほど、キーポイント抽出部２１２が人物画像ＩＭＧ１から実際に抽出したキーポイントＫＰ１が、信頼できる（つまり、キーポイント抽出部２１２が人物画像ＩＭＧ１から抽出するべきキーポイントＫＰ１として支障なく利用可能である）と想定される。このため、典型的には、誤差が小さくなるほど、信頼度は高くなる。
　記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している際に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、キーポイント抽出装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。
　通信装置２３は、通信ネットワーク３を介して、カメラ１と通信可能である。第１実施形態では、通信装置２３は、通信ネットワーク３を介して、カメラ１から人物画像ＩＭＧ１を受信（つまり、取得）する。
　入力装置２４は、キーポイント抽出装置２の外部からのキーポイント抽出装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、キーポイント抽出装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は、キーポイント抽出装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
　出力装置２５は、キーポイント抽出装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　（１－３）キーポイント抽出装置２が行うキーポイント抽出動作の流れ
　続いて、図３を参照しながら、第１実施形態のキーポイント抽出装置２が行うキーポイント抽出動作の流れについて説明する。図３は、第１実施形態のキーポイント抽出装置２が行うキーポイント抽出動作の流れを示すフローチャートである。
　図３に示すように、キーポイント抽出装置２は、カメラ１から人物画像ＩＭＧ１を取得する（ステップＳ１１）。具体的には、キーポイント抽出装置２は、通信装置２３を用いて、カメラ１がキーポイント抽出装置２に対して送信した人物画像ＩＭＧ１を、通信ネットワーク３を介して受信する。
　その後、キーポイント抽出部２１２は、ステップＳ１１において取得された人物画像ＩＭＧ１から、人物画像ＩＭＧ１に写り込んでいる虹彩のキーポイントＫＰ（つまり、キーポイントＫＰ１）を抽出する（ステップＳ１１）。
　キーポイントＫＰは、対象物の特徴的な部分を特定可能な点に相当するキーポイントＫＰを含んでいてもよい。このため、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の特徴的な部分を特定可能な点に相当するキーポイントＫＰを抽出してもよい。例えば、人物画像ＩＭＧ１から抽出された虹彩のキーポイントＫＰの一例を示す図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の内側の輪郭（つまり、実質的には、瞳孔の輪郭）を特定可能な点に相当するキーポイントＫＰ＃１を抽出してもよい。キーポイントＫＰ＃１は、虹彩の内側の輪郭上に位置する点であってもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の外側の輪郭を特定可能な点に相当するキーポイントＫＰ＃２を抽出してもよい。キーポイントＫＰ＃２は、虹彩の外側の輪郭上に位置する点であってもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の中心を特定可能な点に相当するキーポイントＫＰ＃３を抽出してもよい。キーポイントＫＰ＃３は、虹彩の中心に位置する点であってもよい。尚、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の中心を特定可能な点に相当するキーポイントＫＰ＃３に加えて又は代えて、虹彩の中心に位置する瞳孔の中心を特定可能な点に相当するキーポイントＫＰを抽出してもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩を部分的に隠す可能性があるまぶたの縁を特定可能な点に相当するキーポイントＫＰ＃４を抽出してもよい。キーポイントＫＰ＃４は、瞼の縁上に位置する点であってもよい。例えば、図４に示すように、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩が含まれる目を特定可能な点に相当するキーポイントＫＰ＃５を抽出してもよい。一例として、キーポイント抽出部２１２は、キーポイントＫＰ＃５として、目頭を特定可能な点に相当するキーポイントＫＰ＃５－１及び目尻を特定可能な点に相当するキーポイントＫＰ＃５－２の少なくとも一方を抽出してもよい。
　キーポイントＫＰは、対象物の特徴的な部分を特定可能な点に相当するキーポイントＫＰに加えて又は代えて、対象物の特徴的な部分を特定可能な線に相当するキーポイントＫＰを含んでいてもよい。このため、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の特徴的な部分を特定可能な線に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の内側の輪郭を特定可能な線（例えば、虹彩の内側の輪郭に沿って延びる線）に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の外側の輪郭を特定可能な線（例えば、虹彩の外側の輪郭に沿って延びる線）に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、まぶたの縁を特定可能な線（例えば、瞼の縁に沿って延びる線）に相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、目尻と目頭とを結ぶ線に相当するキーポイントＫＰを抽出してもよい。
　キーポイントＫＰとして抽出される点及び線の少なくとも一つは、対象物を定量的に特定するために利用可能であってもよい。このため、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩を定量的に特定するために利用可能な点及び線の少なくとも一つに相当するキーポイントＫＰを抽出してもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩のサイズを特定するために利用可能な線に相当するキーポイントＫＰを抽出してもよい。一例として、虹彩の形状が円形である場合には、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩のサイズの一例である虹彩の径（例えば、直径）を特定するために利用可能な線（例えば、虹彩の中心を通過し、且つ、虹彩の外側の輪郭上に両端が存在する線）に相当するキーポイントＫＰを抽出してもよい。他の一例として、虹彩の形状が楕円形である場合には、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩のサイズの一例である虹彩の長径及び短径の少なくとも一つを特定するために利用可能な線に相当するキーポイントＫＰを抽出してもよい。虹彩の長径を特定するために利用可能な線は、例えば、虹彩の長軸を示す線を含んでいてもよい。虹彩の短径を特定するために利用可能な線は、例えば、虹彩の短軸を示す線を含んでいてもよい。例えば、キーポイント抽出部２１２は、虹彩のキーポイントＫＰとして、虹彩の中心に位置する瞳孔のサイズ（例えば、径）を特定するために利用可能な線に相当するキーポイントＫＰを抽出してもよい。
　キーポイント抽出部２１２は、ニューラルネットワークを用いて、キーポイントＫＰを抽出してもよい。具体的には、キーポイント抽出部２１２は、人物画像ＩＭＧ１（或いは、変換画像ＩＭＧ２を含む任意の画像）が入力された場合に人物画像ＩＭＧ１（或いは、変換画像ＩＭＧ２を含む任意の画像）に写り込んでいる虹彩のキーポイントＫＰを出力可能なニューラルネットワークを用いて、キーポイントＫＰを抽出してもよい。ニューラルネットワークのパラメータは、ニューラルネットワークのパラメータを学習するための学習画像と、当該学習画像に写り込んでいる虹彩のキーポイントＫＰの正解ラベル（つまり、学習画像から抽出されるべきキーポイントＫＰである正解キーポイント）とを含む学習用データを用いて学習されることが好ましい。尚、ニューラルネットワークは、学習可能な学習モデルの一例である。このため、キーポイント抽出部２１２は、ニューラルネットワークとは異なる任意の学習モデルを用いて、キーポイントＫＰを抽出してもよい。
　キーポイントＫＰを抽出する動作は、人物画像ＩＭＧ１内でのキーポイントＫＰの位置（例えば、人物画像ＩＭＧ１内での高さ方向及び幅方向の夫々におけるキーポイントＫＰの位置）を特定する動作を意味していてもよい。この場合、キーポイント抽出部２１２は、人物画像ＩＭＧ１内でのキーポイントＫＰの位置を特定してもよい。上述したようにニューラルネットワークを用いてキーポイントＫＰが抽出される場合には、ニューラルネットワークは、人物画像ＩＭＧ１内でのキーポイントＫＰの位置を出力してもよい。
　尚、カメラ１が生成した人物画像ＩＭＧ１に必ずしも人物（特に、その虹彩）が適切に写り込んでいるとは限らない。この場合、キーポイント抽出部２１２は、図４を用いてそれらの一例を説明した複数種類のキーポイントＫＰのうちの少なくとも一つを抽出しなくてもよい。つまり、キーポイント抽出部２１２は、複数種類のキーポイントＫＰのうちの全てを抽出する必要はない。キーポイント抽出部２１２は、人物画像ＩＭＧ１から抽出可能な少なくとも一つのキーポイントＫＰを抽出すればよい。キーポイント抽出部２１２は、人物画像ＩＭＧ１から抽出できない少なくとも一つのキーポイントＫＰを必ずしも抽出しなくてもよい。このため、キーポイント抽出部２１２がキーポイントＫＰを一つも抽出しない可能性もある。更には、人物画像ＩＭＧ１に人物（特に、その虹彩）が写り込んでいない場合には、キーポイント抽出部２１２は、キーポイントＫＰを一つも抽出しなくてもよい。つまり、キーポイント抽出部２１２に入力される人物画像ＩＭＧ１には、必ずしも人物（特に、その虹彩）が写り込んでいなくてもよい。
　再び図３において、ステップＳ１２の動作と並行して又は相前後して、画像変換部２１１は、ステップＳ１１において取得された人物画像ＩＭＧ１を変換する画像変換処理を行う（ステップＳ１３）。その結果、画像変換部２１１は、画像変換処理が行われた人物画像ＩＭＧ１である変換画像ＩＭＧ２を生成する（ステップＳ１３）。
　ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１に対して幾何学的変換（言い換えれば、線形変換）を行う処理を含んでいてもよい。つまり、画像変換部２１１は、人物画像ＩＭＧ１に対して幾何学的変換を行ってもよい。
　幾何学的変換の一例として、アフィン変換があげられる。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１に対してアフィン変換を行う処理を含んでいてもよい。アフィン変換は、平行移動を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を高さ方向及び幅方向の少なくとも一方に平行移動させる平行移動処理を含んでいてもよい。アフィン変換は、回転を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を回転させる回転処理を含んでいてもよい。アフィン変換は、拡大及び縮小を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を拡大又は縮小させるスケーリング処理を含んでいてもよい。アフィン変換は、せん断を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１をせん断変換するせん断処理を含んでいてもよい。
　幾何学的変換の他の一例として、反転変換があげられる。つまり、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１に対して反転変換を行う処理を含んでいてもよい。例えば、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を左右に反転する（言い換えれば、幅方向（水平方向）に反転する）処理を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、高さ方向（垂直方向）に沿った対称軸に対して人物画像ＩＭＧ１と線対称な画像を変換画像ＩＭＧ２として生成する処理を含んでいてもよい。例えば、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１を上下に反転する（言い換えれば、高さ方向（垂直方向）に反転する）処理を含んでいてもよい。つまり、ステップＳ１３における画像変換処理は、幅方向（水平方向）に沿った対称軸に対して人物画像ＩＭＧ１と線対称な画像を変換画像ＩＭＧ２として生成する処理を含んでいてもよい。
　ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１の少なくとも一部の特性を変更する処理を含んでいてもよい。人物画像ＩＭＧ１の特性は、人物画像ＩＭＧ１の輝度（つまり、ブライトネス）を含んでいてもよい。この場合、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１の少なくとも一部の輝度を変更する処理を含んでいてもよい。特に、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１のうちの虹彩に相当する画像部分及び人物画像ＩＭＧ１のうちの虹彩の周辺の部位に相当する画像部分の少なくとも一つの輝度を変更する処理を含んでいてもよい。人物画像ＩＭＧ１の特性は、人物画像ＩＭＧ１の輝度に加えて又は代えて、人物画像ＩＭＧ１のコントラスト（つまり、輝度の比率）を含んでいてもよい。この場合、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１の少なくとも一部のコントラストを変更する処理を含んでいてもよい。特に、ステップＳ１３における画像変換処理は、人物画像ＩＭＧ１のうちの虹彩に相当する画像部分及び人物画像ＩＭＧ１のうちの虹彩の周辺の部位に相当する画像部分の少なくとも一つのコントラストを変更する処理を含んでいてもよい。
　ステップＳ１３において、画像変換部２１１は、単一の変換画像ＩＭＧ２を生成してもよい。或いは、ステップＳ１３において、キーポイント抽出部２１２は、複数の変換画像ＩＭＧ２を生成してもよい。複数の変換画像ＩＭＧ２は、異なる複数の画像変換処理によって生成されてもよい。例えば、画像変換部２１１は、人物画像ＩＭＧ１を平行移動することで第１の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１を回転することで第２の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１を拡大又は縮小することで第３の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１を反転することで第４の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１の輝度を変更することで第５の変換画像ＩＭＧ２を生成し、人物画像ＩＭＧ１のコントラストを変更することで第６の変換画像ＩＭＧ２を生成してもよい。
　その後、キーポイント抽出部２１２は、ステップＳ１３において生成された変換画像ＩＭＧ２から、変換画像ＩＭＧ２に写り込んでいる虹彩のキーポイントＫＰ（つまり、キーポイントＫＰ２）を抽出する（ステップＳ１４）。尚、ステップＳ１４においてキーポイントＫＰ２を抽出する動作は、ステップＳ１２においてキーポイントＫＰ１を抽出する動作と同一であってもよい。このため、ステップＳ１４においてキーポイントＫＰ２を抽出する動作の詳細な説明は省略する。
　ステップＳ１３において複数の変換画像ＩＭＧ２が生成される場合には、キーポイント抽出部２１２は、複数の変換画像ＩＭＧ２の夫々からキーポイントＫＰ２を抽出してもよい。例えば、上述したように画像変換部２１１が第１の変換画像ＩＭＧ２から第６の変換画像ＩＭＧ２を生成した場合には、キーポイント抽出部２１２は、第１の変換画像ＩＭＧ２から第１のキーポイントＫＰ２を抽出し、第２の変換画像ＩＭＧ２から第２のキーポイントＫＰ２を抽出し、第３の変換画像ＩＭＧ２から第３のキーポイントＫＰ２を抽出し、第４の変換画像ＩＭＧ２から第４のキーポイントＫＰ２を抽出し、第５の変換画像ＩＭＧ２から第５のキーポイントＫＰ２を抽出し、第６の変換画像ＩＭＧ２から第６のキーポイントＫＰ２を抽出してもよい。
　その後、スコア算出部２１３は、人物画像ＩＭＧ１の画像スコアＳＣを算出する（ステップＳ１５）。尚、人物画像ＩＭＧ１の画像スコアＳＣは、上述したように、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値である。以下、このような画像スコアＳＣについて説明する。
　キーポイント抽出部２１２がキーポイントＫＰ１を抽出する人物画像ＩＭＧ１の品質が常に一定であるとは限らない。例えば、一のタイミングでキーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が相対的に高い一方で、一のタイミングとは異なる他のタイミングでキーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が相対的に低い可能性がある。人物画像ＩＭＧ１の品質が高くなるほど、キーポイント抽出部２１２は、抽出すべきキーポイントＫＰ１を確実に抽出することができる可能性が高くなる。また、人物画像ＩＭＧ１の品質が高くなるほど、キーポイント抽出部２１２は、キーポイントＫＰ１を高精度に抽出することができる可能性が高くなる。尚、ここで言うキーポイントＫＰ１の精度は、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の位置と、実際のキーポイントＫＰ１の位置とのずれ量を定量的に評価するための指標値である。キーポイント抽出部２１２が抽出したキーポイントＫＰ１の位置と実際のキーポイントＫＰ１の位置とのずれ量が少なければ少ないほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１は高い。このため、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の精度が低くなる可能性が高い。つまり、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の位置は、キーポイントＫＰ１の本来の位置から大きくずれている可能性が高い。更には、場合によっては、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２は、そもそも、抽出すべきキーポイントＫＰ１を抽出できなくなる可能性が高くなる。このため、キーポイント抽出部２１２に入力された人物画像ＩＭＧ１の品質が低くなればなるほど、キーポイント抽出部２１２が抽出したキーポイントＫＰ１の信頼性は低いと想定される。このような観点から、スコア算出部２１３は、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値を、人物画像ＩＭＧ１の品質を定量的に評価可能な画像スコアＳＣとして算出する。
　キーポイント抽出部２１２がキーポイントＫＰ１を抽出しにくい人物画像ＩＭＧ１は、キーポイント抽出部２１２にとって相性の悪い人物画像ＩＭＧ１であるとも言える。同様に、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出することができない人物画像ＩＭＧ１もまた、キーポイント抽出部２１２にとって相性の悪い人物画像ＩＭＧ１であるとも言える。このため、画像スコアＳＣは、キーポイント抽出部２１２に対する人物画像ＩＭＧ１の相性を定量的に評価するための指標値であるとみなしてもよい。尚、キーポイント抽出部２１２に対する人物画像ＩＭＧ１の相性は、人物画像ＩＭＧ１からのキーポイント抽出部２１２によるキーポイントＫＰ１の抽出しやすさ（特に、高精度なキーポイントＫＰ１の抽出しやすさ）を意味していてもよい。
　上述したように、学習可能なニューラルネットワーク（或いは、学習可能な任意の学習モデル）を用いてキーポイント抽出部２１２がキーポイントＫＰ１を抽出する場合には、キーポイント抽出部２１２がキーポイントＫＰ１を抽出しにくい人物画像ＩＭＧ１は、学習モデルによる学習が不足している人物画像ＩＭＧ１であるとも言える。同様に、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出することができない人物画像ＩＭＧ１もまた、学習モデルによる学習が不足している人物画像ＩＭＧ１であるとも言える。このため、画像スコアＳＣは、学習モデルによる人物画像ＩＭＧ１の学習の不足度（つまり、キーポイント抽出部２１２による人物画像ＩＭＧ１の学習の不足度）を定量的に評価するための指標値であるとみなしてもよい。
　人物画像ＩＭＧ１の品質は、人物画像ＩＭＧ１に写り込んでいる物体（ここでは、人物）の状態に影響を受ける可能性がある。このため、画像スコアＳＣは、人物画像ＩＭＧ１に写り込んでいる物体（ここでは、人物）の状態を定量的に評価するための指標値であるとみなしてもよい。例えば、人物画像ＩＭＧ１に写り込んでいる人物の状態の一例として、メガネの有無があげられる。具体的には、人物画像ＩＭＧ１に写り込んでいる人物がメガネをかけてない場合には、照明装置４からの照明光がメガネによって反射されることはない。このため、カメラ１は、メガネによる照明光の反射光の影響を受けることなく、人物の目（特に、虹彩）を撮像することが可能である。つまり、人物画像ＩＭＧ１には、人物の目（特に、虹彩）が適切に写り込んでいる。この場合、キーポイント抽出部２１２は、人物画像ＩＭＧ１から、虹彩のキーポイントＫＰ１を相対的に高精度に抽出できる可能性が相対的に高くなる。一方で、人物画像ＩＭＧ１に写り込んでいる人物がメガネをかけている場合には、照明装置４からの照明光がメガネによって反射される可能性がある。このため、カメラ１は、メガネによる照明光の反射光の影響を受ける可能性がある。つまり、人物画像ＩＭＧ１には、人物の目（特に、虹彩）が適切に写り込んでいない可能性がある。例えば、人物画像ＩＭＧ１には、メガネのレンズの奥にあるはずの人物の目（特に、虹彩）の一部が、メガネのレンズにおける反射光の写り込みによって隠される可能性がある。この場合、キーポイント抽出部２１２は、人物画像ＩＭＧ１から、虹彩のキーポイントＫＰ１を高精度に抽出できない可能性がある。このため、スコア算出部２１３は、メガネをかけている人物が写り込んでいる人物画像ＩＭＧ１の画像スコアＳＣが、メガネをかけていない人物が写り込んでいる人物画像ＩＭＧ１の画像スコアＳＣよりも悪くなるように、画像スコアＳＣを算出してもよい。但し、第１実施形態では、スコア算出部２１３は、後述するように、人物画像ＩＭＧ１にメガネをかけている人物が写り込んでいるか否かを直接的に判定することなく、キーポイント抽出部２１２が抽出したキーポイントＫＰに基づいて画像スコアＳＣを算出する。しかしながら、スコア算出部２１３は、人物画像ＩＭＧ１にメガネをかけている人物が写り込んでいるか否かを直接的に判定することで、画像スコアＳＣを算出してもよい。
　他方で、人物画像ＩＭＧ１に写り込んでいる人物がメガネをかけている場合であっても、照明装置４からの照明光の照明条件によっては、キーポイント抽出部２１２は、人物画像ＩＭＧ１から、虹彩のキーポイントＫＰ１を高精度に抽出できる可能性がある。具体的には、キーポイント抽出部２１２は、照明条件が第１の条件となる状況下で人物を撮像することで生成された人物画像ＩＭＧ１から、キーポイントＫＰ１を高精度に抽出することができる一方で、照明条件が第１の条件とは異なる第２の条件となる状況下で人物を撮像することで生成された人物画像ＩＭＧ１から、キーポイントＫＰ１を高精度に抽出することができない可能性がある。つまり、人物画像ＩＭＧ１の品質は、人物画像ＩＭＧ１に写り込んでいる物体（ここでは、人物）の状態に影響を与える照明条件に影響を受ける可能性がある。このため、画像スコアＳＣは、照明条件を定量的に評価するための指標値であるとみなしてもよい。逆に言えば、スコア算出部２１３は、照明条件に応じて変動し得る画像スコアＳＣを算出してもよい。但し、第１実施形態では、スコア算出部２１３は、後述するように、照明条件を直接的に参照することなく、キーポイント抽出部２１２が抽出したキーポイントＫＰに基づいて画像スコアＳＣを算出する。しかしながら、スコア算出部２１３は、照明条件に基づいて、画像スコアＳＣを算出してもよい。
　ステップＳ１５では、スコア算出部２１３は、ステップＳ１２において抽出されたキーポイントＫＰ１と、ステップＳ１４において抽出されたキーポイントＫＰ２とに基づいて、人物画像ＩＭＧ１の画像スコアＳＣを算出する。ここで、人物画像ＩＭＧ１の品質が相対的に高い場合には、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出可能であることは、上述したとおりである。このため、人物画像ＩＭＧ１からキーポイント抽出部２１２が抽出したキーポイントＫＰ１と実際のキーポイントＫＰ１とのずれ量は、相対的に小さくなる。更に、人物画像ＩＭＧ１に対して画像変換処理を行うことで生成される変換画像ＩＭＧ２からキーポイント抽出部２１２が抽出したキーポイントＫＰ２と実際のキーポイントＫＰ２とのずれ量もまた、相対的に小さくなる。従って、人物画像ＩＭＧ１の品質が相対的に高い場合には、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量（つまり、キーポイントＫＰ１の位置とキーポイントＫＰ２の位置とのずれ量）が相対的に小さくなると想定される。一方で、人物画像ＩＭＧ１の品質が相対的に低い場合には、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できない可能性がある。このため、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量が相対的に大きくなると想定される。なぜならば、キーポイント抽出部２１２がキーポイントＫＰ１（更には、キーポイントＫＰ２）を高精度に抽出できない可能性があるがゆえに、キーポイント抽出部２１２が抽出したキーポイントＫＰ１と実際のキーポイントＫＰ１とのずれ量が、キーポイント抽出部２１２が抽出したキーポイントＫＰ２と実際のキーポイントＫＰ２とのずれ量とは異なる可能性があるからである。
　このため、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量（つまり、違い）は、人物画像ＩＭＧ１の品質に関する情報を含んでいると想定される。従って、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを比較し、キーポイントＫＰ１とキーポイントＫＰ２との比較結果に基づいて、画像スコアＳＣを算出してもよい。
　図４に示すようにキーポイント抽出部２１２が複数種類のキーポイントＫＰを抽出する場合には、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを、キーポイントＫＰの種類ごとに比較してもよい。例えば、スコア算出部２１３は、第１の種類のキーポイントＫＰ１と同じ第１の種類のキーポイントＫＰ２とを比較し、第２の種類のキーポイントＫＰ１と同じ第２の種類のキーポイントＫＰ２とを比較し、・・・、第ｎ（ｎは、２以上の整数を示す変数）の種類のキーポイントＫＰ１と同じ第ｎの種類のキーポイントＫＰ２とのずれ量とを比較してもよい。一具体例として、例えば、スコア算出部２１３は、虹彩の内側の輪郭を特定可能なキーポイントＫＰ１と同じ虹彩の内側の輪郭を特定可能なキーポイントＫＰ２とを比較し、虹彩の外側の輪郭を特定可能なキーポイントＫＰ１と同じ虹彩の内側の輪郭を特定可能なキーポイントＫＰ２とを比較し、虹彩の中心を特定可能なキーポイントＫＰ１と同じ虹彩の中心を特定可能なキーポイントＫＰ２とのずれ量とを比較してもよい。この場合、キーポイント抽出部２１２がｎ種類のキーポイントＫＰを抽出する場合において、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを、ｎ種類のキーポイントＫＰの全てにおいて比較してもよい。或いは、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを、ｎ種類のキーポイントＫＰのうちの一部において比較し、キーポイントＫＰ１とキーポイントＫＰ２とを、ｎ種類のキーポイントＫＰのうちの他の一部において比較しなくてもよい。その後、スコア算出部２１３は、複数種類のキーポイントＫＰに夫々対応する複数の比較結果に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、複数の比較結果の平均値（例えば、単純平均値又は二乗平均値）に基づいて、画像スコアＳＣを算出してもよい。スコア算出部２１３は、複数の比較結果の総和（例えば、単純総和又は二乗総和）に基づいて、画像スコアＳＣを算出してもよい。
　上述したようにステップＳ１３において複数の変換画像ＩＭＧ２が生成され且つステップＳ１４において複数の変換画像ＩＭＧ２から夫々複数のキーポイントＫＰ２が抽出される場合には、スコア算出部２１３は、キーポイントＫＰ１と複数のキーポイントＫＰ２とを比較してもよい。例えば、上述したようにキーポイント抽出部２１２が第１の変換画像ＩＭＧ２から第６の変換画像ＩＭＧ２から夫々第１のキーポイントＫＰ２から第６のキーポイントＫＰ２を抽出した場合には、スコア算出部２１３は、キーポイントＫＰ１と第１のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第２のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第３のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第４のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第５のキーポイントＫＰ２とを比較し、キーポイントＫＰ１と第６のキーポイントＫＰ２とを比較してもよい。その後、スコア算出部２１３は、複数のキーポイントＫＰ２に夫々対応する複数の比較結果に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、複数の比較結果の平均値（例えば、単純平均値又は二乗平均値）に基づいて、画像スコアＳＣを算出してもよい。スコア算出部２１３は、複数の比較結果の総和（例えば、単純総和又は二乗総和）に基づいて、画像スコアＳＣを算出してもよい。
　スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを比較することで、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量を算出してもよい。この場合、スコア算出部２１３は、比較結果に相当するずれ量に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、ずれ量が大きくなるほど、画像スコアＳＣが悪くなるように、画像スコアＳＣを算出してもよい。言い換えれば、スコア算出部２１３は、ずれ量が小さくなるほど、画像スコアＳＣが良くなるように、画像スコアＳＣを算出してもよい。一例として、スコア算出部２１３は、ずれ量が大きくなるほど大きくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が悪い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が低い）と言える。他の一例として、スコア算出部２１３は、ずれ量が大きくなるほど小さくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が良い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高い）と言える。
　上述したように、キーポイント抽出部２１２は、キーポイントＫＰを抽出する際に、キーポイントＫＰの位置を特定する。このようにキーポイントＫＰ１の位置が特定されるがゆえに、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量として、キーポイントＫＰ１とキーポイントＫＰ２との間の距離を算出してもよい。
　但し、キーポイントＫＰ１の位置が人物画像ＩＭＧ１内での位置として特定される一方で、キーポイントＫＰ２の位置が変換画像ＩＭＧ２内での位置として特定される。このため、
キーポイントＫＰ１の位置を特定するための第１座標系（つまり、人物画像ＩＭＧ１内での座標系）と、キーポイントＫＰ２の位置を特定するための第２座標系（つまり、変換画像ＩＭＧ２内での座標系）とが一致しているとは限らない。一方で、キーポイント抽出装置２自身が人物画像ＩＭＧ１に対して画像変換処理を行うことで変換画像ＩＭＧ２を生成しているがゆえに、キーポイント抽出装置２は、第１座標系及び第２座標系のいずれか一方の位置を、第１座標系及び第２座標系のいずれか一方の位置へと変換可能である。このため、画像スコアＳＣを算出する前に、スコア算出部２１３は、ステップＳ１４において抽出された第２座標系内でのキーポイントＫＰ２を、第１座標系内でのキーポイントＫＰ２に変換してもよい。つまり、スコア算出部２１３は、ステップＳ１４において抽出された第２座標系内でのキーポイントＫＰ２の位置を、第１座標系内でのキーポイントＫＰ２の位置に変換してもよい。その後、スコア算出部２１３は、第１座標系内でのキーポイントＫＰ１及び第１座標系内でのキーポイントＫＰ２に基づいて、画像スコアＳＣを算出してもよい。例えば、スコア算出部２１３は、第１座標系内でのキーポイントＫＰ１とキーポイントＫＰ２とのずれ量を算出し、算出したずれ量に基づいて、画像スコアＳＣを算出してもよい。
　キーポイント抽出部２１２がキーポイントＫＰを高精度に抽出できない可能性がある場合には、キーポイントＫＰが抽出される状況次第で、抽出されるキーポイントＫＰのばらつきが大きくなる可能性があることは上述したとおりである。このため、スコア算出部２１３は、キーポイントＫＰ１とキーポイントＫＰ２とを比較することで、キーポイントＫＰの標準偏差（つまり、キーポイントＫＰ１とキーポイントＫＰ２とのばらつき（言い換えれば、散らばり度合い））を算出し、比較結果に相当する標準偏差に基づいて、画像スコアＳＣを算出してもよい。この場合、スコア算出部２１３は、標準偏差が大きくなるほど、画像スコアＳＣが悪くなるように、画像スコアＳＣを算出してもよい。言い換えれば、スコア算出部２１３は、標準偏差が小さくなるほど、画像スコアＳＣが良くなるように、画像スコアＳＣを算出してもよい。一例として、スコア算出部２１３は、標準偏差が大きくなるほど大きくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が悪い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が低い）と言える。他の一例として、スコア算出部２１３は、標準偏差が大きくなるほど小さくなる画像スコアＳＣを算出してもよい。この場合、画像スコアＳＣが大きくなるほど、人物画像ＩＭＧ１の品質が良い（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高い）と言える。
　スコア算出部２１３は、キーポイント抽出部２１２が複数の変換画像ＩＭＧ２から夫々複数のキーポイントＫＰ２を抽出する場合に、キーポイントＫＰの標準偏差を算出してもよい。なぜならば、標準偏差は、母集団のサンプル数（つまり、標準偏差を算出するために用いられるキーポイントＫＰ１及びキーポイントＫＰ２の総数）が過度に少ない場合には、その信頼性が低くなるからである。
　（１－４）キーポイント抽出装置２の技術的効果
　以上説明したように、第１実施形態のキーポイント抽出装置２は、画像スコアＳＣを算出可能である。画像スコアＳＣは、人物画像ＩＭＧ１から抽出されたキーポイントＫＰ１の信頼度に関する指標値であり、且つ、人物画像ＩＭＧ１の品質を定量的に評価可能な指標値である。このため、キーポイント抽出装置２は、この画像スコアＳＣを用いて、キーポイント抽出装置２が人物画像ＩＭＧ１からキーポイントＫＰ１を高精度に抽出できるように、様々な対策を行うことができる。
　例えば、相対的に悪い画像スコアＳＣが算出された人物画像ＩＭＧ１は、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できない（つまり、抽出されたキーポイントＫＰ１の信頼性が相対的に低いと評価される）ほどに品質が悪い画像である可能性がある。このため、相対的に悪い画像スコアＳＣが算出された場合には、人物画像ＩＭＧ１の品質を向上させる必要性が相対的に高いと想定される。従って、この場合には、キーポイント抽出装置２は、人物画像ＩＭＧ１の品質を向上させるための対策を行ってもよい。尚、人物画像ＩＭＧ１の品質を向上させるための対策の一例として、照明装置４による照明光の照明条件の変更があげられるが、この対策については、後述の第２実施形態で説明する。
　例えば、相対的に悪い画像スコアＳＣが算出された人物画像ＩＭＧ１は、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できない（つまり、抽出されたキーポイントＫＰ１の信頼性が相対的に低いと評価される）ほどにキーポイント抽出部２１２による学習が不足している画像である可能性がある。このため、相対的に悪い画像スコアＳＣが算出された場合には、当該相対的に悪い画像スコアＳＣを有する人物画像ＩＭＧ１を用いてキーポイント抽出部２１２の学習（具体的には、上述した学習モデルの学習）を行う必要性が相対的に高いと想定される。従って、キーポイント抽出装置２は、画像スコアＳＣが相対的に悪い人物画像ＩＭＧ１を用いてキーポイント抽出部２１２の学習を行うことができる。
　また、第１実施形態では、キーポイント抽出装置２は、人物画像ＩＭＧ１から抽出されるキーポイントＫＰ１と、人物画像ＩＭＧ１に対して画像変換処理を行うことで生成される変換画像ＩＭＧ２から抽出されるキーポイントＫＰ２とを比較することで、画像スコアＳＣを算出可能である。上述したように人物画像ＩＭＧ１の品質が相対的に高い場合には、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量が相対的に小さくなる一方で、人物画像ＩＭＧ１の品質が相対的に低い場合には、キーポイントＫＰ１とキーポイントＫＰ２とのずれ量が相対的に大きくなる。このため、キーポイント抽出装置２は、キーポイントＫＰ１とキーポイントＫＰ２とを比較することで、適切に画像スコアＳＣを算出することができる。
　（１－５）キーポイント抽出装置２の変形例
　上述した説明では、キーポイント抽出装置２は、人物画像ＩＭＧ１からキーポイントＫＰを抽出可能であって且つ変換画像ＩＭＧ２からキーポイントＫＰを抽出可能な単一のキーポイント抽出部２１２を備えている。しかしながら、キーポイント抽出装置２は、人物画像ＩＭＧ１からキーポイントＫＰを抽出可能なキーポイント抽出部と、変換画像ＩＭＧ２からキーポイントＫＰを抽出可能なキーポイント抽出部とを別々に備えていてもよい。
　（２）第２実施形態のキーポイント抽出システムＳＹＳ
　続いて、第２実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第２実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｂ”と称する。
　第２実施形態のキーポイント抽出システムＳＹＳｂは、上述した第１実施形態のキーポイント抽出システムＳＹＳａと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｂを備えるという点で異なる。キーポイント抽出システムＳＹＳｂのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図５を参照しながら、第２実施形態のキーポイント抽出装置２ｂについて説明する。図５は、第２実施形態のキーポイント抽出装置２ｂの構成を示すブロック図である。尚、既に説明済みの構成要件については、同一の参照符号を付することで、その詳細な説明を省略する。また、既に説明済みの処理については、同一のステップ番号を付することで、その詳細な説明を省略する。
　図５に示すように、第２実施形態のキーポイント抽出装置２ｂは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「照明制御手段」の一具体例である照明制御部２１４ｂが実現されるという点で異なる。キーポイント抽出装置２ｂのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。
　照明制御部２１４ｂは、照明装置４を制御可能である。具体的には、照明制御部２１４ｂは、照明装置４を制御することで、照明装置４による照明光の照明条件を制御可能（具体的には、変更可能）である。照明条件は、例えば、照明光そのものの条件（以降、“光条件”と称する）を含んでいてもよい。光条件は、例えば、照明光の強度及び照明光の波長のうちの少なくとも一つを含んでいてもよい。照明条件は、例えば、照明装置４そのものの条件（以降、“装置条件”と称する）を含んでいてもよい。装置条件は、例えば、照明装置４の位置（つまり、照明装置４から照明光が射出される射出位置）及び照明装置４の向き（つまり、照明装置４の姿勢であり、照明装置４が照明光を射出する射出方向）のうちの少なくとも一つを含んでいてもよい。
　照明制御部２１４ｂは特に、スコア算出部２１３が算出した画像スコアＳＣに基づいて、照明装置４を制御してもよい。具体的には、照明制御部２１４ｂは、画像スコアＳＣが改善される（つまり、良くなる）ように、照明装置４を制御してもよい。上述したように、上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが大きくなる場合には、照明制御部２１４ｂは、画像スコアＳＣが大きくなる（或いは、最大になる）ように、照明装置４を制御してもよい。上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが小さくなる場合には、照明制御部２１４ｂは、画像スコアＳＣが小さくなる（或いは、最小になる）ように、照明装置４を制御してもよい。
　画像スコアＳＣが改善されるように照明装置４を制御するために、カメラ１は、照明条件が異なる複数の状況の夫々において人物を撮像してもよい。具体的には、照明制御部２１４ｂは、照明条件が第１の条件に設定されるように照明装置４を制御し、カメラ１は、照明条件が第１の条件に設定されている状況下において人物を撮像することで、人物画像ＩＭＧ１＃２１を生成してもよい。その後、照明制御部２１４ｂは、照明条件が第１の条件とは異なる第２の条件に設定されるように照明装置４を制御し、カメラ１は、照明条件が第２の条件に設定されている状況下において人物を撮像することで、人物画像ＩＭＧ１＃２２を生成してもよい。その後、スコア算出部２１３は、人物画像ＩＭＧ１＃２１の画像スコアＳＣ＃２１と、人物画像ＩＭＧ１＃２２の画像スコアＳＣ＃２２とを算出してもよい。その後、照明制御部２１４ｂは、画像スコアＳＣ＃２１と画像スコアＳＣ＃２２とを比較することで、画像スコアＳＣが改善されるように照明条件を設定してもよい。例えば、画像スコアＳＣ＃２１が画像スコアＳＣ＃２２よりもよい場合には、照明制御部２１４ｂは、以降の動作で用いられる照明条件が第２の条件に設定されるように照明装置４を制御してもよい。以降は、カメラ１は、照明条件が第２の条件に設定されている状況下において人物を撮像することになる。尚、必要に応じて、照明制御部２１４ｂは、照明条件を変更し、照明条件の変更前後における画像スコアＳＣの比較結果に基づいて照明条件を設定する動作を繰り返してもよい。その結果、画像スコアＳＣがより一層改善されるように、照明条件が変更される。
　このような照明制御部２１４ｂの動作によって画像スコアＳＣが改善される場面の一例として、メガネをかけた人物がカメラ１によって撮像される場面があげられる。上述したように、メガネをかけた人物がカメラ１によって撮像される場合には、人物画像ＩＭＧ１には、メガネをかけた人物が写り込む。この場合には、照明装置４からの照明光がメガネによって反射される可能性がある。このため、人物画像ＩＭＧ１には、人物の目（特に、虹彩）が適切に写り込んでいない可能性がある。例えば、人物画像ＩＭＧ１には、メガネのレンズの奥にあるはずの人物の目（特に、虹彩）の一部が、メガネのレンズにおける反射光の写り込みによって隠される可能性がある。一方で、照明条件が変更された場合には、メガネのレンズによる照明光の反射態様が変わる可能性がある。その結果、メガネのレンズにおける反射光の写り込みによって隠されていた人物の目（特に、虹彩）の一部が、人物画像ＩＭＧ１内に写り込む可能性がある。この場合、人物の目（特に、虹彩）が人物画像ＩＭＧ１に適切に写り込んでいるか否かは、画像スコアＳＣから評価可能である。なぜならば、人物の目（特に、虹彩）の一部がメガネのレンズにおける反射光の写り込みによって隠される場合には、画像スコアＳＣが相対的に悪くなる一方で、人物の目（特に、虹彩）の一部がメガネのレンズにおける反射光の写り込みによって隠されていない場合には、画像スコアＳＣが相対的に良くなるからである。このため、この場合には、照明制御部２１４ｂ、人物の目（特に、虹彩）の一部がメガネのレンズにおける反射光の写り込みによって隠されなくなる（その結果、画像スコアＳＣが改善する）ように、照明装置４を制御可能である。
　このように、第２実施形態では、キーポイント抽出装置２ｂは、キーポイント抽出部２１２がキーポイントＫＰ１を高精度に抽出できる（つまり、抽出されたキーポイントＫＰ１の信頼性が相対的に高いと評価される）ように、照明装置４を制御することができる。このため、キーポイント抽出装置２ｂは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、人物画像ＩＭＧ１の品質を向上させるための対策を行うことができる。
　尚、照明制御部２１４ｂは、キーポイント抽出部２１２が抽出したキーポイントＫＰを用いた動作（例えば、上述した虹彩を用いて人物を認証する動作）が行われている期間中に、画像スコアＳＣが改善されるように照明装置４を制御してもよい。照明制御部２１４ｂは、キーポイント抽出部２１２が抽出したキーポイントＫＰを用いた動作（例えば、上述した虹彩を用いて人物を認証する動作）が開始される前に、画像スコアＳＣが改善されるように照明装置４を制御してもよい。
　（３）第３実施形態のキーポイント抽出システムＳＹＳ
　続いて、第３実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第３実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｃ”と称する。
　第３実施形態のキーポイント抽出システムＳＹＳｃは、上述した第１実施形態のキーポイント抽出システムＳＹＳａと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｃを備えるという点で異なる。キーポイント抽出システムＳＹＳｃのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図６を参照しながら、第３実施形態のキーポイント抽出装置２ｃについて説明する。図６は、第２実施形態のキーポイント抽出装置２ｃの構成を示すブロック図である。
　図６に示すように、第３実施形態のキーポイント抽出装置２ｃは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「選択手段」の一具体例である画像選択部２１５ｃが実現されるという点で異なる。キーポイント抽出装置２ｃのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。
　画像選択部２１５ｃは、スコア算出部２１３が算出した画像スコアＳＣが所定の選択基準を満たしている人物画像ＩＭＧ１を選択する。具体的には、スコア算出部２１３は、典型的には、カメラ１が人物を新たに撮像する都度（つまり、人物画像ＩＭＧ１を新たに生成する都度）、新たに生成された人物画像ＩＭＧ１の画像スコアＳＣを算出する。このため、典型的には、スコア算出部２１３は、複数の人物画像ＩＭＧ１の夫々の画像スコアＳＣを算出する。画像選択部２１５ｃは、この複数の人物画像ＩＭＧ１の中から、画像スコアＳＣが所定の選択基準を満たしている少なくとも一つの人物画像ＩＭＧ１を選択する。
　選択された人物画像ＩＭＧ１は、所望の用途で用いられてもよい。例えば、選択された人物画像ＩＭＧ１は、キーポイント抽出部２１２の学習（具体的には、上述したキーポイント抽出部２１２が用いる学習モデルの学習）という用途で用いられてもよい。選択された人物画像ＩＭＧ１が所望の用途のために用いられる場合には、人物画像ＩＭＧ１を選択するために用いられる選択基準は、所望の用途に応じて設定されてもよい。例えば、選択基準は、学習モデルの学習という用途に応じて設定されてもよい。
　学習モデルの学習という用途に応じて設定される選択基準の一例として、画像スコアＳＣが所定の選択閾値よりも悪いという第１の基準があげられる。この場合、画像選択部２１５ｃは、画像スコアＳＣが選択閾値よりも悪い人物画像ＩＭＧ１を選択する。例えば、上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが大きくなる場合には、画像選択部２１５ｃは、画像スコアＳＣが選択閾値よりも小さい人物画像ＩＭＧ１を選択してもよい。例えば、上述したように人物画像ＩＭＧ１の品質が良くなればなるほど（言い換えれば、抽出されたキーポイントＫＰ１の信頼性が高くなれば高くなるほど）画像スコアＳＣが小さくなる場合には、画像選択部２１５ｃは、画像スコアＳＣが選択閾値よりも大きい人物画像ＩＭＧ１を選択してもよい。
　このような第１の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、画像スコアＳＣが相対的に悪い人物画像ＩＭＧ１を選択する。第１実施形態で説明したように、画像スコアＳＣが相対的に悪い人物画像ＩＭＧ１は、学習モデルによる学習が不足している画像である可能性が相対的に高い。このため、第１の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、学習モデルによる学習が不足している人物画像ＩＭＧ１を選択することができる。その結果、学習モデルによる学習が不足している人物画像ＩＭＧ１を用いて、学習モデルの学習が行われる。このため、学習モデルによる学習が十分である人物画像ＩＭＧ１を用いて学習モデルの学習が行われる場合と比較して、学習モデルの学習が効率的に行われる。つまり、学習モデルの学習効率があがる。
　尚、第１の基準で用いられる選択閾値は、学習モデルによる学習が不足している（言い換えれば、学習モデルにとって相性が悪い）人物画像ＩＭＧ１と、学習モデルによる学習が不足していない（言い換えれば、学習モデルにとって相性が良い）人物画像ＩＭＧ１とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。
　学習モデルの学習という用途に応じて設定される選択基準の他の一例として、画像スコアＳＣが既知である複数の学習画像を用いて学習モデルが学習済みである状況下において、画像スコアＳＣが、学習モデルが学習済みの複数の学習画像を画像スコアＳＣに応じて分類した場合に分類される学習画像のサンプル数が所定数よりも少ない画像スコアＳＣの範囲に含まれるという第２の基準があげられる。例えば、図７は、学習画像のサンプル数と、学習画像の画像スコアＳＣとの関係を示している。つまり、図７は、ある画像スコアＳＣの学習画像のサンプル数を、画像スコアＳＣ毎に示している。ここで、図７に示す例では、所定数が閾値ＴＨに設定されている。この場合、図７に示すように、学習画像のサンプル数が所定数（＝閾値ＴＨ）よりも少ない画像スコアＳＣの範囲は、「所定スコアＳＣ１＜画像スコアＳＣ＜所定スコアＳＣ２」という範囲となる。従って、図７に示す例では、画像選択部２１５ｃは、画像スコアＳＣが所定スコアＳＣ１よりも大きく且つ所定スコアＳＣ２よりも小さい人物画像ＩＭＧ１を選択する。
　このような第２の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、学習モデルが学習済みの学習画像とは画像スコアＳＣが異なる人物画像ＩＭＧ１を優先的に選択する。学習モデルが学習済みの学習画像とは画像スコアＳＣが異なる人物画像ＩＭＧ１は、学習モデルによる学習が不足している画像である可能性が相対的に高い。このため、第２の基準が選択基準として用いられる場合には、画像選択部２１５ｃは、学習モデルによる学習が不足している人物画像ＩＭＧ１を選択することができる。その結果、学習モデルによる学習が不足している人物画像ＩＭＧ１を用いて、学習モデルの学習が行われる。このため、学習モデルによる学習が十分である人物画像ＩＭＧ１を用いて学習モデルの学習が行われる場合と比較して、学習モデルの学習が効率的に行われる。つまり、学習モデルの学習効率があがる。
　尚、第２の基準で用いられる所定数（例えば、図７における閾値ＴＨ）は、学習モデルによる学習が不足している（言い換えれば、学習モデルにとって相性が悪い）人物画像ＩＭＧ１と、学習モデルによる学習が不足していない（言い換えれば、学習モデルにとって相性が良い）人物画像ＩＭＧ１とを、それらのサンプル数から区別可能な所望の値に設定されてもよい。
　人物画像ＩＭＧ１を用いて学習モデルの学習を行うために教師あり学習を行う場合には、人物画像ＩＭＧ１に対して、当該人物画像ＩＭＧ１から抽出されるべきキーポイントＫＰの正解ラベルを付与する（つまり、アノテーションを行う）ことで、人物画像ＩＭＧ１と正解ラベルとを含む学習用データを生成することが望まれる。しかしながら、一般的に、正解ラベルの付与には手間がかかる。しかるに、第１の基準又は第２の基準が選択基準として用いられる場合には、複数の人物画像ＩＭＧ１の中から第１の基準又は第２の基準に基づいて選択された人物画像ＩＭＧ１に対して正解ラベルが付与されれば十分である。つまり、複数の人物画像ＩＭＧ１の全てに正解ラベルが付与されなくてもよくなる。このため、第２実施形態では、正解ラベルの付与に要する手間が軽減される。つまり、学習用データの生成に要する手間が軽減される。
　尚、画像選択部２１５ｃは、画像スコアＳＣが第１の基準及び第２の基準の双方を満たす人物画像ＩＭＧ１を選択してもよい。例えば、画像選択部２１５ｃは、複数の人物画像ＩＭＧ１の中から、画像スコアＳＣが第１の基準を満たす複数の人物画像ＩＭＧ１を選択し、その後、画像スコアＳＣが第１の基準を満たす複数の人物画像ＩＭＧ１の中から、画像スコアＳＣが第２の基準を満たす複数の人物画像ＩＭＧ１を選択してもよい。
　このように、第３実施形態では、キーポイント抽出装置２ｃは、画像スコアＳＣが選択基準を満たす人物画像ＩＭＧ１を選択する（例えば、収集する）ことができる。このため、キーポイント抽出装置２ｃは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、選択された人物画像ＩＭＧ１を用いて、所望の動作（例えば、キーポイント抽出部２１２が用いる学習モデルの学習）を行うことができる。
　尚、上述した第２実施形態のキーポイント抽出装置２ｂが、第３実施形態のキーポイント抽出装置２ｃに特有の構成要件を備えていてもよい。第３実施形態のキーポイント抽出装置２ｃに特有の構成要件は、画像選択部２１５ｃを含んでいてもよい。第３実施形態のキーポイント抽出装置２ｃに特有の構成要件は、画像スコアＳＣに基づく人物画像ＩＭＧ１の選択に関する構成要件を含んでいてもよい。
　（４）第４実施形態のキーポイント抽出システムＳＹＳ
　続いて、第４実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第４実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｄ”と称する。
　第４実施形態のキーポイント抽出システムＳＹＳｄは、上述した第１実施形態のキーポイント抽出システムＳＹＳａと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｄを備えるという点で異なる。キーポイント抽出システムＳＹＳｄのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図８を参照しながら、第４実施形態のキーポイント抽出装置２ｄについて説明する。図８は、第４実施形態のキーポイント抽出装置２ｄの構成を示すブロック図である。
　図８に示すように、第４実施形態のキーポイント抽出装置２ｄは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「学習手段」の一具体例である学習部２１６ｄと、「学習手段」の一具体例である重み算出部２１７ｄとが実現されるという点で異なる。更には、キーポイント抽出装置２ｄは、キーポイント抽出装置２と比較して、記憶装置２２が、キーポイント抽出部２１２が用いる学習モデルの学習のために用いられる学習用データ２２１ｄを記憶しているという点で異なる。キーポイント抽出装置２ｄのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。
　学習部２１６ｄは、学習用データ２２１ｄを用いて、キーポイント抽出部２１２が用いる学習モデルの学習を行う。第４実施形態では、学習部２１６ｄは、学習用データ２２１ｄを用いて半教師あり学習を行うことで、学習モデルの学習を行う。このため、学習部２１６ｄは、半教師あり学習を行うための学習用データ２２１ｄを用いて、学習モデルの学習を行う。
　半教師あり学習を行うための学習用データ２２１ｄの一例が図９に示されている。図９に示すように、学習用データ２２１ｄは、ラベル付き学習用データ２２１１ｄと、ラベルなし学習用データ２２１２ｄとを含む。ラベル付き学習用データ２２１１ｄは、学習画像ＩＭＧ３と当該学習画像ＩＭＧ３から抽出されるべきキーポイントＫＰを示す正解ラベルとを含むラベル付き単位データ２２１３ｄを複数含むデータセットである。一方で、ラベルなし学習用データ２２１２ｄは、学習画像ＩＭＧ３を含む一方で正解ラベルを含まないラベルなし単位データ２２１４ｄを複数含むデータセットである。尚、以下の説明では、ラベル付き学習用データ２２１１ｄに含まれる学習画像ＩＭＧ３を、“学習画像ＩＭＧ３－１”と称し、ラベルなし学習用データ２２１２ｄに含まれる学習画像ＩＭＧ３を、“学習画像ＩＭＧ３－２”と称する。ラベル付き学習用データ２２１１ｄに含まれる学習画像ＩＭＧ３－１の数（つまり、ラベル付き単位データ２２１３ｄの数）は、ラベルなし学習用データ２２１２ｄに含まれる学習画像ＩＭＧ３－２の数（つまり、ラベルなし単位データ２２１４ｄの数）よりも少なくてもよい。
　学習部２１６ｄは、半教師あり学習を行うための既存のアルゴリズムを用いて、学習モデルの学習を行ってもよい。例えば、学習部２１６ｄは、ブートストラップ法に基づくアルゴリズムを用いて、学習モデルの学習を行ってもよい。この場合、学習部２１６ｄは、まずは、ラベル付き学習用データ２２１１ｄを用いて、学習モデルの学習を行ってもよい。ラベル付き学習用データ２２１１ｄを用いた学習モデルの学習は、教師あり学習であってもよい。その後、学習部２１６ｄは、ラベル付き学習用データ２２１１ｄを用いた学習結果に基づいて、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２のうちの少なくとも一部に、各学習画像ＩＭＧ３－２から抽出されると推定されるキーポイントＫＰを示す疑似ラベルを付与してもよい。例えば、学習部２１６ｄは、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２のうちの信頼度の相対的に高い少なくとも一つの学習画像ＩＭＧ３－２に、疑似ラベルを付与する。尚、ここで言う「信頼度の高い学習画像ＩＭＧ３－２」は、抽出されると推定されるキーポイントＫＰの確からしさが相対的に高い学習画像ＩＭＧ３－２を意味していてもよい。その後、学習部２１６ｄは、ラベル付き学習用データ２２１１ｄとラベルなし学習用データ２２１２ｄのうちの疑似ラベルが付与されたラベルなし単位データ２２１４ｄとを用いて、学習モデルの学習を行ってもよい。ラベル付き学習用データ２２１１ｄとラベルなし学習用データ２２１２ｄのうちの疑似ラベルが付与されたラベルなし単位データ２２１４ｄとを用いた学習モデルの学習もまた、教師あり学習であってもよい。学習部２１６ｄは、疑似ラベルの付与と、教師あり学習（つまり、ラベル付き学習用データ２２１１ｄとラベルなし学習用データ２２１２ｄのうちの疑似ラベルが付与されたラベルなし単位データ２２１４ｄとを用いた学習モデルの学習）とを含む動作を必要回数だけ繰り返してもよい。このため、第３実施形態では、エポック数は、疑似ラベルの付与と教師あり学習とを含む動作を繰り返す回数となる。例えば、学習部２１６ｄは、教師あり学習と疑似ラベルの付与とを交互に、損失関数が所定の学習終了条件を満たすまで繰り返してもよい。その結果、半教師あり学習が完了する。
　重み算出部２１７ｄは、疑似ラベルの重みｗを算出する。疑似ラベルの重みｗを算出するために、重み算出部２１７ｄは、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２の画像スコアＳＣを用いてもよい。
　このため、キーポイント抽出装置２ｄは、ラベルなし学習用データ２２１２ｄに含まれる複数の学習画像ＩＭＧ３－２を対象に、図３に示すキーポイント抽出動作を行ってもよい。つまり、キーポイント抽出装置２ｄは、学習画像ＩＭＧ３－２を取得し（図３のステップＳ１１）、キーポイント抽出部２１２は、学習画像ＩＭＧ３－２からキーポイントＫＰを抽出し（図３のステップＳ１２）、画像変換部２１１は、学習画像ＩＭＧ３－２を変換する画像変換処理を行うことで変換画像ＩＭＧ２を算出し（図１３のステップＳ１３）、キーポイント抽出部２１２は、変換画像ＩＭＧ２からキーポイントＫＰを抽出し（図３のステップＳ１４）、スコア算出部２１３は、学習画像ＩＭＧ３－２から抽出されたキーポイントＫＰと変換画像ＩＭＧ２から抽出されたキーポイントＫＰとに基づいて、学習画像ＩＭＧ３－２の画像スコアＳＣを算出してもよい（図３のステップＳ１５）。
　その後、重み算出部２１７ｄは、各学習画像ＩＭＧ３－２の画像スコアＳＣに基づいて、各学習画像ＩＭＧ３－２に付与される疑似ラベルの重みｗを算出する。例えば、重み算出部２１７ｄは、一の学習画像ＩＭＧ３－２の画像スコアＳＣが良くなるほど、一の学習画像ＩＭＧ３－２に付与される疑似ラベルの重みｗが大きくなるように、重みｗを算出してもよい。例えば、重み算出部２１７ｄは、一の学習画像ＩＭＧ３－２の画像スコアＳＣが悪くなるほど、一の学習画像ＩＭＧ３－２に付与される疑似ラベルの重みｗが小さくなるように、重みｗを算出してもよい。一例として、重み算出部２１７ｄは、画像スコアＳＣの逆数を、重みｗとして算出してもよい。尚、重みｗは、例えば、０以上且つ１以下の値であってもよい。
　算出された重みｗは、半教師あり学習を行う学習部２１６ｄによって用いられてもよい。例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが相対的に大きい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いてもよい。例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが所定の重み閾値よりも大きい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いてもよい。一方で、例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが相対的に小さい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いなくてもよい。例えば、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが所定の重み閾値よりも小さい疑似ラベルが付与されたラベルなし単位データ２２１４ｄを用いなくてもよい。つまり、学習部２１６ｄは、学習モデルの学習を行うために、重みｗが相対的に高い疑似ラベルが付与された学習画像ＩＭＧ３－２を優先的に用いてもよい。その結果、学習部２１６ｄは、学習モデルの学習を行うために、品質が相対的に良い学習画像ＩＭＧ３－２（つまり、学習モデルがキーポイントＫＰ１を正しく抽出できる可能性が相対的に高い学習画像ＩＭＧ３－２）を優先的に用いることになる。この場合、半教師あり学習が行われるに従って、学習モデルがキーポイントＫＰ１を正しく抽出できる可能性が相対的に高い学習画像ＩＭＧ３－２の数が徐々に増えていく。つまり、半教師あり学習が十分に行われていない学習初期において、学習モデルがキーポイントＫＰ１を正しく抽出できる可能性が相対的に低い学習画像ＩＭＧ３－２（つまり、品質が相対的に悪い学習画像ＩＭＧ３－２）を用いた学習の機会が抑制される。従って、学習モデルの学習が効率的に行われる。つまり、学習モデルの学習効率があがる。
　尚、重み閾値は、学習モデルによる学習が不足している（言い換えれば、学習モデルにとって相性が悪い）学習画像ＩＭＧ３－２と、学習モデルによる学習が不足していない（言い換えれば、学習モデルにとって相性が良い）学習画像ＩＭＧ３－２とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。
　重み算出部２１７ｄは、学習部２１６ｄによる学習モデルの学習が１回行われる（つまり、上述した疑似ラベルの付与と教師あり学習とを含む動作が１回行われる）たびに、新たに重みｗを算出してもよい。つまり、重み算出部２１７ｄは、エポック毎に重みｗを算出してもよい。なぜならば、学習部２１６ｄによる学習モデルの学習が１回行われるたびに、キーポイント抽出部２１２の挙動が変わるがゆえに、キーポイント抽出部２１２が抽出したキーポイントＫＰに基づいて算出される画像スコアＳＣもまた変わり且つ画像スコアＳＣに基づいて算出される重みｗもまた変わる可能性があるからである。
　このように、第４実施形態では、キーポイント抽出装置２ｄは、画像スコアＳＣに基づいて算出される重みｗと、学習用データ２２１ｄとを用いて、学習モデルの学習を行うことができる。このため、このため、キーポイント抽出装置２ｄは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、学習モデルの学習を効率的に行うことができる。更に、キーポイント抽出装置２ｄは、半教師あり学習を用いて学習モデルの学習を行うがゆえに、アノテーションの手間をかけることなく学習モデルの学習を効率的に行うことができる。
　尚、上述した第２実施形態のキーポイント抽出装置２ｂから第３実施形態のキーポイント抽出装置２ｃのうちの少なくとも一つが、第４実施形態のキーポイント抽出装置２ｄに特有の構成要件を備えていてもよい。第４実施形態のキーポイント抽出装置２ｄに特有の構成要件は、学習部２１６ｄ及び重み算出部２１７ｄを含んでいてもよい。第４実施形態のキーポイント抽出装置２ｄに特有の構成要件は、重みｗを用いた半教師あり学習に関する構成要件を含んでいてもよい。
　（５）第５実施形態のキーポイント抽出システムＳＹＳ
　続いて、第５実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第５実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｅ”と称する。
　第５実施形態のキーポイント抽出システムＳＹＳｅは、上述した第１実施形態のキーポイント抽出システムＳＹＳと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｅを備えるという点で異なる。キーポイント抽出システムＳＹＳｅのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図１０を参照しながら、第５実施形態のキーポイント抽出装置２ｅについて説明する。図１０は、第５実施形態のキーポイント抽出装置２ｅの構成を示すブロック図である。
　図１０に示すように、第５実施形態のキーポイント抽出装置２ｅは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１内に、「判定手段」の一具体例である画像判定部２１８ｅが実現されるという点で異なる。キーポイント抽出装置２ｅのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。
　画像判定部２１８ｅは、画像スコアＳＣに基づいて、人物画像ＩＭＧ１に、虹彩を含む人物の目が写り込んでいるか否かを判定してもよい。人物画像ＩＭＧ１に目が写り込んでいるか否かを判定するために、画像判定部２１８ｅは、算出された画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも悪いか否かを判定してもよい。例えば、人物画像ＩＭＧ１の品質が良くなればなるほど画像スコアＳＣが大きくなる場合には、画像判定部２１８ｅは、算出された画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも小さいか否かを判定してもよい。例えば、人物画像ＩＭＧ１の品質が悪くなればなるほど画像スコアＳＣが大きくなる場合には、画像判定部２１８ｅは、算出された画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも大きいか否かを判定してもよい。この判定の結果、画像判定部２１８ｅは、画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも悪いと判定された場合には、人物画像ＩＭＧ１に目が写り込んでいないと判定してもよい。なぜならば、人物画像ＩＭＧ１に目が写り込んでいない場合には、虹彩のキーポイントＫＰが抽出されなくなるがゆえに、画像スコアＳＣが悪くなるからである。一方で、画像判定部２１８ｅは、画像スコアＳＣが所定の第１判定閾値ＴＨ１よりも良いと判定された場合には、人物画像ＩＭＧ１に目が写り込んでいると判定してもよい。
　人物画像ＩＭＧ１に目が写り込んでいない場合には、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が一定以上継続する可能性が高い。このため、画像判定部２１８ｅは、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも長く継続する場合に、人物画像ＩＭＧ１に目が写り込んでいないと判定してもよい。一方で、画像判定部２１８ｅは、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、人物画像ＩＭＧ１に目が写り込んでいると判定してもよい。つまり、画像判定部２１８ｅは、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪いと判定された場合であっても、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、人物画像ＩＭＧ１に目が写り込んでいると判定してもよい。なぜならば、人物画像ＩＭＧ１に写り込んでいる人物が瞬きをした場合には、人物画像ＩＭＧ１に目が写り込んでいるにも関わらず、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪いと判定される可能性があるからである。
　逆に言えば、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、画像判定部２１８ｅは、人物画像ＩＭＧ１に目が写り込んでいるが、人物画像ＩＭＧ１に写り込んだ目が瞬きをしていると判定してもよい。つまり、人物画像ＩＭＧ１に目が写り込んでいると判定された状況下において、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも短い時間しか継続しなかった場合には、画像判定部２１８ｅは、その時間において人物画像ＩＭＧ１に写り込んだ目が瞬きをしていると判定してもよい。
　画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも長く継続したか否かを判定するために、カメラ１は、同じ人物を連続的に撮像することで、時系列データに相当する複数の人物画像ＩＭＧ１を生成してもよい。更に、キーポイント抽出装置２は、複数の人物画像ＩＭＧ１に夫々対応する複数の画像スコアＳＣを算出してもよい。算出された複数の画像スコアＳＣは、画像スコアＳＣの時系列変化を示している。このため、画像判定部２１８ｅは、画像スコアＳＣの時系列変化に基づいて、画像スコアＳＣが第１判定閾値ＴＨ１よりも悪い状態が第２判定閾値ＴＨ２よりも長く継続したか否かを判定することができる。
　尚、第１判定閾値ＴＨ１は、目が写り込んでいる人物画像ＩＭＧ１と、目が写り込んでいない人物画像ＩＭＧ１とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。また、第２判定閾値ＴＨ２は、瞬きしている（つまり、閉じている）目が写り込んでいる人物画像ＩＭＧ１と、そもそも目が写り込んでいない人物画像ＩＭＧ１とを、画像スコアＳＣから区別可能な所望の値に設定されてもよい。
　このように、第５実施形態では、キーポイント抽出装置２ｅは、人物画像ＩＭＧ１に目が写り込んでいるか否かを判定可能である。この場合、キーポイント抽出装置２ｅは、目が写り込んでいない人物画像ＩＭＧ１を、キーポイントＫＰを用いて行われる動作（例えば、上述した虹彩を用いて人物を認証する動作）の対象から除外してもよい。その結果、キーポイントＫＰを用いて行われる動作に要する時間の短縮が可能となる。
　また、第５実施形態では、キーポイント抽出装置２ｅは、人物画像ＩＭＧ１に写り込んでいる目が瞬きをしているか否かを判定可能である。この場合、キーポイント抽出装置２ｅは、瞬きをしている（つまり、閉じている）目が写り込んでいる人物画像ＩＭＧ１を、キーポイントＫＰを用いて行われる動作の対象から除外してもよい。その結果、キーポイントＫＰを用いて行われる動作に要する時間の短縮が可能となる。
　従って、キーポイント抽出装置２ｅは、第１実施形態のキーポイント抽出装置２が享受可能な効果と同様の効果を享受しつつ、キーポイントＫＰを用いて行われる動作に要する時間の短縮が可能となる。
　尚、上述した第２実施形態のキーポイント抽出装置２ｂから第４実施形態のキーポイント抽出装置２ｄのうちの少なくとも一つが、第５実施形態のキーポイント抽出装置２ｅに特有の構成要件を備えていてもよい。第５実施形態のキーポイント抽出装置２ｅに特有の構成要件は、画像判定部２１８ｅを含んでいてもよい。第５実施形態のキーポイント抽出装置２ｅに特有の構成要件は、人物画像ＩＭＧ１に目が写り込んでいるか否かの判定及び人物画像ＩＭＧ１に写り込んでいる目が瞬きをしているか否かの判定の少なくとも一つに関する構成要件を含んでいてもよい。
　（６）第６実施形態のキーポイント抽出システムＳＹＳ
　続いて、第６実施形態のキーポイント抽出システムＳＹＳについて説明する。尚、以下の説明では、第６実施形態のキーポイント抽出システムＳＹＳを、“キーポイント抽出システムＳＹＳｆ”と称する。
　第６実施形態のキーポイント抽出システムＳＹＳｆは、上述した第１実施形態のキーポイント抽出システムＳＹＳと比較して、キーポイント抽出装置２に代えて、キーポイント抽出装置２ｆを備えるという点で異なる。キーポイント抽出システムＳＹＳｆのその他の特徴は、キーポイント抽出システムＳＹＳａのその他の特徴と同一であってもよい。このため、以下では、図１１を参照しながら、第６実施形態のキーポイント抽出装置２ｆについて説明する。図１１は、第６実施形態のキーポイント抽出装置２ｆの構成を示すブロック図である。
　図１１に示すように、第６実施形態のキーポイント抽出装置２ｆは、第１実施形態のキーポイント抽出装置２と比較して、演算装置２１が画像変換部２１１を備えていなくてもよいという点で異なる。キーポイント抽出装置２ｆのその他の特徴は、キーポイント抽出装置２のその他の特徴と同一であってもよい。尚、図１１に示すように、キーポイント抽出装置２ｆは、記憶装置２２、通信装置２３、入力装置２４及び出力装置２５を備えていなくてもよい。但し、キーポイント抽出装置２ｆは、記憶装置２２、通信装置２３、入力装置２４及び出力装置２５の少なくとも一つを備えていてもよい。
　上述した第１実施形態から第５実施形態の説明では、キーポイント抽出装置２は、人物画像ＩＭＧ１から抽出されるキーポイントＫＰ１と、人物画像ＩＭＧ１に対して画像変換処理を行うことで生成される変換画像ＩＭＧ２から抽出されるキーポイントＫＰ２とを比較することで、画像スコアＳＣを算出している。しかしながら、第６実施形態のキーポイント抽出装置２ｆは、変換画像ＩＭＧ２を生成することなく、画像スコアＳＣを算出してもよい。キーポイント抽出装置２ｆは、キーポイントＫＰ１を用いる一方で、キーポイントＫＰ２を用いることなく、画像スコアＳＣを算出してもよい。
　尚、上述した第２実施形態のキーポイント抽出装置２ｂから第５実施形態のキーポイント抽出装置２ｅのうちの少なくとも一つもまた、画像変換部２１１を備えていなくてもよい。
　（７）付記
　以上説明した実施形態に関して、更に以下の付記を開示する。
［付記１］
　入力画像から、対象物のキーポイントを対象キーポイントとして抽出する抽出手段と、
　前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する算出手段と
　を備える情報処理装置。
［付記２］
　前記入力画像を変換する画像変換処理を行うことで、変換画像を生成する画像変換手段を更に備え、
　前記抽出手段は、前記変換画像から、前記対象物のキーポイントを変換キーポイントとして抽出し、
　前記算出手段は、前記対象キーポイントと前記変換キーポイントとの比較結果に基づいて、前記スコアを算出する
　付記１に記載の情報処理装置。
［付記３］
　前記入力画像は、照明装置によって照明された撮像対象範囲を撮像装置が撮像することで生成され、
　前記スコアに基づいて、前記スコアが改善されるように前記照明装置を制御する照明制御装置を更に備える
　付記１又は２に記載の情報処理装置。
［付記４］
　前記抽出手段は、複数の前記入力画像の夫々から、前記対象キーポイントを抽出し、
　前記算出手段は、前記入力画像毎に前記スコアを算出し、
　前記複数の入力画像から、前記スコアが所定の選択条件を満たす少なくとも一つの入力画像を選択する選択手段を更に備える
　付記１から３のいずれか一項に記載の情報処理装置。
［付記５］
　前記選択条件は、前記スコアが所定の選択閾値よりも悪いという条件を含む
　付記４に記載の情報処理装置。
［付記６］
　前記抽出手段は、前記スコアが既知である複数の学習画像を用いて学習済みである学習モデルを用いて、前記対象キーポイントを抽出し、
　前記選択条件は、前記スコアが、前記学習画像のサンプル数が所定数よりも少ないスコアの範囲に含まれるという条件を含む
　付記４又は５に記載の情報処理装置。
［付記７］
　前記抽出手段は、学習可能な学習モデルを用いて、前記対象キーポイントを抽出し、
　抽出されるべきキーポイントである正解キーポイントが関連付けられた第１の学習画像と、前記正解キーポイントが関連付けられていない第２の学習画像とを含む学習用データを用いて、前記学習モデルの学習を行う学習手段を更に備え、
　前記抽出手段は、前記第２の学習画像から、前記対象物のキーポイントを学習用キーポイントとして抽出し、
　前記算出手段は、前記学習用キーポイントに基づいて、前記学習用キーポイントの信頼度に関する指標値を、前記学習用キーポイントが抽出された前記第２の学習画像のスコアとして算出し、
　前記学習手段は、前記第２の学習画像のスコアに基づいて、前記学習モデルの学習に対する前記第２の学習画像の寄与度を示す重みを算出し、前記学習用データと前記重みとを用いた半教師あり学習を行うことで、前記学習モデルの学習を行う
　付記１から６のいずれか一項に記載の情報処理装置。
［付記８］
　前記対象物は、生体の虹彩を含み、
　前記スコアが所定の第１判定閾値よりも悪い場合に、前記入力画像に前記虹彩を含む目が写り込んでいないと判定する判定手段を更に備える
　付記１から７のいずれか一項に記載の情報処理装置。
［付記９］
　前記判定手段は、前記入力画像に前記目が写り込んでいると判定され且つ前記スコアが所定の第２判定閾値よりも悪い状態の継続時間が所定時間よりも短い場合に、前記入力画像に瞬きしている前記目が写り込んでいると判定する
　付記８に記載の情報処理装置。
［付記１０］
　入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
　前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
　情報処理方法。
［付記１１］
　コンピュータに、
　入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
　前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
　情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。
　この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体もまた、この開示の技術的思想に含まれる。
　１　カメラ
　２　キーポイント抽出装置
　２１　演算装置
　２１１　画像変換部
　２１２　キーポイント抽出部
　２１３　スコア算出部
　２１４ｂ　照明制御部
　２１５ｃ　画像選択部
　２１６ｄ　重み算出部
　２１７ｄ　学習部
　２１８ｅ　画像判定部
　３　通信ネットワーク
　４　照明装置
　ＳＹＳ　キーポイント抽出システム
　ＩＭＧ１　人物画像
　ＩＭＧ２　変換画像
　ＫＰ　キーポイント

Claims (11)

  1. 　入力画像から、対象物のキーポイントを対象キーポイントとして抽出する抽出手段と、
    　前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する算出手段と
    　を備える情報処理装置。
  2. 　前記入力画像を変換する画像変換処理を行うことで、変換画像を生成する画像変換手段を更に備え、
    　前記抽出手段は、前記変換画像から、前記対象物のキーポイントを変換キーポイントとして抽出し、
    　前記算出手段は、前記対象キーポイントと前記変換キーポイントとの比較結果に基づいて、前記スコアを算出する
    　請求項１に記載の情報処理装置。
  3. 　前記入力画像は、照明装置によって照明された撮像対象範囲を撮像装置が撮像することで生成され、
    　前記スコアに基づいて、前記スコアが改善されるように前記照明装置を制御する照明制御装置を更に備える
    　請求項１又は２に記載の情報処理装置。
  4. 　前記抽出手段は、複数の前記入力画像の夫々から、前記対象キーポイントを抽出し、
    　前記算出手段は、前記入力画像毎に前記スコアを算出し、
    　前記複数の入力画像から、前記スコアが所定の選択条件を満たす少なくとも一つの入力画像を選択する選択手段を更に備える
    　請求項１から３のいずれか一項に記載の情報処理装置。
  5. 　前記選択条件は、前記スコアが所定の選択閾値よりも悪いという条件を含む
    　請求項４に記載の情報処理装置。
  6. 　前記抽出手段は、前記スコアが既知である複数の学習画像を用いて学習済みである学習モデルを用いて、前記対象キーポイントを抽出し、
    　前記選択条件は、前記スコアが、前記複数の学習画像を前記スコアに応じて分類した場合に分類される前記学習画像のサンプル数が所定数よりも少ないスコアの範囲に含まれるという条件を含む
    　請求項４又は５に記載の情報処理装置。
  7. 　前記抽出手段は、学習可能な学習モデルを用いて、前記対象キーポイントを抽出し、
    　抽出されるべきキーポイントである正解キーポイントが関連付けられた第１の学習画像と、前記正解キーポイントが関連付けられていない第２の学習画像とを含む学習用データを用いて、前記学習モデルの学習を行う学習手段を更に備え、
    　前記抽出手段は、前記第２の学習画像から、前記対象物のキーポイントを学習用キーポイントとして抽出し、
    　前記算出手段は、前記学習用キーポイントに基づいて、前記学習用キーポイントの信頼度に関する指標値を、前記学習用キーポイントが抽出された前記第２の学習画像のスコアとして算出し、
    　前記学習手段は、前記第２の学習画像のスコアに基づいて、前記学習モデルの学習に対する前記第２の学習画像の寄与度を示す重みを算出し、前記学習用データと前記重みとを用いた半教師あり学習を行うことで、前記学習モデルの学習を行う
    　請求項１から６のいずれか一項に記載の情報処理装置。
  8. 　前記対象物は、生体の虹彩を含み、
    　前記スコアが所定の第１判定閾値よりも悪い場合に、前記入力画像に前記虹彩を含む目が写り込んでいないと判定する判定手段を更に備える
    　請求項１から７のいずれか一項に記載の情報処理装置。
  9. 　前記判定手段は、前記入力画像に前記目が写り込んでいると判定され且つ前記スコアが所定の第２判定閾値よりも悪い状態の継続時間が所定時間よりも短い場合に、前記入力画像に瞬きしている前記目が写り込んでいると判定する
    　請求項８に記載の情報処理装置。
  10. 　入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
    　前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
    　情報処理方法。
  11. 　コンピュータに、
    　入力画像から、対象物のキーポイントを対象キーポイントとして抽出し、
    　前記対象キーポイントに基づいて、前記対象キーポイントの信頼度に関する指標値を、前記対象キーポイントが抽出された前記入力画像のスコアとして算出する
    　情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
PCT/JP2021/008105 2021-03-03 2021-03-03 情報処理装置、情報処理方法及び記録媒体 Ceased WO2022185436A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/008105 WO2022185436A1 (ja) 2021-03-03 2021-03-03 情報処理装置、情報処理方法及び記録媒体
JP2023503250A JP7521682B2 (ja) 2021-03-03 2021-03-03 情報処理装置、情報処理方法及び記録媒体
US17/639,952 US11967138B2 (en) 2021-03-03 2021-03-03 Processing apparatus, information processing method and recording medium
US18/495,386 US12190571B2 (en) 2021-03-03 2023-10-26 Processing apparatus, information processing method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008105 WO2022185436A1 (ja) 2021-03-03 2021-03-03 情報処理装置、情報処理方法及び記録媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/639,952 A-371-Of-International US11967138B2 (en) 2021-03-03 2021-03-03 Processing apparatus, information processing method and recording medium
US18/495,386 Continuation US12190571B2 (en) 2021-03-03 2023-10-26 Processing apparatus, information processing method and recording medium

Publications (1)

Publication Number Publication Date
WO2022185436A1 true WO2022185436A1 (ja) 2022-09-09

Family

ID=83154018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008105 Ceased WO2022185436A1 (ja) 2021-03-03 2021-03-03 情報処理装置、情報処理方法及び記録媒体

Country Status (3)

Country Link
US (2) US11967138B2 (ja)
JP (1) JP7521682B2 (ja)
WO (1) WO2022185436A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230080978A1 (en) * 2020-02-12 2023-03-16 Hitachi High-Tech Corporation Machine learning method and information processing apparatus for machine learning
WO2025187045A1 (ja) * 2024-03-08 2025-09-12 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法及び記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521682B2 (ja) * 2021-03-03 2024-07-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7708723B2 (ja) * 2022-07-26 2025-07-15 トヨタ自動車株式会社 角膜反射像特定装置および視線検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212325A (ja) * 2011-03-31 2012-11-01 Advanced Telecommunication Research Institute International 視線計測システム、方法およびプログラム
JP2016100899A (ja) * 2014-11-20 2016-05-30 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 映像補正方法及び装置
WO2019003973A1 (ja) * 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
WO2019102619A1 (ja) * 2017-11-27 2019-05-31 三菱電機株式会社 表情認識装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991042B2 (ja) 2002-02-05 2007-10-17 松下電器産業株式会社 個人認証方法および個人認証装置
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US20060204052A1 (en) * 2005-03-11 2006-09-14 Fuji Photo Film Co., Ltd. Method, apparatus, and program for detecting red eye
DE602007007062D1 (de) 2006-03-03 2010-07-22 Honeywell Int Inc Iriserkennungssystem mit bildqualitätsmetrik
US8548201B2 (en) * 2010-09-02 2013-10-01 Electronics And Telecommunications Research Institute Apparatus and method for recognizing identifier of vehicle
JP2014110469A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 電子機器、画像処理方法、及びプログラム
KR101569268B1 (ko) 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
JP6607252B2 (ja) * 2015-03-31 2019-11-20 日本電気株式会社 データ処理装置、データ処理方法、及び、プログラム
JP6624878B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017151556A (ja) 2016-02-22 2017-08-31 富士通株式会社 電子機器、認証方法および認証プログラム
JP6785181B2 (ja) * 2017-04-12 2020-11-18 株式会社日立製作所 物体認識装置、物体認識システム、及び物体認識方法
EP4137038B1 (en) * 2017-09-11 2025-07-30 Tobii AB Reliability of gaze tracking data for left and right eye
EP3699865B1 (en) 2017-10-20 2022-11-30 Nec Corporation Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
KR102476757B1 (ko) * 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
JP6973258B2 (ja) * 2018-04-13 2021-11-24 オムロン株式会社 画像解析装置、方法およびプログラム
US10956714B2 (en) * 2018-05-18 2021-03-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
JP7020312B2 (ja) * 2018-06-15 2022-02-16 日本電信電話株式会社 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム
WO2020149001A1 (ja) 2019-01-17 2020-07-23 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11360555B2 (en) * 2019-05-20 2022-06-14 Cyberlink Corp. Systems and methods for automatic eye gaze refinement
KR20200140571A (ko) * 2019-06-07 2020-12-16 삼성전자주식회사 데이터 인식 방법 및 장치
DE102019209463A1 (de) * 2019-06-27 2020-12-31 Robert Bosch Gmbh Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
CN110472489B (zh) * 2019-07-05 2023-05-05 五邑大学 一种人脸美丽等级预测方法、装置及存储介质
EP3786880A1 (en) * 2019-08-29 2021-03-03 Koninklijke Philips N.V. Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency
US11272097B2 (en) * 2020-07-30 2022-03-08 Steven Brian Demers Aesthetic learning methods and apparatus for automating image capture device controls
JP7521682B2 (ja) * 2021-03-03 2024-07-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212325A (ja) * 2011-03-31 2012-11-01 Advanced Telecommunication Research Institute International 視線計測システム、方法およびプログラム
JP2016100899A (ja) * 2014-11-20 2016-05-30 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 映像補正方法及び装置
WO2019003973A1 (ja) * 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
WO2019102619A1 (ja) * 2017-11-27 2019-05-31 三菱電機株式会社 表情認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230080978A1 (en) * 2020-02-12 2023-03-16 Hitachi High-Tech Corporation Machine learning method and information processing apparatus for machine learning
US12249129B2 (en) * 2020-02-12 2025-03-11 Hitachi High-Tech Corporation Machine learning method and information processing apparatus for machine learning
WO2025187045A1 (ja) * 2024-03-08 2025-09-12 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
JP7521682B2 (ja) 2024-07-24
US12190571B2 (en) 2025-01-07
US20230162491A1 (en) 2023-05-25
US20240054771A1 (en) 2024-02-15
JPWO2022185436A1 (ja) 2022-09-09
US11967138B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
JP7521682B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US20230086552A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
JP6552613B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US12148151B2 (en) System and method for diagnosing disease using neural network performing segmentation
JP2022550094A (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
EP3655926A1 (en) Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement
CN112330624B (zh) 医学图像处理方法和装置
CN109934062A (zh) 眼镜摘除模型的训练方法、人脸识别方法、装置和设备
CN113762179A (zh) 活体检测方法和装置
EP3819910A2 (en) Disease diagnosis system and method using multiple color models and neural network
Sany et al. Image segmentation based approach for skin disease detection and classification using machine learning algorithms
KR20220145707A (ko) 인물 이미지의 평준화를 수행하는 장치 및 이의 동작 방법
JP7385046B2 (ja) 色斑予測方法、装置、設備及び記憶媒体
CN118587761A (zh) 一种面向体育测试的三维姿态估计方法及其应用
CN110705611A (zh) 眼底图像样本扩展方法、装置、介质及电子设备
CN119810898A (zh) 一种眼球追踪的方法、装置和电子设备
KR20250029337A (ko) 얼굴 인식 시스템에 대한 위조 공격 여부를 탐지하는 방법 및 장치
JP7599246B2 (ja) 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム
KR102282334B1 (ko) 시신경 유두 분류 방법
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
KR20230064660A (ko) 반려동물 궁합 서비스 제공 방법 및 장치
KR20230049530A (ko) 전자 장치 및 타겟 도메인 생성 방법
CN112926515A (zh) 活体模型训练方法和装置
CN119941710B (zh) 一种基于原型注意力网络的高光谱脑肿瘤手术引导分割方法
EP4521307A1 (en) Information processing program, information processing method, and information processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929012

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023503250

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929012

Country of ref document: EP

Kind code of ref document: A1