[go: up one dir, main page]

WO2025191724A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体

Info

Publication number
WO2025191724A1
WO2025191724A1 PCT/JP2024/009745 JP2024009745W WO2025191724A1 WO 2025191724 A1 WO2025191724 A1 WO 2025191724A1 JP 2024009745 W JP2024009745 W JP 2024009745W WO 2025191724 A1 WO2025191724 A1 WO 2025191724A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
quality
biometric image
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/009745
Other languages
English (en)
French (fr)
Inventor
悠歩 庄司
貴裕 戸泉
有加 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2024/009745 priority Critical patent/WO2025191724A1/ja
Publication of WO2025191724A1 publication Critical patent/WO2025191724A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a recording medium.
  • a captured iris image 1 is subjected to frequency analysis using multiple frequencies f1 to fn, and feature values are generated for each frequency f1 to fn.
  • frequencies f2 to fn to be used in frequency analysis for authentication are selected from the multiple frequencies f1 to fn used during registration.
  • a captured iris image 2 of the person to be authenticated is subjected to frequency analysis using the selected frequencies f2 to fn, and feature values are generated for each selected frequency f2 to fn.
  • Each generated feature value is compared with the feature value for the same frequency at the time of registration to perform personal authentication.
  • This disclosure aims to improve upon the technology described in the prior art documents mentioned above.
  • the information processing method in the present disclosure includes: One or more computers extracting a plurality of feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting a plurality of feature sets corresponding to a plurality of predetermined image quality levels from the biometric image; The first biometric image and the second biometric image are matched using a plurality of feature amount groups and quality scores indicating the quality of the first biometric image and the second biometric image.
  • FIG. 1 is a diagram illustrating a configuration example of a first information processing system according to the present disclosure.
  • FIG. 1 is a block diagram illustrating a configuration example of a first information processing device according to the present disclosure.
  • 10 is a flowchart illustrating an example of a processing operation of the first information processing device according to the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a biometric image according to the present disclosure.
  • FIG. 2 is a block diagram illustrating a detailed configuration example of a first information processing device according to the present disclosure.
  • 10 is a flowchart illustrating a detailed example of processing operations of the first information processing device according to the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of a first extraction unit according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a second extraction unit according to the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of a first matching unit according to the present disclosure.
  • 10 is a flowchart illustrating an example of a processing operation of a first matching unit according to the present disclosure.
  • FIG. 2 is a block diagram illustrating an example of the physical configuration of a first information processing apparatus according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a third extraction unit according to the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of a second information processing device according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a second matching unit according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a third information processing device according to the present disclosure.
  • 10 is a flowchart illustrating an example of a processing operation of a third information processing device according to the present disclosure.
  • FIG. 10 is a diagram showing an example of the flow of image processing for generating a rectangular iris image from an iris image according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a third matching unit according to the present disclosure.
  • 10 is a flowchart illustrating an example of a processing operation of a third matching unit according to the present disclosure.
  • FIG. 2 is a block diagram illustrating an example configuration of a first calculation unit according to the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of a processing operation of a first calculation unit according to the present disclosure.
  • 10A and 10B are diagrams illustrating an example of a movement process performed by a component movement unit according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a fourth information processing device according to the present disclosure.
  • 10 is a flowchart illustrating an example of a processing operation of a fourth information processing device according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a fourth matching unit according to the present disclosure.
  • 10 is a flowchart illustrating an example of a processing operation of a third matching unit according to the present disclosure.
  • FIG. 10 is a flowchart illustrating another example of processing operation of the fourth information processing device according to the present disclosure.
  • FIG. 2 is a diagram illustrating a first example of a display screen according to the present disclosure.
  • FIG. 10 is a diagram illustrating a second example of a display screen according to the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration example of a fifth information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a processing operation of a fifth information processing device according to the present disclosure.
  • the quality (image quality) of a biometric image used for biometric authentication can be degraded depending on the environment in which the biometric image is captured and the state of the subject when the image is captured. Poor image quality typically leads to a decrease in the quality of information corresponding to a high image quality level of the biometric image (e.g., features corresponding to high-frequency components of the biometric image). As a result, if feature sets extracted from biometric images of different quality are used as they are to match each other, the accuracy of authentication can be reduced.
  • frequencies f2 to fn used in frequency analysis for authentication are selected from the multiple frequencies f1 to fn used for registration.
  • frequencies f2 to fn used in frequency analysis for authentication are selected from the multiple frequencies f1 to fn used for registration.
  • frequency analysis for authentication requires processing that is different from the frequency analysis for registration, as the frequency analysis is dependent on the multiple frequencies f1 to fn used for registration. Performing different frequency analyses for registration and authentication could result in increased costs for building devices, programs, etc.
  • One of the objectives of this disclosure is to easily prevent a decrease in authentication accuracy when using biometric images of different quality.
  • the imaging device 90 captures biometric images of the subject.
  • the information processing device 100 includes an extraction unit 130 and a matching unit 140 .
  • the extraction unit 130 extracts multiple feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the biometric image.
  • the matching unit 140 matches the first biometric image with the second biometric image using a quality score indicating the quality of the first biometric image and the second biometric image and a plurality of feature groups.
  • an extraction model group consisting of one or more extraction models can be common to the first biometric image and second biometric image being matched. This makes it easier to construct an extraction model group than to construct different extraction model groups for the first biometric image and the second biometric image. Furthermore, during matching, feature groups with corresponding quality score image quality levels for the first biometric image and the second biometric image can be compared appropriately using the quality scores of the first biometric image and the second biometric image, thereby preventing a decrease in accuracy in authentication using biometric images of different quality.
  • the information processing device 100 executes information processing as shown in FIG.
  • the extraction unit 130 extracts multiple feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the biometric image (step S130).
  • the matching unit 140 matches the first biometric image with the second biometric image using a quality score indicating the quality of the first biometric image and the second biometric image and a plurality of feature groups (step S140).
  • the first biometric image is, for example, a biometric image that is registered in advance (registered image).
  • the second biometric image is, for example, a biometric image (authentication image) that is matched with the first biometric image to authenticate the subject.
  • biometric image is not limited to an iris image, but may be any image that can be used for biometric authentication of a target.
  • Biometric authentication may be face authentication, fingerprint authentication, palm print authentication, vein authentication, etc.
  • the biometric images used for face authentication, fingerprint authentication, palm print authentication, vein authentication, etc. are face images including a face, fingerprint images including fingerprints, palm print images including palm prints, vein images including veins, etc.
  • the target is not limited to a person, but may be an animal such as a dog or snake.
  • the iris image may be any image that includes the iris, and is not limited to the iris image shown in Figure 4.
  • the iris image may include, for example, the iris and at least one of the pupil, upper and lower eyelids, white of the eye, eyelashes, eyebrows, etc.
  • the iris image may include both eyes, and may further include parts of the face, such as the forehead, between the eyebrows, temples, nose, cheeks, mouth, and hair, or the entire face.
  • the image capturing device 90 captures a biometric image of a person by capturing an image of the vicinity of the target's eye as a subject.
  • the image capturing device 90 may be, for example, a camera or a terminal device equipped with a camera, such as a smartphone or a tablet terminal.
  • the information processing device 100 includes a registration information storage unit 110, an image acquisition unit 120, an extraction unit 130, a matching unit 140, an authentication unit 150, and a display unit 160.
  • the registration information storage unit 110 pre-stores registration information including the first biometric image.
  • the image acquisition unit 120 acquires biometric images.
  • the extraction unit 130 extracts multiple feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the biometric image.
  • the matching unit 140 matches the first biometric image with the second biometric image using a quality score indicating the quality of the first biometric image and the second biometric image and a plurality of feature groups.
  • the authentication unit 150 performs authentication based on the results of the comparison.
  • the display unit 160 displays the display screen.
  • the information processing device 100 executes information processing such as that shown in FIG. 6, for example.
  • the image acquisition unit 120 acquires a biometric image (step S120).
  • the extraction unit 130 extracts multiple feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the biometric image (step S130).
  • the matching unit 140 matches the first biometric image with the second biometric image using a quality score indicating the quality of the first biometric image and the second biometric image and a plurality of feature groups (step S140).
  • the authentication unit 150 performs authentication based on the matching results (step S150).
  • the display unit 160 displays the display screen (step S160).
  • the image acquisition unit 120 acquires a biometric image from, for example, the imaging device 90 .
  • the image acquisition unit 120 may acquire a biometric image from the imaging device 90 and store the acquired biometric image in the registration information storage unit 110 as a first biometric image.
  • the image acquisition unit 120 may acquire a biometric image from the imaging device 90 as a second biometric image, and acquire the first biometric image stored in the registration information storage unit 110.
  • the registration information may be information that associates personal identification information for identifying a target based on user input, etc., with the first biometric image.
  • the image acquisition unit 120 may then acquire the biometric information as the second biometric image from the image capture device 90, and may also acquire the personal identification information from the image capture device 90.
  • the image acquisition unit 120 may also acquire the first biometric image associated with the acquired identification information from the registration information storage unit 110.
  • the image acquisition unit 120 when the image acquisition unit 120 acquires biometric information as a second biometric image from the image capture device 90, it may sequentially acquire the first biometric images stored in the registration information storage unit 110. In this case, steps S130 to S150 may be repeatedly executed using each of the acquired first biometric information until authentication in step S150 is successful.
  • the image acquisition unit 120 may acquire biometric images not only from the imaging device 90 and the registration information storage unit 110, but also from other devices (e.g., storage devices, communication devices).
  • other devices e.g., storage devices, communication devices.
  • the extraction unit 130 extracts a plurality of feature groups from each of the first biometric image and the second biometric image using one or more extraction models for extracting a plurality of feature groups corresponding to a plurality of predetermined image quality levels from the biometric image.
  • Image quality is the quality of an image.
  • Image quality levels are, for example, values, labels, etc. that indicate image quality in stages.
  • Quality scores are scores (for example, values) that indicate image quality.
  • factors that affect image quality include contrast, sharpness, iris clarity, effective iris area ratio, iris diameter pixel count, pupil dilation, grayscale gradation, focus blur, motion blur, vertical off-angle, horizontal off-angle, resolution, and noise, which are primarily dependent on the shooting environment.
  • factors that primarily depend on the state of the subject at the time of shooting include pupil circularity, margin from the edge of the image, iris ellipticity, whether or not glasses are worn, occlusion due to glasses reflection, whether or not hard contact lenses are worn, whether or not colored contact lenses are worn, lighting reflection, occlusion, and the degree to which the eyes are open or closed.
  • An example of occlusion is when hair, eyelashes, etc. cover at least a portion of the iris area included in the iris image.
  • Image quality is evaluated based on, for example, one or more of these factors and is expressed as an image quality level or quality score. For example, a high-quality image has greater contrast, a clearer overall image or iris, a larger effective iris area ratio, a larger number of iris diameter pixels, a greater pupil dilation rate, more gradation information, less focus blur or motion blur, a gaze direction aligned with the shooting direction, higher resolution (i.e., more pixels), and less noise than a low-quality image.
  • a high-quality image has a higher pupil circularity, a larger margin from the edge of the image, a smaller iris ellipticity, no glasses, less occlusion from glasses reflection, no hard or colored contact lenses, less lighting reflection, less occlusion, and a larger eye opening than a low-quality image.
  • the extraction model is, for example, a machine learning model that, when a biometric image is input, outputs a group of feature quantities that indicate the characteristics of the biometric image.
  • the extraction model is, for example, configured with a neural network.
  • the neural network may include, for example, a convolution mechanism, an attention mechanism, etc.
  • the extraction model is constructed, for example, by using training data including a biometric image and a correct label for the biometric image, and performing training so that the biometric image is classified into the correct label.
  • the multiple extraction models may correspond to multiple image quality levels, and each may output a set of features. That is, multiple sets of features may be extracted using multiple extraction models with a single biometric image as input. In this case, each of the multiple sets of features may be represented by a single feature vector or feature map.
  • a feature vector is an N-dimensional vector consisting of N features.
  • N is an integer greater than or equal to 1.
  • a feature map is a matrix in which a group of features are arranged in a two-dimensional map shape.
  • a feature map is a matrix with K rows and L columns in which K x L features are arranged.
  • Figure 7 shows a first example of the configuration of the extraction unit 130.
  • the extraction unit 130a shown in the same figure is a first example of the extraction unit 130, and includes a first extraction model M1 and a second extraction model M2.
  • the first extraction model M1 and the second extraction model M2 are used to extract a first feature group FVG1 and a second feature group FVG2.
  • the multiple extraction models M1 and M2 are each an input of a biometric image, and each extracts a feature group FVG1 or FVG2 from the input biometric image.
  • the number of extraction models is not limited to two and may be three or more. Furthermore, the number of image quality levels and feature groups corresponding to the image quality levels (first feature group and second feature group) is not limited to two and may be three or more.
  • Each of the first extraction model M1 and the second extraction model M2 is, for example, a machine learning model trained using biometric images with different image quality levels.
  • the first extraction model M1 is an extraction model trained using high-quality biometric images.
  • the first extraction model M1 outputs a first feature group FVG1 corresponding to high image quality (high image quality level).
  • Extraction models M1 and M2 which were trained using biometric images with different image quality levels, often have different characteristics.
  • a feature set corresponding to a certain image quality level can also be said to be a feature set that, when authentication is performed using a biometric image of that image quality level, results in higher authentication accuracy than when authentication is performed using feature sets corresponding to other image quality levels.
  • multiple feature groups FVG1 and FVG2 are extracted from the first biometric image and the second biometric image, respectively.
  • a feature group FVG1a may be extracted from extraction model M1 using a first biometric image as input.
  • the feature group FVG1a is a feature group corresponding to high image quality extracted from the first biometric image.
  • a feature group FVG2a may be extracted from extraction model M2 using a first biometric image as input.
  • the feature group FVG2a is a feature group corresponding to low image quality extracted from the first biometric image.
  • the multiple feature groups FVG1a, FVG2a extracted from the first biometric image may be extracted using multiple extraction models M1, M2 with the first biometric image as input.
  • the multiple first feature groups FVG1a, FVG2a are feature groups corresponding to multiple image quality levels in the first biometric image.
  • a feature group FVG1b may be extracted from extraction model M1 using a second biometric image as input.
  • the feature group FVG1b is a feature group corresponding to high image quality extracted from the second biometric image.
  • a feature group FVG2b may be extracted from extraction model M2 using a second biometric image as input.
  • the feature group FVG2b is a feature group corresponding to low image quality extracted from the second biometric image.
  • Figure 8 shows a second example of the configuration of the extraction unit 130.
  • the extraction unit 130b shown in the same figure is a second example of the extraction unit 130 and includes an extraction model M3.
  • One feature group FVGA is extracted using the extraction model M3.
  • the feature group FVGA may be represented using one or more feature vectors, one or more feature maps, or both.
  • the feature group FVGA includes a third feature group FVG3, a fourth feature group FVG4, and a fifth feature group FVG5.
  • One extraction model M3 is an example in which a biometric image is input and multiple feature groups FVG3 to FVG5 are extracted from the input biometric image.
  • image quality levels and feature groups corresponding to the image quality levels is not limited to three, but may be two, four or more.
  • the feature group FVGA extracted from extraction model M3 when a biometric image is input contains a third feature group FVG3, a fourth feature group FVG4, and a fifth feature group FVG5.
  • the third feature group FVG3 is a feature group corresponding to high image quality (high image quality level).
  • the fourth feature group FVG4 is a feature group corresponding to medium image quality (medium image quality level).
  • the fifth feature group FVG5 is a feature group corresponding to low image quality (low image quality level).
  • the feature set corresponding to a certain image quality level can also be said to be a feature set derived from information on that image quality level contained in the biometric image.
  • multiple feature groups FVG3 to FVG5 are extracted from each of the first biometric image and the second biometric image.
  • a first feature group FVGAa including multiple feature groups FVG3a to FVG5a corresponding to multiple predetermined image quality levels may be extracted from the first biometric image using an extraction model M3.
  • a second feature group FVGAb including multiple feature groups FVG3b to FVG5b corresponding to multiple predetermined image quality levels may be extracted from the second biometric image using an extraction model.
  • a detailed example of the feature group FVGA, which includes the third feature group FVG3, the fourth feature group FVG4, and the fifth feature group FVG5, extracted using the extraction model M3 will be described in other embodiments.
  • the matching unit 140 uses quality scores indicating the quality of the first biometric image and the second biometric image and a plurality of feature sets to match the first biometric image and the second biometric image, and calculates a matching score.
  • the matching unit 140 integrates inter-feature scores obtained by matching the first feature set and the second feature set corresponding to the same image quality level, and calculates a matching score that is the result of matching the first biometric image and the second biometric image.
  • the matching unit 140 may include, for example, an inter-feature score calculation unit 141, a weight estimation unit 142, and a matching score calculation unit 143, as shown in FIG. 9.
  • the inter-feature score calculation unit 141 calculates, for each of a plurality of image quality levels, the inter-feature scores of the first feature group and the second feature group corresponding to the same image quality level.
  • the weight estimation unit 142 estimates weights for inter-feature scores for each of multiple image quality levels.
  • the matching score calculation unit 143 calculates a matching score by integrating the inter-feature scores for multiple image quality levels using the estimated weights.
  • the matching unit 140 performs a matching process (step S140) such as that shown in Figure 10.
  • the inter-feature score calculation unit 141 calculates the inter-feature scores for the first feature group and the second feature group corresponding to the same image quality level for each of multiple image quality levels (step S141).
  • the weight estimation unit 142 estimates weights for the inter-feature scores for each of multiple image quality levels (step S142).
  • the matching score calculation unit 143 calculates a matching score by integrating the inter-feature scores for multiple image quality levels using the estimated weights (step S143).
  • the inter-feature score calculation unit 141 calculates, for each of a plurality of image quality levels, the inter-feature scores of the first feature amount group and the second feature amount group corresponding to the same image quality level. In this way, the inter-feature score calculation unit 141 calculates the inter-feature scores for each of the plurality of image quality levels.
  • the inter-feature score is, for example, a score indicating the similarity between the first feature group and the second feature group.
  • the inter-feature score may be, but is not limited to, the L2 norm or cosine similarity between the first feature group and the second feature group.
  • the weight estimation unit 142 estimates weights for inter-feature scores for each of a plurality of image quality levels, for example, using the first biometric image and the second biometric image.
  • the weights may be expressed as vectors, for example.
  • the weights may also be normalized so that the length (magnitude) of the vectors becomes 1.
  • the weight estimation unit 142 may include, for example, a quality estimation unit 142a and a weight calculation unit 142b, as shown in FIG. 9.
  • the quality estimation unit 142a estimates a first quality score, which is the quality score of the first biometric image, and a second quality score, which is the quality score of the second biometric image.
  • the weight calculation unit 142b calculates weights for the inter-feature scores for each of multiple image quality levels based on the first quality score and the second quality score.
  • the weight estimation unit 142 executes a weight estimation process (step S142) such as that shown in Figure 10.
  • the quality estimation unit 142a estimates a first quality score, which is the quality score of the first biometric image, and a second quality score, which is the quality score of the second biometric image (step S142a).
  • the weight calculation unit 142b calculates weights for the inter-feature scores for each of the multiple image quality levels based on the first quality score and the second quality score (step S142b).
  • the quality estimation model is, for example, a machine learning model that estimates the quality score of a biometric image.
  • the quality estimation model is, for example, composed of a neural network.
  • the quality score may be expressed as a scalar or a vector.
  • the first quality score is output from the quality estimation model when, for example, a first biometric image is input.
  • the second quality score is output from the quality estimation model when, for example, a second biometric image is input.
  • the quality score may be calculated using the iris center detected as the keypoint position, as described below, and the radius of the iris circle as the quality score.
  • the weight calculation unit 142b may calculate the weights using a weight estimation model that receives the first quality score and the second quality score and outputs weights for the inter-feature scores for each of a plurality of image quality levels.
  • the weight estimation model is, for example, a machine learning model composed of a neural network. It may be trained to maximize the inter-feature score using biometric images with different image quality levels.
  • the method by which the weight calculation unit 142b calculates weights is not limited to using a weight estimation model.
  • the weight calculation unit 142b may store in advance calculation rules such as a table or relational equation that specifies the weights for the first quality score and the second quality score, and use the table and the first quality score and the second quality score to calculate the weights for the inter-feature scores for each of multiple image quality levels.
  • the weights w1 and w2 corresponding to high quality and low quality may be calculated based on the quality scores of the first biometric image and the second biometric image to be matched.
  • the weight w1 corresponding to the inter-feature score at a high image quality level may be greater than the weight w2 corresponding to the inter-feature score at a low image quality level.
  • An example of a case where both the first biometric image and the second biometric image are high-quality images is when both the first quality score and the second quality score exceed a predetermined quality threshold.
  • the weight w2 corresponding to the inter-feature score at the low image quality level may be greater than the weight w1 corresponding to the inter-feature score at the high image quality level.
  • the feature set corresponding to a high image quality level extracted from that at least one biometric image is information with low accuracy.
  • increasing the weight of the inter-feature score for the feature set corresponding to a high image quality level may result in a decrease in authentication accuracy. Instead, increasing the weight of the inter-feature score for the feature set corresponding to a low image quality level allows for more accurate authentication.
  • the weight calculation unit 142b may identify the quality score that indicates lower quality from the first quality score and the second quality score, and calculate the weight based on the identified quality score. Specifically, for example, if the first quality score is Q1, the second quality score is Q2, and the quality score that indicates lower quality is Q, then Q can be calculated as min(Q1, Q2). Let b be the value expected to be the maximum quality score, and a be the value expected to be the minimum quality score.
  • multiple extraction models and weight estimation models are constructed using machine learning models, they may be trained independently, or they may be linked and trained simultaneously (end-to-end).
  • biometric images with different image quality levels may be input into multiple extraction models corresponding to those image quality levels, and the authentication loss for each of the multiple feature groups extracted thereby may be calculated. Then, the parameters included in the multiple extraction models may be updated so that the weighted sum of the authentication losses is minimized.
  • the matching score calculation unit 143 may calculate, for each of a plurality of image quality levels, the sum of values obtained by multiplying the inter-feature scores corresponding to the same image quality level by the weights, as the matching score.
  • the authentication unit 150 determines whether or not the target can be authenticated, for example, using the matching score. In detail, for example, the authentication unit 150 compares the matching score with a predetermined authentication threshold and performs authentication based on the comparison result. If the matching score is equal to or greater than the authentication threshold, the authentication unit 150 may determine that the target is the person in question (authentication successful). If the matching score is less than the authentication threshold, the authentication unit 150 may determine that the target is not the person in question (authentication failed).
  • the display unit 160 displays a display screen including various information.
  • the display screen may include, for example, at least one of a first biometric image, a second biometric image, a matching result, an authentication result, etc., but is not limited to these. Other examples of the display screen will be described in other embodiments.
  • the information processing apparatus 100 physically includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, a communication interface 1050, an input interface 1060, and an output interface 1070, as shown in FIG.
  • the bus 1010 is a data transmission path through which the processor 1020, memory 1030, storage device 1040, network interface 1050, input interface 1060, and output interface 1070 transmit and receive data to and from each other.
  • the method of connecting the processor 1020 and other components to each other is not limited to bus connection.
  • Processor 1020 is a processor implemented by a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), etc.
  • Memory 1030 is a main storage device implemented as RAM (Random Access Memory) or the like.
  • Storage device 1040 is an auxiliary storage device realized by a hard disk drive (HDD), solid state drive (SSD), memory card, read-only memory (ROM), etc.
  • Storage device 1040 stores program modules for realizing the functions of information processing device 100.
  • the processor 1020 reads each of these program modules into memory 1030 and executes them, thereby realizing the function corresponding to that program module.
  • the network interface 1050 is an interface for connecting the information processing device 100 to the communications network NT. Information may also be sent and received between the information processing device 100 and other devices (not shown) via the communications network NT.
  • the input interface 1060 is an interface through which the user inputs information, and is composed of, for example, a touch panel, keyboard, mouse, etc.
  • the output interface 1070 is an interface for presenting information to the user, and may be composed of, for example, a liquid crystal panel or an organic EL (Electro-Luminescence) panel.
  • the output interface 1070 may also include a speaker.
  • the information processing device 100 has been described as being physically composed of a single device (e.g., a computer), the information processing device 100 may also be composed of multiple devices (e.g., computers) that send and receive information to each other via, for example, a communications network NT. In this case, the multiple devices may work together to perform information processing.
  • a single device e.g., a computer
  • the information processing device 100 may also be composed of multiple devices (e.g., computers) that send and receive information to each other via, for example, a communications network NT.
  • the multiple devices may work together to perform information processing.
  • the information processing device 100 includes the extraction unit 130 and the matching unit 140.
  • the extraction unit 130 extracts a plurality of feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting a plurality of feature sets corresponding to a plurality of predetermined image quality levels from the biometric image.
  • the matching unit 140 matches the first biometric image with the second biometric image using the plurality of feature sets and quality scores indicating the quality of the first biometric image and the second biometric image.
  • an extraction model group consisting of one or more extraction models can be common to the first biometric image and second biometric image being matched.
  • feature groups with corresponding image quality levels can be compared appropriately using the quality scores of the first biometric image and the second biometric image, making it possible to prevent a decrease in accuracy of authentication using biometric images of different quality. Therefore, it becomes possible to easily prevent a decrease in accuracy of authentication using biometric images of different quality.
  • the multiple extraction models correspond to multiple image quality levels, and each outputs a set of features.
  • the multiple feature sets extracted from the first biometric image are extracted using the multiple extraction models with the first biometric image as input.
  • the multiple feature sets extracted from the second biometric image are extracted using the multiple extraction models with the second biometric image as input.
  • the matching unit 140 includes an inter-feature score calculation unit 141, a weight estimation unit 142, and a matching score calculation unit 143.
  • the inter-feature score calculation unit 141 calculates, for each of a plurality of image quality levels, the inter-feature scores of the first feature group and the second feature group corresponding to the same image quality level.
  • the weight estimation unit 142 estimates weights for the inter-feature scores for each of the plurality of image quality levels.
  • the matching score calculation unit 143 calculates a matching score that integrates the inter-feature scores for each of the plurality of image quality levels using the estimated weights.
  • inter-feature scores for multiple image quality levels are weighted and integrated, making it easy to obtain a matching score that accurately represents the similarity between the first biometric image and the second biometric image. Therefore, it becomes easy to prevent a decrease in accuracy in authentication using biometric images of different quality.
  • the weight estimation unit 142 includes a quality estimation unit 142a and a weight calculation unit 142b.
  • the quality estimation unit 142a estimates a first quality score, which is the quality score of the first biometric image, and a second quality score, which is the quality score of the second biometric image.
  • the weight calculation unit 142b calculates weights for the inter-feature scores for each of a plurality of image quality levels based on the first quality score and the second quality score.
  • weighting is performed based on the first quality score and the second quality score, and inter-feature scores for multiple image quality levels are integrated, making it easy to obtain a matching score that accurately represents the similarity between the first biometric image and the second biometric image. Therefore, it becomes easy to prevent a decrease in accuracy in authentication using biometric images of different quality.
  • the multiple extraction models are each an input of a biometric image, and each extracts multiple feature groups from the input biometric image.
  • the extraction model group consisting of multiple extraction models can be common to the first biometric image and second biometric image being matched. Therefore, it is easier to construct an extraction model group than to construct different extraction model groups for the first biometric image and the second biometric image. Furthermore, during matching, feature groups with corresponding image quality levels can be compared appropriately using the quality scores of the first biometric image and the second biometric image, making it possible to suppress a decrease in accuracy of authentication using biometric images of different quality. Therefore, it is possible to easily suppress a decrease in accuracy of authentication using biometric images of different quality.
  • the quality estimation unit 142a estimates the first quality score and the second quality score using a quality estimation model that outputs a quality score for a biometric image when the biometric image is input.
  • Example 3 of Multiple Feature Sets As in Example 1 of the multiple feature sets, multiple extraction models may be used.
  • the multiple extraction models may correspond to multiple image quality levels, and each may output a feature set. That is, the multiple feature sets may be extracted using multiple extraction models with a single biometric image as input. In this case, each of the multiple feature sets may be represented by a single feature vector or feature map.
  • multiple extraction models may share a pre-stage in which a biometric image is input and intermediate features are extracted from the biometric image.
  • Figure 12 shows a third example of the configuration of the extraction unit 130.
  • the extraction unit 130c shown in the same figure is a third example of the extraction unit 130, and includes a fourth extraction model M4 and a fifth extraction model M5.
  • the fourth extraction model M4 and the fifth extraction model M5 are used to extract a sixth feature group FVG6 and a seventh feature group FVG7.
  • the multiple extraction models M4 and M5 share a front-end part MF, which receives a biometric image and extracts intermediate features from the biometric image.
  • the multiple extraction models M4 and M5 each include a separate back-end part MR4 and MR5. That is, the fourth extraction model M4 is composed of a front-end part MF and a back-end part MR4.
  • the fifth extraction model M5 is composed of a front-end part MF and a back-end part MR5.
  • the first section MF may output intermediate features when a biometric image is input.
  • the second section MR4 may output a sixth feature group FVG6 when the intermediate features output from the first section MF are input.
  • the second section MR5 may output a seventh feature group FVG7 when the intermediate features output from the first section MF are input.
  • the number of extraction models is not limited to two and may be three or more. Furthermore, the number of image quality levels and feature groups corresponding to the image quality levels (first feature group and second feature group) is not limited to two and may be three or more.
  • Each of the fourth extraction model M4 and the fifth extraction model M5 is, for example, a machine learning model trained using biometric images with different image quality levels.
  • the fourth extraction model M4 is an extraction model trained using high-quality biometric images.
  • the fourth extraction model M4 outputs a sixth feature group FVG6 corresponding to high image quality (high image quality level).
  • the fifth extraction model M5 is an extraction model trained using low-quality biometric images.
  • the fifth extraction model M5 outputs a seventh feature group FVG7 corresponding to low image quality (low image quality level).
  • multiple feature groups FVG6 and FVG7 are extracted from the first biometric image and the second biometric image, respectively.
  • a feature group FVG6a may be extracted from the fourth extraction model M4 using the first biometric image as input.
  • the feature group FVG6a is a feature group corresponding to high image quality extracted from the first biometric image.
  • a feature group FVG7a may be extracted from the fifth extraction model M5 using the first biometric image as input.
  • the feature group FVG7a is a feature group corresponding to low image quality extracted from the first biometric image.
  • the multiple feature groups FVG6a, FVG7a extracted from the first biometric image may be extracted using multiple extraction models M4, M5 with the first biometric image as input.
  • the multiple first feature groups FVG6a, FVG7a are feature groups corresponding to multiple image quality levels.
  • the second biometric image may be used as input and a feature group FVG6b may be extracted from the fourth extraction model M4.
  • the feature group FVG6b is a feature group corresponding to high image quality extracted from the second biometric image.
  • the second biometric image may also be used as input and a feature group FVG7b may be extracted from the fifth extraction model M5.
  • the feature group FVG7b is a feature group corresponding to low image quality extracted from the second biometric image.
  • the multiple feature groups FVG6b, FVG7b extracted from the second biometric image may be extracted using multiple extraction models M4, M5 with the second biometric image as input.
  • the multiple feature groups FVG6b, FVG7b are feature groups corresponding to multiple image quality levels.
  • a plurality of extraction models share a front-stage part in which a biometric image is input and intermediate features are extracted from the biometric image.
  • an extraction model group made up of multiple extraction models includes portions that are shared by the first biometric image and second biometric image being matched. Therefore, it is easier to construct an extraction model group than to construct different extraction model groups for the first biometric image and the second biometric image. Furthermore, during matching, feature groups with corresponding image quality levels can be compared appropriately using the quality scores of the first biometric image and the second biometric image, making it possible to prevent a decrease in accuracy of authentication using biometric images of different quality. Therefore, it is possible to easily prevent a decrease in accuracy of authentication using biometric images of different quality.
  • the size of the feature group extracted from a biometric image increases as the quality of the biometric image increases.
  • the size of the feature group is the L2 norm of the feature vector. Note that the size of the feature group is not limited to this example.
  • the quality estimation unit 242a may then calculate the quality score Q of the biometric image, for example, using a predetermined relational expression.
  • This relational expression defines the relationship between the quality score Q of the biometric image and the quality scores Q1 and Q2.
  • the quality score Qa of the first biometric image may be a value obtained, for example, using Q1a/(Q1a+Q2a).
  • the second feature groups FVG1b and FVG2b described above are extracted for the second biometric image.
  • the quality score Qb of the second biometric image may be a value obtained, for example, using Q1b/(Q1b+Q2b).
  • the quality score Q1 of the biometric image obtained from the feature group FVG1 corresponding to the high quality level may be used as the quality score Q of the biometric image.
  • the first quality score may be Q1a and the second quality score may be Q1b. In this case, there is no need to calculate the quality score Q2 of the biometric image.
  • the quality estimation unit 242a estimates a first quality score and a second quality score based on at least one group of first features and at least one group of second features, respectively.
  • the first feature set and the second feature set often have smaller data volumes than the first biometric image and the second biometric image, respectively. Therefore, the amount of calculation required to estimate the first quality score and the second quality score can be reduced compared to using the quality estimation model described above. Therefore, it becomes even easier to prevent a decrease in authentication accuracy when using biometric images of different quality.
  • This embodiment is suitable for iris authentication using iris images. Therefore, this embodiment will be described using an example in which the biometric image, first biometric image, and second biometric image described above are each images that include an iris. Furthermore, in the description of this embodiment, the images corresponding to the biometric image that includes an iris, the first biometric image, and the second biometric image, respectively, will also be referred to as the iris image, the first iris image, and the second iris image.
  • the information processing device 300 includes the above-mentioned registration information storage unit 110, image acquisition unit 120, authentication unit 150, display unit 160, extraction unit 330, and matching unit 340.
  • the information processing device 300 further includes a key point estimation unit 370 and an image normalization unit 380. Note that the information processing device 300 may be used in place of the information processing device 100 in the above-mentioned information processing system S1, for example.
  • the keypoint estimation unit 370 estimates the positions of keypoints in each of the first iris image, which is the first biometric image, and the second iris image, which is the second biometric image, using a keypoint estimation model that estimates the positions of predetermined keypoints in the iris image, which is the biometric image.
  • the image normalization unit 380 uses the estimated keypoint positions to perform image processing on the iris regions contained in each of the first and second iris images, generating a rectangular iris image containing a rectangular iris whose two sides correspond to the radial and circumferential directions of the iris.
  • the extraction unit 330 extracts multiple feature sets from each of the first iris image and the second iris image using one or more extraction models for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the rectangular iris image.
  • the matching unit 340 matches the first iris image with the second iris image using a quality score indicating the quality of the first iris image and the second iris image and a plurality of groups of features.
  • a pair of a first feature group and a second feature group corresponding to at least one image quality level is a pair of feature maps in which the first feature group and the second feature group are arranged in two directions corresponding to the radial direction and the circumferential direction.
  • the information processing device 300 executes information processing such as that shown in FIG. 16, for example.
  • Step S120 described above is executed.
  • the keypoint estimation unit 370 uses a keypoint estimation model that estimates the positions of predetermined keypoints in the iris image, which is a biometric image, to estimate the positions of keypoints in each of the first iris image, which is the first biometric image, and the second iris image, which is the second biometric image (step S370).
  • Image normalization 380 uses the estimated keypoint positions to perform image processing on each of the first and second iris images to generate a rectangular iris image containing a rectangular iris whose two sides correspond to the radial and circumferential directions of the iris (step S380).
  • the extraction unit 330 extracts multiple feature sets from each of the first iris image and the second iris image using one or more extraction models for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the rectangular iris image (step S330).
  • the matching unit 340 matches the first iris image with the second iris image using a quality score indicating the quality of the first iris image and the second iris image and a plurality of groups of features (step S340).
  • Steps S150 to S160 described above are executed.
  • the keypoint estimation unit 370 uses the keypoint estimation model to estimate the positions of keypoints in each of the first iris image, which is the first biometric image, and the second iris image, which is the second biometric image.
  • Key points are predetermined locations on the iris, and are generally also referred to as landmarks, feature points, etc. There may be one or more key points. Key points include, for example, at least one of the iris center, iris circle (inner and outer circumferences), pupil center, pupil circle, left and right edges of the eye, upper and lower edges of the eye, upper eyelid, lower eyelid, and predetermined locations on the upper and lower eyelids.
  • the inner circumference of the iris corresponds to the boundary between the iris and the pupil.
  • the outer circumference of the iris corresponds to the boundary between the iris and the white of the eye. Note that key points are not limited to those exemplified here.
  • the keypoint positions are parameters related to the shape of the iris.
  • a keypoint estimation model is a machine learning model that, for example, inputs an iris image and outputs the positions of keypoints in that iris image.
  • the keypoint estimation model is composed of, for example, a neural network.
  • the neural network may include, for example, a convolution mechanism, an attention mechanism, etc.
  • the keypoint estimation model is constructed, for example, by using training data that includes an iris image and ground truth data that includes the positions of keypoints related to that iris image, and training the model so that the positions of keypoints in that iris image can be correctly estimated.
  • the keypoint estimation unit 370 inputs a first iris image into a keypoint estimation model to obtain the positions of keypoints in the first iris image.
  • the keypoint estimation unit 370 inputs a second iris image into a keypoint estimation model to obtain the positions of keypoints in the second iris image.
  • the image normalization unit 380 performs image processing on each of the first and second iris images using the estimated keypoint positions, thereby generating a normalized image.
  • This image processing is, for example, a process of generating an image (standardized image) that conforms to a predetermined standard using the iris region contained in the iris image.
  • This standard may be defined, for example, for at least one of the orientation and shape of the iris.
  • the standard for the shape of the iris may be, for example, a rectangle with two sides corresponding to the radial and circumferential directions of the iris.
  • the image standardization unit 380 generates a rectangular iris image.
  • the rectangular iris image may be, for example, an image including a rectangular iris with two sides corresponding to the radial and circumferential directions of the iris.
  • the standard for the iris direction may be, for example, aligning a predetermined reference direction for the rotational direction of the iris with the lateral direction of the eye containing the iris. This generates a rectangular iris image with a standardized orientation.
  • the rectangular iris image with a standardized orientation may be, for example, an image in which the circumferential side of the above-mentioned rectangular iris image corresponds to the predetermined reference direction for the rotational direction of the iris.
  • Figure 17 shows an example of the image processing flow for generating a rectangular iris image from an iris image.
  • the image normalization unit 380 may use the estimated positions of the keypoints to cut out the iris region contained in the iris image from the iris image.
  • at least one of the iris center and the pupil center, and at least one of the iris circle and the pupil circle may be used as the positions of the keypoints.
  • the circular iris image is an image that includes the iris region cut out from the iris image.
  • the circular iris image may also be an image that includes only the iris region contained in the iris image.
  • the image normalization unit 380 may, for example, use the positions of the estimated key points to generate a circular iris image whose orientation is normalized.
  • the image normalization unit 380 may identify a reference orientation for the iris image. Then, the image normalization unit 380 may generate a circular iris image in which the identified reference orientation is aligned with a predetermined direction (for example, the x-axis) by, for example, rotating the iris region.
  • a predetermined direction for example, the x-axis
  • the reference direction may be, for example, the horizontal direction of the eye, and more specifically, the direction along the straight line connecting the outer and inner corners of the eye.
  • the iris may rotate depending on the state of the eyelid.
  • the state of the eyelid may include, for example, the rotation and position change of the eyelid.
  • the image normalization unit 380 may, for example, use a circular iris image to generate a rectangular iris image.
  • the image normalization unit 380 may, for example, use a circular iris image whose direction has been normalized to generate a rectangular iris image.
  • a rectangular iris image whose circumferential side corresponds to the reference direction i.e., a rectangular iris image whose direction has been normalized
  • the image normalization unit 380 may, for example, perform this type of image processing on each of the first iris image and the second iris image to generate a rectangular iris image for each of the first iris image and the second iris image.
  • These rectangular iris images may be rectangular iris images whose orientation has been normalized.
  • the matching unit 340 matches the first iris image with the second iris image using a quality score indicating the quality of the first iris image and the second iris image and a plurality of groups of feature amounts.
  • the first calculation unit 341a calculates inter-feature scores for pairs of feature maps.
  • the second calculation unit 341b calculates inter-feature scores for pairs of feature vectors.
  • the matching unit 340 performs a matching process (step S340) such as that shown in Figure 19.
  • the first calculation unit 341a repeats steps S341b to S341d for each of the multiple image quality levels (loop A; step S341a).
  • the first calculation unit 341a determines whether the feature set for calculating the inter-feature score is in the form of a feature map (step S341b).
  • the first calculation unit 341a calculates the inter-feature score for the pair of feature maps (step S341c).
  • step S341b If the feature map format is not used (step S341b; No), the second calculation unit 341b calculates the inter-feature score for the pair of feature vectors (step S341d).
  • the first calculator 341a calculates an inter-feature score for a pair of feature maps.
  • This inter-feature score is, for example, a score indicating the similarity between the feature maps constituting the pair.
  • the feature maps constituting the pair are a first feature set and a second feature set corresponding to the same image quality level, and these are represented by feature maps.
  • the first calculation unit 341a may include, for example, an inter-map score calculation unit 341a_1, a component transfer unit 341a_2, and a score determination unit 341a_3, as shown in FIG. 20.
  • the inter-map score calculation unit 341a_1 calculates an inter-map score indicating the degree of similarity between one feature map and another feature map shifted by the shift amount, and the other feature map.
  • the component shifting unit 341a_2 creates multiple shifted feature maps by repeatedly shifting the circumferential feature quantities of the iris from each end of one feature map to the other end by a predetermined shift amount.
  • the score determination unit 341a_3 determines the maximum inter-map score among the calculated inter-map scores as the inter-feature score for the pair of feature maps.
  • the total amount of shifting from each end to the other corresponds to the maximum angle through which the iris can rotate for the same eyelid position.
  • the first calculation unit 341a executes the first calculation process (step S341c) shown in FIG. 21, for example.
  • the inter-map score calculation unit 341a_1 calculates an inter-map score indicating the degree of similarity between one feature map and the other feature map (step S341c_1).
  • the component movement unit 341a_2 repeats steps S341c_2 to S341c_4 Rep times (step S341c_2).
  • the component shifting unit 341a_2 shifts the circumferential feature quantities of the iris from each of the two ends of one feature map to the other end by a predetermined shift amount (step S341c_3).
  • the inter-map score calculation unit 341a_1 calculates an inter-map score indicating the degree of similarity between each of the feature maps moved by the shift amount and the other feature map (step S341c_4).
  • the score determination unit 341a_3 determines the maximum inter-map score among the calculated inter-map scores as the inter-feature score for the pair of feature maps (step S341c_5).
  • the inter-map score calculation unit 341a_1 calculates an inter-map score indicating the similarity between the feature maps extracted by the extraction unit 330.
  • the inter-map score may be, but is not limited to, the L2 distance or cosine similarity between the feature maps. For example, if the feature maps are binarized, the inter-map score may be the Hamming distance.
  • the inter-map score calculation unit 341a_1 may calculate the inter-map score between each of the feature maps after the movement and the other feature map.
  • FIG. 22 is a diagram showing an example of the movement process performed by the component movement section 341a_2.
  • the component shifting unit 341a_2 shifts the iris circumferential feature quantities for one feature map from each of the two ends to the other end by a predetermined shift amount S. Note that for the other feature map, the feature quantities may not be shifted, but may be fixed at their positions in the extracted feature map.
  • the component moving unit 341a_2 moves the feature quantity at the left end of one feature map by the shift amount S toward the right end (rightward moving process). Furthermore, the component moving unit 341a_2 moves the feature quantity at the right end of the feature map by the shift amount S toward the left end of the other feature map (leftward moving process).
  • the component moving unit 341a_2 repeats such rightward moving process and leftward moving process Rep times each.
  • the component moving unit 341a_2 may repeat the rightward moving process Rep times for one feature map, and repeat the leftward moving process Rep times for that one feature map.
  • 2 ⁇ Rep+1 feature maps are obtained for one feature map, including the feature map extracted by the extraction unit 330 and the feature map created by performing movement processing Rep times in each of the right and left directions.
  • the inter-map score calculation unit 341a_1 may calculate an inter-map score between each of the 2 ⁇ Rep+1 feature maps and the other feature map. As a result, for example, 2 ⁇ Rep+1 inter-map scores are calculated. Note that movement of features in only one of the right and left directions may be performed Rep times.
  • the score determination unit 341a_3 determines the maximum inter-map score among the calculated inter-map scores as the inter-feature score for the pair of feature maps.
  • the score determiner 341a_3 identifies the inter-map score with the largest value from the 2 ⁇ Rep+1 inter-map scores. The score determiner 341a_3 determines the identified inter-map score as the inter-feature score for the pair of feature maps.
  • the inter-feature score for the pair of feature maps is expressed by the following equation (1).
  • the total amount of shifting by repeatedly moving from each end to the other may correspond to the maximum range of angle ⁇ by which the iris can rotate relative to the eyelid in the same state.
  • the total amount of shifting is a value obtained by multiplying the shift amount S by the number of repetitions Rep.
  • the maximum range of angle ⁇ by which the iris can rotate relative to the eyelid in the same state is roughly fixed. Therefore, the shift amount S by the number of repetitions Rep may correspond to this maximum angle. This makes it possible to determine an inter-feature score that takes iris rotation into account.
  • the maximum range of the angle ⁇ by which the iris can rotate relative to the eyelid in the same state corresponds to how many feature maps along the iris's circumferential direction, i.e., the shift amount S x number of repetitions Rep corresponding to that maximum range, may be determined through experimental investigation.
  • the shift amount S may be appropriately set to a value greater than or equal to 1.
  • the method for determining the shift amount S and the number of Rep times is not limited to the above-mentioned method, and may be set to 1 or more as appropriate.
  • the second calculation unit 341b calculates an inter-feature score for a pair of feature vectors.
  • the inter-feature score for a pair of feature vectors may be the L2 norm, cosine similarity, or the like, of the feature vectors constituting the pair.
  • the feature vectors constituting the pair are a first feature set and a second feature set corresponding to the same image quality level, and these are represented by feature vectors.
  • the information processing device 300 includes a keypoint estimation unit 370 and an image normalization unit 380.
  • the keypoint estimation unit 370 estimates the positions of keypoints in each of a first iris image, which is a first biometric image, and a second iris image, which is a second biometric image, using a keypoint estimation model that estimates the positions of predetermined keypoints in an iris image, which is a biometric image.
  • the image normalization unit 380 uses the estimated keypoint positions to perform image processing on the iris regions included in each of the first iris image and the second iris image, and generates a rectangular iris image including a rectangular iris whose two sides correspond to the radial and circumferential directions of the iris.
  • the circumferential sides of the rectangular iris image correspond to a predetermined reference direction with respect to the rotational direction of the iris.
  • the information processing device 400 includes the above-mentioned registration information storage unit 110, image acquisition unit 120, authentication unit 150, display unit 160, extraction unit 430, and matching unit 440.
  • the information processing device 400 also includes the above-mentioned quality estimation unit 142a and pair quality determination unit 470.
  • the information processing device 400 also includes a degraded image creation unit 480, an authentication loss calculation unit 485, and a model parameter update unit 490.
  • information processing device 400 may be used, for example, in place of the information processing device 100 in the above-described information processing system S1.
  • the quality estimation unit 142a estimates a first quality score, which is the quality score of the first biometric image, and a second quality score, which is the quality score of the second biometric image.
  • the pair quality determination unit 470 determines a pair quality score, which is a quality score for the image pair of the first biometric image and the second biometric image, based on the first quality score and the second quality score.
  • the extraction unit 430 extracts multiple feature sets from each of the first biometric image and the second biometric image using one extraction model for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the biometric image.
  • a first feature set including multiple feature sets corresponding to multiple predetermined image quality levels is extracted from the first biometric image using the extraction model.
  • a second feature set including multiple feature sets corresponding to multiple predetermined image quality levels is extracted from the second biometric image using the extraction model.
  • the matching unit 440 matches the first biometric image with the second biometric image using a quality score indicating the quality of the first biometric image and the second biometric image and a plurality of feature groups.
  • the quality score indicating the quality of the first biometric image and the second biometric image is, for example, the pair quality score described above.
  • the degraded image creation unit 480 performs image processing to degrade the image quality of the biometric image, creating a biometric image of quality according to the set quality score.
  • the authentication loss calculation unit 485 calculates the authentication loss based on the selected features and the correct answer data.
  • the model parameter update unit 490 updates the model parameters included in the extraction model so as to reduce the calculated authentication loss.
  • the information processing device 400 executes information processing such as that shown in FIG. 24, for example.
  • Step S120 described above is executed.
  • the quality estimation unit 142a estimates a first quality score, which is the quality score of the first biometric image, and a second quality score, which is the quality score of the second biometric image (step S142a).
  • the pair quality determination unit 470 determines a pair quality score, which is a quality score for the image pair of the first biometric image and the second biometric image, based on the first quality score and the second quality score (step S470).
  • the extraction unit 430 extracts multiple feature sets from each of the first biometric image and the second biometric image using a single extraction model for extracting multiple feature sets corresponding to multiple predetermined image quality levels from the biometric image (step S430).
  • the matching unit 440 matches the first biometric image with the second biometric image using a quality score indicating the quality of the first biometric image and the second biometric image and a plurality of groups of features (step S440).
  • the paired quality determination unit 470 determines, for example, the quality score indicating the lower quality between the first quality score and the second quality score estimated by the quality estimation unit 142 a as the paired quality score.
  • the paired quality score is the quality score indicating the lower quality between the first quality score and the second quality score.
  • the extraction unit 430 Regarding the extraction unit 430, for example, the higher the image quality level of a feature set, the greater the number of feature sets included in that feature set. In other words, the number of feature sets constituting a feature set corresponding to a high image quality level is greater than the number of feature sets constituting a feature set corresponding to a low image quality level.
  • the extraction model M3 extracts a feature group FVGA that satisfies d3 > d4 > d5 from the biometric image.
  • the extraction unit 430 also extracts a third feature group FVG3 with a dimension number d determined based on the pair quality score.
  • d the higher the quality of the input biometric image, the greater the number of features included in the group of multiple feature groups extracted from the extraction model.
  • d c ⁇ p
  • p is the average information content of a rectangular iris image when the pair quality score is Qp.
  • the matching unit 440 may include, for example, a selection unit 441 and a feature matching unit 442 as shown in FIG.
  • the selection unit 441 selects features to use for matching from the features included in the first feature group and the second feature group based on the pair quality score.
  • the feature matching unit 442 performs matching using the selected features.
  • the matching unit 440 performs a matching process (step S440) such as that shown in Figure 26.
  • the feature matching unit 442 performs matching using the selected features (step S442).
  • features corresponding to an image quality level equal to or lower than the image quality level corresponding to the pair quality score may be selected.
  • the pair quality score is Q and the corresponding quality level is medium quality.
  • features corresponding to quality levels equal to or lower than medium quality i.e., medium quality and low quality may be selected.
  • the lower the quality level of the pair quality score the greater the ratio of the number of components selected from the feature group corresponding to the low image quality level to the number of components selected from the feature group corresponding to the high image quality level.
  • the feature matching unit 442 performs matching using the selected feature amounts. For example, the feature matching unit 442 calculates a matching score using feature amounts selected from each of the first feature amount group and the second feature amount group.
  • the matching score is, for example, a score indicating the similarity between vectors configured with the selected feature amounts.
  • the matching score may be, for example, the L2 norm or cosine similarity between vectors configured with the selected feature amounts, but is not limited to these.
  • the information processing device 400 also executes information processing, such as that shown in FIG. 27.
  • This information processing is processing for learning an extraction model, and is initiated, for example, based on a user instruction.
  • the degraded image creation unit 480 performs image processing to degrade the image quality of the biometric image, creating a biometric image of quality corresponding to a predetermined quality score (step S480).
  • steps S430 and S470 are performed on the biometric image created in step S480.
  • the authentication loss calculation unit 485 calculates the authentication loss based on the selected features and the correct answer data (step S485).
  • the model parameter update unit 490 updates the model parameters included in the extraction model so as to reduce the calculated authentication loss (step S490).
  • the degraded image creation unit 480 acquires a biometric image for learning from, for example, a storage unit (not shown).
  • the degraded image creation unit 480 receives, for example, an instruction for a quality score from a user, the degraded image creation unit 480 performs image processing to degrade the image quality of the acquired biometric image so that the image quality of the acquired biometric image corresponds to the quality score.
  • the degraded image creation unit 480 creates a biometric image of quality corresponding to the set quality score.
  • the authentication loss calculation unit 485 calculates the authentication loss based on, for example, the feature amount selected by the selection unit 441 and the correct answer data.
  • the authentication loss calculation unit 485 may hold a vector (representative vector) that represents each class.
  • the authentication loss calculation unit 485 may calculate the authentication loss using, for example, a softmax function, cross entropy error, or the like.
  • the authentication loss calculation unit 485 may calculate the authentication loss after performing the same process on the representative vector as the process used by the selection unit 441 to select features from the features extracted by the extraction unit 430.
  • the model parameter update unit 490 updates the model parameters included in the extraction model so as to reduce the authentication loss calculated by the authentication loss calculation unit 485.
  • the information processing for learning may be repeated, for example, until an appropriately determined termination condition is satisfied.
  • the termination condition may be, for example, that the authentication loss is smaller than a predetermined value, or that the processing is repeated a predetermined number of times, but is not limited to these.
  • a first feature set including a plurality of feature sets corresponding to a plurality of predetermined image quality levels is extracted from the first biometric image using the extraction model.
  • a second feature set including a plurality of feature sets corresponding to a plurality of predetermined image quality levels is extracted from the second biometric image using the extraction model.
  • the information processing device 400 includes a quality estimation unit 142a and a pair quality determination unit 470.
  • the quality estimation unit 142a estimates a first quality score, which is the quality score of the first biometric image, and a second quality score, which is the quality score of the second biometric image.
  • the pair quality determination unit 470 determines a pair quality score, which is the quality score for the image pair of the first biometric image and the second biometric image, based on the first quality score and the second quality score.
  • the matching unit 440 includes a selection unit 441 and a feature matching unit 442.
  • the selection unit 441 selects features to be used for matching from the features included in the first feature group and the second feature group based on the pair quality score.
  • the feature matching unit 442 performs matching using the selected features.
  • the higher the quality of the input biometric image the greater the number of features contained in the multiple feature groups extracted from the extraction model.
  • the number of features constituting a feature group is greater for feature groups corresponding to high image quality levels than for feature groups corresponding to low image quality levels.
  • the pair quality score is the quality score that indicates the lower quality of the first quality score and the second quality score.
  • the configuration of the information processing device according to this embodiment may be similar to that of the information processing device described in embodiment 1.
  • the information processing device 100 includes, for example, a display unit 160 that displays a display screen.
  • the display screen may include the size of the feature group corresponding to each of a plurality of predetermined image quality levels.
  • the display screen may further include a predetermined reference value corresponding to each of a plurality of predetermined image quality levels.
  • the display screen may include an index value indicating the extent to which the feature group corresponding to each of the plurality of predetermined image quality levels was used in the feature group used for matching.
  • the size of the feature group may be, for example, the L1 norm, L2 norm, etc. when the feature group is represented by a feature vector, but is not limited to these.
  • the display screen may be displayed in real time.
  • the display screen when registering a biometric image, the display screen may include information related only to that biometric image.
  • the display screen when performing authentication using a biometric image, may include information related to at least one of the registration image and the authentication image.
  • Fig. 28 is a diagram showing a first example of a display screen.
  • Fig. 29 is a diagram showing a second example of a display screen.
  • the display screens shown in these figures are examples in which the magnitudes of three feature groups corresponding to three image quality levels - high, medium, and low - are displayed as bar graphs.
  • bar graphs corresponding to multiple feature sets extracted from the registered image and multiple feature sets extracted from the authentication image are arranged side by side.
  • the bar graphs showing the size of multiple feature groups are connected in the length direction (vertical direction). This makes it easy to compare the overall size of the multiple feature groups extracted from the registered image and the authentication image.
  • the bar graphs showing the size of multiple feature groups are arranged in a direction perpendicular to the length direction (horizontal direction). This makes it easy to compare the size of each of the multiple feature groups extracted from the registered image and the authentication image.
  • the display screens shown in Figures 28 and 29 include horizontal lines indicating predetermined reference values. This makes it easy to recognize whether the extracted group of multiple features is a group of features that meets or exceeds the reference value, allowing for accurate authentication.
  • the display screen shown in FIG. 28 includes a horizontal line indicating a reference value for the overall size of multiple feature groups.
  • the display screen shown in FIG. 29 includes a horizontal line indicating a reference value for each of multiple feature groups.
  • the reference value for each feature group may be the same or different.
  • the display screens illustrated in Figures 28 and 29 include the display of "OK” or "NG” indicating the possibility of performing accurate authentication using a biometric image.
  • the display unit 160 may make an "OK” or “NG” judgment depending on whether the overall size of the multiple feature groups is equal to or greater than a reference value, and display the judgment result.
  • the display unit 160 may make an "OK” or “NG” judgment depending on whether all of the multiple feature amounts exceed their respective reference values, and display the judgment result. Note that the cases in which an "OK” or “NG” judgment is made may be determined appropriately.
  • the information processing device may further include a judgment unit (not shown) that compares the size of the multiple feature groups with a reference value and judges "OK” or "NG,” and the judgment unit may display the judgment result on the display unit 160.
  • the registered images include various biometric images in which each of the multiple feature groups has a different size. Therefore, if multiple registered images are registered, the display screen may include information about each of the multiple registered images.
  • the display screens shown in Figures 28 and 29 include index values n1 to n3 that indicate the extent to which feature sets corresponding to multiple predetermined image quality levels were used in the feature sets used for matching.
  • n1, n2, and n3 are values that indicate the number of feature sets (number of components) used for matching from the feature sets corresponding to high quality, medium quality, and low quality, respectively.
  • the person being authenticated, security guards, etc. can easily determine whether an appropriate biometric image is being used for authentication. If the quality of the biometric image is poor (for example, if it is "NG"), measures can be taken to capture a high-quality biometric image.
  • NG quality of the biometric image
  • the information processing device 100 includes the display unit 160 that displays a display screen.
  • the display screen includes the sizes of feature amounts corresponding to each of a plurality of predetermined image quality levels.
  • the display screen further includes predetermined reference values corresponding to each of a plurality of predetermined image quality levels.
  • the display screen includes an index value indicating the extent to which feature sets corresponding to multiple predetermined image quality levels were used in the feature set used for matching.
  • the information processing device 500 further includes a shooting environment control unit 570, as shown in FIG. 30, for example. Except for this, the information processing device 500 may be configured similarly to the information processing device 100 described above. Note that the information processing device 500 may be used, for example, in place of the information processing device 100 in the information processing system S1 described above.
  • the imaging environment control unit 570 changes the imaging environment for taking the first biometric image or the second biometric image if the predetermined conditions are not met.
  • the information processing device 500 executes information processing such as that shown in FIG. 31, for example.
  • Steps S120 to S160 described above are executed.
  • the imaging environment control unit 570 changes the imaging environment for taking the first biometric image or the second biometric image (step S170).
  • the imaging environment control unit 570 changes the imaging environment for taking the first biometric image or the second biometric image.
  • the condition may be that the size of the feature group corresponding to each of the multiple image quality levels is smaller than a predetermined threshold.
  • the imaging environment control unit 570 may change the imaging environment for taking the first biometric image or the second biometric image when the size of the feature group corresponding to each of the multiple image quality levels is smaller than a predetermined threshold.
  • This threshold may be, for example, the size of the feature set that is desirable for accurate authentication.
  • the threshold may be set for each image quality level, or the same value may be set for multiple image quality levels.
  • the conditions for changing the shooting environment are not limited to those exemplified here, and may be set as appropriate.
  • the condition may be, for example, successful authentication.
  • the imaging environment control unit 670 may adjust the imaging device 90 to change the imaging environment, such as by changing at least one of the following: the up/down/left/right imaging direction and imaging range, the lighting brightness, etc., using the shutter speed, aperture value, pan/tilt and zoom functions, etc.
  • the imaging environment control unit 670 may also cause the display unit 160, a speaker (not shown), etc. to issue a message to guide the subject being photographed by the imaging device 90.
  • the content of this message may be, for example, to move closer to the imaging device 90, but is not limited to this.
  • the information processing device 500 includes an imaging environment control unit 570 that changes the imaging environment for taking the first biometric image or the second biometric image when the size of the feature group corresponding to each of the multiple image quality levels is smaller than a predetermined threshold.
  • an extraction means for extracting a plurality of feature sets corresponding to a plurality of predetermined image quality levels from the first biometric image and the second biometric image, using one or a plurality of extraction models for extracting the plurality of feature sets from the biometric image; a matching unit configured to match the first biometric image with the second biometric image using the plurality of feature amount groups and quality scores indicating the quality of the first biometric image and the second biometric image.
  • the extraction model is plural, the plurality of extraction models correspond to the plurality of image quality levels, each of which outputs a set of feature amounts; the plurality of feature amounts extracted from the first biometric image are extracted using the plurality of extraction models with the first biometric image as an input; the plurality of feature amounts extracted from the second biometric image are extracted using the plurality of extraction models with the second biometric image as an input;
  • the collation means an inter-feature score calculation means for calculating, for each of the plurality of image quality levels, an inter-feature score between the first feature amount group and the second feature amount group corresponding to the same image quality level; a weight estimation means for estimating a weight for the inter-feature score for each of the plurality of image quality levels; 2.
  • the information processing apparatus further comprising: a matching score calculation means for calculating a matching score by integrating the inter-feature scores for each of the plurality of image quality levels using the estimated weights.
  • a quality estimation unit that estimates a first quality score that is the quality score of the first biometric image and a second quality score that is the quality score of the second biometric image; a pair quality determination unit that determines a pair quality score, which is the quality score for an image pair of the first biometric image and the second biometric image, based on the first quality score and the second quality score;
  • the extraction model is one, a first feature set including the plurality of feature sets corresponding to the plurality of predetermined image quality levels is extracted from the first biometric image using the extraction model; a second feature set including the plurality of feature sets corresponding to the plurality of predetermined image quality levels is extracted from the second biometric image using the extraction model;
  • the collation means a selection means for selecting a feature to be used for the matching from the feature included in the first feature group and the second feature
  • the information processing apparatus further comprising: a feature matching unit that performs the matching using the selected feature.
  • the weight estimation means a quality estimation unit that estimates a first quality score that is the quality score of the first biometric image and a second quality score that is the quality score of the second biometric image; 2.
  • the information processing apparatus further comprising: a weight calculation means for calculating a weight for the inter-feature score for each of the plurality of image quality levels based on the first quality score and the second quality score. 5.
  • the information processing device according to Item 3, wherein the plurality of extraction models are extraction models to which the biometric image is input, and which extract the plurality of feature amount groups from the input biometric image. 6. 3.
  • a keypoint estimation means for estimating positions of predetermined keypoints in an iris image that is the biometric image, and for estimating positions of the keypoints in each of a first iris image that is the first biometric image and a second iris image that is the second biometric image, using a keypoint estimation model that estimates positions of the keypoints in the iris image that is the biometric image; an image normalization unit that performs image processing on each of the first iris image and the second iris image using the estimated keypoint positions to generate a rectangular iris image including a rectangular iris whose two sides correspond to the radial and circumferential directions of the iris, a pair of the first feature amount group and the second feature amount group corresponding to at least one of the image quality levels is a pair of feature maps in which the first feature amount group and the second feature amount group are arranged in
  • the information processing device according to any one of 2. and 4 to 6, wherein the total amount of shifting by repeatedly moving from each of the two ends to the other end corresponds to the maximum range of angles by which the iris can rotate with respect to the eyelid in the same state.
  • the quality estimation means estimates the first quality score and the second quality score using a quality estimation model that, when a biometric image is input, outputs the quality score of the biometric image.
  • the quality estimation means estimates the first quality score and the second quality score based on at least one of the first feature amount group and at least one of the second feature amount group, respectively. 10.
  • the plurality of feature sets extracted from the extraction model include a larger number of feature sets as a whole as the input biometric image has a higher quality, the number of feature amounts constituting the feature amount group corresponding to a high image quality level is greater than the number of feature amounts constituting the feature amount group corresponding to a low image quality level; the paired quality score is a quality score indicating a lower quality between the first quality score and the second quality score, 3.
  • the information processing device wherein the selection of features to be used for matching is performed such that the lower the quality level of the pair quality score, the greater the ratio of the number of components selected from a feature group corresponding to a low image quality level to the number of components selected from a feature group corresponding to a high image quality level.
  • the information processing apparatus according to any one of 1. to 10., further comprising: a display unit for displaying a display screen, the display screen including sizes of feature amounts corresponding to each of a plurality of predetermined image quality levels. 12. 12. The information processing device according to 11., wherein the display screen further includes a predetermined reference value corresponding to each of a plurality of predetermined image quality levels. 13. 13. The information processing device according to 11. or 12., wherein the display screen includes an index value indicating the degree to which a group of features corresponding to a plurality of predetermined image quality levels has been used in the group of features used in the matching. 14. 14. The information processing device according to any one of 1.
  • One or more computers extracting a plurality of feature sets from each of the first biometric image and the second biometric image using one or more extraction models for extracting a plurality of feature sets corresponding to a plurality of predetermined image quality levels from the biometric image; An information processing method comprising: matching a first biometric image with a second biometric image using a plurality of feature groups and quality scores indicating the quality of the first biometric image and the second biometric image. 16.
  • the extraction model is plural, the plurality of extraction models correspond to the plurality of image quality levels, each of which outputs a set of feature amounts; the plurality of feature amounts extracted from the first biometric image are extracted using the plurality of extraction models with the first biometric image as an input; the plurality of feature amounts extracted from the second biometric image are extracted using the plurality of extraction models with the second biometric image as an input; In the matching between the first biometric image and the second biometric image, calculating an inter-feature score between the first feature amount group and the second feature amount group corresponding to the same image quality level for each of the plurality of image quality levels; estimating weights for the inter-feature scores for each of the plurality of image quality levels; 16.
  • the information processing method further comprising calculating a matching score by integrating the inter-feature scores for each of the plurality of image quality levels using the estimated weights. 17. further estimating a first quality score that is the quality score of the first biometric image and a second quality score that is the quality score of the second biometric image; determining a pair quality score, which is the quality score for an image pair of the first biometric image and the second biometric image, based on the first quality score and the second quality score;
  • the extraction model is one, a first feature set including the plurality of feature sets corresponding to the plurality of predetermined image quality levels is extracted from the first biometric image using the extraction model; a second feature set including the plurality of feature sets corresponding to the plurality of predetermined image quality levels is extracted from the second biometric image using the extraction model; In the matching between the first biometric image and the second biometric image, selecting a feature to be used for the matching from the feature included in the first feature group and the second feature group based on the pair quality score; 15.
  • the information processing method according to 14. wherein the matching is performed using the selected feature amount.
  • 18. In the step of estimating weights for the inter-feature scores for each of the plurality of image quality levels, estimating a first quality score that is the quality score of the first biometric image and a second quality score that is the quality score of the second biometric image; 17.
  • the information processing method according to 16. further comprising calculating a weight for the inter-feature score for each of the plurality of image quality levels based on the first quality score and the second quality score. 19.
  • the plurality of extraction models are extraction models to which the biometric image is input, and which extract the plurality of feature amount groups from the input biometric image. 20. 17.
  • the information processing method wherein the plurality of extraction models share a front-stage part in which the biometric image is input and intermediate feature amounts are extracted from the biometric image. 21. further estimating positions of predetermined keypoints in the iris image, which is the biometric image, using a keypoint estimation model that estimates positions of the keypoints in each of the first iris image, which is the first biometric image, and the second iris image, which is the second biometric image; performing image processing on each of the first iris image and the second iris image using the estimated positions of the key points to generate a rectangular iris image including a rectangular iris whose two sides correspond to the radial and circumferential directions of the iris; a pair of the first feature amount group and the second feature amount group corresponding to at least one of the image quality levels is a pair of feature maps in which the first feature amount group and the second feature amount group are arranged in two directions corresponding to the radial direction and the circumferential direction, calculating the inter-feature scores for each of the plurality of
  • the quality estimation means estimates the first quality score and the second quality score using a quality estimation model that, when a biometric image is input, outputs the quality score of the biometric image.
  • estimating the first quality score and the second quality score includes estimating the first quality score and the second quality score based on at least one of the first feature amount group and at least one of the second feature amount group, respectively.
  • the plurality of feature sets extracted from the extraction model include a larger number of feature sets as a whole as the input biometric image has a higher quality, the number of feature amounts constituting the feature amount group corresponding to a high image quality level is greater than the number of feature amounts constituting the feature amount group corresponding to a low image quality level; the paired quality score is a quality score indicating a lower quality between the first quality score and the second quality score, 17.
  • the selection of features to be used for matching is performed such that the lower the quality level of the pair quality score, the greater the ratio of the number of components selected from a feature group corresponding to a low image quality level to the number of components selected from a feature group corresponding to a high image quality level. 25.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理装置は、抽出部と、照合部とを備える。抽出部は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する。照合部は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う。

Description

情報処理装置、情報処理方法及び記録媒体
　本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
　例えば特許文献１に記載の個人認証方法では、登録時において、撮影した虹彩画像１について複数の周波数ｆ１～ｆｎを用いた周波数解析を行い、各周波数ｆ１～ｆｎ毎に特徴量が生成される。一方、認証時には、登録時に用いた複数の周波数ｆ１～ｆｎの中から、認証のための周波数解析に用いる周波数ｆ２～ｆｎが選択される。そして、撮影した被認証者の虹彩画像２について、選択した周波数ｆ２～ｆｎを用いた周波数解析を行い、各選択周波数ｆ２～ｆｎ毎に特徴量が生成される。生成された各特徴量を、同一周波数に係る登録時の特徴量とそれぞれ比較して、個人認証が行われる。
特開２００２－２５９９８１号公報
　この開示は、上述した先行技術文献に記載の技術を改良することを目的とする。
　本開示における情報処理装置は、
　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から前記複数の特徴量群を抽出する抽出手段と、
　前記第１生体画像及び前記第２生体画像の品質を示す品質スコアと前記複数の特徴量群とを用いて、前記第１生体画像と前記第２生体画像との照合を行う照合手段とを備える。
　本開示における情報処理方法は、
　１つ以上のコンピュータが、
　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出し、
　第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う。
　本開示における記録媒体は、
　１つ以上のコンピュータに、
　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出し、
　第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う
　ことを実行させるためのプロブラムが記録された記録媒体である。
本開示に係る第１の情報処理システムの構成例を示す図である。 本開示に係る第１の情報処理装置の構成例を示すブロック図である。 本開示に係る第１の情報処理装置の処理動作例を示すフローチャートである。 本開示に係る生体画像の一例を示す図である。 本開示に係る第１の情報処理装置の詳細な構成例を示すブロック図である。 本開示に係る第１の情報処理装置の詳細な処理動作例を示すフローチャートである。 本開示に係る第１の抽出部の構成例を示すブロック図である。 本開示に係る第２の抽出部の構成例を示すブロック図である。 本開示に係る第１の照合部の構成例を示すブロック図である。 本開示に係る第１の照合部の処理動作例を示すフローチャートである。 本開示に係る第１の情報処理装置の物理的な構成例を示すブロック図である。 本開示に係る第３の抽出部の構成例を示すブロック図である。 本開示に係る第２の情報処理装置の構成例を示すブロック図である。 本開示に係る第２の照合部の構成例を示すブロック図である。 本開示に係る第３の情報処理装置の構成例を示すブロック図である。 本開示に係る第３の情報処理装置の処理動作例を示すフローチャートである。 本開示に係る虹彩画像から矩形虹彩画像を生成するための画像処理の流れの一例を示す図である。 本開示に係る第３の照合部の構成例を示すブロック図である。 本開示に係る第３の照合部の処理動作例を示すフローチャートである。 本開示に係る第１算出部の構成例を示すブロック図である。 本開示に係る第１算出部の処理動作例を示すフローチャートである。 本開示に係る成分移動部が行う移動処理の一例を示す図である。 本開示に係る第４の情報処理装置の構成例を示すブロック図である。 本開示に係る第４の情報処理装置の処理動作例を示すフローチャートである。 本開示に係る第４の照合部の構成例を示すブロック図である。 本開示に係る第３の照合部の処理動作例を示すフローチャートである。 本開示に係る第４の情報処理装置の別の処理動作例を示すフローチャートである。 本開示に係る表示画面の第１の例を示す図である。 本開示に係る表示画面の第２の例を示す図である。 本開示に係る第５の情報処理装置の構成例を示すブロック図である。 本開示に係る第５の情報処理装置の処理動作例を示すフローチャートである。
　以下、本開示に係る実施形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、本開示において図面は、１以上の実施の形態に関連付けられる。
［実施形態１］
（概要）
　一般的に、生体認証に用いられる生体画像の品質（画質）は、当該生体画像の撮影環境や、撮影する際の対象の状態によって劣化することがある。生体画像の画質が悪いと、通常、生体画像の高画質レベルに対応する情報（例えば、生体画像の高周波成分に対応する特徴量）の質が低下する。その結果、品質が異なる生体画像を照合するために、それぞれから抽出した特徴量群をそのまま用いると、認証の精度が低下することがある。
　特許文献１に記載の技術では、上述のように、認証のための周波数解析に用いる周波数ｆ２～ｆｎが、登録で用いた複数の周波数ｆ１～ｆｎの中から選択される。特許文献１の記載によれば、登録時よりも低い解像度の撮像デバイスによって被認証者の虹彩画像を撮影した場合に、特徴量として無意味となる周波数に係る特徴量を排除することによって、認証精度の低下を抑えた個人認証が可能となる。
　しかしながら、認証のための周波数解析では、登録で用いた複数の周波数ｆ１～ｆｎに依存する周波数解析を行うように、登録のための周波数解析とは異なる処理を行う必要がある。登録及び認証とで異なる周波数解析を実現するため、装置、プログラム等を構築するコストの増大をまねくおそれがある。
　本開示の課題の１つは、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることにある。
（情報処理システムＳ１の構成例）
　情報処理システムＳ１は、例えば図１に示すように、撮影装置９０と、情報処理装置１００とを備える。
　撮影装置９０は、対象の生体画像を撮る。
（情報処理装置１００の構成例）
　情報処理装置１００は、図２に示すように、抽出部１３０と、照合部１４０とを備える。
　抽出部１３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する。
　照合部１４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う。
　この情報処理システムＳ１又は情報処理装置１００によれば、１つ又は複数の抽出モデルで構成される抽出モデル群は、照合される第１生体画像と第２生体画像とで共通のものを用いることができる。そのため、第１生体画像と第２生体画像とで異なる抽出モデル群を構築するよりも、抽出モデル群を容易に構築することができる。また、照合において、第１生体画像及び第２生体画像の品質スコア画質レベルが対応する特徴量群同士を、第１生体画像及び第２生体画像の品質スコアを用いて適宜比較することができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。
　従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
（情報処理装置１００の処理動作例）
　情報処理装置１００は、図３に示すような情報処理を実行する。
　抽出部１３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する（ステップＳ１３０）。
　照合部１４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う（ステップＳ１４０）。
　この情報処理システムＳ１又は情報処理装置１００によれば、１つ又は複数の抽出モデルで構成される抽出モデル群は、照合される第１生体画像と第２生体画像とで共通のものを用いることができる。そのため、第１生体画像と第２生体画像とで異なる抽出モデル群を構築するよりも、抽出モデル群を容易に構築することができる。また、照合において、画質レベルが対応する特徴量群同士を、第１生体画像及び第２生体画像の品質スコアを用いて適宜比較することができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。
　従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
（詳細例）
　撮影装置９０と情報処理装置１００とは、例えば、通信ネットワークＮＴを介して互いに接続される。これにより、撮影装置９０と情報処理装置１００とは、通信ネットワークＮＴを介して互いに情報を送受信する。通信ネットワークＮＴは、有線、無線又はこれらを組み合わせて構成されてもよい。
（生体画像について）
　図４は、生体画像の一例を示す図である。同図に示すように、生体画像は、例えば、対象の虹彩認証に用いられる虹彩画像である。虹彩画像は、対象の虹彩を含む画像である。対象は、例えば、人である。同図では、人の瞳孔及び虹彩に加えて、上下のまぶた及び白眼を含む虹彩画像の例を示している。
　第１生体画像と第２生体画像との各々は、対象の生体画像である。
　第１生体画像は、例えば、予め登録される生体画像（登録画像）である。
　第２生体画像は、例えば、対象の認証のために第１生体画像と照合される生体画像（認証画像）である。
　なお、生体画像は、虹彩画像に限られず、対象の生体認証に用いられる画像であればよい。生体認証は、顔認証、指紋認証、掌紋認証、静脈認証等であってもよい。顔認証、指紋認証、掌紋認証、静脈認証等のそれぞれで用いられる生体画像は、顔を含む顔画像、指紋を含む指紋画像、掌紋を含む掌紋画像、静脈を含む静脈画像等である。対象は、人に限らず、例えば犬、蛇等の動物であってもよい。
　また、虹彩画像は上述の通り虹彩を含む画像であればよく、図４に示す虹彩画像に限られない。虹彩画像は、例えば、虹彩と、瞳孔、上下のまぶた、白眼、まつ毛、眉毛等の少なくとも１つと、を含んでもよい。さらに例えば、虹彩画像は、両眼を含んでもよく、おでこ、眉間、こめかみ、鼻、頬、口、髪等の顔の一部、又は顔全体をさらに含んでもよい。
（撮影装置９０について）
　撮影装置９０は、例えば、対象の眼の近傍を被写体として撮影することで、人の生体画像を撮る。撮影装置９０は、例えば、カメラであってもよく、スマートフォン、タブレット端末等のカメラを備えた端末装置等であってもよい。
（情報処理装置１００について）
　情報処理装置１００は、例えば図５に示すように、登録情報記憶部１１０と、画像取得部１２０と、抽出部１３０と、照合部１４０と、認証部１５０と、表示部１６０とを備える。
　登録情報記憶部１１０は、第１生体画像を含む登録情報を予め記憶する。
　画像取得部１２０は、生体画像を取得する。
　抽出部１３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する。
　照合部１４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う。
　認証部１５０は、照合の結果に基づいて認証を行う。
　表示部１６０は、表示画面を表示する。
　情報処理装置１００は、例えば図６に示すような情報処理を実行する。
　画像取得部１２０は、生体画像を取得する（ステップＳ１２０）。
　抽出部１３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する（ステップＳ１３０）。
　照合部１４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う（ステップＳ１４０）。
　認証部１５０は、照合の結果に基づいて認証を行う（ステップＳ１５０）。
　表示部１６０は、表示画面を表示する（ステップＳ１６０）。
（画像取得部１２０について）
　画像取得部１２０は、例えば、撮影装置９０から生体画像を取得する。
　画像取得部１２０は、例えば登録の指示をユーザから受け付けた場合に、撮影装置９０から生体画像を取得すると、当該取得した生体画像を第１生体画像として登録情報記憶部１１０に記憶させてもよい。
　画像取得部１２０は、例えば認証の指示をユーザから受け付けた場合に、撮影装置９０から生体画像を第２生体画像として取得し、登録情報記憶部１１０に記憶された第１生体画像を取得してもよい。
　この場合に、登録情報は、ユーザの入力等に基づく対象を識別するための個人識別情報と、第１生体画像とを関連付ける情報であってもよい。そして、画像取得部１２０は、生体情報を第２生体画像として撮影装置９０から取得するとともに、個人識別情報を撮影装置９０から取得してもよい。画像取得部１２０は、当該取得した識別情報に関連付けられた第１生体画像を登録情報記憶部１１０から取得してもよい。
　なお、画像取得部１２０は、生体情報を第２生体画像として撮影装置９０から取得すると、登録情報記憶部１１０に記憶された第１生体画像を順次取得してもよい。この場合、例えば、ステップＳ１５０の認証が成功するまで、取得された第１生体情報の各々を用いてステップＳ１３０～Ｓ１５０が繰り返し実行されてもよい。
　また、画像取得部１２０は、撮影装置９０、登録情報記憶部１１０に限らず、他の装置（例えば、記憶装置、通信装置）から生体画像を取得してもよい。
（抽出部１３０について）
　抽出部１３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する。
（画質レベルと品質スコアについて）
　画質とは、画像の品質である。画質レベルは、例えば、画質を段階的に示す値、ラベル等である。品質スコアは、画質を示すスコア（例えば、値）である。
　一般的に、画像の品質（画質）に影響する要因には、例えば、撮影環境に主に依存するものとして、コントラスト、シャープネス、虹彩の鮮明さ、有効虹彩面積割合、虹彩直径画素数、瞳孔拡大率、グレースケール階調、フォーカスブラー、モーションブラー、上下のオフアングル、左右のオフアングル、解像度、ノイズ等がある。また例えば、撮影する際の対象の状態に主に依存するものとして、瞳孔真円度、画像端からのマージン、虹彩の楕円率、眼鏡の着用の有無、眼鏡反射による遮蔽、ハードコンタクトレンズの着用の有無、カラーコンタクトレンズの着用の有無、照明反射、オクルージョン、目の開閉度等がある。オクルージョンの例としては、髪の毛、まつ毛等が虹彩画像に含まれる虹彩領域の少なくとも一部を覆うこと等がある。
　画質は、例えば、これらの要因の１つ又は複数に基づいて評価され、画質レベル、或いは品質スコアとして表される。例えば、高画質な画像は、低画質な画像よりも、コントラストが大きく、画像全体或いは虹彩が鮮明であり、有効虹彩面積割合が大きく、虹彩直径画素数が大きく、瞳孔拡大率が大きく、階調情報が大きく、フォーカスブラー或いはモーションブラーが小さく、視線方向が撮影方向に沿っており、解像度が大きく（すなわち、画素数が多く）、ノイズが少ない。また例えば、高画質な画像は、低画質な画像よりも、瞳孔真円度が高く、画像端からのマージンが大きく、虹彩の楕円率が小さく、眼鏡を着用しておらず、眼鏡反射による遮蔽が少なく、ハードコンタクトレンズ或いはカラーコンタクトレンズを着用しておらず、照明反射が少なく、オクルージョンが少なく、目の開度が大きい。
（抽出モデルについて）
　抽出モデルは、例えば、生体画像を入力すると、当該生体画像の特徴を示す特徴量群を出力する機械学習モデルである。抽出モデルは、例えば、ニューラルネットワークで構成される。ニューラルネットワークは、例えば、畳み込み機構、注意機構等を含んでもよい。抽出モデルは、例えば、生体画像と当該生体画像の正解ラベルとを含む学習データを用いて、当該生体画像が正解ラベルに分類されるように学習を行うことで構築される。
（複数の特徴量群の例１について）
　抽出モデルは、複数であってもよい。複数の抽出モデルは、複数の画質レベルに対応しており、各々が特徴量群を出力してもよい。すなわち、複数の特徴量群は、１つの生体画像を入力として複数の抽出モデルのそれぞれを用いて抽出されてもよい。この場合、複数の特徴量群の各々は、１つの特徴ベクトル又は特徴マップで表されてもよい。
　特徴ベクトルは、Ｎ個の特徴量で構成されるＮ次元のベクトルである。Ｎは、１以上の整数である。
　特徴マップは、２次元のマップ状に特徴量群が配置された行列である。特徴マップは、例えば、Ｋ×Ｌ個の特徴量が配置されたＫ行Ｌ列の行列である。
　図７は、抽出部１３０の構成の第１例を示す図である。
　同図に示す抽出部１３０ａは、抽出部１３０の第１の例であって、第１抽出モデルＭ１と第２抽出モデルＭ２を含む。第１抽出モデルＭ１と第２抽出モデルＭ２を用いて、第１特徴量群ＦＶＧ１及び第２特徴量群ＦＶＧ２が抽出される。複数の抽出モデルＭ１，Ｍ２は、生体画像がそれぞれに入力され、それぞれが当該入力された生体画像から特徴量群ＦＶＧ１，ＦＶＧ２を抽出する抽出モデルである。
　なお、抽出モデルの数は、２に限られず、３以上であってもよい。また、画質レベル、画質レベルに対応する特徴量群（第１特徴量群及び第２特徴量群の各々）の数は、２に限られず、３以上であってもよい。
　第１抽出モデルＭ１と第２抽出モデルＭ２の各々は、例えば、画質レベルが異なる生体画像を用いて学習をした機械学習モデルである。
　例えば、第１抽出モデルＭ１は、高画質の生体画像を用いて学習をした抽出モデルである。第１抽出モデルＭ１は、生体画像を入力すると、高画質（高い画質レベル）に対応する第１特徴量群ＦＶＧ１を出力する。
　また例えば、第２抽出モデルＭ２は、低画質の生体画像を用いて学習をした抽出モデルである。第２抽出モデルＭ２は、生体画像を入力すると、低画質（低い画質レベル）に対応する第２特徴量群ＦＶＧ２を出力する。
　画質レベルが異なる生体画像を用いて学習をした抽出モデルＭ１，Ｍ２では、それらの特性に違いが生じることが多い。
　一般的に、例えば高画質の生体画像を用いて認証を行う場合、第１抽出モデルＭ１を用いた方が、第２抽出モデルＭ２を用いるよりも、認証精度が高くなる。また例えば低画質の生体画像を用いて認証を行う場合、第２抽出モデルＭ２を用いた方が、第１抽出モデルＭ１を用いるよりも、認証精度が高くなる。
　この例１において、ある画質レベルに対応する特徴量群は、当該画質レベルの生体画像を用いて認証を行った場合に、他の画質レベルに対応する特徴量群を用いて認証を行った場合よりも、認証精度が高くなる特徴量群とも言い得る。
　複数の特徴量群ＦＶＧ１，ＦＶＧ２は、上述の通り、第１生体画像と第２生体画像との各々から抽出される。
　第１生体画像を入力として抽出モデルＭ１から特徴量群ＦＶＧ１ａが抽出されてもよい。特徴量群ＦＶＧ１ａは、第１生体画像から抽出された高画質に対応する特徴量群である。また、第１生体画像を入力として抽出モデルＭ２から特徴量群ＦＶＧ２ａが抽出されてもよい。特徴量群ＦＶＧ２ａは、第１生体画像から抽出された低画質に対応する特徴量群である。
　すなわち、第１生体画像から抽出される複数の特徴量群ＦＶＧ１ａ，ＦＶＧ２ａは、第１生体画像を入力として複数の抽出モデルＭ１，Ｍ２を用いて抽出されてもよい。この場合の複数の第１特徴量群ＦＶＧ１ａ，ＦＶＧ２ａは、第１生体画像における複数の画質レベルに対応する特徴量群である。
　第２生体画像を入力として抽出モデルＭ１から特徴量群ＦＶＧ１ｂが抽出されてもよい。特徴量群ＦＶＧ１ｂは、第２生体画像から抽出された高画質に対応する特徴量群である。また、第２生体画像を入力として抽出モデルＭ２から特徴量群ＦＶＧ２ｂが抽出されてもよい。特徴量群ＦＶＧ２ｂは、第２生体画像から抽出された低画質に対応する特徴量群である。
　すなわち、第２生体画像から抽出される複数の特徴量群ＦＶＧ１ｂ，ＦＶＧ２ｂは、第２生体画像を入力として複数の抽出モデルＭ１，Ｍ２を用いて抽出されてもよい。この場合の複数の第２特徴量群ＦＶＧ１ｂ，ＦＶＧ２ｂは、第２生体画像における複数の画質レベルに対応する特徴量群である。
（複数の特徴量群の例２について）
　抽出モデルは、１つであってもよい。複数の特徴量群は、１つの生体画像を入力として１つの抽出モデルを用いて抽出されてもよい。この場合、複数の特徴量群は、１つの特徴ベクトル又は１つの特徴マップで表されてもよい。
　図８は、抽出部１３０の構成の第２例を示す図である。
　同図に示す抽出部１３０ｂは、抽出部１３０の第２の例であって、抽出モデルＭ３を含む。抽出モデルＭ３を用いて、１つの特徴量群ＦＶＧＡが抽出される。特徴量群ＦＶＧＡは、１つ以上の特徴ベクトル、１つ以上の特徴マップ、或いはこれらの両方を用いて表されてもよい。特徴量群ＦＶＧＡは、第３特徴量群ＦＶＧ３、第４特徴量群ＦＶＧ４、及び第５特徴量群ＦＶＧ５を含む。１つの抽出モデルＭ３は、生体画像が入力され、当該入力された生体画像から複数の特徴量群ＦＶＧ３～ＦＶＧ５を抽出する例である。
　なお、画質レベル、画質レベルに対応する特徴量群（第１特徴量群及び第２特徴量群の各々）の数は、３に限られず、２であってもよく、４以上であってもよい。
　一般的に生体画像は、複数の画質レベル（例えば、画像の異なる周波数成分）に対応する特徴を含む。そのため、生体画像を入力して抽出モデルＭ３から抽出される特徴量群ＦＶＧＡは、第３特徴量群ＦＶＧ３、第４特徴量群ＦＶＧ４、及び第５特徴量群ＦＶＧ５を含む。第３特徴量群ＦＶＧ３は、高画質（高い画質レベル）に対応する特徴量群である。第４特徴量群ＦＶＧ４は、中画質（中程度の画質レベル）に対応する特徴量群である。第５特徴量群ＦＶＧ５は、低画質（低い画質レベル）に対応する特徴量群である。
　この例２において、ある画質レベルに対応する特徴量群は、生体画像に含まれる当該画質レベルの情報に由来する特徴量群とも言い得る。
　複数の特徴量群ＦＶＧ３～ＦＶＧ５は、上述の通り、第１生体画像と第２生体画像との各々から抽出される。
　予め定められた複数の画質レベルに対応する複数の特徴量群ＦＶＧ３ａ～ＦＶＧ５ａを含む第１特徴量群ＦＶＧＡａが、第１生体画像から抽出モデルＭ３を用いて抽出されてもよい。予め定められた複数の画質レベルに対応する複数の特徴量群ＦＶＧ３ｂ～ＦＶＧ５ｂを含む第２特徴量群ＦＶＧＡｂが、第２生体画像から抽出モデルを用いて抽出されてもよい。
　抽出モデルＭ３を用いて抽出される、第３特徴量群ＦＶＧ３、第４特徴量群ＦＶＧ４、及び第５特徴量群ＦＶＧ５を含む特徴量群ＦＶＧＡの詳細例については、他の実施形態で説明する。
（照合部１４０について）
　照合部１４０は、例えば、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行って、照合スコアを算出する。詳細には例えば、照合部１４０は、同じ画質レベルに対応する第１特徴量群及び第２特徴量群を照合した特徴間スコアを統合して、第１生体画像と第２生体画像とを照合した結果である照合スコアを算出する。
　照合部１４０は、例えば図９に示すように、特徴間スコア算出部１４１と、重み推定部１４２と、照合スコア算出部１４３とを含んでもよい。
　特徴間スコア算出部１４１は、複数の画質レベル毎に、同じ画質レベルに対応する第１特徴量群及び第２特徴量群の特徴間スコアを算出する。
　重み推定部１４２は、複数の画質レベル毎の特徴間スコアに対する重みを推定する。
　照合スコア算出部１４３は、推定された重みを用いて複数の画質レベル毎の特徴間スコアを統合した照合スコアを算出する。
　照合部１４０は、例えば図１０に示すような照合処理（ステップＳ１４０）を実行する。
　特徴間スコア算出部１４１は、複数の画質レベル毎に、同じ画質レベルに対応する第１特徴量群及び第２特徴量群の特徴間スコアを算出する（ステップＳ１４１）。
　重み推定部１４２は、複数の画質レベル毎の特徴間スコアに対する重みを推定する（ステップＳ１４２）。
　照合スコア算出部１４３は、推定された重みを用いて複数の画質レベル毎の特徴間スコアを統合した照合スコアを算出する（ステップＳ１４３）。
（特徴間スコア算出部１４１について）
　特徴間スコア算出部１４１は、上述の通り、複数の画質レベル毎に、同じ画質レベルに対応する第１特徴量群及び第２特徴量群の特徴間スコアを算出する。これにより、特徴間スコア算出部１４１は、複数の画質レベル毎の特徴間スコアを算出する。
　特徴間スコアは、例えば、第１特徴量群及び第２特徴量群の類似度を示すスコアである。詳細には例えば、第１特徴量群及び第２特徴量群の各々が特徴ベクトルである場合、特徴間スコアは、第１特徴量群及び第２特徴量群のＬ２ノルム、コサイン類似度等であるが、これらに限られない。
　第１特徴量群及び第２特徴量群の各々が特徴マップである場合の特徴間スコアの算出方法については、後述する。
（重み推定部１４２について）
　重み推定部１４２は、例えば、第１生体画像及び第２生体画像を用いて、複数の画質レベル毎の特徴間スコアに対する重みを推定する。重みは、例えば、ベクトルで表されてもよい。また、重みは、ベクトルの長さ（大きさ）が１になるように正規化されてもよい。
　重み推定部１４２は、例えば図９に示すように、品質推定部１４２ａと、重み算出部１４２ｂとを含んでもよい。
　品質推定部１４２ａは、第１生体画像の品質スコアである第１品質スコアと、第２生体画像の品質スコアである第２品質スコアとを推定する。
　重み算出部１４２ｂは、第１品質スコアと第２品質スコアとに基づいて、複数の画質レベル毎の特徴間スコアに対する重みを算出する。
　重み推定部１４２は、例えば図１０に示すような重み推定処理（ステップＳ１４２）を実行する。
　品質推定部１４２ａは、第１生体画像の前記品質スコアである第１品質スコアと、第２生体画像の品質スコアである第２品質スコアとを推定する（ステップＳ１４２ａ）。
　重み算出部１４２ｂは、第１品質スコアと第２品質スコアとに基づいて、複数の画質レベル毎の特徴間スコアに対する重みを算出する（ステップＳ１４２ｂ）。
（品質推定部１４２ａについて）
　品質推定部１４２ａは、例えば、生体画像を入力すると当該生体画像の品質スコアを出力する品質推定モデルを用いて、第１品質スコアと第２品質スコアとを推定してもよい。
　品質推定モデルは、例えば、生体画像の品質スコアを推定する機械学習モデルである。品質推定モデルは、例えば、ニューラルネットワークで構成される。品質スコアは、スカラで表されてもよく、ベクトルで表されてもよい。
　第１品質スコアは、例えば、第１生体画像を入力すると品質推定モデルから出力される。第２品質スコアは、例えば、第２生体画像を入力すると品質推定モデルから出力される。
　なお、品質スコアは、後述するキーポイントの位置として検出される虹彩中心を用いて、虹彩円の半径を品質スコアに用いてもよい。
（重み算出部１４２ｂについて）
　重み算出部１４２ｂは、例えば、第１品質スコア及び第２品質スコアを入力すると、複数の画質レベル毎の特徴間スコアに対する重みを出力する重み推定モデルを用いて、重みを算出してもよい。
　重み推定モデルは、例えば、ニューラルネットで構成される機械学習モデルである。画質レベルが異なる生体画像を用いて、特徴間スコアが最も大きくなるように学習をしてもよい。
　なお、重み算出部１４２ｂが重みを算出する方法は、重み推定モデルを用いる方法に限られない。
　例えば、重み算出部１４２ｂは、第１品質スコア及び第２品質スコアに対する重みを規定するテーブル、関係式等の算出ルールを予め保持し、当該テーブルと第１品質スコア及び第２品質スコアとを用いて、複数の画質レベル毎の特徴間スコアに対する重みを算出してもよい。
　例えば、予め定められた画質レベルが高品質と低品質の２つであるとする。この場合、高品質と低品質のそれぞれに対応する重みｗ１と重みｗ２とは、照合される第１生体画像及び第２生体画像の品質スコアに応じて算出されてもよい。
　詳細には例えば、第１生体画像及び第２生体画像の両方が、高品質な画像である場合には、高品質な画質レベルの特徴間スコアに対応する重みｗ１を、低品質な画質レベルの特徴間スコアに対応する重みｗ２よりも大きくしてもよい。第１生体画像及び第２生体画像の両方が高品質な画像である場合とは、例えば、第１品質スコアと第２品質スコアの両方が予め定められた品質閾値を超える場合である。
　また例えば、第１生体画像及び第２生体画像の少なくとも一方が、低品質な画像である場合には、低品質な画質レベルの特徴間スコアに対応する重みｗ２を、高品質な画質レベルの特徴間スコアに対応する重みｗ１よりも大きくしてもよい。
　これにより、第１生体画像及び第２生体画像の両方が高品質な画像である場合、第１生体画像及び第２生体画像の両方が、高品質な画質レベルに対応する情報を多く含んでいる。そのため、第１生体画像及び第２生体画像のそれぞれから抽出された高品質な画質レベルに対応する特徴量群は、精度の良い情報である。このような場合に、高品質な画質レベルに対応する特徴量群の特徴間スコアの重みを大きくすることで、精度の良い認証を行うことができる。
　これに対して、第１生体画像及び第２生体画像の少なくとも一方の生体画像が低品質な画像である場合、当該少なくとも一方の生体画像は、高品質な画質レベルに対応する情報をあまり含んでいない。そのため、当該少なくとも一方の生体画像から抽出された高品質な画質レベルに対応する特徴量群は、精度の悪い情報である。このような場合に、高品質な画質レベルに対応する特徴量群の特徴間スコアの重みを大きくすると、認証の精度が低下することがある。それよりも、低品質な画質レベルに対応する特徴量群の特徴間スコアの重みを大きくすることで、精度の良い認証を行うことができる。
　従って、上述のように重みｗ１と重みｗ２を算出することで、第１生体画像及び第２生体画像の少なくとも一方の生体画像が低品質な場合であっても、認証の精度が低下することを抑えることができる。
　より詳細には例えば、重み算出部１４２ｂは、例えば、第１品質スコア及び第２品質スコアのうち、低い品質を示す品質スコアを特定し、当該特定した品質スコアに基づいて、重みを算出してもよい。詳細には例えば、第１品質スコアをＱ１、第２品質スコアをＱ２、低い品質を示す品質スコアをＱとすると、Ｑ＝ｍｉｎ（Ｑ１，Ｑ２）で求められる。品質スコアの最大値として想定される値にｂが定められ、品質スコアの最小値として想定される値にａが定められとする。また、ｘ＝ｍａｘ（ｍｉｎ（ｘ，ｂ），ａ）として、ｘ＝ｂの場合にｗ１＝１、ｘ＝ａの場合にｗ１＝ｃ（ここで、ｃは予め定められる値であって、０＜ｃ＜１）となる直線を表す関数ｗ１＝ｆ（ｘ）を用いて、重みｗ１が算出されてもよい。そして、他の重みｗ２は、例えば、ｗ２＝１－ｗ１を用いて算出されてもよい。
　なお、複数の抽出モデル及び重み推定モデルは、機械学習モデルを用いて構成される場合、独立に学習してもよく、連結して同時（Ｅｎｄ－ｔｏ－Ｅｎｄ）に学習してもよい。連結して学習する場合、例えば、画質レベルが異なる生体画像を、当該画質レベルに対応する複数の抽出モデルのそれぞれに入力し、これによって抽出された複数の特徴量群のそれぞれに対する認証損失が算出されてもよい。そして、認証損失の重み付け和が最小になるように複数の抽出モデルに含まれるパラメータが更新されてもよい。
（照合スコア算出部１４３について）
　照合スコア算出部１４３は、例えば、複数の画質レベルの各々について同じ画質レベルに対応する特徴間スコアと重みとを乗じた値の総和を、照合スコアとして算出してもよい。
（認証部１５０について）
　認証部１５０は、例えば、照合スコアを用いて、対象の認証可否を判定する。詳細には例えば、認証部１５０は、照合スコアと予め定めされた認証閾値とを比較し、比較結果に基づいて認証を行う。照合スコアが認証閾値以上である場合に、認証部１５０は、対象が本人である（認証成功）と判断してもよい。照合スコアが認証閾値未満である場合に、認証部１５０は、対象が本人ではない（認証失敗）と判断してもよい。
（表示部１６０について）
　表示部１６０は、種々の情報を含む表示画面を表示する。表示画面は、例えば、第１生体画像、第２生体画像、照合の結果、認証の結果等の少なくとも１つを含んでもよいが、これらに限られない。表示画面の他の例は、他の実施形態で説明する。
（情報処理装置１００の物理的な構成例）
　情報処理装置１００は、物理的には例えば図１１に示すように、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、通信インタフェース１０５０、入力インタフェース１０６０、及び、出力インタフェース１０７０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０及び出力インタフェース１０７０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０等を互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等で実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等で実現される補助記憶装置である。ストレージデバイス１０４０は、情報処理装置１００の機能を実現するためのプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
　ネットワークインタフェース１０５０は、情報処理装置１００を通信ネットワークＮＴに接続するためのインタフェースである。なお、通信ネットワークＮＴを介して、図示しない他の装置と互いに情報が送受信されてもよい。
　入力インタフェース１０６０は、ユーザが情報を入力するためのインタフェースであり、例えばタッチパネル、キーボード、マウス等から構成される。
　出力インタフェース１０７０は、ユーザに情報を提示するためのインタフェースであり、例えば液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等から構成される。出力インタフェース１０７０は、スピーカも含んでもよい。
　なお、情報処理装置１００が物理的に１つの装置（例えば、コンピュータ等）から構成される例を説明したが、情報処理装置１００は、例えば通信ネットワークＮＴを介して互いに情報を送受信する複数の装置（例えば、コンピュータ等）から構成されてもよい。この場合、当該複数の装置が協働して情報処理を実行してもよい。
（作用・効果）
　以上、本実施形態によれば、情報処理装置１００は、抽出部１３０と、照合部１４０とを備える。抽出部１３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する。照合部１４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う。
　これによれば、１つ又は複数の抽出モデルで構成される抽出モデル群は、照合される第１生体画像と第２生体画像とで共通のものを用いることができる。そのため、第１生体画像と第２生体画像とで異なる抽出モデル群を構築するよりも、抽出モデル群を容易に構築することができる。また、照合において、画質レベルが対応する特徴量群同士を、第１生体画像及び第２生体画像の品質スコアを用いて適宜比較することができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　本実施形態によれば、抽出モデルは複数である。複数の抽出モデルは、複数の画質レベルに対応しており、各々が特徴量群を出力する。第１生体画像から抽出される複数の特徴量群は、第１生体画像を入力として複数の抽出モデルを用いて抽出される。第２生体画像とから抽出される複数の特徴量群は、第２生体画像を入力として複数の抽出モデルを用いて抽出される。
　照合部１４０は、特徴間スコア算出部１４１と、重み推定部１４２と、照合スコア算出部１４３とを含む。特徴間スコア算出部１４１は、複数の画質レベル毎に、同じ画質レベルに対応する第１特徴量群及び第２特徴量群の特徴間スコアを算出する。重み推定部１４２は、複数の画質レベル毎の特徴間スコアに対する重みを推定する。照合スコア算出部１４３は、推定された重みを用いて複数の画質レベル毎の特徴間スコアを統合した照合スコアを算出する。
　これによれば、複数の画質レベル毎の特徴間スコアに重み付けをして統合するため、第１生体画像と第２生体画像との類似度を精度良く表す照合スコアを容易に得ることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　本実施形態によれば、重み推定部１４２は、品質推定部１４２ａと、重み算出部１４２ｂとを含む。品質推定部１４２ａは、第１生体画像の品質スコアである第１品質スコアと、第２生体画像の品質スコアである第２品質スコアとを推定する。重み算出部１４２ｂは、第１品質スコアと第２品質スコアとに基づいて、複数の画質レベル毎の特徴間スコアに対する重みを算出する。
　これによれば、第１品質スコアと第２品質スコアとに基づく重み付けをして、複数の画質レベル毎の特徴間スコアを統合するため、第１生体画像と第２生体画像との類似度を精度良く表す照合スコアを容易に得ることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　本実施形態によれば、複数の抽出モデルは、生体画像がそれぞれに入力され、それぞれが当該入力された生体画像から複数の特徴量群を抽出する抽出モデルである。
　これによれば、複数の抽出モデルで構成される抽出モデル群は、照合される第１生体画像と第２生体画像とで共通のものを用いることができる。そのため、第１生体画像と第２生体画像とで異なる抽出モデル群を構築するよりも、抽出モデル群を容易に構築することができる。また、照合において、画質レベルが対応する特徴量群同士を、第１生体画像及び第２生体画像の品質スコアを用いて適宜比較することができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　本実施形態によれば、品質推定部１４２ａは、生体画像を入力すると当該生体画像の品質スコアを出力する品質推定モデルを用いて、第１品質スコアと第２品質スコアとを推定する。
　これによれば、第１品質スコアと第２品質スコアとに基づく重み付けをして、画質レベルが対応する特徴量群同士を適宜比較した結果を統合することができる。そのため、第１生体画像と第２生体画像との類似度を精度良く表す照合スコアを容易に得ることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　［実施形態２］
　実施形態１では、図７を参照して、１つの生体画像を入力として複数の特徴量群をそれぞれが抽出（出力）する複数の抽出モデルの一構成例を説明した。本実施形態では、このような複数の抽出モデルの他の構成例について説明する。なお、他の実施形態と重複する説明は、説明を簡潔にするため、適宜省略する。
（複数の特徴量群の例３について）
　抽出モデルは、複数の特徴量群の例１と同様に、複数であってもよい。複数の抽出モデルは、複数の画質レベルに対応しており、各々が特徴量群を出力してもよい。すなわち、複数の特徴量群は、１つの生体画像を入力として複数の抽出モデルのそれぞれを用いて抽出されてもよい。この場合、複数の特徴量群の各々は、１つの特徴ベクトル又は特徴マップで表されてもよい。
　複数の特徴量群の例とは異なり、複数の抽出モデルは、生体画像が入力され、当該生体画像から中間特徴量を抽出する前段部分を共用してもよい。
　図１２は、抽出部１３０の構成の第３例を示す図である。
　同図に示す抽出部１３０ｃは、抽出部１３０の第３の例であって、第４抽出モデルＭ４と第５抽出モデルＭ５を含む。第４抽出モデルＭ４と第５抽出モデルＭ５を用いて、第６特徴量群ＦＶＧ６及び第７特徴量群ＦＶＧ７が抽出される。
　複数の抽出モデルＭ４，Ｍ５は、生体画像が入力され当該生体画像から中間特徴量を抽出する前段部分ＭＦを共用する。複数の抽出モデルＭ４，Ｍ５は、それぞれ、個別の後段部分ＭＲ４，ＭＲ５を含む。すなわち、第４抽出モデルＭ４は、前段部分ＭＦと、後段部分ＭＲ４とから構成される。第５抽出モデルＭ５は、前段部分ＭＦと、後段部分ＭＲ５とから構成される。
　前段部分ＭＦは、生体画像が入力されると、中間特徴量を出力してもよい。後段部分ＭＲ４は、前段部分ＭＦから出力された中間特徴量が入力されると、第６特徴量群ＦＶＧ６を出力してもよい。後段部分ＭＲ５は、前段部分ＭＦから出力された中間特徴量が入力されると、第７特徴量群ＦＶＧ７を出力してもよい。
　なお、抽出モデルの数は、２に限られず、３以上であってもよい。また、画質レベル、画質レベルに対応する特徴量群（第１特徴量群及び第２特徴量群の各々）の数は、２に限られず、３以上であってもよい。
　第４抽出モデルＭ４と第５抽出モデルＭ５の各々は、例えば、画質レベルが異なる生体画像を用いて学習をした機械学習モデルである。
　例えば、第４抽出モデルＭ４は、高画質の生体画像を用いて学習をした抽出モデルである。第４抽出モデルＭ４は、生体画像を入力すると、高画質（高い画質レベル）に対応する第６特徴量群ＦＶＧ６を出力する。
　また例えば、第５抽出モデルＭ５は、低画質の生体画像を用いて学習をした抽出モデルである。第５抽出モデルＭ５は、生体画像を入力すると、低画質（低い画質レベル）に対応する第７特徴量群ＦＶＧ７を出力する。
　複数の特徴量群ＦＶＧ６，ＦＶＧ７は、上述の通り、第１生体画像と第２生体画像との各々から抽出される。
　第１生体画像を入力として第４抽出モデルＭ４から特徴量群ＦＶＧ６ａが抽出されてもよい。特徴量群ＦＶＧ６ａは、第１生体画像から抽出された高画質に対応する特徴量群である。また、第１生体画像を入力として第５抽出モデルＭ５から特徴量群ＦＶＧ７ａが抽出されてもよい。特徴量群ＦＶＧ７ａは、第１生体画像から抽出された低画質に対応する特徴量群である。
　すなわち、第１生体画像から抽出される複数の特徴量群ＦＶＧ６ａ，ＦＶＧ７ａは、第１生体画像を入力として複数の抽出モデルＭ４，Ｍ５を用いて抽出されてもよい。この場合の複数の第１特徴量群ＦＶＧ６ａ，ＦＶＧ７ａは、複数の画質レベルに対応する特徴量群である。
　第２生体画像を入力として第４抽出モデルＭ４から特徴量群ＦＶＧ６ｂが抽出されてもよい。特徴量群ＦＶＧ６ｂは、第２生体画像から抽出された高画質に対応する特徴量群である。また、第２生体画像を入力として第５抽出モデルＭ５から特徴量群ＦＶＧ７ｂが抽出されてもよい。特徴量群ＦＶＧ７ｂは、第２生体画像から抽出された低画質に対応する特徴量群である。
　すなわち、第２生体画像から抽出される複数の特徴量群ＦＶＧ６ｂ，ＦＶＧ７ｂは、第２生体画像を入力として複数の抽出モデルＭ４，Ｍ５を用いて抽出されてもよい。この場合の複数の特徴量群ＦＶＧ６ｂ，ＦＶＧ７ｂは、複数の画質レベルに対応する特徴量群のである。
（作用・効果）
　以上、本実施形態によれば、複数の抽出モデルは、生体画像が入力され、当該生体画像から中間特徴量を抽出する前段部分を共用する。
　これによれば、複数の抽出モデルで構成される抽出モデル群は、照合される第１生体画像と第２生体画像とで共用される部分を含む。そのため、第１生体画像と第２生体画像とで異なる抽出モデル群を構築するよりも、抽出モデル群を容易に構築することができる。また、照合において、画質レベルが対応する特徴量群同士を、第１生体画像及び第２生体画像の品質スコアを用いて適宜比較することができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　また、複数の抽出モデルが前段部分を共用するので、共用しない場合よりも、特徴量群を抽出するための計算量を減らすことができる。従って、品質が異なる生体画像を用いた認証の精度低下を、より一層容易に抑えることが可能になる。
　［実施形態３］
　実施形態１では、品質推定部１４２ａが生体画像を用いて品質スコアを推定する例について説明した。本実施形態では、品質スコアを推定するために特徴量群を用いる例について説明する。なお、他の実施形態と重複する説明は、説明を簡潔にするため、適宜省略する。
　情報処理装置２００は、例えば図１３に示すように、照合部１４０の代わりに照合部２４０を備える。この点を除いて、情報処理装置２００は、上述の情報処理装置１００と同様に構成されてもよい。照合部２４０は、図１４に示すように、重み推定部１４２の代わりに重み推定部２４２を含む。重み推定部２４２は、品質推定部１４２ａの代わりに品質推定部２４２ａを含む。この点を除いて、照合部２４０は、上述の照合部１４０と同様に構成されてもよい。なお、情報処理装置２００は、例えば上述の情報処理システムＳ１における情報処理装置１００の代わりに用いられてもよい。
　品質推定部２４２ａは、少なくとも１つの第１特徴量群と、少なくとも１つの第２特徴量群と、のそれぞれに基づいて、第１品質スコアと第２品質スコアとを推定する。
　一般的に、生体画像から抽出される特徴量群の大きさは、当該生体画像の品質が高い程、大きくなる。特徴量群の大きさは、例えば、特徴量群が特徴ベクトルで表される場合、当該特徴ベクトルのＬ２ノルムである。なお、特徴量群の大きさは、この例に限られない。
　そこで、例えば、特徴量群ＦＶＧ１及びＦＶＧ２が生体画像から抽出されたとする。この場合、品質推定部２４２ａは、特徴量群ＦＶＧ１のＬ２ノルムを、高品質レベルに対応する特徴量群ＦＶＧ１から得られる当該生体画像の品質スコアＱ１として算出してもよい。また、品質推定部２４２ａは、特徴量群ＦＶＧ２のＬ２ノルムを、低品質レベルに対応する特徴量群ＦＶＧ２から得られる当該生体画像の品質スコアＱ２として算出してもよい。
　そして、品質推定部２４２ａは、例えば、予め定められた関係式を用いて、当該生体画像の品質スコアＱを算出してもよい。この関係式は、生体画像の品質スコアＱと、品質スコアＱ１及び品質スコアＱ２の関係を規定する式である。この関係式は、例えば、Ｑ＝Ｑ１／（Ｑ１＋Ｑ２）であってもよい。
　詳細には例えば、第１生体画像について、上述のような第１特徴量群ＦＶＧ１ａ，ＦＶＧ２ａが抽出されたとする。この場合、第１特徴量群ＦＶＧ１ａのＬ２ノルムをＱ１ａ、第１特徴量群ＦＶＧ２ａのＬ２ノルムをＱ２ａとすると、第１生体画像の品質スコアＱａは例えば、Ｑ１ａ／（Ｑ１ａ＋Ｑ２ａ）を用いて得られる値であってもよい。第２生体画像について、上述のような第２特徴量群ＦＶＧ１ｂ，ＦＶＧ２ｂが抽出されたとする。この場合、第２特徴量群ＦＶＧ１ｂのＬ２ノルムをＱ１ｂ、第２特徴量群ＦＶＧ２ｂのＬ２ノルムをＱ２ｂとすると、第２生体画像の品質スコアＱｂは例えば、Ｑ１ｂ／（Ｑ１ｂ＋Ｑ２ｂ）を用いて得られる値であってもよい。
　なお、高品質レベルに対応する特徴量群ＦＶＧ１から得られる生体画像の品質スコアＱ１が、当該生体画像の品質スコアＱとして用いられてもよい。詳細には例えば、上述の例で、第１品質スコアはＱ１ａであってもよく、第２品質スコアはＱ１ｂであってもよい。この場合、当該生体画像の品質スコアＱ２の算出が不要になる。
（作用・効果）
　以上、本実施形態によれば、品質推定部２４２ａは、少なくとも１つの第１特徴量群と、少なくとも１つの第２特徴量群と、のそれぞれに基づいて、第１品質スコアと第２品質スコアとを推定する。
　これによれば、第１品質スコアと第２品質スコアとに基づく重み付けをして、画質レベルが対応する特徴量群同士を適宜比較した結果を統合することができる。そのため、第１生体画像と第２生体画像との類似度を精度良く表す照合スコアを容易に得ることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　また、第１特徴量群及び第２特徴量群は、それぞれ、第１生体画像及び第２生体画像よりもデータ量が小さいことが多い。そのため、上述のような品質推定モデルを用いるよりも、第１品質スコア及び第２品質スコアを推定するための計算量を減らすことができる。従って、品質が異なる生体画像を用いた認証の精度低下を、より一層容易に抑えることが可能になる。
　［実施形態４］
　本実施形態では、特徴マップを推定する方法の例について説明する。また、特徴マップのペアに関する特徴間スコアを算出する方法の例についても併せて説明する。なお、他の実施形態と重複する説明は、説明を簡潔にするため、適宜省略する。
　本実施形態は、虹彩画像を用いる虹彩認証に好適である。そのため、本実施形態では、上述の生体画像、第１生体画像、第２生体画像のそれぞれが虹彩を含む画像である例を用いて説明する。また、本実施形態の説明では、虹彩を含む生体画像、第１生体画像及び第２生体画像のそれぞれに対応する画像を、虹彩画像、第１虹彩画像及び第２虹彩画像とも表記する。
（情報処理装置３００について）
　情報処理装置３００は、例えば図１５に示すように、上述の登録情報記憶部１１０、画像取得部１２０、認証部１５０及び表示部１６０と、抽出部３３０と、照合部３４０とを備える。情報処理装置３００は、さらに、キーポイント推定部３７０と、画像規格化部３８０とを備える。なお、情報処理装置３００は、例えば上述の情報処理システムＳ１における情報処理装置１００の代わりに用いられてもよい。
　キーポイント推定部３７０は、生体画像である虹彩画像における予め定められたキーポイントの位置を推定するキーポイント推定モデルを用いて、第１生体画像である第１虹彩画像と第２生体画像である第２虹彩画像との各々におけるキーポイントの位置を推定する。
　画像規格化部３８０は、推定されたキーポイントの位置を用いて、第１虹彩画像と第２虹彩画像との各々に含まれる虹彩領域に対して画像処理を行って、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む矩形虹彩画像を生成する。
　抽出部３３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を矩形虹彩画像から抽出するための１つ又は複数の抽出モデルを用いて、第１虹彩画像と第２虹彩画像との各々から複数の特徴量群を抽出する。
　照合部３４０は、第１虹彩画像及び第２虹彩画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１虹彩画像と第２虹彩画像との照合を行う。
　少なくとも１つの画質レベルに対応する第１特徴量群と第２特徴量群のペアは、径方向と周方向とに対応する２方向に第１特徴量群と第２特徴量群が配列された特徴マップのペアである。
　情報処理装置３００は、例えば図１６に示すような情報処理を実行する。
　上述のステップＳ１２０が実行される。
　キーポイント推定部３７０は、生体画像である虹彩画像における予め定められたキーポイントの位置を推定するキーポイント推定モデルを用いて、第１生体画像である第１虹彩画像と第２生体画像である第２虹彩画像との各々におけるキーポイントの位置を推定する（ステップＳ３７０）。
　画像規格化３８０は、推定されたキーポイントの位置を用いて、第１虹彩画像と第２虹彩画像との各々に画像処理を行って、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む矩形虹彩画像を生成する（ステップＳ３８０）。
　抽出部３３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を矩形虹彩画像から抽出するための１つ又は複数の抽出モデルを用いて、第１虹彩画像と第２虹彩画像との各々から複数の特徴量群を抽出する（ステップＳ３３０）。
　照合部３４０は、第１虹彩画像及び第２虹彩画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１虹彩画像と第２虹彩画像との照合を行う（ステップＳ３４０）。
　上述のステップＳ１５０～Ｓ１６０が実行される。
（キーポイント推定部３７０について）
　キーポイント推定部３７０は、上述のように、キーポイント推定モデルを用いて、第１生体画像である第１虹彩画像と第２生体画像である第２虹彩画像との各々におけるキーポイントの位置を推定する。
　キーポイントは、虹彩に関して予め定められた箇所であり、一般的にランドマーク、特徴点等とも称される。キーポイントは、１つであってもよく、複数であってもよい。キーポイントは、例えば、虹彩中心、虹彩円（内側及び外側の円周）、瞳孔中心、瞳孔円、眼の左右端部、眼の上下端部、上まぶた、下まぶた、上まぶた及び下まぶたにおける予め定められた箇所等の少なくとも１つを含む。虹彩の内側の円周は、虹彩と瞳孔との境界に相当する。虹彩の外側の円周は、虹彩と白眼との境界に相当する。なお、キーポイントは、ここで例示したものに限られない。
　キーポイントの位置は、虹彩の形状に関するパラメータである。
　キーポイント推定モデルは、例えば、虹彩画像を入力すると、当該虹彩画像におけるキーポイントの位置を出力する機械学習モデルである。キーポイント推定モデルは、例えば、ニューラルネットワークで構成される。ニューラルネットワークは、例えば、畳み込み機構、注意機構等を含んでもよい。キーポイント推定モデルは、例えば、虹彩画像と当該虹彩画像に関するキーポイントの位置を含む正解データとを含む学習データを用いて、当該虹彩画像におけるキーポイントの位置が正しく推定されるように学習を行うことで構築される。
　例えば、キーポイント推定部３７０は、第１虹彩画像をキーポイント推定モデルに入力して、第１虹彩画像におけるキーポイントの位置を取得する。また例えば、キーポイント推定部３７０は、第２虹彩画像をキーポイント推定モデルに入力して、第２虹彩画像におけるキーポイントの位置を取得する。
（画像規格化部３８０について）
　画像規格化部３８０は、推定されたキーポイントの位置を用いて、第１虹彩画像と第２虹彩画像との各々に対して画像処理を行う。これによって、画像生成部３８０は、規格化画像を生成する。
　この画像処理は、例えば、虹彩画像に含まれる虹彩領域を用いて、予め定められた規格に従った画像（規格化画像）を生成する処理である。この規格は、例えば、虹彩の方向及び形状の少なくとも一方について定められてもよい。
　虹彩の形状に関する規格は、例えば、２辺が虹彩の径方向と周方向とに対応する矩形とすることであってもよい。これにより、画像規格化部３８０は、矩形虹彩画像を生成する。矩形虹彩画像は、例えば、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む画像であってもよい。
　虹彩の方向に関する規格は、例えば、虹彩の回転方向に関して予め定められた基準方向を、当該虹彩を含む眼の横方向に沿わせることであってもよい。これにより、方向が規格化された矩形虹彩画像を生成する。方向が規格化された矩形虹彩画像は、例えば、上述の矩形虹彩画像において、周方向に沿った辺が虹彩の回転方向に関して予め定められた基準方向に対応する画像であってもよい。
　図１７は、虹彩画像から矩形虹彩画像を生成するための画像処理の流れの一例を示す図である。
　詳細には例えば、画像規格化部３８０は、推定されたキーポイントの位置を用いて、虹彩画像に含まれる虹彩領域を当該虹彩画像から切り出してもよい。ここでは、キーポイントの位置として、例えば、虹彩中心と瞳孔中心の少なくとも一方と、虹彩円及び瞳孔円の少なくとも一方が用いられてもよい。また例えば、画像生成部３８０は、キーポイントの位置に基づいて算出される虹彩の幅（＝虹彩半径－瞳孔半径）を用いてもよい。これにより、画像規格化部３８０は、例えば同図の上方に示すような環状虹彩画像を生成する。環状虹彩画像は、虹彩画像から切り出された虹彩領域を含む画像である。環状虹彩画像は、虹彩画像に含まれる虹彩領域のみを含む画像であってもよい。
　画像規格化部３８０は、例えば、推定されたキーポイントの位置を用いて、方向が規格化された環状虹彩画像を生成してもよい。詳細には例えば、画像規格化部３８０は、虹彩画像の基準方向を特定してもよい。そして、画像規格化部３８０は、例えば虹彩領域の回転等によって、特定した基準方向が予め定めた方向（例えば、ｘ軸）に沿う環状虹彩画像を生成してもよい。
　基準方向は、例えば眼の横方向であって、詳細には例えば目尻と目頭を結ぶ直線に沿った方向であってもよい。一般的に、虹彩は、瞼の状態に応じて回転することがある。瞼の状態とは、例えば、瞼の回転、位置の変化等を含んでもよい。目尻と目頭を予め定めた方向を一定の方向（例えば、ｘ軸）に沿わせることで、環状虹彩画像において瞼の状態に応じた虹彩の回転を補正することができ高精度な虹彩認証が可能となる。
　画像規格化部３８０は、例えば、環状虹彩画像を用いて、矩形虹彩画像を生成してもよい。ここで、画像規格化部３８０は、例えば、方向が規格化された環状虹彩画像を用いて、矩形虹彩画像を生成してもよい。この場合、例えば、周方向に沿った辺が基準方向に対応する矩形虹彩画像（すなわち、方向が規格化された矩形虹彩画像）が生成されてもよい。
　画像規格化部３８０は、例えば、第１虹彩画像と第２虹彩画像との各々に対して、このような画像処理を行うことで、第１虹彩画像と第２虹彩画像との各々についての矩形虹彩画像を生成してもよい。この矩形虹彩画像は、方向が規格化された矩形虹彩画像であってもよい。
（抽出部３３０について）
　抽出部３３０は、例えば、予め定められた複数の画質レベルに対応する複数の特徴量群を矩形虹彩画像から抽出するための複数の抽出モデルを用いて、第１虹彩画像と第２虹彩画像との各々から複数の特徴量群を抽出する。
　複数の抽出モデルは、例えば、上述の第１抽出モデルＭ１と第２抽出モデルＭ２の各々が生体画像の代わりに矩形虹彩画像を用いるように変更したものであってもよい。複数の抽出モデルは、例えば、上述の第４抽出モデルＭ４と第５抽出モデルＭ５の各々が生体画像の代わりに矩形虹彩画像を用いるように変更したものであってもよい。
　例えば、複数の抽出モデルのうち、高画質レベルに対応する抽出モデルは、虹彩画像が入力されると、特徴マップ形式の（すなわち、特徴マップで表される）特徴量群を抽出してもよい。この場合、特徴マップ形式の特徴量群は、高画質レベルに対応する特徴量群である。また例えば、複数の抽出モデルのうち、低画質レベルに対応する抽出モデルは、虹彩画像が入力されると、特徴ベクトル形式の（すなわち、特徴ベクトルで表される）特徴量群を抽出してもよい。この場合、特徴ベクトル形式の特徴量群は、低画質レベルに対応する特徴量群である。
　詳細には例えば、高画質レベルに対応する抽出モデルは、第１虹彩画像と第２虹彩画像のそれぞれが入力されると、特徴マップ形式の第１特徴量群と第２特徴量群とを抽出してもよい。このような高画質レベルに対応する第１特徴量群と第２特徴量群は、径方向と周方向とに対応する２方向に第１特徴量群と第２特徴量群が配列された特徴マップのペアの例である。
　低画質レベルに対応する抽出モデルは、第１虹彩画像と第２虹彩画像のそれぞれが入力されると、特徴ベクトル形式の第１特徴量群と第２特徴量群とを抽出してもよい。このような低画質レベルに対応する第１特徴量群と第２特徴量群は、第１特徴量群と第２特徴量群が１列又は１行に配列された特徴ベクトルのペアの例である。
（照合部３４０について）
　照合部３４０は、第１虹彩画像及び第２虹彩画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１虹彩画像と第２虹彩画像との照合を行う。
　照合部３４０は、例えば図１８に示すように、特徴間スコア算出部３４１と、上述の重み推定部１４２及び照合スコア算出部１４３とを含んでもよい。
　特徴間スコア算出部３４１は、第１算出部３４１ａと、第２算出部３４１ｂとを含んでもよい。
　第１算出部３４１ａは、特徴マップのペアに関する特徴間スコアを算出する。第２算出部３４１ｂは、特徴ベクトルのペアに関する特徴間スコアを算出する。
　照合部３４０は、例えば図１９に示すような照合処理（ステップＳ３４０）を実行する。
　第１算出部３４１ａは、複数の画質レベルの各々について、ステップＳ３４１ｂ～ステップＳ３４１ｄを繰り返す（ループＡ；ステップＳ３４１ａ）。
　第１算出部３４１ａは、特徴間スコアを算出する特徴量群が特徴マップ形式であるか否かを判定する（ステップＳ３４１ｂ）。
　特徴マップ形式である場合（ステップＳ３４１ｂ；Ｙｅｓ）、第１算出部３４１ａは、特徴マップのペアに関する特徴間スコアを算出する（ステップＳ３４１ｃ）。
　特徴マップ形式でない場合（ステップＳ３４１ｂ；Ｎｏ）、第２算出部３４１ｂは、特徴ベクトルのペアに関する特徴間スコアを算出する（ステップＳ３４１ｄ）。
　ループＡ（ステップＳ３４１ａ）が終了すると、上述のステップＳ１４２～Ｓ１４３が実行される。
（第１算出部３４１ａについて）
　第１算出部３４１ａは、上述のように、特徴マップのペアに関する特徴間スコアを算出する。この特徴間スコアは、例えば、当該ペアを構成する特徴マップの類似度を示すスコアである。ペアを構成する特徴マップは、同じ画質レベルに対応する第１特徴量群及び第２特徴量群であって、これらが特徴マップで表されたものである。
　第１算出部３４１ａは、例えば図２０に示すように、マップ間スコア算出部３４１ａ＿１と、成分移動部３４１ａ＿２と、スコア決定部３４１ａ＿３とを含んでもよい。
　マップ間スコア算出部３４１ａ＿１は、一方の特徴マップとシフト量ずつ移動した一方の特徴マップとの各々と、他方の特徴マップと、の類似度を示すマップ間スコアを算出する。
　成分移動部３４１ａ＿２は、一方の特徴マップに対して、虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量ずつ移動させることを繰り返して複数の移動特徴マップを作成する。
　スコア決定部３４１ａ＿３は、算出されたマップ間スコアのうち、最大のマップ間スコアを、特徴マップのペアに関する特徴間スコアとして決定する。
　両端の各々から他方の端へ繰り返して移動するシフト量の合計は、同じ状態の瞼に対して虹彩が回転できる角度の最大幅に対応している。
　第１算出部３４１ａは、例えば図２１に示すような第１算出処理（ステップＳ３４１ｃ）を実行する。
　マップ間スコア算出部３４１ａ＿１は、一方の特徴マップと他方の特徴マップと、の類似度を示すマップ間スコアを算出する（ステップＳ３４１ｃ＿１）。
　成分移動部３４１ａ＿２は、ステップＳ３４１ｃ＿２～Ｓ３４１ｃ＿４をＲｅｐ回繰り返させる（ステップＳ３４１ｃ＿２）。
　成分移動部３４１ａ＿２は、成分移動部３４１ａ＿２は、一方の特徴マップに対して、虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量移動させる（ステップＳ３４１ｃ＿３）。
　マップ間スコア算出部３４１ａ＿１は、シフト量ずつ移動した一方の特徴マップの各々と、他方の特徴マップと、の類似度を示すマップ間スコアを算出する（ステップＳ３４１ｃ＿４）。
　ループＢ（ステップＳ３４１ｃ＿２）が終了すると、スコア決定部３４１ａ＿３は、算出されたマップ間スコアのうち、最大のマップ間スコアを、特徴マップのペアに関する特徴間スコアとして決定する（ステップＳ３４１ｃ＿５）。
（マップ間スコア算出部３４１ａ＿１について）
　マップ間スコア算出部３４１ａ＿１は、抽出部３３０が抽出した特徴マップの類似度を示すマップ間スコアを算出する。マップ間スコアは、特徴マップ間のＬ２距離、コサイン類似度等でもよいが、これらに限られない。例えば、特徴マップが２値化されている場合、マップ間スコアは、ハミング距離であってもよい。
　また、マップ間スコア算出部３４１ａ＿１は、成分移動部３４１ａ＿２が上述のように、一方の特徴マップ（すなわち、ペアを構成する特徴マップのうちの一方）が特徴量の移動を行うと、当該移動後の一方の特徴マップの各々と他方の特徴マップとのマップ間スコアを算出してもよい。
（成分移動部３４１ａ＿２について）
　図２２は、成分移動部３４１ａ＿２が行う移動処理の一例を示す図である。
　成分移動部３４１ａ＿２は、一方の特徴マップに対して、虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量Ｓだけ移動させる。なお、他方の特徴マップについては、特徴量は移動させず、抽出された特徴マップにおける位置で固定されていてもよい。
　詳細には例えば、成分移動部３４１ａ＿２は、一方の特徴マップに対して、特徴マップの左端の特徴量をシフト量Ｓだけ右端へ移動させる（右方向の移動処理）。また、成分移動部３４１ａ＿２は、一方の特徴マップに対して、特徴マップの右端の特徴量をシフト量だけ左端へ移動させる（左方向の移動処理）。成分移動部３４１ａ＿２は、このような右方向の移動処理と左方向の移動処理とをＲｅｐ回ずつ繰り返す。成分移動部３４１ａ＿２は、例えば、一方の特徴マップに対して右方向の移動処理をＲｅｐ回繰り返し、当該一方の特徴マップに対して左方向の移動処理をＲｅｐ回繰り返してもよい。
　これにより、一方の特徴マップについて、抽出部３３０が抽出した特徴マップと、右方向と左方向との各方向にＲｅｐ回の移動処理を行うことで作成された特徴マップとを含めて、２×Ｒｅｐ＋１個の特徴マップが得られる。マップ間スコア算出部３４１ａ＿１は、２×Ｒｅｐ＋１個の特徴マップの各々と、他方の特徴マップとのマップ間スコアを算出してもよい。その結果、例えば、２×Ｒｅｐ＋１個のマップ間スコアが算出される。なお、右方向と左方向とのいずれか一方のみの特徴量の移動が、Ｒｅｐ回行われてもよい。
　スコア決定部３４１ａ＿３は、上述のように、算出されたマップ間スコアのうち、最大のマップ間スコアを、特徴マップのペアに関する特徴間スコアとして決定する。
　例えば、２×Ｒｅｐ＋１個のマップ間スコアが算出された場合、スコア決定部３４１ａ＿３は、２×Ｒｅｐ＋１個のマップ間スコアの中から、最も値が大きいマップ間スコアを特定する。スコア決定部３４１ａ＿３は、特定したマップ間スコアを、特徴マップのペアに関する特徴間スコアとして決定する。
　例えば、マップ間スコアを求めるための関数をＦ（ｆ１，ｆ２）とし、ｂだけ移動した一方の特徴マップをｆｂ １とすると、特徴マップのペアに関する特徴間スコアは、以下の式（１）で表される。
　ここで、両端の各々から他方の端へ繰り返して移動するシフト量の合計は、同じ状態の瞼に対して虹彩が回転できる角度θの最大幅に対応していてもよい。シフト量の合計は、シフト量Ｓ×繰り返し回数Ｒｅｐで得られる値である。一般的に同じ状態の瞼に対して虹彩が回転できる角度θの最大幅は、概ね定まっている。そのため、シフト量Ｓ×繰り返し回数Ｒｅｐが、この最大角に対応していてもよい。これにより、虹彩の回転を考慮した特徴間スコアを決定することができる。
　この場合、同じ状態の瞼に対して虹彩が回転できる角度θの最大幅が虹彩の周方向に沿った特徴マップの何個分に相当するか、すなわち当該最大幅に相当するシフト量Ｓ×繰り返し回数Ｒｅｐは、実験的に調べて決定されてもよい。また、シフト量Ｓは、１以上で適宜定められてもよい。
　なお、シフト量Ｓ及びＲｅｐ回の各々を決定する方法は、上述の方法に限られず、１以上で適宜定められてもよい。
（第２算出部３４１ｂについて）
　第２算出部３４１ｂは、特徴ベクトルのペアに関する特徴間スコアを算出する。特徴ベクトルのペアに関する特徴間スコアは、ペアを構成する特徴ベクトルのＬ２ノルム、コサイン類似度等でもよい。ペアを構成する特徴ベクトルは、同じ画質レベルに対応する第１特徴量群及び第２特徴量群であって、これらが特徴ベクトルで表されたものである。
（作用・効果）
　以上、本実施形態によれば、情報処理装置３００は、キーポイント推定部３７０と、画像規格化部３８０とを備える。キーポイント推定部３７０は、生体画像である虹彩画像における予め定められたキーポイントの位置を推定するキーポイント推定モデルを用いて、第１生体画像である第１虹彩画像と第２生体画像である第２虹彩画像との各々におけるキーポイントの位置を推定する。画像規格化部３８０は、推定されたキーポイントの位置を用いて、第１虹彩画像と第２虹彩画像との各々に含まれる虹彩領域に対して画像処理を行って、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む矩形虹彩画像を生成する。
　これにより、矩形の虹彩を含む矩形虹彩画像を用いて、特徴量群を抽出することができる。従って、特徴マップ形式の特徴量群を抽出することが可能になる。
　本実施形態によれば、少なくとも１つの画質レベルに対応する第１特徴量群と第２特徴量群のペアは、径方向と周方向とに対応する２方向に第１特徴量群と第２特徴量群が配列された特徴マップのペアである。
　特徴間スコア算出部３４１は、特徴マップのペアに関する特徴間スコアを算出する第１算出部３４１ａを含む。第１算出部３４１ａはマップ間スコア算出部３４１ａ＿１と、成分移動部３４１ａ＿２と、スコア決定部３４１ａ＿３とを含む。
　成分移動部３４１ａ＿２は、一方の特徴マップに対して、虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量ずつ移動させることを繰り返して複数の移動特徴マップを作成する。マップ間スコア算出部３４１ａ＿１は、一方の特徴マップとシフト量ずつ移動した一方の特徴マップとの各々と、他方の特徴マップと、の類似度を示すマップ間スコアを算出する。スコア決定部３４１ａ＿３は、算出されたマップ間スコアのうち、最大の前記マップ間スコアを、特徴マップのペアに関する特徴間スコアとして決定する。
　両端の各々から他方の端へ繰り返して移動するシフト量の合計は、同じ状態の瞼に対して虹彩が回転できる角度の最大幅に対応している。
　虹彩の回転を考慮した特徴間スコアを決定することができる。従って、特徴マップのペアに関する特徴間スコアの精度を一層向上させることが可能になる。
　本実施形態によれば、矩形虹彩画像は、周方向に沿った辺が虹彩の回転方向に関して予め定められた基準方向に対応する。
　これにより、瞼の状態に応じた虹彩の回転を、基準方向に基づいて補正したうえで、虹彩の回転を考慮した特徴間スコアを決定することができる。従って、特徴マップのペアに関する特徴間スコアの精度を、より一層向上させることが可能になる。
　［実施形態５］
　実施形態１では、図８を参照して、１つの生体画像を入力として１つの抽出モデルＭ３を用いて、複数の画質レベルに対応する複数の特徴量群を抽出する例を説明した。本実施形態では、これの詳細例について説明する。なお、他の実施形態と重複する説明は、説明を簡潔にするため、適宜省略する。
　情報処理装置４００は、例えば図２３に示すように、上述の登録情報記憶部１１０、画像取得部１２０、認証部１５０及び表示部１６０と、抽出部４３０と、照合部４４０とを備える。情報処理装置４００は、さらに、上述の品質推定部１４２ａと、ペア品質決定部４７０とを備える。情報処理装置４００は、さらに、劣化画像作成部４８０と、認証損失算出部４８５と、モデルパラメータ更新部４９０とを備える。
　なお、情報処理装置４００は、例えば上述の情報処理システムＳ１における情報処理装置１００の代わりに用いられてもよい。
　品質推定部１４２ａは、上述のように、第１生体画像の品質スコアである第１品質スコアと、第２生体画像の品質スコアである第２品質スコアとを推定する。
　ペア品質決定部４７０は、第１品質スコアと第２品質スコアとに基づいて、第１生体画像及び第２生体画像の画像ペアに関する品質スコアであるペア品質スコアを決定する。
　抽出モデルは、１つである。すなわち、抽出部４３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つの抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する。予め定められた複数の画質レベルに対応する複数の特徴量群を含む第１特徴量群が、第１生体画像から抽出モデルを用いて抽出される。予め定められた複数の画質レベルに対応する複数の特徴量群を含む第２特徴量群が、第２生体画像から抽出モデルを用いて抽出される。
　照合部４４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う。本実施形態では、第１生体画像及び第２生体画像の品質を示す品質スコアは、例えば、上述のペア品質スコアである。
　劣化画像作成部４８０は、生体画像の画質を劣化させる画像処理を行って、設定された品質スコアに応じた品質の生体画像を作成する。
　認証損失算出部４８５は、選択された特徴量と正解データとに基づいて、認証損失を算出する。
　モデルパラメータ更新部４９０は、算出された認証損失が小さくなるように、抽出モデルに含まれるモデルパラメータを更新する。
　情報処理装置４００は、例えば図２４に示すような情報処理を実行する。
　上述のステップＳ１２０が実行される。
　品質推定部１４２ａは、上述のように、第１生体画像の品質スコアである第１品質スコアと、第２生体画像の品質スコアである第２品質スコアとを推定する（ステップＳ１４２ａ）。
　ペア品質決定部４７０は、第１品質スコアと第２品質スコアとに基づいて、第１生体画像及び第２生体画像の画像ペアに関する品質スコアであるペア品質スコアを決定する（ステップＳ４７０）。
　抽出部４３０は、予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つの抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出する（ステップＳ４３０）。
　照合部４４０は、第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う（ステップＳ４４０）。
（ペア品質決定部４７０について）
　ペア品質決定部４７０は、例えば、品質推定部１４２ａが推定した第１品質スコアと第２品質スコアとのうち、低い品質を示す品質スコアを、ペア品質スコアとして決定する。すなわち、ペア品質スコアは、第１品質スコアと第２品質スコアのうち、低い品質を示す品質スコアである。
（抽出部４３０について）
　抽出部４３０が抽出する複数の特徴量群では、例えば、高画質レベルに対応する特徴量群程、当該特徴量群に含まれる特徴量の数が多い。すなわち、特徴量群を構成する特徴量の数は、高い画質レベルに対応する特徴量群の方が、低い画質レベルに対応する特徴量群よりも多い。
　例えば図８を参照し、第３特徴量群ＦＶＧ３に含まれる特徴量の数をｄ３、第４特徴量群ＦＶＧ４に含まれる特徴量の数をｄ４、第５特徴量群ＦＶＧ５に含まれる特徴量の数をｄ５とする。この場合、抽出モデルＭ３は、生体画像から、ｄ３＞ｄ４＞ｄ５を満たす特徴量群ＦＶＧＡを抽出する。
　また、抽出部４３０は、ペア品質スコアに基づいて決定される次元数ｄの第３特徴量群ＦＶＧ３を抽出する。すなわち、抽出モデルから抽出される複数の特徴量群は、入力される生体画像が高品質である程、全体に含まれる特徴量の数が多い。
　このような次元数ｄ（＝ｄ３＋ｄ４＋ｄ５）は、例えば、ｄ＝Ｃ×Ｑｐ、Ｃ×Ｑｐ２，Ｃ×ｅＱｐ等の予め定められた式に従って決定されてもよい。ここで、Ｃは、予め定められた定数であり、Ｑｐはペア品質スコアであり、ｅはネイピア数である。
　なお、次元数ｄを決定するための式は、上述の例に限られない。例えば、ｄ＝ｃ×ｐであってもよい。ここで、ｐは、ペア品質スコアがＱｐである場合に、矩形虹彩画像の平均情報量である。このようなｐは、予め調べることで、ペア品質スコアＱｐに対応するｐを決定するための関係が設定されてもよい。この関係は、式、テーブル等の適宜の方法で規定されてもよい。
（照合部４４０について）
　照合部４４０は、例えば図２５に示すように、選択部４４１と、特徴量照合部４４２とを含んでもよい。
　選択部４４１は、ペア品質スコアに基づいて、第１特徴量群と第２特徴量群とに含まれる特徴量から、照合に用いる特徴量を選択する。
　特徴量照合部４４２は、選択された特徴量を用いて照合を行う。
　照合部４４０は、例えば図２６に示すような照合処理（ステップＳ４４０）を実行する。
　選択部４４１は、ペア品質スコアに基づいて、第１特徴量群と第２特徴量群とに含まれる特徴量から、照合に用いる特徴量を選択する（ステップＳ４４１）。
　特徴量照合部４４２は、選択された特徴量を用いて照合を行う（ステップＳ４４２）。
（選択部４４１について）
　選択部４４１は、例えば、ペア品質スコアに基づいて、抽出部４３０が抽出した第１特徴量群ＦＶＧＡａ及び第２特徴量群ＦＶＧＡｂの中で、照合に用いる特徴量を選択する。これにより、対象に関する識別性が高い特徴量を選択することができる。
　照合に用いる特徴量の選択では、例えば、ペア品質スコアに対応する画像品質レベル以下の画像品質レベルに対応する特徴量が選択されてもよい。詳細には例えば、ペア品質スコアがＱであり、これに対応する品質レベルが中品質であるとする。この場合、中品質以下の品質レベル（すなわち、中品質及び低品質）に対応する特徴量が選択されてもよい。
　照合に用いる特徴量の選択では、例えば、ペア品質スコアが低い品質のレベルである程、高い画質レベルに対応する特徴量群から選択された成分の数に対する低い画質レベルに対応する特徴量群から選択された成分の数の割合が大きくなるように選択されてもよい。
（特徴量照合部４４２について）
　特徴量照合部４４２は、選択された特徴量を用いて照合を行う。例えば、特徴量照合部４４２は、第１特徴量群と第２特徴量群とのそれぞれから選択された特徴量を用いて、照合スコアを算出する。照合スコアは、例えば、選択された特徴量で構成されるベクトル間の類似度を示すスコアである。詳細には例えば、照合スコアは、選択された特徴量で構成されるベクトル間のＬ２ノルム、コサイン類似度等であるが、これらに限られない。
　また、情報処理装置４００は、例えば図２７に示すような情報処理を実行する。この情報処理は、抽出モデルの学習を行うための処理であり、例えばユーザの指示等に基いて開始される。
　劣化画像作成部４８０は、生体画像の画質を劣化させる画像処理を行って、予め定められた品質スコアに応じた品質の生体画像を作成する（ステップＳ４８０）。
　ステップＳ４８０で作成された生体画像について、上述のステップＳ４３０及びＳ４７０が実行される。
　認証損失算出部４８５は、選択された特徴量と正解データとに基づいて、認証損失を算出する（ステップＳ４８５）。
　モデルパラメータ更新部４９０は、算出された認証損失が小さくなるように、抽出モデルに含まれるモデルパラメータを更新する（ステップＳ４９０）。
（劣化画像作成部４８０について）
　劣化画像作成部４８０は、例えば、図示しない記憶部等から学習用の生体画像を取得する。劣化画像作成部４８０は、例えばユーザ等から品質スコアの指示を受け付けると、取得した生体画像の画質が当該品質スコアに応じた品質となるように、取得した生体画像の画質を劣化させる画像処理を行う。これにより、劣化画像作成部４８０は、設定された品質スコアに応じた品質の生体画像を作成する。
（認証損失算出部４８５について）
　認証損失算出部４８５は、例えば、上述の選択部４４１が選択した特徴量と正解データとに基づいて、認証損失を算出する。
　詳細には例えば、認証損失算出部４８５は、各クラスを代表するベクトル（代表ベクトル）を保持してもよい。認証損失算出部４８５は、例えば、ｓｏｆｔｍａｘ関数、交差エントロピー誤差等を用いて、認証損失を算出してもよい。認証損失算出部４８５は、代表ベクトルに対して、抽出部４３０が抽出した特徴量から選択部４４１が特徴量を選択する処理と同じ処理を施した後に、認証損失を算出してもよい。
（モデルパラメータ更新部４９０について）
　モデルパラメータ更新部４９０は、認証損失算出部４８５が算出する認証損失が小さくなるように、抽出モデルに含まれるモデルパラメータを更新する。学習のための情報処理は、例えば、適宜定められる終了条件を満たすまで繰り返されてもよい。終了条件は、例えば、認証損失が予め定めた値よりも小さくなること、予め定められた繰り返し回数だけ繰り返して実行すること等であるが、これらに限られない。
（作用・効果）
　以上、本実施形態によれば、抽出モデルは、１つである。予め定められた複数の画質レベルに対応する複数の特徴量群を含む第１特徴量群が、第１生体画像から抽出モデルを用いて抽出される。予め定められた複数の画質レベルに対応する複数の特徴量群を含む第２特徴量群が、第２生体画像から抽出モデルを用いて抽出される。
　これにより、照合される第１生体画像と第２生体画像とで共通の抽出モデルを用いることができる。そのため、第１生体画像と第２生体画像とで異なる抽出モデルを構築するよりも、抽出モデルを容易に構築することができる。また、照合において、画質レベルが対応する特徴量群同士を、第１生体画像及び第２生体画像の品質スコアを用いて適宜比較することができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　また、予め定められた複数の画質レベルに対応する複数の特徴量群が、１つの抽出モデルを用いて抽出されるので、複数の抽出モデルを用いるよりも、当該複数の特徴量群を抽出するための計算量を減らすことができる。従って、認証の高速化が可能になる。
　本実施形態によれば、情報処理装置４００は、品質推定部１４２ａと、ペア品質決定部４７０とを備える。品質推定部１４２ａは、第１生体画像の品質スコアである第１品質スコアと、第２生体画像の品質スコアである第２品質スコアとを推定する。ペア品質決定部４７０は、第１品質スコアと第２品質スコアとに基づいて、第１生体画像及び第２生体画像の画像ペアに関する品質スコアであるペア品質スコアを決定する。
　照合部４４０は、選択部４４１と、特徴量照合部４４２とを含む。選択部４４１は、ペア品質スコアに基づいて、第１特徴量群と第２特徴量群とに含まれる特徴量から、照合に用いる特徴量を選択する。特徴量照合部４４２は、選択された特徴量を用いて、照合を行う。
　これにより、対象に関する識別性が高い特徴量同士を用いて、照合を行うことができるので、品質が異なる生体画像を用いた認証の精度低下を抑えることができる。従って、品質が異なる生体画像を用いた認証の精度低下を容易に抑えることが可能になる。
　本実施形態によれば、抽出モデルから抽出される複数の特徴量群は、入力される生体画像が高品質である程、全体に含まれる特徴量の数が多い。特徴量群を構成する特徴量の数は、高い画質レベルに対応する特徴量群の方が、低い画質レベルに対応する特徴量群よりも多い。ペア品質スコアは、第１品質スコアと第２品質スコアのうち、低い品質を示す品質スコアである。照合に用いる特徴量の選択では、ペア品質スコアが低い品質のレベルである程、高い画質レベルに対応する特徴量群から選択された成分の数に対する低い画質レベルに対応する特徴量群から選択された成分の数の割合が大きくなるように選択される。
　これにより、ペア品質スコアに応じた特徴量のうち、できるだけ高い画質レベルに対応する特徴量を用いて、照合を行うことができる。そのため、画質レベルが対応する特徴量群同士を比較することができるので、品質が異なる生体画像を用いた認証の精度低下を、より一層抑えることができる。従って、品質が異なる生体画像を用いた認証の精度低下をより一層容易に抑えることが可能になる。
　［実施形態６］
　本実施形態では、表示画面の例について説明する。なお、他の実施形態と重複する説明は、説明を簡潔にするため、適宜省略する。
　本実施形態に係る情報処理装置の構成は、例えば、実施形態１で説明した情報処理装置と同様でよい。図５を参照すると、情報処理装置１００は、例えば、表示画面を表示する表示部１６０を備える。
　表示画面は、予め定められた複数の画質レベルの各々に対応する特徴量群の大きさを含んでもよい。表示画面は、予め定められた複数の画質レベルの各々に対応する予め定められた参照値をさらに含んでもよい。表示画面は、照合に用いられた特徴量群において、予め定められた複数の画質レベルに対応する特徴量群が用いられた程度を示す指標の値を含んでもよい。
　特徴量群の大きさは、例えば、特徴量群が特徴ベクトルで表された場合のＬ１ノルム、Ｌ２ノルム等であるが、これらに限られない。
　表示画面は、リアルタイムで表示されてもよい。また例えば、生体画像を登録する場合、表示画面は、当該生体画像のみに関する情報を含んでもよい。さらに例えば、生体画像を用いて認証を行う場合、表示画面は、登録画像と認証画像との少なくとも一方に関する情報を含むとよい。
　図２８は、表示画面の第１の例を示す図である。図２９は、表示画面の第２の例を示す図である。これらの図に示す表示画面は、いずれも、高、中及び低という３つの画質レベルに対応する３つの特徴量群の大きさを棒グラフで示す例である。
　また、登録画像から抽出された複数の特徴量群と、認証画像から抽出された複数の特徴量群と、のそれぞれに対応する棒グラフが左右に並んでいる。
　図２８に例示する表示画面では、複数の特徴量群の大きさを示す棒グラフの長さ方向（縦方向）に接続している。そのため、登録画像と認証画像と各々から抽出された複数の特徴量群全体の大きさを容易に比較することができる。これに対して、図２９に例示する表示画面では、複数の特徴量群の大きさを示す棒グラフの長さ方向と直交する方向（左右方向）に並べされている。そのため、登録画像と認証画像と各々から抽出された複数の特徴量群の各々の大きさを容易に比較することができる。
　また、図２８及び２９に例示する表示画面では、予め定められた参照値を示す横線を含む。これにより、抽出された複数の特徴量群が、精度の良い認証が可能な参照値以上の特徴量群であるか否かを容易に認識することができる。
　図２８に例示する表示画面は、複数の特徴量群全体の大きさに対する参照値を示す横線を含む。図２９に例示する表示画面は、複数の特徴量群の各々に対する参照値を示す横線を含む。特徴量群ごとの参照値は、同じであってもよく、異なっていてもよい。
　図２８及び２９に例示する表示画面は、生体画像を用いて精度の良い認証を行える可能性を示す「ＯＫ」又は「ＮＧ」の表示を含む。例えば、複数の特徴量群全体の大きさが参照値以上であるか否かに応じて、表示部１６０が「ＯＫ」又は「ＮＧ」が判断し、判断結果を表示してもよい。例えば、複数の特徴量の全てがそれぞれの参照値を超えているか否かに応じて、表示部１６０が「ＯＫ」又は「ＮＧ」が判断し、判断結果を表示してもよい。なお、どのような場合に「ＯＫ」及び「ＮＧ」と判断するかは、適宜定められてもよい。例えば、情報処理装置が、複数の特徴量群の大きさと参照値とを比較して「ＯＫ」又は「ＮＧ」を判断する判断部（図示せず）をさらに備え、判断部が判断結果を表示部１６０に表示させてもよい。
　例えば、登録画像は、複数の特徴量群の各々の大きさが異なる種々の生体画像を含むことが望ましい。そのため、複数の登録画像が登録されている場合には、表示画面は、複数の登録画像の各々についての情報を含んでもよい。
　図２８及び２９に例示する表示画面は、照合に用いられた特徴量群において、予め定められた複数の画質レベルに対応する特徴量群が用いられた程度を示す指標の値として、ｎ１～ｎ３を含む。ｎ１、ｎ２、ｎ３は、それぞれ、高品質、中品質、低品質に対応する特徴量群の中から、照合に用いられた特徴量の数（成分数）を示す値である。
　認証対象、警備員等は、このような表示画面を閲覧することで、適切な生体画像が認証に用いられているか否かを容易に判断することができる。そして、生体画像の品質が悪い場合（例えば「ＮＧ」である場合等）には、高品質な生体画像を撮影できるように、対策を講じることができる。
　また、認証システムの開発者、評価者は、このような表示画面を閲覧することで、適切に認証が行われているか否かを、視認によって容易に判断することができる。
（作用・効果）
　以上、本実施形態によれば、情報処理装置１００は、表示画面を表示する表示部１６０を備える。表示画面は、予め定められた複数の画質レベルの各々に対応する特徴量群の大きさを含む。
　これにより、生体画像が、登録又は認証に適切か否かを視覚的に容易に判断することができる。適切でない場合には対策を講じることができるので、認証の精度向上を図ることが可能になる。
　本実施形態によれば、表示画面は、さらに、予め定められた複数の画質レベルの各々に対応する予め定められた参照値を含む。
　これにより、生体画像が、登録又は認証に適切か否かを視覚的に容易に判断することができる。適切でない場合には対策を講じることができるので、認証の精度向上を図ることが可能になる。
　本実施形態によれば、表示画面は、照合に用いられた特徴量群において、予め定められた複数の画質レベルに対応する特徴量群が用いられた程度を示す指標の値を含む。
　これにより、照合において主に用いられた特徴量がいずれの画質レベルに対応する特徴量群に含まれるものかを知ることができる。そのため、認証に失敗した場合等に、その原因の推定を支援することが可能になる。
　［実施形態７］
　本実施形態では、認証に失敗した場合等に、撮影環境を変更する機能について説明する。なお、他の実施形態と重複する説明は、説明を簡潔にするため、適宜省略する。
　情報処理装置５００は、例えば図３０に示すように、撮影環境制御部５７０をさらに備える。この点を除いて、情報処理装置５００は、上述の情報処理装置１００と同様に構成されてよい。なお、情報処理装置５００は、例えば上述の情報処理システムＳ１における情報処理装置１００の代わりに用いられてよい。
　撮影環境制御部５７０は、予め定められた条件を満たさない場合に、第１生体画像又は第２生体画像を撮るための撮影環境を変更する。
　情報処理装置５００は、例えば図３１に示すような情報処理を実行する。
　上述のステップＳ１２０～Ｓ１６０が実行される。
　撮影環境制御部５７０は、予め定められた条件を満たさない場合に、第１生体画像又は第２生体画像を撮るための撮影環境を変更する（ステップＳ１７０）。
（撮影環境制御部５７０について）
　撮影環境制御部５７０は、例えば、予め定められた条件を満たさない場合に、第１生体画像又は第２生体画像を撮るための撮影環境を変更する。
　条件は、複数の画質レベルの各々に対応する特徴量群の大きさが予め定められた閾値より小さいことであってもよい。すなわち、撮影環境制御部５７０は、複数の画質レベルの各々に対応する特徴量群の大きさが予め定められた閾値より小さい場合に、第１生体画像又は第２生体画像を撮るための撮影環境を変更してもよい。
　この閾値は、例えば、精度良く認証を行うために望ましい特徴量群の大きさであってもよい。閾値は、画質レベルごとに定められてもよく、複数の画質レベルに同じ値が定められてもよい。なお、撮影環境の変更に関する条件は、ここで例示したものに限られず、適宜定められてもよい。条件は、例えば、認証に成功することであってもよい。
　撮影環境制御部６７０は、撮影環境を変更するために、シャッタースピード、絞り値、パン・チルト及びズーム機能等を用いて上下左右の撮影方向及び撮影範囲、照明の明るさ等の少なくとも１つを変更する等のように撮影装置９０を調整してもよい。また、撮影環境制御部６７０は、表示部１６０、図示しないスピーカ等に、撮影装置９０が撮影する対象を誘導するメッセージを報知させてもよい。このメッセージの内容は、例えば、撮影装置９０に近づくこと等であるが、これに限られない。
（作用・効果）
　以上、本実施形態によれば、情報処理装置５００は、複数の画質レベルの各々に対応する特徴量群の大きさが予め定められた閾値より小さい場合に、第１生体画像又は第２生体画像を撮るための撮影環境を変更する撮影環境制御部５７０をそなえる。
　これにより、第１生体画像又は第２生体画像が精度良く認証を行うために適切ではない場合に、撮影環境を変更して、第１生体画像又は第２生体画像を得ることを容易にする。従って、認証の精度向上を図ることが可能になる。
　以上、実施形態を参照して本開示を説明したが、本開示は上述の実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から前記複数の特徴量群を抽出する抽出手段と、
　前記第１生体画像及び前記第２生体画像の品質を示す品質スコアと前記複数の特徴量群とを用いて、前記第１生体画像と前記第２生体画像との照合を行う照合手段とを備える
　情報処理装置。
２．
　前記抽出モデルは、複数であり、
　前記複数の抽出モデルは、前記複数の画質レベルに対応しており、各々が特徴量群を出力し、
　前記第１生体画像から抽出される前記複数の特徴量群は、前記第１生体画像を入力として前記複数の抽出モデルを用いて抽出され、
　前記第２生体画像から抽出される前記複数の特徴量群は、前記第２生体画像を入力として前記複数の抽出モデルを用いて抽出され、
　前記照合手段は、
　前記複数の画質レベル毎に、同じ画質レベルに対応する前記第１特徴量群及び前記第２特徴量群の特徴間スコアを算出する特徴間スコア算出手段と、
　前記複数の画質レベル毎の前記特徴間スコアに対する重みを推定する重み推定手段と、
　前記推定された重みを用いて前記複数の画質レベル毎の前記特徴間スコアを統合した照合スコアを算出する照合スコア算出手段とを含む
　１．に記載の情報処理装置。
３．
　前記第１生体画像の前記品質スコアである第１品質スコアと、前記第２生体画像の前記品質スコアである第２品質スコアとを推定する品質推定手段と、
　前記第１品質スコアと前記第２品質スコアとに基づいて、前記第１生体画像及び前記第２生体画像の画像ペアに関する前記品質スコアであるペア品質スコアを決定するペア品質決定手段とをさらに備え、
　前記抽出モデルは、１つであり、
　前記予め定められた複数の画質レベルに対応する前記複数の特徴量群を含む第１特徴量群が、前記第１生体画像から前記抽出モデルを用いて抽出され、
　前記予め定められた複数の画質レベルに対応する前記複数の特徴量群を含む第２特徴量群が、前記第２生体画像から前記抽出モデルを用いて抽出され、
　前記照合手段は、
　前記ペア品質スコアに基づいて、前記第１特徴量群と前記第２特徴量群とに含まれる特徴量から、前記照合に用いる特徴量を選択する選択手段と、
　前記選択された特徴量を用いて、前記照合を行う特徴量照合手段とを含む
　１．に記載の情報処理装置。
４．
　前記重み推定手段は、
　前記第１生体画像の前記品質スコアである第１品質スコアと、前記第２生体画像の前記品質スコアである第２品質スコアとを推定する品質推定手段と、
　前記第１品質スコアと前記第２品質スコアとに基づいて、前記複数の画質レベル毎の前記特徴間スコアに対する重みを算出する重み算出手段とを含む
　２．に記載の情報処理装置。
５．
　前記複数の抽出モデルは、前記生体画像がそれぞれに入力され、それぞれが当該入力された生体画像から前記複数の特徴量群を抽出する抽出モデルである
　３．に記載の情報処理装置。
６．
　前記複数の抽出モデルは、前記生体画像が入力されて当該生体画像から中間特徴量を抽出する前段部分を共用する
　３．に記載の情報処理装置。
７．
　前記生体画像である虹彩画像における予め定められたキーポイントの位置を推定するキーポイント推定モデルを用いて、前記第１生体画像である第１虹彩画像と前記第２生体画像である第２虹彩画像との各々における前記キーポイントの位置を推定するキーポイント推定手段と、
　前記推定されたキーポイントの位置を用いて、前記第１虹彩画像と前記第２虹彩画像との各々に画像処理を行って、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む矩形虹彩画像を生成する画像規格化手段とをさらに備え、
　少なくとも１つの前記画質レベルに対応する前記第１特徴量群と前記第２特徴量群のペアは、前記径方向と前記周方向とに対応する２方向に前記第１特徴量群と前記第２特徴量群が配列された特徴マップのペアであり、
　前記特徴間スコア算出手段は、前記特徴マップのペアに関する前記特徴間スコアを算出する第１算出手段を含み、
　前記第１算出手段は、
　一方の前記特徴マップに対して、前記虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量ずつ移動させることを繰り返して複数の移動特徴マップを作成する成分移動手段と、
　前記一方の特徴マップと前記シフト量ずつ移動した前記一方の特徴マップとの各々と、他方の前記特徴マップと、の類似度を示すマップ間スコアを算出するマップ間スコア算出手段と、
　前記算出されたマップ間スコアのうち、最大の前記マップ間スコアを、前記特徴マップのペアに関する特徴間スコアとして決定するスコア決定手段とを含み、
　前記両端の各々から他方の端へ繰り返して移動する前記シフト量の合計は、同じ状態の瞼に対して虹彩が回転できる角度の最大幅に対応している
　２．及び４から６のいずれか１つに記載の情報処理装置。
８．
　前記品質推定手段は、生体画像を入力すると当該生体画像の前記品質スコアを出力する品質推定モデルを用いて、前記第１品質スコアと前記第２品質スコアとを推定する
　２．及び４から７のいずれか１つに記載の情報処理装置。
９．
　前記品質推定手段は、少なくとも１つの前記第１特徴量群と、少なくとも１つの前記第２特徴量群と、のそれぞれに基づいて、前記第１品質スコアと前記第２品質スコアとを推定する
　２．及び４から８のいずれか１つに記載の情報処理装置。
１０．
　前記抽出モデルから抽出される前記複数の特徴量群は、入力される前記生体画像が高品質である程、全体に含まれる特徴量の数が多く、
　前記特徴量群を構成する特徴量の数は、高い画質レベルに対応する前記特徴量群の方が、低い画質レベルに対応する前記特徴量群よりも多く、
　前記ペア品質スコアは、前記第１品質スコアと前記第２品質スコアのうち、低い品質を示す品質スコアであり、
　前記照合に用いる特徴量の選択では、前記ペア品質スコアが低い品質のレベルである程、高い画質レベルに対応する特徴量群から選択された成分の数に対する低い画質レベルに対応する特徴量群から選択された成分の数の割合が大きくなるように選択される
　３．に記載の情報処理装置。
１１．
　表示画面を表示する表示手段をさらに備える
　前記表示画面は、予め定められた複数の画質レベルの各々に対応する特徴量群の大きさを含む
　１．から１０．のいずれか１つに記載の情報処理装置。
１２．
　前記表示画面は、さらに、予め定められた複数の画質レベルの各々に対応する予め定められた参照値を含む
　１１．に記載の情報処理装置。
１３．
　前記表示画面は、前記照合に用いられた特徴量群において、前記予め定められた複数の画質レベルに対応する特徴量群が用いられた程度を示す指標の値を含む
　１１．又は１２．に記載の情報処理装置。
１４．
　前記複数の画質レベルの各々に対応する特徴量群の大きさが予め定められた閾値より小さい場合に、前記第１生体画像又は前記第２生体画像を撮るための撮影環境を変更する撮影環境制御手段をさらに備える
　１．から１３．のいずれか１つに記載の情報処理装置。
１５．
　１つ以上のコンピュータが、
　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出し、
　第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う
　情報処理方法。
１６．
　前記抽出モデルは、複数であり、
　前記複数の抽出モデルは、前記複数の画質レベルに対応しており、各々が特徴量群を出力し、
　前記第１生体画像から抽出される前記複数の特徴量群は、前記第１生体画像を入力として前記複数の抽出モデルを用いて抽出され、
　前記第２生体画像から抽出される前記複数の特徴量群は、前記第２生体画像を入力として前記複数の抽出モデルを用いて抽出され、
　前記第１生体画像と前記第２生体画像との照合では、
　前記複数の画質レベル毎に、同じ画質レベルに対応する前記第１特徴量群及び前記第２特徴量群の特徴間スコアを算出し、
　前記複数の画質レベル毎の前記特徴間スコアに対する重みを推定し、
　前記推定された重みを用いて前記複数の画質レベル毎の前記特徴間スコアを統合した照合スコアを算出する
　１５．に記載の情報処理方法。
１７．
　さらに、前記第１生体画像の前記品質スコアである第１品質スコアと、前記第２生体画像の前記品質スコアである第２品質スコアとを推定し、
　前記第１品質スコアと前記第２品質スコアとに基づいて、前記第１生体画像及び前記第２生体画像の画像ペアに関する前記品質スコアであるペア品質スコアを決定することを含み、
　前記抽出モデルは、１つであり、
　前記予め定められた複数の画質レベルに対応する前記複数の特徴量群を含む第１特徴量群が、前記第１生体画像から前記抽出モデルを用いて抽出され、
　前記予め定められた複数の画質レベルに対応する前記複数の特徴量群を含む第２特徴量群が、前記第２生体画像から前記抽出モデルを用いて抽出され、
　前記第１生体画像と前記第２生体画像との照合では、
　前記ペア品質スコアに基づいて、前記第１特徴量群と前記第２特徴量群とに含まれる特徴量から、前記照合に用いる特徴量を選択し、
　前記選択された特徴量を用いて、前記照合を行う
　１５．に記載の情報処理方法。
１８．
　前記前記複数の画質レベル毎の前記特徴間スコアに対する重みを推定することでは、
　前記第１生体画像の前記品質スコアである第１品質スコアと、前記第２生体画像の前記品質スコアである第２品質スコアとを推定し、
　前記第１品質スコアと前記第２品質スコアとに基づいて、前記複数の画質レベル毎の前記特徴間スコアに対する重みを算出する
　１６．に記載の情報処理方法。
１９．
　前記複数の抽出モデルは、前記生体画像がそれぞれに入力され、それぞれが当該入力された生体画像から前記複数の特徴量群を抽出する抽出モデルである
　１７．に記載の情報処理方法。
２０．
　前記複数の抽出モデルは、前記生体画像が入力されて当該生体画像から中間特徴量を抽出する前段部分を共用する
　１７．に記載の情報処理方法。
２１．
　さらに、前記生体画像である虹彩画像における予め定められたキーポイントの位置を推定するキーポイント推定モデルを用いて、前記第１生体画像である第１虹彩画像と前記第２生体画像である第２虹彩画像との各々における前記キーポイントの位置を推定し、
　前記推定されたキーポイントの位置を用いて、前記第１虹彩画像と前記第２虹彩画像との各々に画像処理を行って、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む矩形虹彩画像を生成することを含み、
　少なくとも１つの前記画質レベルに対応する前記第１特徴量群と前記第２特徴量群のペアは、前記径方向と前記周方向とに対応する２方向に前記第１特徴量群と前記第２特徴量群が配列された特徴マップのペアであり、
　前記前記複数の画質レベル毎に前記特徴間スコアを算出することは、前記特徴マップのペアに関する前記特徴間スコアを算出することを含み、
　前記前記特徴マップのペアに関する前記特徴間スコアを算出することでは、
　一方の前記特徴マップに対して、前記虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量ずつ移動させることを繰り返して複数の移動特徴マップを作成し、
　前記一方の特徴マップと前記シフト量ずつ移動した前記一方の特徴マップとの各々と、他方の前記特徴マップと、の類似度を示すマップ間スコアを算出し、
　前記算出されたマップ間スコアのうち、最大の前記マップ間スコアを、前記特徴マップのペアに関する特徴間スコアとして決定し、
　前記両端の各々から他方の端へ繰り返して移動する前記シフト量の合計は、同じ状態の瞼に対して虹彩が回転できる角度の最大幅に対応している
　１６．及び１８．から２０．のいずれか１つに記載の情報処理方法。
２２．
　前記品質推定手段は、生体画像を入力すると当該生体画像の前記品質スコアを出力する品質推定モデルを用いて、前記第１品質スコアと前記第２品質スコアとを推定する
　１６．及び１８．から２１．のいずれか１つに記載の情報処理方法。
２３．
　前記第１品質スコアと前記第２品質スコアとを推定することでは、少なくとも１つの前記第１特徴量群と、少なくとも１つの前記第２特徴量群と、のそれぞれに基づいて、前記第１品質スコアと前記第２品質スコアとを推定する
　１６．及び１８．から２２．のいずれか１つに記載の情報処理方法。
２４．
　前記抽出モデルから抽出される前記複数の特徴量群は、入力される前記生体画像が高品質である程、全体に含まれる特徴量の数が多く、
　前記特徴量群を構成する特徴量の数は、高い画質レベルに対応する前記特徴量群の方が、低い画質レベルに対応する前記特徴量群よりも多く、
　前記ペア品質スコアは、前記第１品質スコアと前記第２品質スコアのうち、低い品質を示す品質スコアであり、
　前記照合に用いる特徴量の選択では、前記ペア品質スコアが低い品質のレベルである程、高い画質レベルに対応する特徴量群から選択された成分の数に対する低い画質レベルに対応する特徴量群から選択された成分の数の割合が大きくなるように選択される
　１７．に記載の情報処理方法。
２５．
　さらに、表示画面を表示することを含み、
　前記表示画面は、予め定められた複数の画質レベルの各々に対応する特徴量群の大きさを含む
　１５．から２４．のいずれか１つに記載の情報処理方法。
２６．
　前記表示画面は、さらに、予め定められた複数の画質レベルの各々に対応する予め定められた参照値を含む
　２５．に記載の情報処理方法。
２７．
　前記表示画面は、前記照合に用いられた特徴量群において、前記予め定められた複数の画質レベルに対応する特徴量群が用いられた程度を示す指標の値を含む
　２５．又は２６．に記載の情報処理方法。
２８．
　さらに、前記複数の画質レベルの各々に対応する特徴量群の大きさが予め定められた閾値より小さい場合に、前記第１生体画像又は前記第２生体画像を撮るための撮影環境を変更する
　１５．から２７．のいずれか１つに記載の情報処理方法。
２９．
　１つ以上のコンピュータに、
　１５．から２８．のいずれか１つに記載の情報処理方法を実行させるためのプログラム。
３０．
　１つ以上のコンピュータに、
　１５．から２８．のいずれか１つに記載の情報処理方法を実行させるためのプログラムが記録された記録媒体。
Ｓ１　情報処理システム
９０　撮影装置
１００，２００，３００，４００，５００　情報処理装置
１１０　登録情報記憶部
１２０　画像取得部
１３０，１３０ａ，１３０ｂ，１３０ｃ，３３０，４３０　抽出部
１４０，２４０，３４０，４４０　照合部
１４１，３４１　特徴間スコア算出部
１４２，２４２　重み推定部
１４２ａ，２４２ａ　品質推定部
１４２ｂ　重み算出部
１４３　照合スコア算出部
１５０　認証部
１６０　表示部
３４１ａ　第１算出部
３４１ｂ　第２算出部
３７０　キーポイント推定部
３８０　画像変換部
４４１　選択部
４４２　特徴量照合部
４７０　ペア品質決定部
４８０　劣化画像作成部
４８５　認証損失算出部
４９０　モデルパラメータ更新部
５７０　撮影環境制御部

Claims (16)

  1. 　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から前記複数の特徴量群を抽出する抽出手段と、
    　前記第１生体画像及び前記第２生体画像の品質を示す品質スコアと前記複数の特徴量群とを用いて、前記第１生体画像と前記第２生体画像との照合を行う照合手段とを備える
    　情報処理装置。
  2. 　前記抽出モデルは、複数であり、
    　前記複数の抽出モデルは、前記複数の画質レベルに対応しており、各々が特徴量群を出力し、
    　前記第１生体画像から抽出される前記複数の特徴量群は、前記第１生体画像を入力として前記複数の抽出モデルを用いて抽出され、
    　前記第２生体画像から抽出される前記複数の特徴量群は、前記第２生体画像を入力として前記複数の抽出モデルを用いて抽出され、
    　前記照合手段は、
    　前記複数の画質レベル毎に、同じ画質レベルに対応する前記第１特徴量群及び前記第２特徴量群の特徴間スコアを算出する特徴間スコア算出手段と、
    　前記複数の画質レベル毎の前記特徴間スコアに対する重みを推定する重み推定手段と、
    　前記推定された重みを用いて前記複数の画質レベル毎の前記特徴間スコアを統合した照合スコアを算出する照合スコア算出手段とを含む
    　請求項１に記載の情報処理装置。
  3. 　前記第１生体画像の前記品質スコアである第１品質スコアと、前記第２生体画像の前記品質スコアである第２品質スコアとを推定する品質推定手段と、
    　前記第１品質スコアと前記第２品質スコアとに基づいて、前記第１生体画像及び前記第２生体画像の画像ペアに関する前記品質スコアであるペア品質スコアを決定するペア品質決定手段とをさらに備え、
    　前記抽出モデルは、１つであり、
    　前記予め定められた複数の画質レベルに対応する前記複数の特徴量群を含む第１特徴量群が、前記第１生体画像から前記抽出モデルを用いて抽出され、
    　前記予め定められた複数の画質レベルに対応する前記複数の特徴量群を含む第２特徴量群が、前記第２生体画像から前記抽出モデルを用いて抽出され、
    　前記照合手段は、
    　前記ペア品質スコアに基づいて、前記第１特徴量群と前記第２特徴量群とに含まれる特徴量から、前記照合に用いる特徴量を選択する選択手段と、
    　前記選択された特徴量を用いて、前記照合を行う特徴量照合手段とを含む
    　請求項１に記載の情報処理装置。
  4. 　前記重み推定手段は、
    　前記第１生体画像の前記品質スコアである第１品質スコアと、前記第２生体画像の前記品質スコアである第２品質スコアとを推定する品質推定手段と、
    　前記第１品質スコアと前記第２品質スコアとに基づいて、前記複数の画質レベル毎の前記特徴間スコアに対する重みを算出する重み算出手段とを含む
    　請求項２に記載の情報処理装置。
  5. 　前記複数の抽出モデルは、前記生体画像がそれぞれに入力され、それぞれが当該入力された生体画像から前記複数の特徴量群を抽出する抽出モデルである
    　請求項３に記載の情報処理装置。
  6. 　前記複数の抽出モデルは、前記生体画像が入力されて当該生体画像から中間特徴量を抽出する前段部分を共用する
    　請求項３に記載の情報処理装置。
  7. 　前記生体画像である虹彩画像における予め定められたキーポイントの位置を推定するキーポイント推定モデルを用いて、前記第１生体画像である第１虹彩画像と前記第２生体画像である第２虹彩画像との各々における前記キーポイントの位置を推定するキーポイント推定手段と、
    　前記推定されたキーポイントの位置を用いて、前記第１虹彩画像と前記第２虹彩画像との各々に画像処理を行って、２辺が虹彩の径方向と周方向とに対応する矩形の虹彩を含む矩形虹彩画像を生成する画像規格化手段とをさらに備え、
    　少なくとも１つの前記画質レベルに対応する前記第１特徴量群と前記第２特徴量群のペアは、前記径方向と前記周方向とに対応する２方向に前記第１特徴量群と前記第２特徴量群が配列された特徴マップのペアであり、
    　前記特徴間スコア算出手段は、前記特徴マップのペアに関する前記特徴間スコアを算出する第１算出手段を含み、
    　前記第１算出手段は、
    　一方の前記特徴マップに対して、前記虹彩の周方向の特徴量を両端の各々から他方の端へ予め定められたシフト量ずつ移動させることを繰り返して複数の移動特徴マップを作成する成分移動手段と、
    　前記一方の特徴マップと前記シフト量ずつ移動した前記一方の特徴マップとの各々と、他方の前記特徴マップと、の類似度を示すマップ間スコアを算出するマップ間スコア算出手段と、
    　前記算出されたマップ間スコアのうち、最大の前記マップ間スコアを、前記特徴マップのペアに関する特徴間スコアとして決定するスコア決定手段とを含み、
    　前記両端の各々から他方の端へ繰り返して移動する前記シフト量の合計は、同じ状態の瞼に対して虹彩が回転できる角度の最大幅に対応している
    　請求項２及び４から６のいずれか１項に記載の情報処理装置。
  8. 　前記品質推定手段は、生体画像を入力すると当該生体画像の前記品質スコアを出力する品質推定モデルを用いて、前記第１品質スコアと前記第２品質スコアとを推定する
    　請求項２及び４から７のいずれか１項に記載の情報処理装置。
  9. 　前記品質推定手段は、少なくとも１つの前記第１特徴量群と、少なくとも１つの前記第２特徴量群と、のそれぞれに基づいて、前記第１品質スコアと前記第２品質スコアとを推定する
    　請求項２及び４から８のいずれか１項に記載の情報処理装置。
  10. 　前記抽出モデルから抽出される前記複数の特徴量群は、入力される前記生体画像が高品質である程、全体に含まれる特徴量の数が多く、
    　前記特徴量群を構成する特徴量の数は、高い画質レベルに対応する前記特徴量群の方が、低い画質レベルに対応する前記特徴量群よりも多く、
    　前記ペア品質スコアは、前記第１品質スコアと前記第２品質スコアのうち、低い品質を示す品質スコアであり、
    　前記照合に用いる特徴量の選択では、前記ペア品質スコアが低い品質のレベルである程、高い画質レベルに対応する特徴量群から選択された成分の数に対する低い画質レベルに対応する特徴量群から選択された成分の数の割合が大きくなるように選択される
    　請求項３に記載の情報処理装置。
  11. 　表示画面を表示する表示手段をさらに備える
    　前記表示画面は、予め定められた複数の画質レベルの各々に対応する特徴量群の大きさを含む
    　請求項１から１０のいずれか１項に記載の情報処理装置。
  12. 　前記表示画面は、さらに、予め定められた複数の画質レベルの各々に対応する予め定められた参照値を含む
    　請求項１１に記載の情報処理装置。
  13. 　前記表示画面は、前記照合に用いられた特徴量群において、前記予め定められた複数の画質レベルに対応する特徴量群が用いられた程度を示す指標の値を含む
    　請求項１１又は１２に記載の情報処理装置。
  14. 　前記複数の画質レベルの各々に対応する特徴量群の大きさが予め定められた閾値より小さい場合に、前記第１生体画像又は前記第２生体画像を撮るための撮影環境を変更する撮影環境制御手段   をさらに備える
    　請求項１から１３のいずれか１項に記載の情報処理装置。
  15. 　１つ以上のコンピュータが、
    　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出し、
    　第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う
    　情報処理方法。
  16. 　１つ以上のコンピュータに、
    　予め定められた複数の画質レベルに対応する複数の特徴量群を生体画像から抽出するための１つ又は複数の抽出モデルを用いて、第１生体画像と第２生体画像との各々から複数の特徴量群を抽出し、
    　第１生体画像及び第２生体画像の品質を示す品質スコアと複数の特徴量群とを用いて、第１生体画像と第２生体画像との照合を行う
    　ことを実行させるためのプロブラムが記録された記録媒体。
PCT/JP2024/009745 2024-03-13 2024-03-13 情報処理装置、情報処理方法及び記録媒体 Pending WO2025191724A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/009745 WO2025191724A1 (ja) 2024-03-13 2024-03-13 情報処理装置、情報処理方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/009745 WO2025191724A1 (ja) 2024-03-13 2024-03-13 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2025191724A1 true WO2025191724A1 (ja) 2025-09-18

Family

ID=97062990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009745 Pending WO2025191724A1 (ja) 2024-03-13 2024-03-13 情報処理装置、情報処理方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2025191724A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189739A (ja) * 2020-05-29 2021-12-13 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法及びプログラム
WO2024042674A1 (ja) * 2022-08-25 2024-02-29 日本電気株式会社 情報処理装置、認証方法および記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189739A (ja) * 2020-05-29 2021-12-13 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法及びプログラム
WO2024042674A1 (ja) * 2022-08-25 2024-02-29 日本電気株式会社 情報処理装置、認証方法および記憶媒体

Similar Documents

Publication Publication Date Title
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
JP6966875B2 (ja) 画像検索装置及びプログラム
Almeida et al. Detecting face presentation attacks in mobile devices with a patch-based CNN and a sensor-aware loss function
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2021164228A1 (zh) 一种图像数据的增广策略选取方法及系统
US20180068198A1 (en) Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
JP5766564B2 (ja) 顔認証装置及び顔認証方法
JP7230939B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
Lee et al. Vasir: an open-source research platform for advanced iris recognition technologies
US8295637B2 (en) Method of classifying red-eye objects using feature extraction and classifiers
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
JP2010218551A (ja) 顔認識方法、コンピューター読み取り可能な媒体および画像処理装置
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN112613471A (zh) 人脸活体检测方法、装置及计算机可读存储介质
Wang et al. AAN-face: attention augmented networks for face recognition
Das et al. Sclera segmentation and joint recognition benchmarking competition: SSRBC 2023
CN115082996A (zh) 一种人脸关键点检测方法、装置、终端设备及存储介质
CN113128427A (zh) 人脸识别方法、装置、计算机可读存储介质及终端设备
CN115862055B (zh) 基于对比学习和对抗训练的行人重识别方法及装置
WO2019155570A1 (ja) 視線推定装置、視線推定方法、および記録媒体
WO2025191724A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN111178307A (zh) 注视方向识别方法、装置及电子设备和存储介质
US20120308142A1 (en) Method for eye detection for a given face
CN115908970A (zh) 图像校正模型训练方法、图像校正方法、设备及存储介质
Hasan et al. Improving alignment of faces for recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24929695

Country of ref document: EP

Kind code of ref document: A1