[go: up one dir, main page]

JP7457991B1 - なりすまし検知システムおよびなりすまし検知プログラム - Google Patents

なりすまし検知システムおよびなりすまし検知プログラム Download PDF

Info

Publication number
JP7457991B1
JP7457991B1 JP2023040020A JP2023040020A JP7457991B1 JP 7457991 B1 JP7457991 B1 JP 7457991B1 JP 2023040020 A JP2023040020 A JP 2023040020A JP 2023040020 A JP2023040020 A JP 2023040020A JP 7457991 B1 JP7457991 B1 JP 7457991B1
Authority
JP
Japan
Prior art keywords
face
person
aspect ratio
spoofing
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023040020A
Other languages
English (en)
Other versions
JP2024130349A (ja
Inventor
敏朗 三嶽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VARIETY M-1 INC.
Original Assignee
VARIETY M-1 INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VARIETY M-1 INC. filed Critical VARIETY M-1 INC.
Priority to JP2023040020A priority Critical patent/JP7457991B1/ja
Priority to US18/868,168 priority patent/US12450944B2/en
Priority to CN202480002650.1A priority patent/CN119234260A/zh
Priority to PCT/JP2024/005375 priority patent/WO2024190260A1/ja
Priority to TW113105673A priority patent/TWI875480B/zh
Application granted granted Critical
Publication of JP7457991B1 publication Critical patent/JP7457991B1/ja
Publication of JP2024130349A publication Critical patent/JP2024130349A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

【課題】写真などの平面物を用いた人物のなりすましを高い精度で検知するなりすまし検知システムおよびなりすまし検知プログラムを提供する。【解決手段】なりすまし検知システムにおいて、情報処理装置10は、認証対象者を異なるアングルで複数フレーム撮像する撮像手段(カメラ11)と、撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段および異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段としての演算部14と、ディスプレイ12と、記憶部13と、を有する。【選択図】図1

Description

本発明は、写真などの平面物を用いたなりすましを防止することができるなりすまし検知システムおよびなりすまし検知プログラムに関する。
従来、認証情報(たとえば、人の目や口など)を情報コードに含めた形態で記憶しておき、情報コードに含まれる認証情報と、対象者を撮像して得た認証情報とを用いて人物を認証する技術が知られている(たとえば特許文献1)。また、人物を認証する際に、写真などを用いたなりすましを防止する技術が知られている(たとえば特許文献2)。
ここで、QRコード(登録商標)などの情報コードは記憶容量が限られ、顔全体などの情報を認証情報として含めることが困難である。そのため、特許文献1に記載のように、顔の一部である目や口などの特徴点を情報コードに含め、これら特徴点を比較することで、人物の認証を行うことが提案されている。しかしながら、特許文献1では、対象者の顔を撮像する場合に、悪意ある第三者が対象者の顔を撮像した写真などをカメラに撮像させることで、対象者になりすまして認証されてしまうことがあった。
この点、特許文献2では、特徴点を比較することで人物の認証を行うとともに、写真を用いたなりすましを防止するために、異なるアングルで撮像した画像を比較して、写真や実物かのなりすましを判定している。具体的には、特許文献2では、検査対象物を異なるアングルで撮影して第1画像と第2画像とを得て、第2画像から検出した第2の特徴点の座標を第1画像への平面的な射影に変換し、変換座標と、第1画像から検出した第1の特徴点の座標との誤差が一定値以下となる場合に、なりすましが試みられたと判定する。
特開2021-168047号公報 国際公開第2010/050206号
このように、特許文献2では、検査対象物を異なるアングルで撮影した画像を比較することで、検査対象物が立体物か否かを判定する構成を開示していているが、近年のセキュリティ意識の高まりから、なりすまし判定精度がより高いなりすまし検知システムおよびなりすまし検知プログラムが希求されている。
このような課題を解決するため、発明者は鋭意研究を行い、対象物が平面物であるかを検証することで、より高いなりすまし判定精度を得られるとの知見を得た。具体的には、認証対象者の顔を撮像した撮像画像において、顔の縦の長さと横の長さの比(アスペクト比)に基づいて、認証対象者が、写真などの平面物であるか、実物の人物であるかを判定することで、なりすましの検知に用いるデータ容量を小さくするとともに、写真などの平面物を用いたなりすましを高い精度で検知することができるとの知見を得て、本発明を創作した。
本発明の第1の観点に係るなりすまし検知システムは、認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知システムであって、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を登録情報として予め記憶する記憶手段と、認証対象者の顔を異なるアングルで複数フレーム撮像する撮像手段と、前記撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段と、前記登録情報に含まれる登録者の顔のアスペクト比と、異なるアングルで撮像された各認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段と、を有し、前記なりすまし検知手段は、各フレーム画像における複数の特徴点のうち、顔の幅方向において離れて位置する少なくとも3つの特徴点を抽出し、抽出した特徴点における、顔の右側と左側とにおける特徴点間の距離の比を立体類似度として算出し、前記フレーム画像ごとに算出した複数の前記立体類似度に基づいてなりすましを検知する
上記なりすまし検知システムにおいて、前記なりすまし検知手段は、前記立体類似度に加えて、前記フレーム画像ごとに、基準アスペクト比に対する、前記認証対象者の顔のアスペクト比の変化率または変化量を、平面類似度として算出し、算出した複数の前記平面類似度に基づいて、なりすましを検知する構成とすることができる。
本発明の第2の観点に係るなりすまし検知システムは、認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知システムであって、認証対象者の顔を異なるアングルで複数フレーム撮像する撮像手段と、前記撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段と、異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段と、を有し、前記なりすまし検知手段は、前記フレーム画像ごとに、基準アスペクト比に対する、前記認証対象者の顔のアスペクト比の変化率または変化量を、平面類似度として算出し、算出した複数の前記平面類似度に基づいて、なりすましを検知し、前記なりすまし検知手段は、予め登録されている本人の顔のアスペクト比、または、前記複数のフレーム画像のうち、最初に撮像されたフレーム画像における認証対象者の顔のアスペクト比を、前記基準アスペクト比として取得する。
上記なりすまし検知システムにおいて、前記なりすまし検知手段は、前記フレーム画像ごとに、前記平面類似度が所定値以上である場合に平面スコアをカウントアップするとともに、前記立体類似度が所定値以上である場合に立体スコアをカウントアップする処理を行い、前記平面スコアが前記立体スコアに対して所定の差分D以上となった場合に、なりすましがあると検知し、前記立体スコアが前記平面スコアに対して前記差分D以上となった場合に、なりすましがないと検知する構成とすることができる。
本発明の第3の観点に係るなりすまし検知システムは、認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知システムであって、認証対象者の顔を異なるアングルで複数フレーム撮像する撮像手段と、前記撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段と、異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段と、を有し、前記特徴検出手段は、異なるアングルで撮像したフレーム画像ごとに、対象者の顔の特徴点の位置を検出し、前記なりすまし検知手段は、前記フレーム画像ごとに、連続して撮像された他のフレーム画像との特徴点を算出し、前記差が閾値TL以上である場合に、平面物および立体物の両方を用いたなりすましがあると判定する処理をさらに行う。
本発明の第1の観点に係るなりすまし検知プログラムは、コンピューターに、認証対象者を異なるアングルで撮像した複数のフレーム画像を取得する取得機能と、前記複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出機能と、異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知機能と、を実行させ、前記なりすまし検知機能は、各フレーム画像における複数の特徴点のうち、顔の幅方向において離れて位置する少なくとも3つの特徴点を抽出し、抽出した特徴点における、顔の右側と左側とにおける特徴点間の距離の比を立体類似度として算出し、前記フレーム画像ごとに算出した複数の前記立体類似度に基づいてなりすましを検知する
本発明の第2の観点に係るなりすまし検知プログラムは、コンピューターに、認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知プログラムであって、コンピューターに、認証対象者を異なるアングルで撮像した複数のフレーム画像を取得する取得機能と、前記複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出機能と、異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知機能と、を有し、前記なりすまし検知機能は、前記フレーム画像ごとに、基準アスペクト比に対する、前記認証対象者の顔のアスペクト比の変化率または変化量を、平面類似度として算出し、算出した複数の前記平面類似度に基づいて、なりすましを検知し、前記なりすまし検知機能は、予め登録されている本人の顔のアスペクト比、または、前記複数のフレーム画像のうち、最初に撮像されたフレーム画像における認証対象者の顔のアスペクト比を、前記基準アスペクト比として取得する。
本発明の第3の観点に係るなりすまし検知プログラムは、コンピューターに、認証対象者を異なるアングルで撮像した複数のフレーム画像を取得する取得機能と、前記複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出機能と、異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知機能と、を実行させ、前記なりすまし検知機能は、各フレーム画像における複数の特徴点のうち、顔の幅方向において離れて位置する少なくとも3つの特徴点を抽出し、抽出した特徴点における、顔の右側と左側とにおける特徴点間の距離の比を立体類似度として算出し、前記フレーム画像ごとに算出した複数の前記立体類似度に基づいてなりすましを検知する
本発明によれば、写真などの平面物を用いたなりすましを高い精度で検知することができる。
本実施形態に係るなりすまし検知システムの構成図である。 登録情報の登録画面の一例を示す図である。 本実施形態に係る情報コードの一例を示す図である。 情報登録処理を示すフローチャートである。 認証処理を示すフローチャートである。 フレーム画像の取得方法の一例を示す図である。 ステップS205の連続性判定処理を示すフローチャートである。 ステップS207の平面判定処理を示すフローチャートである。 認証対象者が実在する場合と平面物に写された写真である場合のアスペクト比を説明するための図である。 ステップS208の立体判定処理を示すフローチャートである。
本発明に係るなりすまし検知システムの実施形態を、図面に基づいて説明する。図1は、なりすまし検知システム1の構成を示すブロック図である。図1に示すように、本実施形態に係るなりすまし検知システム1は、情報処理装置10のみで構成することができる。また、図示していないが、情報処理装置10と通信可能なサーバーを備え、情報処理装置10の一部の機能をサーバーで実行する構成とすることもできる。以下においては、単一の情報処理装置10で、認証の対象となる対象者(以下、対象者という)を認証する場面を例示して説明する。
情報処理装置10は、スマートフォン、タブレット、ノートパソコン、デスクトップパソコンなどの装置であり、図1に示すように、カメラ11と、ディスプレイ12と、記憶部13と、演算部14とを有する。カメラ11は、対象者の顔画像などを撮像する。ディスプレイ12は、認証結果の表示などを行う。記憶部13には、本実施形態に係るなりすまし検知プログラムを記憶するほか、予め登録した認証用の登録情報を含む情報コードを記憶している。演算部14は、記憶部13に記憶したプログラムを実行することで、対象者を認証するための登録情報を登録する情報登録機能と、登録情報を用いて対象者の認証を行う認証機能とを有する。なお、情報処理装置10は、なりすまし検知プログラムをサーバーからダウンロードすることができ、ダウンロードしたプログラムをインストールして実行することができる。以下に、情報処理装置10の各機能について説明する。
情報処理装置10の情報登録機能は、認証用の登録情報を登録する。情報登録機能は、たとえば、図2に示すように、対象者に、顔を撮像するように促す画像を、ディスプレイ12の画面に表示することで、対象者に顔画像を撮像させ、撮像された顔画像を取得する。そして、情報登録機能は、取得した対象者の顔画像から、対象者の目、鼻、口端、顔の輪郭などの特徴点を抽出する。なお、特徴点の抽出方法は、公知の方法で行うことができる。さらに、情報登録機能は、抽出した目、鼻、口端の位置座標や、顔の縦の長さと顔の横と長さとの比であるアスペクト比を、登録情報として算出する。なお、顔の縦の長さは、適宜設定することができ、たとえば、顎先から眉間の高さまでの距離、口端の高さから眉の高さまでの距離、顎先から目元の高さまでの距離などとすることができる。また、顔の横の長さも、適宜設定することができ、たとえば、右のこめかみから左のこめかみまでの距離とすることができる。また、情報登録機能は、顔の輪郭を検出し、検出した顔の輪郭のうち、横方向(目の並び方向)において最も長い距離と、縦方向(目の並び方向と垂直する方向)において最も長い距離との比を、顔の縦の長さと顔の横と長さとの比であるアスペクト比として検出することもできる。なお、本実施形態では、両目を通る直線を顔の横方向の直線と設定し、当該横方向における直線のうち、右のこめかみから左のこめかみまでの線分の長さを、顔の横方向の長さとして算出する。ただし、たとえば顔の傾きに関係なく、画像の左右方向を横方向として設定する構成としてもよいし、あるいは、ジャイロセンサーなどから水平方向を得ることで、水平方向を横方向として設定する構成としてもよい。また、本実施形態では、設定した顔の横方向の直線と直交する直線を、顔の縦方向の直線と設定し、当該縦方向における直線のうち、顎先から眉間までの線分、口端から眉までの線分、あるいは、顎先から目元までの線分の長さを、顔の縦方向の長さとして算出することができる。また、顔の横方向の長さおよび縦方向の長さは、長いほど高い精度が得られるため、縦方向の線分や横方向の線分を設定する場合には、顔の端部までの線分を設定することが好ましい。そして、情報登録機能は、登録情報を含む情報コード2を生成し、生成した情報コード2を記憶部13に記憶する。
ここで、図3は、本実施形態に係る情報コード2の一例を示す図である。図3に示すように、本実施形態に係る情報コード2は、情報を表示する単位となる2色以上の色付きの情報セル22から構成される情報コード領域21と、情報セル22の色を識別するため、情報セル22と同色であり、かつ、情報セル22と同じ色数の教師セル24を有する教師コード領域23と、切り出しシンボル25と、を有した方形状の二次元コードである。
情報コード領域21は、格子状に配列された、2色以上の情報セル22から構成される。情報セル22の色は、2色以上であれば、特に限定されず、たとえば白色と黒色の2色であってもよいし、白色および黒色以外の3色以上としてもよい。また、本実施形態において、情報コード2は、情報セル22の色の識別精度を高めるために、教師コード領域23に複数の教師セル24を有している。教師セル24の色の種類と、情報セル22の色の種類とは一致しており、教師セル24の色と情報セル22の色とを比較することで、情報セル22の色を高い精度で識別することが可能となっている。特に、カラーQRコードでは、色の種類が増えるほど、各色の色相が近くなるため、照明などの光環境、情報コード2の印刷環境、情報コード2のディスプレイなどへの表示環境、印刷した情報コード2の経年による退色などによっては情報セル22の色を適切に識別することが困難となる場合がある。このような場合でも、教師セル24を参照して、情報セル22の色を識別することで、情報セル22の情報を適切に把握することができる。たとえば、情報セル22の色情報が、紫がかっており、赤色に類似しているか、青色に類似しているかを識別することが困難な場合に、紫色の教師セル24の色情報よりも赤色に近い色情報である場合には、当該情報セル22の色は赤色であると判断することができる。なお、色情報は、RGB値やCMY値として数値化することができる。
情報コード領域21は、情報単位である情報セル22の表示パターンを変えることで、一定容量の文字情報および/またはバイナリ情報からなる特定情報を記録することができる。情報コード領域21が記録する特定情報の内容は、特に限定されないが、本実施形態では、生体認証用の生体認証情報を含む個人情報を記憶することができる。個人情報としては、生体認証情報に加えて、マイナンバー、パスポート番号、口座番号、免許証番号、名前、社会保険番号、誕生日、誕生地、旧姓などの情報を含めることができる。また、生体認証情報としては、顔画像、指紋情報、虹彩情報、掌形、網膜、血管、音声、耳形などを含めることができる。本実施形態では、生体認証情報として、顔画像、特に、特徴点となる目、鼻、口端の画像、座標、あるいはアスペクト比などの特徴点に基づく情報を記憶する構成を例示して説明する。
なお、本実施形態に係る情報コード2では、特定情報が記録される情報コード領域21は、3色以上の情報セル22から構成され、白色および黒色の2色から構成される情報コードと比べて、記録できる情報量が大きくなっている。しかしながら、情報コード2に記憶できるデータ容量は、他の記録媒体と比べて少ないため、顔認証が可能な程度の解像度で顔全体の画像を記録する場合、4色の情報セル22から構成される情報コード領域21でも記憶容量が足りなくなってしまうおそれがある。そこで、本実施形態に係る情報コード2では、利用者の顔全体ではなく、利用者の目、鼻や口端など、顔認証において特徴点となる顔の一部位だけを顔認証用の顔画像として記憶しておくことで、情報コード2に顔認証用の顔画像を記録することが可能となっている。
情報処理装置10の認証機能は、情報処理装置10を用いて認証を受けようとする対象者が、登録情報を登録した本人であるか否かを判定することで、対象者を認証する。特に、本実施形態において、認証機能は、写真などの平面物を用いたなりすましを防止するために、カメラ11で撮像した対象物の画像が、写真などの平面物であるか、立体物であるかを判定して、認証を行うことを特徴とする。なお、本実施形態に係る認証方法については後述する。
次に、本実施形態に係る情報登録処理について説明する。図4は、本実施形態に係る情報登録処理を示すフローチャートである。なお、図4に示す情報登録処理は、情報処理装置10の情報登録機能により実行される。なお、以下においては、図4に示す情報登録処理を行う者を登録対象者と称して説明する。
ステップS101では、情報登録機能により、カメラ11により撮像された登録対象者の顔画像が取得される。たとえば、情報登録機能は、図2に示すように、登録対象者の顔画像の撮像を促す画面をディスプレイ12に表示し、登録対象者に顔画像を撮像させることで、登録対象者の顔画像を取得することができる。
ステップS102では、情報登録機能により、登録対象者の顔画像の特徴点が検出される。具体的に、情報登録機能は、公知の方法を用いて、ステップS101で取得した撮像画像から、登録対象者の目、鼻、口端、顔の輪郭などの特徴点を検出する。続くステップS103では、情報登録機能により、ステップS102で検出した特徴点の正規化が行われる。たとえば、情報登録機能は、公知の方法を用いて、目や鼻、口端などが所定の基準位置に位置するように、特徴点の位置を変更する構成とすることができる。また、続くステップS104では、情報登録機能により、ステップS103で正規化した特徴点に基づいて、登録対象者の登録情報が生成される。たとえば、情報登録機能は、正規化した目、鼻、口端の位置座標を登録情報として生成することができる。また、情報登録機能は、登録対象者の顔の横の長さと縦の長さとの比であるアスペクト比を、登録情報として生成することができる。
ステップS105では、情報登録機能により、ステップS104で生成した登録情報を用いて、認証用の情報コード2が生成される。たとえば、情報登録機能は、公知の方法で、ステップS104で用いた登録情報を含む情報コード2を生成することができる。そして、続くステップS106では、情報登録機能により、ステップS105で生成した情報コード2が、記憶部13に記憶される。
次に、本実施形態に係る認証処理について説明する。本実施形態に係る認証処理は、認証処理を行う対象者(以下、認証対象者という)が、情報登録処理において登録された登録対象者(以下、登録者という)であるかを判定し、認証を行う処理である。特に、本実施形態に係る認証処理では、悪意のある認証対象者が、登録者の顔の写った写真、お面、顔の形状に合わせて折り曲げた写真などを用いて、なりすましをしている場合でも、認証対象者を適切に認証すること(なりすましを適切に検出すること)を目的としている。図5は、本実施形態に係る認証処理を示すフローチャートである。なお、図5に示す認証処理は、情報処理装置10の認証機能により実行される。
ステップS201では、認証機能により、予め登録情報として登録されている登録者と、認証を行う認証対象者とが同一人物であるかを判定するための本人認証処理が行われる。認証機能は、まず、図4に示す情報登録処理で登録された登録情報を取得する。本実施形態では、情報処理装置10の記憶部13に情報コード2の形式で登録者の顔の特徴点の情報(目、鼻、口端、顔の輪郭などの位置情報や、顔の縦の長さと横と長さとのアスペクト比)が登録情報として記憶されており、認証機能は、記憶部13から登録情報を含む情報コード2を取得し、取得した情報コード2から登録情報を抽出することができる。また、認証機能は、認証対象者の顔撮像画像を取得する。たとえば、認証機能は、ディスプレイ12に、「顔を正面から写してください。」などのコメントを重畳した画面を表示することで、カメラ11に、認証対象者の顔を正面から撮像させ、正面から撮像された認証対象者の顔撮像画像を取得することができる。そして、認証機能は、取得した認証対象者の顔撮像画像から特徴点を検出する。そして、認証機能は、登録情報として登録されている登録者の顔の特徴点と、認証対象者の顔の特徴点とを比較し、類似度を算出する。たとえば、認証機能は、登録者の顔画像および認証対象者の顔画像において、鼻と眼までの距離、鼻と口までの距離、顔輪郭の左右の距離、額から顎までの距離などを算出し、これら距離を比較することで、比較結果を類似度として算出することができる。
ステップS202では、認証機能により、ステップS201で算出した類似度に基づいて、認証対象者が登録者本人であるか否かの判定が行われる。たとえば、認証機能は、ステップS201で算出した登録者および認証対象者の鼻と眼までの距離、鼻と口までの距離、顔輪郭の左右の距離、および/または、額から顎までの距離が、所定値以下である場合に、認証対象者が登録者本人であると認定することができる。そして、認証機能は、認証対象者が登録者本人であると判定した場合は、ステップ203に進み、一方、認証対象者が登録者本人ではないと判定した場合には、ステップS212に進み、認証エラーの表示を行う。
なお、登録者と認証対象者とが同一人物である場合でも顔の向きなどに応じて、各特徴点の位置にずれが生じる場合がある。そのため、ステップS201,S202において、認証機能は、以下のように、登録者と認証対象者とが同一人物か判定する構成とすることもできる。すなわち、特徴点は目、鼻、口端、顔の輪郭などの部位に高い密度で分布する傾向があるため、登録情報に登録されている登録者の特徴点の分布のうち分布密度が所定値d以上となる半径r1の範囲と、認証対象者の特徴点の分布のうち分布密度が所定値d以上となる半径r2の範囲とが一部重複する場合に、同一の部位(目、鼻、口端、顔の輪郭など)に対応する特徴点であると特定し、各部位の特徴点がそれぞれ一部重複する場合に、同一人物と認定する構成とすることができる。また、認証機能は、公知の方法により、登録情報として取得した登録者の顔の向きや大きさ一致するように、認証対象者の顔画像から抽出した特徴点の位置を補正してから、同一人物かを判定する構成とすることができる。
ステップS203では、異なるアングルで撮像された認証対象者の複数の顔撮像画像を用いてなりすましを判定するために、認証機能により、認証対象者に対して首振りの指示が行われる。たとえば、認証機能は、ディスプレイ12に「首を横に振ってください」などとコメントを重畳した画面を表示することで、図6(A)~(C)に示すように、カメラ11に、異なるアングルで認証対象者の顔画像を撮像させることができる。なお、以下においては、異なるアングルで撮像された複数の顔撮像画像のそれぞれをフレーム画像と称す。
ステップS204では、認証機能により、基準アスペクト比の取得が行われる。基準アスペクト比は、後述するステップS207の平面判定処理で利用される。本実施形態では、図5に示す認証処理を開始してから最初に撮像した、認証対象者の顔画像(フレーム画像)から、認証対象者の顔の縦の長さと横の長さとの比をアスペクト比として算出し、算出したアスペクト比を、基準アスペクト比として設定する。また、本実施形態では、登録者の特徴点の情報(目、鼻、口端、顔の輪郭などの位置情報や、顔の縦の長さと横と長さとのアスペクト比)が登録情報として記憶部13に記憶されており、登録情報として記憶する登録者の顔のアスペクト比を、基準アスペクト比として取得する構成とすることもできる。さらに、複数のフレーム画像のうち、認証対象者が正面を向いたタイミングなど、所定のタイミングで撮像されたフレーム画像から検出した認証対象者の顔のアスペクト比を、基準アスペクト比として取得する構成とすることもできる。
ステップS205~S209では、フレーム画像ごとに、後述する連続性判定処理、平面判定処理、および立体判定処理が行われる。以下においては、処理対象となるフレーム画像を対象フレーム画像と称して説明する。
ステップS205では、認証機能により、連続性判定処理が行われる。連続性判定処理とは、認証対象者が、認証対象者の実際の顔(立体物)と、登録者の顔を写した写真やお面などの平面物の両方を用いて、なりすましを行っていないかを判定するための処理である。すなわち、写真やお面などの平面物だけを用いた場合に、認証が行われないことを知っている悪意ある認証対象者が、写真やお面などの平面物と、認証対象者の実際の顔とをカメラ11に写すことで、なりすましを行うことが想定される。連続性判定処理では、このような場合でも、認証対象者のなりすましを適切に検出することを目的としている。ここで、図7は、ステップS205の連続性判定処理を示すフローチャートである。以下に、図7に基づいて、ステップS205の連続性判定処理について説明する。
まず、ステップS301では、認証機能により、認証対象者の顔を撮像したフレーム画像から特徴点が検出される。たとえば、本実施形態において、認証機能は、登録情報に含まれる特徴点の情報を用いて、対象フレーム画像から特徴点を抽出する。特徴点の抽出方法は特に限定されず、公知の方法を用いることができる。
ステップS302では、認証機能により、対象フレーム画像から検出した特徴点の位置と、対象フレーム画像の1つ前に取得したフレーム画像(以下、前回フレーム画像)から検出した特徴点の位置との比較が行われる。そして、続くステップS303では、認証機能により、ステップS302で比較された対象フレーム画像と前回フレーム画像とで、対応する特徴点の距離が閾値TL以上であるか否かの判定が行われる。たとえば、認証機能は、連続する対象フレーム画像と前回フレーム画像との間において、同一要素(たとえば目、鼻、口端、顔の輪郭など)に対する特徴点を対応する特徴点として要素ごとに特定し、対応する特徴点の距離(位置の差)を要素ごとに算出する。そして、認証機能は、対応する特徴点の距離の合計値あるいは平均値が、所定の閾値TL以上であるか否かを判定する。ここで、上記閾値TLは、特に限定されないが、実証実験などにより、認証対象者が、認証対象者の実際の顔と、登録対象者の写真画像の両方を用いて、なりすましを行っていると判定できる距離を、上記閾値TLとして設定することができる。
ステップS303において、連続するフレーム画像間の対応する特徴点の距離が閾値TL満である場合は、ステップS304に進む。ステップS304では、認証機能により、連続して撮像されたフレーム画像に連続性があり、認証対象者の実際の顔と登録者の写真画像の両方を用いてなりすましを行っていないと判定される。また、ステップS303において、対応する特徴点の距離が閾値TL以上であると判定された場合は、ステップS305に進み、認証機能により、連続して撮像されたフレーム画像には連続性がなく、認証対象者の実際の顔と登録者の写真画像の両方を用いてなりすましを行っていると判定される。そして、図5に戻り、ステップS206に進む。
ステップS206では、認証機能により、ステップS205の連続判定処理において、連続性があると判定されたかの判定が行われる。連続性があると判定された場合は、ステップS207に進む。一方、連続性がないと判定された場合は、ステップS212に進み、認証機能により、認証対象者と登録者とは同一人物ではないとして、認証エラーの表示が行われる。なお、図7に示す連続判定処理においては、全てのフレーム画像について連続性を判定する構成としてもよいし、認証対象者が首振りを開始してから所定時間(たとえば1秒間)のフレーム画像のみだけ連続性を判定する構成としてもよいし、さらに、ランダムに抽出したフレーム画像について連続性を測定する構成としてもよい。また、1つのフレーム画像でも連続性がないと判定された場合はなりすましがあると判定する構成としてもよし、所定数以上のフレーム画像において連続性がないと判定された場合になりすましがあると判定する構成としてもよい。
続くステップS207では、認証機能により、平面判定処理が行われる。平面判定処理とは、認証対象者が、写真などの平面物を用いてなりすましを行っていないか否かを判定するための処理である。ここで、図8は、ステップS207の平面判定処理を示すフローチャートである。以下に、図8に基づいて、ステップS207の平面判定処理について説明する。
まず、ステップS401では、認証機能により、対象フレーム画像の特徴点のうち、たとえば、顔の輪郭、あるいは、左右こめかみの位置および顎と眉間の位置に基づいて、認証対象者の顔の縦の長さと横の長さとの比が、認証対象者の顔のアスペクト比として算出される。また、ステップS402では、認証機能により、ステップS401で算出した認証対象者の顔のアスペクト比R1と、図5に示すステップS204で取得した基準アスペクト比R2とに基づいて、平面類似度が算出される。具体的に、認証機能は、基準アスペクト比R2に対する、認証対象者の顔のアスペクト比R1の変化率を、平面類似度として算出する。たとえば、認証機能は、(基準アスペクト比R2-認証対象者の顔のアスペクト比R1)/基準アスペクト比R2の絶対値|(R2-R1)/R2|を、平面類似度として算出することができる。
ここで、図9は、認証対象者が実在する場合と写真などの平面物に写された顔画像である場合のアスペクト比を説明するための図であり、(A)は実在の認証対象者が正面を向いた状態で撮像したフレーム画像であり、(B)は写真を斜め方向に傾けて、その写真を撮像したフレーム画像であり、(C)は実在の認証対象者が斜め方向に向いた状態で撮像したフレーム画像である。また、図9(A)~(C)では、各フレーム画像の顔の縦の長さおよび横の長さを実線の矢印で示している。また、図9(B),(C)では、図9(A)における顔の横の長さH0を破線で重畳して示している。さらに、図9(B),(C)では、図9(A)おける顔の横の長さと、図9(B),(C)における顔の横の長さとの差をW1,W2として示している。
図9に示す例では、(A)~(C)において、顔の縦の長さV0~V2が同じ長さとなるように、認証対象者および写真のカメラ11からの距離を調整している。ここで、図9(B)に示すように、写真を斜め方向に傾けた場合(ヨー方向に回転させた場合)、写真を傾けた角度の分だけ写真に写る対象者の顔の横の長さH1は短くなる。一方、図9(C)に示すように、認証対象者が実在する場合は、認証対象者が顔を斜め方向に向けても、認証対象者が正面を向いている(A)の顔の横の長さH0と比べて、認証対象者の顔の横の長さH2は大きくは変化しない。そのため、図9(C)に示すように、認証対象者の実際の顔では、認証対象者が斜め方向を向いている場合の顔の横の長さH1と、認証対象者が正面を向いている場合の顔の長さH0との差W2は小さくなるが、図9(B)に示すように、平面物に写った顔画像では、平面物を斜め方向に向けた場合の認証対象者の顔の横の長さH1と、実在の認証対象者が正面を向いた場合の顔の長さH0との差W1は大きくなる。その結果、認証対象者の実際の顔が斜め方向を向いた場合の認証対象者の顔のアスペクト比は、基準アスペクト比に近い値となり、基準アスペクト比からの変化率が小さくなるため、平面類似度は小さくなる傾向にある。一方、平面物に写した認証対象者が斜め方向を向いた場合の認証対象者の顔のアスペクト比は、平面物を斜め方向に傾けるほど、基準アスペクト比から離れることとなり、基準アスペクト比からの変化率は大きくなり、平面類似度が高くなる傾向にある。
そのため、実際の顔で認証しようとする認証対象者が、首振りの指示に基づいて、首を横に振って実際の顔を回転させた場合に、平面類似度が所定値TS以上となるフレーム画像の数は少なくなる。一方で、なりすましをしようとする第三者が、首振りの指示に基づいて、平面物に写した顔画像を、首を横に振るように回転させた場合に、平面類似度が所定値TS以上となるフレーム画像の数は多くなる。そこで、本実施形態では、平面類似度が所定値TS以上となるフレーム画像の数を平面スコアS1としてカウントし、平面スコアS1に基づいて、写真などの平面物を用いたなりすましを検出する。
すなわち、ステップS403では、認証機能により、ステップS402で算出した平面類似度が所定値TS以上であるか否かの判断が行われる。平面類似度が所定値TS以上である場合には、ステップS404に進み、認証機能により、平面スコアS1がカウントアップされる。一方、平面類似度が所定値TS未満である場合には、ステップS404に進まず、図8に示す平面判定処理を終了する。なお、本実施形態では、フレーム画像ごとに平面類似度が算出され、各フレーム画像において平面類似度が所定値TS以上であると判定される度に平面スコアS1がカウントアップされる。そのため、平面スコアS1は、認証対象者の顔が平面物に写した顔画像である可能性を示す指標であり、平面スコアS1が高いほど認証対象者が平面物に写した顔画像である可能性が高いと判断することができる。
ステップS208では、認証機能により、立体判定処理が行われる。立体判定処理とは、フレーム画像が実在の人物などの立体物を撮像したものかを判定するための処理である。図10は、ステップS208の立体判定処理を示すフローチャートである。以下に、図10に基づいて、ステップS208の立体判定処理について説明する。
図10に示すように、まず、ステップS501では、認証機能により、対象フレーム画像の複数の特徴点のうち、顔の幅方向において離れて位置する少なくとも3つの特徴点が抽出され、これら特徴点間の距離(顔の右側と左側の距離)が算出される。このような特徴点としては、できる限り離れた位置にあることが好ましく、たとえば、鼻と左右の頬、鼻と左右のこめかみ、鼻と左右の輪郭、鼻と左右の耳などに対応する特徴点が例示される。たとえば、認証機能は、認証対象者の左の頬から鼻までの距離をL1として算出し、右の頬から鼻までの距離をL2として算出する構成とすることができ、また、認証対象者の左のこめかみから鼻まで距離をL1として算出し、右のこめかみから鼻までの距離をL2として算出する構成とすることもでき、あるいは、左耳から鼻までの距離をL1として、右耳から鼻までの距離をL2として算出する構成とすることもできる。なお、本実施形態では、認証機能は、認証対象者の左の頬から鼻までの距離L1と、右の頬から鼻までの距離L2とを算出する。
また、本実施形態では、顔の凹凸も含めて、距離L1およびL2を算出する構成とすることが好ましい。たとえば、認証機能は、顔の凹凸方向における距離(凹凸の高さ)を実際の距離よりも大きく算出することで、顔の凹凸を加味して、立体物であるかを判定する構成とすることができる。なお、顔の凹凸の高さは、公知の方法を用いて算出することができ、連続するフレーム画像間の特徴点の変化から求める構成としてもよいし、あるいは、情報処理装置10がLiDARなどのセンサーを内蔵しており、LiDARなどで高さ情報も取得する構成としてもよい。
ステップS502では、認証機能により、ステップS501で算出した特徴点の距離L1,L2が比較され、比較結果が立体類似度として算出される。本実施形態では、認証機能は、認証対象者の左の頬から鼻までの距離L1と、右の頬から鼻までの距離L2との比(L1/L2)を、立体類似度として算出する。
ここで、写真などの平面物に写った顔画像の場合、平面物の向きを変えた場合も、認証対象者の左の頬から鼻までの距離L1と、右の頬から鼻までの距離L2はほぼ変化しないため、立体類似度が、既に算出した別のフレーム画像に基づく立体類似度に近似する頻度は多くなる。これに対して、実際の認証対象者の顔人物(立体物)の場合、顔の向きを変えた場合には、認証対象者の左の頬から鼻までの距離L1と、右の頬から鼻までの距離L2との比(L1/L2)は大きく変化する傾向にあるため、既に算出した別のフレーム画像に基づく立体類似度と近似する頻度は少なくなる。そこで、本実施形態では、立体類似度が既出の立体類似度と近似しないフレーム画像の数を立体スコアS2としてカウントし、立体スコアS2に基づいて、認証対象者が実在の人物(立体物)であるかを判定する。
すなわち、ステップS503では、認証機能により、ステップS502で算出した立体類似度が、既に算出した別のフレーム画像に基づく立体類似度から一定範囲内にあり近似するか否かの判定が行われる。立体類似度が既出の立体類似度から一定範囲を超えた範囲にあり近似しない場合は、ステップS504に進み、認証機能により、立体スコアS2がカウントアップされる。さらに、続くステップS3において、認証機能により、平面スコアS1がカウントダウンされる。一方、立体類似度が既出の立体類似度から一定範囲内にあり近似する場合には、図10に示す立体判定処理を終了し、図5に示すステップS209に進む。なお、本実施形態では、フレーム画像ごとに立体類似度が算出され、各フレーム画像において立体類似度が既出の立体類似度と近似しない度に立体スコアS2がカウントアップされる。そのため、立体スコアS2は、認証対象者が実在する人物(立体物)である可能性を示す指標であり、立体スコアS2が高いほど認証対象者が実在する人物である可能性が高いとも言える。なお、立体類似度が既出の立体類似度に近似するか否かの基準となる一定範囲の大きさは、特に限定されず、実証実験などで適宜設定することができる。
ステップS209では、認証機能により、平面スコアS1と立体スコアS2との差の絶対値が所定の差分D以上であるか判定される。ここで、差分Dは、平面スコアS1と立体スコアS2とに大差がついており、認証対象者が実物の人物または写真などの平面物であると判定できる閾値を設定することが好ましく、実証実験などで適切な差分Dを設定することができる。平面スコアS1と立体スコアS2との差の絶対値が差分D未満である場合は、判定が十分ではなく、別のフレーム画像に基づいて平面スコアS1および立体スコアS2を算出するため、ステップS205に戻り、対象フレーム画像の次に取得された別のフレーム画像を対象フレーム画像として、ステップS205~S208の処理が行われる。これに対して、平面スコアS1と立体スコアS2との差の絶対値が差分D以上である場合には、ステップS210に進む。
ステップS210では、認証機能により、立体スコアS2が平面スコアS1よりも大きいか否かの判定がされる。立体スコアS2が平面スコアS1よりも大差(差分D以上の差)で大きい場合には、ステップS211に進み、認証対象が認証対象者の実際の顔であると判定され、認証できた旨(認証成功)の情報が、ディスプレイ12に出力される。一方、平面スコアS1が立体スコアS2よりも大差(差分D以上の差)で大きい場合には、ステップS212に進み、認証できない旨(認証エラー)の情報が、ディスプレイ12に出力される。
以上のように、本実施形態では、カメラ11により撮像された複数のフレーム画像ごとに、認証対象者の顔の縦の長さと横の長さとの比をアスペクト比として検出し、基準アスペクト比に対する、認証対象者のアスペクト比の変化率を平面類似度としてフレーム画像ごとに算出し、平面類似度に基づいて、対象者が写真などの平面物に写った人物であるかを判定することができ、写真などの平面物を用いたなりすましを高い精度で検出することができる。特に、本実施形態では、立体物を判定する立体物判定処理と併用して、平面物を判定する平面物判定処理を行うことで、なりすましをより高い精度で行うことが可能となる。すなわち、本実施形態では、平面物判定処理で平面物ではない判定された場合も、立体物判定処理で立体物ではないと判定された場合には、認証エラーとすることで、写真などの平面物を用いた認証をより高い精度で行うことが可能となる。また、本実施形態では、フレーム画像ごとに平面判定処理を行い、平面物であると判定されたフレーム画像の数を平面スコアS1としてスコア化するとともに、立体物であると判定されたフレーム画像の数を立体スコアS2としてスコア化する。そして、平面スコアS1と立体スコアS2との差が差分D以上と大きな差が開いた場合には、平面スコアS1が立体スコアS2よりも高い場合には平面物として判定し、立体スコアS2が平面スコアS1よりも高い場合には立体物として判定することで、認証対象者が平面物であるかを複数のフレーム画像を用いて総合的に判定することができ、なりすましの判定精度を高めることができる。加えて、本実施形態では、記憶容量の小さいアスペクト比を用いることで、登録情報の記憶容量が制限される場合でも、なりすまし判定を適切に行うことが可能となる。
以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。
たとえば、上述した実施形態では、登録情報を情報コード2に含めた形態で記憶する構成を例示したが、この構成に限定されず、登録情報をそのまま記憶する構成とすることができる。
また、上述した実施形態では、基準アスペクト比R2に対する、認証対象者の顔のアスペクト比R1の変化率の絶対値|(R2-R1)/R2|を平面類似度として算出する構成を例示したが、この構成に限定されず、たとえば、認証対象者の顔のアスペクト比R1と基準アスペクト比R2との変化量(差)の絶対値|R1-R2|を平面類似度として算出する構成とすることができる。この場合、平面類似度が所定値TS’以上である場合に、平面スコアS1をカウントアップし、平面類似度が所定値TS’未満である場合に、平面スコアS1をカウントアップしない構成とすることができる。
さらに、上述した実施形態では、認証対象者の左頬から鼻までの距離L1と右頬から鼻までの距離L2との比(L1/L2)を、立体類似度として算出する構成を例示したが、この構成に限定されず、たとえば、認証対象者の左頬から鼻までの距離L1と右頬から鼻までの距離L2との差(L1-L2)を立体類似度として算出する構成とすることができる。この場合も、立体類似度が既出の立体類似度と近似する場合に立体スコアS2をカウントアップする構成とすることができる。
加えて、上述した実施形態では、立体判定処理において、認証対象者の左の頬から鼻までの距離L1と、右の頬から鼻までの距離L2との比(L1/L2)を、立体類似度として算出する構成を例示したが、たとえば、上下方向への首振りも加味して立体物であるか否かを判定するために、さらに、顎とおでこを特徴点として検出し、顎から鼻までの距離L3と、鼻からおでこまでの距離L4を用いて、これらの比(L3/L4)も、立体類似度として算出する構成とすることができる。この場合、L1/L2で表される立体類似度が既出の立体類似度と近似すること、および/または、L3/L4で表される立体類似度が既出の立体類似度と近似することで、平面物と判定する構成とすることができる。
1…なりすまし検知システム
10…情報処理装置
11…カメラ
12…ディスプレイ
13…記憶部
14…演算部
2…情報コード
21…情報コード領域
22…情報セル
23…教師コード領域
24…教師セル
25…切り出しシンボル

Claims (8)

  1. 認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知システムであって、
    認証対象者の顔を異なるアングルで複数フレーム撮像する撮像手段と、
    前記撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段と、
    異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段と、を有し、
    前記なりすまし検知手段は、各フレーム画像における複数の特徴点のうち、顔の幅方向において離れて位置する少なくとも3つの特徴点を抽出し、抽出した特徴点における、顔の右側と左側とにおける特徴点間の距離の比を立体類似度として算出し、前記フレーム画像ごとに算出した複数の前記立体類似度に基づいてなりすましを検知する、なりすまし検知システム。
  2. 前記なりすまし検知手段は、前記立体類似度に加えて、前記フレーム画像ごとに、基準アスペクト比に対する、前記認証対象者の顔のアスペクト比の変化率または変化量を、平面類似度として算出し、算出した複数の前記平面類似度に基づいて、なりすましを検知する請求項1に記載のなりすまし検知システム。
  3. 認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知システムであって、
    認証対象者の顔を異なるアングルで複数フレーム撮像する撮像手段と、
    前記撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段と、
    異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段と、を有し、
    前記なりすまし検知手段は、前記フレーム画像ごとに、基準アスペクト比に対する、前記認証対象者の顔のアスペクト比の変化率または変化量を、平面類似度として算出し、算出した複数の前記平面類似度に基づいて、なりすましを検知し、
    前記なりすまし検知手段は、予め登録されている本人の顔のアスペクト比、または、前記複数のフレーム画像のうち、最初に撮像されたフレーム画像における認証対象者の顔のアスペクト比を、前記基準アスペクト比として取得する、なりすまし検知システム。
  4. 前記なりすまし検知手段は、前記フレーム画像ごとに、前記平面類似度が所定値以上である場合に平面スコアをカウントアップするとともに、前記立体類似度が所定値以上である場合に立体スコアをカウントアップする処理を行い、前記平面スコアが前記立体スコアに対して所定の差分D以上となった場合に、なりすましがあると検知し、前記立体スコアが前記平面スコアに対して前記差分D以上となった場合に、なりすましがないと検知する、請求項に記載のなりすまし検知システム。
  5. 認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知システムであって、
    認証対象者の顔を異なるアングルで複数フレーム撮像する撮像手段と、
    前記撮像手段により撮像された複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出手段と、
    異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知手段と、を有し、
    前記特徴検出手段は、異なるアングルで撮像したフレーム画像ごとに、対象者の顔の特徴点の位置を検出し、
    前記なりすまし検知手段は、前記フレーム画像ごとに、連続して撮像された他のフレーム画像との特徴点の位置の差を算出し、前記差が閾値TL以上である場合に、平面物および立体物の両方を用いたなりすましがあると判定する処理をさらに行う、なりすまし検知システム。
  6. 認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知プログラムであって、コンピューターに、
    認証対象者を異なるアングルで撮像した複数のフレーム画像を取得する取得機能と、
    前記複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出機能と、
    異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知機能と、を実行させ
    前記なりすまし検知機能は、各フレーム画像における複数の特徴点のうち、顔の幅方向において離れて位置する少なくとも3つの特徴点を抽出し、抽出した特徴点における、顔の右側と左側とにおける特徴点間の距離の比を立体類似度として算出し、前記フレーム画像ごとに算出した複数の前記立体類似度に基づいてなりすましを検知する、プログラム。
  7. 認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知プログラムであって、コンピューターに、
    認証対象者を異なるアングルで撮像した複数のフレーム画像を取得する取得機能と、
    前記複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出機能と、
    異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知機能と、を有し、
    前記なりすまし検知機能は、前記フレーム画像ごとに、基準アスペクト比に対する、前記認証対象者の顔のアスペクト比の変化率または変化量を、平面類似度として算出し、算出した複数の前記平面類似度に基づいて、なりすましを検知し、
    前記なりすまし検知機能は、予め登録されている本人の顔のアスペクト比、または、前記複数のフレーム画像のうち、最初に撮像されたフレーム画像における認証対象者の顔のアスペクト比を、前記基準アスペクト比として取得する、プログラム。
  8. 認証対象者が実在する人物であるか平面物に写された人物であるかを検出するなりすまし検知プログラムであって、コンピューターに、
    認証対象者を異なるアングルで撮像した複数のフレーム画像を取得する取得機能と、
    前記複数のフレーム画像のそれぞれから、認証対象者の顔の縦の長さと横の長さとの比であるアスペクト比を検出する特徴検出機能と、
    異なるアングルで撮像された認証対象者の顔のアスペクト比に基づいて、平面物による人物のなりすましを検知するなりすまし検知機能と、を実行させ、
    前記特徴検出機能は、異なるアングルで撮像したフレーム画像ごとに、対象者の顔の特徴点の位置を検出し、
    前記なりすまし検知機能は、前記フレーム画像ごとに、連続して撮像された他のフレーム画像との特徴点の位置の差を算出し、前記差が閾値TL以上である場合に、平面物および立体物の両方を用いたなりすましがあると判定する処理をさらに行う、プログラム。
JP2023040020A 2023-03-14 2023-03-14 なりすまし検知システムおよびなりすまし検知プログラム Active JP7457991B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023040020A JP7457991B1 (ja) 2023-03-14 2023-03-14 なりすまし検知システムおよびなりすまし検知プログラム
US18/868,168 US12450944B2 (en) 2023-03-14 2024-02-15 Impersonation detection system and impersonation detection program
CN202480002650.1A CN119234260A (zh) 2023-03-14 2024-02-15 假冒检测系统及假冒检测程序
PCT/JP2024/005375 WO2024190260A1 (ja) 2023-03-14 2024-02-15 なりすまし検知システムおよびなりすまし検知プログラム
TW113105673A TWI875480B (zh) 2023-03-14 2024-02-17 假冒偵測系統及假冒偵測程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023040020A JP7457991B1 (ja) 2023-03-14 2023-03-14 なりすまし検知システムおよびなりすまし検知プログラム

Publications (2)

Publication Number Publication Date
JP7457991B1 true JP7457991B1 (ja) 2024-03-29
JP2024130349A JP2024130349A (ja) 2024-09-30

Family

ID=90417693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023040020A Active JP7457991B1 (ja) 2023-03-14 2023-03-14 なりすまし検知システムおよびなりすまし検知プログラム

Country Status (5)

Country Link
US (1) US12450944B2 (ja)
JP (1) JP7457991B1 (ja)
CN (1) CN119234260A (ja)
TW (1) TWI875480B (ja)
WO (1) WO2024190260A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010686A (ja) 2012-06-29 2014-01-20 Secom Co Ltd 顔画像認証装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241402A (ja) * 2006-03-06 2007-09-20 Sharp Corp 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
JP5445460B2 (ja) 2008-10-28 2014-03-19 日本電気株式会社 なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
JP5159950B2 (ja) * 2009-05-28 2013-03-13 株式会社東芝 画像処理装置、方法、プログラム
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
EP3208770B1 (en) * 2014-10-15 2022-05-04 Nec Corporation Impersonation detection device, impersonation detection method, and recording medium
CN105023010B (zh) * 2015-08-17 2018-11-06 中国科学院半导体研究所 一种人脸活体检测方法及系统
US10331942B2 (en) * 2017-05-31 2019-06-25 Facebook, Inc. Face liveness detection
CN107437067A (zh) * 2017-07-11 2017-12-05 广东欧珀移动通信有限公司 人脸活体检测方法及相关产品
CN108229120B (zh) * 2017-09-07 2020-07-24 北京市商汤科技开发有限公司 人脸解锁及其信息注册方法和装置、设备、程序、介质
IT201800006758A1 (it) * 2018-06-28 2019-12-28 Sistema e metodo di verifica in linea dell’identità di un soggetto
CN110688878B (zh) * 2018-07-06 2021-05-04 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
WO2020121308A1 (en) * 2018-12-11 2020-06-18 Cvaid Ltd. Systems and methods for diagnosing a stroke condition
CN113678164B (zh) * 2019-04-19 2025-06-27 富士通株式会社 图像处理装置、图像处理方法以及计算机可读存储介质
US11804070B2 (en) * 2019-05-02 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
JP6989859B2 (ja) 2020-04-10 2022-01-12 有限会社バラエティーエム・ワン 情報コード、情報コード生成装置、情報コード読取装置、プログラムおよび情報コード利用システム
WO2022006693A1 (en) * 2020-07-06 2022-01-13 Polycom Communications Technology (Beijing) Co. Ltd. Videoconferencing systems with facial image rectification
CN113627300A (zh) * 2021-08-02 2021-11-09 中电福富信息科技有限公司 基于深度学习的人脸识别与活体检测方法
CN114648787B (zh) * 2022-02-11 2025-10-31 华为技术有限公司 人脸图像的处理方法及相关设备
US20230419737A1 (en) * 2022-06-27 2023-12-28 Onfido Ltd. Methods and systems for detecting fraud during biometric identity verification
US20240021020A1 (en) * 2022-07-12 2024-01-18 Subex Assurance Llp Methods and Systems for Secure Face Liveness Detection
CN115512409A (zh) * 2022-09-21 2022-12-23 中科弘拓(苏州)智能科技有限公司 一种人脸活体检测方法、装置、电子设备和存储介质
US20250037509A1 (en) * 2023-07-29 2025-01-30 Regula Forensics, Inc. System and method for determining liveness using face rotation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010686A (ja) 2012-06-29 2014-01-20 Secom Co Ltd 顔画像認証装置

Also Published As

Publication number Publication date
TWI875480B (zh) 2025-03-01
JP2024130349A (ja) 2024-09-30
US12450944B2 (en) 2025-10-21
WO2024190260A1 (ja) 2024-09-19
US20250118104A1 (en) 2025-04-10
CN119234260A (zh) 2024-12-31
TW202437211A (zh) 2024-09-16

Similar Documents

Publication Publication Date Title
US10546183B2 (en) Liveness detection
JP7242528B2 (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
EP3332403B1 (en) Liveness detection
JP7269711B2 (ja) 生体認証システム、生体認証方法およびプログラム
KR101810190B1 (ko) 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
EP4343689A1 (en) Body part authentication system and authentication method
EP3642756A1 (en) Detecting artificial facial images using facial landmarks
JP2007280367A (ja) 顔照合装置
CN113614731A (zh) 使用软生物特征的认证验证
KR102807290B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
CN110008943B (zh) 一种图像处理方法及装置、一种计算设备及存储介质
US11354940B2 (en) Method and apparatus for foreground geometry and topology based face anti-spoofing
JP7457991B1 (ja) なりすまし検知システムおよびなりすまし検知プログラム
JP6446676B1 (ja) 本人認証システム、方法およびプログラム
JP2005084979A (ja) 顔認証システムおよび方法並びにプログラム
US11335123B2 (en) Live facial recognition system and method
EP4479872A1 (en) Method for determining an access right of a user, requesting computer device, authenticating computer device, and authenticating system
US11830284B2 (en) Passive three-dimensional object authentication based on image sizing
CN114067383B (zh) 基于宏观结构和微观结构图像尺寸的被动三维面部成像
CN117561551A (zh) 判定方法、判定程序以及信息处理装置
JP2007004534A (ja) 顔判別方法および装置ならびに顔認証装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231212

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7457991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150