[go: up one dir, main page]

JP7534045B2 - オン－デバイストレーニング基盤のユーザ認識方法及び装置 - Google Patents

オン－デバイストレーニング基盤のユーザ認識方法及び装置 Download PDF

Info

Publication number
JP7534045B2
JP7534045B2 JP2020136959A JP2020136959A JP7534045B2 JP 7534045 B2 JP7534045 B2 JP 7534045B2 JP 2020136959 A JP2020136959 A JP 2020136959A JP 2020136959 A JP2020136959 A JP 2020136959A JP 7534045 B2 JP7534045 B2 JP 7534045B2
Authority
JP
Japan
Prior art keywords
user
neural network
data
training
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020136959A
Other languages
English (en)
Other versions
JP2021039749A (ja
Inventor
▲ど▼ 煥 李
圭 洪 金
在 濬 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190127239A external-priority patent/KR20210026982A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2021039749A publication Critical patent/JP2021039749A/ja
Application granted granted Critical
Publication of JP7534045B2 publication Critical patent/JP7534045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Description

以下の実施形態は、オン－デバイストレーニング基盤のユーザ認識方法及び装置に関する。
認識プロセスの技術的な自動化は、例えば、特殊な算出構造としてプロセッサで具現化されたニューラルネットワークモデルを介して具現化され、これは相当な訓練後に入力パターンと出力パターンとの間で算出上の直観的なマッピングを提供することができる。このようなマッピングを生成する訓練された能力は、神経網の学習能力といえる。しかも、特化した訓練により、このように特化して訓練された神経網は、例えば、訓練していない入力パターンに対して比較的正確な出力を生成する一般化能力を有する。
以下の実施形態は、オン－デバイストレーニング基盤のユーザ認識方法及び装置を提供することにその目的がある。
一実施形態によれば、認識方法は、ユーザ登録のために正当なユーザによって入力されたユーザデータを受信するステップと、一般化されたユーザに対応する参照データ及び前記ユーザデータに基づいて、特徴抽出器に関するオン－デバイストレーニングを行うステップと、前記ユーザデータの入力に反応した前記特徴抽出器の出力に基づいて、登録特徴ベクトルを決定するステップと、ユーザ認識のためにテストユーザによって入力されたテストデータを受信するステップと、前記テストデータの入力に反応した前記特徴抽出器の出力に基づいて、テスト特徴ベクトルを決定するステップと、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の比較に基づいて、前記テストユーザに関するユーザ認識を行うステップとを含む。
前記特徴抽出器は、固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含み、前記オン－デバイストレーニングによって前記第２ニューラルネットワークの前記調整可能なパラメータが調整されることができる。前記第１ニューラルネットワークは、大規模ユーザデータベースに基づいて入力データから特徴を抽出するように予めトレーニングされることができる。前記オン－デバイストレーニングを行うステップは、前記ユーザデータ及び前記参照データのそれぞれに相異なる値のレーベルを割り当てるステップと、前記ユーザデータ及び前記参照データの入力に反応した前記特徴抽出器の出力と前記レーベルとの間の比較に基づいて、前記オン－デバイストレーニングを行うステップとを含むことができる。
前記特徴抽出器は、固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含み、前記オン－デバイストレーニングを行うステップは、前記第１ニューラルネットワークに前記ユーザデータを入力するステップと、前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び前記参照データを前記第２ニューラルネットワークに入力するステップと、前記第２ニューラルネットワークの出力に基づいて、前記オン－デバイストレーニングを行うステップとを含むことができる。前記参照データは、前記一般化されたユーザに対応する一般化された特徴ベクトルを含み、前記一般化された特徴ベクトルは、複数の一般ユーザに対応する特徴ベクトルをクラスタ化して生成されることができる。
前記ユーザ認識を行うステップは、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の距離と、閾値との間の比較に基づいて、前記ユーザ認識を行うステップを含むことができる。前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の距離は、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間のコサイン距離及びユークリッド距離のいずれか１つに基づいて決定されることができる。前記認識方法は、前記登録特徴ベクトルが決定されれば、前記決定された登録特徴ベクトルを登録ユーザデータベースに格納するステップをさらに含むことができる。
他の一実施形態によると、認識方法は、固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含む特徴抽出器を取得するステップと、正当なユーザに対応するユーザデータ及び一般化されたユーザに対応する参照データに基づいて、前記特徴抽出器に関するオン－デバイストレーニングを行うステップと、前記オン－デバイストレーニングが完了すれば、前記特徴抽出器を用いてユーザ認識を行うステップとを含む。
一実施形態によると、予めトレーニングされて固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含み、ユーザデバイスに搭載された、特徴抽出器のオン－デバイストレーニング方法は、正当なユーザによって入力されたユーザデータを取得するステップと、前記ユーザデータを前記第１ニューラルネットワークに入力するステップと、前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び予め決定した参照データを前記第２ニューラルネットワークに入力し、前記第２ニューラルネットワークのパラメータを調整するステップとを含む。
前記参照データは１０００個以下の特徴ベクトル、５００個以下の特徴ベクトル、又は１００個以下の特徴ベクトルを含むことができる。
一実施形態によると、認識装置は、プロセッサと、前記プロセッサで実行可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、ユーザ登録のために正当なユーザによって入力されたユーザデータを受信し、一般化されたユーザに対応する参照データ及び前記ユーザデータに基づいて、特徴抽出器に関するオン－デバイストレーニングを行い、前記ユーザデータの入力に反応した前記特徴抽出器の出力に基づいて登録特徴ベクトルを決定し、ユーザ認識のためにテストユーザによって入力されたテストデータを受信し、前記テストデータの入力に反応した前記特徴抽出器の出力に基づいてテスト特徴ベクトルを決定し、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の比較に基づいて前記テストユーザに関するユーザ認識を行う。
他の一実施形態によると、認識装置は、プロセッサと、前記プロセッサで実行可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含む特徴抽出器を取得し、正当なユーザに対応するユーザデータ及び一般化されたユーザに対応する参照データに基づいて、前記特徴抽出器に関するオン－デバイストレーニングを行い、前記オン－デバイストレーニングが完了すれば、前記特徴抽出器を用いてユーザ認識を行う。
一実施形態によると、方法は、サーバ側で特徴抽出器の第１ニューラルネットワークを事前トレーニングするステップと、前記第１ニューラルネットワークが事前トレーニングされた後、前記特徴抽出器をデバイスに提供するステップと、前記デバイスに入力されたデータを用いて、前記デバイス上で前記特徴抽出器の第２ニューラルネットワークをトレーニングするステップと、前記特徴抽出器を用いて、前記デバイスに入力されたテストデータに対するユーザ認識を行うステップとを含む。
前記デバイスに入力されたデータは、ユーザ登録のために正当なユーザによって入力されたユーザデータ及び一般化されたユーザに対応する参照データを含むことができる。前記方法は、前記ユーザデータに対応する登録特徴ベクトルと前記テストデータに対応するテスト特徴ベクトルとを比較することで前記ユーザ認識を行うステップをさらに含むことができる。
本発明によると、オン－デバイストレーニング基盤のユーザ認識方法及び装置を提供することができる。
一実施形態に係るユーザ登録及びユーザ認識のための認識装置の動作を示す図である。 一実施形態に係る事前トレーニング、ユーザ登録、及びユーザ認識のためのプロセスを示す図である。 一実施形態に係る事前トレーニングの詳細プロセスを示す図である。 一実施形態に係るオン－デバイストレーニング及びユーザ登録のための認識装置の動作を示す図である。 一実施形態に係るオン－デバイストレーニングの詳細プロセスを示す図である。 一実施形態に係る一般化されたユーザモデルの生成プロセスを示す図である。 一実施形態に係るユーザ認識のための認識装置の動作を示す図である。 一実施形態に係るオン－デバイストレーニング前後の特徴ベクトルの分布変化を示す図である。 一実施形態に係るオン－デバイストレーニング前後の特徴ベクトルの分布変化を示す図である。 一実施形態に係るオン－デバイストレーニング基盤の認識方法を示したフローチャートである。 他の一実施形態に係るオン－デバイストレーニング基盤の認識方法を示したフローチャートである。 一実施形態に係るオン－デバイストレーニング基盤の認識装置を示すブロック図である。 一実施形態に係るユーザデバイスを示すブロック図である。
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素を第２構成要素と命名することができ、同様に第２構成要素を第１構成要素にも命名することができる。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付する図面を参照しながら詳細に説明する。添付の図面を参照して説明することにおいて、図面符号に関係なく、同じ構成要素は同じ参照符号を付し、これに対する重複する説明は省略することにする。
図１は、一実施形態に係るユーザ登録及びユーザ認識のための認識装置の動作を示す図である。図１を参照すると、認識装置１１０は、正当なユーザ１０１のユーザデータに基づいて正当なユーザ１０１を認識装置１１０に登録する。正当なユーザ１０１は一人以上であってもよく、一人以上の正当なユーザ１０１が認識装置１１０に登録されてもよい。正当なユーザ１０１は、認識装置１１０が搭載されているデバイスの所有者や管理者のような認識装置１１０の使用権限を有する者を指し、本物のユーザ（ｇｅｎｕｉｎｅ ｕｓｅｒ）と称してもよい。正当なユーザ１０１を認識装置１１０に登録することは、ユーザ登録プロセスと称する。ユーザ登録プロセスを介して正当なユーザ１０１の識別情報（例えば、登録特徴ベクトル）が認識装置１１０又は認識装置１１０に関する他の装置に格納される。正当なユーザ１０１の登録が完了すれば、正当なユーザ１０１は登録ユーザと称される。
テストユーザ１０２は、身元不詳な状態で認識装置１１０を使用するために、認識装置１１０にユーザ認識を試みる者であり、正当なユーザ１０１又は侵入者（ｉｍｐｏｓｔｅｒ）であってもよい。侵入者は、認識装置１１０の使用権限を有しない者をいう。認識装置１１０は、テストユーザ１０２のテストデータとユーザデータとを比較してテストユーザ１０２に関するユーザ認識を行い、認識結果を出力することができる。テストユーザ１０２に関するユーザ認識を行うことは、ユーザ認識プロセスと称される。ユーザ認識プロセスは、時間的にユーザ登録のプロセス後に実行されてもよい。
ユーザ認識は、ユーザ識別（ｕｓｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及びユーザ認証（ｕｓｅｒ ｖｅｒｉｆｉｃａｔｉｏｎ）を含む。ユーザ認証は、テストユーザ１０２が登録ユーザであるかを決定するもので、ユーザ識別は、テストユーザ１０２が複数のユーザのいずれかのユーザであるかを決定するものである。複数の登録ユーザが存在し、テストユーザ１０２が複数の登録ユーザのいずれか１つに属する場合、ユーザ識別に応じてテストユーザ１０２が複数の登録ユーザのいずれかの登録ユーザであるかが決定される。
認識結果は、識別結果及び認証結果のうち少なくとも１つを含む。例えば、テストユーザ１０２が登録ユーザである場合、認識装置１１０は、認識成功に該当する認証結果を出力する。ここで、登録ユーザが複数存在する場合、認識結果は、テストユーザ１０２が複数の登録ユーザのどの登録ユーザに該当するかに関する識別結果を含む。テストユーザ１０２が侵入者である場合、認識装置１１０は、認識不成功に該当する認証結果を出力することができる。
ユーザデータは正当なユーザ１０１のものであり、テストデータはテストユーザ１０２のものである。ユーザデータは、正当なユーザ１０１によって認識装置１１０に入力されたり、認識装置１１０を含む他の装置に入力されて認識装置１１０に伝達されたり、認識装置１１０とは別個の更なる装置に入力されて認識装置１１０に伝達されることができる。同様に、テストデータは、テストユーザ１０２によって認識装置１１０に入力されたり、認識装置１１０を含む他の装置に入力されて認識装置１１０に伝達されたり、認識装置１１０とは別個の更なる装置に入力されて認識装置１１０に伝達されてもよい。
ユーザデータ及びテストデータのように、認識装置１１０に入力されるデータは入力データと称される。入力データは、音声又は映像を含む。例えば、話者認識（ｓｐｅａｋｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）である場合、入力データは、発話（ｓｐｅｅｃｈ）、音声（ｖｏｉｃｅ）、又は、オーディオを含む。顔認識の場合に入力データは顔映像を含んでもよく、指紋認識の場合に入力データは指紋映像を含んでもよく、紅彩認識の場合に入力データは紅彩映像を含んでもよい。認識装置１１０は、このような複数の認証方式のうち少なくとも１つに基づいてユーザ認証を行うことができる。ユーザデータ、テストデータ、参照データ、及びトレーニングデータのモダリティは、認証装置１１０が使用している少なくとも１つの認証方式に対応する。以下では、代表的に話者認識の実施形態について説明するが、これは単に説明の便宜のためのもので、本発明は、話者認識以外に他の認証方式にも適用される。
認識装置１１０は、特徴抽出器１２０を用いてユーザ認証を行うことができる。特徴抽出器１２０は、第１ニューラルネットワーク１２１及び第２ニューラルネットワーク１２２のようなニューラルネットワークを含む。ニューラルネットワークの少なくとも一部はソフトウェアにより具現化されたり、ニューラルプロセッサ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｏｒ）を含むハードウェアにより具現化されたり、あるいは、ソフトウェア及びハードウェアの組み合せにより具現化されてもよい。例えば、ニューラルネットワークは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープ畳み込みネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含むディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＤＮＮ）である。ＤＮＮは、複数のレイヤを含む。複数のレイヤは、入力層、少なくとも１つの隠れ層、及び出力層を含む。
ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、与えられた動作を行うようにトレーニングされる。ディープラーニングは、ビッグデータのセットから与えられた問題を解決するための機械学習方式である。ディープラーニングは、準備されたトレーニングデータを用いてニューラルネットワークをトレーニングしながら、エネルギーが最小化される地点を探して行く最適化された問題解決過程として理解される。ディープラーニングの教師あり（ｓｕｐｅｒｖｉｓｅｄ）又は教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）の学習を介してニューラルネットワークの構造、あるいはモデルに対応するウェイト（重み）が求められ、このようなウェイトを介して入力データ及び出力データが互いにマッピングされることができる。図１において、特徴抽出器１２０は、認識装置１１０の外部に位置するものと図示されているが、特徴抽出器１２０は、認識装置１１０の内部に配置してもよい。
認識装置１１０は、特徴抽出器１２０に入力データを入力し、入力データの入力による特徴抽出器１２０の出力に基づいて認識装置１１０にユーザを登録したり認識結果を生成したりする。一実施形態によれば、認識装置１１０は、入力データに一定の前処理を適用し、前処理が適用された入力データを特徴抽出器１２０に入力する。入力データは、前処理を介して特徴抽出器１２０が特徴を抽出するために適切な形態に変形されることができる。例えば、入力データが音声ウェーブである場合、音声ウェーブは、前処理過程を介して周波数スペクトルに変換されてもよい。
特徴抽出器１２０は、入力データの入力に反応して出力データを出力する。特徴抽出器１２０の出力データは特徴ベクトルと称される。或いは、特徴抽出器１２０の出力データは、ユーザの識別情報を含むという意味で、埋め込みベクトル（ｅｍｂｅｄｄｉｎｇ ｖｅｃｔｏｒ）と称されてもよい。正当なユーザ１０１のユーザ登録プロセスにおいて、特徴抽出器１２０は、ユーザデータの入力に反応して特徴ベクトルを出力する。ここで、出力された特徴ベクトルは、登録特徴ベクトルと称され、正当なユーザ１０１の識別情報として認識装置１１０又は認識装置１１０に関する他の装置に格納されてもよい。テストユーザ１０２のユーザ認識プロセスで特徴抽出器１２０は、テストデータの入力に反応して特徴ベクトルを出力する。ここで、出力された特徴ベクトルはテスト特徴ベクトルと称される。
認識装置１１０は、登録特徴ベクトルとテスト特徴ベクトルとを比較して認識結果を生成する。例えば、認識装置１１０は、登録特徴ベクトルとテスト特徴ベクトルとの間の距離を決定し、決定された距離と閾値との間の比較に基づいて認識結果を生成することができる。決定された距離の値が閾値よりも小さい場合、登録特徴ベクトルとテスト特徴ベクトルとが互いにマッチングされるものと表現される。
登録ユーザが複数である場合、各登録ユーザに関する登録特徴ベクトルが複数存在する。この場合、認識装置１１０は、テスト特徴ベクトルを各登録特徴ベクトルと比較して認識結果を生成する。例えば、テスト特徴ベクトルが複数の登録特徴ベクトルのいずれか１つとマッチングされる場合、認識装置１１０は、認識成功に該当する認識結果を出力する。ここで、認識結果は、テスト特徴ベクトルとマッチングされた登録特徴ベクトルに対応する登録ユーザに関する識別結果を含む。テストユーザ１０２が複数の登録ユーザのうち、どの登録ユーザであるかに関する識別結果を含む。
特徴抽出器１２０は、第１ニューラルネットワーク１２１及び第２ニューラルネットワーク１２２を含む。第１ニューラルネットワーク１２１は、大規模ユーザデータベースに基づいて予めトレーニングされ、第２ニューラルネットワーク１２２は、ユーザ登録プロセスでユーザデータに基づいて、さらにトレーニングされる。ここで、「事前」とは、ユーザ登録プロセスの実行前の時点、例えば、特徴抽出器１２０の開発及び生産の時点を意味する。大規模ユーザデータベースは、不特定ユーザに対応し、ユーザデータは、正当なユーザ１０１のような特定ユーザに対応する。第１ニューラルネットワーク１２１のトレーニングは、特徴抽出器１２０の開発及び生産ステップでサーバによって行われ、事前トレーニングあるいは１次的トレーニングと称される。第２ニューラルネットワーク１２２のトレーニングは、ユーザ登録プロセスで認識装置１１０を含むデバイスによって行われ、オン－デバイストレーニングあるいは２次的トレーニングと称される。オン－デバイストレーニングにおいて「デバイス」は、認識装置１１０が搭載されたユーザデバイスを意味する。
第１ニューラルネットワーク１２１は、固定されたパラメータを有し、第２ニューラルネットワーク１２２は、調整可能なパラメータを有する。パラメータは、加重値を含む。事前トレーニングによって第１ニューラルネットワーク１２１がトレーニングされれば、第１ニューラルネットワーク１２１のパラメータは固定され、オン－デバイストレーニングによって変更されない。パラメータが固定されたということは、パラメータが凍結した（ｆｒｅｅｚｅ）ものとして表現されてもよい。第２ニューラルネットワーク１２２のパラメータは、オン－デバイストレーニングにより調整される。第１ニューラルネットワーク１２１が一般的な方式で入力データから特徴を抽出する場合、第２ニューラルネットワーク１２２は、第１ニューラルネットワーク１２１によって抽出された特徴を個別デバイスのユーザに特化するように再配置（ｒｅｍａｐｐｉｎｇ）するものとして理解される。
ユーザ認識において、トレーニングデータと実際ユーザデータとの間の不調和は、認識性能を低下させる結果を招く。例えば、第１ニューラルネットワーク１２１の事前トレーニングの際、実際のユーザデータは使用されないため、第１ニューラルネットワーク１２１だけで構成されている特徴抽出器１２０の認識性能は高くないこともある。第２ニューラルネットワーク１２２のオン－デバイストレーニングは、実際のユーザデータに基づいて行われるため、このような不調和を解消するために役に立つ。例えば、事前トレーニングのみが適用されている一般的な特徴抽出器が使用される場合、家族構成員のように、類似の特徴を有するユーザの識別が難しいこともある。しかし、実施形態に係る特徴抽出器１２０が使用されれば、各ユーザの実際のユーザデータがオン－デバイストレーニングに使用されているため、類似の特徴を有するユーザを比較的正確に識別することができる。
さらに、実施形態に係るオン－デバイストレーニングには、ユーザデータだけでなく、一般化されたユーザに対応する参照データが使用されてもよい。ユーザデータ及び参照データを用いたオン－デバイストレーニングにより、特徴抽出器１２０は、ユーザデータから参照データと区分される特徴を抽出することができる。そのため、侵入者の特徴ベクトルと登録ユーザの特徴ベクトルとがより明確に区分され、認識性能が向上されることができる。ユーザデータ及び参照データを用いたオン－デバイストレーニングは後で詳説する。
図２は、一実施形態に係る事前トレーニング、ユーザ登録、及びユーザ認証のためのプロセスを示す図である。図２を参照すると、ステップＳ２１０において、事前トレーニングが行われる。事前トレーニングは、不特定ユーザに対応する大規模ユーザデータベースに基づいて行われ、事前トレーニングを介して特徴抽出器２００の第１ニューラルネットワーク２０１がトレーニングされる。事前トレーニングはサーバ端で実行されてもよく、ステップＳ２１０が実行された後に特徴抽出器２００はデバイスに搭載され、ユーザに配布されてもよい。
ユーザ登録のために正当なユーザによってユーザデータが入力されれば、ステップＳ２２０において、オン－デバイストレーニングが行われ、ステップＳ２３０において、ユーザ登録が行われる。ステップＳ２２０，Ｓ２３０は、ユーザ登録プロセスのように称される。オン－デバイストレーニングは、ユーザ登録プロセスで行われるものと理解される。オン－デバイストレーニングは、正当なユーザのような特定ユーザのユーザデータ及び一般化されたユーザに対応する参照データに基づいて行われ、オン－デバイストレーニングを介して特徴抽出器２００の第２ニューラルネットワーク２０２がトレーニングされる。オン－デバイストレーニングが行われる前に第２ニューラルネットワーク２０２は、単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）に初期化された状態であってもよい。
ステップＳ２２０の後に、特徴抽出器２００は、登録ユーザに特化した状態になり得る。オン－デバイストレーニングが完了した後、ステップＳ２３０で正当なユーザのユーザデータが特徴抽出器２００に入力される。ユーザデータの入力に反応した特徴抽出器２００の出力に基づいて、登録特徴ベクトルが決定される。登録特徴ベクトルが決定されれば、決定された登録特徴ベクトルは登録ユーザデータベースに格納される。
ステップＳ２４０において、ユーザ認識が行われる。ステップＳ２４０は、ユーザ認識プロセスと称される。ユーザ認識のためにテストユーザによって入力されたテストデータは、特徴抽出器２００に入力される。テストデータの入力に反応した特徴抽出器２００の出力に基づいて、テスト特徴ベクトルが決定される。登録特徴ベクトルとテスト特徴ベクトルとの間の比較に基づいて、テストユーザに関するユーザ認識が行われる。ステップＳ２２０～Ｓ２４０は、デバイスによって行われることができる。
図３は、一実施形態に係る事前トレーニングの詳細プロセスを示す図である。図３を参照すると、トレーニング装置３１０は、入力データから特徴を抽出するように大規模ユーザデータベース３２０を用いてニューラルネットワーク３３０をトレーニングする。例えば、大規模ユーザデータベース３２０は、複数の不特定ユーザに関するトレーニングデータを含んでもよく、各トレーニングデータに関しレーベルが割り当てられてもよい。トレーニングデータは、音声又は映像を含む。例えば、話者認識である場合、入力データは、発話、音声、又は、オーディオを含む。
ニューラルネットワーク３３０は、入力層３３１、少なくとも１つの隠れ層３３２、及び出力層３３３を含む。例えば、入力層３３１はトレーニングデータに対応し、出力層３３３はソフトマックス（Ｓｏｆｔｍａｘ）のような活性化関数に対応する。ニューラルネットワーク３３０の事前トレーニングを介して、少なくとも１つの隠れ層３３２のパラメータ（例えば、加重値）が調整される。各トレーニングデータに関して相異なるレーベルが割り当てられ、このようなトレーニングデータ及びレーベルに基づいた事前トレーニングによりニューラルネットワーク３３０は、互いに異なる入力データに関して相異なる出力データを出力する能力を有する。このようなニューラルネットワーク３３０の能力は、特徴抽出機能として理解される。
例えば、第１トレーニングデータに関して第１レーベルが割り当てられ、第２トレーニングデータに関して第２レーベルが割り当てられたと仮定する。この場合、ニューラルネットワーク３３０は、第１トレーニングデータの入力に反応して第１出力データを出力し、第２トレーニングデータの入力に反応して第２出力データを出力する。トレーニング装置３１０は、第１出力データと第１レーベルとを比較し、第１出力データと第１レーベルとが同一になる方向に少なくとも１つの隠れ層３３２のパラメータを調整することができる。同様に、トレーニング装置３１０は、第２出力データと第２レーベルとを比較し、第２出力データと第２レーベルとが同一になる方向に少なくとも１つの隠れ層３３２のパラメータを調整することができる。トレーニング装置３１０は、このような過程を大規模ユーザデータベース３２０に関して繰り返しニューラルネットワーク３３０を事前トレーニングすることができる。
一実施形態によれば、トレーニングプロセスは、適切なバッチ（ｂａｔｃｈ）単位で行われてもよい。例えば、１つのトレーニングデータをニューラルネットワーク３３０に入力し、トレーニングデータの入力によるニューラルネットワーク３３０の出力に対応する１つの出力データを取得するプロセスがバッチ単位で行われ、バッチ単位の実行の繰り返しにより大規模ユーザデータベース３２０を用いた事前トレーニングが行われる。
出力層３３３は、少なくとも１つの隠れ層３３２から出力される特徴ベクトルをレーベルに対応する形態に変換する役割を行う。事前トレーニングにより少なくとも１つの隠れ層３３２のパラメータは、トレーニング目的による値に設定され、事前トレーニングが完了すれば、少なくとも１つの隠れ層３３２のパラメータは固定される。その後、ニューラルネットワーク３３０から出力層３３３が除去され、入力層３３１及び少なくとも１つの隠れ層３３２を含むパート３４０で特徴抽出器の第１ニューラルネットワークが構成されることができる。
事前トレーニングが完了すれば、ニューラルネットワーク３３０は、相異なる入力データに関して相異なる出力データを出力する特徴抽出機能を行うことができる。このような特徴抽出機能は、トレーニングデータがユーザ登録プロセス及びユーザ認識プロセスで使用される実際のデータと同じケースで最大の性能を発揮する。しかし、一般にトレーニングデータと実際のデータは異なってもよい。認識性能を向上させるために、トレーニングデータに実際のデータを含ませて再度トレーニングを行うことで、トレーニングデータと実際のデータとの間の不調和を縮小させる方法が、理論的には可能である。
しかし、ニューラルネットワーク３３０が特徴抽出機能を有するまで、大規模ユーザデータベース３２０でニューラルネットワーク３３０をトレーニングすることが必要であり、このようなトレーニング過程では大規模コンピューティングリソースが求められる。一般に、ユーザデバイスのコンピューティングリソースには限界があるため、このようなトレーニングは、大容量サーバ端で行われる。従って、実施形態によれば、大規模ユーザデータベース３２０を介してニューラルネットワーク３３０をトレーニングして特徴抽出器の第１ニューラルネットワークを生成し、実際のデータに基づいて特徴抽出器の第２ニューラルネットワークを生成する、事前トレーニングとオン－デバイストレーニングの二元化されたトレーニング方式を提供することができる。そのため、トレーニングデータと実際のデータとの間の不調和を解決し、ユーザデバイスに特化した特徴抽出器を提供することができる。
図４は、一実施形態に係るオン－デバイストレーニング及びユーザ登録のための認証装置の動作を示す図である。図４を参照すると、正当なユーザは、ユーザ登録のためにユーザデータを入力する。認識装置４１０は、ユーザデータに基づいて特徴抽出器４２０に関するオン－デバイストレーニングを行ってもよい。特徴抽出器４２０は、第１ニューラルネットワーク４２１及び第２ニューラルネットワーク４２２を含む。第１ニューラルネットワーク４２１のパラメータは、事前トレーニングによって固定され、オン－デバイストレーニングにより第２ニューラルネットワーク４２２のパラメータが調整される。オン－デバイストレーニングには、参照データを使用することができる。認識装置４１０は、一般化されたユーザモデル４３０から参照データを取得し、第２ニューラルネットワーク４２２に入力する。ユーザデータは正当なユーザに対応し、参照データは一般化されたユーザに対応してもよい。一般化されたユーザモデル４３０は後で説明する。
認識装置４１０は、各ユーザデータ及び各参照データに相異なるレーベルを割り当て、各ユーザデータ及び各参照データの入力に反応した特徴抽出器４２０の出力とレーベルとを互いに比較し、第２ニューラルネットワーク４２２のパラメータを調整することができる。このように認識装置は、特徴抽出器４２０が各ユーザデータ及び各参照データに関して区分される特徴ベクトルを出力するように特徴抽出器４２０をトレーニングする。ユーザデータ及び参照データを共に用いて特徴抽出器４２０をトレーニングすることで、登録ユーザの登録特徴ベクトルが互いに明確に区分され得るだけでなく、登録ユーザの登録特徴ベクトル及び侵入者の特徴ベクトルを互いに明確に区分することができる。従って、オン－デバイストレーニングにより特徴抽出器４２０に登録ユーザを互いに識別できる識別能力及び登録ユーザと侵入者とを区分し、登録ユーザを認証できる認証能力が付与される。
オン－デバイストレーニングが完了すれば、認識装置４１０は、ユーザデータを特徴抽出器４２０に入力し、ユーザデータの入力に反応した特徴抽出器４２０によって出力された特徴ベクトルを取得する。認識装置４１０は、特徴抽出器４２０によって出力された特徴ベクトルを登録特徴ベクトルとして登録ユーザデータベース４４０に格納する。登録特徴ベクトルは、後でユーザ認証プロセスに用いられてもよい。
図５は、一実施形態に係るオン－デバイストレーニングの詳細プロセスを示す図である。図５を参照すると、認識装置５１０は、ユーザデータ及び参照データを用いて特徴抽出器５２０に関するオン－デバイストレーニングを行うことができる。ユーザデータは、第１ニューラルネットワーク５２１に入力され、参照データは、第２ニューラルネットワーク５２２に入力されてもよい。参照データは、一般化されたユーザモデル５４０から取得される。認識装置５１０は、ユーザデータを第１ニューラルネットワーク５２１に入力され、第１ニューラルネットワーク５２１がユーザデータの入力に反応して特徴ベクトルを出力すれば、該当の特徴ベクトルを第２ニューラルネットワーク５２２に入力することができる。参照データは、第１ニューラルネットワーク５２１のように特徴抽出を行うニューラルネットワークを用いて生成されたものであってもよい。第１ニューラルネットワーク５２１の出力は、認識装置の特別な制御を行うことなく、第１ニューラルネットワーク５２１から第２ニューラルネットワーク５２２に入力されるものとして理解される。
第２ニューラルネットワーク５２２は、図３に示すニューラルネットワーク３３０に類似な過程を介してトレーニングされる。例えば、図３に示すトレーニングデータがユーザデータに対応する特徴ベクトル及び参照ベクトルに代替されたものと理解される。第２ニューラルネットワーク５２２は、入力層５２３、少なくとも１つの隠れ層５２４、及び出力層５２５を含む。例えば、入力層５２３は、ユーザデータに対応する特徴ベクトル及び参照データを含む入力データに対応し、出力層５２５は、ソフトマックスのような活性化関数に対応する。オン－デバイストレーニングを介して少なくとも１つの隠れ層５２４のパラメータ（例えば、加重値）が調整される。第２ニューラルネットワーク５２２は、入力層５２３及び隠れ層５２４を含む部分５３０から構成される。
各ユーザデータ及び各参照データに関して相異なるレーベルが割り当てられてもよく、このようなユーザデータ、参照データ及びレーベルに基づくオン－デバイストレーニングにより特徴抽出器５２０は、互いに異なるユーザデータ及び互いに異なる参照データに関して、相異なる出力データを出力する能力を有することになる。例えば、第１ニューラルネットワーク５２１が一般的な方式で入力データから特徴を抽出すれば、第２ニューラルネットワーク５２２は、第１ニューラルネットワーク５２１によって抽出された特徴を個別デバイスのユーザに特化するように再配置（ｒｅｍａｐｐｉｎｇ）するものと理解される。
一実施形態によれば、トレーニングプロセスは、適切なバッチ単位で行われる。例えば、ユーザデータ及び参照データの１つを特徴抽出器５２０に入力し、特徴抽出器５２０の出力に対応する１つの出力データを取得するプロセスがバッチ単位で行われ、バッチ単位の実行の繰り返しによりユーザデータ及び参照データを用いたオン－デバイストレーニングが行われる。オン－デバイストレーニングが完了すれば、少なくとも１つの隠れ層５２４のパラメータは固定される。その後、第２ニューラルネットワーク５２２から出力層５２５が除去され、出力層５２５が除去された状態で第２ニューラルネットワーク５２２が確定することができる。
上述したように、オン－デバイストレーニングを介してトレーニングデータと実際のデータとの間の不調和が解決されることができる。例えば、ユーザデータを介して登録特徴ベクトル同士の間の識別能力が向上し、参照データを介して登録特徴ベクトルと侵入者の特徴ベクトルとの間の識別能力を向上させることができる。
図６は、一実施形態に係る一般化されたユーザモデルの生成プロセスを示す図である。図６を参照すると、大規模ユーザデータベース６１０から入力データが抽出され、ニューラルネットワーク６２０に入力される。例えば、ニューラルネットワーク６２０は、図４に示す第１ニューラルネットワーク４２１に対応し、入力データに基づいて特徴ベクトルを出力することができる。大規模ユーザデータベース６１０は、図３に示す大規模ユーザデータベース６１０と同一であってもよく、異なってもよい。
ニューラルネットワーク６２０により出力された特徴ベクトルは、ベクトル平面６３０上に点で表示されている。これらの特徴ベクトルは、大規模ユーザデータベース６１０に含まれている複数の一般ユーザに対応し、基礎特徴ベクトルと称される。このような基礎特徴ベクトルを代表するベクトルとして、代表特徴ベクトルθ１、θ２、．．．、θｃが選定される。例えば、基礎特徴ベクトルをクラスタ化して代表特徴ベクトルθ１、θ２、．．．、θｃが選定されてもよい。代表特徴ベクトルθ１、θ２、．．．、θｃは一般化されたユーザに対応し、一般化された特徴ベクトルと称される。また、代表特徴ベクトルθ１、θ２、．．．、θｃは、参照データとして一般化されたユーザモデル６４０を構成し、オン－デバイストレーニングのために使用する。このような代表特徴ベクトルは数十ないし数百個であり、１０００個以下、５００個以下、又は、１００個以下であってもよく、ユーザデバイスが現実的にディープラーニングトレーニングを処理することのできる程度のデータであってもよい。例えば、約１０万名のユーザそれぞれから１０個の発話を収集して約１００万個の発話を含んでいるデータベースを構成してもよく、該当のデータベースに基づいて約１００個の代表特徴ベクトルが生成されてもよい。
図７は、一実施形態に係るユーザ認証のための認証装置の動作を示す図である。図７を参照すると、認識装置７１０は、テストデータを特徴抽出器７２０に入力する。特徴抽出器７２０は、オン－デバイストレーニングが完了した状態であってもよい。特徴抽出器７２０は、テストデータの入力に反応してテスト特徴ベクトルを出力する。テストデータは、ユーザ認証プロセスでテストユーザによって入力されたものである。テストユーザは、身元不詳な状態で認識装置７１０を使用するために、認識装置７１０にユーザ認識を試みる者であり、正当なユーザ又は侵入者である。
認識装置は、登録ユーザデータベース７３０から登録特徴ベクトルを取得し、登録特徴ベクトルとテスト特徴ベクトルとを比較し、テストユーザに関するユーザ認識を行って認識結果を生成することができる。例えば、認識装置７１０は、登録特徴ベクトルとテスト特徴ベクトルとの間の距離を決定し、決定された距離と閾値との間の比較に基づいて認識結果を生成する。例えば、登録特徴ベクトルとテスト特徴ベクトルとの間の距離は、登録特徴ベクトルとテスト特徴ベクトルとの間のコサイン距離、ユークリッド距離などに基づいて決定されてもよい。
図８及び図９は、一実施形態に係るオン－デバイストレーニング前後の特徴ベクトルの分布変化を示す図である。図８を参照すると、ベクトル平面８１０，８２０上に登録特徴ベクトルが表示されている。登録特徴ベクトルは点の形に表示され、同じ模様の点は、同じ登録ユーザの登録特徴ベクトルを示す。ベクトル平面８１０の登録特徴ベクトルは、オン－デバイストレーニングが反映されていない特徴抽出器を介して取得されたものであり、ベクトル平面８２０の登録特徴ベクトルは、オン－デバイストレーニングが反映された特徴抽出器を介して取得されたものである。図８に図に示すように、登録特徴ベクトルは、オン－デバイストレーニングを介して登録ユーザに特化するように再配置される。そのため、登録ユーザ、特に、家族構成員のように類似の特徴を有する登録ユーザが互いに明らかに識別されることができる。
図９を参照すると、ベクトル平面９１０，９２０は、図８に示すベクトル平面８１０，８２０に比べて侵入者特徴ベクトルをさらに含む。侵入者特徴ベクトルは、星の模様に表示されている。ベクトル平面９１０の登録特徴ベクトル及び侵入者特徴ベクトルは、オン－デバイストレーニングが反映されていない特徴抽出器を介して取得されたものであり、ベクトル平面９２０の登録特徴ベクトル及び侵入者特徴ベクトルは、オン－デバイストレーニングが反映された特徴抽出器を介して取得されたものである。図９に示すように、登録特徴ベクトルだけでなく、侵入者特徴ベクトルもオン－デバイストレーニングを介して登録ユーザに特化するように再配置されてもよい。そのため、登録ユーザと侵入者が互いに明らかに区分され、登録ユーザを正確に認証することができる。
図１０は、一実施形態に係るオン－デバイストレーニング基盤の認証方法を示したフローチャートである。図１０を参照すると、認証装置は、ステップＳ１０１０において、ユーザ登録のために正当なユーザによって入力されたユーザデータを受信し、ステップＳ１０２０において、一般化されたユーザに対応する参照データ及び前記ユーザデータに基づいて特徴抽出器に関するオン－デバイストレーニングを行い、ステップＳ１０３０において、ユーザデータの入力に反応した特徴抽出器の出力に基づいて登録特徴ベクトルを決定し、ステップＳ１０４０において、ユーザ認識のためにテストユーザによって入力されたテストデータを受信し、ステップＳ１０５０において、テストデータの入力に反応した特徴抽出器の出力に基づいてテスト特徴ベクトルを決定し、ステップＳ１０６０において、登録特徴ベクトルとテスト特徴ベクトルとの間の比較に基づいてテストユーザに関するユーザ認識を行う。その他に、オン－デバイストレーニング基盤の認証方法には、図１～図９を参照して説明された事項が適用される。
図１１は、他の一実施形態に係るオン－デバイストレーニング基盤の認証方法を示したフローチャートである。図１１を参照すると、認証装置は、ステップＳ１１１０において、固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含む特徴抽出器を取得し、ステップＳ１１２０において、正当なユーザに対応するユーザデータ及び一般化されたユーザに対応する参照データに基づいて、前記特徴抽出器に関するオン－デバイストレーニングを行い、ステップＳ１１３０において、オン－デバイストレーニングが完了すれば、特徴抽出器を用いてユーザ認識を行う。その他に、オン－デバイストレーニング基盤の認証方法には、図１～図１０を参照して説明された事項が適用される。
図１２は、一実施形態に係るオン－デバイストレーニング基盤の認証装置を示すブロック図である。図１２を参照すると、認識装置１２００は、ユーザデータ及びテストデータを含む入力データを受信し、入力データに関するニューラルネットワークの動作を処理する。例えば、ニューラルネットワークの動作は、ユーザ認識動作を含む。認識装置１２００は、ニューラルネットワークの処理と関連して本明細書に記述されたり、又は示されたりする１つ以上の動作を行うことができ、ニューラルネットワークの処理結果をユーザに提供することができる。
認識装置１２００は、１つ以上のプロセッサ１２１０及びメモリ１２２０を含む。メモリ１２２０は、プロセッサ１２１０に接続され、プロセッサ１２１０によって実行可能な命令語、プロセッサ１２１０が演算するデータ、又はプロセッサ１２１０によって処理されたデータを格納する。メモリ１２２０は、非一時的なコンピュータで読み出し可能な記録媒体、例えば、高速ランダムアクセスメモリ及び／又はコンピュータで読み出し可能な不揮発性格納媒体（例えば、１つ以上のディスク格納装置、フラッシュメモリ装置、又は、その他の不揮発性固体メモリ装置）を含む。
プロセッサ１２１０は、図１～図１１を参照して説明された１つ以上の動作を実行するための命令語を実行する。一実施形態によれば、メモリ１２２０に格納された命令語がプロセッサ１２１０で実行されれば、プロセッサ１２１０は、ユーザ登録のために正当なユーザによって入力されたユーザデータを受信し、一般化されたユーザに対応する参照データ及びユーザデータに基づいて特徴抽出器１２２５に関するオン－デバイストレーニングを行い、ユーザデータの入力に反応した特徴抽出器１２２５の出力に基づいて登録特徴ベクトルを決定し、ユーザ認識のためにテストユーザによって入力されたテストデータを受信し、テストデータの入力に反応した特徴抽出器１２２５の出力に基づいてテスト特徴ベクトルを決定し、登録特徴ベクトルとテスト特徴ベクトルとの間の比較に基づいてテストユーザに関するユーザ認識を行うことができる。
他の一実施形態によれば、メモリ１２２０に格納された命令語がプロセッサ１２１０で実行されれば、プロセッサ１２１０は、固定されたパラメータを有する第１ニューラルネットワーク及び調整可能なパラメータを有する第２ニューラルネットワークを含む特徴抽出器１２２５を取得し、正当なユーザに対応するユーザデータ及び一般化されたユーザに対応する参照データに基づいて特徴抽出器１２２５に関するオン－デバイストレーニングを行い、オン－デバイストレーニングが完了すれば、特徴抽出器１２２５を用いてユーザ認識を行うことができる。
図１３は、一実施形態に係るユーザデバイスを示す図である。図１３を参照すると、ユーザデバイス１３００は入力データを受信し、入力データに関するニューラルネットワークの動作を処理する。例えば、ニューラルネットワークの動作は、ユーザ認識動作を含んでいる。ユーザデバイス１３００は、図１～図１２を参照して説明された認識装置を含んだり、図１～図１２を参照して説明された認識装置の機能を行うことができる。
ユーザデバイス１３００は、プロセッサ１３１０、メモリ１３２０、カメラ１３３０、格納装置１３４０、入力装置１３５０、出力装置１３６０、及びネットワークインターフェース１３７０を含む。プロセッサ１３１０、メモリ１３２０、カメラ１３３０、格納装置１３４０、入力装置１３５０、出力装置１３６０、及びネットワークインターフェース１３７０は通信バス１３８０を介して通信する。例えば、ユーザデバイス１３００は、スマートフォン、タブレットＰＣ、ノート型パソコン、デスクトップＰＣ、ウェアラブルデバイス、スマート家電機器、スマートスピーカ、スマートカーなどを含む。
プロセッサ１３１０は、ユーザデバイス１３００内で実行するための機能及び命令語を実行する。例えば、プロセッサ１３１０は、メモリ１３２０又は格納装置１３４０に格納された命令語を処理する。プロセッサ１３１０は、図１～図１２を参照して説明された１つ以上の動作を行ってもよい。
メモリ１３２０は、ニューラルネットワークの動作を処理するための情報を格納する。メモリ１３２０は、コンピュータ読み出し可能な格納媒体又はコンピュータ読み出し可能な格納装置を含む。メモリ１３２０は、プロセッサ１３１０によって実行するための命令語を格納し、ユーザデバイス１３００によってソフトウェア又はアプリケーションが行われる間に関連情報を格納する。
カメラ１３３０は、静止画、ビデオ映像、又は、これらの全てを撮影する。カメラ１３３０は、ユーザが顔認証を試みるために入力する顔領域を撮影してもよい。カメラ１３３０は、オブジェクトに関する深度情報を含む３Ｄ映像を提供してもよい。
格納装置１３４０は、コンピュータで読み出し可能な格納媒体又はコンピュータ読み出し可能な格納装置を含む。一実施形態によれば、格納装置１３４０は、メモリ１３２０よりもさらに多い量の情報を格納し、情報を長期間格納する。例えば、格納装置１３４０は、磁気ハードディスク、光ディスク、フラッシュメモリ、フロッピーディスク又は技術分野で知られた他の形態の不揮発性メモリを含む。
入力装置１３５０は、キーボード及びマウスを通した伝統的な入力方式、及びタッチ入力、音声入力、及びイメージ入力のような新しい入力方式を介してユーザから入力を受信する。例えば、入力装置１３５０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力をユーザデバイス１３００に伝達できる任意の他の装置を含んでもよい。入力装置１３５０を介してユーザの指紋、紅彩、発話、音声、及びオーディオなどのデータが入力されてもよい。
出力装置１３６０は、視覚的、聴覚的又は触覚的なチャネルを介してユーザにユーザデバイス１３００の出力を提供する。出力装置１３６０は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置、又はユーザに出力を提供できる任意の他の装置を含んでもよい。ネットワークインターフェース１３７０は、有線又は無線ネットワークを介して外部装置と通信することができる。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

Claims (30)

  1. ユーザ登録のために正当なユーザによって入力されたユーザデータを受信するステップと、
    一般化されたユーザに対応する参照データ及び前記ユーザデータに基づいて、特徴抽出器に関するオン－デバイストレーニングを行うステップと、
    前記ユーザデータの入力に反応した前記特徴抽出器の出力に基づいて、登録特徴ベクトルを決定するステップと、
    ユーザ認識のためにテストユーザによって入力されたテストデータを受信するステップと、
    前記テストデータの入力に反応した前記特徴抽出器の出力に基づいて、テスト特徴ベクトルを決定するステップと、
    前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の比較に基づいて、前記テストユーザに関するユーザ認識を行うステップと、
    を含み、
    前記特徴抽出器は、事前トレーニングに応じて固定されたパラメータを有する第１ニューラルネットワーク及び前記オン－デバイストレーニングに応じて調整可能なパラメータを有する第２ニューラルネットワークを含み、
    前記オン－デバイストレーニングを行うステップは、
    前記第１ニューラルネットワークに前記ユーザデータを入力するステップと、
    前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び前記参照データを前記第２ニューラルネットワークに入力するステップと、
    前記第２ニューラルネットワークの出力に基づいて、前記オン－デバイストレーニングを行うステップと、
    を含む、認識方法。
  2. 前記オン－デバイストレーニングによって前記第２ニューラルネットワークの前記調整可能なパラメータが調整される、請求項１に記載の認識方法。
  3. 前記第１ニューラルネットワークは、大規模ユーザデータベースに基づいて入力データから特徴を抽出するように予めトレーニングされる、請求項２に記載の認識方法。
  4. 前記オン－デバイストレーニングを行うステップは、
    前記ユーザデータ及び前記参照データのそれぞれに相異なる値のレーベルを割り当てるステップと、
    前記ユーザデータ及び前記参照データの入力に反応した前記特徴抽出器の出力と前記レーベルとの間の比較に基づいて、前記オン－デバイストレーニングを行うステップと、
    を含む、請求項１に記載の認識方法。
  5. 前記参照データは、前記一般化されたユーザに対応する一般化された特徴ベクトルを含み、
    前記一般化された特徴ベクトルは、複数の一般ユーザに対応する特徴ベクトルをクラスタ化して生成される、請求項１に記載の認識方法。
  6. 前記ユーザ認識を行うステップは、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の距離と、閾値との間の比較に基づいて、前記ユーザ認識を行うステップを含む、請求項１に記載の認識方法。
  7. 前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の距離は、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間のコサイン距離及びユークリッド距離のいずれか１つに基づいて決定される、請求項６に記載の認識方法。
  8. 前記登録特徴ベクトルが決定されれば、前記決定された登録特徴ベクトルを登録ユーザデータベースに格納するステップをさらに含む、請求項１に記載の認識方法。
  9. 事前トレーニングに応じて固定されたパラメータを有する第１ニューラルネットワーク及びオン－デバイストレーニングに応じて調整可能なパラメータを有する第２ニューラルネットワークを含む特徴抽出器を取得するステップと、
    正当なユーザに対応するユーザデータ及び一般化されたユーザに対応する参照データに基づいて、前記特徴抽出器に関する前記オン－デバイストレーニングを行うステップと、
    前記オン－デバイストレーニングが完了すれば、前記特徴抽出器を用いてユーザ認識を行うステップと、
    を含む認識方法。
  10. 前記オン－デバイストレーニングによって前記第２ニューラルネットワークの前記調整可能なパラメータが調整される、請求項９に記載の認識方法。
  11. 前記オン－デバイストレーニングを行うステップは、
    前記第１ニューラルネットワークに前記ユーザデータを入力するステップと、
    前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び前記参照データを前記第２ニューラルネットワークに入力するステップと、
    前記第２ニューラルネットワークの出力に基づいて、前記オン－デバイストレーニングを行うステップと、
    を含む、請求項９に記載の認識方法。
  12. 予めトレーニングされて固定されたパラメータを有する第１ニューラルネットワーク及びオン－デバイストレーニングに応じて調整可能なパラメータを有する第２ニューラルネットワークを含み、ユーザデバイスに搭載された、特徴抽出器のオン－デバイストレーニング方法において、
    正当なユーザによって入力されたユーザデータを取得するステップと、
    前記ユーザデータを前記第１ニューラルネットワークに入力するステップと、
    前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び予め決定した参照データを前記第２ニューラルネットワークに入力し、前記第２ニューラルネットワークのパラメータを調整するステップと、
    を含むオン－デバイストレーニング方法。
  13. 前記参照データは１０００個以下、５００個以下、又は１００個以下の特徴ベクトルを含む、請求項１２に記載のオン－デバイストレーニング方法。
  14. 前記参照データは、一般化されたユーザに対応する一般化された特徴ベクトルを含む、請求項１２に記載のオン－デバイストレーニング方法。
  15. 前記一般化された特徴ベクトルは、複数の一般ユーザに対応する特徴ベクトルをクラスタ化して生成される、請求項１４に記載のオン－デバイストレーニング方法。
  16. 請求項１～請求項１５のいずれか一項に記載の方法を実行する命令語を含む１つ以上のプログラムを格納した、コンピュータで読み出し可能な格納媒体。
  17. プロセッサと、
    前記プロセッサで実行可能な命令語を含むメモリと、
    を含み、
    前記命令語が前記プロセッサで実行されれば、前記プロセッサは、
    ユーザ登録のために正当なユーザによって入力されたユーザデータを受信し、
    一般化されたユーザに対応する参照データ及び前記ユーザデータに基づいて、特徴抽出器に関するオン－デバイストレーニングを行い、
    前記ユーザデータの入力に反応した前記特徴抽出器の出力に基づいて登録特徴ベクトルを決定し、
    ユーザ認識のためにテストユーザによって入力されたテストデータを受信し、
    前記テストデータの入力に反応した前記特徴抽出器の出力に基づいてテスト特徴ベクトルを決定し、
    前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の比較に基づいて前記テストユーザに関するユーザ認識を行い、
    前記特徴抽出器は、事前トレーニングに応じて固定されたパラメータを有する第１ニューラルネットワーク及び前記オン－デバイストレーニングに応じて調整可能なパラメータを有する第２ニューラルネットワークを含み、
    前記オン－デバイストレーニングを行うことにおいて、
    前記第１ニューラルネットワークに前記ユーザデータを入力し、
    前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び前記参照データを前記第２ニューラルネットワークに入力し、
    前記第２ニューラルネットワークの出力に基づいて、前記オン－デバイストレーニングを行う、
    認識装置。
  18. 前記オン－デバイストレーニングによって前記第２ニューラルネットワークの前記調整可能なパラメータが調整される、請求項１７に記載の認識装置。
  19. 前記第１ニューラルネットワークは、大規模ユーザデータベースに基づいて入力データから特徴を抽出するように予めトレーニングされる、請求項１８に記載の認識装置。
  20. 前記プロセッサは、
    前記ユーザデータ及び前記参照データのそれぞれに相異なる値のレーベルを割り当て、
    前記ユーザデータ及び前記参照データの入力に反応した前記特徴抽出器の出力と前記レーベルとの間の比較に基づいて前記オン－デバイストレーニングを行う、請求項１７に記載の認識装置。
  21. 前記参照データは、前記一般化されたユーザに対応する一般化された特徴ベクトルを含み、
    前記一般化された特徴ベクトルは、複数の一般ユーザに対応する特徴ベクトルをクラスタ化して生成される、請求項１７に記載の認識装置。
  22. 前記プロセッサは、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の距離と、閾値との間の比較に基づいて前記ユーザ認識を行う、請求項１７に記載の認識装置。
  23. 前記登録特徴ベクトルと前記テスト特徴ベクトルとの間の距離は、前記登録特徴ベクトルと前記テスト特徴ベクトルとの間のコサイン距離及びユークリッド距離のいずれか１つに基づいて決定される、請求項２２に記載の認識装置。
  24. 前記登録特徴ベクトルが決定されれば、前記プロセッサは、前記決定された登録特徴ベクトルを登録ユーザデータベースに格納する、請求項１７に記載の認識装置。
  25. プロセッサと、
    前記プロセッサで実行可能な命令語を含むメモリと、
    を含み、
    前記命令語が前記プロセッサで実行されれば、前記プロセッサは、
    事前トレーニングに応じて固定されたパラメータを有する第１ニューラルネットワーク及びオン－デバイストレーニングに応じて調整可能なパラメータを有する第２ニューラルネットワークを含む特徴抽出器を取得し、
    正当なユーザに対応するユーザデータ及び一般化されたユーザに対応する参照データに基づいて、前記特徴抽出器に関するオン－デバイストレーニングを行い、
    前記オン－デバイストレーニングが完了すれば、前記特徴抽出器を用いてユーザ認識を行う、
    認識装置。
  26. 前記オン－デバイストレーニングによって前記第２ニューラルネットワークの前記調整可能なパラメータが調整される、請求項２５に記載の認識装置。
  27. 前記プロセッサは、
    前記第１ニューラルネットワークに前記ユーザデータを入力し、
    前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び前記参照データを前記第２ニューラルネットワークに入力し、
    前記第２ニューラルネットワークの出力に基づいて前記オン－デバイストレーニングを行う、請求項２５に記載の認識装置。
  28. サーバ側で特徴抽出器の第１ニューラルネットワークを事前トレーニングするステップと、
    前記第１ニューラルネットワークが事前トレーニングされた後、前記特徴抽出器をデバイスに提供するステップであって、前記特徴抽出器は、事前トレーニングに応じて固定されたパラメータを有する第１ニューラルネットワーク及びオン－デバイストレーニングに応じて調整可能なパラメータを有する第２ニューラルネットワークを含む、ステップと、
    前記デバイスに入力されたデータを用いて、前記デバイス上で前記特徴抽出器の前記第２ニューラルネットワークをオン－デバイストレーニングするステップと、
    前記特徴抽出器を用いて、前記デバイスに入力されたテストデータに対するユーザ認識を行うステップと、
    を含み、
    前記ユーザ認識を行うステップは、
    前記第１ニューラルネットワークに前記ユーザデータを入力するステップと、
    前記ユーザデータの入力に反応した前記第１ニューラルネットワークの出力及び前記参照データを前記第２ニューラルネットワークに入力するステップと、
    前記第２ニューラルネットワークの出力に基づいて、前記オン－デバイストレーニングを行うステップと、
    を含む、方法。
  29. 前記デバイスに入力されたデータは、ユーザ登録のために正当なユーザによって入力されたユーザデータ及び一般化されたユーザに対応する参照データを含む、請求項２８に記載の方法。
  30. 前記ユーザデータに対応する登録特徴ベクトルと前記テストデータに対応するテスト特徴ベクトルとを比較することで前記ユーザ認識を行うステップをさらに含む、請求項２９に記載の方法。
JP2020136959A 2019-09-02 2020-08-14 オン－デバイストレーニング基盤のユーザ認識方法及び装置 Active JP7534045B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0108199 2019-09-02
KR20190108199 2019-09-02
KR1020190127239A KR20210026982A (ko) 2019-09-02 2019-10-14 온-디바이스 트레이닝 기반의 사용자 인식 방법 및 장치
KR10-2019-0127239 2019-10-14

Publications (2)

Publication Number Publication Date
JP2021039749A JP2021039749A (ja) 2021-03-11
JP7534045B2 true JP7534045B2 (ja) 2024-08-14

Family

ID=72243014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020136959A Active JP7534045B2 (ja) 2019-09-02 2020-08-14 オン－デバイストレーニング基盤のユーザ認識方法及び装置

Country Status (4)

Country Link
US (2) US11900246B2 (ja)
EP (1) EP3798925A1 (ja)
JP (1) JP7534045B2 (ja)
CN (1) CN112446408B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407843B (zh) * 2021-07-09 2024-11-15 深圳壹账通智能科技有限公司 用户画像生成方法、装置、电子设备及计算机存储介质
US11928762B2 (en) * 2021-09-03 2024-03-12 Adobe Inc. Asynchronous multi-user real-time streaming of web-based image edits using generative adversarial network(s)
US20230214642A1 (en) * 2022-01-05 2023-07-06 Google Llc Federated Learning with Partially Trainable Networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018039500A1 (en) 2016-08-26 2018-03-01 Alibaba Group Holding Limited A speech recognition method and apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1669979B1 (en) 2003-10-03 2008-01-23 Asahi Kasei Kabushiki Kaisha Data processing device and data processing device control program
KR101113770B1 (ko) 2009-12-28 2012-03-05 대한민국(국가기록원) 동일화자의 음성변화에 대한 음성인식오차율감소알고리즘을 이용한 화자인식방법
WO2014112375A1 (ja) 2013-01-17 2014-07-24 日本電気株式会社 話者識別装置、話者識別方法、および話者識別用プログラム
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US9978374B2 (en) 2015-09-04 2018-05-22 Google Llc Neural networks for speaker verification
KR102494139B1 (ko) 2015-11-06 2023-01-31 삼성전자주식회사 뉴럴 네트워크 학습 장치 및 방법과, 음성 인식 장치 및 방법
US20180018973A1 (en) * 2016-07-15 2018-01-18 Google Inc. Speaker verification
KR102824640B1 (ko) * 2016-09-07 2025-06-25 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
US9824692B1 (en) * 2016-09-12 2017-11-21 Pindrop Security, Inc. End-to-end speaker recognition using deep neural network
DE112017006136T5 (de) * 2016-12-05 2019-08-22 Avigilon Corporation System und Verfahren zur CNN-Schichtenteilung
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
US20190019500A1 (en) 2017-07-13 2019-01-17 Electronics And Telecommunications Research Institute Apparatus for deep learning based text-to-speech synthesizing by using multi-speaker data and method for the same
KR102415509B1 (ko) * 2017-11-10 2022-07-01 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102486395B1 (ko) * 2017-11-23 2023-01-10 삼성전자주식회사 화자 인식을 위한 뉴럴 네트워크 장치, 및 그 동작 방법
CN108460365B (zh) * 2018-03-27 2022-04-12 百度在线网络技术（北京）有限公司 身份认证方法和装置
CN108806696B (zh) * 2018-05-08 2020-06-05 平安科技（深圳）有限公司 建立声纹模型的方法、装置、计算机设备和存储介质
KR102654874B1 (ko) * 2018-12-31 2024-04-05 삼성전자주식회사 화자 인식을 위한 뉴럴 네트워크 장치, 및 그 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018039500A1 (en) 2016-08-26 2018-03-01 Alibaba Group Holding Limited A speech recognition method and apparatus

Also Published As

Publication number Publication date
US20240135177A1 (en) 2024-04-25
CN112446408A (zh) 2021-03-05
EP3798925A1 (en) 2021-03-31
US11900246B2 (en) 2024-02-13
US20210064923A1 (en) 2021-03-04
US20240232619A9 (en) 2024-07-11
JP2021039749A (ja) 2021-03-11
CN112446408B (zh) 2025-05-13

Similar Documents

Publication Publication Date Title
KR102608470B1 (ko) 데이터 인식 장치 및 방법과 트레이닝 장치 및 방법
US11295111B2 (en) Method and apparatus for detecting fake fingerprint, and method and apparatus for recognizing fingerprint
KR102359556B1 (ko) 지문 영상을 이용한 사용자 인증 방법 및 사용자 인증을 위한 부호화 모델 생성 방법
KR102439938B1 (ko) 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
CN111382666B (zh) 具有用户验证的设备和方法
WO2020050966A1 (en) User adaptation for biometric authentication
JP7021871B2 (ja) 複数の生体認証器を用いたユーザ認証方法及びその装置
JP7769076B2 (ja) 一般化されたユーザモデルを用いたユーザ認証方法及び装置
US20160217198A1 (en) User management method and apparatus
CN117121068A (zh) 使用机器学习和登记数据的个性化生物测定反欺骗保护
JP7534045B2 (ja) オン－デバイストレーニング基盤のユーザ認識方法及び装置
CN107609365B (zh) 用于使用多个生物测量学验证器验证用户的方法和设备
CN109934083A (zh) 对象识别方法和设备
KR102796793B1 (ko) 변환 모델을 이용한 인증 방법 및 장치
KR102483650B1 (ko) 사용자 인증 장치 및 방법
US11335117B2 (en) Method and apparatus with fake fingerprint detection
US20230289420A1 (en) Method for multifactor authentication using bone conduction and audio signals
CN106228133A (zh) 用户验证方法及装置
JP6771361B2 (ja) 認証方法、認証装置及び学習方法
JP7658529B2 (ja) スプーフィング防止方法及び装置
CN112926574A (zh) 图像识别方法、图像识别装置和系统
CN105099700A (zh) 一种认证方法、服务器及系统
US12019725B2 (en) Methods and systems for employing an edge device to provide multifactor authentication
US20250175462A1 (en) Systems and methods for fast and simultaneous multi-factor authentication using vector computing
KR20210026982A (ko) 온-디바이스 트레이닝 기반의 사용자 인식 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240730

R150 Certificate of patent or registration of utility model

Ref document number: 7534045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150