JP7713949B2 - ライブフィッティングを含む眼鏡フレームのフィッティング - Google Patents

Description

〔関連出願の参照〕
本出願は、米国特許仮出願６２／９７９，９６８号（ＬＩＶＥ ＦＩＴＴＩＮＧ ＯＦ ＧＬＡＳＳＥＳ ＦＲＡＭＥＳ、２０２０年２月２１日）に対する優先権を主張し、これは、あらゆる目的のために参照により本明細書に組み込まれる。

パーソナルアクセサリなどのアイテムについて決断をするとき、消費者は、一般的に、そのアイテムが消費者の人にどのように見えるかを視覚化したいと思う。現実世界では、消費者はアイテムを試着するであろう。例えば、眼鏡を購入する人は、眼鏡店へ何度も足を運び、眼鏡フレーム及びレンズの適合を確認する必要がある。その際、バーチャルで試着できれば、より便利であろう。しかしながら、従来の技術では、処理遅延及び他の技術的課題により、実際の試着に匹敵する体験はできない。実体験に近い形で仮想的に試着できるようにすることが望まれる。

本発明の様々な実施形態は、以下の詳細な説明及び添付の図面に開示されている。

眼鏡フレームのライブフィッティングのためのシステムの一実施形態を示すブロック図である。 眼鏡フレームの仮想フィッティングのためのクライアントデバイスの一実施形態を示すブロック図である。 眼鏡フレームの仮想フィッティングのためのサーバの一実施形態を示すブロック図である。 眼鏡を試着するためのプロセスの一実施形態を示すフローチャートである。 ユーザの頭部の画像を取得するプロセスの一実施形態を示すフローチャートである。 眼鏡のライブフィッティングのプロセスの一実施形態を示すフローチャートである。 眼鏡フレームの対応画像を生成するためのプロセスの一実施形態を示すフローチャートである。 比較的粗いモデルを使用して頭部モデルをスケーリングするプロセスの一実施形態を示すフローチャートである。 比較的微細なモデルを使用して頭部モデルをスケーリングするプロセスの一実施形態を示すフローチャートである。 頭部モデルをスケーリング及び生成するプロセスの一実施形態を示すフローチャートである。 いくつかの実施形態において得られるフレーム適合グラフィカルユーザインターフェースの一例を示す図である。 いくつかの実施形態において得られるフレームスケールグラフィカルユーザインターフェースの一例を示す図である。 いくつかの実施形態において取得される所望の及びキャプチャされた顔の角度（ｆａｃｉａｌ ａｎｇｌｅｓ、顔角）のグラフィカルユーザインターフェースの一例を示す図である。 いくつかの実施形態において得られる分割スクリーングラフィカルユーザインターフェースの一例を示す図である。 いくつかの実施形態において取得される様々な眼鏡フレームを表示するためのグラフィカルユーザインターフェースの一例を示す図である。 いくつかの実施形態において取得された挿入（ｉｎｓｅｔ、インセット）を有するグラフィカルユーザインターフェースの一例を示す図である。

本発明は、プロセス、装置、システム、合成物（ｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｍａｔｔｅｒ）、コンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品、及び／又はプロセッサ、例えばプロセッサに結合されたメモリ上に記憶され、及び／又はそれによって提供される命令を実行するように構成されたプロセッサを含む多くの方法で実施することができる。本明細書では、これらの実装形態、又は本発明が取り得る任意の他の形態は、技術（ｔｅｃｈｎｉｑｕｅｓ、技法）と呼ばれ得る。一般に、開示されるプロセスのステップの順序は、本発明の範囲内で変更され得る。特に明記しない限り、タスクを実行するように構成されるものとして説明されるプロセッサ又はメモリなどの構成要素は、所与の時間にタスクを実行するように一時的に構成される一般的な構成要素として実装されてもよく、又はタスクを実行するように製造される特定の構成要素として実装されてもよい。本明細書で使用する「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された１つ又は複数のデバイス、回路、及び／又は処理コアを指す。

本発明の１つ又は複数の実施形態の詳細な説明を、本発明の原理を示す添付の図とともに以下に提供する。本発明は、そのような実施形態に関連して説明されるが、本発明は、いかなる実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、多数の代替形態、修正形態、及び均等物を包含する。以下の説明では、本発明の完全な理解を提供するために、多数の具体的な詳細が述べられる。これらの詳細は、例示を目的として提供され、本発明は、これらの具体的な詳細のいくつか又はすべてを伴わずに、特許請求の範囲に従って実施され得る。明確にするために、本発明に関連する技術分野で知られている技術的資料は、本発明が不必要に不明瞭にならないように、詳細に記載していない。

本明細書で使用する「ライブフィッティング」又は「ライブ試着」という用語は、シミュレーションを実質的に瞬時に表示することによって、人の身体上のオブジェクトの配置をシミュレートすることを指す。「ビデオフィッティング」又は「ビデオ試着」という用語は、シミュレーションをいくらかの遅延の後に表示することによって、人の身体上のオブジェクトの配置をシミュレートすることを指す。ライブフィッティングの一例としては、人がカメラを見ているのと実質的に同じタイミングで、人の顔に眼鏡フレームを配置し、眼鏡をかけた状態で鏡を見ているような体験を提供することが挙げられる。ビデオフィッティングの一例は、人の顔の１つ又は複数の画像をアップロードし、人の顔への眼鏡の配置を決定し、及び人の顔に配置された眼鏡の結果画像又は一連の画像（ビデオ）を表示することである。

開示される眼鏡フレームのライブフィッティングのための技術は、ユーザに以下の経験を提供する。仮想の「鏡」がユーザの電子デバイス画面上に表示されるので、ユーザは、選択されたフレームのペア（ｐａｉｒ）で拡張された鏡の中の自分自身を見ることができる。次いで、ユーザは、様々な異なるフレームを順次試着すことができる。

ビデオ試着技術と比較して、「ライブ試着」又は「仮想鏡」スタイルの眼鏡試着は、選択したフレームのペアを顔のイメージにリアルタイムでレンダリングして、ユーザの顔をより即座に見ることができる。様々な実施形態において、ユーザは、選択された眼鏡を自分の顔ですぐに見ることができる。彼らは、望むように頭を回すことによって異なる角度からどのように見えるかを見るためにライブ体験に従事することができる。ユーザが頭を動かすと、眼鏡も同じように動き、実際に眼鏡を着用した場合にユーザがどのように見えるかをシミュレートする。随意に、ユーザは、異なるフレームのペアを選択してもよく、ユーザの顔のライブレンダリングされた画像は、新たに選択された眼鏡を着用した状態で表示されるであろう。

ユーザが頭を動かしている間、この技術は、ユーザの顔及び頭のサイズ及び形状に関する情報を収集している。様々な視覚的合図がインターフェースの一部として提供され、システムが、ユーザの頭及び顔の正確な表現に、その表現の適切なスケール／サイズを含めて到達するために必要とされる量の情報を収集するために、様々な方法で動くようにユーザに促す。正確なスケール／サイズを決定する方法の例は、本明細書でさらに説明される。どれだけの情報が収集されたか、及びどれだけの情報が依然として必要とされるかを示すために、視覚的合図を提供することができる。例えば、視覚的合図は、高品質で正確な仮想試着ビューをレンダリングするのに充分な情報が取得されたときを示す。

図１は、眼鏡フレームのライブフィッティングのためのシステムの一実施形態を示すブロック図である。簡単にするために、本システムは、眼鏡フレームのライブフィッティング用と称される。システムによって生成されたデータは、眼鏡フレームのビデオフィッティングのためにライブフィッティングデータを使用することを含む、様々な他の用途において使用され得る。

この例では、システム１００は、クライアントデバイス１０４と、ネットワーク１０６と、サーバ１０８とを含む。クライアントデバイス１０４は、ネットワーク１０６を介してサーバ１０８に結合される。ネットワーク１０６は、高速データネットワーク及び／又は電気通信ネットワークを含み得る。ユーザ１０２は、製品を「試着」するためにクライアントデバイスと対話してもよく、例えば、本明細書でさらに説明する技術に従って、デバイスを介してユーザの身体のユーザ画像を提供し、ユーザの身体に対する製品の仮想フィッティングを表示することができる。

クライアントデバイス１０４は、ユーザ１０２にユーザインターフェースを提供するように構成される。例えば、クライアントデバイス１０４は、デバイスのカメラによってキャプチャされたユーザの画像などの入力を受信するか、又はユーザ１０２によるクライアントデバイスとのユーザインタラクションを観察してもよい。クライアントデバイスによって収集された情報の少なくともいくつかに基づいて、ユーザの身体上に製品を配置するシミュレーションがユーザに出力される。

様々な実施形態では、クライアントデバイスは、カメラ、深度センサ、ライダセンサ（ｌｉｄａｒ ｓｅｎｓｏｒ）、他のセンサ、又は複数のセンサの組み合わせなどの入力コンポーネントを含む。カメラは、身体的特徴が判定され得るユーザの画像を観察及び／又はキャプチャ（捕捉）するように構成されてもよい。ユーザは、本明細書でさらに説明されるように、カメラを操作するように、又はカメラに対してポーズをとるように指示されてもよい。入力コンポーネントによって収集された情報は、推奨を行うために使用及び／又は記憶され得る。

サーバ１０８は、入力画像から身体的特徴を決定し、身体的特徴と製品との間の相関を決定し、ユーザの顔に眼鏡フレームをフィッティングするなど、入力画像と統合された製品の１つ又は複数の画像を出力するように構成される。サーバ１０８は、クライアントデバイス１０４から遠隔（ｒｅｍｏｔｅ）であってもよく、インターネットなどのネットワーク１０６を介してアクセス可能であってもよい。図２及び３に関してさらに説明したように、様々な機能性が、クライアント又はサーバのいずれかにおいて具現化されてもよい。例えば、従来サーバに関連付けられた機能は、サーバによって実行されるだけでなく、クライアントによっても／代替的に実行されてもよく、その逆もまた同様である。出力は、ユーザ体験が製品のライブフィッティングであるように、ユーザが入力画像を提供した後、（もしあれば）非常にわずかな遅延でユーザに提供することができ、その結果、ユーザ体験は、製品のライブフィッティングになる。ユーザの顔への製品の仮想フィッティングは、多くの用途を有する。例えば、眼鏡（ｅｙｅｗｅａｒ）、化粧品、宝飾品などの顔用アクセサリーを仮想的に試着する用途がある。簡略化のため、本明細書の実施例は、主に、ユーザの顔／頭への眼鏡フレームのライブフィッティングを説明するが、これは、限定することを意図せず、本技術は、他のタイプのアクセサリーの試着に適用されてもよく、ビデオフィッティングに適用されてもよい（例えば、いくらかの遅延を有してもよい）。

図２は、眼鏡フレームの仮想フィッティングのためのクライアントデバイスの一実施形態を示すブロック図である。いくつかの実施形態では、図１のクライアントデバイス１０４は、図２の例を使用して実装される。

この例では、クライアントデバイスは、画像記憶装置（ｓｔｏｒａｇｅ、ストレージ）２０２と、眼鏡フレーム情報記憶装置２０４と、３Ｄモデル記憶装置２１４と、粗いモデル生成器（ｃｏａｒｓｅ ｍｏｄｅｌ ｇｅｎｅｒａｔｏｒ）２０６と、フィッティングエンジン２１６と、レンダリングエンジン２１２とを含む。クライアントデバイスは、例に示されるものよりも追加的、異なる、及び／又はより少ないコンポーネントで実装され得る。画像記憶装置２０２、眼鏡フレーム情報記憶装置２０４、及び３Ｄモデル記憶装置２１４の各々は、１つ又は複数のタイプの記憶媒体を使用して実装され得る。モデル生成器２０６、フィッティングエンジン２１６、及びレンダリングエンジン２１２の各々は、ハードウェア及び／又はソフトウェアを使用して実装され得る。

画像記憶装置２０２は、画像のセットを記憶するように構成される。画像は、ＲＧＢ画像及び深度画像を含むが、それらに限定されず、様々なフォーマット又は異なるタイプであり得る。いくつかの実施形態では、画像の各セットは、図４に関してさらに説明されるように、記録されたビデオ又はユーザの顔の様々な向きの一連のスナップショットと関連付けられる。いくつかの実施形態では、画像の各セットは、セット全体又はセットの個々の画像に関連するデータとともに記憶される。様々な実施形態では、ユーザ画像の少なくともサブセットは、ローカル及び／又は遠隔に記憶され、例えば、記憶のためにサーバ１０８に送信されてもよい。

カメラ２１８は、ユーザの画像をキャプチャするように構成される。キャプチャされた画像は、２０２において記憶され、身体的特徴を決定するために使用され得る。図１に関して説明したように、カメラは、ユーザの頭部のモデルを生成するのに役立つ深度センサなどの様々なセンサを有することができる。深度センサを有するカメラの例は、いくつかのｉＰｈｏｎｅｓ（登録商標）で入手可能なＴｒｕｅ Ｄｅｐｔｈ（登録商標）カメラである。カメラのハードウェアによっては、ＲＧＢ画像及び深度画像を含むが、それらに限定されない様々なフォーマット及びタイプの画像及びデータを取り込むことができる。

画像は、関連する内部（ｉｎｔｒｉｎｓｉｃ、固有）情報及び／又は外部（ｅｘｔｒｉｎｓｉｃ）情報を有し得る。内部情報及び外部情報は、第三者（例えば、クライアントデバイスアプリケーション）によって生成されるか、又は図３に関してさらに説明するように生成することができる。様々な実施形態では、第三者によって提供される内部情報及び外部情報はさらに、図３の３０８及び３１０に関して説明される技術を使用して処理することができる。情報は、デバイスにおいてローカルに生成することができ、又はサーバによってリモートに生成することができる。

粗いモデル生成器２０６は、画像の各セットに関連するユーザの顔の数学的３Ｄモデルを決定するように構成される。粗いモデル生成器は、モバイルデバイスに固有（ｎａｔｉｖｅ）のものなどの第三者メッシュモデルを使用して実装され得る。ｉＯＳ（登録商標）で利用可能なモデルＩ／Ｏフレームワークは、そのような例の１つである。様々な実施形態では、モデルは、ローカルにモデルを生成する代わりに、又はローカルモデル情報を補完するために、遠隔サーバ１０８から取得することができる。モデル生成器は、図３に示されるものと区別するためにここでは「粗い」モデル生成器と呼ばれるが、モデル生成器２０６は、使用される技術及び利用可能な処理リソースに応じて、モデル生成器３０６によって生成されるものと少なくとも同じ粒度（ｇｒａｎｕｌａｒｉｔｙ）を有するモデルを生成するように構成され得る。

フィッティングエンジン２１６（比較エンジンと呼ばれることもある）は、（例えば、３Ｄモデル記憶装置に記憶される）ユーザの顔の３Ｄモデルと眼鏡フレームの３Ｄモデルとの間の適合を決定するように構成される。いくつかの実施形態では、フィッティングエンジンは、ユーザの顔の粗いモデルを処理する。例えば、粗い３Ｄモデルは、帽子、眼鏡、顔ひげ（ｆａｃｉａｌ ｈａｉｒ）などのオブジェクト又は特徴を粗いモデル上に自動的に配置するための指示（例えば、提案又は手掛かり）を提供する。配置は、追加のランドマークを決定することによって改善することができる。例えば、粗いモデルが耳の接合点を欠いている場合、フィッティングエンジンは、図３の３０６に関してさらに説明するように、それらの点を決定することができる。

眼鏡フレーム情報記憶装置２０４は、様々な眼鏡フレームに関連する情報を記憶するように構成される。例えば、眼鏡フレームに関連する情報は、フレームの様々なエリア（例えば、ブリッジ長、レンズ直径、テンプル距離）の測定値、様々な（Ｒ，ｔ）ペアに対応する眼鏡フレームのレンダリング、様々な（Ｒ，ｔ）パラメータについて眼鏡画像をレンダリングするために使用され得る眼鏡フレームの３Ｄモデルの数学的表現、価格、識別子、モデル番号、カテゴリ、タイプ、眼鏡フレーム素材、ブランド、部品番号を含んでもよい。いくつかの実施形態では、各眼鏡フレームの３Ｄモデルは、例えば、眼鏡フレームの様々な位置／部分を画定する３Ｄポイントのセット、例えば、ブリッジポイントのペアとテンプル屈曲ポイントのペアの１つ以上を含む。様々な実施形態では、眼鏡の２Ｄ画像がクライアントデバイスで生成される。他の実施形態では、眼鏡の２Ｄ画像が、図１の１０８等のサーバによって生成され、クライアントデバイスに送信される。

レンダリングエンジン２１２は、画像上にオーバーレイされる眼鏡フレームの２Ｄ画像をレンダリングするように構成される。例えば、選択された眼鏡フレームは、眼鏡フレーム情報記憶装置２０４に情報が記憶されている眼鏡フレームであってもよい。例えば、眼鏡フレームがオーバーレイされるべき画像は、画像記憶装置２０２に記憶された画像セットの一部として記憶されてもよい。いくつかの実施形態では、レンダリングエンジン２１２は、画像セットの少なくとも一つのサブセットの各々について、（例えば、ユーザによって選択された）眼鏡フレームをレンダリングするように構成される。様々な実施形態において、眼鏡フレームがオーバーレイされる画像は、カメラから供給される。いくつかの実施形態では、レンダリングエンジン２１２は、眼鏡フレームが３Ｄ顔（例えば、ユーザの顔の３Ｄモデル又は別の３Ｄ顔の３Ｄモデル）上に置かれた後の眼鏡フレームの３Ｄモデルを、画像に対応する（Ｒ，ｔ）ペアなどの外部情報によって、変換するように構成される。（Ｒ，ｔ）ペアは、ユーザの顔に関連付けられた画像セットの画像について決定された外部情報の例であり、Ｒは回転行列であり、ｔは３０８に関してさらに説明されるようにその画像に対応する並進ベクトルである。いくつかの実施形態では、レンダリングエンジン２１２はまた、オクルージョンボディを使用して変換された眼鏡フレームに対してオクルージョンカリング（ｏｃｃｌｕｓｉｏｎ ｃｕｌｌｉｎｇ）を実行するように構成される。（Ｒ，ｔ）ペアと関連付けられた向き及び並進（平行移動）におけるオクルージョン眼鏡フレームは、その向き／並進におけるオクルージョンボディによって視界から隠された特定の部分を除外する。画像にレンダリングされた眼鏡フレームは、画像に対応する向き及び並進で眼鏡フレームを示すべきであり、クライアントデバイスにおけるユーザへの画像セットの再生において、その画像上にオーバーレイされ得る。

図３は、眼鏡フレームの仮想フィッティングのためのサーバの一実施形態を示すブロック図である。いくつかの実施形態では、図１のサーバ１０８は、図３の例を使用して実装される。この例では、サーバは、画像記憶装置３０２と、眼鏡フレーム情報記憶装置３０４と、３Ｄモデル記憶装置３１４と、モデル生成器３０６と、フィッティングエンジン３１６と、外部情報生成器３０８と、内部情報生成器３１０と、レンダリングエンジン３１２とを含む。サーバは、例示したものよりも追加的に、異なる、及び／又はより少ないコンポーネントで実装され得る。クライアント２００及びサーバ３００に関して説明される機能は、いずれかのデバイスにおいて具現化され得る。例えば、２０６によって生成された粗いモデルは、クライアント上でローカルに処理（例えば、改善）されてもよく、又は更なる処理のためにサーバ３００に送信されてもよい。画像記憶装置３０２、眼鏡フレーム情報記憶装置３０４、及び３Ｄモデル記憶装置３１４の各々は、１つ又は複数のタイプの記憶媒体を使用して実装され得る。モデル生成器３０６、フィッティングエンジン３１６、外部情報生成器３０８、内部情報生成器３１０、及びレンダリングエンジン３１２の各々は、ハードウェア及び／又はソフトウェアを使用して実装され得る。コンポーネントの各々は、別段の記載がない限り、図２におけるそれらの対応物と同様である。

モデル生成器３０６は、画像の各セットに関連付けられたユーザの顔の数学的３Ｄモデルを決定するように構成される。モデル生成器３０６は、ゼロから、又はモデル生成器２０６によって生成された粗いモデルに基づいて、３Ｄモデルを生成するように構成され得る。様々な実施形態では、モデル生成器は、図９のプロセスを実行して３Ｄモデルを生成するように構成される。例えば、ユーザの顔の数学的３Ｄモデル（すなわち、３Ｄ空間におけるユーザの顔の数学的モデル）を原点に設定することができる。いくつかの実施形態では、ユーザの顔の３Ｄモデルは、関連付けられた画像セットからのユーザの顔の特徴（例えば、その位置）と関連付けられた基準点のセットを定義する３Ｄ空間内の点のセットを含む。基準点の例は、ユーザの眼の端点、ユーザの眉の端点、ユーザの鼻梁、ユーザの耳接合点、及びユーザの鼻の先端を含む。いくつかの実施形態では、ユーザの顔について決定された数学的３Ｄモデルは、関連付けられた画像セットからユーザの顔の特徴と関連付けられた基準点のセットに基づいて決定されるＭ行列と呼ばれる。いくつかの実施形態では、モデル生成器３０６は、画像セットについて決定されたＭ行列を、画像記憶装置３０２におけるセットとともに記憶するように構成される。いくつかの実施形態では、モデル生成器３０６は、ユーザの顔の３Ｄモデルを３Ｄモデル記憶装置３１４に記憶するように構成される。モデル生成器３０６は、図９のプロセスを実行するように構成され得る。

外部情報生成器３０８及び内部情報生成器３１０は、ライブ試着又はビデオ試着に使用可能な情報を生成するように構成される。図２に関して説明したように、情報は第三者から取得されてもよく、情報は第三者情報を基に生成することができ、又は以下のように生成されてもよい。

外部情報生成器３０８は、画像セットの少なくとも一つのサブセットの各々について外部情報のセットを決定するように構成される。例えば、画像セットは、画像記憶装置３０２に記憶されてもよい。様々な実施形態では、画像セットの画像に対応する外部情報セットは、その特定の画像におけるユーザの顔の正しい外観をもたらすために必要とされる画像セットについて決定されるユーザの顔の３Ｄモデルの向き及び並進のうちの１つ以上を記述する。いくつかの実施形態では、ユーザの顔に関連する画像セットの画像について決定された外部情報セットは、（Ｒ，ｔ）ペアと呼ばれ、ここでＲは回転行列であり、ｔはその画像に対応する並進ベクトルである。このように、画像セットの画像に対応する（Ｒ，ｔ）ペアは、画像セットに対応するＭ行列（ユーザの顔の３Ｄを表す）（Ｒ×Ｍ＋１）を、その（Ｒ，ｔ）ペアに関連する画像に示されるユーザの顔の適切な向き及び並進に変換することができる。いくつかの実施形態では、外部情報生成器３０８は、画像セットの少なくとも一つのサブセットの各々について決定された（Ｒ，ｔ）ペアを、画像記憶装置３０２におけるセットとともに記憶するように構成される。

内部情報生成器３１０は、画像セットの記録に関連するカメラの内部情報セットを生成するように構成される。例えば、カメラは、画像記憶装置３０２に記憶された画像セットを記録するために使用される。様々な実施形態では、カメラに対応する内部情報セットは、カメラに関連付けられるパラメータのセットを記述する。例えば、カメラのブランド又はタイプは、デバイス２００によって送信することができる。別の例として、カメラに関連するパラメータは焦点距離を含む。いくつかの実施形態では、カメラに関連する内部情報のセットは、ユーザの異なる画像間のスケーリング基準オブジェクト上の点を画像内のスケーリング基準オブジェクトと相関させ、カメラ較正技術を用いてカメラの内部パラメータを表す内部情報セットを計算することによって見出される。いくつかの実施形態では、カメラに関連する内部情報のセットは、スケーリング基準を必要としない自動較正の技術を用いて求められる。いくつかの実施形態では、カメラに関連付けられる内部情報セットは、Ｉ行列と呼ばれる。いくつかの実施形態では、Ｉ行列は、特定の画像に対応する（Ｒ，ｔ）ペアによって変換されたユーザの顔の３Ｄモデルバージョンをカメラの焦点面の２Ｄ表面に投影する。言い換えれば、Ｉ×（Ｒ×Ｍ＋１）により、画像に対応するＭ行列及び（Ｒ，ｔ）ペアによって決定される向き及び並進における３Ｄモデルが、２Ｄ表面上に投影されることになる。２Ｄ表面への投影は、カメラから見たユーザの顔のビューである。いくつかの実施形態では、内部情報生成器３１０は、画像記憶装置３０２において、画像セットに関連付けられるカメラについて決定されたＩ行列を記憶するように構成される。

いくつかの実施形態では、フィッティングエンジン３１６は、特定のユーザに関連付けられた「理想的な眼鏡」３Ｄポイントセットに含まれる計算されたブリッジポイントのセットを決定するように構成される。様々な実施形態では、特定のユーザに関連付けられた「理想的な眼鏡」３Ｄポイントセットは、眼鏡フレームの３Ｄモデルとユーザの顔の３Ｄモデルとの間の所望の位置合わせ又は適合を決定するために使用することができるマーカを含む。いくつかの実施形態では、計算されたブリッジポイントのセットを決定する際に、フィッティングエンジン３１６は、ユーザの顔の３Ｄモデルに含まれる３Ｄポイントのセットからの少なくとも３つのポイントを使用して３Ｄ空間内の平面を決定するように構成される。例えば、平面は、ユーザの顔の３Ｄモデルからの２つの眼の内側の隅及び２つの耳接合点を使用して決定される。フィッティングエンジン３１６は、平面に平行なベクトルを決定するように構成され、このベクトルは、「顔面法線」と呼ばれることがある。顔面法線に沿った２つの内側の眉点の中点と２つの眼の内側の隅の中点との間の距離が計算され、「眉ｚデルタ」と呼ばれることがある。フィッティングエンジン３１６は、眉ｚデルタに所定の係数を乗算することによって「ブリッジシフト」値を決定するように構成される。例えば、係数は１．０に近く、発見的に（ｈｅｕｒｉｓｔｉｃａｌｌｙ）に計算された。フィッティングエンジン３１６は、ユーザの顔の３Ｄモデルの２つの眼の内側の隅の各々を、ブリッジシフト値だけ顔の法線方向にカメラに向かって移動させることによって、計算されたブリッジポイントのセットを決定するように構成される。いくつかの実施形態では、フィッティングエンジン３１６はまた、２つの内側の眉点の中点と２つの眼の内側の隅の中点との間の距離及び所定の係数の関数として決定される垂直シフトを決定するように構成される。

いくつかの実施形態では、計算されたブリッジポイントのセットは、垂直シフトに基づいて、２つの内側の眉点の中点と２つの眼の内側の隅の中点との間の距離に沿って更に移動させられる。いくつかの実施形態では、理想的な眼鏡３Ｄポイントセットに含まれる他の３Ｄポイントは、２つのテンプル屈曲点であり、フィッティングエンジン３１６は、ユーザの顔の３Ｄモデルの２つの耳接合点に等しくなるように設定されるように構成される。いくつかの実施形態では、ユーザの顔の３Ｄモデルに対する眼鏡フレームの３Ｄモデルの初期配置は、理想的な眼鏡３Ｄポイントセットの、２つのブリッジポイント及び／又は２つのテンプル屈曲点を用いて決定することができる。いくつかの実施形態では、フィッティングエンジン３１６は、眼鏡フレームの３Ｄモデルのブリッジポイント間の線を、ユーザに関連付けられる理想的な眼鏡３Ｄポイントセットの計算されたブリッジポイント間の線と位置合わせすることによって、初期配置を決定するように構成される。次に、眼鏡フレームの３Ｄモデルのブリッジポイントは、フィッティングエンジン３１６によって、眼鏡フレームの３Ｄモデルのブリッジポイントと、ユーザに関連付けられる理想的な眼鏡３Ｄポイントセットの計算されたブリッジポイントの両方の中点が同じ位置又は互いの所定の距離内にあるように位置決めされる。次いで、眼鏡フレームの３Ｄモデルのブリッジポイントを固定し、眼鏡フレームの３Ｄモデルのテンプル屈曲点は、眼鏡フレームの３Ｄモデルのテンプル屈曲点がユーザの顔の３Ｄモデルの耳接合点と一致するか、又は所定の距離内にあるように、軸となる重複ブリッジ線を中心として回転させる。上述したように、いくつかの実施形態では、ユーザの顔の３Ｄモデルの耳接合点は、ユーザに関連する理想的な眼鏡３Ｄポイントセットのテンプル屈曲点と呼ばれることがある。

いくつかの実施形態では、ユーザの顔の３Ｄモデルに対する眼鏡フレームの３Ｄモデルの初期配置の決定の後又は代替として、フィッティングエンジン３１６は、ユーザに関連付けられる３Ｄ空間内の鼻曲線ポイントセットを決定するように構成される。ユーザに関連付けられる鼻曲線ポイントセットは、ユーザの顔の３Ｄモデルに対する眼鏡フレームの３Ｄモデルの配置を決定するために、又は理想的な眼鏡３Ｄポイントセットを使用して決定されたユーザの顔の３Ｄモデルに対する眼鏡フレームの３Ｄモデルの初期配置を修正するために使用され得る。いくつかの実施形態では、フィッティングエンジン３１６は、ユーザの顔の３Ｄモデルに対応するように所定の３Ｄ顔をモーフィング（ｍｏｒｐｈｉｎｇ）することによって、３Ｄ空間内の鼻曲線ポイントセットを決定するように構成される。いくつかの実施形態では、所定の３Ｄ顔は、一般的な顔の３Ｄモデルを含む。いくつかの実施形態では、所定の３Ｄ顔は、鼻曲線に沿った点の所定のセットを含む。いくつかの実施形態では、ユーザの顔の３Ｄモデルに対応するように所定の３Ｄ顔をモーフィングすることは、ユーザの顔の３Ｄモデル上の対応する位置に合致するか又はより近くなるように所定の３Ｄ顔の対応する位置／頂点（及びそれらそれぞれの近隣頂点）を移動させることを含む。所定の３Ｄ顔がモーフィングされた後、鼻曲線に沿った点の所定のセットもモーフィングの結果として移動される。したがって、所定の３Ｄ顔がモーフィングされた後、所定の３Ｄ顔の鼻曲線に沿った点の所定のセットの３Ｄ空間内の更新された位置は、ユーザに関連するモーフィングされた鼻曲線の３Ｄポイントのモーフィングされたセットと呼ばれる。

いくつかの実施形態では、鼻曲線等の領域／特徴は、３Ｄポイント（マーカ又は頂点とも呼ばれる）を使用し、以下のように領域を頂点のセットに適合させることによって、３Ｄ顔モデル又は粗いモデルから決定され得る。典型的には、粗い頭部モデル及び３Ｄ頭部モデルの頂点インデックスの順序付けは、固定である。言い換えれば、フィッティングエンジンは、鼻曲線などの領域にどの頂点がほぼ対応するのかをあらかじめ記録しておくことができる。これらの頂点は、モデル生成中に微妙に位置が変わることがあり、曲線上できれいに揃わないことがある。鼻曲線を生成する１つのアプローチは、頭部メッシュ上の予め記録された頂点を選択することによって、３Ｄポイントセットを生成することである。次いで、平面をこれらの３Ｄポイントにフィッティングすることができる。言い換えれば、フィッティングエンジンは、これらの３Ｄポイントによってカバーされる空間に最も近似する平面を見つける。次いで、フィッティングエンジンは、その平面上のこれらの点の投影を求める。これにより、フィッティング中に使用することができるきれいで正確な鼻曲線が得られる。

いくつかの実施形態では、フィッティングエンジン３１６は、眼鏡フレームの３Ｄモデルのブリッジポイントに最も近い、ユーザに関連付けられた鼻曲点のモーフィングされたセットのうち、２つの隣接するポイント間のセグメントを決定し、このセグメントの法線（これは、「鼻曲率法線」と呼ばれることもある）を計算することによって、ユーザの顔の３Ｄモデルに対する眼鏡フレームの３Ｄモデルの初期配置を修正するように構成される。次いで、フィッティングエンジン３１６は、眼鏡フレームの３Ｄモデルのブリッジポイントがセグメントの所定の距離内になるまで、眼鏡フレームの３Ｄモデルを鼻曲率法線に沿ってこのセグメントに向けて位置決めするように構成される。いくつかの実施形態では、フィッティングエンジン３１６は、眼鏡フレームの３Ｄモデルのテンプル屈曲点を曲げて、ユーザの顔の３Ｄモデルの耳接合点と位置合わせするようにさらに構成される。

図４は、眼鏡を試着するためのプロセスの一実施形態を示すフローチャートである。このプロセスは、システム１００によって実施することができる。このプロセスは、ライブ試着又はビデオ試着のために実行することができる。

図示の例では、プロセスは、ユーザの頭部の画像セットを取得することによって開始される（４０２）。例えば、ユーザがデバイスのカメラをオンにすると、ユーザの顔が仮想ミラーとして画面に表示される。様々な異なる角度からユーザの顔の画像を収集することにより、ユーザの頭部及び顔の３Ｄモデルを再構築するための入力が提供される。

いくつかの実施形態では、ユーザは、自分の顔に表示される眼鏡フレームの組み合わせを選択することができる。ユーザは、頭及び顔を動かすことができ、眼鏡の位置及び向きは、顔の動きを追跡し、顔の動きに対して適切な位置に留まるように継続的に更新される。

プロセスは、ユーザの頭部の初期配向を決定する（４０４）。例えば、プロセスは、ユーザの頭部が傾いているか、前方を向いているかなどを決定することができる。ユーザの頭部の向きは、様々な方法で決定することができる。例えば、プロセスは、ユーザの頭部の画像セットを使用して顔のランドマークセットを決定し、ランドマークを使用して向きを決定することができる。図２及び図３に関して更に説明するように、ランドマークは、ブリッジポイント、眼の隅、耳の接合点などの顔の特徴であり得る。別の例として、向きは、図９に関して説明するように、第三者（例えば、ＡＲＫｉｔ）によって提供される深度画像及び姿勢情報を使用することによって決定され得る。

プロセスは、ユーザの頭部の初期モデルを取得する（４０６）。ユーザの頭部の初期／デフォルトモデルは、様々な方法で生成されてもよい。例えば、モデルは第三者から得ることができる（例えば、図２に関して説明した粗いモデル）。別の例として、モデルは、サーバから取得されてもよい（例えば、図３に関して説明した３Ｄモデル）。さらに別の例として、モデルは、過去のユーザの顔に基づいて生成されてもよい。「過去の」ユーザの顔は、所定の期間（例えば、最近の顔は、最後の数時間、数日、数週間などである。）内に保存された画像から生成された統計モデルであってもよい。

３Ｄモデルの精度は、異なる角度からの顔の２Ｄカラー画像及び顔の対応する深度センサ情報の形態で収集される付加的な情報によって向上する。様々な実施形態では、プロセスは、満足のいく３Ｄモデルを構築するために充分な情報を得る方法として、ユーザの頭部を左から右に回すようにユーザに指示する。非限定的な例として、必要とされる精度の３Ｄモデルを作成するのに充分なのは約１０フレームである。３Ｄモデルの形状のより高い精度は、３Ｄ空間における眼鏡の位置及び角度を含む、ユーザの頭部への眼鏡のより良好なフィッティングを可能にする。より高い精度はまた、顔/頭に装着したときに眼鏡のどの部分が見えるか、及び眼鏡のどの部分が鼻又は耳などの顔の特徴によって見えなくなるのかのより良い分析を可能にする。

３Ｄモデルにおけるより精度はまた、図８Ｂ又は図９のプロセスを使用してスケールを決定することによって３Ｄモデルにおいて「スケール」が確立されると、ユーザの顔及び頭部のより正確な測定に寄与する。本明細書でさらに説明するように、図８Ｂのプロセスは、顔／頭部上のいくつかの２点間の距離の尺度を決定する。測定されるこの第１の距離は、典型的には、顔の正面図における瞳孔間の距離であり、これは、瞳孔間距離又はＰＤとして知られている。仮想３Ｄ空間におけるこれらの２点間の距離を知ることで、その空間における任意の他の２点間の距離を計算することができる。関心のある他の尺度としては、顔の幅、鼻梁の幅、鼻の中心と各瞳孔との間の距離（デュアルＰＤ）なども計算できる。

スケーリングされた３Ｄ頭部と、頭部にフィットされた（既知のスケールを有する）眼鏡の３Ｄモデルとを含む追加の測定値も計算することができる。テンプル長（眼鏡のテンプルアームのヒンジからテンプルが置かれる耳接合点までの距離）は一例である。

プロセスは、初期配向に対応するユーザの頭部の初期モデルを変換する（４０８）。例えば、頭部のモデルを３Ｄ空間内で回転させ、初期配向に対応させることができる。

プロセスは、眼鏡フレームのユーザ選択を受信する（４１０）。ユーザは、図１４に関してさらに説明するように、いくつかのセレクション（選択）から特定の眼鏡フレームを選択することによって、ユーザインターフェースを介して選択を提供してもよい。

プロセスは、ユーザの頭部の変換されたモデルを眼鏡フレームのモデルと組み合わせる（４１２）。ユーザの頭部と眼鏡フレームとの組み合わせは、鼻梁、テンプルなどの顔のランドマーク上での眼鏡のスケール及び配置の現実的な視覚化を含む、眼鏡がユーザの頭部上でどのように見えるかの正確な表現を提供する。従来技術と比較して、この組み合わせは、不正確なオクルージョンを低減／排除するので、より現実的である。オクルージョンとは、３Ｄ空間において前景オブジェクトが背景オブジェクトの手前にあるため、画像中の前景オブジェクトが背景オブジェクトを隠してしまうことである。正しいオクルージョンは、顔の一部の後ろに眼鏡の部分を適切に隠すので、より現実的に頭部に装着された眼鏡を表す。不正確なオクルージョンの原因は、とりわけ、ユーザの頭部モデル又は眼鏡フレームモデルが正確に組み合わされないとき、頭部姿勢が特定の画像に対して正確に決定されないとき（外部（Ｒ，ｔ）が正確でないとき）に、特に眼鏡が頭部と交差又は接触する部分の頭部モデルが不正確であることに起因する。眼鏡の頭部へのフィッティングは、３Ｄ頭部モデルの精度に依存するため、頭部モデルが不正確だとフィッティングも不正確となる。したがって、より良好な頭部モデルは、より正確なオクルージョンを実現し、よりリアルな試着体験をユーザに提供するであろう。

プロセスは、ユーザの頭部の変換されたモデルと眼鏡フレームのモデルとの組合せに少なくとも部分的に基づいて眼鏡フレームの画像を生成する（４１４）。眼鏡フレームの画像は２Ｄであるため、後でユーザの頭部の２Ｄ画像上に提示することができる。様々な実施形態では、眼鏡フレームの画像は、特定の条件が満たされることに応じて更新することができる。例えば、ユーザの顔の特徴が、不正確なスケールのために眼鏡フレームの初期２Ｄ画像によってカバーされない場合、初期２Ｄ画像は、モデルが改善されるにつれて、より正確なスケールを反映するように、１つ以上の次元でフレームを伸張、拡大するように変更することが可能である。

プロセスは、ユーザの頭部の画像セットの少なくとも１つの画像上に、眼鏡フレームの画像を重ね合わせることを含むプレゼンテーションを提供する（４１６）。プレゼンテーションは、図１０～１５に示されるもの等のユーザインターフェース上に出力することができる。

図５は、ユーザの頭部の画像を取得するためのプロセスの一実施形態を示すフローチャートである。このプロセスは、図４の４０２などの別のプロセスの一部として実行され得る。このプロセスは、システム１００によって実施することができる。

図示の例では、プロセスは、ユーザの頭部の画像セットを受信することによって開始する（５０２）。様々な実施形態では、ユーザは、所望の画像を取得するために自分の頭部を動かすように指示され得る。例えば、ユーザは、ユーザインターフェースを介して、前向き画像を撮影し、次いで、その頭部を左に回転させ、次いで、その頭部を右に回転させるように、又はある方向から別の方向にゆっくりと回転させるように命令されてもよい。ユーザの動きが速すぎたり遅すぎたりする場合、ユーザは、速度を落としたり速めたりするように指示されてもよい。

プロセスは、ユーザの頭部の画像及び関連情報のセットを記憶する（５０４）。関連情報は、深度データ等のセンサデータを含んでもよい。画像及び関連情報は、後に、本明細書でさらに説明するように、ユーザの頭部のモデルを構築するために、又は他の目的で使用されてもよい。

プロセスは、停止するかどうかを判定する（５０６）。例えば、充分な画像（枚数、画質等）が撮影された場合には、プロセスは、停止条件が満たされたと判定する。停止条件が満たされない場合、プロセスは５０２に戻り、さらなる画像を受信する。そうでない場合、停止条件が満たされる場合、プロセスは終了する。

ユーザの頭部の画像を取得するためのユーザインターフェースのいくつかの例が、図１０～１２に示される。

図６は、眼鏡のライブフィッティングのためのプロセスの一実施形態を示すフローチャートである。このプロセスは、図４などの別のプロセスの一部として実行され得る。このプロセスは、システム１００によって実施することができる。図示の例では、プロセスは、ユーザの顔の現在のモデルを更新することに関連するイベントを決定することによって開始する（６０２）。

プロセスは、ユーザの顔の履歴記録フレームのセットを使用して、イベントに応答してユーザの顔の現在のモデルを更新する（６０４）。例えば、ユーザの顔の履歴記録フレームのセットは、図４の４０２において取得されたもの、又は現在の記録セッションの前に取得された画像であり得る。

プロセスは、ユーザの顔の新たに記録されたフレームを取得する（６０６）。プロセスは、ユーザの画像をキャプチャするようにデバイス上のカメラに命令することによって、新しく記録されたフレームを取得し得る。図１０～図１２に示すようなユーザインターフェースを介してユーザにフィードバックを提供して、所望の画像をキャプチャするために頭を動かすようにユーザに指示することができる。

プロセスは、ユーザの顔の現在のモデルを使用して、眼鏡フレームの対応する画像を生成する（６０８）。例示的プロセスは、図８Ａ、図８Ｂ、及び図９でさらに説明される。

プロセスは、ユーザの顔の新しく記録されたフレームの上に眼鏡フレームの画像を提示する（６１０）。画像を提示する例は、図４の４１６である。

ユーザの顔の現在のモデルは、新しい顔のランドマーク又は最近の履歴画像に関連付けられる深度センサデータ等の新しい情報が利用可能であるときに更新することができる。様々な実施形態では、所望の密度又は精度のモデルを生成するために、所定数の姿勢（ｐｏｓｅｓ）が必要とされる。しかしながら、ユーザは、時として、頭を早く回し過ぎて、姿勢が完全にキャプチャされないことがある。姿勢が完全にキャプチャされていない場合、ユーザは、姿勢がキャプチャされ得る位置に戻るように促される。図１２に関連してさらに説明するように、フィードバックは、ＧＵＩ上又は別の形式（例えば、音又は触覚フィードバック）で提供され、ユーザに所望の方向を向くように促すことができる。

図７は、眼鏡フレームの対応する画像を生成するためのプロセスの一実施形態を示すフローチャートである。このプロセスは、図６の６０８などの別のプロセスの一部として実行され得る。このプロセスは、システム１００によって実施することができる。例えば、このプロセスは、ユーザの顔の初期モデルが形成された後にユーザが追加の画像を提供する場合に実行されてもよい。

図示の例では、プロセスは、ユーザの顔の現在の向きを取得することによって開始する（７０２）。現在の向きを決定する例は４０４である。様々な実施形態では、現在の向きは、深度センサデータを含む、ユーザの顔の新たに記録されたフレームに基づいて判定することができる。様々な実施形態では、向きは、デバイスから取得することができる。デバイス又は第三者によって提供される向きは、向きを改善するために、直接使用されるか、又はさらに処理されることができる。

プロセスは、現在の向きに対応するユーザの顔の現在のモデルを変換する（７０４）。ユーザの顔の３Ｄモデルは、現在の向きに対応するように配向されることができる。スケーリングは、図８Ａ、図８Ｂ、及び図９に関して本明細書でさらに説明するように、ユーザの顔の現在のモデルを効率的かつ正確に変換するために実行することができる。

プロセスは、ユーザの顔の変換されたモデルを眼鏡フレームのモデルと組み合わせる（７０６）。変換された頭部のモデルを眼鏡フレームのモデルと組み合わせた例は４１２である。

プロセスは、組み合わせに少なくとも部分的に基づいて眼鏡フレームの現在の画像を生成する（７０８）。変換された頭部のモデルを眼鏡フレームのモデルと組み合わせた例は４１４である。

プロセスは、頭部の変換されたモデルと眼鏡フレームのモデルとの組合せに少なくとも部分的に基づいて眼鏡フレームの現在の画像を生成する（７０８）。様々な実施形態では、眼鏡フレームの現在の画像は、ユーザが眼鏡フレームを試着していることを示すためにユーザの頭部に表示されるのに適した２Ｄ画像である。２Ｄ画像は、ユーザの顔と組み合わされると、アーチファクト（ａｒｔｉｆａｃｔｓ）及びオクルージョンが除去されるように生成され得る。

以下の図（図８Ａ、図８Ｂ、及び図９）は、比較的粗い頭部モデル又は比較的細かい頭部モデルのいずれかを使用してスケールを決定するいくつかの例を示す。

図８Ａは、比較的粗いモデルを使用して頭部モデルをスケーリングするためのプロセスの一実施形態を図示する、フローチャートである。このプロセスは、図７の７０４などの別のプロセスの一部として実行され得る。このプロセスは、２０６によって生成されたモデルなどの粗いモデルを使用してシステム１００によって実装され得る。

様々な実施形態では、ユーザの顔の真のスケール及びＰＤ（瞳孔間距離）を決定することができる。例えば、真のスケール及びＰＤは、１つ以上のＲＧＢカメラ画像、１つ以上の真の深度画像、及びＡＲＫｉｔによって提供される３Ｄジオメトリから、ｉＯＳ（登録商標）デバイス上で判定することができる。同じ概念はまた、Ａｎｄｒｏｉｄ（登録商標）デバイス又は３Ｄジオメトリの深度画像及び較正情報が取得され得る他のプラットフォームにも適用することができる。

プロセスは、２次元（２Ｄ）ＲＧＢ画像及び深度画像を受信することによって開始する（８０２）。２Ｄ ＲＧＢは、ユーザの頭部のＲＧＢ画像セットに含まれ得る。３Ｄ深度画像の一例は、真の深度画像である。様々な実施形態では、プロセスは、ＡＰＩを介して２Ｄ ＲＧＢ画像及び／又は深度画像を取得する。

オブジェクトの３Ｄモデルが与えられると、オブジェクトのモデル空間座標を２Ｄ画像空間にマッピングすることができる。マッピングの一例は以下の通りである。
［ｘ，ｙ，１］^Ｔ＝Ｐ^＊Ｖ^＊Ｍ^＊［Ｘ，Ｙ，Ｚ，１］^Ｔ
ここで、ｘ，ｙは２Ｄ座標であり、Ｐ，Ｖ，Ｍはそれぞれ投影行列（射影行列）、ビュー行列、モデル行列であり、Ｘ，Ｙ，Ｚは３Ｄモデル空間座標である。

モデル行列は、（スケールレス）モデル空間内の座標を実世界座標系に移動させる。次いで、ビュー行列は、オブジェクトがカメラ座標系において表されるように、並進及び回転動作を提供する。顔追跡がオンにされると、ＡＲＫｉｔは、顔が低解像度の不正確なメッシュ（数個の頂点）によって表されるモデル空間における顔の表現を提供する。さらに、Ｐ行列、Ｖ行列、及びＭ行列も提供され、したがって、ピクセル座標とモデルメッシュ頂点との間のマッピングを得ることができる。（焦点距離及び光学中心から得られる）Ｐ行列を仮定すると、画像上の任意の点は、その点の深度情報が利用可能である場合、カメラ座標系（実世界寸法，ｒｅａｌ ｗｏｒｌｄ ｄｉｍｅｎｓｉｏｎｓ）において表されることができる。深度センサを備えたデバイスの場合、較正は、様々な実施形態において、深度画像が解像度の差でのみＲＧＢ画像に登録されるように行われる。いくつかの実施形態では、解像度の差はない。

プロセスは、２Ｄ ＲＧＢ画像内の２Ｄ特徴に関連する座標を見つける（８０４）。２Ｄ特徴の例は、眼の虹彩であり、したがって、座標は、虹彩座標である。２Ｄ特徴座標は、機械学習を使用して見つけることができる。２Ｄにおける虹彩座標は、３Ｄにおける虹彩点を決定するために使用することができ、虹彩点間の距離は、瞳孔距離を与える。様々な実施形態では、Ａｐｐｌｅ（登録商標）によるＡＲＫｉｔの例を使用して、虹彩座標（ｘ、ｙ、ｚ）は、左眼及び右眼のそれぞれに対してＡＲＫｉｔを使用することによって判定される。これは、デバイスセンサ情報から決定することができる。

プロセスは、２Ｄ ＲＧＢ画像と深度画像との間の解像度マッピングと、求められた２Ｄ特徴座標とを使用して、深度画像内の３Ｄ特徴座標を決定する（８０６）。虹彩点がＲＧＢ画像上で決定されると、深度画像から深度情報を得ることができ（場合によっては虹彩点の近傍で何らかの追加処理を行う）、この深度値を投影行列からの焦点距離及び光学中心情報と組み合わせて、虹彩点を実世界寸法で３Ｄ座標系で表現することができる。

投影行列は、以下の形式を有する（ＡＲＫｉｔから得ることができる）。

投影行列、深度画像内の虹彩座標、深度値、及び深度画像解像度が与えられると、以下の式を用いて、虹彩点を実世界の寸法を持つ３次元座標系で表現することができる。
ａ＝深度＿投影＿行列［０，０］
ｃ＝深度＿投影＿行列［０，２］
ｆ＝深度＿投影＿行列［ｌ，ｌ］
ｇ＝深度＿投影＿行列［１，２］
ｍ＝深度＿投影＿行列［２，２］
ｎ＝深度＿投影＿行列［２，３］

ｚ＝深度＿画像［ｉｎｔ（マーカ＿深度＿座標［０］），ｉｎｔ（マーカ＿深度＿座標［１］）］
Ｈ、Ｗ＝深度＿画像＿高さ＿以下の深度画像

Ｙ＿クリップ＝１－（ｉｎｔ（マーカ＿深度＿座標［０］）／（Ｈ／２．０））
Ｘ＿クリップ＝（ｉｎｔ（マーカ＿深度＿座標［１］）／（Ｗ／２．０））－１
Ｚ＝－ｚ
Ｘ＝（Ｘ＿クリップ^＊（－Ｚ）－ｃ^＊Ｚ）／ａ
Ｙ＝（ｙ＿クリップ^＊（－Ｚ）－ｇ^＊Ｚ）／ｆ

プロセスは、３Ｄ特徴座標を使用して２Ｄ空間における実寸法の特徴ペア距離を決定する（８０８）。例えば、真のＰＤは、３Ｄ特徴座標を使用して決定することができる。実寸法は、ユーザの頭部上の眼鏡フレームの配置を正確に示すのに有用である。

図８Ｂは、比較的微細なモデルを使用して頭部モデルをスケーリングするためのプロセスの一実施形態を図示するフローチャートである。このプロセスは、図７の７０４などの別のプロセスの一部として実行され得る。このプロセスは、３０６（２０６）によって生成されるような粗いモデルを使用してシステム１００によって実装され得る。図８Ａのプロセスと比較して、より正確なスケールを決定することができるが、より多くの計算能力を必要とし得る。

頭部回転シーケンス（ＲＧＢ画像）及びシングルスケール画像（真の深さ及びＲＧＢ）が与えられると、頭部の３Ｄ再構成のためのスケール（正確な高解像度メッシュは、「Ｄｉｔｔｏメッシュ」とも呼ばれる）を得ることができる。１つのアプローチは、虹彩点を３Ｄ頭部に投影し、３Ｄ虹彩間距離を使用して頭部をスケーリングすることである。しかしながら、これは、メッシュ上の２点のみを使用し、非投影（ｕｎｐｒｏｊｅｃｔｉｏｎ）又は虹彩検出に誤差がある場合、正確ではない場合がある。別のアプローチは、顔の複数の特徴点を使用し、非投影（３Ｄ Ｄｉｔｔｏメッシュ上の位置）上のペアワイズ距離、及びＡＲＫｉｔ情報に基づいて３Ｄ表現を通して得られるペアワイズ距離を計算することである。同じペアに対応する２つの距離のスケール比は、様々な実施形態において、すべてのペアにわたって一定であると予想される。このスケール比は、以下のように複数のペアを使用することによって、又は代替として、図９に説明されるプロセスを使用することによって推定することができる。

プロセスは、ＲＧＢ画像に対応する外部情報を使用して３Ｄ特徴座標を得るために、深度画像における３Ｄ特徴座標を３Ｄ頭部モデルに非投影にすることから始まる（８１２）。３Ｄ特徴座標の例としては、虹彩座標が挙げられる。３Ｄ頭部モデルの例としては、モデル生成器３０６によって生成される比較的微細なモデルが挙げられる。ここでは示されていないが、プロセスは、モデル生成器３０６によって生成されたものなどの３Ｄメッシュ（ユーザの頭部のモデル）、真の深度（例えば、ＡＲＫｉｔ）情報、及び／又はカメラ内部情報を受信することによって、図８Ａのプロセスのような入力を事前に受信することができる。例えば、カメラエクストリンシックスを使用して、プロセスは、Ｄｉｔｔｏ空間内の３Ｄ座標で定義される非投影を使用して、Ｄｉｔｔｏメッシュ（３Ｄ頭部モデル）内の左眼を取得する。同様に、右眼も取得することができる。

プロセスは、３Ｄ特徴座標を使用して第１の特徴ペア距離を決定する（８１４）。第１の特徴ペア距離は、Ｄｉｔｔｏメッシュに基づく。第１の特徴ペア距離は、ユーザの頭部のＤｉｔｔｏメッシュモデルにおける位置上のペアワイズ距離である。

プロセスは、真の深度画像を使用して第２の特徴ペア距離を決定する（８１６）。第２の特徴ペア距離は、ＡＲＫｉｔ情報に基づく。第２の特徴ペア距離は、真の深度情報から得られるペアワイズ距離である。

プロセスは、第１の特徴ペア距離と第２の特徴ペア距離との比としてスケール係数を決定する（８１８）。例えば、第１の特徴ペア距離は、スケール係数（スケール比とも呼ばれる）を得るために、第２の特徴ペア距離によって比較（例えば、除算）される。スケール係数は一定であると予想されるが、それらが正確に同じでなければ、平均を取ることができる。スケール係数は、ＰＤ及び真のスケールを決定するために使用され得る。

シングルスケール画像（ＲＧＢ＋真の深度）を使用することによって３Ｄ再構成にスケールを追加するためのＡＲＫｉｔ及び深度情報の使用について説明した。これらの概念は、真の深度デバイス上でライブ試着体験を提供するように拡張することができる。深度画像が与えられると、ＲＧＢ画像、投影行列、及びビュー行列（カメラエクストリンシックス）、顔の高精度メッシュを決定／取得できる（例えば、現在の方法をＤｉｔｔｏ ３Ｄ再構成アルゴリズムなどの既知の方法に拡張する）。次いで、各新しい画像（ＲＧＢ及び／又は深度画像＋エクストリンシックス）を所与として、初期メッシュ及び所与のエクストリンシックスを精緻化し、正確なライブ試着又はビデオ試着体験をユーザに提供することができる。

図９は、頭部モデルをスケーリング及び生成するためのプロセスの一実施形態を示すフローチャートである。このプロセスは、図７の７０４などの別のプロセスの一部として実行され得る。このプロセスは、５０４の画像セット及び関連情報などのカメラ情報を使用してシステム１００によって実施することができる。このプロセスは、図８Ａ及び図８Ｂで説明したプロセスの代替である。様々な実施形態では、ＡＲＫｉｔ等のフレームワークによって提供される姿勢情報に加えて、キャプチャされる深度画像及びＲＧＢ画像は、実寸法を有する頭部メッシュを生成するために使用される。１つの利点は、ビデオ試着（オフライン処理）／改善されたライブ試着を組み込むことによって、既存の情報（姿勢、粗い頭部モデル）を活用し、後で構築することができることである。これは、カメラ情報及び姿勢情報を決定する必要がなくなることによって処理時間を短縮する。

プロセスは、１つ又は複数のＲＧＢ画像、１つ又は複数の深度センサ画像、姿勢情報、及びカメライントリニックス（ｉｎｔｒｉｎｓｉｃｓ）を受信することによって開始する（９０２）。この情報は、深度センサを有するデバイスによって、及びＡＲＫｉｔなどのネイティブフレームワークによって提供されるライブラリを介して生成され得る。例えば、ＡＲＫｉｔは、画像に対するエクストリンシックス（ｅｘｔｒｉｎｓｉｃｓ）であるコアード（ｃｏａｒｄ）頭部モデル及び姿勢情報を提供する。深度センサを有するカメラは、標準ＲＧＢ画像に対応する深度画像を生成することができる。カメライントリニックスとは、焦点距離などの情報を指す。

プロセスは、カメライントリニックスを使用して、各深度センサ画像内の各ポイントについて実際のスケールにおける３Ｄポイントを生成する（９０４）。カメライントリニックスは、カメラの特性に関する情報を提供し、これは、深度センサ画像からの点を実際のスケールにおける３Ｄポイントにマッピングするために使用することができる。図８Ａのプロセス（又はその一部）は、画像内のすべての点／ピクセル（必ずしも虹彩点だけではない）を処理することによって３Ｄポイントを生成するために適用することができる。

プロセスは、姿勢情報を使用して、画像からの３Ｄポイントを実際のスケールを持つ点群にマージする（９０６）。点群は、３Ｄ頭部モデルの大まかな領域又は構造を表す。

プロセスは、記憶装置からの過去の頭部スキャンを使用して、点群の形状に合致する実際のスケールを有するユーザの顔のモデルを生成する（９０８）。生成されたモデルは、ユーザの頭部に対してきれいで正確である。クリーンで正確なユーザの頭部モデルを得るために、スキャン履歴（ｈｉｓｔｏｒｉｃａｌ ｓｃａｎｓ）が３Ｄ点群に登録される。頭部スキャン履歴は、スキャン履歴のセットを使用することによって集約された統計モデルであり得る。

スケーリング（例えば、図８Ａ、図８Ｂ、又は図９のプロセスの結果）を使用して、３Ｄ空間における３Ｄ頭部モデル（Ｄｉｔｔｏメッシュ）のサイズを生成又は修正することができる。スケーリングされた頭部は、選択された眼鏡フレーム（例えば、６０８によって使用される）の２Ｄ画像を生成するために使用され得る。

以下の図は、いくつかのグラフィカルユーザインターフェース（ＧＵＩ）を示す。ＧＵＩは、ライブフィッティングプロセスの様々なステップに対応して、図１のクライアントデバイス１０４のディスプレイ上にレンダリングされ得る。

図１０は、いくつかの実施形態において得られるフレーム適合グラフィカルユーザインターフェースの一例を示す。このＧＵＩは、眼鏡フレームがユーザの顔にどの程度良好に適合するかを伝える。眼鏡が最初に顔に（ユーザの顔に関する充分な画像データを収集する前に、）拡張されるとき、特定の眼鏡が様々なエリア（顔の幅、光学中心、鼻梁、及びテンプル）にどのように適合するかを正確に確認するのに充分な顔データが収集されない場合がある。

ユーザが左右に回転すると、顔データが収集されて処理され、頭部の３Ｄ理解（ユーザーの顔の３Ｄモデルの構築）が行われ、各部位にわたる適合を正確に評価することができるようになる。
－図示のように、ＧＵＩは、以下のうちの１つ又は複数を伝える。
－適合のための顔要素（ブリッジ、テンプルなど）を強調する。
－特定の顔領域に対する適合が処理されているかどうかを示し、及び／又は完了した処理の程度を示す。
－適合が処理されると、スコア（例えば、赤色、黄色、緑色、ここでは、グレースケール勾配によって表される）が表示されて、眼鏡が特定の顔要素に適合する（適切（ｓｕｉｔａｂｌｅ）である）度合いを示す。

図１１は、いくつかの実施形態で得られるフレームスケールグラフィカルユーザインターフェースの一例を示す。このＧＵＩは、ユーザの顔に対する眼鏡フレームのスケールを伝える。眼鏡が最初に顔上に拡張されるとき、スケール（ユーザの顔に対するフレームの相対的なサイズ）を正確に確認するのに充分な顔データが収集されない可能性がある。様々な実施形態では、眼鏡は、フレームが小さすぎたり大きすぎたりしても、ユーザの顔（１１００）に適合するように見えるように、「理想的な」サイズとして最初に表示される。眼鏡の真のスケールは、追加のユーザの顔画像が取得された後に決定することができる（１１０２）。ユーザの顔のスケール／真のサイズを決定する方法の一例は、図８Ａ、図８Ｂ、及び図９に関して説明される。ここで、ユーザが頭を左から右に動かしている間（破線）、眼鏡はユーザの顔をたどり、ユーザ体験は鏡を見ているようなものである。ユーザが回転し、より多くの顔データが収集されるにつれて、眼鏡は、正しいサイズに拡大縮小し、顔により正確に着座／適合する（１１０４）。ここでは、フレームは、初期の「理想的な」サイズよりも大きいことが判明している。

図１２は、いくつかの実施形態において取得される所望の及びキャプチャされた顔角グラフィカルユーザインターフェースの一例を示す。このＧＵＩは、成功裏にキャプチャされた顔の角度及び／又はキャプチャされることが望まれる顔の角度を伝える（例えば、所望の角度はまだ完全には処理されていない）。眼鏡が最初に顔の上に拡張されるとき、特定の眼鏡がキーエリア（ｋｅｙ ａｒｅａｓ）（顔の幅、視覚的中心（ｏｐｔｉｃａｌ ｃｅｎｔｅｒ）、鼻梁、及びテンプル）にどのように適合するかを正確に確認するのに充分な顔面データが収集されない場合がある。ユーザが左右に回転するにつれて、顔データが収集され、頭部の３Ｄ理解を得るために処理されて（ユーザの顔の３Ｄモデルを構築して）、エリア全体にわたる適合を正確に評価することができる。サイドターンは、クリップ（例えば、ビデオフレーム）をキャプチャし、これにより次に、フレームが拡張されるときに、ユーザがキーアングル（ｋｅｙ ａｎｇｌｅｓ）で自分自身を見ることを可能にする。

ＧＵＩは、以下のうちの１つ又は複数を伝える。
－第１の部分では、ユーザが試着している眼鏡フレームを有するユーザの顔の画像を表示する。第２の部分（この例では底部のストリップ）では、キャプチャされた所望の顔の角度を表示する。
－所望の角度を示すインジケータがキャプチャされているが、依然として処理中である（１２００）。最初に、前方を向いた画像が望まれるので、インジケータ（円形矢印）は、これがキャプチャされている画像であることを示す。画像がキャプチャされると、インジケータはキャプチャされた画像に置き換えられる（１２０２）。
－ストリップ内に眼鏡をかけていないユーザの初期（前向き）画像（１２０２）。
－ストリップ内のガイダンスは、使用者に左右に、又は一方向もしくは別の方向（例えば、左１２０４～１２０８又は右１２１０）に回転するように促す。
－所望の角度が処理されるときの眼鏡をかけないユーザの画像は、１２０２～１２１０の下のストリップに示される。

図１３は、いくつかの実施形態において得られる分割画面グラフィカルユーザインターフェースの一例を示す。このＧＵＩにより、ユーザは、画面のある部分でのライブ試着と画面の別の部分でのビデオ試着の両方を見ることができる。様々な実施形態では、デフォルト表示はライブ試着（リアルタイムで顔に拡張されたフレーム）である。ユーザが必要な角度をキャプチャするために回転すると、画像はビデオベースの試着のために処理される。処理中は分割画面が表示される。処理が完了すると、ビデオ試着が見えるようになる。ユーザは、ライブ試着とビデオ試着とを切り替えるためにスライダをドラッグすることができる。

図１４は、いくつかの実施形態において取得された様々な眼鏡フレームを表示するためのグラフィカルユーザインターフェースの一例を示す。このＧＵＩは、ライブ試着及び／又はビデオ試着のために使用することができる。

例えば、ライブ試着の場合、初期画面はライブ試着（リアルタイムで顔に拡張されたフレーム）である。ストリップには、他の選択された又は推奨されたフレームもライブ試着として表示する。様々な実施形態では、メイン試着及びストリップ試着は、同じライブフィード（ｌｉｖｅ ｆｅｅｄｓ）であるが、異なるフレームを特徴とする。ユーザは、ストリップを上下にスワイプして、異なるフレームを見ることができる。

例えば、ビデオ試着の場合、初期画面はライブ試着（リアルタイムで顔に拡張されたフレーム）である。ストリップには、ビデオ試着として、その他に選択されたフレームまたは推奨フレームが表示される。試着が処理されると、ストリップが現れる。各ビデオ試着は、独立して操作（ｉｎｔｅｒａｃｔｅｄ）することができる。ユーザは、ストリップを上下にスワイプして、異なるフレームを見ることができる。

図１５は、いくつかの実施形態において取得された挿入を有するグラフィカルユーザインターフェースの一例を示す図である。眼鏡が最初に顔の上に拡張されるとき、特定の眼鏡がキーエリア（顔の幅、視覚的中心、鼻梁、及びテンプル）にどのように適合するかを正確に確認するのに充分な顔面データが収集されない場合がある。ユーザが左右に回転すると、顔データが収集され、頭部の３Ｄ理解を得るために処理されて（ユーザの顔の３Ｄモデルを構築する）、エリア全体にわたる適合を正確に評価することができる。

加えて、サイドターンは、クリップ（ビデオフレーム）をキャプチャし、これにより、次に、フレームが拡張されるときに、ユーザがキーアングルで自分自身を見ることを可能にする。

ＧＵＩは、以下のうちの１つ又は複数を伝える。
－初期画面は、ライブ試着（リアルタイムで顔に拡張されたフレーム）である（１５００）。
－挿入画像は、必要なフレームが受信され処理された範囲を表す処理されたビデオ試着を示す。
－ビデオ試着が処理されるにつれて、挿入画像はより明瞭になる（１５００～１５０６の進行）。

本明細書に開示される技術は、異なる眼鏡をかけた頭部及び顔の異なる姿勢を伴うライブ仮想ミラーセッションからの様々な画像及び画像シーケンスを保存する能力を含む、従来のライブ試着製品を上回る多くの利点を有する。本明細書で開示される技術は、異なるフレームを着用したユーザの自然な動きを表す画像シーケンスを作成する能力を提供する。様々な実施形態では、フィッティング情報、（一連の）画像及び同等物が、セッションから保存され、ライブセッションが終了した後でも、追加の異なるタイプのフレームをユーザに示すために使用される。

本明細書に開示される技術は、眼鏡プロセス／システム用の他のタイプのビデオ試着と統合することができる。このビデオ試着アプローチは、新しい眼鏡を購入することに関心がある人々が、異なる眼鏡のペアでどのように見えるかを確認するための非常に有用な方法であることが証明されている。この使用のケースでは、ユーザは、画像を記録し、分析のためにアップロードし、次いで、記録された画像が保存され、ユーザの顔の３Ｄ再構成を作成するために使用される。これらの画像は、後で使用するために保存され、顔の３Ｄモデルは、ユーザの要求に応じて、様々な異なる眼鏡フレームを利用するその後のレンダリング要求のために保存される。

前述の実施形態は、理解を明確にする目的である程度詳細に説明されているが、本発明は、提供される詳細に限定されるものではない。本発明を実施するための多くの代替方法が存在する。開示された実施形態は、例示的なものであり、限定的なものではない。

Claims (22)

1. システムであって、プロセッサが、
   ユーザの顔の現在のモデルを更新することに関連するイベントを決定し、
   前記イベントに応答して、前記ユーザの顔の履歴記録フレームのセットを使用して前記ユーザの顔の前記現在のモデルを更新し、
   前記ユーザの顔の新しく記録されたフレームを取得し、
   前記ユーザの顔の前記現在のモデルからの少なくとも３つのポイントを使用して顔の法線ベクトルを決定し、
   前記ユーザの顔の前記現在のモデルからの２つの眉点と２つの眼の内側の隅に基づいてブリッジシフト値を決定し、
   前記顔の法線ベクトルと前記ブリッジシフト値に基づいて、計算されたブリッジポイントのセットを決定し、
   前記計算されたブリッジポイントのセットに基づいて、前記ユーザの顔の前記現在のモデルを使用して、眼鏡フレームの対応する画像を生成し、
   前記ユーザの顔の前記新しく記録されたフレームの上に前記眼鏡フレームの画像を提示するように構成されるプロセッサと、
   前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されるメモリとを備える、システム。
2. 前記イベントは、経過時間、閾値を満たす前記新しく記録されたフレームの数、又は前記ユーザの顔の検出された向きに少なくとも部分的に基づくことを特徴とする、請求項１に記載のシステム。
3. 前記ユーザの顔の前記履歴記録フレームのセットは、時間閾値内の記録フレームを含む、請求項１に記載のシステム。
4. 前記ユーザの顔の前記現在のモデルは、デバイスによって収集された深度センサデータから取得される、請求項１に記載のシステム。
5. 前記ユーザの顔の前記現在のモデルは、過去のユーザの顔に少なくとも部分的に基づいて生成される、請求項１に記載のシステム。
6. 前記ユーザの顔の前記現在のモデルを以下のステップにより更新することをさらに含むシステムであって、
   前記ユーザの顔の現在の向きを取得するステップと、
   前記現在の向きに対応する前記ユーザの顔の前記現在のモデルを変換するステップと、
   前記ユーザの顔の変換されたモデルを前記眼鏡フレームのモデルと組み合わせるステップと、
   前記ユーザの顔の変換されたモデルと前記眼鏡フレームのモデルとの前記組み合わせに少なくとも部分的に基づいて前記眼鏡フレームの現在の画像を生成するステップと、
   により更新することをさらに含む、請求項１に記載のシステム。
7. 前記現在の向きに対応する前記ユーザの顔の前記現在のモデルを変換することは、以下のステップにより前記ユーザの顔をスケーリングすることを含む、システムであって、
   ２次元（２Ｄ）ＲＧＢ画像及び深度画像を受信するステップと、
   前記２Ｄ ＲＧＢ画像における２Ｄ特徴に関連する座標を求めるステップと、
   前記２Ｄ ＲＧＢ画像及び前記深度画像と見出された前記２Ｄ特徴に関連する座標との間の解像度マッピングを使用して、前記深度画像における３Ｄ特徴座標を決定するステップと、
   前記３Ｄ特徴座標を使用して、２Ｄ空間における実寸法特徴ペア距離を決定するステップと、
   を含む、請求項６に記載のシステム。
8. 前記現在の向きに対応する前記ユーザの顔の前記現在のモデルを変換することは、以下のステップにより、前記ユーザの顔をスケーリングすることを含むシステムであって、
   ２次元（２Ｄ）ＲＧＢ画像及び深度画像を受信するステップと、
   前記深度画像における３Ｄ特徴座標を３Ｄ頭部モデルに非投影にして、ＲＧＢ画像に対応する外部情報を使用して３Ｄ特徴座標を取得するステップと、
   前記３Ｄ特徴座標を使用して第１の特徴ペア距離を決定するステップと、
   前記深度画像を使用して第２の特徴ペア距離を決定するステップと、
   スケール係数を、前記第１の特徴ペア距離及び前記第２の特徴ペア距離の比率として決定するステップと、
   により、前記ユーザの顔をスケーリングすることを含む、請求項６に記載のシステム。
9. 前記現在の向きに対応する前記ユーザの顔の前記現在のモデルを変換することは、以下のステップにより前記ユーザの顔をスケーリングすることを含むシステムであって、
   １つ以上のＲＧＢ画像、１つ以上の深度センサ画像、姿勢情報、及びカメライントリニックスを受信するステップと、
   各深度センサ画像における各ポイントについて、カメライントリニックスを使用して、実際のスケールで３Ｄポイントを生成するステップと、
   姿勢情報を使用して、画像からの３Ｄポイントを実際のスケールで点群にマージするステップと、
   記憶装置からの履歴頭部スキャンを使用して、前記点群の形状に合致する実際のスケールで前記ユーザの顔のモデルを生成するステップと、
   生成された前記ユーザの顔の前記モデルを使用して、前記眼鏡フレームの対応する画像を生成するステップと、により前記ユーザの顔をスケーリングすることを含む、請求項６に記載のシステム。
10. 前記ユーザの顔のフレームを記録するように構成されるカメラを含むシステムであって、前記カメラは、少なくとも１つの深度センサを含む前記カメラをさらに含む、請求項１に記載のシステム。
11. 前記ユーザの顔の前記新しく記録されたフレームの上に前記眼鏡フレームの画像を提示することは、グラフィカルユーザインターフェース内の前記ユーザの顔の前記新しく記録されたフレーム上に前記眼鏡フレームの画像をレンダリングすることを含む、請求項１に記載のシステム。
12. 前記ユーザの顔の前記新たに記録されたフレームを取得することは、キャプチャされた顔の角度及びまだ完全に処理されていない顔の角度のうちの少なくとも１つに関するフィードバックを前記ユーザに表示することを含む、請求項１に記載のシステム。
13. 前記プロセッサは、前記ユーザの顔の少なくとも１つのエリアに対する適合度に関する情報を提示するようにさらに構成されることを特徴とする、請求項１に記載のシステム。
14. 前記ユーザの顔の前記新しく記録されたフレームを取得することと、前記ユーザの顔の前記新しく記録されたフレーム上に前記眼鏡フレームの前記画像を提示することとは、実質的に同時に実行されることを特徴とする、請求項１に記載のシステム。
15. 前記プロセッサは、前記ユーザの顔の以前に記録されたフレーム上に前記眼鏡フレームの画像を提示するようにさらに構成されることを特徴とする、請求項１に記載のシステム。
16. 前記ユーザの顔の以前に記録されたフレーム上の前記眼鏡フレームの前記画像と、前記ユーザの顔の前記新たに記録されたフレーム上の前記眼鏡フレームの前記画像とが、並べて提示されることを特徴とする、請求項１５に記載のシステム。
17. 前記プロセッサは、
    前記眼鏡フレームのセレクションの中から特定の前記眼鏡フレームのユーザ選択を受信し、
    前記ユーザの顔の前記新しく記録されたフレーム上に特定の前記眼鏡フレームの前記画像を提示するようにさらに構成される、請求項１に記載のシステム。
18. 前記プロセッサは、前記ユーザの顔の前記新しく記録されたフレームを取得する進捗状況を出力するようにさらに構成されることを特徴とする、請求項１に記載のシステム。
19. プロセッサは、ユーザの頭部の画像セットを取得し、
    前記ユーザの頭部の初期配向を決定し、
    前記ユーザの頭部の初期モデルを取得し、
    前記初期配向に対応する前記ユーザの頭部の前記初期モデルを変換し、
    眼鏡フレームのユーザ選択を受信し、
    前記ユーザの頭部の変換モデルからの少なくとも３つのポイントを使用して、顔の法線ベクトルを決定し、
    前記ユーザの頭部の前記変換モデルからの２つの眉点と２つの眼の内側の隅に基づいて、ブリッジシフト値を決定し、
    前記顔の法線ベクトルと前記ブリッジシフト値に基づいて、計算されたブリッジポイントのセットを決定し、
    前記計算されたブリッジポイントのセットに基づいて、前記ユーザの頭部の変換されたモデルを前記眼鏡フレームのモデルと組み合わせ、
    前記ユーザの頭部の変換されたモデルと前記眼鏡フレームのモデルとの組み合わせに少なくとも部分的に基づいて前記眼鏡フレームの画像を生成し、
    前記ユーザの頭部の画像セットの少なくとも１つの画像上に前記眼鏡フレームの画像をオーバーレイすることを含むプレゼンテーションを提供するように構成されるプロセッサと、
    前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されるメモリと、を備えるシステム。
20. プロセッサは、
    １つ以上のＲＧＢ画像、１つ以上の深度センサ画像、姿勢情報、及びカメライントリニックスを受信し、
    各深度センサ画像における各ポイントについて、カメライントリニックスを使用して、実際のスケールで３Ｄポイントを生成し、
    姿勢情報を使用して、画像からの３Ｄポイントを実際のスケールで点群にマージし、
    記憶装置からの履歴頭部スキャンを使用して、前記点群の形状に合致する実際のスケールで３Ｄ頭部モデルを生成し、
    前記３Ｄ頭部モデルからの少なくとも３つのポイントを使用して顔の法線ベクトルを決定し
    前記３Ｄ頭部モデルからの２つの眉点と２つの眼の内側の隅に基づいてブリッジシフト値を決定し
    前記顔の法線ベクトルと前記ブリッジシフト値に基づいて、計算されたブリッジポイントのセットを決定し
    生成された前記３Ｄ頭部モデル及び前記計算されたブリッジポイントのセットを使用して、眼鏡フレームの対応する画像を生成するように構成されるプロセッサと、
    前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されたメモリと、を備えるシステム。
21. ユーザの顔の現在のモデルを更新することに関連するイベントを決定するステップと、
    前記イベントに応答して、前記ユーザの顔の履歴記録フレームセットを使用して、前記ユーザの顔の前記現在のモデルを更新するステップと、
    前記ユーザの顔の新たに記録されたフレームを取得するステップと、
    前記ユーザの顔の前記現在のモデルを使用して、眼鏡フレームの対応する画像を生成するステップと、
    前記ユーザの顔の前記現在のモデルからの少なくとも３つのポイントを使用して顔の法線ベクトルを決定し、
    前記ユーザの顔の前記現在のモデルからの２つの眉点と２つの眼の内側の隅に基づいてブリッジシフト値を決定し、
    前記顔の法線ベクトルと前記ブリッジシフト値に基づいて、計算されたブリッジポイントのセットを決定し、
    前記計算されたブリッジポイントのセットに基づいて、前記ユーザの顔の前記新しく記録されたフレーム上に前記眼鏡フレームの画像を提示するステップと、を含む方法。
22. 非一時的なコンピュータ可読媒体において具現化されたコンピュータプログラム製品であって、ユーザの顔の現在のモデルを更新することに関連するイベントを決定し、
    前記イベントに応答して、前記ユーザの顔の履歴記録フレームセットを使用して、前記ユーザの顔の前記現在のモデルを更新し、
    前記ユーザの顔の新たに記録されたフレームを取得し、
    前記ユーザの顔の前記現在のモデルを使用して、眼鏡フレームの対応する画像を生成し、
    前記ユーザの顔の前記現在のモデルからの少なくとも３つのポイントを使用して顔の法線ベクトルを決定し、
    前記ユーザの顔の前記現在のモデルからの２つの眉点と２つの眼の内側の隅に基づいてブリッジシフト値を決定し、
    前記顔の法線ベクトルと前記ブリッジシフト値に基づいて、計算されたブリッジポイントのセットを決定し、
    前記計算されたブリッジポイントのセットに基づいて、前記ユーザの顔の前記新しく記録されたフレーム上に前記眼鏡フレームの画像を提示するためのコンピュータ命令を含む、非一時的なコンピュータ可読媒体において具現化されたコンピュータプログラム製品。