JP6878011B2 - ３ｄモデル化オブジェクトの再構築 - Google Patents

Description

本発明は、コンピュータプログラムおよびシステムの分野に関し、より詳細には、実物体を表す３Ｄモデル化オブジェクトを再構築するための方法、システム、およびプログラムに関する。

オブジェクトの設計、エンジニアリング、および製造用に、多くのシステムおよびプログラムが市場で提供されている。ＣＡＤは、コンピュータ支援設計の頭字語であり、たとえば、それはオブジェクトを設計するためのソフトウェアソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリングの頭字語であり、たとえば、それは将来の製品の物理的挙動をシミュレーションするためのソフトウェアソリューションに関する。ＣＡＭは、コンピュータ支援製造の頭字語であり、たとえば、製造プロセスおよび操作を定義するためのソフトウェアソリューションに関する。そのようなコンピュータ支援設計システムでは、技法の効率に関してグラフィカルユーザインターフェースが重要な役割を果たす。これらの技法は、製品ライフサイクル管理（ＰＬＭ）システム内に埋め込まれてもよい。ＰＬＭは、長い事業の概念にわたって、製品の開発のために、それらの構想から寿命の終わりまで、会社が製品データを共有し、共通のプロセスを適用し、企業知識を利用する助けとなる事業戦略を指す。Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｓによって（商標ＣＡＴＩＡ、ＥＮＯＶＩＡ、およびＤＥＬＭＩＡの元で）提供されるＰＬＭソリューションは、製品エンジニアリング知識を編成するエンジニアリングハブ、製造エンジニアリング知識を管理する製造ハブ、およびエンジニアリングハブおよび製造ハブへの事業の一体化および接続を可能にする事業ハブを提供する。このシステムは、一緒になって、製品、プロセス、リソースをリンクするオープンオブジェクトモデルをもたらし、動的な知識ベースの製品作成、および最適な製品定義、製造準備、製品、およびサービスを推進する判断サポートを可能にする。

この枠組みでは、コンピュータビジョンおよびコンピュータグラフィクスの分野は、ますます有用な技術を提供する。実際、この分野は、３Ｄ再構築、３Ｄモデルテクスチャリング、バーチャルリアリティ、また、たとえば１または複数の写真内の情報を入力として使用して正確なジオメトリを有する３Ｄシーンを精密に構築することが必要であるすべての領域で応用される。３Ｄ再構築は、シリアスゲーミング、ビデオゲーム、建築、考古学、リバースエンジニアリング、３Ｄ資産データベース、または仮想環境など、（たとえば、テクスチャリングされた）３Ｄモデルの作成を含む任意の分野で使用することができる。

ビデオストリームおよび写真セット解析からの３Ｄ再構築は、入力データに使用されるセンサのタイプに応じて、現況技術では２つの異なる手法で対処される。第１の手法は、「レシーバ」センサを使用する。これは、特にＲＧＢ画像解析からの３Ｄ再構築に関する。ここでは、３Ｄ再構築は、像平面のそれぞれに含まれるＲＧＢ色情報のマルチビュー解析によって得られる。論文、非特許文献１、非特許文献２、非特許文献３は、この手法に関する。第２の手法は、「エミッタ−レシーバ」センサを使用する。これは、特にＲＧＢ−深度画像解析からの３Ｄ再構築に関する。この種のセンサは、標準的なＲＧＢデータに追加の深度データを与え、それは再構築プロセスで主に使用される深度情報である。論文、非特許文献４、非特許文献５、非特許文献６は、この手法に関する。さらに、複数の学界および産業界の参加者が今や、Ａｃｕｔｅ３Ｄ、Ａｕｔｏｄｅｓｋ、ＶｉｓｕａｌＳＦＭなどＲＧＢ画像解析によって、またはＲｅｃｏｎｓｔｒｕｃｔＭｅもしくはＭｉｃｒｏｓｏｆｔのＳＤＫ ｆｏｒ Ｋｉｎｅｃｔ（登録商標）などＲＧＢ深度解析によって３Ｄ再構築のためのソフトウェアソリューションを提供している。マルチビュー写真測量再構築方法は、ビデオシーケンス（または一連のスナップショット）の像平面内に含まれる唯一の情報を使用し、シーンの３Ｄジオメトリを推定する。２Ｄビューの異なるものの間での注目の点同士のマッチングが、カメラの相対位置を生み出す。次いで、最適化された三角法を使用し、マッチング対に対応する３Ｄ点を計算する。深度マップ解析再構築方法は、視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）または近似された３Ｄ点群に基づく。これらの視差マップは、立体視または構造化光（たとえば、「Ｋｉｎｅｃｔ」デバイス参照）または「飛行時間」３Ｄカメラを使用して得られる。次いで、これらの現況技術の再構築方法は、一般に、実物体の離散的な３Ｄ表現、最もしばしば３Ｄメッシュを出力する。３Ｄモデルは、得られる３Ｄ点群を閉じる結果的な体積から派生する。

この分野では、単一のビューだけを使用する３Ｄ再構築もまた、関心のある特定の話題であった。なぜなら、この特定の手法は、全体的に容易な（したがって高速な）プロセスを可能にするからである。発想は、シェーディング（たとえば、論文、特許文献７に開示されているアルゴリズム）、テクスチャ（たとえば、いわゆる「シェイプフロムテクスチャ（Ｓｈａｐｅ ｆｒｏｍ Ｔｅｘｔｕｒｅ）アルゴリズム」）、等高線図（たとえば、いわゆる「シェイプフロムシルエット（Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ）」アルゴリズム）など、いくつかのヒントを利用して、単一ＲＧＢフレームだけを使用して３Ｄを推測することである。特に再構築のための単一深度フレームの使用は、消費者向け深度センサがごく最近市場に現れたおかげで、最近の話題である。目標は、オブジェクトの単一深度フレームを使用し、このオブジェクトの完全な３Ｄモデルを構築することである。いくつかの深度フレームを使用することは、問題をはるかに容易にする。なぜなら、オブジェクトの完全な３Ｄ点群を得るために、各フレームを他のフレームと位置合わせし、次いで論文、非特許文献８、または論文、非特許文献９に開示されているものなど、表面再構築アルゴリズムを使用することができるからである。しかし、深度フレームは再構築するオブジェクトの限られた一部を表すだけであるため、単一深度フレームだけを使用してオブジェクトの完全な３Ｄモデルを構築することは、依然として非常に難しい。そのため、しばしば、オブジェクトの完全なモデルを推測するために、手動のインタラクションを必要とする（たとえば、論文、非特許文献１０に開示されているように）、または再構築するオブジェクトに対して強い制約を課さなければならない。１つのそのような制約は、再構築するオブジェクトに対して形状の限られた空間を課すこととすることができる。たとえば、論文、非特許文献１１は、深度マップから逆投影された点群に対して（５つの内部パラメータによって定義される）超２次関数をフィッティングすることを開示している。形状の空間は非常に限られている（５つのパラメータだけ）ので、超２次関数を部分的な点群に対してフィッティングすることは容易である。これらの特定のパラメータは、超２次関数全体を定義し、したがって、オブジェクトの部分的な深度ビューだけを使用してオブジェクトの完全な形状を推測することができる。論文、非特許文献１２は、同様の目標を達成するために、超２次関数ではなくキューボイドの使用を開示している。この発想は、都市環境再構築の状況において、単純な構成要素（たとえば、キューブ、ブリック、シリンダ）の組立てによって定義される形状のより発展した空間を使用して拡張されている。いくつかの構成要素を組み立て、妥当な形状を構築することを可能にする規則を、グラマ（ｇｒａｍｍａｒ）が定義している。このグラマは、この状況、および再構築することができるようになりたいと望むオブジェクトの種類に特有のものである。たとえば、そのようなパラメトリック空間は、論文、非特許文献１３（都市環境再構築の状況において）に開示されているように、単一のＲＧＢフレームを使用して適用されている。別の発想は、形状の限られた空間を学習し、したがって特定の種類のオブジェクトの自然な制約を学習することにある。人間は、車のピクチャを見たとき、車は非常に特定のオブジェクトなので、この車を認識し、この車の見えない部分を推測することができる。いくつかのアルゴリズムは、この発想を利用し、単一の部分的なビューだけを使用して、オブジェクトを再構築するために特定の種類のオブジェクトについて形状の空間を学習する。論文、非特許文献１４および非特許文献１５は、人体の空間を学習し、次いでこの人の単一深度フレームだけで完全な人を再構築することを提案している。論文、非特許文献１６には、オブジェクトのシルエットだけを使用していくつかのＣＡＤオブジェクトを再構築するために、同様の発想が使用されている。

Ｒ． Ｈａｒｔｌｅｙ ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎ： Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ． Ｐｒｅｓｓ ２００４ Ｒ． Ｓｚｅｌｉｓｋｉ： Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｅｄｉｔｉｏｎ Ｓｐｒｉｎｇｅｒ ２０１０ Ｆａｕｇｅｒａｓ： Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ ｖｉｅｗｐｏｉｎｔ， ＭＩＴ Ｐｒｅｓｓ １９９４ Ｙａｎ Ｃｕｉ ｅｔ ａｌ．： ３Ｄ Ｓｈａｐｅ Ｓｃａｎｎｉｎｇ ｗｉｔｈ ａ Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ Ｃａｍｅｒａ， ＣＶＰＲ ２０１０ ＲＳ． Ｉｚａｄｉ ｅｔ ａｌ．： ＫｉｎｅｃｔＦｕｓｉｏｎ： Ｒｅａｌ−Ｔｉｍｅ Ｄｅｎｓｅ Ｓｕｒｆａｃｅ Ｍａｐｐｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ， Ｓｙｍｐｏｓｉｕｍ ＩＳＭＡＲ ２０１１ Ｒ． Ｎｅｗｃｏｍｂｅ ｅｔ ａｌ．： Ｌｉｖｅ Ｄｅｎｓｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｍｏｖｉｎｇ Ｃａｍｅｒａ， ＩＥＥＥ ＩＣＣＶ２０１１ Ｐｒａｄｏｓ ｅｔ ａｌ， Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇ， ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｄｅｌｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００６ Ｍｉｃｈａｅｌ Ｋａｚｈｄａｎ， Ｍａｔｔｈｅｗ Ｂｏｌｉｔｈｏ， ａｎｄ Ｈｕｇｈｅｓ Ｈｏｐｐｅ， Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ｉｎ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｇｅｏｍｅｔｒｙ Ｐｒｏｃｅｓｓｉｎｇ ２００６ Ｆ． Ｃａｌａｋｌｉ， ａｎｄ Ｇ． Ｔａｕｂｉｎ， ＳＳＤ： Ｓｍｏｏｔｈ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ｉｎ Ｐａｃｉｆｉｃ Ｇｒａｐｈｉｃｓ ２０１１ Ｃｈｅｎ ｅｔ ａｌ， ３−Ｓｗｅｅｐ： Ｅｘｔｒａｃｔｉｎｇ Ｅｄｉｔａｂｌｅ Ｏｂｊｅｃｔｓ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｐｈｏｔｏ， ｉｎ ＳＩＧＧＲＡＰＨ ＡＳＩＡ， ２０１３ Ｋｅｓｔｅｒ Ｄｕｎｃａｎ， Ｓｕｄｅｅｐ Ｓａｒｋａｒ， Ｒｅｄｗａｎ Ａｌｑａｓｅｍｉ， ａｎｄ Ｒａｊｉｖ Ｄｕｂｅｙ， Ｍｕｌｔｉ−ｓｃａｌｅ Ｓｕｐｅｒｑｕａｄｒｉｃ Ｆｉｔｔｉｎｇ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｓｈａｐｅ ａｎｄ Ｐｏｓｅ Ｒｅｃｏｖｅｒｙ ｏｆ Ｕｎｋｎｏｗｎ Ｏｂｊｅｃｔｓ， ｉｎ ＩＣＲＡ ２０１３ Ｚｈｅｎｇ ｅｔ ａｌ， Ｉｎｔｅｒａｃｔｉｖｅ Ｉｍａｇｅｓ： Ｃｕｂｏｉｄ Ｐｒｏｘｉｅｓ ｆｏｒ Ｓｍａｒｔ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ， ｉｎ ＳＩＧＧＲＡＰＨ， ２０１２ Ｐａｎａｇｉｏｔｉｓ Ｋｏｕｔｓｏｕｒａｋｉｓ， Ｌｏｉｃ Ｓｉｍｏｎ， Ｏｌｉｖｉｅｒ Ｔｅｂｏｕｌ， Ｇｅｏｒｇｉｏｓ Ｔｚｉｒｉｔａｓ， ａｎｄ Ｎｉｋｏｓ Ｐａｒａｇｉｏｓ， Ｓｉｎｇｌｅ Ｖｉｅｗ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｕｓｉｎｇ Ｓｈａｐｅ Ｇｒａｍｍａｒｓ ｆｏｒ Ｕｒｂａｎ Ｅｎｖｉｒｏｎｍｅｎｔｓ， ｉｎ ＩＣＣＶ ２００９ Ｄｒａｇｏｍｉｒ Ａｎｇｕｅｌｏｖ， Ｐｒａｖｅｅｎ Ｓｒｉｎｉｖａｓａｎ， Ｄａｐｈｎｅ Ｋｏｌｌｅｒ， Ｓｅｂａｓｔｉａｎ Ｔｈｒｕｎ， Ｊｉｍ Ｒｏｄｇｅｒｓ， ａｎｄ Ｊａｍｅｓ Ｄａｖｉｓ， ＳＣＡＰＥ： Ｓｈａｐｅ Ｃｏｍｐｌｅｔｉｏｎ ａｎｄ Ａｎｉｍａｔｉｏｎ ｏｆ Ｐｅｏｐｌｅ， ｉｎ ＳＩＧＧＲＡＰＨ ２００５ Ｏｒｅｎ Ｆｒｅｆｅｌｄ， ａｎｄ Ｍｉｃｈａｅｌ Ｊ． Ｂｌａｃｋ， Ｌｉｅ Ｂｏｄｉｅｓ： Ａ Ｍａｎｉｆｏｌｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ３Ｄ Ｈｕｍａｎ Ｓｈａｐｅ， ｉｎ ＥＣＣＶ ２０１２ Ｙｕ Ｃｈｅｎ， ａｎｄ Ｒｏｂｅｒｔｏ Ｃｉｐｏｌｌａ， Ｓｉｎｇｌｅ ａｎｄ Ｓｐａｒｓｅ Ｖｉｅｗ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂｙ Ｌｅａｒｎｉｎｇ Ｓｈａｐｅ Ｐｒｉｏｒｓ， ｉｎ ＣＶＩＵ Ｊｏｕｒｎａｌ ２０１１ Ｌｅａｒｎｉｎｇ Ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ３Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ， ｂｙ Ｐａｕｌ Ｗｏｈｌｈａｒｔ， ａｎｄ Ｖｉｎｃｅｎｔ Ｌｅｐｅｔｉｔ， ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１５ Ｍｕｌｔｉｍｏｄａｌ Ｄｅｅｐ Ｌｅａｒｉｎｇ ｆｏｒ Ｒｏｂｕｓｔ ＲＧＢ−Ｄ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ， ｂｙ Ａｎｄｒｅａｓ Ｅｉｔｅｌ， Ｊｏｓｔ Ｔｏｂｉａｓ Ｓｐｒｉｎｇｅｎｂｅｒｇ， Ｌｕｃｉａｎｏ Ｓｐｉｎｅｌｌｏ， Ｍａｒｔｉｎ Ｒｉｅｄｍｉｌｌｅｒ， ａｎｄ Ｗｏｌｆｒａｍ Ｂｕｒｇａｒｄ， ｉｎ Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， ２０１５ Ｓｋｅｔｃｈ−Ｂａｓｅｄ Ｓｈａｐｅ Ｒｅｔｒｉｅｖａｌ， ｂｙ Ｍａｔｈｉａｓ Ｅｉｔｚ， Ｒｏｎａｌｄ Ｒｉｃｈｔｅｒ， Ｔａｍｙ Ｂｏｕｂｅｋｅｕｒ， Ｋｒｉｓｔｉａｎ Ｈｉｌｄｅｂｒａｎｄｔ， ａｎｄ Ｍａｒｃ Ａｌｅｘａ， ｉｎ ＳＩＧＧＲＡＰＨ， ２０１２ Ｄａｔａｂａｓｅ−Ａｓｓｉｓｔｅｄ Ｏｂｊｅｃｔ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ｂｙ Ｙａｎｇｙａｎ Ｌｉ， Ａｎｇｅｌａ Ｄａｉ， Ｌｅｏｎｉｄａｓ Ｇｕｉｂａｓ， ａｎｄ Ｍａｔｔｈｉａｓ Ｎｉｅｓｓｎｅｒ， ｉｎ ＥＵＲＯＧＲＡＰＨＩＣＳ， ２０１５ Ｊａｋｏｂ Ｅｎｇｅｌ ａｎｄ Ｔｈｏｍａｓ Ｓｃｈｏｐｓ ａｎｄ Ｄａｎｉｅｌ Ｃｒｅｍｅｒｓ − ＬＳＤ−ＳＬＡＭ： Ｌａｒｇｅ−Ｓｃａｌｅ Ｄｉｒｅｃｔ Ｍｏｎｏｃｕｌａｒ ＳＬＡＭ， ＣＶＰＲ２０１４ Ｙａｓｕｔａｋａ Ｆｕｒｕｋａｗａ， Ｂｒｉａｎ Ｃｕｒｌｅｓｓ， Ｓｔｅｖｅｎ Ｍ． Ｓｅｉｔｚ ａｎｄ Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ − Ｔｏｗａｒｄｓ Ｉｎｔｅｒｎｅｔ−ｓｃａｌｅ Ｍｕｌｔｉ−ｖｉｅｗ Ｓｔｅｒｅｏ， ｉｎ ＣＶＰＲ ２０１０ Ｎｅｗｃｏｍｂｅ ｅｔ ａｌ． Ｌｉｖｅ Ｄｅｎｓｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｍｏｖｉｎｇ Ｃａｍｅｒａ， ＩＥＥＥ ＩＣＣＶ２０１１ Ｔｏｅｐｐｅ ｅｔ ａｌ， Ｆａｓｔ ａｎｄ Ｇｌｏｂａｌｌｙ Ｏｐｔｉｍａｌ Ｓｉｎｇｌｅ Ｖｉｅｗ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｃｕｒｖｅｄ Ｏｂｊｅｃｔｓ， ｉｎ ＣＶＰＲ， ２０１２ Ｂａｒｒｏｎ ｅｔ ａｌ， Ｓｈａｐｅ， Ｉｌｌｕｍｉｎａｔｉｏｎ ａｎｄ Ｒｅｆｌｅｃｔａｎｃｅ ｆｒｏｍ Ｓｈａｄｉｎｇ， ｉｎ ＥＥＣＳ， ２０１３ Ｃａｒｓｔｅｎ Ｒｏｔｈｅｒ， Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ， ａｎｄ Ａｎｄｒｅｗ Ｂｌａｋｅ， ＧｒａｂＣｕｔ − Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｉｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ， ｉｎ ＳＩＧＧＲＡＰＨ ２００４ Ｌｕｉｓ Ａ． Ａｌｅｘａｎｄｒｅ， ３Ｄ Ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ Ｏｂｊｅｃｔ ａｎｄ Ｃａｔｅｇｏｒｙ Ｒｅｃｏｇｎｉｔｉｏｎ： ａ Ｃｏｍｐａｒａｔｉｖｅ Ｅｖａｌｕａｔｉｏｎ， ｉｎ ＩＲＯＳ ２０１２ Ｒａｄｕ Ｂ． Ｒｕｓｕ， Ｎｉｃｏ Ｂｌｏｄｏｗ， ａｎｄ Ｍｉｃｈａｅｌ Ｂｅｅｔｚ， Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｏｇｒａｍｓ （ＦＰＦＨ） ｆｏｒ ３Ｄ Ｒｅｇｉｓｔｒａｔｉｏｎ， ｉｎ ＩＣＲＡ ２００９ Ｆｒｅｄｅｒｉｃｏ Ｔｏｍｂａｒｉ， Ｓａｍｕｅｌｅ Ｓａｌｔｉ， ａｎｄ Ｌｕｉｇｉ Ｄｉ Ｓｔｅｆａｎｏ， Ｕｎｉｑｕｅ Ｓｉｇｎａｔｕｒｅｓ ｏｆ Ｈｉｓｔｏｇｒａｍｓ ｆｏｒ ｌｏｃａｌ Ｓｕｒｆａｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ， ｉｎ ＥＣＣＶ ２０１０ Ｊｅｒｎｅｊ Ｂａｒｂｉｃ， ａｎｄ Ｄｏｕｇ Ｌ． Ｊａｍｅｓ， Ｒｅａｌ−Ｔｉｍｅ Ｓｕｂｓｐａｃｅ Ｉｎｔｅｇｒａｔｉｏｎ ｆｏｒ Ｓｔ． Ｖｅｎａｎｔ−Ｋｉｒｃｈｈｏｆｆ Ｄｅｆｏｒｍａｂｌｅ Ｍｏｄｅｌｓ， ｉｎ ＳＩＧＧＲＡＰＨ ２００５ Ｋｌａｕｓ Ｈｉｌｄｅｂｒａｎｄｔ， Ｃｈｒｉｓｔｉａｎ Ｓｃｈｕｌｚ， Ｃｈｒｉｓｔｏｐｈ ｖｏｎ Ｔｙｃｏｗｉｔｚ， ａｎｄ Ｋｏｎｒａｄ Ｐｏｌｔｈｉｅｒ， Ｅｉｇｅｎｍｏｄｅｓ ｏｆ Ｓｕｒｆａｃｅ Ｅｎｅｒｇｉｅｓ ｆｏｒ Ｓｈａｐｅ Ａｎａｌｙｓｉｓ， ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｇｅｏｍｅｔｒｉｃ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ２０１２ Ｅｆｔｙｃｈｉｏｓ Ｄ． Ｓｉｆａｋｉｓ， ＦＥＭ Ｓｉｍｕｌａｔｉｏｎ ｏｆ ３Ｄ Ｄｅｆｏｒｍａｂｌｅ Ｓｏｌｉｄｓ： Ａ Ｐｒａｃｔｉｔｉｏｎｅｒ’ｓ Ｇｕｉｄｅ ｔｏ Ｔｈｅｏｒｙ， Ｄｉｓｃｒｅｔｉｚａｔｉｏｎ ａｎｄ Ｍｏｄｅｌ Ｒｅｄｕｃｔｉｏｎ， ｉｎ ＳＩＧＧＲＡＰＨ ２０１２ Ｃｏｕｒｓｅ Ｓｐａｒｓｅ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ， Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｖｉｓｉｏｎ， Ｍａｉｒａｌ， ２０１４ Ｊｏｈｎ Ｎｅｌｄｅｒ， ａｎｄ Ｒｏｇｅｒ Ｍｅａｄ， Ａ Ｓｉｍｐｌｅｘ Ｍｅｔｈｏｄ ｆｏｒ Ｆｕｎｃｔｉｏｎ Ｍｉｎｉｍｉｚａｔｉｏｎ， ｉｎ Ｃｏｍｐｕｔｅｒ Ｊｏｕｒｎａｌ １９６５

この状況の中で、実物体を表す３Ｄモデル化オブジェクトを再構築するための改善されたソリューションが依然として求められている。

したがって、実物体を表す３Ｄメッシュおよび測定データから実物体を表す３Ｄモデル化オブジェクトを再構築するためのコンピュータ実装方法が提供される。本方法は、変形モードのセットを提供するステップを含む。また、本方法は、その変形モードのコンポジションを決定するステップであって、そのコンポジションは、そのコンポジションによって変形された３Ｄメッシュと測定データとの間のフィットに見返りを与え、その決定されたコンポジション内に含まれるその変形モードのスパース性にさらに見返りを与えるプログラムを最適化する、ステップを含む。本方法は、そのコンポジションをその３Ｄメッシュに適用するステップを含む。

本方法は、以下の１または複数を含むことがある。
− 変形モードのセットは、リジッドモードおよび３Ｄスケーリングモードを含む幾何学的モードを表すサブセットを含む。
− 変形モードのセットは、少なくとも１つの物理モードを表すサブセットをさらに含む。
− 少なくとも１つの物理モードのサブセットは、少なくとも１つの材料固有モードを含む。
− 材料は、サンブナン−キルヒホッフ材料である。
− 少なくとも１つの物理モードを表すサブセットは、いくつかの最も低い固有ベクトルを含む。および／または
− プログラムは、

でタイプμφ（θ）の項を含み、ここでｓ（Ｊ）＝ｍａｘ（｜ｉｎｆＪ｜，｜ｓｕｐＪ｜）であり、係数α_iは少なくとも１つの物理モードの係数である。

実物体を表す３Ｄモデル化オブジェクトがさらに提供され、この３Ｄモデル化オブジェクトは、本方法によって得ることが可能である（たとえば、得られる）。

本方法を実施するための命令を含むコンピュータプログラムがさらに提供される。

３Ｄモデル化オブジェクトおよび／またはコンピュータプログラムが記録されたコンピュータ可読記憶媒体がさらに提供される。

メモリに結合されたプロセッサとグラフィカルユーザインターフェースとを含むシステムであって、メモリにはコンピュータプログラムが記録されている、システムがさらに提供される。

製品を製造するための方法がさらに提供される。この製造方法は、（製造されることになる）製品を表す、上記の３Ｄモデル化オブジェクトを提供するステップを含む。３Ｄモデル化オブジェクトを提供するステップは、コンピュータモデル化仕様（すなわち、３Ｄモデル化オブジェクト）が使用可能であることを意味し、前記仕様は、３Ｄ再構築方法（したがって、これはこの製造方法に含まれてもよい）の実行の後直接か、それとも３Ｄモデル化オブジェクトが記憶された後、後から取り出された、および／または別のユーザもしくはワークステーションから受け取られたかにかかわらず、３Ｄ再構築方法によって得ることが可能である。次いで、この製造方法は、３Ｄモデル化オブジェクトに基づいて製品を作り出すステップを含む。これは、３Ｄモデル化オブジェクトの仕様が機械および／または機械を使用するユーザによって読まれ、かつ従われ、（少なくともジオメトリの点で、たとえば５％以下の相対誤差で）３Ｄモデル化オブジェクトに対応する実物体を作り出すことを意味し得る。

次に、本発明を実施形態について、非限定的な例として、添付の図面を参照して述べる。
本方法の一例のフローチャートである。 システムのグラフィカルユーザインターフェースの一例の図である。 システムの一例の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。 本発明の図である。

図１のフローチャート（方法ステップを順に示すものであり、本方法によって実行される異なる計算はコンピュータサイエンスの分野から一般的かつそれ自体知られているように並列で、および／またはインターレース式に実施され得るので、これは例示のためのものにすぎないことに留意されたい）を参照すると、実物体を表す３Ｄメッシュおよび測定データから（したがって、３Ｄメッシュおよび測定データは、図１の方法の入力であり、本方法に対して予め決定されているか、または本方法の実行内で得られ、たとえば３Ｄメッシュは次いで、適用するステップＳ３によって修正される）実物体（すなわち、製造製品または部品、たとえば消費財、機械部品、またはそれらのアセンブリなど、任意の物理的オブジェクトまたは製品）を表す３Ｄモデル化オブジェクト（すなわち、本文脈では、コンポジションによって最終的に変形される３Ｄメッシュである３Ｄ表現を可能にする任意のコンピュータデータ）を再構築する（すなわち、たとえば実物体の物理的インスタンスに基づいて物理的信号の１または複数のセンサ、たとえばレシーバセンサおよび／またはエミッタ−レシーバセンサを介して−本方法に先立って、または本方法内で−得られる測定値に基づいて３Ｄモデル化オブジェクトを設計する）ためのコンピュータ実装方法（すなわち、コンピュータシステム上で実行される方法であり、これは、本方法によって実行される各アクションが、メモリに結合されたプロセッサによって実施されるそれぞれの１または複数の計算に関連することを意味する）が提案される。本方法は、変形モードのセットを提供するステップＳ１を含む。また、本方法は、変形モードのコンポジション（関数合成の非常に大きな数学的意味において）を決定するステップＳ２であって、コンポジションは、コンポジションによって変形された３Ｄメッシュと測定データとの間のフィットに見返りを与え（ｒｅｗａｒｄ）（すなわち、プログラムは、最初の測定入力、すなわち測定データから遠い−すなわちフィッティングと反対の−結果である最終的に決定されたコンポジションにペナルティを課し、フィッティングの大きさは、幾何学的および／またはトポロジカル距離に対して評価され−たとえばこの距離は、本方法内で決定または予め決定される）、決定されたコンポジション内に含まれる変形モードのスパース性にさらに見返りを与えるプログラムを最適化する、ステップを含む。また、本方法は、コンポジションを３Ｄメッシュに適用する（すなわち、Ｓ２で決定された最適なコンポジションに従って３Ｄメッシュを変形し、これは３Ｄメッシュを定義するデータを修正すること、および／またはそのようなデータの修正されたバージョンを作成することを包含し、これは実装の詳細である）ステップＳ３を含む。そのような方法は、実物体を表す３Ｄモデル化オブジェクトの再構築を改善する。

特に、本方法は、３Ｄ再構築の分野に入り、実物体を（３Ｄメッシュ、すなわち本方法によって変形された３Ｄメッシュ）表す３Ｄモデル化オブジェクトを最終的に得ることを、測定値（すなわち、実物体を表す測定データ）に基づいて可能にする。ここで、適用するステップＳ３は、コンポジションによって変形された３Ｄメッシュと測定データとの間のフィットに見返りを与えるプログラムを最適化する、変形モードのコンポジションをＳ２で決定することに基づくので、本方法は、潜在的な結果を検討する際に柔軟性をもたらし、それにより比較的正確な結果に辿り着くことができる。これは、測定データが実物体の単一のＲＧＢ−深度画像（またはより一般的には、実物体の単なる深度画像、またはさらには実物体の光学センサ３Ｄ画像など、実物体の任意のセンサベースの３Ｄ画像の１つ）を含む（またはより厳密には、からなる）とき特に有用であることがわかる。この場合、本方法の枠組みは、最初の情報が、スパースなもの、ノイズの多いもの、および／または不正確なものであっても（たとえば、最初の測定データが遮蔽および／またはノイズを含む実物体の表現をもたらす）、妥当な結果に辿り着くことを可能にする。たとえば、Ｓ１で提供された変形モードは、可変パラメータを含む（したがって、それらの値は、少なくとも決定されたコンポジション内に最終的に含まれる変形モードについてＳ２で検討され、それぞれの変形モードに含まれることは、一実装では、それぞれの変形モードの専用の可変パラメータになる）。したがって、決定Ｓ２は、変形モードおよび／またはそれらの可変パラメータの値を検討することになり、したがって、最適な結果を達成し（これは、変形モードの最適なセットだけでなく、それらの最適なパラメータ値、さらには最適な変形モードを構成するための最適な方法でもある）、「最適」という用語は、コンピュータサイエンスに適用される数学の分野で広く知られているように、真の最適だけでなく、ヒューリスティックアルゴリズムによって提供される疑似最適（たとえば、論理最適）でもある（たとえば、問題が計算上比較的非常に複雑である場合）。したがって、柔軟性は、一般に、比較的高い計算コストを誘発することがある。たとえば、検討されるコンポジションは多数となる可能性があり（これは、提供されるセット内の多数の変形モード、および／またはコンポジション内に含まれる可変パラメータについての多数の潜在的な値による）、たとえば変形モードのセットは、少なくとも４つ（またはさらには６つ）の変形モードを含み（たとえば、後述のリジッドモードおよび／または３Ｄスケーリングモードに加えて）、それらのそれぞれは、少なくとも１０００（もしくはさらには１００００）、またはさらにはインスタンスの連続をそれぞれ含む（すなわち、「インスタンス」は、所与の変形モードの可変パラメータについての特定の値を示し、したがって、Ｓ２の下にある最適化プログラムのための検討されるソリューションは、Ｓ１で提供される変形モードのインスタンスのコンポジションであり、その結果、インスタンスは、簡単に「検討される変形モード」と呼ぶことができ、任意のそのようなインスタンスは、最終的に適用されるコンポジションのための潜在的な候補である）。たとえば、Ｓ２でのコンポジションの検討は、少なくとも５つ、１０個のパラメータ、またはさらには２０個のパラメータ（たとえば、実数の連続する領域において）のための最適な実数値の検討となる。しかし、本方法は、決定Ｓ２で見返りを受ける変形モードのスパース性のおかげで、比較的高い効率で実行する（たとえば、したがって、最適へ比較的速く収束し、これは検討される領域が特に大きく、多数の潜在的な結果を提供する場合特に妥当である）ことができる。実際、これは、換言すれば、決定Ｓ２がアルゴリズム（たとえば、厳密な最適化アルゴリズム、またはより一般的には、ヒューリスティックもしくは近似最適化アルゴリズム）に従って実施されることを意味し、アルゴリズムは、検討の際に（したがって、最終ソリューションにおいて）Ｓ１で提供される変形モードを少ししか含まない傾向がある、したがって妥当なソリューションに比較的速く収束する任意のアルゴリズムとすることができる（たとえば、当業者には理解されるように、従来技術のアルゴリズムを実際に決定Ｓ２で実行することができる）。これは、Ｓ１で提供される比較的多数の変形モードを含む最終ソリューションにペナルティを課す項を最適化プログラムに追加することによって実施することができる。したがって、本方法は、比較的正確な結果に比較的速く到達することを可能にし、それにより、検討される変形において比較的高い柔軟性を、したがって実物体の単一の３Ｄ測定画像の場合でさえ比較的効率的な結果を可能にする。また、一例では、本方法は、３Ｄメッシュおよび測定データだけに基づいて実施され、（従来技術を参照して述べたような）学習を除外し、したがって本方法は、Ｓ１〜Ｓ３からなり得る。

本方法は、コンピュータ実装型である。これは、方法のステップ（または実質的にすべてのステップ）が少なくとも１つのコンピュータまたは任意の同様のシステムによって実行されることを意味する。したがって、方法のステップは、コンピュータによって、おそらくは完全自動で、または半自動で実施される。例では、方法のステップの少なくともいくつかをトリガすることは、ユーザ−コンピュータインタラクションを通じて実施されてもよい。必要とされるユーザ−コンピュータインタラクションのレベルは、予見される自動のレベルに依存し、ユーザの望みを実装するための必要とバランスをとってもよい。例では、このレベルは、ユーザによって定義され、および／または予め定義されてもよい。

本方法のコンピュータ実装の典型的な例は、この目的のために適合されたシステムで本方法を実施することである。このシステムは、メモリに結合されたプロセッサとグラフィカルユーザインターフェースとを含んでもよく、メモリには本方法を実施するための命令を含むコンピュータプログラムが記録されている。また、メモリは、データベースを記憶してもよい。メモリは、そのようなストレージのために適合された任意のハードウェアであり、おそらくはいくつかの物理的に異なる部分（たとえば、プログラムのための部分、またおそらくはデータベースのための部分）を含む。

本方法は、一般に、モデル化オブジェクトを操作する。モデル化オブジェクトは、たとえばデータベース内に記憶されたデータによって定義される任意のオブジェクトである。さらに進めると、「モデル化オブジェクト」という表現は、データそれ自体を示す。システムのタイプに従って、モデル化オブジェクトは、異なる種類のデータによって定義されてもよい。システムは、実際、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、および／またはＰＬＭシステムの任意の組合せであってよい。これらの異なるシステムでは、モデル化オブジェクトは、対応するデータによって定義される。したがって、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェクト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ、ＣＡＥデータのことを言ってもよい。しかし、これらのシステムは、モデル化オブジェクトがこれらのシステムの任意の組合せに対応するデータによって定義され得るので、互いに排他的なものではない。したがって、下記で提供されるそのようなシステムの定義から明らかになるように、システムはＣＡＤおよびＰＬＭシステムとなり得る。

ＣＡＤシステムは、さらに、ＣＡＴＩＡなど、少なくともモデル化オブジェクトのグラフィカル表現に基づいてモデル化オブジェクトを設計するように適合された任意のシステムを意味する。この場合、モデル化オブジェクトを定義するデータは、モデル化オブジェクトの表現を可能にするデータを含む。ＣＡＤシステムは、たとえば、エッジまたはライン、場合によってはフェイスまたはサーフェスを使用してＣＡＤモデル化オブジェクトの表現を提供してもよい。ライン、エッジ、またはサーフェスは、様々な方法、たとえば非一様有理Ｂスプライン（ＮＵＲＢＳ）で表現され得る。具体的には、ＣＡＤファイルは仕様を含み、そこからジオメトリが生成されてもよく、これは表現が生成されることを可能にする。モデル化オブジェクトの仕様は、単一のＣＡＤファイルまたは複数のファイル内に記憶されてもよい。ＣＡＤシステム内でモデル化オブジェクトを表すファイルの典型的なサイズは、１部品当たり１メガバイトの範囲内である。また、モデル化オブジェクトは、典型的には、数千の部品のアセンブリとなり得る。

ＣＡＤの状況では、モデル化オブジェクトは、典型的には、３Ｄモデル化オブジェクトであってもよく、たとえば、部品もしくは部品のアセンブリなど製品、またはおそらくは製品のアセンブリを表す。「３Ｄモデル化オブジェクト」は、その３Ｄ表現を可能にするデータによってモデル化される任意のオブジェクトを意味する。３Ｄ表現は、すべての角度から部品を見ることを可能にする。たとえば、３Ｄモデル化オブジェクトは、３Ｄ表現されたとき、その軸のいずれかの周りで、または表現が表示されるスクリーン内の任意の軸周りで扱われ回されてもよい。これは、特に３Ｄモデル化されない２Ｄアイコンを除外する。３Ｄ表現の表示は、設計を容易にする（すなわち、設計者が各自のタスクを統計的に達成する速さを増大する）。これは、産業における製造プロセスを高速化する。なぜなら、製品の設計は、製造プロセスの一部であるからである。

３Ｄモデル化オブジェクトは、（たとえば、機械）部品もしくは部品のアセンブリ（または同等に、部品のアセンブリ、なぜなら、部品のアセンブリは、本方法から見て部品それ自体と見られてもよく、または本方法は、アセンブリの各部品に独立して適用されてもよいからである）、またはより一般的には、任意の剛体アセンブリ（たとえば、自動車機械）など、たとえばＣＡＤソフトウェアソリューションまたはＣＡＤシステムでのその仮想設計が完了した後で、現実の世界で製造されることになる製品（すなわち、それを表す測定データが本方法の入力である実物体）のジオメトリを表してもよい。ＣＡＤソフトウェアソリューションは、航空宇宙、建築、建設、消費財、ハイテクデバイス、産業機器、輸送、海洋、および／またはオフショア石油／ガス生産もしくは輸送を含めて、様々な無限の産業分野で製品の設計を可能にする。したがって、本方法によって設計される３Ｄモデル化オブジェクトは、陸上輸送手段（たとえば、車および軽量トラック機器、レーシングカー、オートバイ、トラックおよびモータ機器、トラックおよびバス、列車を含む）、航空輸送手段の一部（たとえば、機体機器、航空宇宙機器、推進機器、防衛製品、航空機機器、宇宙機器を含む）、船舶輸送手段の一部（たとえば、海軍機器、商船、オフショア機器、ヨットおよび作業船、海洋機器を含む）、一般機械部品（たとえば、産業用製造機械、自動車重機械または機器、設置された機器、産業機器製品、組立金属製品、タイヤ製造製品を含む）、電気機械または電子部品（たとえば、家電、防犯および／または制御および／または計器製品、コンピューティングおよび通信機器、半導体、医療デバイスおよび機器を含む）、消費財（たとえば、家具、住宅および庭製品、レジャー用品、ファッション製品、耐久消費財小売業者の製品、非耐久財小売業者の製品を含む）、包装（たとえば、食品および飲料およびたばこ、美容およびパーソナルケア、家庭製品の包装を含む）など、任意の機械部品であってよい産業製品を表してもよい。

ＰＬＭシステムは、さらに、そのシステムによって物理的に製造された製品（または製造予定の製品）を表すモデル化オブジェクトの管理のために適合された任意のシステムを意味する。したがって、ＰＬＭシステムでは、モデル化オブジェクトは、物理的オブジェクトの製造に適したデータによって定義される。これらは、典型的には、寸法値および／または公差値であってもよい。オブジェクトを正しく製造するためには、そのような値を有することが実際によりよいことである。

ＣＡＭソリューションは、さらに、そのソリューションによって製品の製造データを管理するために適合された任意のソリューション、ソフトウェアまたはハードウェアを意味する。製造データは、一般に、製造する製品、製造プロセス、および必要とされるリソースに関連するデータを含む。ＣＡＭソリューションは、製品の製造プロセス全体を計画および最適化するために使用される。たとえば、ＣＡＭソリューションは、製造プロセスの特定のステップで使用され得る、実現可能性、製造プロセスの持続時間、または特定のロボットなどリソースの数に関する情報をＣＡＭユーザに提供することができ、したがって管理または必要とされる投資に関する判断を可能にする。ＣＡＭは、ＣＡＤプロセスおよび潜在的なＣＡＥプロセスの後の後続プロセスである。そのようなＣＡＭソリューションは、Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓによって商標ＤＥＬＭＩＡ（登録商標）の下で提供されている。

ＣＡＥソリューションはさらに、モデル化オブジェクトの物理的挙動を解析するために適合された任意のソリューション、ソフトウェアまたはハードウェアを意味する。周知の広く使用されているＣＡＥ技法は、有限要素法（ＦＥＭ）であり、これは、典型的には、式を通じて物理的挙動を計算およびシミュレーションすることができる要素にモデル化オブジェクトを分割することを含む。そのようなＣＡＥソリューションは、Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓによって商標ＳＩＭＵＬＩＡ（登録商標）の下で提供されている。別の成長中のＣＡＥ技法は、ＣＡＤジオメトリデータなしでの物理の異なる分野からの複数の構成要素で構成された複雑なシステムのモデル化および解析を含む。ＣＡＥソリューションは、製造する製品のシミュレーション、したがって最適化、改善、および検証を可能にする。そのようなＣＡＥソリューションは、Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓによって商標ＤＹＭＯＬＡ（登録商標）の下で提供されている。

ＰＤＭは、製品データ管理を表す。ＰＤＭソリューションは、特定の製品に関連するすべてのタイプのデータを管理するために適合された任意のソリューション、ソフトウェアまたはハードウェアを意味する。ＰＤＭソリューションは、製品のライフサイクルに含まれる主にエンジニアであるが、プロジェクトマネージャ、財務員、販売員、および購入者をも含むすべての関係者によって使用されてよい。ＰＤＭソリューションは、一般に、製品指向データベースに基づく。これは、関係者が各自の製品に関する一貫したデータを共有することを可能にし、したがって関係者が逸脱したデータを使用するのを防止する。そのようなＰＤＭソリューションは、Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓによって商標ＥＮＯＶＩＡ（登録商標）の下で提供されている。

図２は、システムのＧＵＩの一例を示しており、このシステムはＣＡＤシステムである。この例では、システムは、本方法の結果から派生し得るＣＡＤモデル化オブジェクトを表示し（たとえば、本方法によって出力される３Ｄメッシュは、最終的にＮＵＲＢＳに変換され、次いでアセンブリ２０００に挿入される）、または単に本方法をいつでも起動することができるワークスペースである。

ＧＵＩ２１００は、典型的なＣＡＤのようなインターフェースであってよく、標準的なメニューバー２１１０、２１２０と、下部ツールバー２１４０および側部ツールバー２１５０とを有する。そのようなメニューバーおよびツールバーは、ユーザ選択可能なアイコンのセットを含み、各アイコンは、当技術分野で知られているように、１または複数の操作または機能に関連付けられている。これらのアイコンのいくつかは、ＧＵＩ２１００内に表示された３Ｄモデル化オブジェクト２０００を編集する、および／またはそれらに働きかけるために適合されたソフトウェアツールに関連付けられている。ソフトウェアツールは、ワークベンチ内にグループ化されてもよい。各ワークベンチは、ソフトウェアツールのサブセットを含む。具体的には、ワークベンチの１つは、モデル化製品２０００の幾何学的特徴を編集するのに適した編集ワークベンチである。操作時には、設計者は、たとえばオブジェクト２０００の一部を予め選択し、次いで適切なアイコンを選択することによって操作を開始し（たとえば、寸法、色などを変更する）、または幾何学的制約を編集してもよい。たとえば、典型的なＣＡＤ操作は、パンチングのモデル化、またはスクリーン上に表示された３Ｄモデル化オブジェクトの折り畳みである。ＧＵＩは、たとえば、表示された製品２０００に関係するデータ２５００を表示してもよい。図２の例では、「特徴ツリー」として表示されたデータ２５００、およびそれらの３Ｄ表現２０００は、ブレーキキャリパおよびディスクを含むブレーキアセンブリに関する。ＧＵＩはさらに、編集される製品の操作のシミュレーションをトリガするために、たとえばオブジェクトの３Ｄ配向を容易にするために様々なタイプのグラフィックツール２１３０、２０７０、２０８０を示し、または表示された製品２０００の様々な属性をレンダリングしてもよい。カーソル２０６０は、ユーザがグラフィックツールとインタラクションすることを可能にするようにハプティックデバイスによって制御されてもよい。

図３は、システムの一例を示し、システムは、クライアントコンピュータシステム、たとえば、ユーザのワークステーションである。

この例のクライアントコンピュータは、内部通信バス１０００に接続された中央処理ユニット（ＣＰＵ）１０１０と、やはりバスに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０とを含む。クライアントコンピュータは、バスに接続されたビデオランダムアクセスメモリ１１００に関連付けられているグラフィカル処理ユニット（ＧＰＵ）１１１０をさらに備える。ビデオＲＡＭ１１００は、当技術分野でフレームバッファとしても知られている。大容量記憶デバイスコントローラ１０２０は、ハードドライブ１０３０など大容量メモリデバイスへのアクセスを管理する。コンピュータプログラム命令およびデータを有形に実施するのに適した大容量メモリデバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯ、およびフラッシュメモリデバイス、内部ハードディスクおよび取外し可能ディスクなど磁気ディスク、光磁気ディスク、ならびにＣＤ−ＲＯＭディスク１０４０など、半導体メモリデバイスを含む、すべての形態の不揮発性メモリを含む。前述のいずれかは、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補われても、それらに組み込まれてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。また、クライアントコンピュータは、カーソル制御デバイス、キーボードなど、ハプティックデバイス１０９０を含んでもよい。カーソル制御デバイスは、クライアントコンピュータ内で、ユーザがディスプレイ１０８０上の任意の所望の場所にカーソルを選択的に位置決めすることを可能にするために使用される。さらに、カーソル制御デバイスは、ユーザが様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御デバイスは、制御信号をシステムに入力するためにいくつかの信号生成デバイスを含む。典型的には、カーソル制御デバイスはマウスであってもよく、マウスのボタンは、信号を生成するために使用される。代替として、またはそれに加えて、クライアントコンピュータシステムは、感応式パッドおよび／または感応式スクリーンを含んでもよい。

コンピュータプログラムは、コンピュータによって実行可能な命令を含んでもよく、これらの命令は、上記のシステムに本方法を実施させるための手段を含む。プログラムは、システムのメモリを含めて、任意のデータ記憶媒体に記憶可能であってよい。プログラムは、たとえば、デジタル電子回路内で、またはコンピュータハードウェア、ファームウェア、ソフトウェア内で、またはそれらの組合せで実装されてもよい。プログラムは、装置、たとえばプログラム可能なプロセッサによって実行可能であるように機械可読記憶デバイス内で明白に具現化された製品として実装されてもよい。方法ステップは、命令のプログラムを実行し、入力データに作用し出力を生成することによって本方法の機能を実施するプログラム可能なプロセッサによって実施されてもよい。したがって、プロセッサはプログラム可能であり、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を送信するように結合されてもよい。アプリケーションプログラムは、上位手続き型もしくはオブジェクト指向プログラミング言語で、または望むならアセンブリもしくは機械言語で実装されてもよい。いずれの場合も、言語は、コンパイル型またはインタープリタ型言語であってよい。プログラムは、完全インストールプログラムであっても更新プログラムであってもよい。システム上でプログラムを適用することは、いずれの場合も、本方法を実施するための命令をもたらす。

本方法によって実施される３Ｄ再構築は、３Ｄ設計プロセスの一部であってもよい。「３Ｄモデル化オブジェクトを設計すること」は、３Ｄモデル化オブジェクトを作り上げるプロセスの少なくとも一部である任意のアクションまたは一連のアクションを示す。したがって、本方法は、３Ｄモデル化オブジェクトをゼロから作成することを含んでもよい。あるいは、本方法は、以前に作成された３Ｄモデル化オブジェクトを提供し、次いでその３Ｄモデル化オブジェクトを修正することを含んでもよい。

本方法は、製造プロセス内に含まれてもよく、製造プロセスは、本方法を実施した後で、モデル化オブジェクトに対応する物理的製品を作り出すことを含んでもよい。いずれの場合も、本方法によって設計されるモデル化オブジェクトは、製造オブジェクトを表し得る。したがって、モデル化オブジェクトは、モデル化ソリッド（すなわち、ソリッドを表すモデル化オブジェクト）であってもよい。製造オブジェクトは、消費財、部品、または部品のアセンブリなど、製品であってよい。本方法はモデル化オブジェクトの設計を改善するので、本方法はまた、製品の製造を改善し、したがって製造プロセスの生産性を高める。

本方法は、特に実物体が製造製品である状況、より具体的には、実質的にコンベックスである、および／または−たとえば少なくとも実質的に−組み立てられていない製造された（すなわち、−たとえば少なくとも実質的に−分割できない状態で製造されたもの。たとえば製品が、たとえばプレス加工、機械加工、ミリングおよび／またはレーザ切削を介した潜在的なカットアウトの前の、たとえば後から他の部品の組立てがない、またはその組立てが無視できる程度である、成形部品、板金片部品、フォーミングまたはサーモフォーミングプラスチック部品、金属鋳造部品、金属圧延部品など押し出し部品または薄板加工部品である）製品であるとき効率的である。（単に「組み立てられていない」ではなく）「実質的に」組み立てられていないは、製品が部品のアセンブリ（各部品が組み立てられていない製品である）であり、１つの部品は、他の部品の体積の少なくとも２倍または４倍の体積を有し、および／または１つの部品に組み立てられたとき、他の部品は、それらの外部表面の少なくとも１０％または２０％を反映するその１つの部品との隣接部の表面を提示する。たとえば、製造製品は、それ自体市場で提供されるような単一の製品であり、別の完全な製品を形成するために別の製品と組み立てられることは意図されていなくてもよい。実物体が実質的に非コンベックス、および／またはそのような実物体のアセンブリである場合、本方法は、各コンベックスおよび／または組み立てられた分割できない部分について独立して適用されてもよい。実際、この手法、および後で提供される本方法の例は、実物体が比較的少ない単一性（ｓｉｎｇｕｌａｒｉｔｉｅｓ）を特徴とする場合（これは、上述の部品の場合である）、特に正確な結果をもたらす。

本方法は、測定データの関数として変形されることになる最初の３Ｄメッシュ（以下、「テンプレート」とも呼ばれる）に基づいて３Ｄモデル化オブジェクトを再構築するための方法に関する。テンプレートメッシュは、たとえばＣＡＤの分野から広く知られている任意の３Ｄメッシュである（すなわち、頂点が３Ｄ位置を指し、それらの３Ｄ位置間で−たとえば、直線の−エッジを表す無向円弧によって共に接続される特定のグラフ、たとえば、四角メッシュまたは三角メッシュ）。ここで、テンプレート３Ｄメッシュは、どのように提供することもでき、たとえば、別の（また従来の）３Ｄ再構築方法から派生することができ、それにより、図１の方法は、他の再構築（これは、図１の方法の前に、おそらくは同じ測定データに基づいて実施された可能性がある）を補正（すなわち、調整、改善）する。別の実装では、テンプレート３Ｄメッシュは、ユーザによってライブラリから手動で単に選択され得る。それにより、本方法は、この選択されたテンプレートを、測定データとフィットするように最適なようにして変形するための方法を提供する。

例では、最初のテンプレートは、取り出すタスクのためにトレーニングされた所定の機械学習アルゴリズムを使用して、所定のデータベース内の異なる３Ｄモデルの中から見つけることができる。または、テンプレートは、ユーザによって手動で選択され得る。テンプレートは、たとえば、１または複数の所定の類似性基準に対する距離閾値以下で、本当の３Ｄオブジェクトと可能な限り同様であってもよい（そのような類似性を捉えるために、異なる定量基準を企図することができる）。たとえば、テンプレートは、実物体が滑らかである場合、滑らかであってよく、および／またはオブジェクトが角度を有する場合、直線であってよい。幾何学的および／またはトポロジカル類似性が企図され得る。したがって、テンプレートは、たとえばほとんどの場合幾何学的意味で、実物体を表すものであり得る。基準は、テンプレートメッシュと実物体との間の任意の所定の３Ｄ距離、およびたとえば尊重されるべきそのような所定の距離について任意の最大値を含み得る。実物体を最適に表す理論的メッシュが企図され得、それにより、メッシュ距離が基準に含まれ得る。２つのメッシュＸとＹとの間の距離は、ｉｎｆ（ｄ（Ｔ（Ｘ），Ｙ）として定義してもよく、ここで、最小値は、リジッドモーション（回転および／または平行移動）であるＴに対して評価され、ここでｄ（Ｘ，Ｙ）＝ｓｕｍ ｄ’（ｘ，Ｙ）であり、ここでｓｕｍ（和）は、Ｘのすべての頂点ｘに対して評価され、ｄ’（ｘ，Ｙ）は、メッシュＹに対する点ｘの距離である（すなわちｄ’（ｘ，Ｙ）＝ｍｉｎ｜｜ｘ−ｙ｜｜であり、ここでｍｉｎ（最小値）は、Ｙのすべての頂点ｙで評価される）。一例では、所定の閾値以下の理論的メッシュ（３Ｄモデル化オブジェクトを表す）とのそのような距離の値を含む３Ｄメッシュが、そのようにして図１の方法に対して予め選択され得る。また、テンプレートの分解能は、再構築するオブジェクトを細かく表すことができるのに十分に大きいものであり得る。実際には、均等に拡散された５００個または１０００個を超える、たとえば５０００個程度の頂点を有するテンプレートメッシュが十分に大きい。しかし、分解能が低すぎる場合、本方法は、単純に細分アルゴリズムを適用することができる。

したがって、本方法は、一例では、広範な種類の３Ｄモデルから入力テンプレートメッシュを事前選択すること（手動または自動またはさらには半自動）を含んでもよい。以下の論文、非特許文献１７〜２０は、それぞれが測定値に基づく３Ｄメッシュの設計のための方法を開示し、それにより、それぞれを本明細書において実装し、たとえば図１の測定データをこれらの論文に開示されている方法のいずれかまたは複数に入力することによってテンプレートの選択を実施することができる。

テンプレートメッシュに潜在的に基づいて（たとえば、測定データに全く基づかず）、図１の方法は、Ｓ１で（たとえば、自動的に）変形モードのセットを提供する。これは、潜在的な変形モードの初期化が実施されることを意味する（変形モードが、３Ｄメッシュのパラメータ化された変形関数、すなわち３Ｄメッシュを入力として取り、モードに対するそれぞれのパラメータの値、たとえば値の連続において変動するパラメータの値に応じて、入力の変形されたバージョンを出力する関数のセットを指定し、本方法は、パラメータの最適なセット、したがって３Ｄメッシュのための効果的な変形の最適なシーケンスを含めて、最適なコンポジションを見つけることを意図する）。各変形モードは、たとえば、そのモードを特徴付けるパラメータのために保持された値に基づいて、変形機能を提供し、たとえばモードの少なくとも一部は、２つより多くの（または３つまたは５つの）そのようなパラメータを含む。したがって、この初期化は、テンプレートメッシュの（たとえば、テンプレートメッシュだけの）機能であり得、所定の種類の変形モードの状況を説明する（すわなち、可変変形モードの所定のセットの１つ、いくつか、またはすべてのそれぞれを、本方法の入力、すなわちテンプレート３Ｄメッシュに対して評価する）ことになり得る。明らかに、前述のように、そのような変形モードの初期化（したがって、提供するステップＳ１）は、最初の計算として効果的に実施される必要はなく、後の決定するステップＳ２とインターレースされて実施されてもよい（ここでは、Ｓ３で適用されることになる、最終的に最適に到達するソフトウェア実装が企図されている）。

変形モードの少なくとも一部またはすべては、最初の３Ｄメッシュに依存してもよい。たとえば、変形モードは、最初の３Ｄメッシュの特定のトポロジに依存してもよい。また、変形モードは、３Ｄメッシュの最初の、および所定の位置決めに（たとえば、任意に）、ならびに／またはそのような位置決めの参照フレームに依存する（たとえば、そのような参照フレームの軸および／または原点に依存し、その場合、変形モードは、参照フレーム内の３Ｄメッシュの位置に応じて様々に働く）セットであってもよい。これは、集中的な決定するステップＳ２を可能にする。

変形モードは、それぞれが３Ｄメッシュのトポロジおよび規則性を保存し得る。後で提供される例では、物理固有モードおよびジオメトリックモードが、テンプレートをパラメータ化するためにＳ１で提供され、そのような条件を尊重する例である。しかし、多数の異なるモードを使用することができ、依然として非常に良好な結果が生み出され、それらがこの条件を尊重する場合にはなおさらである。この条件は、テンプレートを再構築するオブジェクトに変換するために必要とされる変形の大部分またはすべてをテンプレートのパラメータ化が受け止め得るということをわかりやすく言い換える。パラメータ化の各変形モードは、テンプレートの大きな、現実的で、相関関係がない変形を表す意味で、スタンドアロンであり得る。次いで、Ｓ２のスパース最適化は、テンプレートを再構築するオブジェクトに変換する変形を最もよく説明するいくつかのモードを最適に選択する。モードは、テンプレートの頂点の大きな割合（たとえば、１０％超）に影響を及ぼし、指定された内部製品について他のモードに対して直交する場合、および／または頂点を変形する場合隣接する頂点もまた連続的に変形されるという意味でモードが十分に滑らかである場合、これらの基準を尊重すると考えることができる。具体的には、これらのモードは、以下の条件を尊重し得る。すなわち、メッシュの各頂点の変形は、モードパラメータに対して連続的なものであり、モードのパラメータのための所与の値について、メッシュのサーフェス上のガウス曲線は、連続的なものである（すなわち、変形モードは、サーフェスに対して不連続性／中断を導入しない）。Ｓ１で提供されるモードのセットの１つまたはいくつかまたはすべてが、これらの条件の任意の組合せまたはすべてを尊重し得る。

提供される変形モード内で、本方法は、Ｓ２で、変形モードのコンポジション（すなわち、コンポジション内に尊重するモードの固定された所定のシーケンスがある場合、すべてのモードパラメータのための値のセット、またはさらに、所定および／または固定でない場合そのようなシーケンス）を決定する。ここでもやはり、１または複数−たとえば、すべて−のモードについて、そのモードがコンポジション内にあるか否か、専用のパラメータが捉え得る（あるいは、そのような情報は、決定するステップＳ２中に任意の他の方法で捉えられ得る）ことに留意されたい。いずれの場合も、Ｓ２で決定されるコンポジションは、コンポジションによって変形された３Ｄメッシュと測定データとの間のフィット（たとえば、任意の所定の３Ｄメッシュ−測定データ間距離、たとえば、メッシュの各頂点と測定データとの間の個々の距離の和に対するものであり、たとえば、ここで各個々の距離は、頂点と測定データとの間の最小距離であり、この概念は、測定データが３Ｄメッシュの形態、点群か、または実物体を表す幾何学的データの任意の他の離散的なセット、さらには連続的なそのようなセット、たとえば１または複数のパラメータ化されたサーフェス下で提供されようと、それ自体当業者に知られている）に見返りを与え（すなわち、フィットしない、または大きな距離にペナルティを課す）、決定されたコンポジション内に最終的に含まれる変形モードのスパース性にさらに見返りを与える（たとえば、多数のモードのパラメータ値が、モードが実際に活性化される、すなわち効果的な変形を実施するようなものである）−たとえば、所定の−プログラムを最適化するものである。

次いで、本方法は、Ｓ３でコンポジションを３Ｄメッシュに適用するステップを含み、それにより、これは３Ｄメッシュを測定データに対して最適に補正する。たとえば、本方法の性能を測定するために、最終再構築を、再構築するオブジェクトの既知の３Ｄモデルに比較することができる。しかし、最終モデルの妥当性もまた、考慮されてよい。例では、ユーザは、再構築誤差がより大きい場合でさえ、正確であるがノイズの多い不快なモデルより妥当なモデルを有するほうがよいであろう。下記で提供される本方法の例は、これらの基準を（Ｓ２の収束に関して計算時間の点で）特に十分かつ効率的に満たす。たとえば、いくつかの物理固有モード（下記で述べる）は、そのような妥当性を表し、非現実的なモードは、スパース最適化によって廃棄される。

変形モードのセットは、リジッドモードおよび３Ｄスケーリングモードを含む幾何学的モードを表すサブセットを含む。

「を表す」は、ここでは、変形モードのセットが、（特定のコンポジションを通じて）「表される」モードのコンポジションと同じ結果を達成することを可能にする変形モード（すなわち、サブセット）を含むことを意味する。これを実装するための最も簡単な方法は、表されるモードそれ自体をＳ１で提供することであるが、変形形態もまた企図され得る（たとえば、表されるモードをそれら自体でなく組合せを提供する）。ある意味では、変形モードのセットの等価の種類（変形の同じパネルを達成するすべてのセット）が企図されてもよく、特定の等価の種類がＳ１で提供される。以下では、変形モードのセットが所与のモードを含むと言われるとき、これは、文字通り、あるいはモードのセットが、それを表すもの（すなわち、コンポジションを介して所与のモードを達成する１または複数のモード）を実際に含むことを意味すると理解することができる。

変形モードのセットは、リジッドモードおよび特に３Ｄスケーリングモードを含む幾何学的モードを表すサブセットを含む。これは、測定データ（測定データに対する３Ｄメッシュの最初の位置決めは何らかの方法、たとえば任意に実施され得ることに留意されたい）と最もよくフィットさせるために、３Ｄメッシュを、コンポジション内に加わるように任意の方法で平行移動および回転（すなわち、リジッドモーション）で移動させることができる。これは、３Ｄメッシュをスケーリング（増大および／または減少）することができることをも意味する（スケーリングは、任意の中心／参照、たとえば測定データおよび３Ｄメッシュが配置される参照フレームの原点に対して、任意の方法で実施され、リジッドモーションモードがあることにより、望ましいスケーリングを実施するように３Ｄメッシュを随意に、さらには３Ｄメッシュの質量中心を再配置することができることに留意されたい）。これは、３Ｄメッシュが選択されることになるライブラリ（たとえば、テンプレートライブラリ）を（テンプレートの数の点で）大幅に削減することを可能にする。実際、リジッドモーションおよび３Ｄスケーリングは、測定データをフィットさせるために（大抵の状況において）介在する可能性が最も高い変形である。

他の変形モードも企図され得る。特に、変形モードのセットは、少なくとも１つの物理モード（たとえば、例では、少なくとも２つまたは少なくとも５つの−たとえば、直交−物理モード）を表すサブセットをさらに含んでもよい。物理モードは、加えられる力（この場合には仕事を通して伝達される変形エネルギー）または温度の変化（この場合には熱を通して伝達される変形エネルギー）など物理的制約による任意の変形（すなわち、オブジェクトの形状またはサイズの変化）である。物理モードは、３Ｄメッシュの物理モデル解析から派生し得る（より正確には、３Ｄメッシュによって表される物理的オブジェクト）。そのような特定の変形は、特に妥当かつ正確な結果をもたらすことがテストによって示されているので、本方法の３Ｄ再構築の状況において特に効率的であることがわかる。本方法によって企図される物理モードは、非線形物理モードであってもよい。また、本方法によって企図される物理モードは、無限小力の印加による変形によって定義される線形物理モードであってもよい（そのような場合、モードの大きさは、モードを定義するベクトルのスカラ値−すなわち、モードのパラメータ−との乗算によって提供され得る）。具体的には、本方法によって企図される物理モードは、弾性変形モードであってもよい。したがって、本方法は、センサで測定されたデータとフィットするように３Ｄメッシュを変形させることを介して、完全に新しい目的のために、すなわち仮想設計を実施するために、弾性かつ可逆の変形の物理的概念を使用する。具体的には、本方法によって企図される物理モードは、たとえばサンブナン−キルヒホッフモデルから派生する超弾性変形モードであってもよい（たとえば、そのようなモデルの適用の例は、後で提供される）。これは、製品を製造するために、（前述のように）その製品が分割できない状態で形成されるとき、特に良好に機能する。

したがって、本方法は、３Ｄ再構築および形状最適化の分野に関する。本方法は、製品設計、シーンモデリング、シーン理解、および信号たとえば写真の情報を入力として使用して正確なジオメトリを有する３Ｄオブジェクトを精密に構築することが必要または有用なすべての領域で多数の応用例を有し得る。一例では、本方法は、物理ベースのオブジェクト変形と最適化とを単一のＲＧＢ−深度写真に対して共に使用し、観察されたオブジェクトの正確にパラメータ化された表現を得ることを可能にする。

本方法は、従来技術の欠点を克服する。従来技術のビデオベースの３Ｄ再構築パイプラインは、信頼性がありジェネリックである（論文、非特許文献２１に開示されている方法など）が、いくつかの欠点を有する。再構築された３Ｄモデルは、特にモーションから構造解析アルゴリズムの場合、ノイズが多く、ウォータータイトでない（論文、非特許文献２２に開示されている方法など）。再構築された３Ｄモデルは、非常に密であり（論文、非特許文献４、２３に開示されている方法など）、したがって、スパースであるが正確かつウォータータイトなモデルを必要とする多数の産業応用例には適していない。さらに、ビデオベースのパイプラインは、ビデオまたは多数のピクチャを必要とする深刻な欠点を有し、これは再構築プロセスを長く複雑なものにし、多数のシーン、特に多数の遮蔽を含むシーンに適していない。従来技術の単一のビューの再構築パイプラインは、以下の欠点を有する。広大なデータベースに対する学習プロセスを必要とするものがある（論文、非特許文献１５、１６に開示されている方法など）。対称性などオブジェクトの内部特性が保存されない（論文、非特許文献７、２４、２５に開示されている方法など）。ジェネリックでなく、および／または形状が制約される（論文、非特許文献１５、１６、１２、１１、１３に開示されている方法など）。特定の種類のオブジェクトに適合された形状の空間を学習することに依拠する単一深度フレーム再構築アルゴリズムは、時に効率的なこともあるが、再構築したいと望む種類のオブジェクトに属する妥当な３Ｄオブジェクトすべての広大なデータベースを、妥当な形状のその空間を学習するために必要とし、これは非常に強い制約である。形状（超２次関数形状など）のユーザ定義の空間またはユーザ定義のグラマを課す単一深度フレーム再構築アルゴリズムは、非常に限定され、不正確であり、複雑な形状に対して十分に機能しない。さらに、オブジェクトの新しい種類ごとに新しいアルゴリズムを設計し、形状の新しい空間および／またはこの空間に適合された最適化方式を定義しなければならない。他の種類のアルゴリズム、たとえば等高線、テクスチャ、シルエット、またはシェーディングを利用するものは、さらに非効率が低く、対称性またはトポロジなどオブジェクトの内部特性を保存することを保証しない。本方法は、そのような欠点のいくつか、またはすべてを克服し得る。

本方法は、たとえば、消費財など特に小さなオブジェクトで、非常にノイズの多い深度マップを提供する現行の消費者ＲＧＢ−深度センサのために十分に適合されている。そのようなオブジェクトを再構築するために単一の深度マップを使用することは非常に困難である。しかし、再構築したいと望むオブジェクトの同じ種類の典型的なオブジェクトを表す近似的なメッシュを見つけることは容易である。たとえば、シャンプーを再構築したいと望む場合（そのような実物体は、図を参照して本方法の後で提供される例示的な実装の実行例である）、ジェネリックなシャンプーの３Ｄメッシュを提供することは非常に容易である。

したがって、一例では、本方法は、テンプレートメッシュと呼ばれるそのような３Ｄモデルを使用し、それを再構築するオブジェクトに（変換するために）変形する発想に頼る。したがって、本方法は、最終テンプレートのための良好なトポロジを保証する。本方法は、メッシュを定義するために無限の数の方法があるが、いくつかだけが自然な、妥当な変形を生み出すという認識に頼る。たとえば、いくつかの変形だけが、ジェネリックなテンプレートが他のシャンプーにモーフィングされることを可能にする。数学的に見て、本方法は、変形されたテンプレートを再構築するオブジェクトの種類のサブスペース上に立たせ、たとえば、ジェネリックなシャンプーに適用された変形は、シャンプーの妥当な形状をもたらすべきである。これらの自然な変形を見つけるための１つの従来技術の方法は、同じ種類の多数のオブジェクトを有するデータベースを使用してそれらを学習することである。これは、非常に強い制約である。本方法は、例では、再構築するオブジェクトの種類にかかわらず、たとえば前述のように物理固有モードを使用して、ジェネリック変形を定義することによって、従来技術から逸脱する。これは、すべての妥当な変形を表すのに十分な変形を定義する。したがって、本方法は、再構築するオブジェクトを表すのに最もよい変形を自動的に選択する自動スパース最適化方式を形成し得る。したがって、本方法は、同じ種類の多数の位置合わせされたメッシュを必要とし、したがってスケーラブルでない学習ベースのアルゴリズムの欠点なしに、種類ごとに１つのテンプレートを使用することの利点を組み合わせ、その良好なトポロジを保存し、再構築するテンプレートの種類のオブジェクトにかかわらず、正確なジオメトリをもたらす。

例では、現況技術のアルゴリズムとは異なり、本方法はジェネリックであり、対称性など再構築するオブジェクトの内部特性を保存し、再構築することができることを望むオブジェクトの種類の数百の３Ｄメッシュのデータベースではなくその種類に属する単一の３Ｄメッシュだけ（たとえば、単一深度フレームだけを使用して本方法が任意のボトルを再構築するために適用される場合、ボトルの単一のメッシュ）を必要とし、それだけで機能し得る。

本方法の一例は、再構築するオブジェクトのＲＧＢ−深度フレーム、および３Ｄで再構築したいと望むオブジェクトの各種類を表すＣＡＤモデルのデータベースを有するという発想に頼る。例では、本方法は、再構築ステップそれ自体に属する２つの主な特定性、すなわち、再構築するオブジェクトをフィットさせるためにテンプレートメッシュをモデル化および変形するための新しい方法、Ｓ１で提供される「モードモデル化」と、テンプレートをＲＧＢ−深度フレーム上に変形および位置合わせするのに十分な少数の変形モードを自動的に選択し最適化する新しいスパース最適化方式、Ｓ２内で実施される「スパース最適化」とを実装する。

次に、３Ｄ再構築パイプライン全体の一例について、図４のフローチャートを参照して論じるが、本方法のこの例は、シャンプーボトルを表す３Ｄモデル化オブジェクトの再構築に適用される（先に開示されているように、任意の他のタイプの実物体が企図可能である）。この例では、深度マップ（しかし、これは、３Ｄ関連の情報を提供する別のタイプの検知されたデータとすることができる）の各画素は、その画素上に投射された対応する３Ｄ点からのカメラに対する深度を含む。深度マップの各画素を３Ｄ点に逆投影することは容易であり、したがって深度マップは、３Ｄ点群と同等である。この例の実装の様々なステップで投影および逆投影を実施するために、本方法は、ジェネリックな内部パラメータ、またはフレームを捉えたセンサを較正することによって計算される正確な内部パラメータを使用することができる。ジェネリックな内部パラメータを使用することは、本方法が１つのフレームだけを使用し得るので良好な結果を生み出す。

次に、この例の（任意選択の）前処理段階について論じる。

（任意選択の）セグメント化について最初に論じる。

この前処理ステップは、最初に、再構築するオブジェクトのシルエットを抽出するために、ＲＧＢ−深度フレームをセグメント化することにある。この目的のために、Ｋ平均法、領域統合（Ｒｅｇｉｏｎ−ｍｅｒｇｉｎｇ）、ノーマライズドカット、および／またはスネークなど、多数のアルゴリズムを使用することができる。一実装では、本方法は、ＧｒａｂＣｕｔアルゴリズム（非特許文献２６）を使用し、ＲＧＢフレームをセグメント化してもよい。ＧｒａｂＣｕｔは、非常にロバスト、自動であり、ユーザは、セグメント化するオブジェクトの周りにボックスを描くことを必要とするだけである。このアルゴリズムは、手で微調整されることを必要とせず、このアルゴリズムは、選択するパラメータを１つ有するだけである。さらに、セグメント化が失敗した場合、ユーザがこのアルゴリズムとインタラクティブにセグメント化を補正することが容易である。任意の他のセグメント化アルゴリズムが適するはずである。このセグメント化の中間結果は、ＲＧＢフレームであり、背景に属する各画素が色ブロック（０，０，０）に設定される。深度フレームをセグメント化するために、一例では、本方法は、ＲＧＢフレームのセグメント化を使用してもよい。実際には、本方法は、深度マップの３Ｄ点をＲＧＢフレーム上に投影してもよく、点がＲＧＢフレームの背景上に投影された場合、深度フレームの対応する画素もまた、それもやはり背景に属するので（０，０，０）に設定される。また、本方法は、ＧｒａｂＣｕｔアルゴリズム（または別のセグメント化アルゴリズム）を使用し、深度フレームを直接セグメント化することができる。ＲＧＢフレームを最初にセグメント化し、このセグメント化を深度フレームに移すことが特にロバストである。

次にテンプレート選択について論じる。

この例の前処理段階のこの第２の段階は、テンプレート選択にある。テンプレートメッシュは、本方法が３Ｄで再構築しようとするオブジェクトと同じ種類のオブジェクトに属するメッシュであってよい。テンプレートは、再構築するオブジェクトの、同様のトポロジを有する近似的なメッシュとみなすことができる。再構築ステップは、深度フレームをフィットさせるようにこのテンプレートを変形し最適化する。一実装では、本方法は、以下を含んでもよい。ユーザは、３Ｄモデルのデータベース内で適切なテンプレートを選択するために、再構築するオブジェクトにタグ付けしてもよい。本方法は、データベース内で、深度フレームによって与えられる点群に最も近いテンプレートを見つけることができる形状マッチングアルゴリズムでこのタスクを自動化することができる。テンプレート、再構築するオブジェクトと同じ近似的なサイズを有してもよいが、完璧なスケールは必要とされない。なぜなら、テンプレートのスケールは、（特にスケーリングモードのおかげで）最適化ステップで最適化され得るからである。テンプレートが選択された後で、この例示的な方法は、テンプレートを中央に置き、テンプレートの主軸をｘｙｚ軸上に位置合わせするために主成分解析を適用する。それを行うために、本方法は、テンプレートを構成する中央に置かれた点群の経験共分散行列を対角化してもよい。この位置合わせは、最大の主成分がｘ軸上で回転されるようになされてもよい。

次に、この例の再構築段階について論じる。

次に、この例の再構築段階のポーズ初期化ステップ（任意選択）について論じる。

次いで、テンプレートは、深度フレーム上に位置合わせされてもよい。この位置合わせは、一実装では、ユーザによって手動で行うことができ、または、たとえば、論文、非特許文献２７、２８、または論文、非特許文献２９に開示されているように、３Ｄ特徴を使用して、リジッド形状マッチングアルゴリズムによって提供することができる。ポーズはいずれにしても最適化ステップで最適化されることになるので、荒い位置合わせですでに十分に良好である。

次に、モードモデル化とも称される本方法の「提供するステップＳ１」の一例について論じる。

Ｅをテンプレートのエッジ、Ｖをその頂点として、Ｔ＝（Ｖ，Ｅ）をテンプレートメッシュ（中央に置かれ、位置合わせされ、そのポーズがすでに初期化されている）とする。ｎをテンプレートの頂点の数とする。このとき、各頂点が３つの座標（ｘ，ｙ，ｚ）を有するので、Ｖは、サイズ３ｎのベクトルである。ｌをテンプレートの典型的な長さとする。ｘ_max＝ｍａｘ_i%3=1｜Ｖ（ｉ）｜とする。この例では、−サイズ３ｎでありメッシュを定義する−ベクトルＶは、座標ずつではなく頂点ずつに順序付けられ、その結果、Ｖ＝（ｘ₁，ｙ₁，ｚ₁，・・・，ｘ_n，ｙ_n，ｚ_n）であり、この毎回ｉ％３＝１であり、Ｖ（ｉ）は、（本方法が、たとえば０ではなく１から始まるＶにインデックス付けする場合）メッシュの頂点の１つのｘ座標に対応する。さらに、ｘは、（上記で提供されているテンプレート選択例で述べられているように）テンプレートの最も長い軸に対応し得る。

本方法は、ステップＳ１で、２種類の変形モード、すなわち物理モードおよびジオメトリックモード（を表すもの）を提供し得る。各モードは、

から

の関数であり、ここでＩは、モードの大きさパラメータのセットである。次いで、これらのモードは、パラメータの所与のセットについて、コンポジションによってテンプレートに適用される。目標は、再構築するオブジェクトにテンプレートを最適に変形するために、（後のＳ２で）各モードについて最もよいパラメータを見つけることである。

テンプレートに対する従来の線形モデル解析によって、物理モードが計算され得る。これは、機械工学の分野から周知であり、そのようなモデル解析を行うための方法は、論文、非特許文献３０、論文、非特許文献３１、および論文、非特許文献３２に詳細に提供されている。物理モードの決定に関するこれらの論文の教示を、本方法によって適用することができる。

以下は、この例で実装される主な発想を簡潔にまとめる。最初に、本方法は、テンプレート上の離散的なひずみエネルギーＥ（Ｕ）を定義してもよく、ここで

は、テンプレートメッシュの変形ベクトルであり、すなわち、新しいテンプレートが座標についてＶ＋Ｕを有するように本方法がベクトルＵでテンプレートを変形する場合、関連の変形エネルギーは、Ｅ（Ｕ）である。Ｅを定義することは、特定の材料をテンプレートに割り当てることと同等である。したがって、各頂点での内部の力は、Ｆ（Ｕ）＝−ｇｒａｄＥ（Ｕ）である。線形モデル解析のために、本方法は、未変形の位置（Ｕ＝０）で力を線形化し、標準的な以下の一般化された固有値問題、すなわちＫ（Ｕ）＝λＭＵの固有ベクトル（この場合、「固有モード」と呼ばれる）について解いてもよく、ここで、Ｋ（Ｕ）は、Ｆ（Ｕ）のヘッセン行列であり、通常、剛性行列と呼ばれ、Ｍは、質量行列であり、簡単な提供するステップＳ１のために、単位行列として選択することができる（共に周知のオブジェクト）。このようにして、少なくとも１つの物理モードのサブセットが、少なくとも１つの（材料）固有モードを含み得る。

次に、少なくとも１つの物理モードを表すサブセットは、いくつか（たとえば、所定の数）の最も低い固有ベクトルを含み得る。この例では、本方法は、Ｌ_∞ノルムについて正規化された（最も低い固有値）の第１の固有ベクトルＵ₁，．．．，Ｕ_pを選択し、ｐの第１の変形モードを、

の場合ｆ_i（α_i，Ｖ）＝Ｖ＋α_iＵ_iとして定義してもよく、ここで、ｌは、テンプレートの直径（すなわち、最も大きい内側長さ）を示す（

は、極小に向かう収束を回避する助けとするためにモードの可変パラメータα_iに設定された制約の任意の例であり、そのような目的を達成するために他の制約値が企図され、他の値が保持可能である）。典型的には、ｐは、２もしくは５より高く、および／または５０もしくは２０未満（ｐのための上限は、最適化のスパースな特性のおかげで本方法の速さに関して重要性が比較的小さいものであるが、極小を回避する助けとなる）、たとえば、１０程度（テストは、ちょうど１０を使用して実施された）であってもよい。そのような構成は、特に妥当な結果に向かって最適化の特に効率的な収束を可能にし、極小に追い込むことを比較的良好に回避する。

具体的には、上記の計算においてテンプレートに割り当てられる特定の材料は、サンブナン−キルヒホッフ材料であってよい。この非常によく知られた材料モデルは、特定の妥当な再構築をもたらすが、他の材料を企図することもできる。本方法は、実際、単位行列に比例する質量行列と共に、サンブナン−キルヒホッフ材料のひずみエネルギーを使用する。この材料のための従来の離散化の詳細は周知であり、論文、非特許文献３０、および論文［Ｓｉｆａｋｉｓ２０１２］、非特許文献３２によって提供されている。サンブナン−キルヒホッフ材料のための物理モデルの決定に関するこれらの論文の教示は、本方法によって適用することができる。

また、本方法は、Ｓ１で、物理固有モードによって受け止められない妥当な変形として定義されるジオメトリックモードをも提供し得る。これは、Ｓ１で提供されＳ２で検討される変形モードのセットを（スマートに）豊かにし、よりロバストな結果をもたらす。

一例では、本方法は、いくつかのそのようなジオメトリックモードを提供する。

この例によって提供される第１のジオメトリック変形関数は、単純３次元スケーリングモードである。すなわち、ｇ₁（β，Ｖ）＝（（１＋β₁）Ｉ₁＋（１＋β₂）Ｉ₂＋（１＋β₃）Ｉ₃）Ｖ、ここで、Ｉ₁＝ｄｉａｇ（（１，０，０），（１，０，０），．．．，（１，０，０））、Ｉ₂＝ｄｉａｇ（（０，１，０），（０，１，０），．．．，（０，１，０））、Ｉ₃＝ｄｉａｇ（（０，０，１），（０，０，１），．．．，（０，０，１））、およびβ∈Ｂ＝［−０．８；０．８］³である。

第２のジオメトリック関数は、ｇ₂（γ，Ｖ）＝Ｖ＋γ₁Ｕ’₁＋γ₂Ｕ’₂＋γ₃Ｕ’₃として定義される不均一なスケーリングモードであり、ここで、

および

である。このモードは、不均一なスケーリングとして働く（このスケーリングは、０付近で強まる）。

第３のジオメトリックモードは、多項式変形モードであり、たとえば４つの多項式によって定義される。すなわち、

上式でδ_i∈Ｄ＝［−１；１］^(d+1)である。一実装では、次数ｄ＝２の多項式をとってもよい。

この例の別のジオメトリック関数は、テンプレート

を平行移動および回転させることを可能にするリジッドモードであり、ここで、ｔは、平行移動ベクトルであり、Ｒｏｔ（ω）は、ツイストベクトルωでなされた回転行列であり、ωのノルムは、回転角であり、正規化されたベクトルは、回転軸である。我々の実装では、

である。

なお、物理モードとは異なり、ジオメトリックモードの上記の定義は、テンプレートがその主軸上で位置合わせされることを必要とする。なぜなら、ジオメトリックモードの定義／パラメータがそれらを参照するからである。しかし、これらの定義は、他の位置合わせが企図される場合、適合され得る。また、すべてのモードは、大きさが０に等しいとき変形がヌルであるという特定性を有する（換言すれば、この例では、大きさは、モードが最終コンポジションで本当に使用されるかどうか決定するパラメータであり、したがって、決定Ｓ２は、比較的高い数の大きさが０とは異なることにペナルティを課す）。

したがって、Ｓ１で提供されるセットは、すべての上述のモードの任意の組合せ（たとえば、任意の数の物理モードおよび／または記載の４つのジオメトリック変形モードの任意のもの）、または任意の代表的なセット（すなわち、組合せとちょうど同じ結果を可能にするモードの任意のセットを含み得る。

一例では、テンプレートＶの最終変形関数は、

であり得るすべてのこれらのモードのコンポジションであり、ここで、θ＝（α₁，．．．，α_p，β，γ，δ₀，．．．，δ₃，ω，ｔ）∈Ｉ＝Ａ^p×Ｂ×Ｃ×Ｄ⁴×Ｅである（非線形モードのため、コンポジションの順序が異なる結果をもたらす可能性があり、本例では特定の順序が保持されており、他の順序が保持可能であることに留意されたい）。テンプレートは、＃Ｉパラメータ、すなわち、ｐ＋３＋３＋４（ｄ＋１）＋３＝ｐ＋４（ｄ＋１）＋９個のパラメータによってパラメータ化される。この例の実装では、ｄ＝２およびｐ＝１０の場合、したがってテンプレートを完全に制御する３１個のパラメータがある。

頂点の数はｎであるため、自由度の最大数は３ｎ、典型的にはｎ＞１０００である。この例のパラメータ化は、テンプレートを非常に少ないパラメータで制御することを可能にする。さらに、このパラメータ化は、トポロジおよび規則性を内部的に保存する。テンプレートは、首尾一貫した妥当な状態でのみ変形され得る。そのため、本方法の例は、単一のフレームの場合でさえ、３Ｄ再構築のために非常に強力である。また、上記で提供される定義は、ｆ（０，Ｖ）＝Ｖであることを確実にすることに留意されたい。

次に、Ｓ２で実施される空間最適化の一例について、上記の例に従って論じる。

この例は、テンプレートを深度フレームにフィットさせるために最もよいパラメータθを見つけることを可能にする。発想は、変形されたテンプレートが深度フレームと最もよくフィットするとき最小となるエネルギーを定義することである。Ｆで深度フレームを示す。本方法は、エネルギーを、非線形最小二乗問題ｅ（θ）＝Σ_x,yｍａｘ（［Ｆ（ｘ，ｙ）−π（ｆ（θ，Ｖ））（ｘ，ｙ）］²，ｔｈ）としてみなしてもよく、ここで（ｘ，ｙ）は画素を示し、πは、入力深度フレームの内部パラメータを使用して、変形されたテンプレートの深度マップを計算する関数であり、ｔｈは、セグメント化ステップで０に設定された背景深度のために各画素についての誤差を制限するための閾値である。任意の他のエネルギーが企図されてもよい。たとえば、代替として、またはそれに加えて、ロバストな最小二乗エネルギーおよび／またはＭ−ｅｓｔｉｍａｔｏｒエネルギーが企図され得る。たとえば、Σ_x,yｍａｘ（［Ｆ（ｘ，ｙ）−π（ｆ（θ，Ｖ））（ｘ，ｙ）］²，ｔｈ）は、Σ_x,y，ｈ（ｘ，ｙ，θ）によって置き換えることができ、ここで、ｈは、固定された（ｘ，ｙ）について｜Ｆ（ｘ，ｙ）−π（ｆ（θ，Ｖ））（ｘ，ｙ）｜と同じ方向に変わる正の関数である（たとえば、これは、テンプレートが所与の（ｘ，ｙ）画素について深度マップ上で重畳されたときｈが小さくなることを意味し得る。

深度マップをフィットさせるようにテンプレートが変形されることを可能にするのに十分な変形モードがＳ１で提供された。しかし、本方法が再構築しているオブジェクトへテンプレートを変形させるために、これらのモードすべてが使用されることを必要とすることは、非常に可能性が低い。本方法がエネルギーｅを直接最小化する場合、すべてのモードが変形（θ（ｉ）≠０∀ｉ）に含まれ得るので、オーバーフィッティング現象が現れ得る。そのような場合、テンプレートは、その自由度すべてを使用し（我々の場合には３１）、深度フレームをオーバーフィッティングさせることになる。本方法はむしろ、オーバーフィッティングを防止し、再構築するオブジェクトにテンプレートを変換するのに十分な少ない数のモードを見つけ得る。

そのような変形を表すことができる最も少ない数のモードを見つけることは困難な問題であり、再構築するオブジェクトに非常に依存する。そのため、本方法は、テンプレートが深度フレームをフィットさせることを可能にする最良のモードを自動的に選択するタスクを最適化に委ねるように、スパース最適化と呼ばれる強力な枠組みを使用する。具体的には、この例の方法は、グループ−スパース性を使用し、再構築するオブジェクトに関して規則性の喪失および妥当でない形状という犠牲を払って深度マップのノイズをオーバーフィッティングする可能性がある意味を持たないモードを廃棄する。したがって、本方法が実際に最小化するレギュラリゼーションされたエネルギーは、
ｅ’（θ）＝ｅ（θ）＋μφ（θ）
であり、ここで、レギュラリゼーション項

および関数ｓ（Ｊ）＝ｍａｘ（｜ｉｎｆＪ｜，｜ｓｕｐＪ｜）は、［−１；１］の間で各パラメータを再スケーリングすることを可能にする（和の第２の項は、リジッドモーションおよび３Ｄスケーリングとは異なるジオメトリックモードがＳ１で提供されたセット内にある場合に介在する）。

ノルムまたはグループ−Ｌａｓｓｏペナルティを導入するグループ−スパース性と呼ばれるレギュラリゼーション項φ（θ）の正確な役割は、テキストブック、非特許文献３３に詳述され説明されている。φの目標は、スパース性を強制することであり、この手段は、係数α_iおよびベクトルδ_iをヌルのままにさせる。μが大きいほど、より多くの係数がヌルのままとなる。この例の方法は、物理固有モードおよび多項式ジオメトリックモードをレギュラリゼーションするだけであることに留意されたい。実際、本方法は、スパース性を（再構築するオブジェクトが何であろうと変形ステップに含まれると考えることができるように）他のジオメトリックモードに強制することを回避し得る。この最適化問題は、テンプレートを再構築するオブジェクトに変換するために最も適切な物理固有モードおよび多項式ジオメトリックモードを内部的に選択する。

エネルギーｅ’（θ）を最小にするために、本方法は、ｅ（θ）を線形化しテキストブック、非特許文献３３に記載のアルゴリズムを適用することができる。しかし、関数πは、非常に複雑であり、その勾配の解析的に近い式を得ることは困難である。実際には、本方法はむしろ、関数πを適用するために、ＯｐｅｎＧＬなど低レベルのグラフィックＡＰＩのＺバッファ能力に基づいてもよい。本方法は、ｅ（θ）の導関数を推定するために、有限差分を使用することができる。しかし、本方法はむしろ、θの良好な最初の推定値を使用し、良好な極小に向かって収束すべきである。そのため、一例では、本方法は、ネルダーミード方式（論文、非特許文献３４に開示されているものなど）を実装し、これは、半局所大域最適化アルゴリズムであり、本方法が最初の推測θ＝０で開始し、良好な解に向かって依然として収束することを可能にする。

一実装では、本方法は、０．２の最初のシンプレックスサイズ（スケーリングされたパラメータ空間において）、ｔｈ＝３０ｍｍ、μ＝１５０ｍｍ²を使用し、本方法は、パラメータβ、γ、ω、ｔだけを最小化することによって開始し（したがって、φ（θ）は、この第１段階中、ヌルのままである）、次いで、本方法は、αおよびδに対して最小化し、最後に、本方法は、ｔｈ＝１５ｍｍですべてのパラメータに対して最小化する。

次に、この例の方法の（任意選択の）「処理後」段階について論じる。この後処理は、テクスチャリングである。実際、最後のステップは、再構築するオブジェクトのテクスチャリングされた３Ｄモデルを得るために、ＲＧＢフレームを変形されたテンプレート上に投影することである。

図５〜図１３は、図４を参照して論じた例の実装のテストを示す。より見やすくするために、図上のフィッティングサーフェスによりメッシュが表されている。図５は、最初のテンプレート（最も左のメッシュ）を示し、いくつかの物理変形モードがそれ（他のメッシュ）にどのように作用するかを示す。図６は、Ｓ２のスパース最適化が（３つの）最も妥当な物理モードまたはジオメトリックモードをどのように抽出するかを示す。図７〜図８は、２つの異なるシャンプーにフィットする変形された最初のテンプレートのいくつかの結果を示す。図９は、物理モードおよびジオメトリックモードを示す。図１０は、深度カメラから提供された最初の点群、および関連のテンプレート（本方法の可能な入力）を示す。図１１は、テンプレート最適化を（順次的な最適化の例で）示す。図１２〜図１３は、ＲＧＢ−深度センサでの実際のシーンのキャプションを示す。図１２は、ＲＧＢ画像を示し、図１３は、実際のシーンにあるシャンプーボトルの深度画像を示す。

Claims (10)

1. 実物体を表す３Ｄメッシュおよび測定データから実物体を表す３Ｄモデル化オブジェクトを再構築するためのコンピュータ実装方法であって、
   変形モードのセットを提供するステップであって、各変形モードは、パラメータ化された変形関数を指定し、可変パラメータを含み、前記３Ｄメッシュに適用可能である、ステップと、
   前記変形モードのコンポジションを決定するステップであって、前記コンポジションは、変形モードの前記セットの１つまたは複数の変形モード、および／またはそれらの可変パラメータの値を検討するプログラムであって、前記コンポジションによって変形されたような前記３Ｄメッシュと前記測定データとの間のフィットに見返りを与え、前記決定されたコンポジション内に含まれる前記変形モードのスパース性にさらに見返りを与えるプログラムを最適化する、ステップと、
   前記コンポジションを前記３Ｄメッシュに適用するステップと
   を含み、
   変形モードの前記セットは、リジッドモードおよび３Ｄスケーリングモードを含む幾何学的モードを表すサブセットを含み、
   前記コンポジションを前記３Ｄメッシュに適用することは、前記３Ｄメッシュを定義するデータを修正すること、および／または前記データの修正されたバージョンを作成することを含むことを特徴とする方法。
2. 変形モードの前記セットは、少なくとも１つの物理モードを表すサブセットをさらに含むことを特徴とする請求項１に記載の方法。
3. 少なくとも１つの物理モードを表す前記サブセットは、少なくとも１つの材料固有モードを含むことを特徴とする請求項２に記載の方法。
4. 前記材料は、サンブナン−キルヒホッフ材料であることを特徴とする請求項３に記載の方法。
5. 少なくとも１つの物理モードを表す前記サブセットは、いくつかの最も低い固有ベクトルを含むことを特徴とする請求項３または４に記載の方法。
6. 前記プログラムは、
   

   

   でタイプμφ（θ）の項を含み、ここでｓ（Ｊ）＝ｍａｘ（｜ｉｎｆＪ｜，｜ｓｕｐＪ｜）であり、係数α_iは前記少なくとも１つの物理モードの係数であることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
7. 請求項１乃至６のいずれか一項に記載の方法を実施するための命令を含むことを特徴とするコンピュータプログラム。
8. 請求項７に記載の前記コンピュータプログラムが記録されたメモリを含むことを特徴とするコンピュータ可読記憶媒体。
9. メモリに結合されたプロセッサとグラフィカルユーザインターフェースとを含むシステムであって、前記メモリには請求項７に記載の前記コンピュータプログラムが記録されていることを特徴とするシステム。
10. 製品を製造する方法であって、
    請求項１乃至６のいずれか一項に記載の方法によって得ることができる３Ｄモデル化オブジェクトを提供するステップであって、前記３Ｄモデル化オブジェクトは前記製品を表す、ステップと、
    前記３Ｄモデル化オブジェクトに基づいて前記製品を作り出すステップと
    を含むことを特徴とする方法。

Images