WO2023017740A1

WO2023017740A1 - 情報処理装置、プログラム及びパターンコード

Info

Publication number: WO2023017740A1
Application number: PCT/JP2022/029129
Authority: WO
Inventors: 令央宮下; 智志田畑; 正俊石川
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2021-08-13
Filing date: 2022-07-28
Publication date: 2023-02-16
Anticipated expiration: 2024-02-13
Also published as: US20240406343A1; CN117795287A; US12483670B2; JPWO2023017740A1

Abstract

【課題】パターン中の位置の特定を高速に行うことのできる情報処理装置、プログラム及びパターンコードを提供すること。【解決手段】本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、投影画像生成部と、復号部と、位相特定部とを備える。投影画像生成部は、予め定めたパターン情報に基づいて投影画像を生成し、該生成した投影画像を投影装置に出力可能に構成される。投影画像は、クロックパターンと、パターン情報に基づくデータパターンとを含む。復号部は、撮像装置により対象物を撮像した撮像画像に基づいてデータパターンを値に復号可能に構成される。撮像画像は、投影装置により投影画像が投影された状態の対象物を撮影した画像である。位相特定部は、値とパターン情報とに基づいて、対象物の各部の位相を特定可能に構成される。

Description

情報処理装置、プログラム及びパターンコード

　本発明は、情報処理装置、プログラム及びパターンコードに関する。

　対象物の表面の各点への距離を測る際に、構造化光が用いられている。構造化光は、対象物に投影される光のパターンであり、ＰＮ系列、Ｍ系列、デブル－イン系列と称されるもの等がある。なお、デブル－イン系列を用いた技術には、特許文献１に記載されたもの等がある。

特許第５５４７２２７号公報

　ところで、構造化光を用いて距離を測る際には、構造化光のパターンが投影された対象物を撮像し、その撮像画像の点が、パターンのどの部分であるのかを特定する必要がある。このため、この特定する処理を高速化することが望まれている。

　本発明では上記事情を鑑み、パターン中の位置の特定を高速に行うことのできる情報処理装置、プログラム及びパターンコードを提供することとした。

　本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、投影画像生成部と、復号部と、位相特定部とを備える。投影画像生成部は、予め定めたパターン情報に基づいて投影画像を生成し、該生成した投影画像を投影装置に出力可能に構成される。投影画像は、クロックパターンと、パターン情報に基づくデータパターンとを含む。復号部は、撮像装置により対象物を撮像した撮像画像に基づいてデータパターンを値に復号可能に構成される。撮像画像は、投影装置により投影画像が投影された状態の対象物を撮影した画像である。位相特定部は、値とパターン情報とに基づいて、対象物の各部の位相を特定可能に構成される。

　本発明の一態様によれば、対象物の各点の位置の特定を高速に行うことが可能となる。

本発明の実施形態に係る情報処理装置１の配置例を示した図である。情報処理装置１の構成を示した図である。情報処理装置１の機能的な構成を示すブロック図である。投影画像のパターンの例を示した図である。パターンＰを拡大した図である。パターンＰＲの例を示した図である。パターンＰとパターンＰＲの差分ＰＤを示したものである。パターンＰの詳細を示した図である。パターンＰからの復号を説明するための図である。パターンＰからの復号を説明するための図である。パターンＰからの復号を説明するための図である。パターンＰからの復号を説明するための図である。情報処理装置１の動作の流れを示すアクティビティ図である。撮像画像の例を示した図である。撮像画像の例を示した図である。撮像画像を平行化した例を示した図である。算出した差分を画像で表した図である。レンズの歪みの影響を考慮したパターンの例を示した図である。パターンを空間方向へ拡張する場合の例を示した図である。パターンを空間方向へ拡張する場合の例を示した図である。クロックの反転を含めたパターンの例を示した図である。クロックの反転を含めたパターンの例を示した図である。クロックの反転を含めたパターンの詳細を説明するための図である。

　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ　Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ　Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．全体構成
　図１は、本発明の実施形態に係る情報処理装置１の配置例を示した図である。同図に示すように、情報処理装置１は、投影装置２及び撮像装置３と接続され、システム１００を構成する。このシステム１００は、対象物２００の各部までの距離を測定することで、対象物２００の形状をスキャンするものである。

　情報処理装置１は、投影装置２から所定のパターンを投影させるとともに、撮像装置３が撮像した画像を処理して、対象物２００の形状を特定する。

　投影装置２は、情報処理装置１が出力するパターンを対象物２００に投影するもので、例えば、プロジェクタである。

　撮像装置３は、投影装置２によりパターンが投影された対象物２００を撮像するもので、例えば、カメラである。カメラは、静止画を撮像するものでもよく、動画を撮像するものであってもよい。対象物２００の動画を撮像した場合には、その一部、例えば、１フレーム分を、静止画として利用することになる。もちろん、高フレームレートでの撮影が可能な高速カメラを用いることもできる。

２．情報処理装置の構成
　次に、情報処理装置１の構成について説明する。図２は、情報処理装置１の構成を示した図である。同図に示すように、情報処理装置１は、処理部１１と、記憶部１２と、一時記憶部１３と、外部装置接続部１４と、通信部１５とを有しており、これらの構成要素が情報処理装置１の内部において通信バス１６を介して電気的に接続されている。

　処理部１１は、例えば、中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）により実現されるもので、記憶部１２に記憶された所定のプログラムに従って動作し、種々の機能を実現する。

　記憶部１２は、様々な情報を記憶する不揮発性の記憶媒体である。これは、例えばハードディスクドライブ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスにより実現される。なお、記憶部１２は、情報処理装置１と通信可能な別の装置に配するようにすることも可能である。

　一時記憶部１３は、揮発性の記憶媒体である。これは、例えばランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリにより実現され、処理部１１が動作する際に一時的に必要な情報（引数、配列等）を記憶する。

　外部装置接続部１４は、例えばユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ：ＵＳＢ）や高精細度マルチメディアインターフェース（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ：ＨＤＭＩ（登録商標））といった規格に準じた接続部であり、キーボード等の入力装置やモニタ等の表示装置を接続可能としている。また、投影装置２と、撮像装置３は、外部装置接続部１４に接続される。

　通信部１５は、例えばローカルエリアネットワーク（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ：ＬＡＮ）規格に準じた通信手段であり、情報処理装置１とローカルエリアネットワークやこれを介したインターネット等のネットワークとの間の通信を実現する。

　なお、情報処理装置１には、パーソナルコンピュータ等のコンピュータを利用することが可能であり、複数のコンピュータを用いて情報処理装置１を構成することも可能である。

３．情報処理装置１の機能
　次に、情報処理装置１の機能について説明する。情報処理装置１は、投影装置２から所定のパターンを投影させるとともに、撮像装置３が撮像した画像を処理して、対象物２００の形状を特定するもので、プログラムにしたがって動作することで、後述する各機能部を実現する。このプログラムは、コンピュータを情報処理装置として動作又は機能させるプログラムである。また、対象物２００は、静止している物体であってもよく、動きを伴うもの、例えば、ロボットや生体であってもよい。

　図３は、情報処理装置１の機能的な構成を示すブロック図である。同図に示すように、情報処理装置１は、パターン情報管理部１０１と、投影画像生成部１０２と、画像処理部１０３と、復号部１０４と、位相特定部１０５とを備える。

　パターン情報管理部１０１は、投影装置２に投影させるパターンを生成するためのパターン情報を管理するとともに、投影されたパターンから復号された値から位相を特定するためのマッピング関数を管理する。なお、パターン情報及びパターンの詳細については、後述する。

　投影画像生成部１０２は、パターン情報管理部１０１が管理するパターン情報、つまり、予め定めたパターン情報に基づいて投影画像を生成し、その生成した投影画像を投影装置２に出力する。また、詳細は後述するが、２つの投影画像を用いて対象物２００の形状を特定する場合があり、その場合には、投影画像生成部１０２は、第１の投影画像と第２の投影画像とを生成する。第２の投影画像は、第１の投影画像の明暗を反転させた画像である。また、投影画像は、クロックパターンと、パターン情報に基づくデータパターンとを含むように構成され、クロックパターンとデータパターンとが、隣接して配置される。具体的には、投影画像は、クロックパターンの並びと、データパターンの並びとが交互に配置されている。クロックパターンとデータパターンの並びとは、パターンを一定方向に並べたものであり、例えば、パターンの並び方向が横方向であれば、その並びは行と称され、投影画像は、クロックパターンの行と、データパターンの行とが交互に配置されることになり、パターンの並び方向が縦方向であれば、その並びは列と称され、投影画像は、クロックパターンの列と、データパターンの列とが交互に配置されることになる。クロックパターン及びデータパターンは、明と暗との二値で構成されてもよく、階調による多値で構成されてもよい。

　画像処理部１０３は、撮像装置３から取得した撮像画像の歪を補正する。撮像画像は、投影装置２により投影画像が投影された状態の対象物を撮像装置３で撮影した画像である。撮像装置３から取得した撮像画像は、投影装置２と撮像装置３の位置の関係から、その投影画像に相当する部分に歪みがあり、これを補正する。具体的には、投影画像に相当する部分が平行となるような平行化処理を行う。なお、平行化処理等の画像処理は、省略することが可能である。画像処理部１０３による画像処理を省略した場合であって、復号部１０４による復号は可能であるが、平行化処理等の画像処理を行った場合には、復号部１０４による復号処理の過程においてシーケンシャルなメモリアクセスが可能となり、処理の高速化を実現することができる。

　復号部１０４は、撮像装置により対象物を撮像し、画像処理部１０３により補正が施された撮像画像に基づいてデータパターンを値に復号可能に構成される。値は、例えば、８ビットで表される値である。このとき、復号部１０４は、データパターンの第１の並びの一部、例えば、データパターンの第１の行の一部と、データパターンの第２の並びの一部、例えば、データパターンの第２の行の一部とに基づいて、データパターンを値に復号する。また、２つの投影画像を用いて対象物２００の形状を特定する場合には、復号部１０４は、第１の投影画像が投影された状態の対象物を撮影した画像と、第２の投影画像が投影された状態の対象物を撮影した画像との差分に基づいて、データパターンを値に復号する。

　位相特定部１０５は、復号部１０４で復号された値とパターン情報管理部１０１が管理するパターン情報とに基づいて、対象物の各部の位相を特定可能に構成される。具体的には、パターン情報管理部１０１は、パターン情報に基づいて生成されたマッピング関数を管理しており、位相特定部１０５は、このマッピング関数に、復号部１０４で復号された値を入力して、位相を取得する。マッピング関数は、例えば、ルックアップテーブルとして構成してもよい。

　ところで、情報処理装置１に代えて、複数の情報処理装置を用いることができる。例えば、２つの情報処理装置を用いる場合、第１の情報処理装置は、パターン情報管理部と投影画像生成部とを備えるようにする。このパターン情報管理部と投影画像生成部は、それぞれ、パターン情報管理部１０１と投影画像生成部１０２に相当するものである。そして、第２の情報処理装置は、パターン情報管理部と、画像処理部と、復号部と、位相特定部とを備えるようにする。このパターン情報管理部、画像処理部、復号部、位相特定部は、それぞれ、パターン情報管理部１０１、画像処理部１０３、復号部１０４、位相特定部１０５に相当するものである。

４．投影画像のパターン
　次に、投影画像生成部１０２が生成する投影画像のパターンについて説明する。なお、以下の説明では、パターンの並びを、パターン行として説明する。また、ここでは、パターンを明と暗の二値で構成し、２つの投影画像を用いて対象物２００の形状を特定する場合を説明する。パターンを構成する二値は、例えば、明度の高さが異なる明と暗である。なお、明度の違いは、投影時には、輝度の違いとして表現される。

　図４は、投影画像のパターンの例を示した図である。同図に示すパターンＰは、白と黒の二値で構成され、投影装置２により投影された際に、対象物２００等に明暗のパターンが生じることになる。

　図５は、パターンＰを拡大した図である。同図に示すように、パターンＰは、パターン部品ＰＰにより構成され、同じパターンのパターン部品ＰＰが、繰り返して並べられている構成となる。

　また、２つの投影画像を用いて対象物２００の形状を特定する場合、もう１つのパターンＰＲを用いることになる。図６は、パターンＰＲの例を示した図である。同図に示すように、パターンＰＲは、パターン部品ＰＰＲにより構成され、同じパターンのパターン部品ＰＰＲが、繰り返して並べられている構成となる。図５と図６を比較すると明らかなように、パターンＰＲは、パターンＰの白部分を黒に、黒部分を白に反転されたものであり、投影装置２により投影された際の明暗のパターンも反転する。

　２つの投影画像を用いて対象物２００の形状を特定する場合、情報処理装置１は、復号部１０４は、２つの投影画像に対応する撮像画像の差分を求め、その差分からデータパターンを特定し、値に復号する。例えば、撮像画像の明である部分を「１」、撮像画像の暗である部分を「０」とすると、その差分は、「１」、「０」、「－１」のいずれかとなる。パターンＰで明の部分は、パターンＰＲでは暗であるため、当該部分の差分は、１－０で、「１」となり、パターンＰで暗の部分は、パターンＰＲでは明であるため、当該部分の差分は、０－１で、「－１」となる。また、対象物２００の形状により、影が生じる場合、パターンＰを投影した場合の撮像画像とパターンＰＲを投影した場合の撮像画像のいずれも、影の部分は暗であるため、当該部分の差分は０－０で「０」となる。

　ここで、差分が「１」の部分を「１」、差分が「－１」の部分を「０」として表現すると、差分は、図７に示すようなものとなる。図７は、パターンＰとパターンＰＲの差分ＰＤを示したものである。この差分ＰＤは、対象物２００による影が生じていなければ、パターンＰと同様のものとなる。

　なお、１つの投影画像を用いて対象物２００の形状を特定する場合には、例えば、パターンＰを投影し、撮像画像の明である部分を「１」、撮像画像の暗である部分を「０」として値への復号を行うことができる。１つの投影画像を用いて対象物２００の形状を特定する処理は、対象物２００が動きを伴うものであり、その動きが速い場合に、有効である。

　ここで、パターンＰの詳細について説明する。図８は、パターンＰの詳細を示した図である。同図に示すように、パターンＰは、予め定めたパターン情報に基づくデータパターンの一部である上位ビット列ＭＳＢと、別の一部である下位ビット列ＬＳＢ、クロックパターン行ＣＬＫを含む。クロック行は、１と０が交互に並べられている行であり、上位ビット列ＭＳＢと下位ビット列ＬＳＢに、０又は１が連続した場合の区切りとして利用する部分である。なお、ここで用いた「ビット列」は用語であり、パターン列とは異なる意味である。また、図中にアルファベットで示している部分は、１又は０であり、同じアルファベットには、同じ値が設定されている。なお、図７に示した例の場合では、Ａ＝１、Ｂ＝１、Ｃ＝０、Ｄ＝０、Ｅ＝１、Ｆ＝１、Ｇ＝０、Ｈ＝０、Ｉ＝１、Ｊ＝１、ａ＝０、ｂ＝０、ｃ＝０、ｄ＝０、ｅ＝１、ｆ＝０、ｇ＝０、ｈ＝１、ｉ＝１、ｊ＝０となる。

　このように、パターンＰは、情報を表すパターンコードであって、クロックパターンとデータパターンとが、隣接して配置され、クロックパターンの行（並び）と、データパターンの行（並び）とが交互に配置される。なお、データパターンの配置は、任意に定めることができ、例えば、図８中の上位ビット列ＭＳＢと下位ビット列ＬＳＢを逆に配置したり、図８中の上位ビット列ＭＳＢで示した位置に奇数ビットを配置するとともに下位ビット列ＬＳＢで示した位置に偶数ビットを配置するようにすることもできる。

　なお、パターンＰからクロックパターンを除外したもの、つまり、データパターンは、デブルーイントーラス配列であり、ひとつの情報を示すコードをずらしながら重ねることができ、さらに最小２行で構成でき、位相を求めるのに小さな領域を見るだけで良いという利点を生じるものである。

　ここで、パターンＰからの復号について説明する。図９乃至図１２は、パターンＰからの復号を説明するための図である。パターンＰからの復号は、データパターンの第１の行である上位ビット列ＭＳＢの一部と、データパターンの第２の行である下位ビット列ＬＳＢの一部とから行う。つまり、パターンは、データパターンの第１の行の一部と、データパターンの第２の行の一部とからひとつの値に対応する符号を構成する。具体的には、復号は、例えば、図９に示すパターンブロックＢ１１のように、上位ビット列ＭＳＢと下位ビット列ＬＳＢとから各々４ビットを取得し、両者を結合して８ビットの値を特定することで行う。パターンブロックＢ１１の値は、「１１００００００」となり、十進数で１９２となる。パターンブロックＢ１１の位置が「０」で表されるとすれば、上述のマッピング関数は、入力「１９２」に対して「０」を返すこととなる。同様に、パターンブロックＢ１２の値は、「１００１０００１」（十進数で１４５）、パターンブロックＢ１３の値は、「００１１００１０」（十進数で５０）となる。上述のマッピング関数は、入力「１４５」に対して「１」を、入力「５０」に対して「２」を返すこととなる。また、パターンブロックＢ２１の値は、「１１００００００」であり、パターンブロックＢ１１の値と同値になる。

　このように、パターンＰは、図中横方向に、明暗の１ブロック毎に、値を割り当てることができ、図中縦方向に、明暗の２ブロック毎に、値を割り当てることができる。なお、図９乃至図１２に示した例では、ＡＢＣＤａｂｃｄ、ＢＣＤＥｂｃｄｅ、ＣＤＥＦｃｄｅｆ、ＤＥＦＧｄｅｆｇ等は、各々異なる値であるが、このような並びは、複数通り存在するため、どの並びを用いるかを、パターン情報管理部１０１で管理することになる。なお、パターンの並びをパターン列として構成した場合には、パターン行を９０度回転させたものと同様になる。

　ここで、パターンＰとして用いることのできる値の並びを２例示しておく。１つめの例は、図８中の上位ビット列ＭＳＢで示した位置に「０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，１，１，１，１，１，１，１，１，１，１，１，１，１」、下位ビット列ＬＳＢで示した位置に「０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１」を並べたものである。

　２つめの例は、図８中の上位ビット列ＭＳＢで示した位置に「１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，０，１，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，０，１，１，１，１，１，１，１，１，１，１，１，１，１，１，１，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，０，１，０，０，０，１，０，０，０，１，０，０，０，１，０，０，０」、下位ビット列ＬＳＢで示した位置に「０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１，０，０，０，０，１，０，０，１，１，０，１，０，１，１，１，１」を並べたものである。

５．情報処理装置１の動作
　次に、情報処理装置１の動作の流れを説明する。図１３は、情報処理装置１の動作の流れを示すアクティビティ図である。

　情報処理装置１は、まず、投影画像生成部１０２が、パターン情報管理部１０１に管理されているパターン情報から、利用するパターン情報を決定する（Ａ１０１）。なお、１つのパターン情報を利用するようにした場合、この処理は省略することができる。続いて、投影画像生成部１０２は、決定したパターン情報に基づいて、パターン画像を生成し（Ａ１０２）、投影装置２に出力する。

　パターン画像が投影装置２に出力されると、投影装置２は、対象物２００にパターン画像を投影する（Ａ１０３）。そして、対象物２００にパターン画像が投影されている状態で、撮像装置３が対象物２００を撮像する（Ａ１０４）。このとき撮像された撮像画像は、例えば、図１４に示したようなものとなる。

　次に、投影画像生成部１０２は、先に用いたパターン画像を反転したパターン画像を生成し（Ａ１０５）、投影装置２に出力する。そして、パターン画像が投影装置２に出力されると、投影装置２は、対象物２００にパターン画像を投影する（Ａ１０６）。そして、対象物２００にパターン画像が投影されている状態で、撮像装置３が対象物２００を撮像する（Ａ１０７）。このとき撮像された撮像画像は、例えば、図１５に示したようなものとなる。

　次に、画像処理部１０３が、撮像画像の平行化処理を行う（Ａ１０８）。図１４に示した撮像画像を平行化したものは、例えば、図１６に示すようなものとなる。そして、復号部１０４が両画像の差分を算出する（Ａ１０９）。算出した差分を画像で表すと、図１７に示したものとなる。なお、図１７では、差分が「１」の部分をグレー、差分が「－１」の部分を黒、差分が「０」、つまり、影の部分を「白」で表現している。

　続いて、復号部１０４は、算出した差分に基づいて、復号処理を行い（Ａ１１０）、位相特定部１０５が、復号された値を、パターン情報管理部１０１で管理しているマッピング関数に入力して、位相を特定する（Ａ１１１）。

　なお、ここで説明した動作の流れは、一例である。

６．変形例１
　変形例１は、投影画像生成部１０２が、レンズの歪みを考慮した投影画像を生成する例である。図１に示したシステム１００では、投影装置２と撮像装置３の両者でレンズが用いられる。これらのレンズは、歪みが少なくなるよう加工されているものの、完全に歪みの影響を除去することができない。また、投影装置２は、調整を行うことでレンズの歪みの影響を除去した画像を投影することができるが、撮像装置３のレンズの歪みの影響を除去することが困難となる場合もある。

　そのため、投影画像生成部１０２により生成する投影画像を図１８に示すようなものとする。図１８は、レンズの歪みの影響を考慮したパターンの例を示した図である。なお、同図においては、パターンの明部を白（空白）、暗部を斜線で示している。図１８に示すパターンＶＰは、行Ｌ１～行Ｌ７を含んでいる。このうち、行Ｌ２、行Ｌ４、行Ｌ６は、クロックパターンの行であり、行Ｌ１、行Ｌ３、行Ｌ５、行Ｌ７は、データパターンである。つまり、パターンＶＰにおいては、クロックパターン及びデータパターンは、投影画像の行として構成される。もちろん、クロックパターン及びデータパターンは、投影画像の列として構成してもよい。そして、行又は列のそれぞれの幅は、投影画像の中心から離れるほど広くなる。図１８に示した例では、行Ｌ４がパターンＶＰの中心を通る行であり、行Ｌ４よりも、行Ｌ３と行Ｌ５の幅が広くなっており、行Ｌ２と行Ｌ６の幅がさらに広くなり、行Ｌ１と行Ｌ７の幅がパターンＶＰ中で最も広くなっている。これらの行の幅は、図中の破線Ｄで示すレンズの歪みに応じたものである。なお、破線Ｄは説明のために付したものであり、パターンＶＰを構成するものではない。また、図１８は、説明のための図であり、行の幅やパターンの数は、実際のものとは異なるものである。

７．変形例２
　変形例２は、１つのパターンのみを投影し、差分の算出を行わずに、１つの撮像画像から復号を行う。この場合、影の部分でエラーが生じる可能性があるが、誤り訂正符号等を用いることで、エラーを回避することができる。

８．変形例３
　変形例３は、投影するパターンを空間方向へ拡張したものである。図１９は、パターンを空間方向へ拡張する場合の例を示した図である。同図に示した例は、図８に示したパターンのクロックパターン行ＣＬＫを反転させたものである。

９．変形例４
　変形例４は、投影するパターンを空間方向へ拡張したものである。図２０は、パターンを空間方向へ拡張する場合の例を示した図である。同図に示した例は、クロックパターン行に加え、クロックパターン列を用いたものである。

１０．変形例５
　変形例５は、投影するパターンを時間方向へ拡張したものである。これは、異なる複数のパターンを順次投影し、複数の撮像画像から復号を行うものである。

１１．変形例６
　変形例６は、投影するパターンを階調方向へ拡張したものである。これは、パターンを二値ではなく、階調表現を利用した多値で構成するものである。階調は、例えば、明度の高低の異なる多値により表現される。

１２．変形例７
　変形例７は、投影するパターンを波長方向へ拡張したものである。これは、例えば、ＲＧＢの各色に対応したパターンを各色で投影し、撮像画像を各色に分離して行うもので、例えば、二値で８ビットであった値を、２４ビットの値にするものである。また、変形例６と組み合わせて、ＲＧＢの各色で、階調表現を用いるようにしてもよい。

１３．変形例８
　変形例８は、クロックパターンに、クロックの反転箇所を含め、投影画像中のパターンを増加させたものである。この変形例８の場合、クロックパターンは、反転箇所のクロックパターン又は該反転箇所に隣接するデータパターンの幅が他と異なる。

　図２１及び図２２は、クロックの反転を含めたパターンの例を示した図である。図２１に示した例では、クロックパターン行ＣＬＫの反転箇所Ｉ１において、クロックパターン行ＣＬＫを構成するパターンの幅が他の部分よりも狭くなっている。また、図２２に示した例では、クロックパターン行ＣＬＫの反転箇所Ｉ２において、上位ビット列ＭＳＢ及び下位ビット列ＬＳＢを構成するパターンの幅が他の部分よりも広くなっている。したがって、反転箇所Ｉ１と反転箇所Ｉ２のいずれにおいても、上位ビット列ＭＳＢ及び下位ビット列ＬＳＢは、クロックパターン行ＣＬＫと不揃いな態様となる。図２１に示した例と図２２に示した例は、同様に利用することができるが、例えば、投影装置２と撮像装置３の解像度によっては、図２１のパターンを実現することが困難となるため、その場合には、図２２のパターンを利用することになる。

　ここで、クロックの反転を含めたパターンの詳細について説明する。図２３は、クロックの反転を含めたパターンの詳細を説明するための図である。図２３に示した例では、反転箇所Ｉ２よりも前（図中左側）に、パターンＰ１、パターンＰ２、パターンＰ３、・・・パターンＰｎのｎ個（ｎは自然数）のパターンがあり、反転箇所Ｉ２以降（図中右側）に、パターンＰｎ＋１、パターンＰｎ＋２、パターンＰｎ＋３、・・・パターンＰ２ｎのｎ個のパターンがある。つまり、クロックを反転させることで、パターンの数が２倍になることになる。これは、上位ビット列ＭＳＢ及び下位ビット列ＬＳＢが構成するパターンに加え、クロックパターン行ＣＬＫのうちのいずれか１ビットを加えることで、ビット数が１だけ増加することによるものである。具体的には、例えば、最も新しく検出されたクロックパターン行ＣＬＫの１ビットを上位ビット列ＭＳＢの先頭に付加し、上位ビット列ＭＳＢ及び下位ビット列ＬＳＢで８ビットある場合は、クロックパターン行ＣＬＫの１ビットを９ビット目として解釈することとなる。

　クロックの反転を含めたパターンの場合、パターンの数が増加するため、例えば、陰になることによりクロックの反転箇所Ｉ２自体を検出することができなかった場合でも、検出されたパターン自体が判別可能なものであるため、支障は生じない。なお、図２３に示した例では、パターンＰ１とパターンＰｎ＋１が同じパターンとなるが、両者は隣接することはなく、間に位置するパターンも異なるため、実用上は、見分けることに困難は無い。

１４．その他
　このような処理により、構造化光を用いた際のパターン中の位置の特定を、比較的高速に行うことが可能となり、特に、平行化処理を行った場合には、処理速度の向上は顕著なものとなる。また、説明した構造化光のパターンは、復号に要する符号の数が少なく、かつ空間的に重畳されているため、情報の高密度化にも貢献する。また、パターンを二値で構成した場合、２進数で処理を行うコンピュータ等の親和性が高いため、復号処理等が、パターンを二値以外で構成した場合と比較して高速となる。

　本発明は、次に記載の各態様で提供されてもよい。

（１）情報処理装置であって、投影画像生成部と、復号部と、位相特定部とを備え、前記投影画像生成部は、予め定めたパターン情報に基づいて投影画像を生成し、該生成した投影画像を投影装置に出力可能に構成され、前記投影画像は、クロックパターンと、前記パターン情報に基づくデータパターンとを含み、前記復号部は、撮像装置により対象物を撮像した撮像画像に基づいて前記データパターンを値に復号可能に構成され、前記撮像画像は、前記投影装置により前記投影画像が投影された状態の前記対象物を撮影した画像であり、前記位相特定部は、前記値と前記パターン情報とに基づいて、前記対象物の各部の位相を特定可能に構成される情報処理装置。

（２）上記（１）に記載の情報処理装置において、前記投影画像は、前記クロックパターンと前記データパターンとが、隣接して配置される情報処理装置。

（３）上記（２）に記載の情報処理装置において、前記投影画像は、前記クロックパターンの並びと、前記データパターンの並びとが交互に配置される情報処理装置。

（４）上記（３）に記載の情報処理装置において、前記復号部は、前記データパターンの第１の並びの一部と、前記データパターンの第２の並びの一部とに基づいて、前記データパターンを値に復号する情報処理装置。

（５）上記（２）又は（３）に記載の情報処理装置において、前記クロックパターン及び前記データパターンは、前記投影画像の行又は列として構成され、前記行又は前記列のそれぞれの幅は、前記投影画像の中心から離れるほど広くなる情報処理装置。

（６）上記（１）乃至（５）のいずれか１項に記載の情報処理装置において、前記クロックパターンは、クロックの反転箇所を含み、前記反転箇所のクロックパターン又は該反転箇所に隣接するデータパターンの幅が他と異なる情報処理装置。

（７）上記（１）乃至（６）のいずれか１項に記載の情報処理装置において、前記クロックパターン及び前記データパターンは、明と暗との二値で構成される情報処理装置。

（８）上記（７）に記載の情報処理装置において、前記投影画像生成部は、第１の投影画像と第２の投影画像とを生成し、前記第２の投影画像は、前記第１の投影画像の明暗を反転させた画像であり、前記復号部は、前記第１の投影画像が投影された状態の前記対象物を撮影した画像と、前記第２の投影画像が投影された状態の前記対象物を撮影した画像との差分に基づいて、前記データパターンを前記値に復号する情報処理装置。

（９）上記（１）乃至（６）のいずれか１項に記載の情報処理装置において、前記クロックパターン及び前記データパターンは、階調による多値で構成される情報処理装置。

（１０）上記（１）乃至（９）のいずれか１項に記載の情報処理装置において、画像処理部を備え、前記画像処理部は、前記撮像画像の歪を補正する情報処理装置。

（１１）上記（１）乃至（１０）のいずれか１項に記載の情報処理装置において、前記データパターンは、デブルーイントーラス配列である情報処理装置。

（１２）情報処理装置であって、投影画像生成部を備え、前記投影画像生成部は、予め定めたパターン情報に基づいて投影画像を生成し、該生成した投影画像を投影装置に出力可能に構成され、前記投影画像は、クロックパターンと、前記パターン情報に基づくデータパターンとを含み、前記クロックパターンと前記データパターンとが、隣接して配置される情報処理装置。

（１３）情報処理装置であって、復号部と、位相特定部とを備え、前記復号部は、撮像装置により対象物を撮像した撮像画像に基づいてデータパターンを値に復号可能に構成され、前記撮像画像は、予め定めたパターン情報に基づいて生成された投影画像が投影された状態の前記対象物を撮影した画像であり、前記投影画像は、クロックパターンと、前記パターン情報に基づくデータパターンとを含み、前記位相特定部は、前記値と前記パターン情報とに基づいて、前記対象物の各部の位相を特定可能に構成される情報処理装置。

（１４）コンピュータを情報処理装置として動作させるプログラムであって、コンピュータを上記（１）乃至（１３）のいずれか１項に記載の情報処理装置として機能させるプログラム。

（１５）情報を表すパターンコードであって、クロックパターンと、予め定めたパターン情報に基づくデータパターンとを含み、前記クロックパターンと前記データパターンとが、隣接して配置されるパターンコード。

（１６）上記（１５）に記載のパターンコードにおいて、前記クロックパターンの並びと、前記データパターンの並びとが交互に配置されるパターンコード。

（１７）上記（１６）に記載のパターンコードにおいて、前記データパターンの第１の並びの一部と、前記データパターンの第２の並びの一部とで、ひとつの値に対応する符号を構成するパターンコード。

（１８）上記（１５）乃至（１７）のいずれか１項に記載のパターンコードにおいて、構造化光法に用いられるパターンコード。
　もちろん、この限りではない。

１　　　：情報処理装置
２　　　：投影装置
３　　　：撮像装置
１１　　　：処理部
１２　　　：記憶部
１３　　　：一時記憶部
１４　　　：外部装置接続部
１５　　　：通信部
１６　　　：通信バス
１００　　：システム
１０１　　：パターン情報管理部
１０２　　：投影画像生成部
１０３　　：画像処理部
１０４　　：復号部
１０５　　：位相特定部
２００　　：対象物
Ｂ１１　　：パターンブロック
Ｂ１２　　：パターンブロック
Ｂ１３　　：パターンブロック
Ｂ２１　　：パターンブロック
ＣＬＫ　　：クロックパターン行
Ｄ　　　　：破線
Ｉ１　　　：反転箇所
Ｉ２　　　：反転箇所
Ｌ１　　　：行
Ｌ２　　　：行
Ｌ３　　　：行
Ｌ４　　　：行
Ｌ５　　　：行
Ｌ６　　　：行
Ｌ７　　　：行
ＬＳＢ　　：下位ビット列
ＭＳＢ　　：上位ビット列
Ｐ　　　　：パターン
ＰＤ　　　：差分
Ｐ１　　　：パターン
Ｐ２　　　：パターン
Ｐ３　　　：パターン
Ｐｎ　　　：パターン
Ｐｎ＋１　：パターン
Ｐｎ＋２　：パターン
Ｐｎ＋３　：パターン
Ｐ２ｎ　　：パターン
ＰＰ　　　：パターン部品
ＰＰＲ　　：パターン部品
ＰＲ　　　：パターン
ＶＰ　　　：パターン

Claims

　情報処理装置であって、
　投影画像生成部と、復号部と、位相特定部とを備え、
　前記投影画像生成部は、予め定めたパターン情報に基づいて投影画像を生成し、該生成した投影画像を投影装置に出力可能に構成され、
　　前記投影画像は、クロックパターンと、前記パターン情報に基づくデータパターンとを含み、
　前記復号部は、撮像装置により対象物を撮像した撮像画像に基づいて前記データパターンを値に復号可能に構成され、
　　前記撮像画像は、前記投影装置により前記投影画像が投影された状態の前記対象物を撮影した画像であり、
　前記位相特定部は、前記値と前記パターン情報とに基づいて、前記対象物の各部の位相を特定可能に構成される
　情報処理装置。
　請求項１に記載の情報処理装置において、
　前記投影画像は、前記クロックパターンと前記データパターンとが、隣接して配置される
　情報処理装置。
　請求項２に記載の情報処理装置において、
　前記投影画像は、前記クロックパターンの並びと、前記データパターンの並びとが交互に配置される
　情報処理装置。
　請求項３に記載の情報処理装置において、
　前記復号部は、前記データパターンの第１の並びの一部と、前記データパターンの第２の並びの一部とに基づいて、前記データパターンを値に復号する
　情報処理装置。
　請求項２又は請求項３に記載の情報処理装置において、
　前記クロックパターン及び前記データパターンは、前記投影画像の行又は列として構成され、
　前記行又は前記列のそれぞれの幅は、前記投影画像の中心から離れるほど広くなる
　情報処理装置。
　請求項１乃至請求項５のいずれか１項に記載の情報処理装置において、
　前記クロックパターンは、クロックの反転箇所を含み、
　前記反転箇所のクロックパターン又は該反転箇所に隣接するデータパターンの幅が他と異なる
　情報処理装置。
　請求項１乃至請求項６のいずれか１項に記載の情報処理装置において、
　前記クロックパターン及び前記データパターンは、明と暗との二値で構成される
　情報処理装置。
　請求項７に記載の情報処理装置において、
　前記投影画像生成部は、第１の投影画像と第２の投影画像とを生成し、
　　前記第２の投影画像は、前記第１の投影画像の明暗を反転させた画像であり、
　前記復号部は、前記第１の投影画像が投影された状態の前記対象物を撮影した画像と、前記第２の投影画像が投影された状態の前記対象物を撮影した画像との差分に基づいて、前記データパターンを前記値に復号する
　情報処理装置。
　請求項１乃至請求項６のいずれか１項に記載の情報処理装置において、
　前記クロックパターン及び前記データパターンは、階調による多値で構成される
　情報処理装置。
　請求項１乃至請求項９のいずれか１項に記載の情報処理装置において、
　画像処理部を備え、
　前記画像処理部は、前記撮像画像の歪を補正する
　情報処理装置。
　請求項１乃至請求項１０のいずれか１項に記載の情報処理装置において、
　前記データパターンは、デブルーイントーラス配列である
　情報処理装置。
　情報処理装置であって、
　投影画像生成部を備え、
　前記投影画像生成部は、予め定めたパターン情報に基づいて投影画像を生成し、該生成した投影画像を投影装置に出力可能に構成され、
　　前記投影画像は、クロックパターンと、前記パターン情報に基づくデータパターンとを含み、前記クロックパターンと前記データパターンとが、隣接して配置される
　情報処理装置。
　情報処理装置であって、
　復号部と、位相特定部とを備え、
　前記復号部は、撮像装置により対象物を撮像した撮像画像に基づいてデータパターンを値に復号可能に構成され、
　　前記撮像画像は、予め定めたパターン情報に基づいて生成された投影画像が投影された状態の前記対象物を撮影した画像であり、
　　前記投影画像は、クロックパターンと、前記パターン情報に基づくデータパターンとを含み、
　前記位相特定部は、前記値と前記パターン情報とに基づいて、前記対象物の各部の位相を特定可能に構成される
　情報処理装置。
　コンピュータを情報処理装置として動作させるプログラムであって、
　コンピュータを請求項１乃至請求項１３のいずれか１項に記載の情報処理装置として機能させる
　プログラム。
　情報を表すパターンコードであって、
　クロックパターンと、予め定めたパターン情報に基づくデータパターンとを含み、
　前記クロックパターンと前記データパターンとが、隣接して配置される
　パターンコード。
　請求項１５に記載のパターンコードにおいて、
　前記クロックパターンの並びと、前記データパターンの並びとが交互に配置される
　パターンコード。
　請求項１６に記載のパターンコードにおいて、
　前記データパターンの第１の並びの一部と、前記データパターンの第２の並びの一部とで、ひとつの値に対応する符号を構成する
　パターンコード。
　請求項１５乃至請求項１７のいずれか１項に記載のパターンコードにおいて、
　構造化光法に用いられる
　パターンコード。