JP3540321B2 - イメージ取得システムによって得られた三次元測定値を相関させるための方法及びそれを実現するための装置 - Google Patents

Description

技術分野
この発明は、光学式イメージ取得システムの補助で行われる、一般的な意味での物体を三次元測定する技術に関し、詳しくは、この発明は縞投影技術と、物体上の縞の変形を解析を用いた測定方法に関する。
この発明は、人体の各部を測定し、測定した人体の各部の部分的あるいは全体的な複製を得ることを目的とする分野において特に利点がある。
好ましい適用分野におけるこの発明の目的は、人の胴体を三次元的に測定して、整形外科のコルセットを自動製造することであるが、それに限定されるわけではない。
従来の技術
カメラなどのイメージ取得システムの補助による測定においては、多くの適用において、カメラの視角が、イメージ取得しようとする物体の表面をカバーするのに十分でない状況がしばしば起きる。この問題を解決するために、様々な写真を取って、これらのイメージを互いに相関させることが行われている。
イメージを相関させるための第１の技術がフランス国特許出願第88−15,483号で提案されている。この技術は、物体の上にマーカを固定する段階と、写真を取るときにカメラを物体に対して移動させる段階とを有している。実際には、物体の上にマーカを設置するのは、特にこの物体が人の一部であるような場合には実施が困難な作業であるということがわかっている。特にこうしたタイプの用途においては、写真を取るときに人が動くために、測定に誤差が生じる可能性のあることに注目すべきである。それに加えて、この方法の大原則は、マーカが常にカメラから見えることが必要とされることであり、これによって写真を取る視野が制限される。従って、この技術においては、特に、360゜にわたる完全な形を復元することが不可能である。
物体の上にマーカを設定するという欠点を克服するために、イメージを相関させるための別の技術が提案されており、この技術は、互いに対する位置が既知であり予め決められている複数のカメラを使用することからなる。この方法では、寸法読み取りが必要であり、これは時間が掛かり、実施が困難で面倒なことがわかっている。それに加えて、測定の精度を維持するためには、カメラのサポートが非常に頑丈で堅固でなければならない。
従ってこの発明の目的は、物体の上のマーカが不要で、イメージ取得システムの間で寸法読み取りを必要としない利点をもたらす、少なくとも二つの光学式イメージ取得システムによって得られた三次元測定値を相関させるための方法を提供して、これにより従来の技術の欠点を克服することにある。
発明の概要
この目的を達成するために、この発明の相関方法は、校正段階に対して以下の段階を有している。
−球の中心を通る軸とは異なる軸のまわりに回転するように取り付けられている標準球を作製する。
−標準球を順々に回転させることによって、二つの光学式イメージ取得システムによって同時に見ることのできる少なくとも第１及び第２の測定位置に標準球を位置させる。
−標準球を回転させることによって、少なくとも第１の光学式イメージ取得システムから見え、しかも第１及び第２の測定位置とは異なる少なくとも一つの測定位置に標準球を位置させる。
−標準球を回転させることによって、少なくとも第２の光学式イメージ取得システムから見え、しかも第１及び第２の測定位置とは異なる少なくとも一つの測定位置へ標準球を位置させる。
−測定位置の各々に対して、各光学式イメージ取得システムから見た標準球の球表面を測定する。
−測定位置の各々に対して、各光学式イメージ取得システムから見た標準球の球表面の中心を決定し、第１の光学式イメージ取得システムから見た第１の座標系と第２の光学式イメージ取得システムから見た第２の座標系において同じ基準座標系を表すことができるようにする。
−第１と第２の座標系の間の変換行列を計算することによって、第１と第２の光学式イメージ取得システムの測定値の間を相関させる。
このタイプの方法によれば、少なくとも二つの光学式イメージ取得システムを校正することが可能であり、これらのシステムによって測定された様々な面を単一の座標系において連結することが可能になる。
この発明の別の目的は、照明方向に応じて物体の凹凸によって投影された影の影響を排除することによって、観測された面の復元を改良することである。
この目的を達成するために、この発明の方法は以下の段階を有している。
−少なくとも一つの光学式イメージ取得システムに対して、それぞれカメラと縞投影機によって校正されている二つのセンサを使用する。
−二つのセンサに共通の物理的な基準を提供する面を利用することによって、二つのセンサの間を相関させる。
他の様々な特性が、添付図面を参照して行う以下の説明から明かになろう。添付図面はこの発明の実施の形態やその実現方法を示した例であり、発明を限定するものではない。
【図面の簡単な説明】
図１は、この発明の方法を実現するための装置を示す、上側からの断面図である。
図２は、図１のｘ−ｘ線にほぼ沿った断面正面図である。
図3A〜3Dは、この発明による方法の特徴的な段階を示す概略図である。
図４は、図２と同様な正面図であり、この方法による方法の特徴を実現することが可能な装置を示すものである。
図5A〜図5Cはテストパターンを示す図であり、これらのテストパターンの各々は、透過率及び／もしくはピッチに関して特定の特性を有しており、この発明において使用される縞投影機に適合したものである。
発明の実施の形態
図１に示されているように、装置１は、少なくとも第１の光学式イメージ取得システムＩと第２の光学式イメージ取得システムIIの補助で、一般的な意味での物体、特に人の胴体の三次元測定を行うように構成されている。各光学式イメージ取得システムは、物体を表す一組の点を提供する機能を有している。これらの点は、光学式イメージ取得システムと連結された三次元座標系において次元的に制御されている。簡単化し、わかりやすくするために、光学式イメージ取得システムは以下の説明では取得システムと呼ぶことにする。図示した例においては、この装置は４つの取得システムＩ〜IVを有している。これらの取得システム装置は各対の間が90゜ずれていて、周辺全体にわたって物体を測定できるようになっている。各取得システムＩ〜IVは、取得システムＩ〜IVの光軸01〜04の交点の近傍の領域Ｚの内側に設置された物体の異なる部分を測定する。取得システムＩ〜IVは制御及び処理用のユニット（図示しない）へ接続されており、このユニットは測定を制御し、測定値を取り込んで、イメージを互いにマッチングさせて物体を復元するように構成されている。
この発明の目的は、種々の取得システムＩ〜IVの間で校正を行い、取得システムから見た各面を一体に連結する方法を提供することである。この発明による方法の理解を容易にするために、以下において第１及び第２の取得システムのマッチングについて説明する。もちろん、この方法は隣接する取得システムの各対に対して様々なステップを繰り返すことによって実現される。
取得システムを校正するために、図２に示されているように、この方法はアーム５に支持された標準球４を利用している。アーム５はサポート６の上で回転軸７のまわりに回転できるように取り付けられている。回転軸７は標準球４の中心を通る軸とは異なっている。図3Aからより正確にわかるように、標準球４は標準球４が取得システムＩ及びIIによって同時に見える第１の位置ａに位置される。簡単のために、標準球４は第１の取得システムＩの光軸01のほぼ中心に来るような位置ａに位置される。次に各取得システムＩ及びIIにより標準球４の見えている部分である球表面を測定する。次にこの方法では、便宜的な計算方法を用いて、それぞれ取得システムＩ及びIIから見える標準球の中心S^I ₁、S^II ₀を決定する。
この発明の方法は、回転軸７のまわりに回転することによって、標準球が二つの取得システムＩ及びIIによって同時に見ることができる第２の測定位置ｂに標準球４を位置させる段階を有する（図3B参照）。簡単のために、位置ｂにおいて、標準球４を取得システムＩの光軸02上のほぼ中心に位置させる。位置ｂにおいて、取得システムＩ及びIIにより標準球４の見える部分である球表面を測定する。この方法は、次にそれぞれ取得システムＩ及びIIから見える標準球の中心S^I ₂、S^II ₁を決定する。
この発明による方法は、回転軸７のまわりに回転して標準球４を回転することによって、標準球４を少なくとも第１の取得システムＩから見え、かつ位置ａ、ｂとは異なる第３の位置ｃに設置する段階を有する。図3Cに示されている例においては、位置ｃは第１の取得システムＩの光軸01に関して位置ｂと対称である。取得システムＩから見える球表面を測定し、取得システムから見える標準球４の中心S^I ₀を決定する。
図3Dからわかるように、標準球４は、少なくとも第２の取得システムIIから球が見えかつ位置ａ、ｂとは異なる位置ｄに設置される。図面に示されている例においては、位置ｄにおける標準球４の配置は、取得システムIIの光軸02に関して、位置ａとほぼ対称な位置に相当している。次に、第２の取得システムIIから見える標準球４の球表面を測定する。この方法では次に、取得システムIIから見える標準球の中心S^II ₂を決定する。上述した説明から理解されるように、取得システムＩ及びIIの各々は、同じ平面内の同じ円上に位置するそれぞれ三つの点S^I ₀、S^I ₁、S^I ₂及びS^II ₀、S^II ₁、S^II ₂をそれぞれ決定できる。なぜなら、標準球４は固定された偏心回転軸７のまわりに順々に回転されるからである。
この方法は、それ自身は周知の適当な方法によって点S^I ₀、S^I ₁、S^I ₂を通る円の中心A^Iを計算する段階を有する。点A^Iは、標準球４の回転軸７と、球の中心で決まる面との交点として決定される。

。この座標系は座標系の中心をなす原点A^Iと、下記のような三つの単位ベクトル

同様に、点S^II ₀,S^II ₁,S^II ₂を通る円の中心A^IIを計算することができる。次に座

標準球の様々な位置によって具体化され、異なる二つの座標R_I,R_IIで表現される基準座標系を知ることによって、第１の座標系から第２の座標系への変換行列を数学的に計算することが、従って第１の座標系で測定された任意の点を第２の座標系で表すことやその逆が可能になる。この変換行列によって、取得システムＩ、IIによって取り込まれた物体の測定値を単一の座標系において表すことができるようになる。
上記のように、この発明の方法は、取得システムを校正する段階が設けられており、一旦この校正を実行すれば、物体の上にマーカを設置する必要なく、物体の凹凸を測定することが可能である。唯一の制約は、測定しようとする物体を取得システムの視野によって境界が決められる領域Ｚの中に配置するということに関するものである。また、このタイプの校正方法によれば、取得システムの相対的な配置を正確に知ることができ、実施がいつもは困難な寸法読み取りを行う必要がない。
もちろん、この校正方法は任意の数の取得システムの対に拡張することができる。また、この校正方法は取得システムが標準球を見る角度に関係なく、見えている面が常に空間中の一点すなわちその中心に関連する球表面である標準球を用いる限り、所定の面を基準にして、物理的な点を比較的容易に決定することができるという利点がある。この発明による方法は、校正に必要なすべての点を同時に得られれば、標準の物体を決定しなくてもよいという利点がある。それに加えて、この方法では校正方法に必要な点の正確な位置を知る必要がない。
実際に、この発明による校正方法は実施が比較的容易である。取得システムＩ、IIを相関させるためには、以下の手順が考えられる。
−標準球４を位置ｃに配置し、第１の取得システムＩを用いて測定値を取得し、第１の取得システムＩに関する球の中心S^I ₀を決定する。
−所定の方向で、例えば反時計方向に、標準球４を1/4回転だけ回転させて位置ａに位置させ、第１及び第２の取得システムＩ、IIを用いて測定値を取得し、取得システムＩ、IIのそれぞれから見た中心S^I ₁、S^II ₀を決定する。
−標準球４を反時計方向に1/4回転だけ回転して位置ｂに位置させ、第１及び第２の取得システムＩ、IIを用いて測定値を取得し、取得システムＩ、IIのそれぞれから見た中心S^I ₂、S^II ₁を決定する。
−標準球４を反時計方向に1/4回転だけ回転させて位置ｄに位置させ、第２の取得システムIIを用いて測定値を取得し、第２の取得システムIIから見た中心S^II ₂を決定する。
この例においては、各々が取得システムのうちの一つからしか見えない二つの異なる位置ｃ、ｄの選択がなされている。もちろん、少なくとも第１の取得システムから見える測定位置ｃに対して、また少なくとも第２の取得システムから見える測定位置ｄに対して、二つの取得システムから同時に見える単一の測定位置を選択することも考えられる。この仮定においては、校正段階を行うには、位置ａと位置ｂの間の第３の位置に標準球を位置させるだけで十分である。
取得システムＩ〜IVが各々センサからなり、各センサの像が隣接するカメラの像と関連付けられるようにすることも考えるべきである。それに制限されるわけではないが、一つの実施の形態においては、例えば、少なくとも一つの取得システム、例えば各取得システムＩ〜IVは、カメラと投影機から各々構成され二つのセンサI s〜IV s、I i〜IV iによって構成される。投影機は適当なテストパターンから生じる縞を発生するものであり、以下の説明では縞投影機と称する。
好ましい実施の形態においては、同じ取得システムの二つのセンサに対して共通のカメラが利用される。つまり、図４からより正確にわかるように、各センサI s〜IV sはカメラI c〜IV cと、いわゆる上側縞投影機I ps〜IV psとからなっている。一方、各センサI i〜IV iはカメラI c〜IV cと、いわゆる下側縞投影機I pi〜IV piとからなっている。図４から明かなように、取得システムＩの投影機I psとI piは、直立のコラムすなわちサポート10₁に固定されており、同サポート10₁に同様に固定されたカメラI cに対してほぼ対称な面内に配置されている。各投影機I ps、I piは、それぞれ所定の距離Vps、VpiだけカメラI cから離間されている。取得システムII〜IVは、取得システムＩと同様に構成されており、それぞれ直立部10₂〜10₄に取り付けられている。従って装置１は上部及び下部の横片によって互いに連結された４つのコラム10₁〜10₄と、ベース11とを有しており、ベース11の上に測定しようとする物体２が設置される。測定用の装置１は、４つのコラム10₁〜10₄から堅固で一体化された構造からなっており、コラムは各々取得システムＩ〜IVをしっかりと支持しており、互いに強固に固定されている。
カメラ／投影機の対I s〜IV s、I i〜IV iのそれぞれは、自律センサを構成し、この自律センサはそれ自身の校正基準と、それ自身の数学的基準を有し、それで測定値が表される。これらの数学的な基準はカメラ投影機の各対に対して平行２平面法（technique of two parallel planes）によって決定される。この方法はそれ自身周知のものであり、特にケー・ディー・グレンバン（Gremban K.D.）、シー・イー・ソルペ（Thorpe C.E.）及びティー・カナーデ（Kanade T.）による論文、線形方程式の系を利用した幾何学的カメラ校正（Geometric Camera Calibration Using System of Linear Equatio），ロボティック及びオートメーションに関する国際会議の電気電子技術者協会会報（Pro−ceedings IEEE of Int.Conference on Robotics and Automation），第947〜951頁（1988）［sic］に記載されている。この校正方法は、一つのカメラI c〜IV cからの距離がLcであり、投影機I ps〜IV ps、I pi〜IV piからの距離がそれぞれLps、Lpiである基準面を限定するパネル15を配置する段階を有している。同じ取得システムに属するセンサの二つの基準をマッチングさせるために、カメラ／投影機の二つの対によって確認できる共通の物理的な座標系が便宜的に以下で定義される。
−カメラの光軸と基準面との交点として定義される原点。

−基準面内に位置し、カメラの感光性セルからなる行と列に平行な二つの直交ベ

。
各取得システムＩ〜IVを形成する二つのベースの正確な座標付けを行うため、一方は対I i〜IV iの校正に関係し他方が対I s〜IV sの校正と関係する基準面は互いに一致するか、平行であるか、あるいは正確に既知の距離だけずれていなければならない。
幾何学的なモデルを簡単化するために、カメラの対物レンズの軸を基準面に対して直角に設定する。
この方法は、取得システムＩに対しては、パネル15の上に形成され、例えば投影機I psなどの投影機の一つによって投影される縞からなっているイメージをまず取得する段階と、パネルの上に形成され、例えば投影機I piなどの他の投影機によって投影される縞からなっているイメージを取得する段階とを有する。この方法は次にパネルを基準面に対して距離Pfだけ移動させる段階を有する。この方法は次に、パネル15の上に形成され、例えば投影機I ps）などの投影機の一つによって投影される縞からなっているイメージをまず取得する段階と、次にパネル15の上に形成され、他の投影機すなわち投影機I piによって投影される縞からなっているイメージを取得する段階とを有する。上述した操作を取得システムII〜IVに対して繰り返す。
カメラは視野の深さが距離Pfでカメラに最も近いシャープな面が基準面になるように焦点を合わされることに留意すべきである。同様に、投影機の対物レンズの視野の深さが距離Pfでカメラに最も近い面が基準面になるように焦点があわされる。カメラと基準面との間の距離Lcと、基準面と移動した面との間の距離Pfが正確に測定される。さらに、基準面にに投影された縞はカメラの中の感光性セルの行と平行である。
また、距離Lpi、Lps、Vpi、Vpsは、上述した２平面法によって抽出される［sic］。パラメータLp、Vp、Lcを決定し、カメラの画素のピッチを決めるパラメータPccdの値を知ることによって、各センサを校正することが可能になる。実際、基準面に対する空間中の任意の点Miの高さΔZiは下記の形式の関数Ｆによってモデル化できる。
ΔZi＝F Lc,Lp,Vp,Pccd（ΔΦｉ）
量ΔZiは測定する物体２の点Miの高さ、すなわち、点Miから基準面までの垂直距離である。量ΔΦｉは、カメラから見た点Miと接触している縞のシフトである。このシフトは、基準面上の同様な縞の位置に対して、基準面内で規定される。基準面に投影された各縞は、それが移動後の面へ達したとき、デジタル化されたイメージの上でΔΦｉだけ位相がシフトする。各位相シフトΔΦｉには光線ｉに関係なく一定の高さΔZiに対応する。なぜなら、シフト後の面は基準面に平行だからである。多くの（ΔΦｉ、ΔZi）の組をもとにして、パラメータLp、Vpを関数Ｆに適用して適当な計算方法で最適化することができる。
各取得システムに対して２つのセンサを使用することによって、観測した面の復元を改善し、照明方向の応じて凹凸によって投影される陰の影響を排除することができる。二つのセンサに対して共通のカメラを使用することによって、二つのセンサの座標系の物理的な座標付けが簡単にできる。
上述した実施の形態においては、縞投影機I ps〜IV ps、I pi〜IV piは基準面の垂線に対して傾斜していることに注意すべきである。この結果、照明は基準面内のある点と別の点では大きく変わる。従って、投影機が大きく傾くことによる物体への照明の変化をバランスさせるために、図5Aに示されているようなテストパターン16が作成される。このテストパターン16の透過率は、幾何学的な状況に適った法則に従って変化する。同様に、縞投影機の傾斜によってテストパターンの見かけのピッチが変化する。この投影されるピッチの変動を補償するために、図5Bに示されているようなテストパターン17を作成する。このテストパターン17のピッチは幾何学的な状況に適った法則に従う。こうした構成によれば、横方向（transverse field）におけるセンサの分解能をバランスさせることが可能である。好ましい実施の形態においては、各縞投影機には、テストパターン16、17の特性を組み合わせた、すなわち可変ピッチと可変光学的透過率を有する単一のテストパターン18（図４及び図5C）を備えている。
産業上の利用可能性
この発明の主題は、一般的な意味での物体を光学測定し、物体を複製するような分野に利用される。この発明の特に有利な用途は人体の各部の測定に関する用途である。

Claims (14)

1. 少なくとも第１の光学式イメージ取得システム（Ｉ）と第２の光学式イメージ取得システム（II）とによって取得された三次元測定値を相関させるための方法であって、校正段階に対して、
   −標準球（４）の中心を通る軸とは異なる回転軸（７）のまわりに回転するように取り付けれれる標準球（４）を作製する段階と、
   −標準球（４）を順々に回転させることによって、二つの光学式イメージ取得システムによって同時に見ることのできる少なくとも第１の測定位置（ａ）と第２の測定位置（ｂ）に標準球（４）を位置させる段階と、
   −標準球を回転させることによって、少なくとも第１の光学式イメージ取得システム（Ｉ）から見え、かつ第１及び第２の測定位置とは異なる少なくとも一つの測定位置（ｃ）に標準球を位置させる段階と、
   −標準球を回転させることによって、少なくとも第２の光学式イメージ取得システム（II）から見え、かつ第１及び第２の測定位置とは異なる少なくとも一つの測定位置（ｄ）に標準球を位置させる段階と、
   −測定位置の各々に対して、各光学式イメージ取得システムから見た標準球の球表面を測定する段階と、
   −測定位置の各々に対して、各光学式イメージ取得システムから見た標準球の中心を決定することによって、前記第１の光学式イメージ取得システムから見た第１の座標系と第２の光学式イメージ取得システムから見た第２の座標系とにおいて同じ基準座標系を表すことを可能にする段階と、
   −第１と第２の座標系の間の変換行列を計算することによって、第１と第２の光学式イメージ取得システムの測定値の間を相関させる段階と、
   を有する方法。
2. 少なくとも前記第１の光学式イメージ取得システムによって見える測定位置（ｃ）と、少なくとも前記第２の光学式イメージ取得システムによって見える測定位置（ｄ）とに対して、これら２つの光学式イメージ取得システムによって同時に見えるただ一つの測定位置を選択する請求項１記載の方法。
3. 少なくとも前記第１の光学式イメージ取得システムによって見える前記測定位置（ｃ）と、少なくとも前記第２の光学式イメージ取得システムによって見える前記測定位置（ｄ）とに対して、これらの光学式イメージ取得システムの一方によって各々が見える２つの異なる測定位置を選択する請求項１記載の方法。
4. 光学式イメージ取得システムの一方によって各々が見える二つの異なる測定位置に対して、当該システムの光軸に関して標準球がとる位置とほぼ対称でかつ２つの光学式イメージ取得システムから見える位置に標準球（４）を位置させる請求項３記載の方法。
5. 前記２つの光学式イメージ取得システムによって同時に見える第１の測定位置（ａ）と第２の測定位置（ｂ）に対して、標準球を、ほぼそれぞれ第１の光学式イメージ取得システム（Ｉ）と第２の光学式イメージ取得システム（II）の光軸上に位置させる請求項１記載の方法。
6. 少なくとも一つの光学式イメージ取得システム（Ｉ〜IV）に対して、それぞれカメラ（I c〜IV c）と縞投影機（I ps〜IV ps、I pi〜IV pi）によって構成される二つのセンサ（I s〜IV s、I i〜IV i）を利用し、２つのセンサに共通の物理的な基準を限定する面を利用することによって、二つのセンサ間を相関させる請求項１記載の方法。
7. 前記二つのセンサに対して共通のカメラ（I c〜IV c）を選択する請求項６記載の方法。
8. 前記２つのセンサに共通な物理的基準を限定する面を利用して２つのセンサの間を相関させるために、
   −カメラからの距離が（Lc）で投影機からの距離が（Lpi、Lps）のところに基準面を形成するパネル（15）を設置し、
   −パネルにつくられ、投影機の一方によって投影された縞からなる、イメージを得、
   −パネルにつくられ、投影機の他方によって投影された縞からなる、イメージを得、
   −パネルを基準面に対して距離（Pf）だけ移動させ、
   −パネルにつくられ、投影機の一方によって投影された縞からなる、イメージを得、
   −パネルにつくられ、投影機の他方によって投影された縞からなる、イメージを得、
   −カメラからと、投影機からの基準面の距離を決定して、二つのセンサの間を相関させる、
   請求項６記載の方法。
9. 各投影機（I ps〜IV ps、I pi〜IV pi）は、透過率が幾何学的な状況に適った法則に従って変化するテストパターン（16）を備えており、縞が投影されている表面に対する、投影機の傾きによる照明の変動をバランスさせるようになっている請求項６記載の方法。
10. 各投影機（I ps〜IV ps、I pi〜IV pi）は、ピッチが幾何学的な状況に適った法則に従うテストパターン（17）を備えており、投影されたピッチの変動を補正するようになっている請求項６記載の方法。
11. 各投影機（I ps〜IV ps、I pi〜IV pi）が、テストパターン（18）を備えており、このテストパターンが可変ピッチと可変光学透過率を有している請求項６記載の方法。
12. 制御及び処理用のユニットによって互いに接続されている少なくとも第１の光学式イメージ取得システム（Ｉ）と第２の光学式イメージ取得システム（II）によって取得された三次元測定値を相関させるための装置であって、
    請求項１に記載されている校正段階を実行するために、アーム（５）に取り付けられた標準球（４）が設けられており、この標準球（４）が球の中心を通る軸とは異なる回転軸（７）のまわりに自由回転可能に取り付けられている装置。
13. 光学式イメージ取得システムとしてカメラ（I c〜IV c）を有しており、このカメラの両側において、コラムを形成するサポート（10₁〜10₄）にほぼ対称に２つの縞投影機（I ps〜IV ps、I pi〜IV pi）が取り付けられている請求項12記載の装置。
14. 前記光学式イメージ取得システムのサポート（10₁〜10₄）が一体に固定されていて、堅固な測定構造を形成している請求項13記載の装置。

Images