JP2005338977A - 立体画像処理システム - Google Patents

Abstract

【課題】 立体画像撮影および画像処理を行なう立体画像処理システムにおいて、簡単安価なハードウェア構成により、対象物の立体モデルや３次元画像データを正確に得る。
【解決手段】 被写体Ｈの中心位置とほぼ一致した回転軸Ａ上に回動支持されたアーム１７の先端にステレオカメラ２０を装着し、パルスモータ１５によりアーム１７を回転駆動する。アーム１７の回転駆動およびステレオカメラ２０の撮影処理はＰＣ本体４３を含む制御システム４０により制御する。撮影においては、アーム１７を回動させてステレオカメラ２０を複数の撮影位置に移動させ、各撮影位置においてステレオカメラ２０により被写体Ｈのステレオ画像を撮影させる。
【選択図】 図１

Description

本発明は、被写体の立体画像撮影および画像処理を行なう立体画像処理システムに関するものである。

従来より、それぞれ複数の光軸の異なる撮影光学系を介して撮影された画像から、被写体の位置や座標を測定する技術が知られている（たとえば下記の特許文献１）。この種の撮影方式はステレオ撮影あるいは立体撮影などと呼ばれ、また、用いられるカメラはステレオカメラや立体カメラなどと呼ばれることがある。
特開平１１−３７７２０号公報

さらに被写体の３次元画像や立体モデルを得るなどの目的で、複数（２台に限らない）のカメラを用いて異なる撮影位置から複数回の撮影を行なう技術が知られている。また、この複数回の撮影を行なうため、多数のカメラを所定の位置に固定し、その中央に被写体を置いて撮影を行なうシステムも考えられている。しかしながら、この複数の異なる撮影位置を得るために多数のカメラを配置する構造は装置がコスト高で大型化しやすいという問題がある。

一方、既に医療分野においてはＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）スキャンやＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）診断装置などを用いて患者の骨格や内蔵の立体モデルや３次元画像を得る技術が知られているが、これらの装置は極めて高価であり、また、これらの装置は主に体の内部の状態を判断できるよう開発されており、体の外側の立体モデルや３次元画像の取得には適していない。

そこで、医療分野、美容分野などにおいて、対象物の立体モデルや３次元画像を安価かつ正確に得られる技術が求められている。たとえば患者の体の所定部位、頭部などの対象物の立体モデルや３次元画像を医療／美容などの現場で安価かつ正確に得られる技術があれば好適である。たとえば、歯科医療の分野においては、立体撮影により患者の現在の顎の外観の状態を立体モデルや３次元画像データとして取得し、これらのデータから出発して所定の歯科医療（たとえば義歯の装填）を行なった場合どのような改善が得られるかをシミュレーションしたりできれば好適である。あるいは、立体撮影により得た対象物（患者）の外観に係る立体モデルや３次元画像データとＣＴやＭＲＩから取得した対象物（患者）の骨格の立体モデルや３次元画像データとの差分を取ることなどにより、対象物（患者）の筋肉や歯など皮膚と骨格の間に存在する組織の形状を得、あるいはさらに所定の医療により皮膚と骨格の間に存在する組織の形状をどのように変化させることができるかなどをシミュレーションしたりできると好ましい。

本発明の課題は、上記の問題に鑑み、立体画像撮影および画像処理を行なう立体画像処理システムにおいて、簡単安価なハードウェア構成により、対象物の立体モデルや３次元画像データを正確に得ることができるようにすることにある。

本発明は、上記課題を解決するため、被写体の中心位置とほぼ一致した回転軸上に回動支持されたアームと、前記アーム先端に装着されたステレオカメラと、前記アームの回転駆動を行なう駆動手段と、前記駆動手段を制御し、前記アームを回動させて前記ステレオカメラを複数の撮影位置に移動させ、各撮影位置において前記ステレオカメラにより被写体のステレオ画像を撮影させる制御手段を有する構成を採用した。

上記構成によれば、被写体の中心位置とほぼ一致した回転軸上に回動支持されたアーム先端に装着されたステレオカメラを回動させて複数の撮影位置に移動させ、各撮影位置において被写体のステレオ画像を撮影するようになっているので、簡単安価なハードウェア構成により、対象物の立体モデルや３次元画像データを正確に得ることができる優れた立体画像処理システムを提供することができる。

以下、主に医療ないし美容分野などにおいて好適な立体画像処理システムに関する実施例を例示する。

図１は本発明を採用した立体画像処理システムの全体構成を示している。図１の立体画像処理システムは、多数台のカメラは用いず、左右の光軸の異なるレンズ２１および２２を有する１台のステレオカメラ２０を回転軸（回転中心）Ａを中心に回動させることができるよう配置して構成されている。

すなわち、ステレオカメラ２０はＬ字形のアーム１７の先端に被写体Ｈの方向にレンズ２１および２２を向けて装着されており、このアーム１７は支持部１６を介して逆Ｌ字形の支柱１２の端部の回転軸Ａ上に回動自在に支持されている。

図１において符号Ｈは、人間の被写体であり、被写体Ｈはステレオカメラ２０の回転中心Ａとほぼその中心を一致させたスツール１８上に着座する。スツール１８は支柱１２とともに架台１１上に装着されている。

アーム１７を所定の撮影位置に回動させるため、回転軸Ａはギアトレーンなどの駆動系１４（ただしこの駆動系１４は省略し直結方式としてもよい）を介してパルスモータ１５と結合されている。

ステレオカメラ２０は図６に示すように立体撮影を行なうため、所定距離離して平行に光軸を配置されたレンズ２１および２２と、これらレンズ２１および２２の背後にそれぞれ配置されたＣＣＤなどから構成された撮像素子２０１および２０２、さらにレンズ２１および２２の合焦動作や露光制御、撮像素子２０１および２０２の撮影タイミングや画像出力処理などを制御するＣＰＵ２０３から構成されている。レンズ２１および２２は通常（ステレオ画像の左右を同一条件で撮影する場合に）、同一の焦点距離および開口比を持つものが用いられる。ＣＰＵ２０３は図１の制御システム４０に接続され、後述の撮影制御を受ける。

図１の制御システム４０は、ＰＣなどのハードウェアを利用して構成されている。制御システム４０はディスプレイ（ＣＲＴやＬＣＤなど）４１、キーボード４２、マウス（あるいは他のポインティングデバイス）４７、ＰＣ本体４３などから構成される。

上記のパルスモータ１５およびステレオカメラ２０はＰＣ本体４３に対して所定のインターフェース、たとえばＵＳＢなどのインターフェースを介して接続され、制御システム４０による撮影制御を受ける。なお、パルスモータ１５の回転量ないし回転位置、あるいはアーム１７の現在の回動位置は不図示の光学エンコーダなどのセンサ手段により検出することができるようにしておく。パルスモータ１５の回転量ないし回転位置、あるいはアーム１７の現在の回動位置の検出量データもＵＳＢなどのインターフェースを介してＰＣ本体４３に送信される。

制御システム４０はスタンドアローンではなく、ネットワーク４５を介して他の装置と接続するよう構成できる。本実施例の場合、制御システム４０はネットワークを介して他の装置と接続することができ、図１ではＣＴスキャナ（あるいはＭＲＩ）４６と接続できるようになっている。

ＰＣ本体４３の構成を図２に示す。ＰＣ本体４３は既存のＰＣのほぼ一般的なハードウェアから構成されている。すなわち、ＰＣ本体４３は装置全体の制御、および本発明の画像処理を制御するためのＣＰＵ５１、プログラムやデータを格納するためのＲＯＭ５２およびＲＡＭ５３、後述の制御プログラムや撮影データを格納するためのＨＤＤ５４、ネットワーク４５と接続するためのＮＩＣ（ネットワークインターフェースカード）５６、パルスモータ１５およびステレオカメラ２０と接続するためのＵＳＢなどのインターフェース５５から構成されている。

次に上記構成における動作につき図３〜図５を参照して説明する。

図１のステレオカメラ２０を保持したアーム１７を図１の符号Ｐ２で示すようにパルスモータ１５により回転軸Ａの廻りに回転駆動すると、これによりステレオカメラ２０を符号Ｐ１で示す軌道に沿って回動させることができる。

回転軸Ａと支柱１２の位置関係が、アーム１７と支柱１２が干渉しないように構成されていれば、ステレオカメラ２０はたとえば図３に示すように軌道Ｐ１上の位置Ｑ０からＱ１、Ｑ２、Ｑ３へと順次移動させることができ、これら各位置において被写体Ｈのステレオ画像Ｒ０、Ｒ１、Ｒ２、およびＲ３を順次撮影することができる。図３の場合は９０°づつ撮影方向を変えながら４セットのステレオ画像を撮影しているが、より多数枚の画像が必要な場合は、たとえばＱ５、Ｑ６、Ｑ７、Ｑ８などの撮影位置を選択してステレオカメラ２０の撮影を行なえばよい（この場合４５°ごとの撮影）。

公知のステレオ撮影の場合と同様に、ステレオ画像Ｒ０、Ｒ１、Ｒ２、およびＲ３はステレオカメラ２０のレンズ２１および２２の視差に応じて異なる向きから被写体Ｈを撮影する。したがって、ステレオ画像Ｒ０、Ｒ１、Ｒ２、およびＲ３の各左右の画像を用いてたとえば特許文献１に示されるような座標（距離）測定を行なうことができる。たとえば、被写体Ｈの鼻や顎の特定の一点の座標データ群を１組の左右のステレオ画像から計算することができ、しかも図３のように９０°づつ撮影方向を変えながら４セットのステレオ画像を撮影すれば、これら４組のステレオ画像からそれぞれその撮影方向における被写体Ｈの特定部位（たとえば鼻や顎）の特定の一点の座標データ群を得ることができる。

そして、これらの各ステレオ画像から得られた座標データ群を組み合せることにより、被写体Ｈの立体モデル（あるいは３次元画像）を得ることができ、その場合、複数のステレオ画像を用いることによって、より正確なデータを得ることができる。たとえば、被写体Ｈの鼻などの高低方向の座標データは、当然ながら図３の位置Ｑ２（正面）から撮影したステレオ画像Ｒ２よりも、左右の位置Ｑ１ないしＱ３から鼻などの高低方向が画面に収まるように撮影したステレオ画像Ｒ１ないしＲ３の方が誤差が少ない、といった事情があるから、あるステレオ画像中において被写体Ｈの側面部分として撮影されている部位の立体モデルデータは、当該ステレオ画像ではなくそのステレオ画像に対して側面から（図３の場合９０°異なる光軸から）撮影されたステレオ画像のデータを用いる。このような座標データの組み合せを行なうことにより、立体モデル（あるいは３次元画像）の精度補正を行なうことができる。

なお、ステレオ画像の左右のデータの組合せ、あるいは複数のステレオ画像どうしのデータの組合せにおいて、各画像においてある画素位置が被写体Ｈの鼻や顎などの特定の部位に対応するか、といった判定処理は公知の画像認識処理で自動的に行なう他、マウス４７などを用いてユーザが特定するような方法によって行なう。

図４は図１の立体画像処理システムにおける画像処理手順を、また図５は図４における撮影制御の制御手順の一例をそれぞれ示している。図４および図５の手順はＰＣ本体４３の記憶媒体、たとえばＨＤＤ５４にＣＰＵ５１が実行するプログラムとして格納しておき、ＰＣ本体４３のＣＰＵ５１により実行する。

図４のステップＳ１１では、たとえば概略を図３に示したような手法で撮影処理を行なう。この撮影処理の細部は図５に示すように行なわれる。図５のステップＳ２１ではインターフェース５５を介して所定の命令をパルスモータ１５に送信してパルスモータ１５を駆動する。図５の例ではＰＣ本体４３はパルスモータ１５（ないしアーム１７）の回転角度を検出することができ、ステップＳ２２で検出したパルスモータ１５（ないしアーム１７）の回転角度が所定の回転量に達したか否かを判定しながらステップＳ２１のパルスモータ１５の駆動を制御する。

パルスモータ１５（ないしアーム１７）の回転角度が所定の回転量に達し、ステレオカメラ２０が所定の撮影位置（たとえば図３のＱ１）に到達すると、ステップＳ２３においてステレオカメラ２０のＣＰＵ２０３にインターフェース５５を介して所定の命令を送信し、撮影を行なわせる。ステレオカメラ２０のＣＰＵ２０３は、レンズ２１および２２の合焦動作や露光制御、撮像素子２０１および２０２の撮影タイミングや画像出力処理などを制御する。撮像素子２０１および２０２から出力された左右の画像データは所定フォーマット（たとえばＪＰＥＧやＥｘｉｆなどのフォーマット）に変換され、インターフェース５５を介してＰＣ本体４３に送信される。

ステップＳ２４では、全枚数の撮影を終了したか否かを判定（図３の場合、撮影位置Ｑ１〜Ｑ４における４セットのステレオ画像撮影）し、ステップＳ２４が肯定された場合は撮影処理を終了する。

再び図４において、撮影処理（ステップＳ１１）が終了すると、ステップＳ１２においてステレオカメラ２０から送信された複数のステレオ画像データに対して所定の画像処理を行なう。この画像処理においては、たとえば鮮鋭化処理、コントラスト調整、色補正など後の立体モデル化（あるいは３次元画像の生成）に必要な下処理を行なう。

ステップＳ１３では、立体モデル化（あるいは３次元画像の生成）処理を行なう。この立体モデル化（あるいは３次元画像の生成）処理においては、たとえば図３の場合、ステレオ画像Ｒ０、Ｒ１、Ｒ２、およびＲ３の各左右の画像を用いてたとえば特許文献１に示されるような座標（距離）測定を行ない、被写体Ｈの立体モデルを構成する３次元座標データ群を得る処理を行なう。

また、その際、上述のように３次元座標データ群を得るに際して、複数のステレオ画像を用いた補正処理、すなわち、あるステレオ画像中において被写体Ｈの側面部分として撮影されている部位の立体モデルデータを得る場合、そのステレオ画像ではなくそのステレオ画像に対して側面から（図３の場合９０°異なる光軸から）撮影されたステレオ画像のデータを用いる、などのような複数のステレオ画像の組合せ処理を行なうことによって精度補正が可能であり、より正確な３次元座標データ群を得ることができる。

また、上記のようにして得られた被写体Ｈの外観に係る立体モデルデータ（あるいは３次元画像データ）は、ステップＳ１５に示すように、ＣＴスキャナ（あるいはＭＲＩ）４６から取得した骨格の立体モデルとの差分を取るなどの処理を行なうことにより、たとえば、被写体Ｈの筋肉や歯など皮膚と骨格の間に存在する組織の形状を得、あるいはさらに所定の医療により皮膚と骨格の間に存在する組織の形状をどのように変化させることができるかなどのシミュレーションを行なうこともできる。

以上のようなデータ処理を行なった後、ステップＳ１４において得られた被写体Ｈの立体モデルデータ（あるいは３次元画像データ）の出力処理を行なう。たとえば、３次元座標群として得られた立体モデルデータを用い、ディスプレイ４１で立体的な表示（たとえばワイヤフレーム表示や、アニメーションを用いた立体的な表示）を行なう。また、この出力処理には、ネットワーク４５を介して他の処理装置（他のＰＣや医療機器など）に立体モデルデータ（あるいは３次元画像データ）を出力する処理、あるいは不図示のプリンタなどを介して出力画像や数値データをプリントする処理なども含まれる。

以上のようにして、本実施例によれば、被写体の中心位置とほぼ一致した回転軸上に回動支持されたアーム先端に装着されたステレオカメラを回動させて複数の撮影位置に移動させ、各撮影位置において被写体のステレオ画像を撮影する構成を採用しているので、簡単安価なハードウェア構成により、対象物の立体モデルや３次元画像データを正確に得ることができる優れた立体画像処理システムを提供することができる。

本発明は、立体画像撮影および画像処理を行なう任意の立体画像処理システムにおいて実施することができる。以上では、撮影制御および画像処理をＰＣハードウェアで行なう構成を例示したが、撮影制御ないし画像処理を行なう装置はＰＣに限定されるものではなく、専用機として構成された画像処理装置、画像データを入力する機能を有する画像形成装置（プリンタなど）、あるいはステレオカメラそれ自体などであってよい。また、本発明の画像処理を制御するためのプログラムは適当な記憶媒体経由、あるいはネットワーク経由で対象の画像処理装置（上記のＰＣやステレオカメラなど）に導入することができる。

本発明を採用した立体画像処理システムの構成を示した説明図である。 図１の立体画像処理システムにおける制御システムの構成を示したブロック図である。 図１の立体画像処理システムにおける撮影処理を示した説明図である。 図１の立体画像処理システムにおける画像処理手順を示したフローチャート図である。 図１の立体画像処理システムにおける撮影制御手順を示したフローチャート図である。 図１のステレオカメラの構成を示した説明図である。

符号の説明

１１ 架台
１５ パルスモータ
１６ 支持部
１７ アーム
１８ スツール
２０ ステレオカメラ
２１、２２ レンズ
４０ 制御システム
４１ ディスプレイ
４２ キーボード
４３ ＰＣ本体
４５ ネットワーク
４７ マウス
５１ ＣＰＵ
５４ ＨＤＤ
５５ インターフェース
５６ ＮＩＣ
２０１、２０２ 撮像素子
２０３ ＣＰＵ

Claims (2)

1. 被写体の中心位置とほぼ一致した回転軸上に回動支持されたアームと、
   前記アーム先端に装着されたステレオカメラと、
   前記アームの回転駆動を行なう駆動手段と、
   前記駆動手段を制御し、前記アームを回動させて前記ステレオカメラを複数の撮影位置に移動させ、各撮影位置において前記ステレオカメラにより被写体のステレオ画像を撮影させる制御手段を有することを特徴とする立体画像処理システム。
2. 撮影された被写体のステレオ画像から被写体の立体モデルデータを得るとともに、その際撮影された複数の被写体のステレオ画像を組み合せることにより被写体の立体モデルデータの精度補正を行なうことを特徴とする請求項１に記載の立体画像処理システム。

Images