JP2018189544A - 情報処理装置 - Google Patents

Abstract

【課題】三次元画像撮影の際に、共通視野の確認が簡単にできる情報処理装置を提供すること。【解決手段】被写体を三次元撮影する複数の撮像部から取得された複数の画像について、所定の被写体距離における共通視野範囲を判定する視野判定部１２２と、前記判定された共通視野範囲に関する情報を表示部に表示する表示制御部１３８と、を備える。【選択図】図４

Description

本発明は、三次元撮影時に撮影を援助する情報処理装置に関する。

工事現場における施工状態の撮影は、特にデジタルカメラにより数百枚〜数千枚単位の画像を一度に撮影できるようになってからは、施工が正しく行われていることを示す証拠として頻繁に利用されている。

そのような施工状態の撮影においては、使用された施工部材、特に鉄筋が正しい径で、かつ正しい間隔で配置されているか等の画像による証拠保全は、過去鉄筋の偽装建築等で社会的な問題にもなったため、施工状態の撮影の中でも特に重要なものである。従来このような鉄筋画像の撮影としては、鉄筋部分にメジャーを配置し、各鉄筋に目印となるマーカーを配置することで径や鉄筋間隔を視覚的に比較できるようにしていた。

しかしながらこのような画像撮影においては、鉄筋に隣接してメジャーを配置させ、各鉄筋にマーカーを設置するなど、撮影前の準備に多くの時間がかかり、建築物の規模にもよるが１つの現場で数百枚〜数千枚単位撮影を行う場合、多大な工数となっていた。このような鉄筋画像の撮影の際に、２つの撮像部を配置し視差をつけて撮影を行う、いわゆる三次元（３Ｄ）撮影により鉄筋画像を取得する手法がある（例えば、特許文献１）。

鉄筋検出に三次元撮影を利用することの利点としては、被写体の距離を正しく検出出来るため、メジャーやマーカーを鉄筋に取り付ける必要もなく、１回の撮影に要する時間を大幅に短縮できる点にある。三次元撮影では、２つの撮像部の共通視野領域内で被写体を検出することで、２つの撮像部の検出画像の位置の違いから被写体の距離を幾何学的に算出することができる。

従って、三次元撮影時に、被写体が共通視野領域内に存在しない場合には、２つの撮像部のそれぞれで被写体を検出することができないため、被写体の大きさを正しく判定することができない。このため三次元撮影時には、２つの撮像部の共通視野領域は、広いことが望ましい。

特開２０１５−１１４６号公報

建築現場における鉄筋撮影では、撮影効率の観点から被写体となる鉄筋は１本だけでなく複数本の鉄筋を一度に撮影するのが一般的である。鉄筋の三次元撮影時にも、共通視野に、複数本の鉄筋を収めた状態で撮影を行うことが必要である。しかし、単眼カメラと違って三次元撮影カメラでは、共通視野の範囲を確認することは簡単ではない。工事現場等で、三次元撮影を手軽に行うためには、共通視野の確認が簡単にできることが必要である。

本願発明は、上記課題に鑑み、三次元画像撮影の際に、共通視野の確認が簡単にできる情報処理装置を提供することを目的とする。

上記目的を達成するために、本実施形態の情報処理装置は、被写体を三次元撮影する複数の撮像部から取得された複数の画像について、所定の被写体距離における共通視野範囲を判定する視野判定部と、前記判定された共通視野範囲に関する情報を表示部に表示する表示制御部と、を備える。

本発明によれば、三次元画像撮影の際に、共通視野の確認が簡単にできる情報処理装置を提供することができる。

工事現場での撮影時の様子である。 レンズと撮像素子による視野範囲を示す図である。 左右の撮像部による共通の視野範囲の関係を示す図である。 カメラと情報処理装置の機能ブロック図である。 情報処理装置のハードウェアブロック図である。 ガイド画面を表示する処理の手順を説明するフローチャートである。 パラメータ設定の処理の手順を示すサブルーチンである。 被写体距離と共通視野率の要求値との関係を示す図である。 第１のガイド画面である。 第１のガイド画面の変形例である。 被写体距離と共通視野率の要求値と要求精度等の関係を示す図である。 第２のガイド画面である。 第３のガイド画面である。

以下、図面に従って本発明の実施形態を説明する。以下実施形態では、本発明の情報処理装置を工事撮影で利用する例で説明する。工事撮影は、工事現場で工事内容の証拠写真等を取得するための撮影である。図１は、工事撮影の様子を示す図である。

図１は、工事現場で、例えば複数の鉄筋Ｈを撮影対象として、三次元撮影システム１が使用される例である。三次元撮影システム１は、撮影機器と情報処理装置１００からなる。撮影機器は、三脚に備えられたカメラ１０である。撮影者は、情報処理装置１００によってカメラ１０を制御して撮影を実行し、撮影された画像データを情報処理装置１００に取得する。カメラ１０は、ステレオカメラ１０ａあるいは三脚に備えられた２台の単眼カメラ１０ｂのいずれであってもよい。

情報処理装置１００とカメラ１０は、有線（例えば、ＵＳＢケーブル）または無線（例えば、無線ＬＡＮ（Local Area Network））により接続される。撮影された三次元画像データは、情報処理装置１００からネットワークＮＷを介して、外部に設けられたサーバー５に送信されて蓄積されてもよい。なお、情報処理装置１００は、カメラ１０と一体になった情報処理装置でもよい。

三次元画像撮影の基本原理は、２つ（１対）の撮像部の共通視野範囲内に被写体を検出することで、２つの撮像部の検出画像の位置の違いから幾何学的に算出するものである。このため三次元撮影時には、２つの撮像部は共通視野範囲を広く持つことが求められる。

図２は、ステレオカメラ１０ａの左右いずれかの撮像部のレンズ２２と撮像素子２４と、視野範囲（幅方向とする）の関係を示す図である。なお、本撮像部は固定焦点系であり、撮影範囲Ｗ、撮像素子２４の像面長の水平長Ｘ０、レンズ２２の画角φ、レンズ２２の像面距離Ｆ、被写体距離Ｄとする。

図３は、カメラ１０の左右の撮像部２０（右撮像部２０Ｒ、左撮像部２０Ｌ）での単眼の撮影範囲と、左右の撮像部２０による共通の視野範囲の関係を示す図である。図２では、一次元で説明する（２眼ステレオ撮像は視差が一方向のみであるという意味において基本的に一次元系であるからである）。なお、撮像部をまとめて呼ぶ場合には、撮像部２０と表記する。

カメラ１０では、左右の撮像部２０は視線（撮影光軸）が水平に並行配置されているとする。また、右撮像部２０Ｒと左撮像部２０Ｌは、同一仕様とする。従って、無限遠の被写体の撮像時には、共通視野率１００％となる。図３では、像面距離Ｆ、被写体距離Ｄ１またはＤ２、撮像素子２４（撮像素子２４Ｒ、撮像素子２４Ｌ）の像面長の水平長Ｘ０、基線長Ｂ、画角φ、共通視野範囲（長さ）Ｖとする。

被写体距離Ｄ１（被写体平面）における単眼撮影範囲（長さ）Ｗ１は、結像系の作図から三角形の相似関係を用いて、
Ｗ１／Ｄ１＝Ｘ０／Ｆ によって、 Ｗ１＝Ｄ１・Ｘ０／Ｆ ・・・式（１）となる。
被写体距離（被写体平面）における共通視野範囲Ｖ１はＷ１より基線長だけ狭くなるから、
Ｖ１＝Ｗ１−Ｂ または Ｖ１＝(Ｄ１・Ｘ０／Ｆ) − Ｂ ・・・式（２）となる。
被写体距離Ｄ２における単眼の撮影範囲Ｗ２及び共通視野範囲（長さ）Ｖ２も同様である。なお、式（２）の未知数はＤのみで他は所与量であるから、位相差測距などで被写体距離Ｄを求めれば容易に演算ができる。なお、以下で単眼の撮影範囲Ｗ１、Ｗ２を、全体の撮影範囲Ｗ１、Ｗ２と呼ぶ。

また、共通視野率をＲｖとして、共通視野率Ｒｖは（×１００で％）ＶをＷで正規化したものと定義すれば、
Ｒｖ＝Ｖ／Ｗ＝１−Ｂ／Ｗ ＝１−Ｂ・Ｆ／（Ｄ・Ｘ０）・・・式（３）となる。
また、φ＝２・ａｒｃｔａｎ［ Ｘ０／(２・Ｆ) −Ｂ／(２・Ｄ) ］・・・式（４）となる 。

上述のとおり、式（１）〜（４）におけるＦは、この固定焦点系の像面距離である。補足すれば、周知のとおり焦点距離は無限遠の被写体の結像距離として定義されるから、無限遠被写体に対してはＦは焦点距離に等しく、有限距離の被写体に対してはこれにフォーカシングに伴う所定の像面移動量を加えたものとなる。従って焦点調節機能を有する系においてはＦは通常被写体距離の関数となるが、固定焦点系においては被写体距離によらず定数となる。

以上のように、共通視野範囲Ｖは被写体距離Ｄによって変化する。図３からも分かるように、近距離（Ｄ１）と遠距離（Ｄ２）では、遠距離での全体の撮影範囲Ｗ２が近距離での全体の撮影範囲Ｗ１より大きく、かつ、遠距離の方が１つの撮像部の視野に占める共通視野範囲の割合も大きくなり、三次元撮影可能な領域が増加する。また、建築現場における鉄筋撮影等では、撮影効率の観点から被写体となる鉄筋は１本だけでなく複数本の鉄筋を一度に撮影するのが一般的で、所定以上の被写体距離で撮影が行われる。

図４は、カメラ１０と情報処理装置１００の機能ブロック図である。カメラ１０ａは、右視点画像を撮影する右撮像部２０Ｒ、左視点画像を撮影する左撮像部２０Ｌ、三次元画像生成部３２及び通信部３４を有する。以下では、カメラ１０をステレオカメラ１０ａとする。

右撮像部２０Ｒは、レンズ２２Ｒ、撮像素子２４Ｒ、制御部３０Ｒを有する。レンズ２２Ｒは、被写体像を撮像素子２４Ｒ上に結像する。撮像素子２４Ｒは、被写体像を光電変換する。制御部３０Ｒは、右撮像部２０Ｒ全体の動作を制御し、撮像素子２４Ｒから出力された信号を画像データに変換する。左撮像部２０Ｌは、レンズ２２Ｌ、撮像素子２４Ｌ、制御部３０Ｌを有する。左撮像部２０Ｌは、右撮像部２０Ｒと同様であるので、説明は省略する。

三次元画像生成部３２は、右撮像部２０Ｒと左撮像部２０Ｌの画像データを合成して三次元画像を生成する。通信部３４は、有線または無線により、外部機器とデータの送受信を行う。通信部３４は、情報処理装置１００からの撮影指示等を入力する。また、通信部３４は、右撮像部２０Ｒの画像データ（右画像と称す）、左撮像部２０Ｌの画像データ（左画像と称す）および三次元画像を情報処理装置１００へ出力する。また、通信部３４は、情報処理装置１００からの要求に応じて、カメラ１０の性能情報や配置情報あるいは撮影の距離情報を情報処理装置１００に送信する。

情報処理装置１００は、制御部１１０、記憶部１４０、通信部１５０、表示部１５２、タッチパネル１５４及びスピーカ１５６を有する。制御部１１０は、情報処理装置１００全体を統括的に制御するものである。制御部１１０は、制御プログラムを読込んだＣＰＵによるソフトウェア処理により、各種処理を実行する。

制御部１１０は、画像取得部１１２、カメラ情報取得部１１４、被写体検出部１１６、距離情報取得部１２０、視野判定部１２２、視野算出部１２４、計測部１３０、測定分解能算出部１３２、距離算出部１３４及び表示制御部１３８を有する。

画像取得部１１２は、カメラ１０から、通信部１５０を経由して、右画像と左画像および三次元画像を取得する。カメラ情報取得部１１４は、カメラ１０に各種情報を要求し、カメラ１０から送信される各種情報を取得する。各種情報とは、後述する配置情報１４０ａや性能情報１４０ｂである。なお、カメラ情報取得部１１４は、カメラ１０で検出された撮影距離情報をカメラ１０から取得してもよい。

被写体検出部１１６は、画像取得部１１２で取得された画像から、予め指定された被写体を検出する。本例では、鉄筋が被写体として予め登録され、鉄筋の画像情報が記憶部１４０に記憶されている。被写体検出部１１６は、鉄筋の画像情報を参照しパターンマッチング等によって、取得された画像から鉄筋を検出する。

距離情報取得部１２０は、右画像と左画像の位相差から、被写体までの距離を取得する。距離情報取得部１２０は、被写体検出部１１６で検出された被写体の画面上の位置を特定し、その位置における距離を算出し、被写体距離Ｄを取得する。なお、距離情報取得部１２０は、前述したカメラ１０からの撮影距離情報を被写体距離Ｄとしてもよい。

視野判定部１２２は、被写体距離Ｄにおける右画像と左画像の共通視野範囲Ｖを判定する。視野判定部１２２は、距離情報取得部１２０で取得された被写体距離Ｄと撮像部２０の仕様（配置情報１４０ａ、性能情報１４０ｂ）により、前述の式（２）を用いて、共通視野範囲Ｖを判定する。

視野算出部１２４は、距離情報取得部１２０で取得された被写体距離Ｄにおける全体の撮影範囲Ｗと、視野判定部１２２で判定された共通視野範囲Ｖとの比を共通視野率Ｒｖとして算出する。視野算出部１２４は、前述の式（３）を用いて、共通視野率Ｒｖを算出する。また、視野算出部１２４は、共通視野率Ｒｖが所定以下（例えば、後述する要求値Ｐ以下）になったと判定すると、警告を行ってもよい。視野算出部１２４は、警告として、表示部１５２の画面での警告、またはスピーカ１５６による音による警告の少なくともいずれか１つを行ってもよい。

計測部１３０は、撮影された画像から鉄筋径や鉄筋同士の間隔を計測し、計測値を出力する。測定分解能算出部１３２は、計測部１３０による測定分解能を被写体距離Ｄに応じて算出する。
測定分解能Ｒｏ、撮像素子２４上における分解能ｒｉ、被写体距離Ｄとすると、
Ｒｏ＝Ｄ×ｒｉ／Ｆ・・・式（５） となる。
ここで撮像素子２４上における分解能ｒｉは、その計測原理や方式によって異なり得るものであるが、シミュレーションを含む理論計算あるいは実験評価等で別途求め得るものであって、ここではそのようにして得られたものを用いる。
式（５）により、被写体平面上における測定分解能（計測精度）Ｒｏと被写体距離Ｄの関係が分かる。すなわちＤが小さいほど、言い換えれば被写体に近づくほど計測精度が高く(測定分解能Ｒｏが小さく)なる。ここで計測の要求精度Ｑ（必要な分解能）とすると、信頼有る計測結果を得るためにはＱ≧Ｒｏであれば良いから、これを式（５）に適用して得られる
Ｄ≦Ｆ×Ｑ／ｒｉ・・・式（６）
が、その条件となる。

また、測定分解能算出部１３２は、測定分解能に対する要求精度Ｑを満足する最大の距離Ｄｑを算出する。要求精度Ｑは、撮影者から入力設定されるもので、例えば２ｍｍである。被写体距離Ｄを大きくすれば、撮影範囲が広がり、複数の部材をまとめて撮影することができるが、計測の精度が低下する。つまり、高い計測精度が要求される場合には、近接撮影することが必要になる。共通視野率Ｒｖの要求値Ｐと要求精度Ｑは、被写体距離Ｄに対して、相反する関係になる。

距離算出部１３４は、共通視野率Ｒｖの要求値Ｐから、対応する距離Ｄｐを算出する。共通視野率の要求値Ｐは、撮影者から入力されるもので、例えば８０％である。距離算出部１３４は、式（３）を用いて、共通視野率Ｒｖの要求値Ｐに対応する距離Ｄｐを算出する。

更に、距離算出部１３４は、共通視野率Ｒｖの要求値Ｐに対応する距離Ｄｐと計測の要求精度Ｑに対応する距離Ｄｑから、共通視野と計測精度の双方を満足する推奨距離Ｄｒを算出する。例えば、距離算出部１３４は、距離Ｄｐと距離Ｄｑの中間位置を、推奨距離Ｄｒに算出する。

表示制御部１３８は、撮影された画像や撮影者に適切な被写体距離を示すガイド画面を表示部１５２に表示する。ガイド画面には、ライブビュー画像とともに、共通視野率Ｒｖ、要求値Ｐや要求精度Ｑが表示される。

記憶部１４０は、制御プログラムや各種データを記憶する。また、記憶部１４０は、配置情報１４０ａ、性能情報１４０ｂ、距離情報１４０ｃ及び共通視野率情報１４０ｄを記憶する。

配置情報１４０ａは、右撮像部２０Ｒと左撮像部２０Ｌが空間上のどの位置に配置されているかの３次元座標情報である。ただし、各撮像部が１つの三脚等により設置されているのであれば、３次元的なずれ（高さ方向、あるいは被写体方向）が無いものとして、各撮像部２０の１次元的な距離（基線長Ｂ）について入力するだけで良いなど、情報量を減らして入力できるようにしてもよい。配置情報１４０ａは、共通視野率Ｒｖを算出するのに必要な情報である。

性能情報１４０ｂは、右撮像部２０Ｒと左撮像部２０Ｌの光学特性に係る性能についての情報であり、例えば各撮像部２０の画角φ、焦点距離などの、後に共通視野率Ｒｖを算出するのに必要な情報である。

距離情報１４０ｃは、後述する距離情報取得部１２０により取得された被写体距離Ｄの情報である。共通視野率情報１４０ｄは、後述する視野算出部１２４で算出された共通視野率Ｒｖに関する情報である。

通信部１５０は、有線または無線により、外部機器とデータの送受信を行うものである。表示部１５２は、例えばＬＣＤで、表示制御部１３８の制御により撮影画像やガイド画面を表示する。タッチパネル１５４は、表示部１５２に一体的に設けられた操作部で、撮影者からの各種指示が入力される。スピーカ１５６は、制御部１１０の制御により警告音等の音声を出力する。

図５は、情報処理装置１００のハードウェアブロック図の例である。情報処理装置１００は、ＣＰＵ（Central Processing Unit）１８０、ＲＡＭ(Random Access Memory)１８２、不揮発性メモリ１８４、通信部１５０、表示部１５２、タッチパネル１５４、スピーカ１５６及びフラッシュメモリ１９０を有する。

ＣＰＵ１８０は、不揮発性メモリ１８４に格納される制御プログラムを読込んで実行して、ソフトウェア処理により情報処理装置１００の制御を行う。ＲＡＭ１８２は、制御プログラムや各種データを一時的に記憶するワーキングエリアを提供する。ＲＡＭ１８２は、例えばＤＲＡＭ(Dynamic Random Access Memory)である。

不揮発性メモリ１８４は、制御プログラムや各種データテーブルを不揮発的に記憶する。不揮発性メモリ１８４は、フラッシュメモリやＨＤＤ（Hard Disk Drive）である。記憶部１４０は、不揮発性メモリ１８４により構成される。制御部１１０は、ＣＰＵ１８０、ＲＡＭ１８２及び不揮発性メモリ１８４により構成される。

フラッシュメモリ１９０は、撮影された画像や各種データを記憶する。通信部１５０、表示部１５２、タッチパネル１５４及びスピーカ１５６は、前述したので説明は省略する。ＣＰＵ１８０は、バス１９２で、ＲＡＭ１８２等と接続される。

図６は、ガイド画面を表示する処理の手順を説明するフローチャートである。ガイド画面は、適切な撮影位置を撮影者へガイドする画面である。以下のフローチャートは、主に制御部１１０によって実行される。

視野判定部１２２は、記憶部１４０に性能情報１４０ｂが記憶されているかを判定する（ステップＳ１０）。前述のように、性能情報１４０ｂは、撮像部２０の光学特性に係る性能の情報である。視野判定部１２２は、記憶部１４０に性能情報１４０ｂが記憶されていないと判定すると（ステップＳ１０のＮＯ）、ステップＳ１４に進む。

視野判定部１２２は、記憶部１４０に性能情報１４０ｂが記憶されていると判定すると（ステップＳ１０のＹＥＳ）、記憶部１４０に配置情報１４０ａが記憶されているかを判定する（ステップＳ１２）。前述のように、配置情報１４０ａとは、複数の撮像部２０が空間上のどの位置に配置されているかの３次元座標情報である。

視野判定部１２２は、記憶部１４０に配置情報１４０ａが記憶されていないと判定すると（ステップＳ１２のＮＯ）、ステップＳ１４に進む。なお、性能情報１４０ｂや配置情報１４０ａ等のパラメータが記憶されていない場合には、表示制御部１３８は、表示部１５２に「性能情報（あるいは配置情報）が入力されていません」等の注意表示を行ってもよい。その後、図７で説明するパラメータ設定に移行する。

図７は、ステップＳ１４のパラメータ設定の処理の手順を示すサブルーチンである。カメラ情報取得部１１４は、カメラ１０に各撮像部２０の画角、焦点距離など、共通視野率Ｒｖを算出するのに必要な性能に関する情報を要求し、これを取得する。カメラ情報取得部１１４は、カメラ１０から取得した性能に関する情報に基づき、性能情報１４０ｂを設定し（ステップＳ１００）、記憶部１４０に記憶する。

なお、カメラ情報取得部１１４は、当該カメラ１０が有する性能に関する情報を記憶されているデータテーブル（図示せず）を記憶部１４０に格納しておき、カメラ１０の型番などを入力することで、データテーブルから性能情報を読み出すようにしてもよい。また、カメラ情報取得部１１４は、当該製品が有する性能情報をインターネットを経由してサーバー５から入手するようにしてもよい。

カメラ情報取得部１１４は、カメラ１０がステレオカメラ１０ａの場合には、カメラ１０から基線長情報を取得して配置情報１４０ａを設定し（ステップＳ１０２）、記憶部１４０に記憶する。また、カメラ情報取得部１１４は、カメラ１０が２つの単眼カメラ１０ｂの場合には、複数の撮像部２０が空間上のどの位置に配置されているかの３次元座標情報を、撮影者に入力させる。なお、この際に、２つの単眼カメラ１０ｂが１つの三脚等により設置されているのであれば、３次元的なずれ（高さ方向、あるいは被写体方向）が無いものとして、２つの単眼カメラ１０ｂの基線長Ｂを入力するだけでもよい。

制御部１１０は、撮影者から入力により、要求仕様に関する、仕様情報の設定を行う（ステップＳ１０４）。要求仕様は、共通視野率Ｒｖの要求値Ｐや測定分解能の要求精度Ｑである。制御部１１０は、撮影者によりタッチパネル１５４から入力された要求値Ｐや要求精度Ｑを記憶部１４０に記憶する。これら要求仕様情報ついては、撮影者が設定を行うのには面倒であるため、標準的な初期値を記憶部１４０にテーブルとして保存しておき、そこから変更できるようにしてもよい。また、要求値Ｐや要求精度Ｑが入力されない場合には、デフォルト値が設定されるようにしてもよい。ステップＳ１０４の後は、ステップＳ１０に戻る。

図６に戻る。視野判定部１２２は、記憶部１４０に配置情報１４０ａが記憶されていると判定すると（ステップＳ１２のＹＥＳ）、ステップＳ１６に進む。画像取得部１１２は、撮影されたライブビュー画像をカメラ１０から取得し、表示制御部１３８は、取得されたライブビュー画像を表示部１５２に表示する（ステップＳ１６）。表示されるライブビュー画像は、左右の撮像部２０のいずれか１つでも良いし、生成された三次元画像でもよい。あるいはライブビュー画像として、左右の画像を各々並列に配置して表示されてもよい。

被写体検出部１１６は、ライブビュー画像に被写体が存在するかどうかを検出する（ステップＳ１８）。本例での被写体は、鉄筋である。被写体検出部１１６が、ライブビュー画像で被写体を検出しない場合には（ステップＳ１８のＮＯ）、表示制御部１３８は、「被写体が存在しません」もしくは「カメラを被写体に向けてください」などのエラーメッセージやガイドメッセージを表示して（ステップＳ４２）、撮影者に注意を促す。制御部１１０は、エラー表示とあわせて、スピーカ１５６から音声による警告を発してもよい。ステップＳ４２の後は、ステップＳ１６に戻る。

被写体検出部１１６が、現在表示しているライブビュー画像内で被写体を検出した場合には（ステップＳ１８のＹＥＳ）、制御部１１０は、撮影者がタッチパネル１５４でタッチ操作をしているかを判定する（ステップＳ２０）。

制御部１１０は、撮影者がタッチパネル１５４でタッチ操作をしていると判定すると（ステップＳ２０のＹＥＳ）、撮影者のタッチ位置に被写体（本例では、鉄筋）が有るかを判定する（ステップＳ２２）。制御部１１０は、撮影者のタッチ位置が被写体検出部１１６で検出された被写体の位置に含まれるかを判定する。

制御部１１０が、撮影者のタッチ位置に被写体がないと判定すると（ステップＳ２２のＮＯ）、表示制御部１３８は、エラー表示を行う（ステップＳ４２）。例えば、表示制御部１３８は、「タッチ部分に被写体が存在しません」「現在被写体をタッチしていません」「誤って表示部をタッチしています（意図しないタッチへの注意）」などのエラーメッセージを表示部１５２に表示する。なお、この場合には、被写体検出部１１６で被写体が検出されているので、表示制御部１３８は、検出された被写体を輪郭強調表示（点滅）するなど、撮影者が正しく被写体を特定するように誘導するようなメッセージを表示するようにしてもよい。

制御部１１０が、撮影者のタッチ位置に被写体があると判定すると（ステップＳ２２のＹＥＳ）、タッチ位置の被写体を対象に設定する（ステップＳ２４）。つまり、画面に複数の鉄筋が存在していても、撮影者に選択された鉄筋のみが対象となる。距離情報取得部１２０は、対象として設定された被写体までの距離（被写体距離Ｄ）を算出する（ステップＳ２６）。前述のように、距離情報取得部１２０は、左右の画像の位相差に基づき、被写体距離Ｄを算出する。

ステップＳ２０に戻り、制御部１１０は、撮影者がタッチパネル１５４でタッチ操作をしていないと判定すると（ステップＳ２０のＮＯ）、被写体検出部１１６は、自動検出モードとして、画像内の全ての被写体を検出する（ステップＳ３０）。つまり、画面内の全て鉄筋が検出される。距離情報取得部１２０は、検出された全ての被写体各々の距離を算出する（ステップＳ３２）。

距離情報取得部１２０は、算出された複数の被写体距離Ｄを比較し、所定の条件に対応する被写体を代表被写体とし、代表被写体までの距離を被写体距離Ｄに設定する（ステップＳ３４）。代表被写体は、例えば、撮像部２０に最も近い被写体（最至近の被写体）である。最至近の被写体以外に、例えば、被写体に特徴がある（鉄筋にマーカーが付けられているなど）場合には、その特徴を検出してその被写体を代表被写体に設定してもよい。
なお、上記では代表被写体としたが、概念的には複数の被写体距離を代表する距離（たとえば被写界深度で所定の被写体を含む距離など）であればよく、そこに実体としての被写体が存在しない場合も含み得る。

視野判定部１２２は、対象が共通視野範囲Ｖ内に存在するかを判定する（ステップＳ４０）。視野判定部１２２が、対象が共通視野範囲Ｖ内に存在しないと判定すると（ステップＳ４０のＮＯ）、表示制御部１３８は、「対象が三次元測定できる位置にいません」、「対象から遠ざかってください」あるいは「対象を画面の中心に向けてください」等のエラーメッセージを表示して（ステップＳ５０）、ステップＳ１６に戻る。エラーメッセージと共に、警告音が発せられてもよい。

視野判定部１２２が、対象が共通視野範囲Ｖ内に存在すると判定すると（ステップＳ４０のＹＥＳ）、視野算出部１２４は、対象の被写体距離Ｄから共通視野率Ｒｖを算出する（ステップＳ４４）。表示制御部１３８は、算出した共通視野率Ｒｖに関する情報をガイド画面に表示する（ステップＳ４６）。なお、共通視野率Ｒｖが所定以下になった場合には、表示制御部１３８がエラー表示をしたり、制御部１１０がエラー警告を発するようにしてもよい。

共通視野率Ｒｖに関する情報を含むガイド画面の例を、図８〜図１０を用いて説明する。図８Ａ、図８Ｂ、図８Ｃは、算出された共通視野率Ｒｖを距離メーター上で表示する例である。前述の式（３）からわかるように、共通視野率Ｒｖは、カメラ１０の各値（基線長、水平長等）が固定であれば、被写体距離Ｄのみで決定される。被写体距離Ｄが大きくなれば、共通視野率Ｒｖも大きくなる。撮影者にとっては、共通視野率Ｒｖよりも被写体距離Ｄの方が、感覚的になじみやすいパラメータである。そこで、ガイド画面に、現在の被写体距離Ｄを示す距離メーターを表示し、この距離メーターに共通視野率Ｒｖの要求値Ｐに対応する距離を示した。

図８Ａは、鉄筋Ｈを被写体とした撮影の状態を示す図である。カメラ１０から鉄筋Ｈまでの被写体距離をＤａとする。共通視野率Ｒｖの要求値Ｐに相当する距離をＤｐとする。つまり、撮影者がＤｐよりも遠い位置で撮影すれば、要求値Ｐが満足される。

図８Ｂは、表示部１５２に表示される第１のガイド画面２００である。第１のガイド画面２００の左側にライブビュー画像２２０が表示される。ライブビュー画像２２０には、３本の鉄筋Ｈが表示される。なお、ライブビュー画像２２０は、左右いずれの画像であってもよい。

第１のガイド画面２００の右側に距離メーター２１０が表示される。距離メーター２１０は現在の被写体距離Ｄａを表示するメーターである。距離メーター２１０は、グレー部分が上昇下降することで被写体距離Ｄａを表示する。カメラ１０が鉄筋Ｈから遠ざかると、被写体距離Ｄａが大きくなり、グレー部分が上昇する。カメラ１０が鉄筋Ｈに近づくと、被写体距離Ｄａが小さくなり、グレー部分が下降する。

マーカーＭｐは、共通視野率Ｒｖの要求値Ｐに対応する距離を示すもので、距離メーター２１０の対応する位置に表示される。撮影者は、距離メーター２１０で、グレー部分がマーカーＭｐより大きくなるようにカメラの位置を決めればよい。図８Ｂの例では、現在の被写体距離ＤａがマーカーＭｐを越えた位置にあるので、現在の撮影位置であれば、要求値Ｐが満足されることが分かる。第１のガイド画面２００の表示によれば、共通視野率Ｒｖの要求値を満たす距離が直観的に確認できる。距離を基準としたメーター表示にすることによって、現場での撮影者の判断が容易になる。

図８Ｃは、第１のガイド画面２００の変形例である。図８Ｃの第１のガイド画面２０１は、左のライブビュー画像２２０Ｌと右のライブビュー画像２２０Ｒを重ねて表示する例である。また、両方のライブビュー画像を表示するのではなく、一方のライブビュー画像に、他方の画像枠だけを重ねて表示してもよい。画像枠の位置が分かることで、左右の画像の重畳範囲を判断することができる。図８Ｃのようなガイド画面２０１により、左右の画像の重畳具合を直観的に把握することができる。対象被写体の指定時に、共通視野部分以外を検出しないよう操作することも可能になり、操作性が更に向上する。

図９Ａ、図９Ｂは、共通視野率Ｒｖの要求値Ｐに、測定分解能に対する要求精度Ｑの条件を加えたガイド画面の例である。３次元計測では共通視野率Ｒｖの確保だけでなく、計測の精度も重要である。式（５）及び（６）等で説明したように、カメラ１０と被写体との距離が離れると測定分解能が低下し、撮影者が撮影によって達成したいと考える対象被写体の検出精度を満たさなくなるからである。

図９Ａは、鉄筋Ｈを被写体とした撮影の状態を示す図である。カメラ１０から鉄筋Ｈまでの被写体距離をＤａ、共通視野率Ｒｖの要求値Ｐに相当する距離をＤｐ、要求精度Ｑに相当する距離をＤｑとする。共通視野率Ｒｖの要求値Ｐと要求精度Ｑの双方が満足される推奨距離をＤｒとする。推奨距離は、例えばＤｐとＤｑの中間値である。

図９Ｂは、表示部１５２に表示される第２のガイド画面２０２である。図８Ｂと同様に、第２のガイド画面２０１には、ライブビュー画像２２０と距離メーター２１０が表示される。距離メーター２１０の右側には、共通視野率Ｒｖの要求値Ｐに対応する距離の位置を示すマーカーＭｐ、要求精度Ｑに対応する距離の位置を示すマーカーＭｑ、推奨距離に対応する位置を示すマーカーＭｒが、それぞれ表示される。

撮影者は、ガイド画面２００で、距離メーター２１０のグレー部分がマーカーＭｒに近づくように撮影位置を調整することによって、共通視野率Ｒｖの要求値Ｐと要求精度Ｑの双方を満足する三次元画像撮影を容易に行うことが出来る。

図１０は、表示部１５２に表示される第３のガイド画面２０３である。第３のガイド画面２０３は、距離メーター２１０に、共通視野率メーター２１２と共通視野率２１２ｂと精度メーター２１４を、加えて表示したものである。現在の共通視野率Ｒｖが、共通視野率メーター２１２と共通視野率２１２ｂの両方に表示される。共通視野率２１２ｂには、現在の共通視野率が数値として直接表示される。共通視野率メーター２１２では、カメラ１０が被写体から遠ざかると、共通視野率Ｒｖが大きくなり、グレー部分が上昇する。

距離メーター２１０は、図９Ｂと同様に、カメラ１００が被写体から遠ざかると、グレー部分が上昇する。精度メーター２１４は、計測精度の高低を示すメーターである。上になるほど、計測精度が高いことを示す。つまり、カメラ１００が被写体に近づき、被写体距離Ｄａが小さくなると、計測精度が高くなり、グレー部分が上昇する。なお、第３のガイド画面２０３において、図９Ｂと同様に、共通視野率メーター２１２と精度メーター２１４の横に、マーカーＭｐやマーカーＭｑを対応する位置に表示するようにしてもよい。

また、第２のガイド画面２０２と第３のガイド画面２０３では、Ｄｐ＜Ｄｑの場合を示したが、Ｄｐ＞Ｄｑとなる場合も有り得る。共通視野率Ｒｖの要求値Ｐと要求精度Ｑの双方を満足する被写体距離が存在しない場合である。この場合には、エラー表示やエラー警告を発して、撮影者に警告する。

以上、本実施形態によれば、三次元画像撮影時に、所定の共通視野率が満足されるようにガイドするガイド画面が表示されるので、適切な三次元画像撮影を簡単に行うことができる。また、共通視野率とともに、所定の計測精度も満足されるようにガイドするガイド画面が表示されるので、計測用の三次元画像撮影も容易にできる。

なお、三次元撮影のカメラとして、２つの撮像部２０が左右に配置されている例を説明したが、２つの撮像部２０が上下に配置されていてもよい。また、制御部１１０の各機能がソフトウェア処理で実現されると説明したが、一部がゲートアレイ等のハードウェアで実現されてもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１ 三次元撮影システム
１０ カメラ
２０Ｒ 右撮像部
２０Ｌ 左撮像部
２２Ｒ、２２Ｌ レンズ
２４Ｒ、２４Ｌ 撮像素子
３０Ｒ、３０Ｌ 制御部
３２ 三次元画像生成部
３４ 通信部
１００ 情報処理装置
１１０ 制御部
１１２ 画像取得部
１１４ カメラ情報取得部
１１６ 被写体検出部
１２０ 距離情報取得部
１２２ 視野判定部
１２４ 視野算出部
１３０ 計測部
１３２ 測定分解能算出部
１３４ 距離算出部
１３８ 表示制御部
１４０ 記憶部
１４０ａ 配置情報
１４０ｂ 性能情報
１４０ｃ 距離情報
１４０ｄ 共通視野率情報
１５０ 通信部
１５２ 表示部
１５４ タッチパネル
１５６ スピーカ

Claims (14)

1. 被写体を三次元撮影する複数の撮像部から取得された複数の画像について、所定の被写体距離における共通視野範囲を判定する視野判定部と、
   前記判定された共通視野範囲に関する情報を表示部に表示する表示制御部と、を備える
   ことを特徴とする情報処理装置。
2. 前記所定の被写体距離における前記複数の撮像部のうち１の撮像部による視野範囲全体と、前記判定された共通視野範囲との比を共通視野率として算出する視野算出部を備え、
   前記表示制御部は、前記共通視野範囲に関する情報として、前記共通視野率を表示する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 被写体距離を取得する距離情報取得部と、
   前記共通視野率に設定された要求値に対し、当該要求値に対応する被写体距離を算出する距離算出部を備え、
   前記表示制御部は、被写体距離の遠近を示す軸上で、前記距離情報取得部で取得された被写体距離と前記要求値に対応する被写体距離とを表示する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 被写体距離を取得する距離情報取得部と、
   画像に基づき計測を行う場合の測定分解能の精度について設定された要求精度に対し、当該要求精度に対応する被写体距離を算出する測定分解能算出部と、を備え、
   前記表示制御部は、前記要求値に対応する被写体距離とともに、前記要求精度に対応する被写体距離を、前記被写体距離の遠近を示す軸上に表示する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御部は、前記共通視野率に設定された要求値と、前記測定分解能の精度について設定された要求精度の双方を満足する推奨距離に関する情報を表示する、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 被写体距離を取得する距離情報取得部を備え、
   前記距離情報取得部は、前記複数の撮像部から、所定の条件に対応する被写体である代表被写体までの被写体距離を取得し、
   前記視野判定部は、前記代表被写体に対する被写体距離に基づき、前記共通視野範囲を判定する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記代表被写体は、前記複数の撮像部に最も近い被写体に対する被写体である
   ことを特徴とする請求項６に記載の情報処理装置。
8. 被写体距離を取得する距離情報取得部と、
   前記表示部に設けられるタッチパネルと、を備え、
   前記距離情報取得部は、前記表示部に表示される被写体の中で、前記タッチパネルで指定された被写体に対する距離を取得する、
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記表示制御部は、前記共通視野率をメーター形式で表示する、
   ことを特徴とする請求項２に記載の情報処理装置。
10. 前記視野算出部は、前記共通視野率が所定以下になったと判定すると、警告を行う、
    ことを特徴とする請求項２に記載の情報処理装置。
11. 前記視野算出部は、前記警告として、前記表示部の画面での警告または音による警告の少なくともいずれか１つを行う、
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記複数の撮像部は、ステレオカメラに設けられた１対の撮像部である
    ことを特徴とする請求項１に記載の情報処理装置。
13. 三次元撮影画像を取得する情報処理装置にガイド画面を表示させる表示方法において、
    被写体を三次元撮影する複数の撮像部から取得された複数の画像について、所定の被写体距離における共通視野範囲を判定し、
    前記判定された共通視野範囲に関する情報を含むガイド画面を前記情報処理装置の表示部に表示する
    ことを特徴とする表示方法。
14. 三次元撮影画像を取得する情報処理装置のコンピュータにガイド画面表示を実行させるプログラムであって、
    被写体を三次元撮影する複数の撮像部から取得された複数の画像について、所定の被写体距離における共通視野範囲を判定するステップと、
    前記判定された共通視野範囲に関する情報を含むガイド画面を表示するステップと、を備える
    ことを特徴とするプログラム。