JP7515795B2

JP7515795B2 - 画像処理システム、及び、画像処理方法、並びに、画像処理プログラム

Info

Publication number: JP7515795B2
Application number: JP2020095271A
Authority: JP
Inventors: 尚之宮下; 正敏奥富; 翔加賀美
Original assignee: Tokyo Institute of Technology NUC; Evident Corp
Current assignee: Tokyo Institute of Technology NUC; Evident Corp
Priority date: 2020-06-01
Filing date: 2020-06-01
Publication date: 2024-07-16
Anticipated expiration: 2040-06-01
Also published as: JP2021189822A; US20210374990A1; US11669997B2

Description

本発明は、画像処理システム、及び、画像処理方法、並びに、画像処理プログラムに関する。

化学精製、ガス供給、下水道のメンテナンスなど配管内部の検査を非破壊で行うために工業用内視鏡が広く用いられている。傷および腐食のような不具合が発見された際、その程度に応じて対策方法を切り替える必要がある。そのため、配管内部における不具合箇所の大きさや位置を正確に知ることが重要である。
内視鏡検査では、プローブ先端に備えられた撮像光学系により被写体内部を撮像し検査画像を得る。ここで、プローブの直径は通常数ミリ程度であり、測距や姿勢検出のための物理的な構成要素（モーションセンサ等）を設けることは、実装面積やコストの観点から望ましくない。
一方、内視鏡に限らず、撮像装置から得られた画像を用いて被写体形状やカメラ位置を得る手法として、ＳｆМ（Ｓｔｒｕｃｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ）やＶｉｓｕａｌ-ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）に係る手法の採用が近年盛んである（例えば、非特許文献１、非特許文献２参照）。

工業用内視鏡を用いた配管検査においてＳｆＭやＶ-ＳＬＡＭに係る手法を用いた場合には、例えば、実空間に存在する被検体である配管と、配管の内部に挿入される内視鏡に設けられた撮像部と、の間の相対的な位置関係に応じた情報が取得されるとともに、当該取得した情報に基づいて配管の３次元形状が順次復元される。特に、逐次更新型のSfMであるインクリメンタルＳｆМ やＶ-ＳＬＡＭは、工業用内視鏡により連続的に撮像された画像を用いて、リアルタイムに配管の三次元形状を復元することができるため検査効率の向上に寄与し得る。

Schonberger, Johannes L., and Jan-Michael Frahm. "Structure-from-motion revisited."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. Mur-Artal, Raul, Jose Maria Martinez Montiel, and Juan D. Tardos. "ORB-SLAM: a versatile and accurate monocular SLAM system."IEEE transactions on robotics 31.5 (2015): pp.1147-1163.

工業用内視鏡による画像検査では、観察視野を確保するため単眼カメラが用いられることが一般的である。単眼カメラで撮像された画像を用いて、SfMやSLAMといった手法を用いて被写体を三次元復元する場合、ステレオカメラのような既知の基線長（基準距離）が存在しないため、被写体の形状を相対的なスケールでしか求めることができない。よって、三次元復元の過程で生じる誤差が蓄積することで、被写体の形状が実際のスケールと異なって復元される現象が生じてしまう（スケールドリフト）。

スケールドリフトを解消する手法としてループクロージング処理が知られている。ループクロージング処理とは、被写体における環状の経路を始点から終点まで撮像していき、復元した始点の位置と復元した終点の位置が一致するように復元結果を補正することで、スケールドリフトによる誤差を軽減する手法である。しかしながら、配管検査の対象となる配管に環状経路が存在することは少ないため、ループクロージング処理による補正を適用することは現実的でない。故に、三次元復元による被写体形状やカメラ位置を正しく推定することができないという問題があった。

そこで、本発明は、被写体である配管を撮像した画像に対し、スケールドリフトを抑制して精度の高い三次元復元を行うことができる、画像処理システム、及び、画像処理方法、並びに、画像処理プログラムを提供することを目的とする。

本発明の一態様の画像処理システムは、カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理システムである。画像処理システムは、前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定する推定部を有する。また、前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正するバンドル調整部とも有する。前記推定部は、前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出し、抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定する。

本発明の一態様の画像処理方法は、カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理方法であって、前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定し、前記筒形状の半径と、前記第１中心軸から前記三次元点を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正する。また、前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出し、抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定する。

本発明の一態様の画像処理プログラムは、カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理プログラムであって、前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定するステップと、前記三次元点群を構成する個々の三次元点について、前記筒形状の半径と、前記第１中心軸から前記三元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正するステップと、前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出するステップと、抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定するステップと、をコンピュータに実行させる。

本発明の一態様によれば、被写体である配管を撮像した画像に対し、スケールドリフトを抑制して精度の高い三次元復元を行うことができる、画像処理システム、及び、画像処理方法、並びに、画像処理プログラムを提供することができる。

実施形態に係わる画像処理システムを用いた配管検査システムの構成を示す構成図の一例。実施形態に係る内視鏡システムの構成を説明するためのブロック図。実施形態に係る画像処理システムの機能構成を説明するためのブロック図。バンドル調整に用いる誤差関数の円筒拘束項を説明するための図。実施形態に係る画像処理システムにおいて行われる処理等を説明するためのフローチャート。図５における円錐検出処理を説明するためのフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、実施形態に係わる画像処理システムを用いた配管検査システムの構成を示す構成図の一例である。配管検査システム１００は、例えば図１に示すように、画像処理システム５１と、内視鏡システム１とから構成される。

内視鏡システム１は、例えば、図１に示すように、内視鏡２と、内視鏡２を接続可能な本体装置３と、を有して構成されている。また、本体装置３には、画像等を表示可能な表示部３５が設けられている。更に、本体装置３には、ＵＳＢメモリなどの外部記憶装置３９を接続可能な接続ポート４０が設けられている。なお、接続ポート４０には、通信ケーブルも接続可能になされている。すなわち、内視鏡システム１と画像処理システム５１とは、通信ケーブルを経由して直接的にデータを送受信することも可能であるし、外部記憶装置３９を経由してデータをやり取りすることも可能になされている。

内視鏡２は、タービン及びエンジン等の被検体の内部に挿入可能な細長形状を具備して形成された挿入部５と、挿入部５の基端側に設けられた操作部６と、操作部６から延出したユニバーサルコード７と、を有して構成されている。また、内視鏡２は、ユニバーサルコード７により、本体装置３に対して着脱自在に接続されるように構成されている。

挿入部５は、先端部１１と、湾曲自在に形成された湾曲部１２と、可撓性を有する長尺な可撓管部１３と、を先端側から順に設けて構成されている。

操作部６には、湾曲部１２を所望の方向に湾曲させるための操作を行うことが可能なジョイスティックを有して構成された湾曲操作子６ａが設けられている。また、操作部６には、図示しないが、例えば、フリーズボタン、湾曲ロックボタン、及び、記録指示ボタン等のような、内視鏡システム１において利用可能な機能に応じた１つ以上の操作ボタンが設けられている。

先端部１１には、図２に示すように、１つ以上の光源部２１と、撮像部２２と、が設けられている。なお、図２においては、図示の便宜上、２つの光源部２１が先端部１１に設けられている場合を例示している。図２は、実施形態に係る内視鏡システムの構成を説明するためのブロック図である。

光源部２１は、発光素子２１ａと、照明光学系２１ｂと、を有して構成されている。

発光素子２１ａは、例えば、ＬＥＤを有して構成されている。また、発光素子２１ａは、本体装置３から供給される発光素子駆動信号に応じた光量を有する照明光を発生するように構成されている。

照明光学系２１ｂは、例えば、照明レンズを含む光学系として構成されている。また、照明光学系２１ｂは、発光素子２１ａから発せられた照明光を先端部１１の外部の被写体へ照射するように構成されている。

撮像部２２は、観察光学系２２ａと、撮像素子２２ｂと、を有するカメラとして構成されている。

観察光学系２２ａは、例えば、結像レンズを含む光学系として構成されている。また、観察光学系２２ａは、光源部２１からの照明光の照射に応じて先端部１１の外部の被写体から発せられる戻り光（反射光）が入射されるとともに、当該戻り光を撮像素子２２ｂの撮像面上に結像するように構成されている。

撮像素子２２ｂは、例えば、ＣＣＤまたはＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像素子２２ｂは、本体装置３から供給される撮像素子駆動信号に応じて駆動するように構成されている。また、撮像素子２２ｂは、観察光学系２２ａにより結像された戻り光を撮像することにより撮像信号を生成し、当該生成した撮像信号を本体装置３へ出力するように構成されている。

湾曲部１２は、例えば、複数の湾曲駒を有して構成されている。また、湾曲部１２は、可撓管部１３、操作部６及びユニバーサルコード７の内部に挿通された複数の湾曲用ワイヤＢＷ各々の先端部に接続されている。また、湾曲部１２は、複数の湾曲用ワイヤＢＷ各々の牽引状態に応じて湾曲することにより、先端部１１を挿入部５の長手軸方向に対して交差する方向へ向けることができるように構成されている。

すなわち、内視鏡２は、細長な挿入部５の先端部１１に設けられた撮像部２２により被検体の内部を撮像するように構成されている。

本体装置３は、図２に示すように、光源駆動部３１と、撮像素子駆動部３２と、湾曲駆動部３３と、画像生成部３４と、表示部３５と、記憶部３６と、入力Ｉ／Ｆ（インターフェース）部３７と、制御部３８と、を有して構成されている。また、本体装置３には、ＵＳＢメモリ等のような可搬型の外部記憶装置６１を接続するための接続ポート４０が設けられている。なお、接続ポート４０は通信ケーブル（図示せず）を接続することも可能になされており、通信ケーブルを経由して画像処理システム５１との間でデータを送受信することも可能である。

光源駆動部３１は、例えば、光源駆動回路を具備して構成されている。また、光源駆動部３１は、制御部３８の制御に応じ、発光素子２１ａを駆動させるための発光素子駆動信号を生成して出力するように構成されている。

撮像素子駆動部３２は、例えば、撮像素子駆動回路を具備して構成されている。また、撮像素子駆動部３２は、制御部３８の制御に応じ、撮像素子２２ｂを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。

湾曲駆動部３３は、例えば、モータ等を有して構成されている。また、湾曲駆動部３３は、複数の湾曲用ワイヤＢＷ各々の基端部に接続されている。また、湾曲駆動部３３は、制御部３８の制御に応じ、複数の湾曲用ワイヤＢＷの牽引量を個別に変化させることができるように構成されている。すなわち、湾曲駆動部３３は、制御部３８の制御に応じ、当該複数の湾曲用ワイヤＢＷ各々の牽引状態を変化させることができるように構成されている。

画像生成部３４は、例えば、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路により構成されている。また、画像生成部３４は、撮像素子２２ｂから出力される撮像信号に対して所定の信号処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を制御部３８へ順次出力するように構成されている。

表示部３５は、例えば、液晶パネルを具備して構成されている。また、表示部３５は、制御部３８から出力される表示画像を表示画面に表示するように構成されている。また、表示部３５は、表示画面に表示されるＧＵＩ（グラフィカルユーザインターフェース）ボタン等に対するタッチ操作を検出するとともに、当該検出したタッチ操作に応じた指示を制御部３８へ出力するタッチパネル３５ａを有して構成されている。

記憶部３６は、例えば、メモリ等のような記憶媒体を具備して構成されている。また、記憶部３６には、例えば、内視鏡システム１の各部の制御に用いられるプログラム、及び、制御部３８の動作に対応する種々のプログラムが格納されている。また、記憶部３６には、画像生成部３４において生成された内視鏡画像等を格納することができるように構成されている。

入力Ｉ／Ｆ部３７は、ユーザの入力操作に応じた指示を制御部３８に対して行うことが可能なスイッチ等を具備して構成されている。

制御部３８は、例えば、ＣＰＵ等のような１つ以上のプロセッサ３８ａを有して構成されている。また、制御部３８は、タッチパネル３５ａまたは入力Ｉ／Ｆ部３７の操作に応じてなされた指示に基づき、光源駆動部３１及び撮像素子駆動部３２に対する制御を行うことができるように構成されている。また、制御部３８は、湾曲操作子６ａの操作に応じてなされた指示に基づき、湾曲部１２を湾曲させるための制御を湾曲駆動部３３に対して行うことができるように構成されている。また、制御部３８は、画像生成部３４から出力される内視鏡画像等に対してＧＵＩボタン等を重畳した表示画像を生成して表示部３５へ出力することができるように構成されている。また、制御部３８は、画像生成部３４から出力される内視鏡画像をＪＰＥＧ等の静止画像用のフォーマット、及び、ＭＰＥＧ４等の動画像用のフォーマットを用いてエンコードして外部記憶装置６１に格納させることができるように構成されている。また、制御部３８は、タッチパネル３５ａまたは入力Ｉ／Ｆ部３７の操作に応じてなされた指示に基づき、外部記憶装置６１に格納された画像を読み込むとともに、当該読み込んだ画像に応じた表示画像を生成して表示部３５へ出力することができるように構成されている。また、制御部３８は、表示部３５へ出力する表示画像に対して色空間変換、インターレース／プログレッシブ変換及びガンマ補正等の所定の画像処理を施すように構成されている。

本実施形態においては、プロセッサ３８ａが、記憶部３６から読み込んだプログラムを実行することにより、制御部３８と同様の処理及び動作等を行うものであってもよい。また、本実施形態においては、制御部３８が、プロセッサ３８ａの代わりに、例えば、ＦＰＧＡ等の集積回路を有して構成されていてもよい。

画像処理システム５１は、プロセッサ５２と、記憶装置５３と、通信ユニット５４とを含む。プロセッサ５２は、中央処置装置（以下、ＣＰＵという）５２ａ、ＲＯＭ、ＲＡＭなどのハードウエア回路５２ｂを有する。なお、プロセッサ５２は、ＣＰＵに代えて、あるいはＣＰＵとは別のＦＰＧＡ等の集積回路を含んでもよい。

記憶装置５３は、各種ソフトウエアプログラムを記憶している。各ソフトウエアプログラムは、プロセッサ５２のＣＰＵ５２ａにより読み出されて実行される。なお、各種プログラムの全部あるいは一部は、プロセッサ５２のＲＯＭに格納されていてもよい。

記憶装置５３には、画像処理システム５１の動作制御に用いられるプログラム、及び、被検体の三次元復元に係る処理を行うためのプログラムが記憶されている。また、記憶装置５３には、被検体の三次元復元に係る処理に必要な各種設定値やパラメータなども記憶されている。また、記憶装置５３には、内視鏡システム１など外部機器から取得する内視鏡画像等を格納することができるように構成されている。更に、記憶装置５３には、被検体の三次元復元に係る処理の結果（以下、三次元復元結果と示す）も格納される。記憶装置５３に格納された三次元復元結果は、内視鏡システム１などの外部機器により、通信ユニット５４を経由してアクセス可能である。

図３は、実施形態に係る画像処理システムの機能構成を説明するためのブロック図である。図３には、入力画像を用いて被検体である配管の三次元復元に係る処理に関する機能構成のみを示している。なお、本実施形態では、インクリメンタルＳｆМの手法を用いて三次元復元に係る処理行う場合について、以下に説明する。

配管の三次元復元に係る処理は、画像処理システム５１に設けられた画像処理部５１ａにおいて行われる。画像処理部５１ａは、画像取得部５１１と、特徴点対応付け部５１２と、初期化部５１３と、三次元復元部５１４と、円錐検出部５１５と、バンドル調整部５１６と、結果出力部５１７とを有して構成される。

画像取得部５１１は、内視鏡システム１において連続的に撮像された配管の内視鏡画像など、配管の撮影画像を時系列に取得する。撮影画像は、一定時間間隔で時系列に順次取得される。配管の撮影画像は、配管検査中にリアルタイムで内視鏡システム１から取得してもよいし、過去の検査において取得し記憶された時系列の撮影画像を、外部記憶装置や記憶装置５３などから取得してもよい。また、撮影画像のファイル形式や、サンプリングレートは特に限定されない。以下の説明において、時系列に入力される個々の撮影画像をフレームと示す。また、内視鏡システム１において撮影画像を撮像した時刻を、撮像した順に、０、１、２、…、ｔ－１、ｔ、ｔ＋１、…のように番号で表す。また、時刻ｔの撮影画像をフレームｔと呼ぶ。

特徴点対応付け部５１２は、画像取得部５１１において取得された各フレームから、例えばＳＩＦＴ（ＳｃａｌｅｄＩｎｖａｒｉａｎｃｅＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）のようなアルゴリズムを用いて画像の局所的特徴を、二次元特徴点として抽出する。二次元特徴点は、通常、各フレームにおいて多数抽出される。抽出された複数の二次元特徴点を、二次元特徴点群と示す。そして、複数のフレーム間(例えば、フレームｔ－１とフレームｔ)において二次元特徴点同士の対応付けを行う。

初期化部５１３は、初期画像ペアとして２つのフレームを選択する。初期画像ペアは、例えば、フレーム番号が最小のフレームと、２番目に小さいフレームが選択される。そして、初期画像ペアを用いて、三次元空間における初期画像ペアのカメラ位置姿勢を推定する。カメラ位置姿勢は、例えば、２フレーム間の５点以上の対応関係から、２フレームのカメラの相対的な位置姿勢（三次元空間での回転運動と並進運動）を推定するアルゴリズムなどを用いて推定する。また、初期化部５１３は、初期画像ペアにおいて推定されたカメラ位置姿勢、初期画像ペアにおける二次元特徴点の対応関係、及び、初期画像ペアの各フレームにおける二次元特徴点の撮影画像上での座標、の各情報に基づき、三次元空間における二次元特徴点の座標（三次元点座標）を算出する。三次元点座標の算出には、三角測量などの一般的な三次元座標算出手法を用いる。なお、二次元特徴点群に含まれる複数の二次元特徴点のそれぞれに対応する三次元点をまとめて、三次元点群と示す。なお、初期化における初期画像ペアの選択方法、カメラ位置姿勢推定および三次元点の座標算出方法等は、記載の手法に限らず、先行技術文献に記載の様に種々安定化手法を取り入れてよい。

三次元復元部５１４は、入力フレーム（例えば、フレームｔ）の二次元特徴点と、既に復元済の三次元点との対応付け情報から、入力フレームのカメラ位置姿勢を推定する。カメラ位置姿勢の推定は、例えば、公知の手法であるＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔｓ）問題を解くことにより推定することができる。また、三次元復元部５１４は、入力フレームを用いて三次元点座標を算出し、新たな三次元点を復元する。

推定部としての円錐検出部５１５は、新たな三次元点を含む三次元点群を用い円錐を検出する。一般的なインクリメンタルＳｆＭに係る処理では、逐次誤差の蓄積によってスケールドリフトが発生し、三次元復元結果に大きな誤差や歪みが生じてしまう。そこで、本実施形態では、被検体が配管、すなわち、一定の内径を有する筒形であることに着目し、該筒型の内壁に三次元点が位置することを利用して、三次元点の位置補正を行う。入力フレームにおいて円錐を検出し、円錐の軸（円錐の頂点から底辺の円の中心を結ぶ線）を、配管の中心軸として推定する。そして、円錐の軸から配管の半径（内径）の距離にある位置に三次元点をフィッティングすることにより、スケールドリフトを抑制する。なお、本実施形態では、配管の形状である筒型の中心軸を、スケールドリフトにより三次元点群に拡縮が生じた場合でも安定して推定するために、円錐を検出しているが、円錐のかわりに円筒など中心軸が特定できる形状を検出してもよい。また、配管が長手方向である被写体であることを利用して、三次元点群に主成分分析（PCA）を適用し、その主軸を中心軸としても良い。

円錐検出部５１５は、円錐検出と帰属判定とを行う。まず、円錐検出について説明する。円錐検出は、例えば、D. Lopez-Escogido and L. G. de la Fraga, “Automatic extraction of geometric models from 3D point cloud datasets,” in Proc. Electrical Engineering, Computing Science and Automatic Control (CCE), 2014.に開示されている手法を用いる。同次座標系の三次元点Ｘ＝[ｘ,ｙ,ｚ,ｌ]^Ｔが以下に示す（１）式を満たす場合、円錐の表面を表すと仮定する。

なお、Ｃは対称行列であり、以下に示す（２）式のように分解できる。

なお、ｃは円錐の傾きを表す定数（パラメータ）である。また、[Ｒ,ｔ]は、ｚ軸を円錐の主軸に揃える座標変換を表す三次元回転及び並進移動を表している。すなわち、[Ｒ,ｔ]は、検出された円錐の軸（円錐の頂点から底辺の円の中心を結ぶ線）を表している。上記（１）式は、次に示す（３）式のように書き換えることができる。

なお、ｖｅｒｈ（）は行列の下三角部分をベクトル化することにより得られる対称行列の半ベクトル化変換である。従って、（３）式の最小解は、９つの点で与えられる。このように、新たに復元された三次元点をフィッティングさせることにより、円錐形状を検出して円錐の軸を算出する。また、ノイズ点の影響を軽減するため、例えば、M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated
cartography,” Comm. ACM, vol. 24, no. 6, pp. 381-395, 1981. に開示されている RANSACの手法を用いる。検出された円錐は、円錐モデルとして登録される。なお、被検体である配管が複数の直管を組み合わせて構成されている場合、各直管に対応する複数の異なる円錐が検出される。この場合、円錐モデルには識別子（ＩＤなど）を付与し、異なる円錐に対応する円錐モデルには異なる識別子を付与する。例えば、検査開始後、最初に検出され登録された円錐モデルにはＩＤ＝０を付与する。次に新しく検出され登録された円錐モデルにはＩＤ＝１、その次に検出され登録された円錐モデルにはＩＤ＝２…のように、異なる円錐モデルが登録される都度、ＩＤ番号をインクリメントして付与する。

次に、帰属判定について説明する。帰属判定とは、入力フレームが既に検出されている円錐に属するか否の判定である。具体的には、入力フレームにおいて復元された複数の三次元点のうち、既に検出されている円錐の内表面に位置すると判定される三次元点の数や割合（既に検出されている円錐への三次元点のインライヤ数や割合）に基づき判定される。インライヤ数や割合が所定の閾値を超える場合、当該フレームは既に検出されている円錐に帰属すると判定される。インライヤ数や割合が所定の閾値以下である場合、当該フレームは既に検出されている円錐には帰属しないと判定される。既に検出されている円錐に属すると判定されたフレームや三次元点は、当該円錐に対応する円錐モデルに付与されているＩＤに紐づけられる。なお、帰属判定は、入力フレームにおいて復元された複数の三次元点のうち、既に検出されている円錐の内表面に位置しないと判定される三次元点の数や割合（既に検出されている円錐への三次元点のアウトライヤ数や割合）に基づき判定してもよい。

バンドル調整部５１６は、復元された三次元点やカメラ位置姿勢を補正する。バンドル調整部５１６は、再投影誤差と、円筒との誤差とを同時に最小化（最適化）することによりスケールドリフトを抑制する。ことにより、復元にかかる誤差を小さくする。バンドル調整部５１６は、具体的には、以下に示す（４）式を最小化するように、復元された三次元点やカメラ位置姿勢を補正する。

なお、Ｘは、三次元点の座標、Ｐは、登録された画像のカメラ位置姿勢、Ｋは、カメラの内部パラメータ、Ｃは、検出された円錐パラメータを示す変数である。（４）式の右辺第１項であるＥ_ｒｅｐ（Ｘ,Ｐ,Ｋ）は、一般的なバンドル調整で用いられる再投影誤差項である。また、（４）式の右辺第２項であるＥ_ｃｌｙ（Ｘ,Ｃ）は、円筒拘束項である。αは、再投影誤差項と円筒拘束項の重みを制御する定数スカラーである。

再投影誤差項は、次の（５）式のように表される。

なお、ρはロバスト関数であり、ｑ_ｉｊは、Ｘ_ｊに対応する二次元点を表している。（Ｘ_ｊは、ｊ番目の三次元点を表す。）また、π（Ｐ_ｉ,Ｋ_ｉ,Ｘ_ｊ）は、三次元点の画像面への投影関数を示しており、Ｐ_ｉはｉ番目のカメラ姿勢、Ｋ_ｉはｉ番目のカメラ内部パラメータを表している。すなわち、再投影誤差とは，画像上の特徴点の二次元座標と、該特徴点を三次元復元して得られた三次元点を、画像上に再投影して得られる二次元座標との差である。再投影誤差項の値が小さいほど、カメラ位置姿勢の推定精度や三次元点の復元精度がよいといえる。

円筒拘束項は、次の（６）式のように表される。

なお、ｒは既知の円筒半径値（配管の半径、円筒の中心軸から内表面までの距離）である。ｄ（Ｘ_ｊ, [Ｒ_ｉ,ｔ_ｉ]）は、ｊ番目の三次元点であるＸ_ｊの、円筒軸からの距離を算出する関数であり、[Ｒ_ｉ,ｔ_ｉ]は、検出した円錐の軸を表している。ここで、図４を用いて、関数ｄの具体的な算出方法について説明する。図４は、バンドル調整に用いる誤差関数の円筒拘束項を説明するための図である。図４において、太線は、被検体である配管をモデル化した円筒の表面を表している。また、二点鎖線で示す直線は、該円筒の延伸方向における中心軸（円筒軸）を表している。ここで、中心軸（円筒軸）は先に検出した円錐の軸に等しい。また、Ｖ_ｃは、円筒軸上の任意点を表しており、ベクトルｎ_ｃは、円筒軸方向の単位ベクトルを表している。

図４において、三次元点Ｘ_ｊの円筒軸からの距離ｄは、ベクトルＶ_ｃＸ_ｊとベクトルｎ_ｃとの外積で算出される。すなわち、関数ｄは、次の（７）式のように表される。

基準スケールとして用いられる、既知の円筒半径値ｒと、（７）式で算出される三次元点Ｘ_ｊの円筒軸からの距離ｄとの差が小さいほど、三次元点の復元精度がよいといえる。

バンドル調整部５１６は、既に検出されている円錐モデルに帰属するフレームや三次元点については、（４）式（再投影誤差項と円筒拘束項とを含む式）を用いてバンドル調整を行う。一方、いずれの円錐モデルにも帰属しないフレームや三次元点については、（５）式（再投影誤差項のみの式）を用いてバンドル調整を行う。すなわち、円錐モデルに帰属するフレームや三次元点については、再投影誤差最小化の観点に加え、既知のスケール（筒状の配管における配管延伸方向と平行な中心軸から配管内面までの距離）と、復元後の三次元点の円錐の軸からの距離の誤差の総和を最小化するように、カメラ位置姿勢及び三次元点座標が補正される。従って、スケールドリフトを抑制することができ、復元された配管の形状が先細りになるのを防止したり、延伸方向のずれを小さくしたりすることができるため、精度よく三次元復元することができる。

結果出力部５１７は、１フレーム分のバンドル調整が終了するたびに、三次元復元結果（具体的には、バンドル調整後の三次元点座標、及び、カメラ位置姿勢）を、記憶装置５３や内視鏡システム１、外部記憶装置などに対して出力する。

このように構成された画像処理システム５１における、三次元復元に係る処理の詳細について、図５を用いて説明する。図５は、実施形態に係る画像処理システムにおいて行われる処理等を説明するためのフローチャートである。

画像取得部５１１は、内視鏡システム１において連続的に撮像された配管の撮影画像を、時系列に取得する（図５、ステップＳ１）。少なくとも最初の２フレーム（フレーム０、フレーム１）を取得すると、特徴点対応付け部５１２において、最後に入力されたフレームと、その直前に入力されたフレームについて二次元特徴点を抽出し、二次元特徴点同士の対応付けを行う（図５、ステップＳ２）。

カメラ姿勢位置が推定されていない場合（図５、ステップＳ３、Ｎｏ）、初期化部５１３は、入力された２つのフレームであって、二次元特徴点同士に対応付けがなされているものを選択し初期化を行う（図５、ステップＳ４）。具体的には、選択した２つのフレームを初期画像ペアとし、三次元空間における初期画像ペアのカメラ位置姿勢を推定する。また、初期化部５１３は、三次元空間における二次元特徴点の座標（三次元点座標）を算出する。

ステップＳ４において初期化が終了すると、処理対象かつ未取得のフレームが存在する場合(図５、ステップＳ１０、Ｙｅｓ)、ステップＳ１に戻り次のフレーム（フレーム２）を取得する。続いて、特徴点対応付け部５１２において、取得したフレームにおける二次元特徴点を抽出し、直前に取得したフレームとの間で二次元特徴点同士の対応付けを行う（図５、ステップ２）。

カメラ姿勢位置の推定などの初期化は既に完了しているので（図５、ステップＳ３、Ｙｅｓ）、三次元復元部５１４は、最新の取得フレームの二次元特徴点と、既に復元済の三次元点との対応付け情報から、最新の取得フレームのカメラ位置姿勢を推定する。また、三次元復元部５１４は、入力フレームを用いて三次元点座標を算出し、新たな三次元点の復元を行う（図５、ステップＳ５）。

続いて、円錐検出部５１５は、入力フレームにおいて検出された三次元点を用い、円錐を検出する（図５、ステップＳ６）。ステップＳ６における円錐検出処理の具体的な手順を、図６に示すフローチャートを用いて説明する。図６は、図５における円錐検出処理を説明するためのフローチャートである。

まず、円錐検出部５１５は、帰属判定を行う（図６、ステップＳ６１）。フレーム２の処理時点では、円錐検出は行われておらず、円錐自体が未検出であるので、帰属判定対象の円錐が存在しない。従って、帰属判定結果としては「円錐に帰属しない」となる。既に他のフレームから１つ以上の円錐が検出されており円錐モデルとして登録されている場合、登録されている円錐モデルに対し、ステップＳ５において復元された三次元点について、登録されている円錐モデルに対する帰属判定を行う。帰属判定は、円錐モデルへの復元された三次元点のインライヤ数と割合を基準に判定する。インライヤ数や割合が基準として設定されている閾値より大きい場合、最新の取得フレームは「円錐に帰属する」と判定する。この場合、当該フレーム、及び、インライヤの三次元点を、帰属する円錐モデルのＩＤにラベリングし、帰属関係を明確にする。一方、インライヤ数や割合が基準として設定されている閾値以下の場合、当該フレームは「円錐に帰属しない」と判定する。ここでは、帰属判定を、円錐から判定しているが、円筒半径値と推定した中心軸とで構成される円筒から判定してもよい。

次に、円錐検出部５１５は、円錐検出を行う（図６、ステップＳ６２）。ステップＳ６１において、「円錐に帰属しない」と判定されたフレームは、いずれの円錐モデルにも帰属していない三次元点に対して、新たな円錐検出を行う。新たに検出した円錐に関し、円錐検出に用いた三次元点のインライヤ数と割合を求める。これらが基準として設定されている閾値よりも大きい場合、円錐検出に成功したと判定し、検出した円錐を新たな円錐モデルとして登録する。そして、当該フレームを、「円錐に帰属する」と判定する。この場合、当該フレーム、及び、インライヤの三次元点を、新規に登録した円錐モデルのＩＤにラベリングし、帰属関係を明確にする。

一方、ステップＳ６１において、「円錐に帰属する」と判定されたフレームは、当該フレームにおいて新たに復元した三次元点の中から、円錐モデルについてインライヤと判定された三次元点を抽出する。抽出された三次元点を、当該円錐モデルに既に帰属する三次元点に加えて、円錐検出を再度行い、当該円錐モデルの円錐パラメータを更新する。

以上、図６のフローチャートに示す手順を実行し、図５のステップＳ６における円錐検出処理を終了すると、バンドル調整部５１６は、最新の取得フレームが登録されている円錐モデルのいずれかに帰属しているか否かを判定する（図５、ステップＳ７）。図５にステップＳ６において、当該フレームが「円錐に帰属する」と判定されている場合（図５、ステップＳ７、Ｙｅｓ）、バンドル調整部５１６は、円錐モデルに帰属するフレームや三次元点については、（４）式（再投影誤差項と円筒拘束項とを含む式）を用いて円筒拘束バンドル調整を行う（図５、ステップＳ８）。一方、当該フレームが「円錐に帰属しない」と判定されている場合（図５、ステップＳ７、Ｎｏ）、いずれの円錐モデルにも帰属しないフレームや三次元点については、（５）式（円筒拘束項がない再投影誤差項のみの式）を用いてバンドル調整を行う（図５、ステップＳ９）。

なお、図５のステップＳ８における円筒拘束バンドル調整、及び、ステップＳ９におけるバンドル調整の適用範囲は、以下の二種類がある。すなわち、最新の取得フレームの近傍範囲のみを適用範囲とするものと、全ての取得フレームを適用範囲とするものである。前者は、ローカルバンドル調整と呼ばれ、通常、フレームを取得する都度実行される。後者は、グローバルバンドル調整と呼ばれ、一定間隔ごとに（例えば、所定数のフレームが追加されたタイミングで）実行される。ローカルバンドル調整とグローバルバンドル調整とを適切な頻度で組み合わせて実行することで、処理コストの増大を抑制しつつ復元精度を向上させることができる。

図５のステップＳ８における円筒拘束バンドル調整、または、ステップＳ９におけるバンドル調整が終了すると、処理対象かつ未取得のフレームが存在するか否かを判定する(図５、ステップＳ１０)。処理対象のフレームが存在する場合（図５、ステップＳ１０、Ｙｅｓ)、ステップＳ１に戻り次のフレーム（フレーム３）を取得し、当該フレームについて、ステップＳ２からステップＳ８（またはステップＳ９）の一例の処理を実行する。一方、全てのフレームについて処理が完了し、所定対象のフレームが存在しない場合（図５、ステップＳ１０、Ｎｏ)、画像処理システム５１における、三次元復元に係る一連の処理を終了する。なお、上述に示す一連の処理により算出された、三次元復元結果（複数の三次元点座標、及び、カメラ位置姿勢）を１つに統合するための高密度化処理を行うことにより、被検体の三次元形状モデルを作成することも可能である。

バンドル調整により補正された三次元点座標、及び、カメラ位置姿勢は、結果出力部５１７から記憶装置５３や内視鏡システム１、外部記憶装置などに対し、所定のタイミングで出力される。所定のタイミングとは、例えば、１フレーム分のバンドル調整が終了する都度としてもよいし、全てのフレームの処理後としてもよい。

以上のように、上述した実施形態によれば、再投影誤差を最小化する条件に加え、配管の中心軸からの距離の誤差（配管の半径（内径）からの誤差）を最小化する円筒拘束条件を用いて、復元した三次元点座標のバンドル調整を行う。これにより、被写体である配管を撮像した画像に対し、スケールドリフトを抑制して精度の高い三次元復元を行うことができる、画像処理システム、及び、画像処理方法、並びに、画像処理プログラムを提供することができる。

なお、バンドル調整の円筒拘束条件で用いる円筒半径値ｒは、設定値として検査者などにより予め与えられた値を用いることが望ましいが、三次元復元に係る上述の処理の初期段階において、例えば、円錐検出部５１５が、復元された三次元点座標と円錐の軸（推定した中心軸）との距離から推定した値を用いてもよい。

また、図１に示すように、画像処理システム５１は、インターネット７０を含むネットワークを経由してクラウド８０上のサーバ８１と接続され、画像処理システム５１の画像処理部５１aにおける１つ以上の機能がサーバ８１上で実行されるように構成してもよい。また、画像処理システム５１は、記憶装置６１と接続され、記憶装置６１から入力画像を取得したり、記憶装置６１へ三次元復元結果を出力したりすることが可能な構成にしてもよい。この場合、画像処理システム５１と記憶装置６１とは、直接的に接続されていてもよいし、インターネット７０やＬＡＮ、ＷＩＦＩなどの通信網を含むネットワークを経由して情報を送受信可能に接続されていてもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１内視鏡システム、２内視鏡、３本体装置、５挿入部、６操作部、６ａ湾曲操作子、７ユニバーサルコード、１１先端部、１２湾曲部、１３可撓管部、２１光源部、２１ａ発光素子、２１ｂ照明光学系、２２撮像部、２２ａ観察光学系、２２ｂ撮像素子、３１光源駆動部、３２撮像素子駆動部、３３湾曲駆動部、３４画像生成部、３５表示部、３５ａタッチパネル、３６記憶部、３７入力I／F部、３８制御部、３８ａプロセッサ、３９外部記憶装置、４０接続ポート、５１画像処理システム、５１ａ画像処理部、５２プロセッサ、５２ａ中央処理装置（ＣＰＵ）、５２ｂハードウエア回路、５３記憶装置、５４通信ユニット、６１記憶装置、７０インターネット、８０クラウド、８１サーバ、１００配管検査システム、５１１画像取得部、５１２特徴点対応付け部、５１３初期化部、５１４三次元復元部、５１５円錐検出部、５１６バンドル調整部、５１７結果出力部。

Claims

カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理システムであって、
前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定する推定部と、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正するバンドル調整部と、を有し、
前記推定部は、前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出し、抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定する、
画像処理システム。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理システムであって、
前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定する推定部と、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正するバンドル調整部と、を有し、
前記半径は、前記推定部より推定された値が用いられることを特徴とする、
画像処理システム。
前記推定部は、前記三次元点群から円錐を検出し、検出した前記円錐から、前記第１中心軸を推定することを特徴とする、請求項１または請求項２に記載の画像処理システム。
前記半径は、前記被写体の実測値に基づき予め設定された値が用いられることを特徴とする、請求項１または請求項２に記載の画像処理システム。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理方法であって、前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定し、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正し、
前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出し、
抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定する、
画像処理方法。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理方法であって、
前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定し、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正する画像処理方法であって、
前記半径は、前記第１中心軸を推定する推定部より推定された値が用いられることを特徴とする、画像処理方法。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理プログラムであって、
前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定するステップと、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正するステップと、
前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出するステップと、
抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定するステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理プログラムであって、
前記撮影画像から抽出された特徴点群を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定するステップと、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離との差の総和を最小化する条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正するステップと、
をコンピュータに実行させる画像処理プログラムであって、
前記半径は、前記第１中心軸を推定する推定部より推定された値が用いられることを特徴とする、画像処理プログラム。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理システムであって、
前記撮影画像から抽出された局所的特徴を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定する推定部と、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離とに基づく拘束条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正する補正部と、を有し、
前記推定部は、前記三次元点群から、前記半径と前記距離との差が所定の範囲内若しくは範囲外にある前記三次元点を抽出し、抽出した前記三次元点の数と前記三次元点群に対する割合との少なくとも一方に基づいて、前記第１中心軸とは異なる第２中心軸を推定するか否かを判定する、
画像処理システム。
カメラにより筒形状の被写体の内部を撮影して得られた撮影画像を用いて、前記カメラの位置および姿勢を推定し、前記被写体の三次元復元処理を行う画像処理システムであって、
前記撮影画像から抽出された局所的特徴を、三次元空間に復元して得られる三次元点群を用い、前記筒形状の第１中心軸を推定する推定部と、
前記筒形状の半径と、前記第１中心軸から前記三次元点群を構成する個々の三次元点までの距離とに基づく拘束条件を用いて、前記カメラの位置および姿勢と前記三次元点群の座標を補正する補正部と、を有し、
前記半径は、前記推定部より推定された値が用いられることを特徴とする、
画像処理システム。