JP2018130537A

JP2018130537A - オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置

Info

Publication number: JP2018130537A
Application number: JP2018013654A
Authority: JP
Inventors: カン−フアイ・ワン; Kang-Huai Wang; 晨愉伍; Chenyu Wu; 毅徐; Takeshi Jo
Original assignee: Capsovision Inc
Current assignee: Capsovision Inc
Priority date: 2017-01-30
Filing date: 2018-01-30
Publication date: 2018-08-23
Also published as: CN108392165A; WO2018140062A1

Abstract

【課題】本発明は、オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置を提供する。また、本発明は、カメラ付きカプセル装置を用いてシーンの画像をキャプチャする方法および装置を提供する。【解決手段】カプセル装置が人体の胃腸管を通過する時、該カメラを用いて画像シーケンスをキャプチャする。また、該カプセル装置が人体の胃腸管を通過する時、該カメラを用いて該カメラの視野中の一つ又は複数のオブジェクトに構造化光を投射することにより構造化光画像をキャプチャする。該構造化光画像は該正規の画像とはインターリーブされる。該カメラに対する該正規の画像におけるオブジェクトに関わる距離情報を導出する。該画像シーケンスおよび該距離情報の両方を出力する。本発明も該距離情報を用いて関心のオブジェクトのサイズを判定する方法を提供する。他の方法において、該距離情報はオブジェクトの拡大縮小又は強度の調整に用いられる。【選択図】図３

Description

本発明は、診査の目的に人間の胃腸管の画像をキャプチャするための内視鏡に関し、特に、カメラの視野におけるオブジェクトの距離の測量に用いられる内視鏡に関する。距離情報は、キャプチャされた画像シーケンスの処理に用いられ、例えば、関心のオブジェクトのサイズを測量すること、または観察時間を減縮するために映像シーケンスをステッチ(stitch)することに用いられる。

［関連出願の参照］
本発明は、２０１７年１月３０日付でＰＣＴ国際特許出願のＰＣＴ/ＵＳ１７/１５６６８号の継続出願であり、当該ＰＣＴ国際特許出願の優先権を主張した。また、本発明は、２０１５年１０月１６日付で出願された米国特許出願第１４/８８４,７８８号の一部の継続出願であり、当該米国特許出願の優先権を主張した。当該ＰＣＴ国際特許出願および当該米国特許出願の全体内容が本発明に引用されている。

従来、内視鏡と自主密閉型カメラ(autonomous encapsulated camera)とを含む生体の体腔または通路の画像を生成する画像装置は知られている。内視鏡は、体の開口部または手術の開口から体内に挿入されるフレキシブルまたは剛性パイプであり、一般的には口を介して食道に、または直腸を介して結腸に通される。先端でレンズを用いて画像が形成され、レンズ中継系またはコヒーレント光ファイバ束(coherent fiber-optic bundle)のいずれかによって体外の手元端へ伝送される。概念的に類似している機器として、例えばＣＣＤまたはＣＭＯＳアレイを用いて先端で画像を電子的に記録し、画像データを電気信号としてケーブルを介して手元端へ転送することもある。内視鏡は、医師が視野をコントロールすることが可能であるので、広く使われている診断ツールである。

カプセル内視鏡は、近年開発されている上記とは別種類の体内内視鏡である。カプセル内視鏡では、カメラが、主に該デジタルカメラによって記録された画像を含んだデータを体外のベースステーション受信機または送受信機及びデータ記録器に伝送する無線（radio）伝送器と共に、嚥下可能なカプセル内に収納される。該カプセルは、ベースステーションから命令またはその他のデータを受信するための無線受信機を含んでもよい。無線周波数の送信の代わりに、周波数の低い電磁信号を使用してもよい。電力は、誘導方式により外部インダクタから該カプセルの内部インダクタに供給されてもよく、またはカプセル内のバッテリーから供給されてもよい。

２０１１年７月１９日付で許可された出願名称が“In Vivo Autonomous Camera with On-Board Data Storage or Digital Wireless Transmission in Regulatory Approved Band” である特許文献１には、内蔵(on-board)データストレージ付の自主型カプセルカメラシステム（autonomous capsule camera system）が開示されている。当該内蔵ストレージ付カプセルカメラは、取得した画像を非揮発性メモリ保存する。カプセルは、人体から離脱した後に回収される。回収されたカプセルカメラにおける不揮発性メモリに保存されている画像は、当該カプセルカメラにおける出力ポートを介してアクセスされる。

この内視鏡は、人体の胃腸管を結像する場合、一つの主要な目的として、いかなる可能性のある異常を識別することである。なんらかの異常が発見されると、さらなる関心の目標は、その異常の特性を判定することにあり、例えば、当該異常のサイズが挙げられる。そのキャプチャされた画像が医学の専門的な検査を受け、検査または診断に用いられる。一般的には、キャプチャされた画像の数は２５０００またはそれ以上である。その画像を判定するために、その技術を熟知している専門家でも、長い検閲時間が必要である。したがって、検閲する画像の数を減少するためには、画像ステッチが利用される。一例として、２０１４年１２月４日付公開されたＰＣＴ国際特許出願の特許文献２には、カプセルカメラによりキャプチャされた画像を画像ステッチする技術が開示されている。そして、画像ステッチの効率をさらに改良できる方法または装置の開発が必要である。

米国特許第７，９８３，４５８号公報ＷＯ２０１４/１９３６７０Ａ２号公報

本発明は、カプセルカメラを使用してシーン(Scene)の画像をキャプチャする方法および装置が開示されている。患者が該カプセルカメラを嚥下してから、該カプセルカメラが胃腸管を経由している時、該カプセルカメラが画像をキャプチャする。また、該カプセルカメラが胃腸管を経由している時、構造化光画像(structured- light image)をキャプチャする。正規の画像および該構造化光画像または該構造化光画像の導出情報の両方を出力する。該カプセルカメラに対する該正規の画像におけるオブジェクトに関わる距離情報を導出することができる。

該距離情報と該正規の画像の対応画像との関連情報を出力する。該関連情報は、該正規の画像の対応画像のフレーム数またはキャプチャ回数に対応される。

本発明は、さらに画像において関心のオブジェクトのサイズを判定する方法が開示されている。該カプセルカメラにキャプチャされた正規の画像および該構造化光画像を受け取る。該正規の画像における該オブジェクトの該カメラに対する該距離情報は、該構造化光画像から導出される。選定された正規の画像における関心のオブジェクトのサイズは、目標オブジェクトの画素データおよび該距離情報により判定される。該関心のオブジェクトの該サイズは、カプセルカメラまでのオブジェクト距離と該カプセルカメラの焦点距離との倍率により拡大縮小された該選定された正規の画像における該関心のオブジェクト画像の画像サイズにより決定される。該関心のオブジェクト画像のサイズは、該選定された正規の画像における該関心のオブジェクトの画素数に基づいて測量して得たものである。

本発明は、さらに該距離情報を含んだ情報を使用して該正規の画像をステッチすることで、ステッチされた画像シーケンスを生成する方法を開示している。また、該構造化光画像により該距離情報を導出することができる。一つの実施例として、該正規の画像のステッチのために、該距離情報は、該正規の画像における該オブジェクトの拡大縮小に使用される。もう一つの実施例として、該画像シーケンスのステッチのために、該距離情報は、該正規の画像の画像強度の調整に使用される。

図１は、オブジェクトのサイズと、対応オブジェクト画像のサイズと、オブジェクト距離と、カメラの焦点距離との関係の例示する図である。図２Aは、異なる二つのオブジェクト距離でキャプチャした二つの画像における同一のオブジェクトのオブジェクト画像の異なるサイズを例示する図である。図２Bは、異なる二つのオブジェクト距離でキャプチャした二つの画像における同一のオブジェクトのオブジェクト画像の異なるサイズを例示する図である。図３は、本発明の実施例により正規の画像と構造化光画像をキャプチャするフローチャートを例示する図であり、該構造化光画像は、該カメラに対する該正規の画像におけるオブジェクトに関わる距離情報を導出するものである。図４は、本発明の実施例により、該オブジェクトの画素データと該距離情報に基づいて、正規の画像における関心のオブジェクトのサイズを判定するフローチャートを例示する図である。図５は、本発明の実施例により、該距離情報を含んだ情報を使用して正規の画像をステッチして、ステッチされた画像シーケンスを生成することを例示する図である。

本明細書及び図面に説明または示されるように、本発明の要素が、様々の異なる態様を利用して設置及び設計されることは容易に理解できる。そのため、図に示されるように、下記の本発明の実施形態のさらなる詳細の説明は、特許請求の範囲に請求される本発明の範囲を限定するものではなく、本発明の好ましい実施形態を示すだけのものである。本明細書に亘って記載の“１つの実施形態”、“実施形態”、または類似する用語は、実施形態に関して説明される特定の特徴、構造または特性が本発明の少なくとも一つの実施形態に含まれることを意味する。従って、本明細書に亘る各箇所における“一つの実施形態においては”または“実施形態においては”という用語は、必ずしも同一の実施形態を意味するわけではない。

また、１つまたは多数の実施形態において、記載された特徴、構造または特性をいかなる適切な方法によって組み合わせてもよい。しかしながら、この分野における当業者は、本発明は、１つまたは多数の特定な細部を省略した状態において、または他の方法や部材などにより実施可能であることはこの分野における当業者であれば自明である。他の実施例において、本発明の態様を紛らわしくさせないために、周知構造及び操作は詳細に表示または記載しない。本発明に示される実施形態は図面を参照すれば最良に理解でき、全文に亘って同一の部材は同一の符号が付される。下記説明は、単に例示であり、かつ特許請求の範囲に記載の発明にかかる装置と方法と一致する選択された実施形態を簡略に示すものに過ぎない。

一般的には、内視鏡が口腔または肛門などの天然開口を経由して人体内に挿入される。このため、内視鏡は、侵入性を最小化するように、小さいサイズであることが好ましい。上記のように、内視鏡は、人体の胃腸(GI)管の診断に利用可能である。キャプチャした画像シーケンスを観察することで、いかなる可能性のある異常を識別することができる。いかなる異常を発見した場合、次の目的は、例えば、サイズなどの異常の特性の識別である。したがって、本発明の開示は、該カメラと該カメラの視野中のオブジェクトの異なる位置とのオブジェクト距離を測る距離測量装置を含む内視鏡である。

該カメラと該カメラの視野中のオブジェクトの異なる位置とのオブジェクト距離を測る装置は、いろいろ種類がある。一例として、距離測量装置の一つは、飛行時間(ToF, Time of Flight)又は光源の位相ずれに基づいて該距離を判定する。該光源はレーザー又は発光ダイオード(LED, Light Emitting Diode)であってもよい。光センサーは該反射光を検出するものである。該光源からの出射光と該光センサーへの入射光との間の時間差又は位相差から該距離を判定する。超音波もオブジェクトと該カメラ(胃腸結像に応用される)との距離の測量に適用可能な信号源である。当該距離測量装置は従来のものであり、かつ、光又は超音波を使用してToF又は位相ずれに基づいて該距離測量を述べる種々の文献が知られている。このため、本発明において光又は超音波を使用してToF又は位相ずれに基づく距離測量装置の細部を省略する。

光源は距離を測るものであれば、該距離を測るための該光は、画像をキャプチャしている期間に胃腸管を照明する閃光と干渉(interfere)する。この場合、距離を測るための該光と画像をキャプチャする該閃光を同時に印加せず、または少なくとも一つの光源を実質的に暗くすることが必要である。該距離情報を個別に格納してもよく、関係画像とともに格納してもよい。該距離情報は、関係画像の前または後でキャプチャされてもよい。該距離情報は個別に格納された場合、該関係画像の関連情報(この発明では関係情報)も格納され、該距離情報を適宜に使用させられる。該関係情報は、該関係画像をキャプチャした時間、フレーム時間、あるいはフレーム数であってもよい。超音波により該距離を測れば、超音波による距離測量は該閃光の印加による該胃腸管の画像キャプチャと同時に発生することができる。

光又は超音波を使用してToF又は位相ずれに基づく距離測量装置の使用が知られているが、このような距離測量装置を内視鏡内に取り付けることは、難しくて費用がかかり、それはサイズが大きくて内視鏡への適用は不適切だからである。したがって、他の距離測量装置は、画像センサーを使用してキャプチャした画像により画像処理を行う。

一例として、奥行情報を取得する一つの技術として、選定されたセンサーの頂部に設けた、適宜に狭い通過帯域を有し、かつ色彩情報および奥行情報を同時に取得するカラーフィルタを使用するものである。該カラーフィルタの通過帯域での周波数スペクトルを有する環境光源により、無視してもよいエネルギが該センサーに投射される。ＲＧＢ画素では、それら画素の頂部に設けられたフィルタの通過帯域において周波数スペクトルを有する光をキャプチャするための第４種類の画素を追加してもよい。そして、該通過帯域における周波数スペクトルを実質的に有する構造化光を該シーンに投射することができる。しかし、この手段によれば、当該画像センサーがキャプチャした画像又はビデオの空間的な識別率を低減させるので、伝統的でないカラーフィルタが必要である。

もう一つの技術は、ＲＧＢセンサーで視認できる構造化光画像により奥行情報および３Ｄトポロジを取得する。しかし、リアルタイムの画像及び／又はビデオはその上に与えられた該構造化光画像に混ぜられる。構造化光画像をキャプチャした場合、該シーンにおけるオブジェクトの奥行又は形状の情報を導出することができる。当該奥行又は形状の情報は該画像又は該構造化光画像の直前又は直後にキャプチャした画像に応用される。また、該正規の画像は、カプセル内視鏡により非常に遅いフレーム率で(例えば、５フレーム／秒)キャプチャされたものなので、該シーンは該構造化光でキャプチャした該画像に対応し、かつ該シーンは正規の画像に対応し、該内視鏡の移動又は腸の蠕動により、それら画像が明らかに異なっている。２０１５年１０月１６日付で出願した米国特許出願第１４/８８４,７８８号には、該構造化光画像から導出された奥行の情報の精度を改良するために、フレーム周期が短くされた構造化光画像が開示されている。時間的には、該構造化光画像は該正規の画像に近接しているので、それにより導出された奥行の情報は、より長いフレーム周期を有する構造化光画像により導出された情報に比較して、正確である。

構造化光に基づく距離測量装置を使用すると、該奥行(すなわち、距離である)の情報は構造化光画像により導出される。つまり、処理されていない距離情報は構造化光画像の形式で格納される。この場合、該距離情報(すなわち、該構造化光画像)を個別に格納してもよく、正規の光により取得した関係画像とともに格納してもよい。該距離情報を、関係画像の前又は後で取得することができる。該距離情報を個別に格納すれば、該関係画像の該関連情報(すなわち、関係情報)をも格納するので、該距離情報が適宜に使用できる。この分野には、該構造化光画像から該奥行の情報を導出する技術が知られている。本開示では、該構造化光画像から該奥行の情報を導出する細部を省略する。

内視鏡において焦点距離は設計により既知のものである。オブジェクトと当該カメラとの距離(この発明では、オブジェクト距離をいう)を判定できれば、オブジェクトのサイズは幾何学のみで判定できます。図１においてオブジェクトからカメラまでの距離に基づきオブジェクトのサイズを判定する簡易例を示す。カメラシステムにおいて、該画像センサーはレンズ１１０の後ろ側の焦点平面１２０に設けられている。該カメラは該視野から延出している角度αのシーンを取得する。焦点距離ｆは該レンズと該画像センサーとの距離である。一般的には、該焦点距離の内視鏡に対する応用は一定であり、かつ、設計によって既知のものである。しかし、カプセル内視鏡が該胃腸管を通過するとき、該オブジェクトの距離Ｄは、該カプセル内視鏡の位置および結像された該胃腸管の相対的角度に応じて変化する。該距離Ｄは既知であれば、オブジェクトのサイズは、該画像における該オブジェクト画像のサイズを測定することによりキャプチャした該画像から判定されることが可能である。一例として、高さＨを有するオブジェクト１３０から該カメラまでの距離がＤであれば、当該オブジェクト画像の高さＨは、該画像における該オブジェクト画像の高さｈに基づき、以下の式１から導出することができる。

上記の式(１)において、ｈは該画像から測り、該焦点距離ｆは設計によって既知のものであり、該距離Ｄは上記選定された距離測量装置により判定されて得たものである。したがって、該距離を判定できれば、該オブジェクトのサイズを導出することができる。該画像における該オブジェクトの実際のサイズは測量可能である。しかし、該画像はデジタル方式で取得されるので、画素の数で該サイズの測量を描写することは、より便利である。そして、画像センサーの表面の実際のサイズと光学的足跡(optical footprint)は既知のものである。また、画素の数は既知のものである(例えば、３２０×２４０)。このため、該画像における該オブジェクト画像のサイズは画素の数により測量可能であり、それを該画像における実際のオブジェクト画像のサイズに変換することもできる。

上記のように、該画像における該オブジェクト画像のサイズは、実際のオブジェクトのサイズおよびそれから該カメラまでの距離と関係する。近い箇所にある小さいオブジェクトは遠い箇所にある大きいオブジェクトと同一のサイズを有するように見える。一例として、該オブジェクト１４０はオブジェクト１３０よりも小さいが、距離がより近いので、該画像においてオブジェクト１３０と同一の高さを有するように見える。このため、該距離は該オブジェクトのサイズの重要な情報となる。したがって、以上開示している距離測量装置は、内視鏡がキャプチャした画像に基づいてオブジェクトのサイズを判定する。

距離情報は画像ステッチにも効果的である。実際のオブジェクトモデルが理想的な状態では、キャプチャされた画像におけるオブジェクトのサイズの変化は登録処理(registration process)により暗黙的に対応される。異なる画像における対応オブジェクトは識別および登録される。異なる画像において、異なる変化の異なるサイズの想定は該登録処理により考慮されている。目標の画像において異なるサイズを有する該オブジェクトは該参照フレームにおける対応オブジェクトにマッチされる。同様に該画像を適宜に拡大縮小およびステッチするように、グローバル動きモデル(global motion model)を該目標の画像に適用して該オブジェクトを拡大縮小する。しかし、一般的には、該胃腸管環境におけるオブジェクトに関わる画像は理想の実際のオブジェクトモデルとはかなり異なっている。なお、最適化処理は例えば距離の変量に及ばす場合、繰り返し処理は常に収束または局所最小値(local minima)に収束するとは限らない。よく知られているように、繰り返し処理が登録処理全体の一部に用いられることは普通のことである。一つの実施例として、該距離情報は拡大縮小に用いられる。特に、該距離情報は、該画像の登録に寄与するので、該登録の正確さを改良することができる。

図２Aと図２Bは、異なる二つのオブジェクト距離で同一のオブジェクトをキャプチャした二つの画像におけるオブジェクト画像の異なるサイズを例示する図である。図２Aにおいて、例示２１０は、該カプセル２１１が該胃腸管２１２の関心のオブジェクト２１３から遠い状態に対応する。画像２２０は、例示２１０においてキャプチャされた該画像に対応する。図２Ｂにおいて、例示２３０は、該カプセル２１１が該胃腸管２１２の関心のオブジェクト２１３から近い状態に対応する。画像２４０は、該例示２３０においてキャプチャされた該画像に対応する。ここで、画像２４０は、該胃腸管の管壁に近いカメラがキャプチャした画像である。このため、該画像２４０における該オブジェクト画像が該画像２２０における該オブジェクト画像よりも大きいように見える。したがって、該距離情報はその二つの画像における該オブジェクトの拡大縮小に利用可能である。

該胃腸管環境において、常に該視野を照明する光源で画像をキャプチャする。該カメラが胃腸管の管壁に近づくと、結像された該オブジェクトが明るく、該画像の強度が高い。一方、該カメラが胃腸管の管壁から離れると、結像された該オブジェクトが暗く、該画像の強度が低くなる。このため、画像全体の強度が該視野における該オブジェクトと該カメラとの距離と関係がある。該胃腸管の環境において、該オブジェクトからカメラまでの距離がかなり短いので、画像全体の強度の変化がかなり大きくなる。このような大きな強度の変化により該登録の性能を劣化するので、該ステッチの性能を低減させる。

したがって、この発明のもう一つの実施例は、登録された二つの画像の画像強度は、該距離により調整される。画素の強度は距離の平方又は他の関数に反比例する。関数の形式で表すことに代わって、該画素の強度と該距離の関係をテーブルの形式で表すことができる。画像の近い箇所にある強度を低減するように調整して他の画像の遠い箇所にある強度にマッチすることができる。または、画像の遠い箇所にある強度を向上させるように調整して他の画像の近い箇所にある強度にマッチすることができる。強度の調整で異なる距離による変化を補償したら、該登録および画像のステッチをより良好に実行されるはずである。

図３は、本発明の実施例により正規の画像と構造化光画像をキャプチャするフローチャートを例示する図であり、該距離情報は該構造化光画像から導出されるものである。ステップ３１０において、該カプセル装置を患者に投与する。ステップ３２０において、非構造化光光源から非構造化光を該カメラの視野中のシーンに投射する。ステップ３３０において、該カプセル装置が人体の胃腸管を通過する時、該カメラを利用して該カメラの共通の画像平面に形成された正規の画像をキャプチャする。ステップ３４０において、構造化光光源から構造化光を該カメラの視野中のシーンに投射する。ステップ３５０において、該カプセル装置が人体の胃腸管を通過する時、該カメラを利用して該構造化光画像をキャプチャし、該構造化光画像は正規の画像とインターリーブして、該正規の画像における該カメラに対するオブジェクトの距離に関する情報を導出する。ステップ３６０において、該構造化光画像または該構造化光画像から導出した情報を出力する。ステップ３７０において、該距離情報を出力する。該構造化光画像から抽出した該距離情報は、個別の距離情報が該画像又は該視野において一つの箇所以上で判定したものである。この発明は、画像中の一つ又は複数の箇所を含むことを指す。

図４は、本発明の実施例により、該オブジェクト画像シーケンスと該距離情報に基づいて、該画像シーケンスにおいて関心のオブジェクトのサイズを判定するフローチャートを例示する図である。ステップ４１０において、該カプセル装置が人体の胃腸管を通過する時、該カプセル装置がキャプチャした正規の画像を受け取る。ステップ４２０において、該カプセルカメラが選定した正規の画像におけるオブジェクトに対する該距離情報を判定する。ステップ４３０において、該目標オブジェクトの画素データと該距離情報に基づいて、該選定された正規の画像における関心のオブジェクトのサイズを判定する。ステップ４４０において、該関心のオブジェクトのサイズに関するサイズ情報を出力する。

図５は、本発明の実施例により、該距離情報を含んだ情報を使用して画像シーケンスをステッチしてステッチされた画像シーケンスを生成する典型的なフローチャートである。ステップ５１０において、該カプセル装置が人体の胃腸管を通過する時、該カプセル装置がキャプチャした正規の画像を受け取る。ステップ５２０において、該カプセル装置が人体の胃腸管を通過する時、該カプセルカメラが選定した正規の画像における一つ又は複数のオブジェクトに対する該距離情報を判定する。ステップ５３０において、該距離情報を含んだ情報を使用して該正規の画像をステッチしてステッチされた画像シーケンスを生成する。ステップ５４０において、該ステッチされた画像シーケンスを出力する。

上記により、当業者が特別の応用およびその要求の記載に提供された本発明を実施することができる。該記載の実施例のいろいろな変更は、当業者にとっては明らかであるので、本開示に定義された一般的な原則は他の実施例に応用可能である。したがって、この発明はそれら開示された実施例に限定されず、該原則およびここで開示された新規性特徴と一致する最大の範囲に符合する。以上詳しく記述された内容において、この発明を全般的に理解するために、異なる特定の細部を例示した。ところが、この発明を熟知している者が、この発明は実施可能であることを理解しうるであろう。

本発明は、その精神及び本質特徴から逸脱しない範囲で他の特定の形式で実施することができる。説明された例は説明するためのものであり、制限ではないと考えるべきである。そのため、本発明の範囲は、前述の説明ではなく、特許請求の範囲に示される。請求の範囲に均等の意味及び範囲内の全ての変化は、その範囲に含まれる。

１１０レンズ、１２０後ろ側の焦点平面、１３０オブジェクト、１４０オブジェクト、２１０例示、２１１カプセル、２１２胃腸管、２１３関心のオブジェクト、２２０画像、２３０例示、２４０画像、Ｄオブジェクトの距離、Ｄ’ オブジェクトの距離、f 焦点距離、Ｈオブジェクト画像の高さ。

Claims

カメラ付きカプセル装置を用いてシーンの画像をキャプチャする方法において、
該カプセル装置を患者に投与するステップと、
非構造化光源から非構造化光を該カメラの視野中のシーンに投射するステップと、
該カプセル装置が人体の胃腸管を通過する時、該カメラが該カメラの共通の画像平面に形成された正規の画像をキャプチャするステップと、
構造化光源から構造化光を該カメラの該視野中のシーンに投射するステップと、
該カプセル装置が該人体の胃腸管を通過する時、該カメラが該カメラの該共通の画像平面に形成された構造化光画像をキャプチャし、該構造化光画像を該正規の画像とインターリーブさせ、該カメラに対する該正規の画像におけるオブジェクトに関する距離情報を導出するステップと、
該正規の画像を出力し、該構造化光画像又は該構造化光画像の導出情報を出力するステップと、
を含むカメラ付きカプセル装置を用いてシーンの画像をキャプチャする方法。
該構造化光画像から、該正規の画像における該オブジェクトの該カメラに対する該距離情報に関する情報を導出し、該構造化光画像の該導出情報は該距離情報に対応する、請求項１に記載のカメラ付きカプセル装置を用いてシーンの画像をキャプチャする方法。
該距離情報と該正規の画像の対応画像との関連情報を出力する、請求項２に記載のカメラ付きカプセル装置を用いてシーンの画像をキャプチャする方法。
該関連情報は、該正規の画像の該対応画像のフレーム数又はキャプチャ回数に対応する、請求項３に記載のカメラ付きカプセル装置を用いてシーンの画像をキャプチャする方法。
カプセル装置を用いてシーンの画像をキャプチャする内視鏡において、
該カプセル装置は、
カメラと、
非構造化光源と、
構造化光源と、
該カメラと該構造化光源に連結する一つ又は複数のプロセッサーと、
該一つ又は複数のプロセッサーに連結する一つ又は複数の出力インターフェースと、
嚥下可能とされるハウジングと、を備え、
該一つ又は複数のプロセッサーは、
該カプセル装置が人体の胃腸管を通過する時、該カメラを用いて該非構造化光源に非構造化光を投射させて正規の画像をキャプチャし、
該カプセル装置が該人体の胃腸管を通過する時、該カメラを用いて該構造化光源に該カメラの視野におけるシーンに構造化光を投射させて、構造化光画像を該正規の画像とインターリーブさせ、該カメラに対する該正規の画像におけるオブジェクトに関わる距離情報を導出し、
該一つ又は複数の出力インターフェースにより該正規の画像を出力し、
該構造化光画像又は該構造化光画像の導出情報を出力し、
該ハウジングは、該カメラと該一つ又は複数のプロセッサーを密閉の環境に密閉するように構成されている、カプセル装置を用いてシーンの画像をキャプチャする内視鏡。
該一つ又は複数のプロセッサーは、さらに、該構造化光画像から該カメラに対する該正規の画像におけるオブジェクトに関する該距離情報を導出し、
該構造化光画像の該導出情報は該距離情報に対応する、請求項５に記載のカプセル装置を用いてシーンの画像をキャプチャする内視鏡。
該一つ又は複数の出力インターフェースは、該距離情報と該正規の画像の対応画像との関連情報を提供して出力する、請求項６に記載のカプセル装置を用いてシーンの画像をキャプチャする内視鏡。
該関連情報は、該正規の画像の該対応画像のフレーム数又はキャプチャ回数に対応する、請求項７に記載のカプセル装置を用いてシーンの画像をキャプチャする内視鏡。
カプセルカメラでキャプチャした画像を処理する方法において、
該カプセルカメラが人体の胃腸管を通過する時、該カプセルカメラがキャプチャした正規の画像を受け取るステップと、
選定された正規の画像における目標オブジェクトの該カプセルカメラに対する距離情報を判定するステップと、
該目標オブジェクトの画素データと該距離情報に基づいて、該選定された正規の画像における該目標オブジェクトのサイズを判定するステップと、
該目標オブジェクトの該サイズに関わるサイズ情報を出力するステップと、を含み、
該距離情報は、該カプセルカメラが該人体の胃腸管を通過する時、該カプセルカメラによりキャプチャした構造化光画像から導出される、
カプセルカメラでキャプチャした画像を処理する方法。
該目標オブジェクトの該サイズは、該カプセルカメラまでのオブジェクト距離と該カプセルカメラの焦点距離との比率で拡大縮小された該選定された正規の画像の該目標オブジェクトの画像サイズにより判定される、請求項９に記載のカプセルカメラでキャプチャした画像を処理する方法。
該目標オブジェクトの該画像サイズは、該選定された正規の画像の該目標オブジェクトにおける画素の数により測られる、請求項１０に記載のカプセルカメラでキャプチャした画像を処理する方法。
該カプセルカメラから該構造化光画像を受け取り、および該構造化光画像から該距離情報を導出し、該構造化光画像は、該カプセルカメラを用いて該カプセルカメラの視野中のシーンに構造化光を投射することによりキャプチャされる、請求項９に記載のカプセルカメラでキャプチャした画像を処理する方法。
カプセルカメラでキャプチャした画像を処理する方法において、
該カプセルカメラが人体の胃腸管を通過する時、該カプセルカメラがキャプチャした正規の画像を受け取るステップと、
該正規の画像における一つ又は複数の目標オブジェクトの該カプセルカメラに対する距離情報を判定するステップと、
該距離情報を含んだ情報を用いて該正規の画像をステッチしてステッチされた画像シーケンスを生成するステップと、
該ステッチされた画像シーケンスを出力するステップと、を含み、
該距離情報は、該カプセルカメラが該人体の胃腸管を通過する時、該カプセルカメラによりキャプチャした構造化光画像から導出される
カプセルカメラでキャプチャした画像を処理する方法。
該カプセルカメラから該構造化光画像を受け取り、および該構造化光画像から該距離情報を導出し、該構造化光画像は、該カプセルカメラを用いて該カプセルカメラの視野中のシーンに構造化光を投射することによりキャプチャされる、請求項１３に記載のカプセルカメラでキャプチャした画像を処理する方法。
該距離情報は、該正規の画像をステッチするように該正規の画像における該一つ又は複数の目標オブジェクトを拡大縮小するために用いられる、請求項１４に記載のカプセルカメラでキャプチャした画像を処理する方法。
該距離情報は、該正規の画像をステッチするように少なくとも一つの該正規の画像の画像強度を調整するために用いられる、請求項１４に記載のカプセルカメラでキャプチャした画像を処理する方法。
該距離情報と該正規の画像の対応画像との関連情報も受け取られて該正規の画像のステッチに用いられる、請求項１３に記載のカプセルカメラでキャプチャした画像を処理する方法。
カプセルカメラでキャプチャした画像を処理する装置であって、
該装置は、一つ又は複数の電子回路又はプロセッサーを含み、
該カプセルカメラが人体の胃腸管を通過する時、該カプセルカメラがキャプチャした正規の画像を受け取り、
該正規の画像における一つ又は複数の目標オブジェクトの該カプセルカメラに対する距離情報を判定し、該距離情報は、該カプセルカメラが該人体の胃腸管を通過する時、該カプセルカメラによりキャプチャした構造化光画像から導出され、
該距離情報を含んだ情報を用いて該正規の画像をステッチしてステッチされた画像シーケンスを生成し、
前記ステッチされた画像シーケンスを出力するように構成されている、
カプセルカメラでキャプチャした画像を処理する装置。
該一つ又は複数の電子回路又はプロセッサーは、該カプセルカメラから該構造化光画像を受け取り、該構造化光画像から該距離情報を導出し、該構造化光画像は、該カプセルカメラを用いて該カプセルカメラの視野中のシーンに構造化光を投射することによりキャプチャされる、請求項１８に記載のカプセルカメラでキャプチャした画像を処理する装置。
該距離情報と該正規の画像の対応画像との関連情報も受け取られて該正規の画像のステッチに用いられる、請求項１８に記載のカプセルカメラでキャプチャした画像を処理する装置。