以下、図面を参照して、本発明にかかる撮像装置、画像表示装置、および画像表示システムの好適な実施の形態を詳細に説明する。なお、以下では、撮像装置の一例として被検体の体内画像を撮像するカプセル型内視鏡を例示するが、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる画像表示システムの一構成例を例示する模式図である。図1に示すように、本発明の実施の形態1にかかる画像表示システムは、被検体1の体内画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2によって撮像された被検体1の体内画像を受信する受信装置3と、被検体1の体内画像等の各種情報を表示する画像表示装置4と、かかる受信装置3と画像表示装置4との間のデータの受け渡しを行うための携帯型記録媒体5とを備える。
カプセル型内視鏡2は、本発明にかかる撮像装置の一例であり、カプセル型筐体の内部に撮像機能と無線通信機能とを備える。具体的には、カプセル型内視鏡2は、被検体1の内部に経口摂取等によって導入され、その後、蠕動運動等によって被検体1の臓器内部を移動する。かかるカプセル型内視鏡2は、被検体1の臓器内部に導入されてから被検体1の外部に自然排出されるまでの期間、所定の間隔(例えば0.5秒間隔)で被検体1の体内画像を順次撮像し、時系列に沿って順次撮像した被検体1の一連の体内画像を外部の受信装置3に無線送信する。なお、カプセル型内視鏡2には、カプセル型内視鏡個々を識別するための識別情報(ID情報)が割り当てられる。カプセル型内視鏡2は、被検体1の体内画像とともに自身のID情報を受信装置3に無線送信する。
受信装置3は、被検体1内部のカプセル型内視鏡2によって撮像された被検体1の一連の体内画像を受信する。具体的には、受信装置3は、被検体1の体表上に分散配置される複数の受信アンテナ3a〜3hを有し、これら複数の受信アンテナ3a〜3hを介してカプセル型内視鏡2からの無線信号を受信する。受信装置3は、かかるカプセル型内視鏡2からの無線信号に対して復調処理等を行い、この結果、被検体1の体内画像およびカプセル型内視鏡2のID情報等を取得する。また、受信装置3には携帯型記録媒体5が着脱可能に挿着され、受信装置3は、カプセル型内視鏡2から取得した被検体1の一連の体内画像およびID情報を携帯型記録媒体5に記録する。この場合、受信装置3は、かかる被検体1の各体内画像の撮像時刻等を示す時間情報を各体内画像に対応付けて携帯型記録媒体5に記録する。
受信アンテナ3a〜3hは、ループアンテナ等を用いて実現され、被検体1の体表上の所定位置、例えば被検体1内におけるカプセル型内視鏡2の移動経路(すなわち消化管)に対応する位置に分散配置される。かかる受信アンテナ3a〜3hは、上述した受信装置3に接続され、被検体1内部のカプセル型内視鏡2によって送信された無線信号を捕捉し、この捕捉した無線信号を受信装置3に送出する。かかるカプセル型内視鏡2からの無線信号を受信装置3に送出する受信アンテナは、被検体1に1以上配置されればよく、その配置数は、特に8つに限定されない。なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケットの所定位置に分散配置されてもよい。
携帯型記録媒体5は、上述した受信装置3と画像表示装置4との間のデータの受け渡しを行うための携帯可能な記録メディアである。携帯型記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。具体的には、携帯型記録媒体5は、受信装置3に挿着された場合、受信装置3によって受信された被検体1の一連の体内画像、各体内画像の時間情報、およびカプセル型内視鏡2のID情報等の各種データを記録する。一方、携帯型記録媒体5は、画像表示装置4に挿着された場合、被検体1の一連の体内画像、各体内画像の時間情報、カプセル型内視鏡2のID情報等の記録データを画像表示装置4に出力する。このようにして、かかる携帯型記録媒体5の記録データは、画像表示装置4に取り込まれる。また、携帯型記録媒体5は、カプセル型内視鏡2を導入する被検体1に関する患者情報等が画像表示装置4によって書き込まれる。
画像表示装置4は、本発明にかかる画像表示装置の一例であり、被検体1の体内画像等の各種情報を表示可能なワークステーション等のような構成を有する。具体的には、画像表示装置4は、上述した携帯型記録媒体5の記録データを取り込むことによって、被検体1の一連の体内画像、各体内画像の時間情報、およびカプセル型内視鏡2のID情報を取得する。かかる画像表示装置4は、取得した一連の体内画像に含まれる各体内画像をID情報毎に判定し、かかる一連の体内画像の中から電源電圧変動の影響を受けた体内画像を除く残りの体内画像を順次表示する。医師または看護師等のユーザは、かかる画像表示装置4に順次表示させた被検体1の体内画像を視認することによって、被検体1内部の生体部位、例えば食道、胃、小腸、および大腸等を観察(検査)でき、これをもとに、被検体1を診断できる。
つぎに、本発明の実施の形態1にかかる撮像装置の一例であるカプセル型内視鏡2の構成について詳細に説明する。図2は、本発明の実施の形態1にかかるカプセル型内視鏡の一構成例を示す模式図である。図3は、この実施の形態1にかかるカプセル型内視鏡によって撮像された体内画像の一例を示す模式図である。図2に示すように、この実施の形態1にかかるカプセル型内視鏡2は、筒状筐体11aとドーム形状筐体11bとによって形成されるカプセル型筐体11と、被検体1の体内画像を撮像する撮像ユニット12と、撮像ユニット12によって撮像された体内画像を含む画像信号を生成する信号処理部13と、被検体1の体内画像等を外部の受信装置3(図1参照)に無線送信する送信ユニット14とを備える。また、カプセル型内視鏡2は、電池等によって実現される電源ユニット15と、かかるカプセル型内視鏡2の各構成部を制御する制御部16とを備える。
カプセル型筐体11は、被検体1の内部に導入可能な大きさに形成されたカプセル型の筐体であり、一端がドーム形状をなす筒状筐体11aの他端(開口端)をドーム形状筐体11bによって塞いで形成される。ドーム形状筐体11bは、所定の波長帯域の光(例えば可視光)に対して透明な光学ドームである。一方、筒状筐体11aは、略不透明な筐体である。かかる筒状筐体11aとドーム形状筐体11bとによって形成されるカプセル型筐体11の内部には、撮像ユニット12、信号処理部13、送信ユニット14、電源ユニット15、および制御部16が液密に収容される。この場合、撮像ユニット12は、カプセル型筐体11の長手方向の中心軸CLと光軸とが略一致するように固定配置される。
撮像ユニット12は、被検体1の体内画像を撮像する撮像部として機能し、LED等の照明部12aと、集光レンズ等の光学系12bと、CCDまたはCMOS等の固体撮像素子12cとを有する。複数の照明部12aは、ドーム形状筐体11b越しに被写体(具体的には被検体1の臓器内部)を照明する。光学系12bは、これら複数の照明部12aによって照明された被写体からの反射光を集光して、固体撮像素子12cの受光領域に被写体の光学像を結像する。
固体撮像素子12cは、画像出力が可能な画像出力領域の画素群と、膜等によって常時遮光されたオプティカルブラック領域の画素群とを有する。また、固体撮像素子12cは、この画像出力領域の内部に、撮像に寄与する有効画素領域の画素群を有し、この有効画素領域の内部に、結像光線が入射しない黒領域の画素群を有する。かかる固体撮像素子12cは、光学系12bによって集光された被写体からの反射光(光情報)を有効画素領域の画素群によって受光し、この受光した光情報を光電変換することによって被写体の画像、すなわち被検体1の体内画像を撮像する。なお、かかる固体撮像素子12cの黒領域の画素群は、有効画素領域内の画素群のうちの受光領域から外れた画素群であり、光学系12bによって規定される固体撮像素子12cの受光領域の外部に設定することによって光学的に遮光される。
ここで、かかる撮像ユニット12によって撮像された被検体1の体内画像Pn(nはフレーム番号)は、例えば図3に示すように、固体撮像素子12cの有効画素領域Dの画素群によって形成される。この有効画素領域Dの内部、例えば、有効画素領域Dの四隅には、上述したように結像光線が入射しない4つの黒領域C1〜C4が設定される。すなわち、かかる体内画像Pnを形成する画素群の信号レベルには、有効画素領域Dの画素群のうちの被検体1の体内画像の描画(撮像)に寄与する画素群の信号レベルと黒領域C1〜C4の画素群の信号レベルとが含まれる。なお、かかる体内画像Pnのデータは、撮像ユニット12から信号処理部13に送信される。
信号処理部13は、かかる撮像ユニット12によって撮像された体内画像Pnのデータを取得し、この取得したデータに対して所定の信号処理を行って、被検体1の体内画像Pnを含む画像信号を生成する。また、信号処理部13は、かかる体内画像Pnのデータから黒領域C1〜C4内の各画素の信号レベル(以下、単に黒領域の信号レベルという場合がある)を抽出する。かかる信号処理部13は、体内画像Pn(n=1,2,3・・・)の各画像信号を送信ユニット14に順次送信し、制御部16に黒領域C1〜C4の各信号レベルを送信する。なお、かかる信号処理部13によって生成された画像信号には、上述した体内画像Pnのデータの他に、カプセル型内視鏡2のID情報等が含まれる。
送信ユニット14は、コイル状の送信アンテナ14aを有し、この送信アンテナ14aを用いて被検体1外部の受信装置3(図1参照)に無線信号を送信する。具体的には、送信ユニット14は、制御部16の制御に基づいて、信号処理部13から体内画像Pnの画像信号を取得し、その都度、この画像信号に対して所定の変調処理等を行って、この体内画像PnおよびID情報等を含む無線信号を生成し、この生成した無線信号を受信装置3に順次送信する。
電源ユニット15は、カプセル型内視鏡2の各構成部に供給する電力を蓄積した内蔵電源である。具体的には、電源ユニット15は、スイッチ回路およびボタン型の電池等を用いて実現され、スイッチ回路によってオン状態に切り替わった際に、上述した撮像ユニット12、信号処理部13、送信ユニット14、および制御部16に対して電力を供給する。
制御部16は、カプセル型内視鏡2の各構成部(撮像ユニット12、信号処理部13、送信ユニット14等)を制御し、且つ、かかる各構成部間における信号の入出力を制御する。具体的には、制御部16は、照明部12aによって照明された被写体の画像(すなわち体内画像Pn)を固体撮像素子12cによって撮像するように撮像ユニット12を制御し、かかる撮像ユニット12によって撮像された体内画像Pnの画像信号を生成するように信号処理部13を制御する。また、制御部16は、カプセル型内視鏡2のID情報を記憶したROM等の記憶部(図示せず)を有し、このID情報と体内画像Pnとを含む画像信号を外部に無線送信するように送信ユニット14を制御する。
また、制御部16は、上述した固体撮像素子12cの有効画素領域Dの内部に黒領域C1〜C4を設定する黒領域設定部16aを有する。具体的には、黒領域設定部16aは、固体撮像素子12cの画像出力領域における有効画素領域Dの画素アドレスを設定し、この設定した有効画素領域Dの内部における黒領域C1〜C4の各画素アドレスを設定する。黒領域設定部16aは、信号処理部13によって抽出された黒領域C1〜C4の各信号レベル(例えば各画素の輝度レベル)を取得し、この取得した各信号レベルと所定の閾値とを比較する。黒領域設定部16aは、この比較処理の結果をもとに、有効画素領域Dの内部に黒領域C1〜C4が確保されているか否かを判断する。黒領域設定部16aは、黒領域C1〜C4が確保されていると判断した場合、現在の黒領域C1〜C4を有効画素領域Dにおける黒領域として決定する。一方、黒領域設定部16aは、黒領域C1〜C4の少なくとも一つが無事確保されていない場合、固体撮像素子12cの画像出力領域内において有効画素領域Dの各画素アドレスを変更する(すなわち固体撮像素子12cの画像読み出し位置をシフトさせる)。これによって、黒領域設定部16aは、有効画素領域D内の黒領域C1〜C4の各画素アドレスを調整する。黒領域設定部16aは、全黒領域C1〜C4が無事確保されるまで、かかる処理を繰り返す。制御部16は、かかる黒領域設定部16aによって設定された黒領域C1〜C4の各信号レベルを含む体内画像Pnの画像信号を生成するように撮像ユニット12と信号処理部13とを制御する。
つぎに、本発明の実施の形態1にかかる画像表示装置4の構成について説明する。図4は、本発明の実施の形態1にかかる画像表示装置の一構成例を模式的に示すブロック図である。図4に示すように、この実施の形態1にかかる画像表示装置4は、各種情報を入力する入力部41と、被検体1の体内画像PnおよびGUI(Graphical User Interface)等を画面表示する表示部42と、携帯型記録媒体5の記録データ(被検体1の一連の体内画像等)を読み取るメモリインターフェース(I/F)43とを備える。また、画像表示装置4は、被検体1の一連の体内画像である体内画像群PG等の各種データを記憶する記憶部44と、かかる画像表示装置4の各構成部を制御する制御部45とを備える。
入力部41は、キーボードおよびマウス等の入力デバイスを用いて実現され、ユーザによる入力操作によって、制御部45に各種情報を入力する。例えば、入力部41は、制御部45に対して指示する各種指示情報、被検体1に関する患者情報等を制御部45に入力する。なお、かかる入力部41によって入力される患者情報は、例えば被検体1の患者名、性別、生年月日、および患者ID等である。
表示部42は、CRTディスプレイまたは液晶ディスプレイ等の画像表示が可能なディスプレイを用いて実現され、制御部45によって表示指示された各種情報等を表示する。具体的には、表示部42は、被検体1の体内画像Pnの出画(表示)に関するGUIを表示し、体内画像群PGの中から制御部45によって出画指示された体内画像を表示する。この場合、表示部42は、体内画像群PGのうちの制御部45によって出画停止指示された体内画像を表示せずに、出画指示された体内画像を表示する。また、表示部42は、被検体1の患者情報および体内画像の撮像時間等の現表示画像に関連する各種情報を表示する。
メモリI/F43は、カプセル型内視鏡2によって撮像された被検体1の一連の体内画像を取得するための画像取得手段として機能する。具体的には、メモリI/F43は、上述した携帯型記録媒体5が着脱可能に挿着され、この携帯型記録媒体5の記録データ、すなわち、被検体1の一連の体内画像およびカプセル型内視鏡2のID情報等を取得する。メモリI/F43は、この携帯型記録媒体5から取り込んだ記録データを制御部45に転送する。また、メモリI/F43は、挿着された携帯型記録媒体5に対し、制御部45によって書き込み指示された情報、例えば被検体1の患者情報等を書き込む。
記憶部44は、RAM、EEPROM、またはハードディスク等の大容量の記録媒体を用いて実現され、制御部45によって記憶指示された各種データ等を記憶し、制御部45によって読み出し指示された記憶データを制御部45に送信する。かかる記憶部44は、メモリI/F43によって携帯型記録媒体5から読み出された被検体1の一連の体内画像である体内画像群PGを記憶する。この場合、かかる記憶部44に記憶される体内画像群PGの各体内画像Pnには、体内画像群PGを撮像したカプセル型内視鏡2のID情報、撮像時間または受信時間等の時間情報、被検体1の患者情報等が対応付けられる。
制御部45は、画像表示装置4の各構成部(入力部41、表示部42、メモリI/F43、記憶部44等)を制御し、且つ、かかる各構成部間における信号の入出力を制御する。具体的には、制御部45は、入力部41によって入力された指示情報に基づいて、上述した表示部42、メモリI/F43、記憶部44の各動作を制御する。制御部45は、メモリI/F43を制御して、被検体1の一連の体内画像、カプセル型内視鏡2のID情報、撮像時間等の時間情報を取得し、この取得した一連の体内画像に含まれる各体内画像と、カプセル型内視鏡2のID情報と、体内画像の時間情報と、被検体1の患者情報とを対応付ける。制御部45は、かかるID情報および時間情報等を対応付けた体内画像Pnを含む体内画像群PGを記憶部44に記憶させる。
また、制御部45は、表示制御部45a、画像抽出部45b、および画像判定部45cを有する。表示制御部45aは、入力部41によって入力された指示情報に基づいて、表示部42に被検体1の体内画像Pn等の各種情報を表示させる。この場合、表示制御部45aは、被検体1の体内画像群PGのうち、画像判定部45cによって出画を禁止した体内画像を除く残りの体内画像、すなわち画像判定部45cによって出画許可された体内画像を表示部42に表示させる。
画像抽出部45bは、被検体1の体内画像群PGの中から、画像判定部45cによる画像判定処理対象の体内画像を含む一連の画像であって、時系列に沿って所定フレーム数だけ連続する連続画像群を抽出する。なお、かかる画像抽出部45bによって抽出される連続画像群は、先頭フレームに画像判定処理対象の体内画像を含む連続画像群であってもよいし、画像判定処理対象の体内画像の前後に所定フレーム数の体内画像が連続する連続画像群であってもよいし、最後尾フレームに画像判定処理対象の体内画像を含む連続画像群であってもよい。画像抽出部45bは、この体内画像群PGに含まれる体内画像毎に、かかる連続画像群を順次抽出する。
画像判定部45cは、上述したカプセル型内視鏡2の電源ユニット15の出力変動(電圧変動)に起因する画像への影響、例えば、黒の基準レベルの変動による画像への影響について体内画像を判定する画像判定処理を行う。具体的には、画像判定部45cは、体内画像群PGの中から画像抽出部45bによって抽出された連続画像群内の体内画像の黒領域C1〜C4の信号レベルをもとに、黒領域C1〜C4における0レベル画素数を算出し、この算出した0レベル画素数を用いて体内画像の画像判定処理を行い、この画像判定処理によって電源電圧変動の影響があると判定した体内画像の出画を禁止する。ここで、この0レベル画素数は、図2に示したカプセル型内視鏡2において電源ユニット15の出力変動が無い場合に撮像ユニット12から出力される黒領域C1〜C4の通常信号レベル(例えば通常輝度レベル)に比して低い輝度レベルを有する黒領域C1〜C4内の画素数(低輝度レベル画素数)であり、撮像ユニット12に電力を供給する電源ユニット15の出力変動によって変化する黒領域の画素情報の一例である。かかる0レベル画素数は、カプセル型内視鏡2の動作初期等の電源ユニット15の出力変動が小さい状態において零個であり、電源ユニット15の出力変動の増大、すなわち電源ユニット15の電力消耗の進行に伴って増加する。画像判定部45cは、かかる黒領域C1〜C4の画素情報(例えば0レベル画素数の平均値)と予め設定した所定の閾値とを比較することによって各体内画像Pn(n=1,2,3,…)の画像判定処理を順次行う。画像判定部45cは、かかる画像判定処理によって電源電圧変動の影響があると判定した体内画像の出画を禁止し、電源電圧の出力変動の影響を受けず安定した画像と判定した体内画像の出画を許可する。
なお、かかる画像判定部45cは、互いにID情報が異なる複数のカプセル型内視鏡2によって撮像された複数の体内画像群が記憶部44内に記憶されている場合、カプセル型内視鏡2のID情報毎に体内画像の画像判定処理を行う。
つぎに、被検体1の体内画像Pnを表示する際の表示部42の表示態様について説明する。図5は、体内画像を表示する表示部の表示態様の一具体例を示す模式図である。上述した画像表示装置4の表示制御部45aは、制御部45によって所定のログイン処理が行われた場合、図5に示すような被検体1の画像を観察するためのウィンドウ20を表示部42に表示させる。
図5に示すように、ウィンドウ20には、体内画像Pn等を表示する主表示領域21と、主表示領域21に体内画像Pnを表示する際の各種表示操作を行うための表示操作アイコン群22と、主表示領域21の表示画像(体内画像Pn)の時間的な位置もしくは全表示枚数に対する画像番号を示すバー23と、主表示領域21の表示画像に対応してバー23上を移動するスライダ24とが形成される。また、ウィンドウ20には、主表示領域21に表示された体内画像群PGの中から選択された所望の体内画像の縮小画像を表示する副表示領域26と、かかるウィンドウ20を閉じるためのクローズアイコン27とが形成される。
表示制御部45aは、表示操作アイコン群22に含まれる表示操作アイコンに応じて入力部41が入力する指示情報に基づいて、主表示領域21に被検体1の体内画像Pn(詳細には上述した画像判定部45cによって出画許可された体内画像)を表示させる。この場合、表示部42は、かかる体内画像Pnの撮像年月日および撮像時刻と、被検体1の患者情報とを主表示領域21に表示する。
バー23は、被検体1の体内画像群PGのうちの画像判定部45cによって出画許可された表示対象の体内画像群の時間的な長さ(例えば撮像開始からの経過時間)を示す時間スケール25が付され、この時間スケール25によって表示対象の体内画像群内の各体内画像の時間的な位置を示す。かかる表示対象の体内画像群の時間的な位置を示すバー23の長さ(横幅)は、上述した表示制御部45aによって制御される。
スライダ24は、かかるバー23に沿って移動し、主表示領域21の現表示画像に対応するバー23上の時間的な位置を示す。かかるスライダ24の移動は、表示制御部45aによって制御される。すなわち、表示制御部45aは、スライダ24が主表示領域21の現表示画像(被検体1の体内画像Pn)の時間的な位置を常時示すように、バー23上におけるスライダ24の移動と主表示領域21の現表示画像の表示切替とを制御する。
つぎに、本発明の実施の形態1にかかる画像表示装置4の動作について説明する。図6は、黒領域の0レベル画素数を用いて体内画像の画像判定処理を行う画像表示装置の制御部の処理手順を例示するフローチャートである。画像表示装置4の制御部45は、メモリI/F43に挿着された携帯型記録媒体5から被検体1の体内画像群PGを取り込んだ場合、カプセル型内視鏡2の電源ユニット15の電力消耗に起因する画像への影響(具体的には黒の基準レベルの変動による画像への影響)について、この体内画像群PG内の各体内画像Pn(n=1,2,3,…)の画像判定処理を行い、画像判定処理の結果に応じて各体内画像Pnの出画を禁止または許可する。
すなわち、図6に示すように、制御部45は、メモリI/F43に挿着された携帯型記録媒体5から取り込んだ被検体1の体内画像群PGの中から画像判定対象の体内画像Pnを含む連続画像群を抽出する(ステップS101)。この場合、画像判定部45cは、時系列の順方向(フレーム番号nの昇順)に沿って体内画像群PGの中から画像判定処理対象(以下、単に判定対象という場合がある)の体内画像Pnを決定する。画像抽出部45bは、この画像判定部45cが決定した判定対象の体内画像Pnを含む所定フレーム数(例えば3フレーム)の連続画像群を抽出する。
つぎに、制御部45は、ステップS101において抽出した連続画像群内の体内画像毎に四隅の黒領域C1〜C4の0レベル画素数を算出する(ステップS102)。この場合、画像判定部45cは、この連続画像群に含まれる体内画像毎に、黒領域C1〜C4の各画素の信号レベル(例えば輝度レベル)を取得し、この取得した各画素の信号レベルと所定の閾値とを比較する。なお、画像判定部45cは、この閾値として、例えば、カプセル型内視鏡2の電源ユニット15の電力消耗が少ない際の黒領域の信号レベルを用いる。画像判定部45cは、黒領域C1〜C4の各画素群について、この閾値に比して低い信号レベルを有する画素の数量を算出し、この結果、黒領域C1〜C4の各0レベル画素数を取得する。画像判定部45cは、かかる演算処理を体内画像毎に繰り返し行うことによって、連続画像群内の体内画像毎に黒領域C1〜C4の各0レベル画素数を算出する。
続いて、制御部45は、ステップS102において体内画像毎に算出した黒領域C1〜C4の各0レベル画素数をもとに、黒領域毎に連続画像群における0レベル画素数の平均値を算出する(ステップS103)。この場合、画像判定部45cは、連続画像群内の各体内画像の黒領域C1における0レベル画素数の合計値をこの連続画像群のフレーム数によって除算し、これによって、この連続画像群における黒領域C1の0レベル画素数の平均値を算出する。これと同様に、画像判定部45cは、連続画像群における黒領域C2の0レベル画素数の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における黒領域C2の0レベル画素数の平均値を算出し、連続画像群における黒領域C3の0レベル画素数の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における黒領域C3の0レベル画素数の平均値を算出し、連続画像群における黒領域C4の0レベル画素数の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における黒領域C4の0レベル画素数の平均値を算出する。
つぎに、制御部45は、ステップS103において算出した黒領域C1〜C4の各0レベル画素数の平均値が所定の閾値を超えるか否かを判断し(ステップS104)、超える場合(ステップS104,Yes)、判定対象の体内画像Pnに電源電圧変動の影響があると判定し、この判定対象の体内画像Pnに出画停止フラグを付加する(ステップS105)。このステップS104,S105において、画像判定部45cは、かかる黒領域C1〜C4の各0レベル画素数の平均値と予め設定した閾値とを比較し、これら各0レベル画素数の平均値のいずれかが閾値を超過する場合、上述したステップS101において決定した判定対象の体内画像Pnに電源電圧変動の影響があると判定し、この判定の体内画像に出画停止フラグを付加する。ここで、この出画停止フラグは、表示部42への出画を停止すべき旨を示すマークである。画像判定部45cは、かかる出画停止フラグを体内画像に付加することによって、この電源電圧変動の影響があると判定された体内画像の出画(すなわち表示部42への表示出力)を禁止する。
その後、制御部45は、被検体1の体内画像群PGに含まれる全体内画像の画像判定を終了したか否かを判断し(ステップS106)、判定終了していなければ(ステップS106,No)、上述したステップS101に戻り、このステップS101以降の処理手順を繰り返す。このステップS106において、画像判定部45cは、判定対象の体内画像が体内画像群PGにおける最後尾の体内画像でなければ、この体内画像群PGの全体内画像の画像判定を終了していないと判断する。
なお、制御部45は、上述したステップS104において、黒領域C1〜C4の各0レベル画素数の平均値が所定の閾値以下である場合(ステップS104,No)、判定対象の体内画像Pnを電源電圧変動のない安定した画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加せずにステップS106に進む。この場合、画像判定部45cは、上述した黒領域C1〜C4の各0レベル画素数の平均値と予め設定した閾値とを比較し、これら各0レベル画素数の平均値がいずれも閾値以下である場合、この判定対象の体内画像Pnを電源電圧変動のない安定した画像と判定する。かかる画像判定部45cは、この電源電圧変動の影響を受けず安定した体内画像に出画停止フラグを付加せず、これによって、この電源電圧変動の影響を受けず安定した体内画像の出画を許可する。
一方、制御部45は、上述したステップS106において体内画像群PG内の全体内画像の画像判定を終了したと判断した場合(ステップS106,Yes)、この体内画像群PGの中から電源電圧変動の影響があると判定された体内画像を抽出する。この場合、画像抽出部45bは、上述したステップS101〜S106の処理手順によって画像判定が行われた体内画像群PGの中から、出画停止フラグを付加された体内画像を抽出する(ステップS107)。
つぎに、制御部45は、ステップS107において体内画像群PGの中から抽出した1以上の抽出画像(すなわち電源電圧変動の影響があると判定された体内画像)以降のフレームに電源電圧変動の影響を受けず安定した体内画像が存在するか否かを判断し(ステップS108)、電源電圧変動の影響を受けず安定した体内画像が存在する場合(ステップS108,Yes)、この抽出画像の出画停止フラグを削除する(ステップS109)。このステップS108,S109において、画像判定部45cは、かかる1以上の抽出画像、すなわち、出画停止フラグを付加された(すなわち電源電圧変動の影響があると判定された)体内画像をフレーム番号nの昇順に順次注目する。画像判定部45cは、この注目した体内画像(電源電圧変動の影響があると判定された体内画像)以降のフレームに、出画停止フラグを付加されていない体内画像(電源電圧変動の影響を受けず安定した体内画像)が存在する場合、この注目した体内画像の出画停止フラグを削除し、これによって、この体内画像の出画禁止を解除する。
一方、制御部45は、上述したステップS108において、1以上の抽出画像以降のフレームに、電源電圧変動の影響を受けず安定した体内画像が存在しないと判断した場合(ステップS108,No)この抽出画像の出画停止フラグを削除しない。この場合、画像判定部45cは、上述したステップS108において注目した抽出画像(画像に電源電圧変動の影響があると判定された体内画像)以降のフレームに、出画停止フラグを付加されていない体内画像(電源電圧変動の影響がなく安定した体内画像)が存在しない旨を確認し、これに基づいて、この注目の体内画像の出画停止フラグを削除せず、この出画停止フラグを付加した状態を維持する。この結果、画像判定部45cは、この注目の体内画像の出画禁止を維持する。
その後、制御部45は、体内画像群PGのうちの、画像に電源電圧変動の影響があると判定された全ての体内画像について処理終了したか否かを判断し(ステップS110)、処理終了していなければ(ステップS110,No)、上述したステップS107に戻り、このステップS107以降の処理手順を繰り返す。このステップS110において、画像判定部45cは、この注目した体内画像が画像に電源電圧変動の影響があると判定された体内画像のうちの最後尾でなければ、処理終了していないと判断する。一方、この注目した体内画像が画像に電源電圧変動の影響があると判定された体内画像のうちの最後尾である場合、画像判定部45cは処理終了と判断し(ステップS110,Yes)、制御部45は本処理を終了する。
ここで、制御部45は、上述したステップS101〜S106の処理手順を繰り返し行うことによって、黒領域C1〜C4の0レベル画素数を用いた各体内画像Pnの画像判定処理(画像判定部45cによる1段階めの画像判定処理)を達成し、さらに、上述したステップS107〜S110の処理手順を繰り返し行うことによって、一旦画像に電源電圧変動の影響があると判定された体内画像が真に画像に電源電圧変動の影響がある体内画像であるか否かを判定する画像判定処理(画像判定部45cによる2段階めの画像判定処理)を達成できる。画像判定部45cは、かかる2段階の画像判定処理を行うことによって、電源の出力変動に起因して画像が劣化した電源電圧変動の影響を受けた体内画像を確実に出画停止することができるとともに、一旦画像に電源電圧変動の影響があると判定された体内画像の中から電源電圧変動の影響の程度が低い体内画像の出画禁止を解除できる。この結果、電源電圧変動の影響を受けた体内画像を表示部42に表示させることなく、体内画像群PGの中から電源電圧変動の影響を受けた体内画像を除く残りの体内画像、すなわち安定した体内画像をより多く表示部42に表示してユーザに提供することができる。
つぎに、N枚の体内画像Pn(n=1,2,3,…,N)からなる体内画像群PGの中から判定対象の体内画像を含む3枚(3フレーム)の連続画像群を抽出して画像判定処理を行う場合を例示して、体内画像Pnに対する2段階の画像判定処理を具体的に説明する。図7は、実施の形態1にかかる画像表示装置の画像判定部による2段階の画像判定処理を説明するための模式図である。
図7において、aフレーム目の体内画像Pa(1<a<N)は、画像判定部45cの判定対象であり、判定対象の体内画像Paとその前後フレームの体内画像Pa-1,Pa+1とからなる連続画像群は、この体内画像Paの画像判定処理を行う際に画像抽出部45bによって体内画像群PGの中から抽出された画像群である。この場合、画像判定部45cは、体内画像Pa-1,Pa,Pa+1における黒領域C1〜C4の各0レベル画素数の平均値を算出し、この算出した平均値を用いて判定対象の体内画像Paに対する1段階めの画像判定処理を行う。
具体的には、画像判定部45cは、体内画像Pa-1における黒領域C1〜C4の各0レベル画素数と、体内画像Paにおける黒領域C1〜C4の各0レベル画素数と、体内画像Pa+1における黒領域C1〜C4の各0レベル画素数とを順次算出する。そして、画像判定部45cは、かかる体内画像Pa-1,Pa,Pa+1における黒領域C1の0レベル画素数の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C1の0レベル画素数の平均値K1を算出する。同様に、画像判定部45cは、かかる体内画像Pa-1,Pa,Pa+1における黒領域C2の0レベル画素数の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C2の0レベル画素数の平均値K2を算出し、体内画像Pa-1,Pa,Pa+1における黒領域C3の0レベル画素数の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C3の0レベル画素数の平均値K3を算出し、体内画像Pa-1,Pa,Pa+1における黒領域C4の0レベル画素数の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C4の0レベル画素数の平均値K4を算出する。
画像判定部45cは、このように算出した黒領域C1〜C4の0レベル画素数の平均値K1〜K4と予め設定した閾値とを比較し、これらの平均値K1〜K4の少なくとも一つが閾値を超過する場合、判定対象の体内画像Paを電源電圧変動の影響があると判定し、平均値K1〜K4がいずれも閾値以下である場合、判定対象の体内画像Paを電源変動の影響を受けず安定した画像と判定する。画像判定部45cは、この判定対象の体内画像Paを電源電圧変動の影響があると判定した場合、この電源電圧変動の影響があるとの判定の体内画像Paに出画停止フラグFを付加する。
かかる画像判定部45cは、体内画像群PG内の各体内画像Pn(n=1,2,3,…,N)に対して、この体内画像Paの場合と同様に1段階めの画像判定処理を繰り返し行い、この1段階めの画像判定処理によって電源電圧変動の影響があると判定した全体内画像に出画停止フラグFを付加する。
なお、画像判定部45cが1フレーム目の体内画像P1の画像判定処理を行う場合、画像抽出部45bは、判定対象の体内画像P1と体内画像P1に後続する2フレームの体内画像P2,P3とからなる連続画像群を抽出してもよい。また、画像判定部45cがNフレーム目の体内画像PNの画像判定処理を行う場合、画像抽出部45bは、判定対象の体内画像PNと体内画像PNの前2フレームの体内画像PN-2,PN-1とからなる連続画像群を抽出してもよい。
上述したように体内画像群PG内の各体内画像Pnに対する1段階めの画像判定処理が終了した場合、画像判定部45cは、この体内画像群PGのうちの電源電圧変動の影響があるとの判定の体内画像に対して2段階めの画像判定処理を行う。具体的には、画像判定部45cは、体内画像群PGの中から画像抽出部45bによって抽出された電源電圧変動の影響があるとの判定の体内画像のうち、最もフレーム番号が小さい体内画像(図7においては体内画像Pa)に注目する。画像判定部45cは、この注目した体内画像Pa以降のフレームに電源電圧変動の影響を受けず安定した体内画像が存在するか否かを判断する。
ここで、図7に示すように、この体内画像Pa以降のフレームに、出画停止フラグFを付加されていない安定した体内画像Pm(a<m<N)が存在する場合、画像判定部45cは、たとえ後続の体内画像Pa+1に出画停止フラグFが付加されていたとしても、この注目の体内画像Paの出画停止フラグFを削除し、これによって、この体内画像Paの出画禁止を解除(すなわち出画許可)する。画像判定部45cは、このような2段階めの画像判定処理を残りの電源電圧変動の影響があると判定された体内画像に対して同様に行い、この結果、出画停止フラグFを付加されていない体内画像(電源電圧変動の影響を受けず安定した体内画像)以前のフレームに存在する電源電圧変動の影響があると判定された全体内画像の出画停止フラグFを削除する。一方、図7に示した体内画像PN-2,PN-1,PNに例示されるように、電源電圧変動の影響があると判定された体内画像以降のフレームに電源電圧変動の影響を受けず安定した体内画像が存在しない場合、画像判定部45cは、かかる電源電圧変動の影響があると判定された体内画像(図7においては体内画像PN-2,PN-1,PN)の出画停止フラグFを削除せず、これによって、かかる体内画像の出画禁止を維持する。以上のようにして、画像判定部45cは、体内画像群PG内の各体内画像Pnに対する2段階めの画像判定処理を達成する。
なお、かかる画像判定部45cによる2段階の画像判定処理によって最終的に出画停止フラグFが付された体内画像(図7においては体内画像PN-2,PN-1,PN)は、表示部42の表示対象から除外される。すなわち、上述した表示制御部45aは、被検体1の体内画像群PGのうち、かかる電源電圧変動の影響があると判定された体内画像PN-2,PN-1,PNを除く残りの体内画像、すなわち画像判定部45cによって最終的に出画許可された電源電圧変動の影響を受けず安定した体内画像を表示部42に表示させる。
つぎに、上述した画像判定部45cによって最終的に出画許可された各体内画像の時間的な位置を示すバー23(図5参照)の表示態様について説明する。図8は、画像判定部によって最終的に出画許可された各体内画像の時間的な位置を示すバーの表示態様を説明するための模式図である。
この実施の形態1にかかる画像表示装置4の表示部42は、上述した図5に示したようにバー23を表示する。このバー23は、表示部42の主表示領域21に表示される各体内画像、すなわち、画像判定部45cによって最終的に出画許可された各体内画像の時間的な位置を示す。
ここで、表示制御部45aは、被検体1の体内画像群PGに含まれる全体内画像が出画許可された場合、これら全体内画像の時間的な位置もしくは全表示枚数に対する画像番号を示すバー(以下、基本バーという)を表示部42に表示させる。一方、この体内画像群PGに画像判定部45cによって最終的に出画禁止された1以上の体内画像が含まれる場合、表示制御部45aは、かかる出画禁止された1以上の体内画像を除く残りの各体内画像、すなわち画像判定部45cによって最終的に出画許可された各体内画像の時間的な位置を示すバー(すなわち図5に示したバー23)を表示部42に表示させる。
具体的には、表示制御部45aは、図8に示すように、基本バー28のうちの出画禁止された各体内画像の位置もしくは全表示枚数に対する画像番号を示す部分、すなわち部分バー28bを表示部42の表示対象から除外し、残りの部分バー28aを表示部42の表示対象とする。なお、この部分バー28aは、基本バー28のうちの最終的に出画許可された各体内画像の位置を示す部分である。表示制御部45aは、かかる部分バー28aの時間軸方向の長さを基本バー28と同様の長さに拡大したものをバー23として表示部42に表示させる。かかる表示制御部45aによって表示態様が調整されたバー23は、この部分バー28aと同様のスケールを有する。
このように表示態様を調整したバー23を表示部42に表示することによって、表示部42に表示される体内画像とバー23が示す時間的な位置との相関をとることができるとともに、医師または看護師等のユーザが体内画像を観察する際の表示操作性を向上することができる。
つぎに、上述した固体撮像素子12cの黒領域C1〜C4を調整する黒領域設定部16aの動作について説明する。図9は、有効画素領域内の黒領域を調整する黒領域設定部の動作を説明するための模式図である。なお、図9には、画像出力領域の画素群側からを見た固体撮像素子12cが模式的に図示されている。
本発明の実施の形態1にかかる撮像装置の一例であるカプセル型内視鏡2の黒領域設定部16a(図2参照)は、上述したように、信号処理部13によって抽出された黒領域C1〜C4の各信号レベル(例えば各画素の輝度レベル)を取得し、この取得した各信号レベルをもとに、固体撮像素子12cの有効画素領域Dの内部に黒領域C1〜C4が無事確保されているか否かを判断する。具体的には、黒領域設定部16aは、かかる黒領域C1〜C4の各信号レベルと予め設定された閾値とを比較し、これら各信号レベルのうちの少なくとも一つが設定閾値を超過する場合、黒領域C1〜C4の少なくとも一つが確保されていないと判断し、これら各信号レベルの全てが設定閾値以下である場合、黒領域C1〜C4が確保されていると判断する。
なお、固体撮像素子12cの有効画素領域D内に黒領域C1〜C4の少なくとも一つが確保されていないという事態を引き起こす原因として、例えば、撮像ユニット12の組立誤差等に起因して撮像ユニット12の撮像中心と受光中心とがずれるというものが挙げられる。
ここで、図9に示すように、固体撮像素子12cの四隅の黒領域C1〜C4のうちの右下隅の黒領域C4が確保されていない場合、この黒領域C4の信号レベルが設定閾値を超過する。このことに基づいて、黒領域設定部16aは、この黒領域C4が確保されていないと判断し、この黒領域C4の画素アドレスを調整する。この場合、黒領域設定部16aは、固体撮像素子12cの画像出力領域E1の内部において有効画素領域Dの各画素アドレスを黒領域C4側(図9の右下側)に調整(変更)し、これによって、受光領域E2の中心である受光中心Q1と有効画素領域Dの中心である撮像中心Q2とが一致するように有効画素領域Dをシフトさせる。この結果、結像光線が入射しない状態の黒領域C4が有効画素領域Dの右下隅に確保される。
なお、受光領域E2は、画像出力領域E1のうちの光学系12bを介して入射される光を受光する画素領域であり、上述した光学系12bによって規定される。また、この受光領域E2の中心である受光中心Q1は、この光学系12bの光軸上の位置である。
かかる黒領域設定部16aは、調整後の黒領域C1〜C4の各信号レベルと設定閾値とを比較し、これら各信号レベルのうちの少なくとも一つが設定閾値を超過する場合、黒領域C1〜C4を再度調整し、これら各信号レベルの全てが設定閾値以下である場合、黒領域C1〜C4の調整を終了する。この結果、固体撮像素子12cの有効画素領域Dの内部(具体的には四隅)には、光学的に遮光された状態の黒領域C1〜C4が無事確保される。なお、かかる黒領域C1〜C4の各画素群は、所望の画素数の画素群(例えば4画素×4画素の画素群)であればよいが、より多い画素数の画素群であることが望ましい。
以上、説明したように、本発明の実施の形態1では、撮像部が、撮像に寄与する有効画素領域を介して受光した光情報を光電変換して画像を撮像するとともに、この有効画素領域内における黒領域の信号レベルを検出し、画像判定部が、この撮像部によって検出された黒領域の信号レベルをもとに、撮像部の電源の出力変動によって変化する黒領域の0レベル画素数を算出し、この算出した黒領域の0レベル画素数を用いて各画像の画像判定処理を行い、これによって電源電圧変動の影響があると判定した画像の出画を禁止するようにし、この撮像部が撮像した一連の画像のうち、この画像判定部によって出画禁止された画像を除く残りの画像、すなわち電源電圧変動の影響を受けず安定した画像を出画許可するように構成した。このため、撮像部によって撮像された膨大な数の画像のうち、この撮像部の電源電圧の変動の影響を受けた画像、具体的には黒の基準レベルの変動の影響を受けた画像の出画(表示)を容易に停止することができ、この結果、撮像部の電源電圧の影響を受けた画像を表示させることなく、安定した画像をユーザに提供(画像表示)することができる。
また、画像抽出部が、画像判定処理対象の画像を含む連続画像群を抽出し、画像判定部が、この抽出した連続画像群に含まれる各画像の黒領域の信号レベルをもとに0レベル画素数の平均値を算出し、この算出した0レベル画素数の平均値と設定閾値とを比較して各画像の画像判定処理を行い、0レベル画素数の平均値が設定閾値を超える場合に電源電圧変動の影響があると判定するように構成した。このため、ノイズ等によって突発的に信号レベルが低下した黒領域内の特異な画素に影響されることなく画像判定処理を行うことができ、この結果、各画像の画像判定処理を高精度に行うことができる。
さらに、撮像部によって撮像された一連の画像内の各画像に対して2段階の画像判定処理を行うようにしているので、撮像部の電源出力変動の影響を受けた画像を確実に出画停止できるとともに、一旦電源電圧変動の影響を受けたと判定した画像の中から電源電圧変動の影響の程度が低い画像の出画禁止を解除できる。この結果、電源電圧変動の影響を受けた画像を表示することなく、安定した体内画像をより多くユーザに提供することができる。
また、撮像部の有効画素領域の四隅に黒領域を設定したので、出画する画像を阻害することなく、四隅以外に黒領域を設定した場合に比して広範囲な黒領域を有効画素領域内に設定でき、これによって、画像判定処理に用いる黒領域の画素情報の精度を向上することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、黒領域C1〜C4の0レベル画素数を用いて各体内画像の電源電圧変動の影響を判定していたが、この実施の形態2では、撮像部の動作初期に対する黒領域の信号レベルの変動値を用いて各体内画像の電源電圧変動の影響を判定している。
図10は、本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。図10に示すように、この実施の形態2にかかる画像表示装置54は、上述した実施の形態1にかかる画像表示装置4の制御部45に代えて制御部55を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。なお、この実施の形態2にかかる画像表示システムは、上述した実施の形態1にかかる画像表示システム(図1参照)の画像表示装置4に代えて画像表示装置54を備える。
制御部55は、上述した実施の形態1にかかる画像表示装置4の画像判定部45cに代えて画像判定部55cを備える。なお、制御部55は、この画像判定部55cによる機能以外、上述した実施の形態1における制御部45と同様の機能を有する。
画像判定部55cは、体内画像群PGの中から画像抽出部45bによって抽出された連続画像群内の体内画像の黒領域C1〜C4の信号レベルをもとに黒領域C1〜C4の各平均輝度の変動値を算出し、この算出した各平均輝度の変動値に基づいて体内画像の画像判定処理を行い、この画像判定処理によって電源電圧変動の影響があると判定した体内画像の出画を禁止する。
ここで、かかる黒領域C1〜C4の各平均輝度の変動値は、図2に示したカプセル型内視鏡2において撮像ユニット12が動作し始めた際の黒領域C1〜C4の各平均輝度、すなわち動作初期における各平均輝度に対する変動値であり、撮像ユニット12に電力を供給する電源ユニット15の出力変動によって変化する黒領域の画素情報の一例である。かかる黒領域C1〜C4の各平均輝度の変動値は、カプセル型内視鏡2の動作初期等の電源ユニット15の出力変動が小さい状態において設定閾値以下であり、電源ユニット15の出力変動の増大、すなわち電源ユニット15の電力消耗の進行に伴って増加する。画像判定部55cは、かかる黒領域C1〜C4の画素情報(例えば各平均輝度の変動値)と予め設定した所定の閾値とを比較することによって、各体内画像Pn(n=1,2,3,…)の画像判定処理を順次行う。画像判定部55cは、かかる画像判定処理によって電源電圧変動の影響があると判定した体内画像の出画を禁止し、安定した画像と判定した体内画像の出画を許可する。
なお、かかる黒領域C1〜C4の各平均輝度の変動値を用いた画像判定処理は、画像判定部55cによる1段階めの画像判定処理であり、上述したカプセル型内視鏡2の電源ユニット15の出力変動(電圧変動)の影響、例えば、黒の基準レベルの変動の体内画像への影響を判定するものである。また、画像判定部55cは、かかる1段階めの画像判定処理を行った後、上述した実施の形態1における画像判定部45cと同様に、2段階めの画像判定処理を行う。
また、かかる画像判定部55cは、互いにID情報が異なる複数のカプセル型内視鏡2によって撮像された複数の体内画像群が記憶部44内に記憶されている場合、カプセル型内視鏡2のID情報毎に体内画像の画像判定処理を行う。
つぎに、本発明の実施の形態2にかかる画像表示装置54の動作について説明する。図11は、動作初期に対する黒領域の平均輝度の変動値を用いて体内画像の画像判定処理を行う画像表示装置の制御部の処理手順を例示するフローチャートである。画像表示装置54の制御部55は、メモリI/F43に挿着された携帯型記録媒体5から被検体1の体内画像群PGを取り込んだ場合、カプセル型内視鏡2の電源ユニット15の電力消耗の画像への影響(具体的には黒の基準レベルの変動の画像への影響)について、この体内画像群PG内の各体内画像Pn(n=1,2,3,…)の画像判定処理を行い、画像判定処理の結果に応じて各体内画像Pnの出画を禁止または許可する。
すなわち、図11に示すように、制御部55は、まず、黒領域毎にカプセル型内視鏡2の動作初期における平均輝度の平均値を算出する(ステップS201)。このステップS201において、画像抽出部45bは、メモリI/F43に挿着された携帯型記録媒体5から取り込んだ被検体1の体内画像群PGの中から、1フレーム目の体内画像P1を含む所定フレーム数(例えば3フレーム)の連続画像群を抽出する。画像判定部55cは、この抽出した連続画像群に含まれる各体内画像の黒領域毎に輝度レベルを取得し、この取得した各輝度レベルをもとに各体内画像の黒領域C1〜C4における平均輝度を算出する。そして、画像判定部55cは、かかる平均輝度を黒領域毎に合計した値をこの連続画像群のフレーム数によって除算して、黒領域C1〜C4毎に平均輝度の平均値を算出する。なお、かかる平均値は、カプセル型内視鏡2の動作初期における黒領域C1〜C4毎の平均輝度の平均値(以下、単に動作初期における平均値という場合がある)である。
つぎに、制御部55は、ステップS201において黒領域毎に算出した動作初期における平均値を自身のRAM等に記憶する(ステップS202)。この場合、画像判定部55cは、この動作初期における平均値を1段階めの画像判定処理に用いる演算パラメータとして設定する。
続いて、制御部55は、この体内画像群PGの中から判定対象の体内画像Pnを含む連続画像群を抽出する(ステップS203)。この場合、画像判定部55cは、フレーム番号nの昇順に沿って体内画像群PGの中から判定対象の体内画像Pnを決定する。画像抽出部45bは、この画像判定部55cが決定した判定対象の体内画像Pnを含む所定フレーム数(例えば3フレーム)の連続画像群を抽出する。
つぎに、制御部55は、ステップS203において抽出した連続画像群内の体内画像毎に黒領域C1〜C4の平均輝度を算出する(ステップS204)。この場合、画像判定部55cは、この連続画像群に含まれる体内画像毎に、黒領域C1〜C4の各画素の輝度レベルを取得し、この取得した各画素の輝度レベルを体内画像における黒領域毎に合計する。画像判定部55cは、この算出した各輝度レベルの合計値を黒領域C1〜C4の各画素数によって各々除算して、黒領域C1〜C4の各平均輝度を算出する。画像判定部55cは、かかる演算処理を体内画像毎に繰り返し行うことによって、連続画像群内の体内画像毎に黒領域C1〜C4の各平均輝度を算出する。
続いて、制御部55は、ステップS204において体内画像毎に算出した黒領域C1〜C4の各平均輝度をもとに、黒領域毎に連続画像群における平均輝度の平均値を算出する(ステップS205)。この場合、画像判定部55cは、連続画像群内の各体内画像の黒領域C1における平均輝度の合計値をこの連続画像群のフレーム数によって除算し、これによって、この連続画像群における黒領域C1の平均輝度の平均値を算出する。これと同様に、画像判定部55cは、連続画像群における黒領域C2の平均輝度の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における黒領域C2の平均輝度の平均値を算出し、連続画像群における黒領域C3の平均輝度の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における黒領域C3の平均輝度の平均値を算出し、連続画像群における黒領域C4の平均輝度の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における黒領域C4の平均輝度の平均値を算出する。
その後、制御部55は、ステップS201において算出した動作初期における平均値とステップS205において算出した黒領域毎の平均輝度の平均値との差を算出する(ステップS206)。この場合、画像判定部55cは、動作初期における平均値と連続画像群における黒領域C1の平均輝度の平均値との差を算出し、動作初期における平均値と連続画像群における黒領域C2の平均輝度の平均値との差を算出し、動作初期における平均値と連続画像群における黒領域C3の平均輝度の平均値との差を算出し、動作初期における平均値と連続画像群における黒領域C4の平均輝度の平均値との差を算出する。かかる動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差は、カプセル型内視鏡2の動作初期に対する黒領域C1〜C4の各平均輝度の変動値(推移)に相当する。
つぎに、制御部55は、ステップS206において算出した平均値の差が所定の閾値を超えるか否かを判断し(ステップS207)、超える場合(ステップS207,Yes)、判定対象の体内画像Pnは電源電圧変動の影響があると判定し、この判定対象の体内画像Pnに出画停止フラグを付加する(ステップS208)。このステップS207,S208において、画像判定部55cは、かかる動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差、すなわち動作初期に対する黒領域C1〜C4の各平均輝度の変動値と予め設定した閾値とを比較する。画像判定部55cは、この比較処理の結果、これら各平均輝度の平均値の差のいずれかが閾値を超過する場合、上述したステップS203において決定した判定対象の体内画像Pnは電源電圧変動の影響があると判定し、この体内画像に出画停止フラグを付加する。
その後、制御部55は、上述したステップS106と同様に、被検体1の体内画像群PGに含まれる全体内画像の画像判定を終了したか否かを判断し(ステップS209)、判定終了していなければ(ステップS209,No)、上述したステップS203に戻り、このステップS203以降の処理手順を繰り返す。
なお、制御部55は、上述したステップS207において、動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差がいずれも所定の閾値以下である場合(ステップS207,No)、判定対象の体内画像Pnを安定した画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加せずにステップS209に進む。この場合、画像判定部55cは、動作初期における平均値と黒領域C1の平均輝度の平均値との差と閾値とを比較し、動作初期における平均値と黒領域C2の平均輝度の平均値との差と閾値とを比較し、動作初期における平均値と黒領域C3の平均輝度の平均値との差と閾値とを比較し、動作初期における平均値と黒領域C4の平均輝度の平均値との差と閾値とを比較する。画像判定部55cは、かかる平均値の差、すなわち動作初期に対する黒領域C1〜C4の各平均輝度の変動値がいずれも閾値以下である場合、この判定対象の体内画像Pnを安定した画像と判定し、この体内画像に出画停止フラグを付加しない。
一方、制御部55は、上述したステップS209において体内画像群PG内の全体内画像の画像判定を終了したと判断した場合(ステップS209,Yes)、上述したステップS107〜S110と同様の処理手順を必要に応じて繰り返し行い、実施の形態1の場合と同様の2段階めの画像判定処理を行う(ステップS210〜S213)。このステップS210〜S213において、画像判定部55cは、上述した実施の形態1における画像判定部45cと同様に、1段階めの画像判定処理によって電源電圧変動の影響があると判定された1以上の体内画像に対して2段階めの画像判定処理を行う。この結果、画像判定部55cは、実施の形態1における画像判定部45cと同様に、体内画像群PGに含まれる出画停止フラグが付加されていない体内画像のうちの最後尾以降のフレームに存在する電源電圧変動の影響があると判定された全体内画像の出画停止フラグを削除せず、出画停止フラグが付加されていない体内画像以前のフレームに存在する全体内画像の出画停止フラグを削除する。
つぎに、N枚の体内画像Pn(n=1,2,3,…,N)からなる体内画像群PGの中から判定対象の体内画像を含む3枚(3フレーム)の連続画像群を抽出して画像判定処理を行う場合を例示して、画像判定部55cによる1段階めの画像判定処理を具体的に説明する。図12は、実施の形態2にかかる画像表示装置の画像判定部による1段階めの画像判定処理を説明するための模式図である。
図12において、aフレーム目の体内画像Pa(1<a<N)は、画像判定部55cの判定対象であり、判定対象の体内画像Paとその前後フレームの体内画像Pa-1,Pa+1とからなる連続画像群は、この体内画像Paに対する1段階めの画像判定処理を行う際に画像抽出部45bによって体内画像群PGの中から抽出された画像群である。
画像判定部55cは、まず、1フレーム目の体内画像P1を含む所定フレーム数(図12においては3フレーム)の連続画像群において、体内画像P1における黒領域C1〜C4の各平均輝度と、体内画像P2における黒領域C1〜C4の各平均輝度と、体内画像P3における黒領域C1〜C4の各平均輝度とを順次算出する。続いて、画像判定部55cは、かかる平均輝度を黒領域毎に平均化して、体内画像P1,P2,P3における黒領域C1〜C4の各平均輝度の平均値、すなわち、カプセル型内視鏡2の動作初期における黒領域C1の平均輝度の平均値A1と、動作初期における黒領域C2の平均輝度の平均値A2と、動作初期における黒領域C3の平均輝度の平均値A3と、動作初期における黒領域C4の平均輝度の平均値A4とを順次算出する。
つぎに、画像判定部55cは、判定対象を含む体内画像Pa-1,Pa,Pa+1における黒領域C1〜C4の各平均輝度の平均値を算出し、この算出した平均値を用いて判定対象の体内画像Paに対する1段階めの画像判定処理を行う。具体的には、画像判定部55cは、体内画像Pa-1について黒領域C1〜C4の各平均輝度を算出し、体内画像Paについて黒領域C1〜C4の各平均輝度を算出し、体内画像Pa+1について黒領域C1〜C4の各平均輝度を算出する。そして、画像判定部55cは、かかる体内画像Pa-1,Pa,Pa+1における黒領域C1の平均輝度の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C1の平均輝度の平均値B1を算出する。同様に、画像判定部55cは、かかる体内画像Pa-1,Pa,Pa+1における黒領域C2の平均輝度の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C2の平均輝度の平均値B2を算出し、体内画像Pa-1,Pa,Pa+1における黒領域C3の平均輝度の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C3の平均輝度の平均値B3を算出し、体内画像Pa-1,Pa,Pa+1における黒領域C4の平均輝度の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における黒領域C4の平均輝度の平均値B4を算出する。
その後、画像判定部55cは、予め算出した動作初期における平均値A1〜A4と黒領域C1〜C4の平均輝度の平均値B1〜B4とを各々減算して、黒領域C1における平均輝度の平均値差(A1−B1)と、黒領域C2における平均輝度の平均値差(A2−B2)と、黒領域C3における平均輝度の平均値差(A3−B3)と、黒領域C4における平均輝度の平均値差(A4−B4)とを順次算出する。
ここで、かかる黒領域C1〜C4における各平均値差(A1−B1),(A2−B2),(A3−B3),(A4−B4)は、カプセル型内視鏡2の動作初期に対する黒領域C1〜C4の各平均輝度の変動値である。画像判定部55cは、このように黒領域毎に算出した各平均値差(A1−B1),(A2−B2),(A3−B3),(A4−B4)と予め設定した閾値とを比較し、これらの平均値差(A1−B1),(A2−B2),(A3−B3),(A4−B4)の少なくとも一つが閾値を超過する場合、判定対象の体内画像Paは電源電圧変動の影響があると判定し、平均値差(A1−B1),(A2−B2),(A3−B3),(A4−B4)がいずれも閾値以下である場合、判定対象の体内画像Paを安定した画像と判定する。画像判定部55cは、この判定対象の体内画像Paを電源電圧変動の影響があると判定した場合、この体内画像Paに出画停止フラグFを付加する。
かかる画像判定部55cは、体内画像群PG内の各体内画像Pn(n=1,2,3,…,N)に対して、この体内画像Paの場合と同様に1段階めの画像判定処理を繰り返し行い、この1段階めの画像判定処理によって電源電圧変動の影響があると判定した全体内画像に出画停止フラグFを付加する。
なお、画像判定部55cが1フレーム目の体内画像P1の画像判定処理を行う場合、画像抽出部45bは、判定対象の体内画像P1と体内画像P1に後続する2フレームの体内画像P2,P3とからなる連続画像群を抽出してもよい。また、画像判定部55cがNフレーム目の体内画像PNの画像判定処理を行う場合、画像抽出部45bは、判定対象の体内画像PNと体内画像PNの前2フレームの体内画像PN-2,PN-1とからなる連続画像群を抽出してもよい。
以上、説明したように、本発明の実施の形態2では、画像判定部が、撮像部によって検出された黒領域の信号レベルをもとに、撮像部の動作初期に対する黒領域の平均輝度レベルの変動値を算出し、この算出した黒領域の平均輝度レベルの変動値を用いて各画像の画像判定処理を行うようにし、その他を実施の形態1と同様に構成した。このため、実施の形態1の場合と同様に、黒の基準レベルの変動の影響を受けた画像の出画(表示)を容易に停止することができ、この結果、実施の形態1と同様の作用効果を享受する撮像装置、画像表示装置、および画像表示システムを実現することができる。
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。上述した実施の形態1では、黒領域C1〜C4の0レベル画素数を用いて各体内画像の電源電圧変動の影響を判定していたが、この実施の形態3では、判定対象の体内画像における複数の黒領域間の信号レベル差を用いて各体内画像の電源電圧変動の影響を判定している。
図13は、本発明の実施の形態3にかかる画像表示装置の一構成例を模式的に示すブロック図である。図13に示すように、この実施の形態3にかかる画像表示装置64は、上述した実施の形態1にかかる画像表示装置4の制御部45に代えて制御部65を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。なお、この実施の形態3にかかる画像表示システムは、上述した実施の形態1にかかる画像表示システム(図1参照)の画像表示装置4に代えて画像表示装置64を備える。
制御部65は、上述した実施の形態1にかかる画像表示装置4の画像判定部45cに代えて画像判定部65cを備える。なお、かかる制御部65は、この画像判定部65cによる機能以外、上述した実施の形態1における制御部45と同様の機能を有する。
画像判定部65cは、体内画像群PGの中から画像抽出部45bによって抽出された連続画像群内の体内画像の黒領域C1〜C4の信号レベルをもとに、各体内画像における黒領域C1〜C4間の輝度レベル差を算出し、この算出した黒領域C1〜C4間の輝度レベル差を用いて体内画像の画像判定処理を行い、この画像判定処理によって電源電圧変動の影響がある画像と判定した体内画像の出画を禁止する。
ここで、かかる黒領域C1〜C4間の輝度レベル差は、同一体内画像における一対の黒領域間の輝度レベル差であり、撮像ユニット12に電力を供給する電源ユニット15の出力変動によって変化する黒領域の画素情報の一例である。かかる黒領域C1〜C4間の輝度レベル差は、カプセル型内視鏡2の動作初期等の電源ユニット15の出力変動が小さい状態において設定閾値以下であり、電源ユニット15の出力変動の増大、すなわち電源ユニット15の電力消耗の進行に伴って増加する。画像判定部65cは、かかる黒領域C1〜C4の画素情報(例えば同一体内画像における一対の黒領域間の輝度レベル差)と予め設定した所定の閾値とを比較することによって、各体内画像Pn(n=1,2,3,…)の画像判定処理を順次行う。画像判定部65cは、かかる画像判定処理によって電源電圧変動の影響があると判定した体内画像の出画を禁止し、電源電圧変動の影響を受けず安定した画像と判定した体内画像の出画を許可する。
なお、かかる黒領域C1〜C4間の輝度レベル差を用いた画像判定処理は、上述したカプセル型内視鏡2の電源ユニット15の出力変動(電圧変動)の影響、例えば、黒の基準レベルの変動による画像への影響を判定するものである。また、画像判定部65cは、上述した実施の形態1における画像判定部45cと異なり、かかる黒領域C1〜C4間の輝度レベル差を用いた1段階の画像判定処理を行って、各体内画像への影響を判定する。
また、かかる画像判定部65cは、互いにID情報が異なる複数のカプセル型内視鏡2によって撮像された複数の体内画像群が記憶部44内に記憶されている場合、カプセル型内視鏡2のID情報毎に体内画像の画像判定処理を行う。
つぎに、本発明の実施の形態3にかかる画像表示装置64の動作について説明する。図14は、同一体内画像における一対の黒領域間の輝度レベル差を用いて体内画像の画像判定処理を行う画像表示装置の制御部の処理手順を例示するフローチャートである。画像表示装置64の制御部65は、メモリI/F43に挿着された携帯型記録媒体5から被検体1の体内画像群PGを取り込んだ場合、カプセル型内視鏡2の電源ユニット15の電力消耗の画像への影響(具体的には黒の基準レベルの変動の画像への影響)について、この体内画像群PG内の各体内画像Pn(n=1,2,3,…)の画像判定処理を行い、画像判定処理の結果に応じて各体内画像Pnの出画を禁止または許可する。
すなわち、図14に示すように、制御部65は、メモリI/F43に挿着された携帯型記録媒体5から取り込んだ被検体1の体内画像群PGの中から判定対象の体内画像Pnを含む連続画像群を抽出する(ステップS301)。この場合、画像判定部65cは、フレーム番号nの昇順に沿って体内画像群PGの中から判定対象の体内画像Pnを決定する。画像抽出部45bは、この画像判定部65cが決定した判定対象の体内画像Pnを含む所定フレーム数(例えば3フレーム)の連続画像群を抽出する。
つぎに、制御部65は、ステップS301において抽出した連続画像群内の体内画像毎に左右一対の黒領域の平均輝度レベル差を算出する(ステップS302)。この場合、画像判定部65cは、この連続画像群に含まれる体内画像毎に、黒領域C1〜C4の各画素の輝度レベルを取得し、この取得した各画素の輝度レベルを体内画像における黒領域毎に合計する。画像判定部65cは、この算出した各輝度レベルの合計値を黒領域C1〜C4の各画素数によって各々除算して、黒領域C1〜C4の各平均輝度を算出する。その後、画像判定部65cは、同一の体内画像内の黒領域C1〜C4のうちの上側左右一対の黒領域C1,C2間における平均輝度の差すなわち平均輝度レベル差と、残りの下側左右一対の黒領域C3,C4間における平均輝度レベル差とを順次算出する。画像判定部65cは、かかる演算処理を体内画像毎に繰り返し行うことによって、連続画像群内の体内画像毎に上側左右一対の黒領域C1,C2の平均輝度レベル差と下側左右一対の黒領域C3,C4の平均輝度レベル差とを算出する。
続いて、制御部65は、ステップS302において算出した各体内画像における上側左右一対の黒領域C1,C2の平均輝度レベル差と下側左右一対の黒領域C3,C4の平均輝度レベル差とをもとに、左右一対の黒領域毎に連続画像群における平均輝度レベル差の平均値を算出する(ステップS303)。この場合、画像判定部65cは、連続画像群内の各体内画像における上側左右一対の黒領域C1,C2の平均輝度レベル差の合計値をこの連続画像群のフレーム数によって除算し、これによって、この連続画像群における上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値を算出する。これと同様に、画像判定部65cは、連続画像群における下側左右一対の黒領域C3,C4の平均輝度レベル差の合計値をこの連続画像群のフレーム数によって除算して、この連続画像群における下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値を算出する。
つぎに、制御部65は、ステップS303において算出した平均輝度レベル差の平均値が所定の閾値を超えるか否かを判断し(ステップS304)、超える場合(ステップS304,Yes)、判定対象の体内画像Pnは電源電圧変動の影響があると判定し、この判定対象の体内画像Pnに出画停止フラグを付加する(ステップS305)。このステップS304,S305において、画像判定部65cは、連続画像群における上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と設定閾値とを比較し、さらに、連続画像群における下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値と設定閾値とを比較する。画像判定部65cは、この比較処理の結果、これら各平均輝度レベル差の平均値のいずれかが閾値を超過する場合、上述したステップS301において決定した判定対象の体内画像Pnは電源電圧変動の影響があると判定し、この体内画像に出画停止フラグを付加する。
その後、制御部65は、上述したステップS106と同様に、被検体1の体内画像群PGに含まれる全体内画像の画像判定を処理終了したか否かを判断し(ステップS306)、処理終了していなければ(ステップS306,No)、上述したステップS301に戻り、このステップS301以降の処理手順を繰り返す。
一方、上述したステップS304において、上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値とがいずれも所定の閾値以下である場合(ステップS304,No)、制御部65は、判定対象の体内画像Pnを電源電圧変動の影響を受けない安定した画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加せずにステップS306に進む。この場合、画像判定部65cは、上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と閾値とを比較し、且つ、下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値と閾値とを比較する。画像判定部65cは、かかる各平均輝度レベル差の平均値がいずれも閾値以下である場合、この判定対象の体内画像Pnを電源電圧変動の影響を受けない安定した画像と判定する。かかる画像判定部65cは、この安定した体内画像に出画停止フラグを付加しない。
なお、制御部65は、この体内画像群PG内の全体内画像に対して上述した画像判定処理(1段階の画像判定処理)を完了した場合、上述したステップS306において処理終了と判断し(ステップS306,Yes)、本処理を終了する。
つぎに、N枚の体内画像Pn(n=1,2,3,…,N)からなる体内画像群PGの中から判定対象の体内画像を含む3枚(3フレーム)の連続画像群を抽出して画像判定処理を行う場合を例示して、画像判定部65cによる画像判定処理を具体的に説明する。図15は、実施の形態3にかかる画像表示装置の画像判定部による画像判定処理を説明するための模式図である。
図15において、aフレーム目の体内画像Pa(1<a<N)は、画像判定部65cの判定対象であり、判定対象の体内画像Paとその前後フレームの体内画像Pa-1,Pa+1とからなる連続画像群は、この体内画像Paの画像判定処理を行う際に画像抽出部45bによって体内画像群PGの中から抽出された画像群である。
画像判定部65cは、判定対象を含む体内画像Pa-1,Pa,Pa+1における黒領域C1〜C4間の平均輝度レベル差を算出し、この算出した平均輝度レベル差を用いて判定対象の体内画像Paの画像判定処理を行う。具体的には、画像判定部65cは、体内画像Pa-1について黒領域C1〜C4の各平均輝度を算出し、体内画像Pa-1における上側左右一対の黒領域C1,C2の平均輝度レベル差△H1と体内画像Pa-1における下側左右一対の黒領域C3,C4の平均輝度レベル差△H2とを算出する。また、画像判定部65cは、体内画像Paについて黒領域C1〜C4の各平均輝度を算出し、体内画像Paにおける上側左右一対の黒領域C1,C2の平均輝度レベル差△H1と体内画像Paにおける下側左右一対の黒領域C3,C4の平均輝度レベル差△H2とを算出する。さらに、画像判定部65cは、体内画像Pa+1について黒領域C1〜C4の各平均輝度を算出し、体内画像Pa+1における上側左右一対の黒領域C1,C2の平均輝度レベル差△H1と体内画像Pa+1における下側左右一対の黒領域C3,C4の平均輝度レベル差△H2とを算出する。
つぎに、画像判定部65cは、かかる体内画像Pa-1,Pa,Pa+1における各平均輝度レベル差△H1の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における上側左右一対の黒領域C1,C2の平均輝度レベル差△H1の平均値△J1を算出する。同様に、画像判定部65cは、かかる体内画像Pa-1,Pa,Pa+1における各平均輝度レベル差△H2の合計値を連続画像群のフレーム数「3」によって除算して、体内画像Pa-1,Pa,Pa+1における下側左右一対の黒領域C3,C4の平均輝度レベル差△H2の平均値△J2を算出する。
ここで、かかる黒領域C1,C2の平均輝度レベル差△H1および黒領域C3,C4の平均輝度レベル差△H2は、同一体内画像における黒の基準レベルの変動(偏り)を示す数値であり、カプセル型内視鏡2の電源ユニット15の出力変動が増大(すなわち電力消耗が進行)するに伴って増加する。すなわち、かかる連続画像群における平均輝度レベル差△H1の平均値△J1および平均輝度レベル差△H2の平均値△J2は、この電源ユニット15の出力変動の増大に伴って増加する。
画像判定部65cは、かかる平均輝度レベル差△H1の平均値△J1と設定閾値とを比較し、且つ、かかる平均輝度レベル差△H2の平均値△J2と設定閾値とを比較する。画像判定部65cは、これら平均値△J1,△J2の少なくとも一つが設定閾値を超過する場合、判定対象の体内画像Paを電源電圧変動の影響がある画像と判定し、平均値△J1,△J2がいずれも設定閾値以下である場合、判定対象の体内画像Paを安定した画像と判定する。画像判定部65cは、この判定対象の体内画像Paを電源電圧変動の影響がある画像と判定した場合、この体内画像Paに出画停止フラグFを付加する。かかる画像判定部65cは、体内画像群PG内の各体内画像Pn(n=1,2,3,…,N)に対して、この体内画像Paの場合と同様に画像判定処理を繰り返し行い、かかる1段階の画像判定処理によって電源電圧変動の影響があると判定した全体内画像に出画停止フラグFを付加する。
なお、画像判定部65cが1フレーム目の体内画像P1の画像判定処理を行う場合、画像抽出部45bは、判定対象の体内画像P1と体内画像P1に後続する2フレームの体内画像P2,P3とからなる連続画像群を抽出してもよい。また、画像判定部65cがNフレーム目の体内画像PNの画像判定処理を行う場合、画像抽出部45bは、判定対象の体内画像PNと体内画像PNの前2フレームの体内画像PN-2,PN-1とからなる連続画像群を抽出してもよい。
以上、説明したように、本発明の実施の形態3では、画像判定部が、撮像部によって検出された黒領域の信号レベルをもとに、同一画像における複数の黒領域間の輝度レベル差の平均値を算出し、この算出した輝度レベル差の平均値を用いて各画像の画像判定処理を行うようにし、その他を実施の形態1と同様に構成した。このため、実施の形態1の場合と同様に、黒の基準レベルの変動の影響を受けた画像の出画(表示)を容易に停止することができ、この結果、実施の形態1と同様の作用効果を享受する撮像装置、画像表示装置、および画像表示システムを実現することができる。
また、同一画像における黒領域間の輝度レベル差を用いて画像の画像判定処理を行うようにしているので、撮像部の電源電圧の変動(電源の消耗)に伴って画像に発生する黒の基準レベルの偏りに起因した画像への影響をダイレクトに判定することができ、この結果、各画像に対して2段階以上の画像判定処理を行う必要がなく、1段階の画像判定処理によって電源電圧変動の影響を受けた画像の出画を確実に停止することができる。
(実施の形態4)
つぎに、本発明の実施の形態4について説明する。上述した実施の形態1では、カプセル型内視鏡2によって撮像された被検体1の体内画像を表示する画像表示装置において体内画像の画像判定処理を行っていたが、この実施の形態4では、体内画像を撮像するカプセル型内視鏡において画像判定処理を行うようにしている。
図16は、本発明の実施の形態4にかかる画像表示システムの一構成例を例示する模式図である。図16に示すように、本発明の実施の形態4にかかる画像表示システムは、上述した実施の形態1にかかる画像表示システム(図1参照)のカプセル型内視鏡2に代えてカプセル型内視鏡82を備え、画像表示装置4に代えて画像表示装置74を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
カプセル型内視鏡82は、本発明にかかる撮像装置の一例であり、撮像した被検体1の体内画像の画像判定処理を行うこと以外、上述した実施の形態1にかかるカプセル型内視鏡2と同様の機能を有する。画像表示装置74は、本発明にかかる画像表示装置の一例であり、上述した2段階の画像判定処理のうち、1段階めの画像判定処理を行わずに2段階めの画像判定処理を行う。すなわち、画像表示装置74は、カプセル型内視鏡82によって1段階めの画像判定処理が行われた体内画像群PGを携帯型記録媒体5を介して取得し、この取得した体内画像群PGの各体内画像(すなわちカプセル型内視鏡82による1段階めの画像判定処理済みの各体内画像)に対して上述した2段階めの画像判定処理を行う。このこと以外、画像表示装置74は、上述した実施の形態1にかかる画像表示装置4と同様の機能を有する。
つぎに、本発明の実施の形態4にかかる撮像装置の一例であるカプセル型内視鏡82の構成について詳細に説明する。図17は、本発明の実施の形態4にかかるカプセル型内視鏡の一構成例を示す模式図である。図17に示すように、この実施の形態4にかかるカプセル型内視鏡82は、上述した実施の形態1にかかるカプセル型内視鏡2の制御部16に代えて制御部86を備える。この制御部86は、撮像ユニット12によって撮像された体内画像の連続画像群を抽出する画像抽出部86bと、撮像ユニット12によって撮像された各体内画像の電源電圧変動の影響を判定する画像判定部86cとを備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部86は、上述した黒領域設定部16aを有し、さらに、画像抽出部86bおよび画像判定部86cを有する。かかる制御部86は、画像抽出部86bおよび画像判定部86cによる機能(体内画像の画像判定処理機能)以外、上述した実施の形態1にかかるカプセル型内視鏡2の制御部16と同様の機能を有する。かかる制御部86は、画像判定部86cによって画像判定処理された体内画像を含む画像信号を外部の受信装置3に無線送信するように信号処理部13および送信ユニット14を制御する。
画像抽出部86bは、画像判定部86cによる画像判定処理対象の体内画像を含む一連の画像であって時系列に沿って所定フレーム数だけ連続する連続画像群を抽出する。具体的には、画像抽出部86bは、撮像ユニット12によって撮像された体内画像を信号処理部13から順次取得し、この結果、撮像ユニット12によって撮像された体内画像群の中から判定対象の体内画像を含む連続画像群を抽出する。
なお、かかる画像抽出部86bによって抽出される連続画像群は、先頭フレームに判定対象の体内画像を含む連続画像群であってもよいし、判定対象の体内画像の前後に所定フレーム数の体内画像が連続する連続画像群であってもよいし、最後尾フレームに判定対象の体内画像を含む連続画像群であってもよい。
画像判定部86cは、上述した実施の形態1にかかる画像表示装置4の画像判定部45cと略同様の画像判定処理機能を有する。具体的には、画像判定部86cは、画像抽出部86bによって抽出された連続画像群内の体内画像の黒領域C1〜C4の信号レベルをもとに、黒領域C1〜C4における0レベル画素数を算出し、この算出した0レベル画素数を用いて体内画像の画像判定処理(すなわち上述した画像判定部45cによる1段階めの画像判定処理)を行う。より具体的には、画像判定部86cは、かかる黒領域C1〜C4の画素情報である0レベル画素数の平均値と設定閾値とを比較し、0レベル画素数の平均値が設定閾値を超える場合、判定対象の体内画像を電源電圧変動の影響がある画像と判定し、0レベル画素数の平均値が設定閾値以下である場合、判定対象の体内画像を安定した画像と判定する。かかる画像判定部86cは、撮像ユニット12によって撮像された各体内画像Pn(n=1,2,3,…)に対してこのような画像判定処理を順次行い、これによって電源電圧変動の影響があると判定した体内画像の出画を禁止し、安定した画像と判定した体内画像の出画を許可する。なお、画像判定部86cは、上述した実施の形態1における画像判定部45cと同様に、安定した画像と判定した体内画像に出画停止フラグを付加せず、電源電圧変動の影響があると判定された体内画像に出画停止フラグを付加する。
つぎに、本発明の実施の形態4にかかるカプセル型内視鏡82の動作について説明する。図18は、黒領域の0レベル画素数を用いて体内画像の画像判定処理を行うカプセル型内視鏡の制御部の処理手順を例示するフローチャートである。カプセル型内視鏡82の制御部86は、撮像ユニット12によって被検体1の体内画像の撮像が開始された場合、電源ユニット15の電力消耗の影響を受けた画像(具体的には黒の基準レベルの変動の影響を受けた画像)について、撮像ユニット12による各体内画像Pn(n=1,2,3,…)の画像判定処理を行い、画像判定処理の結果に応じて各体内画像Pnの出画を禁止または許可する。
すなわち、図18に示すように、制御部86は、撮像ユニット12によって順次撮像された体内画像群の中から判定対象の体内画像Pnを含む連続画像群を抽出する(ステップS401)。この場合、画像判定部86cは、撮像ユニット12によって撮像された体内画像群の中から時系列の順方向(フレーム番号nの昇順)に沿って判定対象の体内画像Pnを決定する。画像抽出部86bは、この画像判定部86cが決定した判定対象の体内画像Pnを含む所定フレーム数(例えば3フレーム)の連続画像群を信号処理部13から抽出する。
つぎに、制御部86は、図6に示したステップS102と同様に、ステップS401において抽出した連続画像群内の体内画像毎に四隅の黒領域C1〜C4の0レベル画素数を算出する(ステップS402)。このステップS402において、画像判定部86cは、実施の形態1における画像判定部45cと同様に、この連続画像群内の体内画像毎に黒領域C1〜C4の各0レベル画素数を算出する。
続いて、制御部86は、図6に示したステップS103と同様に、ステップS402において体内画像毎に算出した黒領域C1〜C4の各0レベル画素数をもとに、黒領域毎に連続画像群における0レベル画素数の平均値を算出する(ステップS403)。このステップS403において、画像判定部86cは、実施の形態1における画像判定部45cと同様に、この連続画像群における黒領域C1の0レベル画素数の平均値と黒領域C2の0レベル画素数の平均値と黒領域C3の0レベル画素数の平均値と黒領域C4の0レベル画素数の平均値とを算出する。
つぎに、制御部86は、図6に示したステップS104,S105と同様に、ステップS403において算出した黒領域C1〜C4の各0レベル画素数の平均値が所定の閾値を超えるか否かを判断し(ステップS404)、超える場合(ステップS404,Yes)、判定対象の体内画像Pnを電源電圧変動の影響を受けた画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加する(ステップS405)。このステップS404,S405において、画像判定部86cは、実施の形態1における画像判定部45cと同様に、かかる黒領域C1〜C4の各0レベル画素数の平均値と設定閾値とを比較した結果に基づいて判定対象の体内画像Pnの電源電圧変動の影響を判定し、電源電圧変動の影響を受けた画像と判定された体内画像に出画停止フラグを付加する。これによって、画像判定部86cは、この電源電圧変動の影響を受けた体内画像の出画を禁止する。
その後、制御部86は、画像判定部86cによって画像判定処理が行われた判定処理済みの体内画像を外部に無線送信するように信号処理部13および送信ユニット14を制御し(ステップS406)、その後、上述したステップS401に戻り、このステップS401以降の処理手順を繰り返す。このステップS406において、制御部86は、判定処理済みの体内画像を含む画像信号を信号処理部13に生成させ、この画像信号を送信ユニット14に無線送信させる。
一方、制御部86は、上述したステップS404において黒領域C1〜C4の各0レベル画素数の平均値が所定の閾値以下である場合(ステップS404,No)、判定対象の体内画像Pnを電源電圧変動の影響がない画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加せずにステップS406に進む。このステップS404において、画像判定部86cは、実施の形態1における画像判定部45cと同様に、上述した黒領域C1〜C4の各0レベル画素数の平均値がいずれも閾値以下である場合に判定対象の体内画像Pnを電源電圧変動の影響がない画像と判定し、この体内画像に出画停止フラグを付加せず、これによって、この電源電圧変動の影響がない体内画像の出画を許可する。
このような制御部86を有するカプセル型内視鏡82は、撮像ユニット12によって撮像された各体内画像Pn(n=1,2,3,…)の画像判定を画像判定部86cによって順次行い、この画像判定部86cによって出画禁止または出画許可された判定処理済みの各体内画像Pnを送信ユニット14によって外部の受信装置3に順次無線送信する。
以上、説明したように、本発明の実施の形態4では、被検体の体内画像等の所望の画像を撮像する撮像装置側において各画像の画像判定処理を行い、この画像判定処理が行われた判定処理済みの各画像を外部(受信装置側または画像表示装置側)に送信するようにし、その他を上述した実施の形態1と同様に構成した。このため、実施の形態1の場合と略同様に、黒の基準レベルの変動の影響を受けた画像の出画を容易に停止することができ、この結果、実施の形態1と同様の作用効果を享受する撮像装置、画像表示装置、および画像表示システムを実現することができる。
(実施の形態5)
つぎに、本発明の実施の形態5について説明する。上述した実施の形態4では、黒領域C1〜C4の0レベル画素数を用いて各体内画像への電源電圧変動の影響を判定していたが、この実施の形態5では、撮像部の動作初期に対する黒領域の信号レベルの変動値を用いて各体内画像への電源電圧変動の影響を判定している。
図19は、本発明の実施の形態5にかかる撮像装置の一例であるカプセル型内視鏡の一構成例を模式的に示すブロック図である。図19に示すように、この実施の形態5にかかるカプセル型内視鏡92は、上述した実施の形態4にかかるカプセル型内視鏡82の制御部86に代えて制御部96を備える。その他の構成は実施の形態4と同じであり、同一構成部分には同一符号を付している。なお、この実施の形態5にかかる画像表示システムは、上述した実施の形態4にかかる画像表示システム(図16参照)のカプセル型内視鏡82に代えてカプセル型内視鏡92を備える。
制御部96は、上述した実施の形態4にかかるカプセル型内視鏡82の画像判定部86cに代えて画像判定部96cを備える。なお、制御部96は、この画像判定部96cによる機能以外、上述した実施の形態4における制御部86と同様の機能を有する。かかる制御部96は、画像判定部96cによって電源電圧変動の影響を判定された体内画像を含む画像信号を外部の受信装置3に無線送信するように信号処理部13および送信ユニット14を制御する。
画像判定部96cは、上述した実施の形態2にかかる画像表示装置54の画像判定部55cと略同様の画像判定処理機能を有する。具体的には、画像判定部96cは、画像抽出部86bによって抽出された連続画像群内の体内画像の黒領域C1〜C4の信号レベルをもとに、黒領域C1〜C4の各平均輝度の変動値を算出し、この算出した各平均輝度の変動値に基づいた体内画像の画像判定処理(すなわち上述した画像判定部55cによる1段階めの画像判定処理)を行う。
ここで、かかる黒領域C1〜C4の各平均輝度の変動値は、上述したように、カプセル型内視鏡92の動作初期における各平均輝度に対する変動値であり、撮像ユニット12に電力を供給する電源ユニット15の出力変動によって変化する黒領域の画素情報の一例である。画像判定部96cは、かかる黒領域C1〜C4の画素情報である各平均輝度の変動値と設定閾値とを比較することによって、各体内画像Pn(n=1,2,3,…)の画像判定処理を順次行う。画像判定部96cは、かかる画像判定処理によって電源電圧変動の影響があると判定した体内画像の出画を禁止し、電源電圧変動の影響がなく安定していると判定した体内画像の出画を許可する。なお、画像判定部96cは、上述した実施の形態2における画像判定部55cと同様に、電源電圧変動の影響がなく安定している体内画像に出画停止フラグを付加せず、電源電圧変動の影響があるとの判定の体内画像に出画停止フラグを付加する。
つぎに、本発明の実施の形態5にかかるカプセル型内視鏡92の動作について説明する。図20は、動作初期に対する黒領域の平均輝度の変動値を用いて体内画像の画像判定処理を行うカプセル型内視鏡の制御部の処理手順を例示するフローチャートである。カプセル型内視鏡92の制御部96は、撮像ユニット12によって被検体1の体内画像の撮像が開始された場合、電源ユニット15の電力消耗の影響を受けた画像(具体的には黒の基準レベルの変動の影響を受けた画像)について、撮像ユニット12による各体内画像Pn(n=1,2,3,…)の画像判定処理を行い、画像判定処理の結果に応じて各体内画像Pnの出画を禁止または許可する。
すなわち、図20に示すように、制御部96は、まず、黒領域毎にカプセル型内視鏡92の動作初期における平均輝度の平均値を算出する(ステップS501)。このステップS501において、画像抽出部86bは、撮像ユニット12によって撮像された1フレーム目の体内画像P1を含む所定フレーム数(例えば3フレーム)の連続画像群を信号処理部13から抽出する。画像判定部96cは、この抽出した連続画像群に含まれる各体内画像の黒領域毎に輝度レベルを取得し、この取得した各輝度レベルをもとに各体内画像の黒領域C1〜C4における平均輝度を算出する。そして、画像判定部96cは、かかる平均輝度を黒領域毎に合計した値をこの連続画像群のフレーム数によって除算して、黒領域C1〜C4毎に平均輝度の平均値を算出する。なお、かかる平均値は、カプセル型内視鏡92の動作初期における黒領域C1〜C4毎の平均輝度の平均値である。
つぎに、制御部96は、ステップS501において黒領域毎に算出した動作初期における平均値を自身のRAM等に記憶する(ステップS502)。この場合、画像判定部96cは、この動作初期における平均値を体内画像の画像判定処理に用いる演算パラメータとして設定する。
続いて、制御部96は、撮像ユニット12によって順次撮像された体内画像群の中から判定対象の体内画像Pnを含む連続画像群を抽出する(ステップS503)。この場合、画像判定部96cは、撮像ユニット12によって撮像された体内画像群の中から時系列の順方向(フレーム番号nの昇順)に沿って判定対象の体内画像Pnを決定する。画像抽出部86bは、この画像判定部96cが決定した判定対象の体内画像Pnを含む所定フレーム数(例えば3フレーム)の連続画像群を信号処理部13から抽出する。
つぎに、制御部96は、図11に示したステップS204と同様に、ステップS503において抽出した連続画像群内の体内画像毎に黒領域C1〜C4の平均輝度を算出する(ステップS504)。このステップS504において、画像判定部96cは、実施の形態2における画像判定部55cと同様に、この連続画像群内の体内画像毎に黒領域C1〜C4の各平均輝度を算出する。
続いて、制御部96は、図11に示したステップS205と同様に、ステップS504において体内画像毎に算出した黒領域C1〜C4の各平均輝度をもとに、黒領域毎に連続画像群における平均輝度の平均値を算出する(ステップS505)。このステップS505において、画像判定部96cは、実施の形態2における画像判定部55cと同様に、この連続画像群における黒領域C1の平均輝度の平均値と黒領域C2の平均輝度の平均値と黒領域C3の平均輝度の平均値と黒領域C4の平均輝度の平均値とを算出する。
その後、制御部96は、図11に示したステップS206と同様に、ステップS501において算出した動作初期における平均値とステップS505において算出した黒領域毎の平均輝度の平均値との差を算出する(ステップS506)。このステップS506において、画像判定部96cは、実施の形態2における画像判定部55cと同様に、動作初期における平均値と連続画像群における黒領域C1の平均輝度の平均値との差と、動作初期における平均値と連続画像群における黒領域C2の平均輝度の平均値との差と、動作初期における平均値と連続画像群における黒領域C3の平均輝度の平均値との差と、動作初期における平均値と連続画像群における黒領域C4の平均輝度の平均値との差とを算出する。なお、かかる動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差は、カプセル型内視鏡92の動作初期に対する黒領域C1〜C4の各平均輝度の変動値(推移)に相当する。
つぎに、制御部96は、図11に示したステップS207,S208と同様に、ステップS506において算出した平均値の差が所定の閾値を超えるか否かを判断し(ステップS507)、超える場合(ステップS507,Yes)、判定対象の体内画像Pnに電源電圧変動の影響があると判定し、この判定対象の体内画像Pnに出画停止フラグを付加する(ステップS508)。このステップS507,S508において、画像判定部96cは、実施の形態2における画像判定部55cと同様に、かかる動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差、すなわち動作初期に対する黒領域C1〜C4の各平均輝度の変動値と設定閾値とを比較し、この比較結果に基づいて判定対象の体内画像Pnを判定する。画像判定部96cは、電源電圧変動の影響があると判定された体内画像に出画停止フラグを付加し、これによって、この電源電圧変動の影響があると判定された体内画像の出画を禁止する。
その後、制御部96は、画像判定部96cによって画像判定処理が行われた判定処理済みの体内画像を外部に無線送信するように信号処理部13および送信ユニット14を制御し(ステップS509)、その後、上述したステップS503に戻り、このステップS503以降の処理手順を繰り返す。このステップS509において、制御部96は、判定処理済みの体内画像を含む画像信号を信号処理部13に生成させ、この画像信号を送信ユニット14に無線送信させる。
一方、制御部96は、上述したステップS507において動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差がいずれも所定の閾値以下である場合(ステップS507,No)、判定対象の体内画像Pnに電源電圧変動の影響がないと判定し、この判定対象の体内画像Pnに出画停止フラグを付加せずにステップS509に進む。このステップS507において、画像判定部96cは、実施の形態2における画像判定部55cと同様に、動作初期における平均値と黒領域C1〜C4の各平均輝度の平均値との差、すなわち動作初期に対する黒領域C1〜C4の各平均輝度の変動値がいずれも閾値以下である場合に判定対象の体内画像Pnに電源電圧変動の影響がないと判定する。この場合、画像判定部96cは、この電源電圧変動の影響がないと判定された体内画像に出画停止フラグを付加せず、これによって、この電源電圧変動の影響がないと判定された体内画像の出画を許可する。
このような制御部96を有するカプセル型内視鏡92は、撮像ユニット12によって撮像された各体内画像Pn(n=1,2,3,…)の画像判定を画像判定部96cによって順次行い、この画像判定部96cによって出画禁止または出画許可された判定処理済みの各体内画像Pnを送信ユニット14によって外部の受信装置3に順次無線送信する。
以上、説明したように、本発明の実施の形態5では、画像判定部が、黒領域の信号レベルをもとに撮像部の動作初期に対する黒領域の平均輝度レベルの変動値を算出し、この算出した黒領域の平均輝度レベルの変動値を用いて各画像の画像判定処理を行うようにし、その他を実施の形態4と同様に構成した。このため、実施の形態4の場合と同様に、黒の基準レベルの変動の影響を受けた画像の出画(表示)を容易に停止することができ、この結果、実施の形態4と同様の作用効果を享受する撮像装置、画像表示装置、および画像表示システムを実現することができる。
(実施の形態6)
つぎに、本発明の実施の形態6について説明する。上述した実施の形態4では、黒領域C1〜C4の0レベル画素数を用いて各体内画像への電源電圧変動の影響を判定していたが、この実施の形態6では、判定対象の体内画像における複数の黒領域間の信号レベル差を用いて各体内画像への電源電圧変動の影響を判定している。
図21は、本発明の実施の形態6にかかる撮像装置の一例であるカプセル型内視鏡の一構成例を模式的に示すブロック図である。図21に示すように、この実施の形態6にかかるカプセル型内視鏡102は、上述した実施の形態4にかかるカプセル型内視鏡82の制御部86に代えて制御部106を備える。その他の構成は実施の形態4と同じであり、同一構成部分には同一符号を付している。なお、この実施の形態6にかかる画像表示システムは、上述した実施の形態4にかかる画像表示システム(図16参照)のカプセル型内視鏡82に代えてカプセル型内視鏡102を備える。
制御部106は、上述した実施の形態4にかかるカプセル型内視鏡82の画像判定部86cに代えて画像判定部106cを備える。なお、制御部106は、この画像判定部106cによる機能以外、上述した実施の形態4における制御部86と同様の機能を有する。かかる制御部106は、画像判定部106cによって判定された体内画像を含む画像信号を外部の受信装置3に無線送信するように信号処理部13および送信ユニット14を制御する。
画像判定部106cは、上述した実施の形態3にかかる画像表示装置64の画像判定部65cと略同様の画像判定処理機能を有する。具体的には、画像判定部106cは、画像抽出部86bによって抽出された連続画像群内の体内画像の黒領域C1〜C4の信号レベルをもとに、各体内画像における黒領域C1〜C4間の輝度レベル差を算出し、この算出した黒領域C1〜C4間の輝度レベル差を用いて体内画像の画像判定処理(すなわち上述した画像判定部65cによる1段階めの画像判定処理)を行う。
ここで、かかる黒領域C1〜C4間の輝度レベル差は、上述したように、同一体内画像における一対の黒領域間の輝度レベル差であり、撮像ユニット12に電力を供給する電源ユニット15の出力変動によって変化する黒領域の画素情報の一例である。画像判定部106cは、かかる黒領域C1〜C4の画素情報である一対の黒領域間の輝度レベル差と設定閾値とを比較することによって、各体内画像Pn(n=1,2,3,…)の画像判定処理を順次行う。画像判定部106cは、かかる画像判定処理によって電源電圧変動の影響を受けた画像と判定した体内画像の出画を禁止し、電源電圧変動の影響を受けず安定した画像と判定した体内画像の出画を許可する。なお、画像判定部106cは、上述した実施の形態3における画像判定部65cと同様に、電源電圧変動の影響を受けず安定したと判定した体内画像に出画停止フラグを付加せず、電源電圧変動の影響を受けた画像と判定した体内画像に出画停止フラグを付加する。
つぎに、本発明の実施の形態6にかかるカプセル型内視鏡102の動作について説明する。図22は、同一体内画像における一対の黒領域間の輝度レベル差を用いて体内画像の画像判定処理を行うカプセル型内視鏡の制御部の処理手順を例示するフローチャートである。カプセル型内視鏡102の制御部106は、撮像ユニット12によって被検体1の体内画像の撮像が開始された場合、電源ユニット15の電力消耗の影響を受けた画像(具体的には黒の基準レベルの変動の影響を受けた画像)について、撮像ユニット12による各体内画像Pn(n=1,2,3,…)の画像判定処理を行い、画像判定処理の結果に応じて各体内画像Pnの出画を禁止または許可する。
すなわち、図22に示すように、制御部106は、撮像ユニット12によって順次撮像された体内画像群の中から判定対象の体内画像Pnを含む連続画像群を抽出する(ステップS601)。この場合、画像判定部106cは、撮像ユニット12によって撮像された体内画像群の中から時系列の順方向(フレーム番号nの昇順)に沿って判定対象の体内画像Pnを決定する。画像抽出部86bは、この画像判定部106cが決定した判定対象の体内画像Pnを含む所定フレーム数(例えば3フレーム)の連続画像群を信号処理部13から抽出する。
つぎに、制御部106は、図14に示したステップS302と同様に、ステップS601において抽出した連続画像群内の体内画像毎に左右一対の黒領域の平均輝度レベル差を算出する(ステップS602)。このステップS602において、画像判定部106cは、実施の形態3における画像判定部65cと同様に、この連続画像群内の体内画像毎に上側左右一対の黒領域C1,C2の平均輝度レベル差と下側左右一対の黒領域C3,C4の平均輝度レベル差とを算出する。
続いて、制御部106は、図14に示したステップS303と同様に、ステップS602において算出した各体内画像における上側左右一対の黒領域C1,C2の平均輝度レベル差と下側左右一対の黒領域C3,C4の平均輝度レベル差とを用いて左右一対の黒領域毎に連続画像群における平均輝度レベル差の平均値を算出する(ステップS603)。このステップS603において、画像判定部106cは、実施の形態3における画像判定部65cと同様に、この連続画像群における上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値とを算出する。
つぎに、制御部106は、図14に示したステップS304,S305と同様に、ステップS603において算出した平均輝度レベル差の平均値が所定の閾値を超えるか否かを判断し(ステップS604)、超える場合(ステップS604,Yes)、判定対象の体内画像Pnを電源電圧変動の影響がある画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加する(ステップS605)。このステップS604,S605において、画像判定部106cは、実施の形態3における画像判定部65cと同様に、連続画像群における上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と設定閾値とを比較し、さらに、連続画像群における下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値と設定閾値とを比較し、かかる比較処理の結果に基づいて判定対象の体内画像Pnを判定する。かかる画像判定部106cは、電源電圧変動の影響があると判定した体内画像に出画停止フラグを付加し、これによって、この電源電圧変動の影響があると判定した体内画像の出画を禁止する。
その後、制御部106は、画像判定部106cによって画像判定処理が行われた判定処理済みの体内画像を外部に無線送信するように信号処理部13および送信ユニット14を制御し(ステップS606)、その後、上述したステップS601に戻り、このステップS601以降の処理手順を繰り返す。このステップS606において、制御部106は、判定処理済みの体内画像を含む画像信号を信号処理部13に生成させ、この画像信号を送信ユニット14に無線送信させる。
一方、上述したステップS604において上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値とがいずれも所定の閾値以下である場合(ステップS604,No)、制御部106は、判定対象の体内画像Pnを電源電圧変動の影響がない画像と判定し、この判定対象の体内画像Pnに出画停止フラグを付加せずにステップS606に進む。このステップS604において、画像判定部106cは、実施の形態3における画像判定部65cと同様に、上側左右一対の黒領域C1,C2の平均輝度レベル差の平均値と下側左右一対の黒領域C3,C4の平均輝度レベル差の平均値とがいずれも閾値以下である場合に判定対象の体内画像Pnを電源電圧変動の影響がない画像と判定する。この場合、画像判定部106cは、この電源電圧変動の影響がないと判定された体内画像に出画停止フラグを付加せず、これによって、この体内画像の出画を許可する。
このような制御部106を有するカプセル型内視鏡102は、撮像ユニット12によって撮像された各体内画像Pn(n=1,2,3,…)の画像判定を画像判定部106cによって順次行い、この画像判定部106cによって出画禁止または出画許可された判定処理済みの各体内画像Pnを送信ユニット14によって外部の受信装置3に順次無線送信する。
以上、説明したように、本発明の実施の形態6では、画像判定部が、黒領域の信号レベルをもとに同一画像における複数の黒領域間の輝度レベル差の平均値を算出し、この算出した輝度レベル差の平均値を用いて各画像の画像判定処理を行うようにし、その他を実施の形態4と同様に構成した。このため、実施の形態4の場合と同様に、黒の基準レベルの変動によって電源電圧変動の影響があると判定された画像の出画(表示)を容易に停止することができ、この結果、実施の形態4と同様の作用効果を享受する撮像装置、画像表示装置、および画像表示システムを実現することができる。
また、同一画像における黒領域間の輝度レベル差を用いて画像の画像判定処理を行うようにしているので、撮像部の電源電圧の変動(電源の消耗)に伴って画像に発生する黒の基準レベルの偏りに起因した画像への影響をダイレクトに判定することができ、この結果、各画像に対して2段階以上の画像判定処理を行う必要がなく、1段階の画像判定処理によって電源電圧変動の影響を受けた画像の出画を確実に停止することができる。
なお、本発明の実施の形態1,4では、固体撮像素子の有効画素領域内に設定された黒領域の0レベル画素数(電源の出力変動が無い場合に比して低い輝度レベルを有する黒領域内の画素数)を用いて画像判定処理を行っていたが、これに限らず、黒領域の最小輝度レベルを用いて画像判定処理を行ってもよい。
具体的には、上述した実施の形態1における画像判定部45cは、上述したステップS102において、黒領域の0レベル画素数を算出する代わりに、画像抽出部45bが抽出した連続画像群内の体内画像毎に黒領域C1〜C4の各最小輝度レベルを算出し、上述したステップS103において、0レベル画素数の平均値を算出する代わりに、この連続画像群における黒領域C1〜C4の各最小輝度レベルの平均値を算出する。また、画像判定部45cは、上述したステップS104において、0レベル画素数の平均値と設定閾値とを比較する代わりに、黒領域C1〜C4の各最小輝度レベルの平均値と設定閾値とを比較する。かかる画像判定部45cは、各最小輝度レベルの平均値のうちの少なくとも一つが設定閾値未満である場合に判定対象の体内画像に電源電圧変動の影響があると判定し、各最小輝度レベルの平均値がいずれも設定閾値以上である場合に判定対象の体内画像に電源電圧変動の影響がないと判定する。画像判定部45cは、かかる黒領域の最小輝度レベルを用いた画像判定処理によって電源電圧変動の影響があると判定した体内画像に出画停止フラグを付加すればよい。
これと同様に、上述した実施の形態4における画像判定部86cは、上述したステップS402において、黒領域の0レベル画素数を算出する代わりに、画像抽出部86bが抽出した連続画像群内の体内画像毎に黒領域C1〜C4の各最小輝度レベルを算出し、上述したステップS403において、0レベル画素数の平均値を算出する代わりに、この連続画像群における黒領域C1〜C4の各最小輝度レベルの平均値を算出する。また、画像判定部86cは、上述したステップS404において、0レベル画素数の平均値と設定閾値とを比較する代わりに、黒領域C1〜C4の各最小輝度レベルの平均値と設定閾値とを比較する。かかる画像判定部86cは、各最小輝度レベルの平均値のうちの少なくとも一つが設定閾値未満である場合に判定対象の体内画像に電源電圧変動の影響があると判定し、各最小輝度レベルの平均値がいずれも設定閾値以上である場合に判定対象の体内画像に電源電圧変動の影響がないと判定する。画像判定部86cは、かかる黒領域の最小輝度レベルを用いた画像判定処理によって電源電圧変動の影響があると判定した体内画像に出画停止フラグを付加すればよい。
一方、本発明の実施の形態1〜6では、撮像装置の一例として、被検体の体内画像を撮像するカプセル型内視鏡を例示していたが、これに限らず、本発明にかかる撮像装置は、画像送信機能を備えたデジタルカメラまたはデジタルビデオカメラであってもよいし、撮像機能と通信機能とを備えた携帯電話機またはPDA等の可搬型情報端末であってもよい。すなわち、本発明にかかる撮像装置は、1以上の被写体画像を撮像する撮像機能と、撮像画像を外部(例えば撮像装置外部の受信装置側または画像表示装置側)に送信する通信機能とを兼ね備えたものであれば、いずれの装置形態のものであってもよい。また、本発明にかかる撮像装置は、上述したカプセル型内視鏡に例示されるように無線通信によって外部に画像を送信してもよいし、ケーブル等を介した有線通信によって外部に画像を送信するものであってもよい。
また、本発明の実施の形態1〜3では、本発明にかかる画像表示装置において画像判定処理を行い、本発明の実施の形態4〜6では、本発明にかかる撮像装置(例えば上述したカプセル型内視鏡)において画像判定処理を行っていたが、これに限らず、カプセル型内視鏡等の撮像装置から画像を受信する受信装置(例えば上述した受信装置3)において画像判定処理を行ってもよい。この場合、本発明にかかる受信装置は、上述した実施の形態1〜6のいずれかにおいて例示した画像抽出部および画像判定部を備え、撮像装置から受信した一連の画像に含まれる各画像をこの画像判定部によって判定すればよい。
さらに、本発明の実施の形態1〜6では、カプセル型内視鏡によって撮像された体内画像を画像表示装置に表示させていたが、これに限らず、カプセル型内視鏡から体内画像を受信する受信装置に表示部を設け、かかる受信装置の表示部に体内画像を順次表示させてもよい。この場合、受信装置は、上述した実施の形態1〜3にかかる画像表示装置と同様の1段階または2段階の画像判定処理機能を有し、かかる画像判定処理によって画像への電源電圧変動の影響があると判定した体内画像を表示せず、電源電圧変動の影響がないと判定された体内画像を表示してもよい。
また、本発明の実施の形態1〜6では、撮像装置または画像表示装置において2段階の画像判定処理を行っていたが、これに限らず、撮像装置によって撮像された各画像に対して上述した1段階めの画像判定処理を行い、1段階めの画像判定処理によって各画像の出画禁止または出画許可を決定してもよい。すなわち、上述した2段階めの画像判定処理を行わなくてもよい。
さらに、本発明の実施の形態4〜6では、カプセル型内視鏡の画像判定部によって電源電圧変動の影響があると判定した体内画像に出画停止フラグを付加していたが、これに限らず、カプセル型内視鏡等の撮像装置は、画像判定部によって電源電圧変動の影響があると判定された画像を外部の受信装置または画像表示装置に送信せず、画像判定部によって電源電圧変動の影響がないと判定した画像のみを外部の受信装置または画像表示装置に送信してもよい。この場合、上述した出画停止フラグは、電源電圧変動の影響があると判定された画像に付加されなくてもよい。
また、本発明の実施の形態1〜6では、携帯型記録媒体を介して受信装置から画像表示装置に画像データを受け渡していたが、これに限らず、本発明にかかる受信装置は、携帯型記録媒体を用いず、撮像装置から受信した画像データを無線通信または有線通信によって画像表示装置に送信してもよい。
さらに、本発明の実施の形態4〜6では、カプセル型内視鏡の画像判定部によって1段階めの画像判定処理を行い、画像表示装置において2段階めの画像判定処理を行うようにしていたが、これに限らず、カプセル型内視鏡等の撮像装置の画像判定部によって上述した2段階の画像判定処理を行ってもよい。
また、本発明の実施の形態1〜6では、固体撮像素子の有効画素領域の四隅に黒領域を設定していたが、これに限らず、画像判定処理に寄与する黒領域は、固体撮像素子の有効画素領域の内部であれば、四隅以外のいずれの画素領域(例えば有効画素領域内の周辺部)に設定されてもよい。また、かかる黒領域は、有効画素領域における1以上の画素によって形成される結像光線が入射しない領域であればよい。
さらに、本発明の実施の形態1〜6では、上述した黒領域設定部16aによって固体撮像素子の有効画素領域内に黒領域を設定していたが、これに限らず、有効画素領域内に黒領域を設定できない場合は、固体撮像素子のオプティカルブラック領域を上述した黒領域の代わりに用いてもよい。
また、本発明の実施の形態1〜3では、携帯型記録媒体5から被検体1の体内画像群PGを取り込む際に、この体内画像群PG内の各体内画像に対して画像判定処理を行っていたが、これに限らず、かかる携帯型記録媒体5から取り込んだ体内画像群PGを記憶部44に保存し、その後、この記憶部44内の体内画像群PGに含まれる各体内画像に対して画像判定処理を行ってもよい。
さらに、本発明の実施の形態1,2,4,5では、体内画像の画像判定処理に有効画素領域内の4つの黒領域C1〜C4を用いていたが、これに限らず、これら4つの黒領域C1〜C4のうちの少なくとも一つ(例えば黒領域C1のみ)を用いて体内画像の画像判定処理を行ってもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明の実施態様は、以上に説明したような特定の実施形態に限定されるものではない。よって、添付のクレームおよびその均等物の発明の概念を超えない範囲で様々な変更が可能である。