JP6411768B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像素子より出力される信号を処理して画像を生成する画像処理装置に関する。

撮像素子により出力される信号を処理して画像を生成する画像処理装置が知られている。画像処理装置の一例として、動きのある被写体の残像を抑えつつ画像内のノイズを低減するものが知られている。例えば特許文献１に、この種の画像処理装置の具体的構成が記載されている。

特許文献１に記載の画像処理装置は、巡回型ノイズリダクション回路を備えている。特許文献１に記載の巡回型ノイズリダクション回路は、撮像素子より出力される現在の映像信号と１フレーム前又は１フィールド前の映像信号との差分を減算器でとり、乗算器にて差分値に帰還係数を乗じたものを加算器で現在の映像信号に加算することにより、映像信号からノイズ成分を低減するものであり、減算器からの差分値に応じて一画素単位で帰還係数を制御する。減算器からの差分値が大きいほど帰還係数が小さくされることで残像の低減が図られ、差分値が小さいほど帰還係数が大きくされることでノイズの低減が図られる。

特開２０００−２０９５０７号公報

しかし、特許文献１に記載の構成では、被写体の動き成分とランダムノイズとの分離が充分にできないため、動きのある被写体の残像を充分に抑えることができない。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、動きのある被写体の残像を抑えつつ画像内のノイズを低減するのに好適な画像処理装置を提供することである。

本発明の実施形態の画像処理装置は、被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、有効画素領域全てを範囲として被写体の動きを検出する第１の動き検出手段と、有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、順次設定される注目画素を含む局所画素領域を範囲として被写体の動きを検出する第２の動き検出手段と、各注目画素について、第１の動き検出手段による検出結果及び第２の動き検出手段による検出結果に基づき、現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、各注目画素について、混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段とを備える。

また、本発明の実施形態の画像処理装置は、被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、有効画素領域内において差分値が第１の条件を満たす画素をカウントし、カウントされた画素の数を第１カウント値とする第１のカウント手段と、有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、順次設定される注目画素及びその周辺画素よりなる画素群の中で差分値が第２の条件を満たすものをカウントし、カウントされた画素の数を第２カウント値とする第２のカウント手段と、各注目画素について、当該注目画素が属する画素群における第２カウント値と第１カウント値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、各注目画素について、混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段とを備える。

混合比決定手段は、第１カウント値を第１の値に変換し、第２カウント値を第２の値に変換する構成としてもよい。この場合、混合比決定手段は、第１の値と第２の値との差分値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する。

また、第１の値の数値範囲と第２の値の数値範囲は同一であってもよい。

また、第１の条件は、例えば、差分値計算手段により計算された差分値が第１の閾値よりも大きいことである。また、第２の条件は、例えば、上記差分値が第２の閾値よりも小さいことである。この場合において、第１カウント値は、一定値以下のときには上記数値範囲内の最大値に変換され、一定値より大きいほど最大値に対して小さい値に変換される。また、第２カウント値は、第２カウント値そのままの値に変換される。そして、混合比決定手段は、第１の値と第２の値との差分値が第３の閾値以上のときには第１の値及び第２の値に基づいて混合比を決定し、第１の値と第２の値との差分値が第３の閾値未満のときには第１の値又は第２の値に基づいて混合比を決定する。

撮像素子による撮像期間は、例えば、１フィールド期間又は１フレーム期間である。

本発明の実施形態によれば、動きのある被写体の残像を抑えつつ画像内のノイズを低減するのに好適な画像処理装置が提供される。

本発明の実施形態の電子内視鏡システムの外観図である。 本発明の実施形態の電子内視鏡システムのブロック図である。 本発明の実施形態のプロセッサに備えられるノイズリダクション回路の構成を示すブロック図である。 本発明の実施形態のノイズリダクション回路に備えられる帰還係数算出部の動作を示すフローチャートである。 フィールド全体での動き検出を概念的に示す図（図５（ａ））及び局所領域での動き検出を概念的に示す図（図５（ｂ））である。 第１カウント値と第１の値ｍ１との変換関数を示すグラフ（図６（ａ））及び第２カウント値と第２の値ｍ２との変換関数を示すグラフ（図６（ｂ））である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

図１は、本実施形態の電子内視鏡システム１の外観図である。図１に示されるように、本実施形態の電子内視鏡システム１は、電子スコープ１００及びプロセッサ２００を備えている。プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照射する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。

図１に示されるように、電子スコープ１００は、可撓性を有するシースによって外装された挿入部可撓管１１を備えている。挿入部可撓管１１の先端部分（屈曲部１４）は、挿入部可撓管１１の基端に連結された手元操作部１３からの遠隔操作に応じて屈曲する。屈曲機構は、一般的な内視鏡に組み込まれている周知の機構であり、手元操作部１３の湾曲操作ノブの回転操作に連動した操作ワイヤの牽引によって屈曲部１４を屈曲させる。屈曲部１４の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２の基端が連結している。先端部１２の方向が湾曲操作ノブの回転操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。

プロセッサ２００には、電子スコープ１００の基端に設けられたコネクタ部１０に対応する連結構造を持つコネクタ部２０が設けられている。コネクタ部２０は、コネクタ部１０と機械的に接続されることにより、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続する。

図２は、本実施形態の電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１には、モニタ３００がプロセッサ２００に接続されている。

図２に示されるように、プロセッサ２００は、システムコントローラ２０２、タイミングコントローラ２０４を有している。システムコントローラ２０２は、メモリ２２２に記憶された各種プログラムを実行することにより、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２１８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。なお、操作パネル２１８の構成には種々の形態がある。操作パネル２１８の具体的構成としては、例えば、プロセッサ２００のフロント面に実装された機能毎のハードウェアキーやタッチパネル式ＧＵＩ（Graphical User Interface）、ハードウェアキーとＧＵＩとの組合せ等が考えられる。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む光）を射出する。ランプ２０８には、キセノンランプ、ハロゲンランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ２０８より射出された照射光は、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。

絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。ランプ２０８より照射された光の光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

絞り２１２を通過した照射光は、ＬＣＢ（Light Carrying Bundle）１０２の入射端に入射される。入射端よりＬＣＢ１０２内に入射された照射光は、ＬＣＢ１０２内を全反射を繰り返すことによって伝播する。ＬＣＢ１０２内を伝播した照射光は、電子スコープ１００の先端部１２内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体を照射する。

被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上の各画素で光学像を結ぶ。固体撮像素子１０８は、補色市松型画素配置を有するインターレース方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの各補色信号を生成し、生成された垂直方向に隣接する２つの画素の補色信号を加算し混合して順次出力する。以下、固体撮像素子１０８より順次出力される、各フィールドの各水平ラインの各画素に対応する混合後の信号を「撮像信号」と記す。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置を採用してもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

固体撮像素子１０８より出力される撮像信号は、プリアンプ１１０による信号増幅後、ドライバ信号処理回路１１２を介して信号処理回路２２０に入力される。

電子スコープ１００には、ドライバ信号処理回路１１２及びメモリ１１４が備えられている。ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート（フレームレート）、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２及び信号処理回路２２０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフィールドレート（フレームレート）に同期したタイミングで駆動制御する。

図２に示されるように、信号処理回路２２０は、前段信号処理回路２２０Ａ、ノイズリダクション回路２２０Ｂ及び後段信号処理回路２２０Ｃを備えている。

前段信号処理回路２２０Ａは、ドライバ信号処理回路１１２より入力される撮像信号に対して色補完、Ｙ／Ｃ分離等の所定の信号処理を施して画素信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）を生成し、生成された画素信号をノイズリダクション回路２２０Ｂに出力する。

図３は、ノイズリダクション回路２２０Ｂの構成を示すブロック図である。図３に示されるように、ノイズリダクション回路２２０Ｂは、第１フィールドメモリ２２０Ｂａ、帰還係数算出部２２０Ｂｂ、乗算回路２２０Ｂｃ１〜２２０Ｂｃ３、第２フィールドメモリ２２０Ｂｄ、乗算回路２２０Ｂｅ１〜２２０Ｂｅ３及び加算回路２２０Ｂｆ１〜２２０Ｂｆ３を備えている。

第１フィールドメモリ２２０Ｂａには、前段信号処理回路２２０Ａより画素信号（輝度信号Ｙ）が入力される。第１フィールドメモリ２２０Ｂａには、少なくとも１フィールド分の画素信号（有効画素領域内の画素信号）がバッファリングされる。

帰還係数算出部２２０Ｂｂには、前段信号処理回路２２０Ａより現在のフィールドの画素信号（輝度信号Ｙ）が順次入力されると同時に、第１フィールドメモリ２２０Ｂａより当該画素信号に対応する１フィールド前の画素信号（輝度信号Ｙ）が順次入力される。ここでは、同一ライン且つ同一アドレスの画素の画素信号同士を「対応する画素信号」とする。例えば、奇数フィールドの水平２ライン目で最初に出力される画素信号に対応する、１フィールド前の画素信号は、１つ前の偶数フィールドの水平２ライン目で最初に出力された画素信号である。

［帰還係数算出部２２０Ｂｂの動作の説明］
図４は、帰還係数算出部２２０Ｂｂの動作を示すフローチャートである。

［図４のＳ１１（輝度差分値の計算）］
図４に示されるように、本処理ステップＳ１１では、有効画素領域内の各画素について、現在のフィールドの画素信号（輝度信号Ｙ）と１つ前のフィールドの画素信号（輝度信号Ｙ）との差分値が計算される。以下、説明の便宜上、本処理ステップＳ１１にて計算される画素信号（輝度信号Ｙ）の差分値を「輝度差分値」と記す。また、現在のフィールドの画素信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）を「現フィールド画素信号ｎｆｓ」と記し、１つ前のフィールドの画素信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）を「前フィールド画素信号ｐｆｓ」と記す。

［図４のＳ１２（第１カウント値の算出）］
図５（ａ）は、フィールド全体での動き検出を概念的に示す図である。本処理ステップＳ１２では、図５（ａ）に示されるようにフィールド全体での動き検出を行うため、以下の処理が行われる。

本処理ステップＳ１２では、有効画素領域内の画素の中で処理ステップＳ１１にて計算された輝度差分値が第１の閾値よりも大きいものがカウントされる。すなわち、本処理ステップＳ１２では、フィールド全体での動き検出を行うため、連続する２フィールドについて、フィールド全体を範囲として、輝度差分値が第１の閾値よりも大きい画素がカウントされる。以下、説明の便宜上、本処理ステップＳ１２にてカウントされた画素の数を「第１カウント値」と記す。

［図４のＳ１３（第１の値ｍ１への変換）］
本処理ステップＳ１３では、処理ステップＳ１２にてカウントされた第１カウント値を第１の値ｍ１に変換する。ここで、図６（ａ）に、第１カウント値と第１の値ｍ１との変換関数をグラフ化して示す。図６（ａ）中、縦軸は、第１の値ｍ１を示し、横軸は、第１カウント値を示す。第１の値ｍ１は、「０〜９」の値をとる。

図６（ａ）に示されるように、第１カウント値は、一定値Ｃ以下のときには一定値（ここでは「９」）に変換され、一定値Ｃより大きいほど小さい値に変換される。より詳細には、第１カウント値は、一定値Ｃより大きいほど「９」に対して小さい値に変換され、最大値となるとき（すなわち、有効画素領域内の全ての画素において輝度差分値が第１の閾値よりも大きいとき）には「０」に変換される。

第１の値ｍ１は、傾向として、フィールド全体の中で被写体の動く領域が多い（輝度差分値が第１の閾値よりも大きい画素が多い）場合に小さい値をとり、フィールド全体の中で被写体の動く領域が少ない（輝度差分値が第１の閾値よりも大きい画素が少ない）場合に大きい値をとる。より簡潔には、フィールド全体を検出範囲とした場合に、第１の値ｍ１は、被写体が動いていれば小さい値をとり、被写体が動いていなければ大きい値をとる。

［図４のＳ１４（注目画素の設定）］
本処理ステップＳ１４では、有効画素領域内の一つの画素が注目画素として設定される。

［図４のＳ１５（局所領域（画素群）の設定）］
本処理ステップＳ１５では、処理ステップＳ１４にて設定された注目画素及びその周辺画素よりなる画素群を設定する。なお、本実施形態において、周辺画素は、注目画素の上下左右方向、右斜め上方向、右斜め下方向、左斜め上方向及び左斜め下方向の各方向に隣接して位置する計８つの画素を指す。すなわち、画素群は、３×３のマトリクスに配置された９つの画素よりなる。

［図４のＳ１６（第２カウント値の算出）］
図５（ｂ）は、局所領域（画素群に対応する３×３の画素よりなる領域）での動き検出を概念的に示す図である。本処理ステップＳ１６では、図５（ｂ）に示されるように局所領域での動き検出を行うため、以下の処理が行われる。

本処理ステップＳ１６では、画素群（１つの注目画素＋８つの周辺画素）の中で処理ステップＳ１１にて計算された輝度差分値が第２の閾値よりも小さいものがカウントされる。すなわち、本処理ステップＳ１６では、局所領域での動き検出を行うため、連続する２フィールドについて、処理ステップＳ１５にて設定された画素群を範囲として、輝度差分値が第２の閾値よりも小さい画素がカウントされる。以下、説明の便宜上、本処理ステップＳ１６にてカウントされた画素の数を「第２カウント値」と記す。

［図４のＳ１７（第２の値ｍ２への変換）］
本処理ステップＳ１７では、処理ステップＳ１６にてカウントされた第２カウント値を第２の値ｍ２に変換する。ここで、図６（ｂ）に、第２カウント値と第２の値ｍ２との変換関数をグラフ化して示す。図６（ｂ）中、縦軸は、第２の値ｍ２を示し、横軸は、第２カウント値を示す。第２の値ｍ２も第１の値ｍ１と同じく「０〜９」の値をとる。

図６（ｂ）に示されるように、第２カウント値は、輝度差分値が第２の閾値よりも小さい画素の数そのもの（「０〜９」の値）に変換される。すなわち、第２の値ｍ１は、第２カウント値そのままの値をとる。

第２の値ｍ２は、局所領域内で被写体の動く領域が多い（輝度差分値が第２の閾値よりも大きい画素が多い）場合に小さい値をとり、局所領域内で被写体の動く領域が少ない（輝度差分値が第２の閾値よりも大きい画素が少ない）場合に大きい値をとる。より簡潔には、局所領域内を検出範囲とした場合に、第２の値ｍ２は、被写体が動いていれば小さい値をとり、被写体が動いていなければ大きい値をとる。

［図４のＳ１８（第１の値ｍ１と第２の値ｍ２との比較）］
本処理ステップＳ１８では、第１の値ｍ１と第２の値ｍ２との差分値が計算される。次いで、計算された差分値が第３の閾値以上であるか否かが判定される。

［図４のＳ１９（帰還係数Ｋの算出）］
本処理ステップＳ１９は、処理ステップＳ１８にて計算された差分値が第３の閾値以上となる場合（Ｓ１８：ＹＥＳ）に行われる。処理ステップＳ１８にて計算される差分値は、典型的には、下記のケース１やケース２の場合に第３の閾値以上となる。

（ケース１）
ケース１は、フィールド全体の中で被写体の動く領域が多く且つ局所領域内で被写体の動く領域が少ないケースである。ケース１では、例えば、被写体の動いている部分がフィールド内で広く分布するが、局所的な領域を見ると被写体があまり動いていないため、フィールド全体では被写体が動いていると検出されるが、局所領域では被写体が動いていないと検出される。

（ケース２）
ケース２は、フィールド全体の中で被写体の動く領域が少なく且つ局所領域内で被写体の動く領域が多いケースである。ケース２では、例えば、フィールド全体を見ると被写体があまり動いていないが、局所的な領域を見ると被写体が動いているため、局所領域では被写体が動いていると検出されるが、フィールド全体では被写体が動いていないと検出される。

このように、処理ステップＳ１８にて計算された差分値が第３の閾値以上となる場合は、フィールド全体で見たときと局所領域で見たときとで被写体の動き検出の結果が異なる。そのため、局所領域（画素群）に属する注目画素の画素信号については、フィールド全体で被写体の動きを見たときと局所領域で被写体の動きを見たときの両方の状況を考慮することが望ましい。そこで、本処理ステップＳ１９では、局所領域（画素群）に属する注目画素の画素信号に適用する帰還係数Ｋが次式により算出される。

Ｋ＝［（ｍ１＋ｍ２）／２］／９

［図４のＳ２０（帰還係数Ｋの算出）］
本処理ステップＳ２０は、処理ステップＳ１８にて計算された差分値が第３の閾値未満となる場合（Ｓ１８：ＮＯ）に行われる。処理ステップＳ１８にて計算される差分値は、典型的には、下記のケース３やケース４の場合に第３の閾値未満となる。

（ケース３）
ケース３は、フィールド全体の中で被写体の動く領域が少なく且つ局所領域内でも被写体の動く領域が少ないケースである。ケース３では、例えば、フィールド全体だけでなく局所的な領域を見ても被写体があまり動いていないため、何れの検出範囲でも被写体が動いていないと検出される。

（ケース４）
ケース４は、フィールド全体の中で被写体の動く領域が多く且つ局所領域内でも被写体の動く領域が多いケースである。ケース４では、例えば、動いている被写体がフィールド内で広く分布し、局所的な領域を見ても被写体が動いているため、何れも検出範囲でも被写体が動いていると検出される。

このように、処理ステップＳ１８にて計算された差分値が第３の閾値未満となる場合は、フィールド全体で見たときと局所領域で見たときとで被写体の動き検出の結果が同じとなる。そのため、局所領域（画素群）に属する注目画素の画素信号については、フィールド全体で被写体の動きを見たときと局所領域で被写体の動きを見たときの一方の状況を考慮すればよい。そこで、本処理ステップＳ２０では、局所領域（画素群）に属する注目画素の画素信号に適用する帰還係数Ｋが次式により算出される。

Ｋ＝ｍ１／９

なお、別の実施形態では、上記式を次式に置き換えてもよい。

Ｋ＝ｍ２／９

［図４のＳ２１及びＳ２２（未処理の画素の判定）］
本処理ステップＳ２１では、有効画素領域内において、適用する帰還係数Ｋが算出されていない画素が残っているか否かが判定される。適用する帰還係数Ｋが算出されていない画素が残っている場合（Ｓ２１：ＹＥＳ）、注目画素が次の画素（例えば水平ライン方向に隣接する画素）に設定される（Ｓ２２）。次の注目画素が設定されると、本フローチャートは、処理ステップＳ１５に戻る。処理ステップＳ１５〜Ｓ２２がループすることで、有効画素領域内の各画素について帰還係数Ｋが順次算出される。本フローチャートは、有効画素領域内の全ての画素について帰還係数Ｋが算出されると（Ｓ２１：ＮＯ）、上記ループから抜けて終了する。

帰還係数算出部２２０Ｂｂにて算出された帰還係数Ｋは、乗算回路２２０Ｂｃ１〜２２０Ｂｃ３及び乗算回路２２０Ｂｅ１〜２２０Ｂｅ３に入力される。

乗算回路２２０Ｂｃ１〜２２０Ｂｃ３にはそれぞれ、前段信号処理回路２２０Ａより、現フィールド画素信号ｎｆｓ（輝度信号Ｙ）、現フィールド画素信号ｎｆｓ（色差信号Ｕ）、現フィールド画素信号ｎｆｓ（色差信号Ｖ）が入力される。乗算回路２２０Ｂｃ１〜２２０Ｂｃ３に入力された現フィールド画素信号ｎｆｓ（輝度信号Ｙ）、現フィールド画素信号ｎｆｓ（色差信号Ｕ）、現フィールド画素信号ｎｆｓ（色差信号Ｖ）はそれぞれ、（１−帰還係数Ｋ）の値で乗算される。以下、説明の便宜上、乗算回路２２０Ｂｃ１〜２２０Ｂｃ３による乗算値をそれぞれ、「乗算値（輝度信号Ｙ）[ｎｆｓ×（１−Ｋ）]」、「乗算値（色差信号Ｕ）[ｎｆｓ×（１−Ｋ）]」、「乗算値（色差信号Ｖ）[ｎｆｓ×（１−Ｋ）]」と記す。

乗算値（輝度信号Ｙ）[ｎｆｓ×（１−Ｋ）]、乗算値（色差信号Ｕ）[ｎｆｓ×（１−Ｋ）]、乗算値（色差信号Ｖ）[ｎｆｓ×（１−Ｋ）]はそれぞれ、加算回路２２０Ｂｆ１〜２２０Ｂｆ３に入力される。

第２フィールドメモリ２２０Ｂｄには、加算回路２２０Ｂｆ１〜２２０Ｂｆ３より出力される補正後の画像信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）が入力される。なお、補正後の画像信号とはノイズ低減後の画像信号であり、詳しくは後述する。第２フィールドメモリ２２０Ｂｄには、少なくとも１フィールド分の画素信号（有効画素領域内の画素信号）がバッファリングされる。

乗算回路２２０Ｂｅ１〜２２０Ｂｅ３にはそれぞれ、第２フィールドメモリ２２０Ｂｄより、前フィールド画素信号ｐｆｓ（補正後の輝度信号Ｙ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｕ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｖ）が入力される。乗算回路２２０Ｂｅ１〜２２０Ｂｅ３に入力された前フィールド画素信号ｐｆｓ（補正後の輝度信号Ｙ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｕ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｖ）はそれぞれ、帰還係数Ｋで乗算される。以下、説明の便宜上、乗算回路２２０Ｂｅ１〜２２０Ｂｅ３による乗算値をそれぞれ、「乗算値（輝度信号Ｙ）[ｐｆｓ×Ｋ]」、「乗算値（色差信号Ｕ）[ｐｆｓ×Ｋ]」、「乗算値（色差信号Ｖ）[ｐｆｓ×Ｋ]」と記す。

乗算値（輝度信号Ｙ）[ｐｆｓ×Ｋ]、乗算値（色差信号Ｕ）[ｐｆｓ×Ｋ]、乗算値（色差信号Ｖ）[ｐｆｓ×Ｋ]はそれぞれ、加算回路２２０Ｂｆ１〜２２０Ｂｆ３に入力される。

加算回路２２０Ｂｆ１は、乗算回路２２０Ｂｃ１より入力される乗算値（輝度信号Ｙ）[ｎｆｓ×（１−Ｋ）]と、乗算回路２２０Ｂｅ１より入力される乗算値（輝度信号Ｙ）[ｐｆｓ×Ｋ]とを加算して、後段信号処理回路２２０Ｃに出力する。加算回路２２０Ｂｆ２は、乗算回路２２０Ｂｃ２より入力される乗算値（色差信号Ｕ）[ｎｆｓ×（１−Ｋ）]と、乗算回路２２０Ｂｅ２より入力される乗算値（色差信号Ｕ）[ｐｆｓ×Ｋ]とを加算して、後段信号処理回路２２０Ｃに出力する。加算回路２２０Ｂｆ３は、乗算回路２２０Ｂｃ３より入力される乗算値（色差信号Ｖ）[ｎｆｓ×（１−Ｋ）]と、乗算回路２２０Ｂｅ３より入力される乗算値（色差信号Ｖ）[ｐｆｓ×Ｋ]とを加算して、後段信号処理回路２２０Ｃに出力する。

すなわち、加算回路Ｂｆ１〜Ｂｆ３は、次式により、現フィールド画素信号ｎｆｓと前フィールド画素信号ｐｆｓとを混合することで、現フィールド画素信号ｎｆｓを補正する。次式に示されるように、現フィールド画素信号ｎｆｓと前フィールド画素信号ｐｆｓとの混合比は、帰還係数Ｋに応じて決まる。帰還係数Ｋは、被写体に動きがあるほど小さい値となり、被写体に動きがないほど大きい値となる。帰還係数Ｋが０に近いほど現フィールド画素信号ｎｆｓの比率が高くなるため、当該画素におけるノイズリダクション効果が小さくなる代わりに残像が抑えられる。また、帰還係数Ｋが１に近いほど前フィールド画素信号ｐｆｓの比率が高くなるため、当該画素におけるノイズリダクション効果が高くなる。

補正後の現フィールド画素信号ｎｆｓ’＝[ｎｆｓ×（１−Ｋ）]＋[ｐｆｓ×Ｋ]

後段信号処理回路２２０Ｃは、加算回路２２０Ｂｆ１〜２２０Ｂｆ３より入力される補正後の現フィールド画素信号ｎｆｓ’（輝度信号Ｙ、色差信号Ｕ、Ｖ）をＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠したビデオ信号に変換し、変換されたビデオ信号をモニタ３００に出力する。ビデオ信号がモニタ３００に順次入力することにより、被写体のカラー画像がモニタ３００の表示画面に表示される。

このように、本実施形態によれば、フィールド全体での被写体の動き検出の結果と局所領域での被写体の動き検出の結果の両方を考慮して各画素の帰還係数Ｋを算出することにより、動きのある被写体の残像を抑えつつ画像内のノイズを低減させられる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、固体撮像素子１０８の撮像期間がフィールド期間であるが、別の実施形態では、フレーム期間であってもよい。

１ 電子内視鏡システム
１００ 電子スコープ
２００ プロセッサ

Claims (5)

1. 被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、該撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、
   前記有効画素領域内において前記差分値が第１の条件を満たす画素をカウントし、カウントされた画素の数を第１カウント値とする第１のカウント手段と、
   前記有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、
   順次設定される注目画素及びその周辺画素よりなる画素群の中で前記差分値が第２の条件を満たすものをカウントし、カウントされた画素の数を第２カウント値とする第２のカウント手段と、
   各前記注目画素について、当該注目画素が属する画素群における第２カウント値と前記第１カウント値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、
   前記各注目画素について、前記混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段と、
   を備える、
   画像処理装置。
2. 前記混合比決定手段は、
   前記第１カウント値を第１の値に変換し、
   前記第２カウント値を第２の値に変換し、
   前記第１の値と前記第２の値との差分値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する、
   請求項１に記載の画像処理装置。
3. 前記第１の値の数値範囲と前記第２の値の数値範囲は同一である、
   請求項２に記載の画像処理装置。
4. 前記第１の条件は、
   前記差分値が第１の閾値よりも大きいことであり、
   前記第２の条件は、
   前記差分値が第２の閾値よりも小さいことであり、
   前記第１カウント値は、
   一定値以下のときには前記数値範囲内の最大値に変換され、
   前記一定値より大きいほど前記最大値に対して小さい値に変換され、
   前記第２カウント値は、
   前記第２カウント値そのままの値に変換され、
   前記混合比決定手段は、
   前記第１の値と前記第２の値との差分値が第３の閾値以上のときには該第１の値及び該第２の値に基づいて前記混合比を決定し、
   前記第１の値と前記第２の値との差分値が第３の閾値未満のときには該第１の値又は該第２の値に基づいて前記混合比を決定する、
   請求項３に記載の画像処理装置。
5. 前記撮像期間は、
   １フィールド期間又は１フレーム期間である、
   請求項１から請求項４の何れか一項に記載の画像処理装置。

Images