JP5648010B2 - 機器の作動方法及び撮影装置と電子内視鏡装置 - Google Patents

Description

本発明は、機器の作動方法及び撮影装置と電子内視鏡装置に関する。

カラー画像撮像用の固体撮像素子（イメージセンサ）は、半導体基板上に多数の画素（フォトダイオード）が二次元アレイ状に配列形成される。そして更に、各画素上にカラーフィルタが積層され、各画素列毎に、アンプやアナログ／デジタル（Ａ／Ｄ）変換器等が設けられる。

画素列毎に設けられるアンプ等を同一性能に製造することは困難であり、製造バラツキが生じる。このため、被写体の撮像画像中に、アンプ等の製造バラツキに起因する縦スジノイズが重畳してしまう。縦スジノイズが撮像画像中に存在すると、画質を劣化させるため、縦スジノイズを軽減する補正処理が行われる。この例では、縦スジノイズで説明したが、画素行毎にアンプ等を設ける場合には、横スジノイズとして現れる。以下、縦スジノイズで説明するが、横スジノイズでも同様である。

縦スジノイズは、固定パターンノイズであるため、その固体撮像素子固有の縦スジノイズ成分を予め求めておくことができる。そして、被写体を撮像したとき、実際の各画素の検出信号から縦スジノイズ成分を減算することで、縦スジ補正を行うことができる。しかし、縦スジノイズの補正はデジタル信号処理で行われるため、縦スジノイズ成分のうち小数点以下の除去ができず、量子化誤差が発生する。つまり、量子化誤差が、薄い縦スジノイズとして残ってしまう。

そこで、従来は、特許文献１，２に記載されている様に、縦スジのノイズ補正時に人工的なランダムノイズを加え、量子化精度以下の誤差（縦スジノイズ）を目立たなくする処理を行っている。特許文献２では、更に、ランダムノイズを付加する割合を、量子化誤差の大きさに応じて制御している。

特許第４３９６７５７号公報 特開２００５−１６７９１８号公報

従来技術の縦スジ補正方法は、コンパクト型や一眼レフ型のデジタルカメラに搭載されるイメージセンサに適用するのであれば、問題はない。照明光として太陽光や明るい照明光の元で撮影が行われるからである。

明るい照明光の元では、各画素が検出する信号量Ｓの絶対値は大きい。このため、小さなランダムノイズを重畳しても、そのノイズ成分が撮像画像中に目立つわけではない。

これに対し、特殊環境下で使用されるイメージセンサの縦スジ補正では問題となる。例えば、電子内視鏡装置のイメージセンサは、暗所となる体腔内に挿入され、細いライトガイドを通して内視鏡スコープ先端から患部等に照射される、十分とは言えない照明光の元で被写体画像を撮像することになる。

照明光が十分でないことは各画素が検出する信号量Ｓの絶対量が小さいことを意味し、相対的にノイズ量Ｎが大きくなる。このため、太陽光等を照明光にすることができるイメージセンサに比べてＳ／Ｎが悪く、縦スジノイズが目立ってしまう。

特に、電子内視鏡装置による撮像画像は、動画状態でモニタに表示されるため、毎フレーム，毎フレーム、同じ箇所に量子化誤差による縦スジノイズが重畳すると、縦スジノイズがモニタ画像上で更に目立ってしまう。この縦スジノイズは、照明光が微弱となり照明光波長域が狭くなる特殊光観察（狭帯域光観察）の他、白色光観察でも、観察画像に強調処理を施すことで微小な縦スジノイズが目立ってしまう。

従来技術の場合、この量子化誤差に基づく縦スジノイズを、人工的に発生させたランダムノイズを重畳させることで目立たなくしているだけであり、量子化誤差による縦スジノイズ成分を除去している訳ではない。また、従来技術は、単板式カラー画像撮像用イメージセンサから高精度に縦スジノイズを除去する方法についての考察はしていない。

本発明の目的は、特殊環境下で使用する場合でも単板式カラー画像撮像用のイメージセンサによる撮像画像からスジ状ノイズを高精度に除去できる機器の作動方法及び撮影装置と電子内視鏡装置を提供することにある。

本発明の機器の作動方法は、複数の画素が正方格子状に配列形成され各画素にモザイク状に複数色のカラーフィルタが積層された単板式カラー画像撮像用のイメージセンサと、前記イメージセンサにより前記カラーフィルタの色と同色の各色画像を撮像して得られる複数枚の前記各色画像の平均画像の撮像画像信号を前記カラーフィルタの色毎に分け、該色毎に、前記イメージセンサの画素列毎又は画素行毎の前記撮像画像信号の平均値から前記イメージセンサの前記画素が配列形成された全域の撮像画像信号の平均値を減算して得られた前記画素列毎又は前記画素行毎のスジ状ノイズのうち小数点以下を四捨五入した値を前記色毎のスジ状ノイズを補正する整数分の補正データとして記憶し、前記色毎及び前記画素列または画素行毎に求められたスジ状ノイズに対し前記四捨五入したときの量子化誤差の大きさを端数分の補正データとして記憶するメモリと、を備える機器の作動方法であって、前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正することを特徴とする。

本発明の撮影装置は、上記記載のイメージセンサと、上記記載のメモリと、前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正する画像処理部とを備えることを特徴とする。

本発明の電子内視鏡装置は、管腔内に挿入される内視鏡スコープと、該内視鏡スコープ先端部に内蔵される上記記載のイメージセンサと、前記内視鏡スコープ先端部から照明光を照射する照明部と、上記記載のメモリと、前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正する画像処理部とを備えることを特徴とする。

本発明によれば、固体撮像素子の製造バラツキに起因するスジ状ノイズを高精度に除去可能となり、高品質な撮像画像を得ることが可能となる。

本発明の一実施形態に係る電子内視鏡装置の全体構成図である。 図１に示す電子内視鏡の先端部の先端面正面図である。 図１に示す電子内視鏡の先端部の縦断面図である。 図１に示す電子内視鏡装置の制御系のブロック構成図である。 カラーフィルタ配列がベイヤ配列の固体撮像素子で４色（Ｇｒ，Ｇｂ，Ｒ，Ｂ）毎の縦スジノイズを求める説明図である。 縦スジノイズのプロファイルを求めるときの色画像の説明図である。 低周波ノイズを除去した縦スジノイズの特性図である。 整数分の縦スジ補正データで補正した後の残渣データを示す特性図である。 端数分の縦スジ補正データの説明図である。 端数分の縦スジ補正を行う場合の説明図である。 端数分の縦スジ補正を行うときの効果を示す特性図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は本発明の一実施形態に係る電子内視鏡装置のシステム全体を示した構成図である。本実施形態の電子内視鏡装置（内視鏡システム）１０は、内視鏡スコープ（内視鏡スコープ）１２と、本体装置を構成するプロセッサ装置１４及び光源装置１６とから構成される。内視鏡スコープ１２は、患者（被検体）の体腔内に挿入される可撓性の挿入部２０と、挿入部２０の基端部分に連設された操作部２２と、プロセッサ装置１４及び光源装置１６に接続されるユニバーサルコード２４とを備えている。

挿入部２０の先端には先端部２６が連設され、先端部２６内に、体腔内撮影用の撮像チップ（撮像装置）５４（図３参照）が内蔵される。先端部２６の後方には、複数の湾曲駒を連結した湾曲部２８が設けられている。湾曲部２８は、操作部２２に設けられたアングルノブ３０が操作されたとき、挿入部２０内に挿設されたワイヤが押し／引きされ、上下左右方向に湾曲動作する。これにより、先端部２６が体腔内で所望の方向に向けられる。

ユニバーサルコード２４の基端にはコネクタ３６が設けられている。コネクタ３６は、複合タイプのものであり、プロセッサ装置１４に接続される他、光源装置１６にも接続される。

プロセッサ装置１４は、ユニバーサルコード２４内に挿通されたケーブル６８（図３参照）を介して内視鏡スコープ１２に給電を行い、撮像チップ５４の駆動を制御すると共に、撮像チップ５４からケーブル６８を介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。

プロセッサ装置１４で変換された画像データは、プロセッサ装置１４にケーブル接続されたモニタ３８に内視鏡撮影画像（観察画像）として表示される。また、プロセッサ装置１４は、コネクタ３６を介して光源装置１６とも電気的に接続され、光源装置１６を含め電子内視鏡装置１０の動作を統括的に制御する。

図２は、内視鏡スコープ１２の先端部２６の先端面２６ａを示した正面図である。図２に示すように、先端部２６の先端面２６ａには、観察窓４０と、照明窓４２と、鉗子出口４４と、送気・送水用ノズル４６が設けられている。

観察窓４０は、先端面２６ａの中央且つ片側に偏心して配置されている。照明窓４２は、観察窓４０に関して対称な位置に２個配され、体腔内の被観察部位に光源装置１６からの照明光を照射する。

鉗子出口４４は、挿入部２０内に配設された鉗子チャンネル７０（図３参照）に接続され、操作部２２に設けられた鉗子口３４（図１参照）に連通している。鉗子口３４には、注射針や高周波メスなどが先端に配された各種処置具が挿通され、各種処置具の先端が鉗子出口４４から体腔内に出される。

送気・送水用ノズル４６は、操作部２２に設けられた送気・送水ボタン３２（図１参照）の操作に応じて、光源装置１６に内蔵された送気・送水装置から供給される洗浄水や空気を、観察窓４０や体腔内に向けて噴射する。

図３は内視鏡スコープ１２の先端部２６の縦断面図である。図３に示すように、観察窓４０の奥には、体腔内の被観察部位の像光を取り込むための対物光学系５０を保持する鏡筒５２が配設されている。鏡筒５２は、挿入部２０の中心軸に対物光学系５０の光軸が平行となるように取り付けられている。鏡筒５２の後端には、対物光学系５０を経由した被観察部位の像光を、略直角に曲げて撮像チップ５４に向けて導光するプリズム５６が接続されている。

撮像チップ５４は、固体撮像素子５８と、固体撮像素子５８の駆動及び信号の入出力を行う周辺回路６０とが一体形成されたモノリシック半導体（センサチップ）であり、支持基板６２上に実装されている。

固体撮像素子５８の撮像面（受光面）５８ａは、プリズム５６の出射面と対向するように配置されている。撮像面５８ａ上には、矩形枠状のスペーサ６３を介して矩形板状のカバーガラス６４が取り付けられている。撮像チップ５４とスペーサ６３とカバーガラス６４とは、接着剤を介して組み付けられており、これにより、塵埃などの侵入から撮像面５８ａが保護される。

挿入部２０の後端に向けて延設された支持基板６２の後端部には、複数の入出力端子６２ａが支持基板６２の幅方向に並べて設けられている。入出力端子６２ａには、ユニバーサルコード２４を介してプロセッサ装置１４との各種信号のやり取りを媒介するための信号線６６が接合されており、入出力端子６２ａは、支持基板６２に形成された配線やボンディングパッド等（図示せず）を介して撮像チップ５４内の周辺回路６０と電気的に接続されている。

信号線６６は、可撓性の管状のケーブル６８内にまとめて挿通されている。ケーブル６８は、挿入部２０、操作部２２、及びユニバーサルコード２４の各内部を挿通し、コネクタ３６に接続されている。

また、図２，図３では図示を省略しているが、照明窓４２の奥には、照明部が設けられている。照明部には、光源装置１６からの照明光を導くライトガイド１２０（図４参照）の出射端１２０ａが配されており、この出射端１２０ａが照明窓４２に対面して設けられている。ライトガイド１２０は、ケーブル６８と同様に、挿入部２０、操作部２２、及びユニバーサルコード２４の各内部を挿通し、コネクタ３６に入射端が接続されている。

図４は、電子内視鏡装置１０の制御系を示したブロック図である。図４に示すように、内視鏡スコープ１２の先端部２６には、固体撮像素子５８と、アナログ信号処理回路（ＡＦＥ：アナログフロントエンド）７２と、ＴＧ（タイミングジェネレータ）７８と、ＣＰＵ８０とが設けられている。ＡＦＥ７２やＴＧ７８が、図３の周辺回路６０に相当する。ＣＰＵ８０にはＥＥＰＲＯＭ等のメモリ８１が接続されている。このメモリ８１に、固体撮像素子５８の縦スジ補正データが保存される。

ＴＧ７８は、ＣＰＵ８０の制御に基づき、固体撮像素子５８の駆動パルス（垂直／水平走査パルス、リセットパルス等）とＡＦＥ７２用の同期パルスとを発生する。固体撮像素子５８は、ＴＧ７８から入力される駆動パルスにより駆動され、対物光学系５０を介して撮像面５８ａに結像された光学像を光電変換して撮像信号として出力する。

固体撮像素子５８の撮像面５８ａには、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサ（光電変換素子）が設けられている。固体撮像素子５８の撮像面５８ａに入射した光は各画素のフォトセンサに電荷として蓄積される。そして、垂直走査回路及び水平走査回路（いずれも不図示）による垂直方向と水平方向の走査によって、各画素のフォトセンサに蓄積された信号電荷量は画素信号として順次読み出され、所定のフレームレートで出力される。

固体撮像素子５８は、複数の色セグメントからなるカラーフィルタ（例えば、ベイヤ配列の原色カラーフィルタ）を備えた単板カラー撮像方式の固体撮像素子である。

また、固体撮像素子５８の各フォトセンサの蓄積電荷を撮像信号として読み出す信号読出回路の構成は従来周知であり、例えば３トランジスタ構成や４トランジスタ構成などの一般的な構成を適用することが可能であり、ここでは説明を省略する。

ＡＦＥ７２は、相関二重サンプリング（ＣＤＳ）回路と、自動ゲイン回路（ＡＧＣ）と、Ａ／Ｄ変換器とにより構成されている。ＣＤＳ回路は、固体撮像素子５８から出力される撮像信号に対して相関二重サンプリング処理を施し、固体撮像素子５８で生じるリセット雑音及びアンプ雑音の除去を行う。ＡＦＥ７２は、固体撮像素子５８の各画素列毎に設けられている。

ＡＧＣは、ＣＤＳ回路によりノイズ除去が行われた撮像信号を、ＣＰＵ８０から指定されたゲイン（増幅率）で増幅する。Ａ／Ｄ変換器は、ＡＧＣにより増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。ＡＦＥ７２でデジタル化されて出力された撮像信号（デジタル撮像信号）は、信号線６６を通してプロセッサ装置１４に入力される。

プロセッサ装置１４は、ＣＰＵ８２と、ＲＯＭ８４と、ＲＡＭ８５と、画像処理回路（ＤＳＰ）８６と、表示制御回路８８とを備えて構成される。

ＣＰＵ８２は、プロセッサ装置１４内の各部を制御するとともに、電子内視鏡装置１０の全体を統括的に制御する。ＲＯＭ８４には、プロセッサ装置１４の動作を制御するための各種プログラムや制御用データ等が予め格納されている。また、ＲＡＭ８５には、ＣＰＵ８２により実行されるプログラムやデータなどが一時記憶される。

ＤＳＰ８６は、ＣＰＵ８２の制御に基づき、ＡＦＥ７２から入力された撮像信号に対し、縦スジ補正処理、色補間，色分離，色バランス調整，ガンマ補正，画像強調処理等を施し、画像データを生成する。

ＤＳＰ８６から出力された画像データは表示制御回路８８に入力され、表示制御回路８８は、ＤＳＰ８６から入力された画像データを、モニタ３８に対応した信号形式に変換しモニタ３８の画面に表示させる。

プロセッサ装置１４の操作部９０は、固体撮像素子５８の動作モードを選択し又は切り替えるためのモード切替ボタンや、その他ユーザの指示入力を受け付ける各種ボタンが設けられている。

光源装置１６は、主光源１００と、主光源駆動回路１０１と、特殊光光源１０２と、特殊光源駆動回路１０３と、ＣＰＵ１０４と、合波部１０５とを備えて構成される。ＣＰＵ１０４は、プロセッサ装置１４のＣＰＵ８２と通信を行い、主光源駆動回路１０１，特殊光源駆動回路１０３の制御を行う。

主光源１００は白色光を発光し、特殊光光源１０２は、例えば４２０ｎｍを中心とする狭帯域の特殊光を発光する。白色光または特殊光は、合波部１０５を通ってライトガイド１２０の入射端１２０ｂに出射される。

上記のように構成された電子内視鏡装置１０で体腔内を観察する際には、内視鏡スコープ１２と、プロセッサ装置１４と、光源装置１６と、モニタ３８の電源をオンにして、内視鏡スコープ１２の挿入部２０を体腔内に挿入し、光源装置１６からの照明光で体腔内を照明しながら、固体撮像素子５８により撮像される体腔内の動画像をモニタ３８で観察することになる。

ＤＳＰ８６は、モニタ３８に表示する画像を生成する場合、固体撮像素子５８から出力される撮像画像信号（ＲＡＷ信号）を取り込んで、各色毎に、縦スジ補正を行う。そして、縦スジ補正後の各画素位置の撮像画像信号に、同時化処理（デモザイク処理），ガンマ補正処理，ＲＧＢ／ＹＣ変換処理等の周知の各種画像処理を施し、モニタ３８に表示する画像を生成する。

この縦スジ補正を行うときに使用する縦スジ補正データは、本実施形態では、以下の方法で決め、メモリ８１内に記憶しておく。

図５の上段は、固体撮像素子５８の表面模式図である。多数の画素が正方格子配列された固体撮像素子５８には、３原色のカラーフィルタＲ（赤）Ｇ（緑）Ｂ（青）がベイヤ配列されている。本実施形態では、Ｒフィルタを搭載した画素に対し水平方向（行方向）に隣接する緑（Ｇ）フィルタを“Ｇｒ”とし、Ｂフィルタを搭載した画素に対し水平方向に隣接する緑（Ｇ）フィルタを“Ｇｂ”としている。Ｇｒ，Ｇｂは、カラー色としては同じであるが、縦スジ補正データを求めるに際し、別色として取り扱うことにしている。

この固体撮像素子５８で、例えば赤（Ｒ）一色の画像，緑（Ｇ）一色の画像，青（Ｂ）一色の画像を、１０枚程度撮像し、図６に示す様に、その平均画像の各画素の検出値を求める。

次に、図５に示す様に、Ｒ，Ｇｒ，Ｇｂ，Ｂの４色の色面データに分け、各色Ｒ，Ｇｒ，Ｇｂ，Ｂ毎に、全領域の画素検出値の平均値（全平均値）を求める。これとは別に、各色Ｒ，Ｇｒ，Ｇｂ，Ｂ毎に、同一の垂直方向（列方向）に並ぶ各画素の検出値の平均値（列平均値）を求める。

そして、各色Ｒ，Ｇｒ，Ｇｂ，Ｂ毎に、且つ、各画素列毎に、「列平均値−全平均値」を算出する。「列平均値−全平均値」の色毎，列毎のデータ群が、縦スジ強度のプロファイルとなる。

この様にして求めた縦スジ強度のプロファイルは、縦スジノイズの値だけが含まれるのではない。図８は、例えばＧｒ色の縦スジ強度のプロファイルを図示したグラフである。横軸は、固体撮像素子５８の横軸位置（列座標位置）であり、縦軸が縦スジ強度の値を示している。

縦スジノイズの除去は、例えば次の様にして行う。図５の上段に示すベイヤ配列の場合、Ｇｒ色とＢ色が並ぶ列とＧｂ色とＲ色が並ぶ列とが交互に配列される。Ｇｒ色とＢ色の画素列から検出される実際のＧｒ画素検出値から、Ｇｒ色の、その画素列位置におけるＧｒ色に対する縦スジ補正データを減算した値を、縦スジ補正後のＧｒ画素検出値とする。Ｂ色，Ｇｂ色，Ｒ色においても、同様の演算を行う。

この様な縦スジノイズの補正を行っても、電子内視鏡の様な特殊な環境下で行われる観察では、観察画像中に縦スジが現れることがある。これは、小数点以下を四捨五入したことによる量子化誤差の影響と考えられる。

以下、この量子化誤差の影響を無くす補正について説明する。つまり、小数点以下を四捨五入したことによる±０．５以下の端数分の補正を、どの様にして行ったかを説明する。

図８は、整数の縦スジ補正データによって撮像画像を縦スジ補正した後の縦スジ強度分布を示すグラフである。つまり、整数分による補正後の残渣データを示すグラフである。横軸は、画素列位置の座標であり、縦軸は縦スジの残渣強度である。

小数点以下を四捨五入しているため、縦スジの残渣は、−０．５〜＋０．５の範囲内に収まっている。しかし、縦スジ残渣強度の振幅は、理論的に最大で“１”となる。このため、より高精度な縦スジ補正を行うには、この±０．５以下の残渣をさらに小さく補正する必要がある。

そこで、本実施形態では、整数の縦スジ補正データで補正した後の残渣データに対して、図９に示す様に、端数分の縦スジ補正データを割り当てて持つことにする。この端数分の縦スジ補正データの割り当ては、次の観点（ａ）から決めている。

（ａ）整数の縦スジ補正データによる補正後の画像と残渣データとの比較において、残渣が±０．０５（最大振幅０．１）程度以下の縦スジは目立って視認されない。

この観点（ａ）により、図９の補正データは、次の様になっている。残渣データが
「−０．０５〜＋０．０５」の場合を「０」、
「０．０５〜０．１５」の場合を「０．１」、
「０．１５〜０．２５」の場合を「０．２」、
「０．２５〜０．３５」を「０．３」、
「０．３５〜０．４５」の場合を「０．４」、
「０．４５〜０．５」の場合を「０．５」、
「-０．０５〜-０．１５」の場合を「-０．１」、
「-０．１５〜-０．２５」の場合を「-０．２」、
「-０．２５〜-０．３５」を「-０．３」、
「-０．３５〜-０．４５」の場合を「-０．４」、
「-０．４５〜-０．５」の場合を「-０．５」
の１１通りの縦スジ補正データとしている。尚、残渣データに対する端数分の補正データをどの様に割り付けるかは、この図９の例に限るものではない。

図１０は、端数分の補正データによる補正方法の説明図である。前述した整数分の縦スジ補正データを用いた補正と同様に、端数分の縦スジ補正データを用いた補正も、撮像画像信号をＡ／Ｄ変換器でデジタルデータに変換した後に行う。このため、小数点以下の補正は、そのままでは行えない。つまり、例えば「０．３」の加減算を、整数分の補正後の画素検出値に対して施すことができない。そこで、例えばその画素列におけるＧｒ色の補正「０．３」を行う場合、その画素列に属するＧｒ画素のうち、１０画素に３画素の割合で、「１」を減算する。これにより、１０画素で平均的に「０．３」を減算したことと等価になる。この様に、±０．１，±０．２，±０．３，±０．４，±０．５の各補正は、図１０に示す様に行う。

この様な補正を、動画像のフレーム毎に行うのであるが、フレームが代わる毎に、値「１」を減算する画素を固定するよりは、例えば乱数を用いてランダムに選択することでも良い。シミュレーションの結果、減算対象とする画素を固定してもランダムに選択しても変わりがないことが分かったが、ランダムにした方が補正が安定すると考えられる。どちらにするかを、ユーザに選択させても良い。

図１１は、端数分の補正を行うことによる効果を示すグラフである。特性グラフＩは、整数分の縦スジ補正だけを行ったときを示しており（図８と同じ）、±０．５の縦スジ残渣データが残っている。これに対し、特性グラフIIは、整数分の縦スジ補正と端数分の縦スジ補正の両方を行ったときのグラフである。縦スジの残渣は、上記の（ａ）に示す通り、±０．０５以下となり、目立った縦スジは視認できなくなっている。

以上述べた様に、本実施形態では、縦スジノイズをイメージセンサに積層したカラーフィルタ色毎に除去するに際し、小数点以下を四捨五入して整数分の縦スジ補正データを色毎に求め、更に、小数点以下の端数分の縦スジ補正データを色毎に求め、両方を用いて補正を行うため、電子内視鏡の様な特殊な環境下での観察画像であっても、縦スジの視認性を良化することができる。

なお、前後画像を比較して行う通常のノイズリダクション処理を行っても、本実施形態の縦スジノイズの補正結果に影響は出ない。このため、縦スジノイズ以外のノイズ成分を除去するために、ノイズリダクション処理を併用可能である。

以上、電子内視鏡装置の先端部に内蔵するＣＯＭＳ型撮像素子による撮像画像の縦スジ補正を例に説明したが、一般的なデジタルカメラ，ビデオカメラ等に搭載されるＣＭＯＳ型やＣＣＤ型撮像素子による撮像画像の縦スジ補正にも適用可能であることはいうまでもない。また、上記の実施形態は、横スジノイズにも同様に適用可能であることは云うまでもない。

以上述べた様に、本実施形態による撮像画像のスジ状ノイズ補正方法は、複数の画素が正方格子状に配列形成され各画素にモザイク状に複数色のカラーフィルタが積層された単板式カラー画像撮像用のイメージセンサにより前記カラーフィルタの色と同色の各色画像を複数枚撮像し、該複数枚の前記各色画像の平均画像を求めると共に該平均画像の撮像画像信号を前記カラーフィルタの色毎に分け、該色毎に、前記イメージセンサの画素列毎または画素行毎の前記撮像画像信号の平均値から前記イメージセンサの前記画素が配列形成された全域の撮像画像信号の平均値を減算して前記画素列毎または画素行毎のスジ状ノイズの値を求め、該スジ状ノイズの値のうち小数点以下を四捨五入した値を前記色毎のスジ状ノイズを補正する整数分の補正データとしてメモリに記憶しておくと共に、前記四捨五入したときの量子化誤差の大きさを前記色毎及び前記画素列または前記画素行毎に求めて端数分の補正データとしてメモリに記憶しておき、前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正することを特徴とする。

また、実施形態の撮像画像のスジ状ノイズ補正方法は、前記小数点以下で四捨五入する前記量子化誤差の大きさがｎ／ｍ（ここで、ｍ，ｎは正整数でｍ＞ｎ）のとき、前記画素列又は画素行のｍ個の画素のうちｎ個の画素の値を“１”減算すると共に残りの（ｍ−ｎ）個の画素からは何も減算しないことで前記端数分の補正データによる補正を実行することを特徴とする。

また、実施形態の撮像画像のスジ状ノイズ補正方法は、前記ｎ個の画素を前記ｍ個の画素の中のどの画素にするかを、動画の撮像画像のフレーム毎にランダムに切り替えることを特徴とする。

また、実施形態の撮影装置は、上記のいずれかに記載のイメージセンサと、上記のいずれかに記載のメモリと、上記のいずれかに記載のスジ状ノイズ補正を実行する画像処理部とを備えることを特徴とする。

また、実施形態の電子内視鏡装置は、管腔内に挿入される内視鏡スコープと、該内視鏡スコープ先端部に内蔵される上記のいずれかに記載のイメージセンサと、前記内視鏡スコープ先端部から照明光を照射する照明部と、上記のいずれかに記載のメモリと、上記のいずれかに記載のスジ状ノイズ補正を実行する画像処理部とを備えることを特徴とする。

また、実施形態の電子内視鏡装置の前記照明部は狭帯域の特殊光を前記照明光として照射することを特徴とする。

以上述べた実施形態によれば、スジ状ノイズを高精度に除去可能なため、高品質な撮像画像を得ることが可能となる。

本発明に係るスジ状ノイズ補正方法は、撮像画像中のスジ状ノイズを高精度に補正できるため、デジタルカメラ，デジタルビデオカメラ，カメラ付携帯電話機，カメラ付電子機器，電子内視鏡等に適用すると有用である。

１０ 電子内視鏡装置（内視鏡システム）
１２ 内視鏡スコープ
１４ プロセッサ装置
１６ 光源装置
２６ 先端部
３８ モニタ
４０ 観察窓
４２ 照明窓
５０ 対物光学系
５４ 撮像チップ
５６ プリズム
５８ 撮像素子（イメージセンサ）
６２ 基板
６８ ケーブル
８０，８２，１０４ ＣＰＵ
８１ メモリ（ＥＥＰＲＯＭ）
８４ ＲＯＭ
８６ ＤＳＰ

Claims (6)

1. 複数の画素が正方格子状に配列形成され各画素にモザイク状に複数色のカラーフィルタが積層された単板式カラー画像撮像用のイメージセンサと、
   前記イメージセンサにより前記カラーフィルタの色と同色の各色画像を撮像して得られる複数枚の前記各色画像の平均画像の撮像画像信号を前記カラーフィルタの色毎に分け、該色毎に、前記イメージセンサの画素列毎又は画素行毎の前記撮像画像信号の平均値から前記イメージセンサの前記画素が配列形成された全域の撮像画像信号の平均値を減算して得られた前記画素列毎又は前記画素行毎のスジ状ノイズのうち小数点以下を四捨五入した値を前記色毎のスジ状ノイズを補正する整数分の補正データとして記憶し、前記色毎及び前記画素列または画素行毎に求められたスジ状ノイズに対し前記四捨五入したときの量子化誤差の大きさを端数分の補正データとして記憶するメモリと、を備える機器の作動方法であって、
   前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正する機器の作動方法。
2. 請求項１に記載の機器の作動方法であって、前記端数分の補正データの大きさがｎ／ｍ（ここで、ｍ，ｎは正整数でｍ＞ｎ）のとき、前記画素列又は前記画素行のｍ個の画素のうちｎ個の画素の値を“１”減算すると共に残りの（ｍ−ｎ）個の画素からは何も減算しないことで前記端数分の補正データによる補正を実行する機器の作動方法。
3. 請求項２に記載の機器の作動方法であって、前記ｎ個の画素を前記ｍ個の画素の中のどの画素にするかを、動画の撮像画像のフレーム毎にランダムに切り替える機器の作動方法。
4. 請求項１乃至請求項３のいずれか１項に記載のイメージセンサと、請求項１乃至請求項３のいずれか１項に記載のメモリと、前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正する画像処理部とを備える撮影装置。
5. 管腔内に挿入される内視鏡スコープと、該内視鏡スコープ先端部に内蔵される請求項１乃至請求項３のいずれか１項に記載のイメージセンサと、前記内視鏡スコープ先端部から照明光を照射する照明部と、請求項１乃至請求項３のいずれか１項に記載のメモリと、前記イメージセンサにより撮像された画像の撮像画像信号を前記メモリから読み出した前記整数分及び端数分の補正データで補正する画像処理部とを備える電子内視鏡装置。
6. 請求項５に記載の電子内視鏡装置であって、前記照明部は狭帯域の特殊光を前記照明光として照射する電子内視鏡装置。

Images