WO2013146311A1

WO2013146311A1 - 撮像装置、及びこれを備える内視鏡装置

Info

Publication number: WO2013146311A1
Application number: PCT/JP2013/057256
Authority: WO
Inventors: 康宏瀬戸
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-03-28
Filing date: 2013-03-14
Publication date: 2013-10-03
Anticipated expiration: 2014-09-28
Also published as: US20140364690A1; CN104168814B; CN104168814A; JP5860952B2; JPWO2013146311A1; US10257429B2

Description

撮像装置、及びこれを備える内視鏡装置

　本発明は、撮像装置及びこれを備える内視鏡装置に関する。

　互いに異なるスペクトルの照明光を撮像タイミングと同期させて順次に被検体へ照射し、面順次方式にて撮像する撮像装置がある。撮像素子としてグローバルシャッタ方式の一括露光式による撮像素子を用いる場合、撮像フレーム毎に異なる照明光により照明された撮像画像が得られる。このような面順次方式で撮像して内視鏡画像を得る内視鏡装置が、例えば特許文献１に記載されている。

特開昭６１－８２７３１号公報

　近年になり、キセノンランプ等の白色光源に代わる光源として、レーザ光源やＬＥＤ光源等の半導体光源が、高効率でメンテナンス性もよいことから採用されるようになってきた。

　また、撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型イメージセンサより低消費電力で読み出し速度が速いＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサが広く採用されるようになってきた。

　しかしながら、ＣＭＯＳ型イメージセンサは、ローリングシャッタ方式であり、水平画素ラインの露光期間がライン毎に異なる。

　そのため、複数種類の照明光を切り替えて面順次方式にて撮像する場合、照明光の出射タイミングによっては、特定の水平画素ラインの露光期間が照明光の切り替わるタイミングを跨ぐことがある。その場合に得られる撮像画像は、複数の照明光により露光された不自然な画像となり、正常な撮像画像にならない。

　そこで、ローリングシャッタ方式の撮像素子を用いて面順次式にて撮像する場合には、撮像フレーム単位で照明光を切り替えることになる。しかし、複数種類の照明光それぞれで撮像した各画像を合わせた合成画像を生成する場合、ローリングシャッタ方式では、グローバルシャッタ方式と比較すると合成画像生成のために多数の撮像フレームが必要になる。そのため、動画応答性が低下して、動きの速い被検体を撮像した場合、撮像画像に色ずれが発生し易くなる不利がある。

　そこで本発明は、複数種類の照明光を順次切り替えて、ローリングシャッタ方式の撮像素子により面順次式にて撮像する場合であっても、動画応答性を向上して、色再現性に優れた撮像装置及びこれを備える内視鏡装置を提供することを目的とする。

　本発明の撮像装置は、互いに異なるスペクトルを有する複数種類の照明光が出射可能な光源と、複数の画素が水平方向及び垂直方向に配列されてなり、水平方向に並ぶ画素からなる複数の水平画素ラインを有し、かつローリングシャッタ方式により駆動される撮像素子を有する撮像部と、光源から出射する照明光を切り替える光源制御部と、いずれかの照明光が出射される単位照射期間といずれかの照明光とは異なる照明光が出射される単位照射期間で形成される第１露光フレーム、及び、いずれかの照明光が出射される単位照射期間といずれの照明光も出射されない単位照射期間とで形成される第２露光フレームを生成し、１つの第１露光フレーム又は連続する２つの第１露光フレームの前後に第２露光フレームを設けたフレーム群を１周期として出力するフレーム画像制御部と、フレーム群に含まれる各露光フレームにおいて、各水平画素ラインの画素から読み出される検出信号量を用いて、当該画素を単位照射期間の間に、同一の照明光を用いて露光したときに当該画素から得られる撮像信号量を生成する撮像信号生成部と、を備えるものである。

　本発明の内視鏡装置は、前記撮像装置を備えるものである。

　本発明によれば、複数種類の照明光を順次切り替えて、ローリングシャッタ方式の撮像素子により面順次式にて撮像する場合であっても、動画応答性を向上して、色再現性に優れた構成にできる。

本発明の実施形態を説明するための図で、内視鏡装置の概略構成を示すブロック構成図である。内視鏡装置の具体的な一構成例を示す外観図である。ローリングシャッタ方式による撮像素子の露光タイミングを示す模式的な説明図である。白色照明光（Ｗ光）と、青色狭帯域波長の照明光（Ｎ光）とを交互に照射して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する様子を示す一般的な露光タイムチャートである。光源制御部が、白色照明光（Ｗ光）と、青色狭帯域波長の照明光（Ｎ光）とを交互に照射するとともに、その前後のフレームに照明光を照射しないフレームを挿入して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する様子を示す露光タイムチャートである。図５に示す各露光フレームを各水平画素ラインの水平走査周期分のずれを無くして表した露光タイムチャートである。図６に示す露光フレームＥｘｐ２，Ｅｘｐ３を拡大して示す説明図である。図６に示す露光フレームＥｘｐ１，Ｅｘｐ２を拡大して示す説明図である。各水平画素ラインの露光期間が、最大露光期間より短い後ろ詰めの露光期間Ｔｓである露光タイムチャートである。Ｒ光と、Ｇ光と、Ｂ光とを交互に照射して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する様子を示す一般的な露光タイムチャートである。光源制御部が、白色照明光（Ｗ光）と、青色狭帯域波長の照明光（Ｎ光）とを交互に照射するとともに、その前後のフレームに照明光を照射しないフレームを挿入して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する露光タイムチャートである。図１１に示す各露光フレームを各水平画素ラインの水平走査周期分のずれを無くして表した露光タイムチャートである。図１１に示す各露光フレームを各水平画素ラインの水平走査周期分のずれを無くして表した露光タイムチャートである。

　以下、本発明の実施形態について、図面を参照して詳細に説明する。

　図１は本発明の実施形態を説明するための図で、内視鏡装置の概略構成を示すブロック構成図、図２は内視鏡装置の具体的な一構成例を示す外観図である。

＜内視鏡装置の構成＞
　内視鏡装置１００は、図１、図２に示すように、内視鏡スコープ（以下、内視鏡と称する）１１と、内視鏡１１が接続される制御装置１３と、制御装置１３に接続される液晶モニタ等の表示部１５と、制御装置１３に情報を入力するキーボードやマウス等の入力部１７とを備える。

　制御装置１３は、照明光を生成する光源装置１９と、撮像画像の信号処理を行うプロセッサ２１とを有して構成される。

　内視鏡１１は、本体操作部２３と、この本体操作部２３に連設され体腔内に挿入される挿入部２５とを備える。

　本体操作部２３は、ユニバーサルコード２７が接続される。このユニバーサルコード２７の一方の先端に設けたライトガイドコネクタ２９Ａは光源装置１９に接続され、他方の先端に設けたビデオコネクタ２９Ｂはプロセッサ２１に接続される。

　内視鏡１１の挿入部２５の本体操作部２３とは反対側の先端には、照明窓３１と観察窓３３が設けてある。

　照明窓３１はライトガイド３５を通じて導光された照明光を被検体に向けて出射し、観察窓３３は撮像素子３７に観察像を提供する。

　光源装置１９は、ライトガイド３５に出射光を導入する光源３９と、光源３９の出射光量をパルス駆動により制御する光源制御部４１を備える。

　プロセッサ２１は、撮像信号処理部４３と、内視鏡制御部４５と、画像処理部４７と、メモリ４９とを備える。

　また、内視鏡１１は、撮像素子３７を駆動制御するための撮像制御部５１を備える。

　撮像制御部５１は、内視鏡制御部４５からの指示に応じて撮像素子３７の駆動を制御する。これら撮像素子３７と撮像制御部５１は撮像部として機能する。

　撮像素子３７は、ローリングシャッタ方式で駆動されるＣＭＯＳ型イメージセンサである。

　撮像素子３７は、照明窓３１から照射される照明光による被検体からの反射光を、観察窓３３及び図示しないレンズを通じて撮像する。撮像素子３７は、撮像した観察画像の映像信号をプロセッサ２１に出力する。

　内視鏡制御部４５は、観察画像や各種情報を保存する記憶手段としてのメモリ４９と接続され、撮像信号処理部４３から出力される映像信号を画像処理部４７により適宜な画像処理を施して、表示部１５に映出する。

　また、内視鏡制御部４５は、図示しないＬＡＮ等のネットワークに接続され、撮像信号を含む情報を配信する等、内視鏡装置１００全体を制御する。

　内視鏡制御部４５は、後述する照明光別の撮像信号を生成する撮像信号生成部として機能する。

　撮像素子３７の受光面に結像されて取り込まれる観察像は、電気信号に変換されてプロセッサ２１の撮像信号処理部４３に入力される。撮像信号処理部４３は、入力された観察像の信号を撮像信号に変換する。

　光源３９は、半導体発光素子であるレーザ光源を１つ又は複数備える。

　光源３９は、白色光を生成する以外にも、特定の波長光を単独で又は複数の波長光と同時に照射する構成としてもよい。特定の波長光としては、白色照明光の波長幅より狭い青色狭帯域波長光、蛍光観察用の波長光や赤外観察用の近赤外光等が挙げられる。

　白色光を生成する光源としては、中心波長４４５ｎｍの青色レーザ光を出力するレーザ光源と、この青色レーザ光の一部を吸収して緑色～黄色に励起発光する複数種類の蛍光体（例えばＹＡＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ_１０Ｏ_３７）等を含む蛍光体等）を含む波長変換部材と、を有して構成される。

　このレーザ光源としては、例えばブロードエリア型のＩｎＧａＮ系レーザダイオードが使用できる。上記構成によれば、レーザ光源からの青色レーザ光と、この青色レーザ光が波長変換された緑色～黄色の励起光とが合成され、白色光が生成される。光源３９からの出射光強度は、パルス変調駆動により任意に調整される。

　図示しない波長変換部材は、光源３９内に配置される。波長変換部材からの白色光は、多数本のファイバ束からなるファイババンドルで構成されたライトガイド３５を通じて、内視鏡挿入部２５の先端に配置される照明窓３１まで導光される。

　光源３９は、上記白色光用のレーザ光源以外にも、例えば、中心波長４０５ｎｍのレーザ光を出力するレーザ光源を備えることで生体組織表層の毛細血管や微細模様の観察に適した照明光を生成させることができる。

　その場合、光源３９を、中心波長４０５ｎｍのレーザ光と、中心波長４４５ｎｍのレーザ光による白色光とを任意の割合で同時照射した混合光を、内視鏡観察用の照明光として用いる構成にするとよい。

　また、光源３９は、波長変換部材を照明窓３１の直近位置に配置する構成としてもよい。その場合、ライトガイド３５の代わりに、一本または複数本のシングルモード光ファイバを内視鏡挿入部２５に沿って敷設し、光出射端を波長変換部材に向けて光出射させる構成にできる。その場合、内視鏡挿入部の細径化が図られる。

　更に、光源３９は、レーザ光源に代えて発光ダイオードで構成してもよい。また、白色光と特定波長光を選択的に抽出するカラーフィルタとを組み合わせて、赤色光（Ｒ光）、緑色光（Ｇ光）、青色光（Ｂ光）、或いは青色狭帯域光等の所望の波長光を得る構成としてもよい。

　次に、上記構成の内視鏡装置１００により、ローリングシャッタ動作によるフレーム露光を実施する様子を説明する。

　図３にローリングシャッタ方式による撮像素子の露光タイミングを示す模式的な説明図を示す。

　本構成例のローリングシャッタ方式は、水平方向Ｈ及び垂直方向Ｖに多数の光電変換素子からなる画素が配列された撮像素子の画素領域において、水平方向Ｈに並ぶ各水平画素ラインＬ（１），Ｌ（２），・・・Ｌ（ｎ）を、上端ラインから下端ラインまで垂直方向Ｖに順次走査する際、各水平画素ラインＬ（１），Ｌ（２），・・・Ｌ（ｎ）の露光開始タイミングを、垂直方向一端側の上端ラインから順次水平走査周期ｔだけ、１水平画素ライン毎に順次遅延させる方向にずらして設定する方式である。

　この遅延量としては、下端ラインの露光終了タイミングが次フレームにおける上端ラインの露光開始タイミングと一致するように設定する。

　水平走査周期ｔとは、１水平画素ライン（以下、単にラインと称することもある）の１ラインに対して、リセット、蓄積電荷ライン読み出し等の論理回路上での指令に要する一ライン当たりの所要時間であり、図３に示すラインＬ（１）とラインＬ（２）の露光開始時間差として表される。

　なお、ローリングシャッタ方式には各種の駆動方式があるが、本発明の主旨を逸脱しない範囲であれば他の駆動方式を適用することもできる。

　図４に、白色照明光（Ｗ光）と、青色狭帯域波長の照明光（Ｎ光）とを交互に照射して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する一般的な露光タイムチャートを示す。

　この場合、内視鏡制御部４５（図１参照）は、撮像素子３７から１フレームの画像を得るために必要な２フレーム期間（１フレーム期間ＦＬの２倍）の間、Ｗ光又はＮ光を連続して出射させる。

　光源制御部４１は、撮像素子３７の上端側の水平画素ラインにおける露光開始タイミングｔ_０毎に単位照射期間Ｔを設定し、単位照射期間毎に、いずれかの照明光を光源３９から出射させる。

　つまり、露光フレームＥｘｐ１の次フレームである露光フレームＥｘｐ２は、Ｗ光の照射時に露光されたフレーム画像となる。

　また、露光フレームＥｘｐ３の次フレームである露光フレームＥｘｐ４は、Ｎ光の照射時に露光されたフレーム画像となる。

　従って、Ｗ光照明によるフレーム撮像信号とＮ光照明によるフレーム撮像信号を取得し終えるには、合計４フレームが必要となる。

　上記露光制御に代えて、Ｗ光照明によるフレーム撮像信号とＮ光照明によるフレーム撮像信号を合計３フレームで取得し終える露光制御について次に説明する。

　図５に、光源制御部４１が、白色照明光（Ｗ光）と、青色狭帯域波長の照明光（Ｎ光）とを交互に照射するとともに、その前後のフレームに照明光を照射しないフレームを挿入して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する露光タイムチャートを示す。なお、図５における各水平画素ラインの露光期間は、設定可能な最大の露光期間として示している。

　光源制御部４１は、Ｗ光とＮ光とを単位照射期間Ｔ毎に出射させる。また、Ｗ光とＮ光を出射した連続する複数の単位照射期間Ｔの前後に、照明光を出射させない単位照射期間Ｔを設ける。

　つまり、光源制御部４１は、「照明光の出射なし」、「Ｗ光出射」、「Ｎ光出射」、「照明光の出射なし」を１周期として、この周期を繰り返して照明光を制御する。

　その結果、第１の露光フレームＥｘｐ１は、Ｗ光が出射される単位照射期間Ｔといずれの照明光も出射されない単位照射期間Ｔとで形成される。

　第２の露光フレームＥｘｐ２は、Ｗ光が出射される単位照射期間Ｔ、及びＮ光が出射される単位照射期間Ｔにより形成される。

　第３の露光フレームＥｘｐ３は、Ｎ光が出射される単位照射期間Ｔ、及びいずれの照明光も出射されない単位照射期間Ｔにより形成される。

　図６は、図５に示す各露光フレームを各水平画素ラインの水平走査周期分のずれを無くして表した露光タイムチャートである。

　各露光フレームＥｘｐ１，Ｅｘｐ２，Ｅｘｐ３における斜線部で表される領域が、Ｗ光による露光、Ｎ光による露光のいずれかに相当する露光期間である。

　各露光フレームに対する照明光の切り替わりのタイミングは、撮像素子のローリングシャッタによる水平画素ラインの水平走査周期ｔ（図３参照）分のずれに応じて定まり、撮像素子とその撮像素子の駆動制御パターンによって一義的に定まるものである。

　露光フレームＥｘｐ１においては、撮像素子の水平画素ライン一端側となるラインｉ＝０は、いずれの照明光も出射されない露光期間である。

　中間ラインｉ＝ｎ／２（ｎは全ライン数）は、いずれの照明光も出射されない露光期間とＷ光が出射される露光期間とが等しい割合となる露光期間である。

　そして、他端側となるラインｉ＝ｎは、全期間Ｗ光が出射される露光期間である。

　露光フレームＥｘｐ２においては、Ｗ光が照射される露光期間とＮ光が照射される露光期間が混在し、露光フレームＥｘｐ３においては、Ｎ光が照射される露光期間といずれの照明光も出射されない露光期間が混在する。

　次に、図６に示す露光フレームＥｘｐ１，Ｅｘｐ２，Ｅｘｐ３から、設定された露光時間（図５の１フレームＦＬの長さ）で同一の照明光により全画素を露光したときに各画素から得られる撮像信号を生成する手順を説明する。

　図７は、図６に示す露光フレームＥｘｐ２，Ｅｘｐ３を拡大して示す説明図である。

　内視鏡制御部４５は、撮像素子３７の全水平画素ラインに対する垂直方向の中間ラインｉ＝ｎ／２を境界として、垂直方向一端側（上端側）の第１ライン群Ａ１と、他端側（下端側）の第２ライン群Ａ２に水平画素ラインを区分する。

　露光フレームＥｘｐ２において、第１のライン群Ａ１中の任意の水平画素ラインＬ（ｉ）を例に説明すると、ラインＬ（ｉ）における全露光期間は、Ｗ光が出射されて撮像素子３７が露光される露光期間ｔａと、Ｎ光が出射されて撮像素子３７が露光される露光期間ｔｂとの和である。

　露光期間ｔａでは、ラインＬ（ｉ）の撮像信号量（図５の読み出しタイミングＲＤ２で読み出される撮像信号量）のうち、ｔａ／（ｔａ＋ｔｂ）がＷ光による信号量＜Ｗａ＞となり、ｔｂ／（ｔａ＋ｔｂ）がＮ光による信号量＜Ｎｂ＞となる。

　露光フレームＥｘｐ３においては、ラインＬ（ｉ）における全露光期間は、Ｎ光が出射されて撮像素子３７が露光される露光期間ｔａと、照明光が出射されていない露光期間ｔｂとの和である。

　露光フレームＥｘｐ３の露光期間ｔｂは、照明光が出射されていない期間であるため、ラインＬ（ｉ）の撮像信号量（図５の読み出しタイミングＲＤ３で読み出される撮像信号量）は、全てＮ光による信号量＜Ｎａ＞となる。

　内視鏡制御部４５は、ラインＬ（ｉ）の全露光期間をＷ光によって露光した場合のラインＬ（ｉ）の各画素から得られる撮像信号Ｉｗ（ｉ）と、ラインＬ（ｉ）の全露光期間をＮ光によって露光した場合のラインＬ（ｉ）の各画素から得られる撮像信号Ｉｎ（ｉ）とを演算により求める。

　内視鏡制御部４５は、撮像信号Ｉｗ（ｉ）については、各水平画素ラインに対するＷ光による撮像信号量の割合が、第１のライン群Ａ１と第２のライン群Ａ２のうち、いずれか大きい側のライン群から得られる撮像信号を用いて算出する。

　内視鏡制御部４５は、撮像信号Ｉｎ（ｉ）については、各水平画素ラインに対するＮ光による撮像信号量の割合が、第１のライン群Ａ１と第２のライン群Ａ２のうち、いずれか大きい側のライン群から得られる撮像信号を用いて算出する。

　以下、照明光別の各画素の撮像信号を生成する手順を説明する。

＜撮像信号Ｉｗ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＷ光による撮像信号Ｉｗ（ｉ）は、Ｗ光による露光量の割合が大きい露光フレームＥｘｐ２の第１のライン群Ａ１の撮像信号と、その隣の露光フレームＥｘｐ３の第１のライン群Ａ１の撮像信号とを用いて求める。

　露光フレームＥｘｐ２において、全露光期間をＷ光によって露光した場合に水平画素ラインＬ（ｉ）の各画素から得られる撮像信号量Ｉｗ（ｉ）は、図７に示した撮像信号量Ｗａの｛（ｔａ＋ｔｂ）／ｔａ｝倍となる。

　図７に示した撮像信号量Ｗａは、水平画素ラインＬ（ｉ）の画素から読み出しタイミングＲＤ２で読み出される撮像信号量をＲＤ２とすると、ＲＤ２から図７の撮像信号量Ｎｂを減算することで得られる。

　図７に示した撮像信号量Ｎｂは、Ｎａ×（ｔｂ／ｔａ）の演算によって求まる。ここで、Ｎａは、読み出しタイミングＲＤ３によって水平画素ラインＬ（ｉ）の画素から読み出される撮像信号量と一致している。

　このため、図７に示したＮｂは、水平画素ラインＬ（ｉ）の画素から読み出しタイミングＲＤ３で読み出される撮像信号量をＲＤ３とすると、Ｎｂ＝ＲＤ３×（ｔｂ／ｔａ）で表される。

　以上のことから、全露光期間をＷ光によって露光した場合に水平画素ラインＬ（ｉ）の各画素から得られる撮像信号量Ｉｗ（ｉ）は、０≦ｉ＜（ｎ／２）の範囲では以下の式（１）によって求まる。

　内視鏡制御部４５は、上記Ｉｗ（ｉ）を、各水平画素ラインＬ（ｉ）（ｉ＝０～ｎ／２）上の各画素に対してそれぞれ求めることで、水平画素ラインＬ（０）～Ｌ（ｎ／２）まで各水平画素ラインに対応する撮像信号Ｉｗ（ｉ）を生成する。

＜撮像信号Ｉｗ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＷ光による撮像信号Ｉｗ（ｉ）は、Ｗ光による露光量の割合が大きい露光フレームＥｘｐ１の第２のライン群Ａ２の撮像信号と、その隣の露光フレームＥｘｐ２の第２のライン群Ａ２の撮像信号とを用いて求める。

　図８は、図６に示す露光フレームＥｘｐ１，Ｅｘｐ２を拡大して示す説明図である。

　露光フレームＥｘｐ１において、第２のライン群Ａ２中の任意の水平画素ラインＬ（ｉ）を例に説明すると、ラインＬ（ｉ）における全露光期間は、照明光が出射されない露光期間ｔａと、Ｗ光が出射されて撮像素子３７が露光される露光期間ｔｂとの和である。

　露光フレームＥｘｐ１の露光期間ｔａは、照明光が出射されていない期間であるため、ラインＬ（ｉ）の撮像信号量（図５の読み出しタイミングＲＤ１で読み出される撮像信号量）は、全てＷ光による信号量＜Ｗｂ＞となる。

　したがって、第２のライン群Ａ２における撮像信号Ｉｗ（ｉ）は、水平画素ラインＬ（ｉ）の画素から読み出しタイミングＲＤ１で読み出される撮像信号量をＲＤ１として、（２／ｎ）≦ｉ≦ｎの範囲では式（２）で表される。

　なお、中間ラインｉ＝ｎ／２は、全ライン数ｎが奇数であれば１本の中間ラインとし、偶数であれば２本の中間ラインとして扱えばよい。

　内視鏡制御部４５は、上記式（１）及び式（２）により、水平画素ラインＬ（０）～Ｌ（ｎ）までの各水平画素ラインに対応する撮像信号Ｉｗ（ｉ）を生成する。

＜Ｎ光に対する撮像信号Ｉｎ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＮ光による撮像信号Ｉｎ（ｉ）は、Ｎ光による露光量の割合が大きい露光フレームＥｘｐ３の第１のライン群Ａ１の撮像信号から求める。撮像信号Ｉｎ（ｉ）は、０≦ｉ＜（ｎ／２）の範囲では式（３）で表される。

　内視鏡制御部４５は、上記Ｉｎ（ｉ）を、各水平画素ラインＬ（ｉ）（ｉ＝０～ｎ／２）上の各画素に対してそれぞれ求めることで、水平画素ラインＬ（１）～Ｌ（ｎ／２）まで各水平画素ラインに対応する撮像信号Ｉｎ（ｉ）を生成する。

＜Ｎ光に対する撮像信号Ｉｎ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＮ光による撮像信号Ｉｎ（ｉ）は、Ｎ光による露光量の割合が大きい露光フレームＥｘｐ２の第２のライン群Ａ２の撮像信号から求める。撮像信号Ｉｎ（ｉ）は、（２／ｎ）≦ｉ≦ｎの範囲では式（４）で表される。

　内視鏡制御部４５は、上記式（３）及び式（４）により、水平画素ラインＬ（０）～Ｌ（ｎ）まで各水平画素ラインに対応する撮像信号Ｉｎ（ｉ）を生成する。

　上記各式の情報は、予めメモリ４９に保存されており、内視鏡制御部４５が、各式に実際に得られるＲＤ１～ＲＤ３を代入して撮像信号Ｉｗ（ｉ）、Ｉｎ（ｉ）を算出する。

　算出された撮像信号Ｉｗ（ｉ），Ｉｎ（ｉ）は、画像処理部４７に出力される。画像処理部４７は、各撮像信号を用いた画像処理により、撮像画像データを生成して表示部１５に出力する。また、各撮像信号は、図示しない記憶媒体等に保存されることでもよい。

　以上のように、図６に示す露光フレームＥｘｐ１，Ｅｘｐ２，Ｅｘｐ３の３フレームから、各水平画素ラインの露光開始タイミングから照明光の切り替わりタイミングまでの第１の期間ｔａと、照明光の切り替わりタイミングから露光終了タイミングまでの第２の期間ｔｂとの比に基づいて、同一の照明光によって露光したときの各画素の撮像信号量を水平画素ライン毎に求められる。

　これにより、Ｗ光による撮像信号Ｉｗ（ｉ），Ｎ光による撮像信号Ｉｎ（ｉ）を個別に生成できる。この露光制御によれば、一般的な露光制御の場合に必要とされた４フレームから１フレーム分が短縮され、動画応答性を向上できる。また、撮像画像に対する色ずれの発生を抑制できる。

　なお、内視鏡制御部４５は、図９に示すように、各水平画素ラインの露光期間が、最大露光期間より短い後ろ詰めの露光期間Ｔｓである場合、上記のライン群Ａ１，Ａ２の区分に代えて、次のようにラインを区分する。

　即ち、内視鏡制御部４５は、撮像素子３７の垂直方向一端側の水平画素ライン（ｉ＝０のライン）から、この水平画素ラインに対する露光終了タイミングと一致する露光開始タイミングを有する水平走査ライン（ｉ＝ｐのライン）までの間の水平画素ライン群に対して、この水平画素ライン群を垂直方向に２等分するラインを中間ライン（ｉ＝ｑのライン）とする。

　この中間ラインを境界として、垂直方向一端側（上端側）の第１のライン群Ａ１と、他端側（下端側）の第２のライン群Ａ２に水平画素ライン群を区分する。

　内視鏡制御部４５は、特定の照明光に対する第１のライン群Ａ１，第２のライン群Ａ２に対しての撮像信号を上記同様に求める。

　第２のライン群Ａ２より他端側の水平画素ラインからなる第３のライン群Ａ３については、露光期間内に照明光の混在がないため、第３のライン群Ａ３から読み出される撮像信号をそのまま使用する。

　次に、照明光の種類をＲ光，Ｇ光，Ｂ光とした露光制御例について説明する。

　図１０に、Ｒ光と、Ｇ光と、Ｂ光とを交互に照射して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する一般的な露光タイムチャートを示す。

　この場合、内視鏡制御部４５（図１参照）は、撮像素子３７から１フレームの画像を得るために必要な２フレーム期間の間、Ｒ光、Ｇ光、Ｂ光をそれぞれの期間で連続して出射させる。

　つまり、露光フレームＥｘｐ１の次フレームである露光フレームＥｘｐ２は、Ｒ光の照射時に露光されたフレーム画像となる。また、露光フレームＥｘｐ３の次フレームである露光フレームＥｘｐ４は、Ｇ光の照射時に露光されたフレーム画像となる。また、露光フレームＥｘｐ５の次フレームである露光フレームＥｘｐ６は、Ｂ光の照射時に露光されたフレーム画像となる。

　従って、Ｒ光照明によるフレーム撮像信号とＧ光照明によるフレーム撮像信号とＢ光照射によるフレーム撮像信号を取得し終えるには、合計６フレームが必要となる。

　上記露光制御に代えて、Ｒ光照明によるフレーム撮像信号とＧ光照明によるフレーム撮像信号とＢ光照射によるフレーム撮像信号を合計４フレームで取得し終える露光制御について次に説明する。

　図１１に、光源制御部４１が、Ｒ光とＧ光とＢ光を続けて照射するとともに、その前後のフレームに照明光を照射しないフレームを挿入して、ローリングシャッタ方式の撮像素子により面順次方式で撮像する露光タイムチャートを示す。

　光源制御部４１は、Ｒ光、Ｇ光、Ｂ光を単位照射期間Ｔ毎に出射し、Ｒ光、Ｇ光、Ｂ光がそれぞれ出射される連続した複数の単位照射期間Ｔの前後に、照明光を出射させない単位照射期間Ｔを設ける。

　つまり、光源制御部４１は、「照明光の出射なし」、「Ｒ光出射」、「Ｇ光出射」、「Ｂ光出射」、「照明光の出射なし」、を１周期として、この周期を繰り返して照明光を制御する。

　第１の露光フレームＥｘｐ１は、Ｒ光が出射される単位照射期間Ｔといずれの照明光も出射されない単位照射期間Ｔとで形成される。

　第２の露光フレームＥｘｐ２は、Ｒ光が出射される単位照射期間ＴとＧ光が出射される単位照射期間Ｔとで形成される。

　第３の露光フレームＥｘｐ３は、Ｇ光が出射される単位照射期間ＴとＢ光が出射される単位照射期間Ｔとで形成される。

　第４の露光フレームＥｘｐ４は、Ｂ光が出射される単位照射期間Ｔといずれの照明光も出射されない単位照射期間Ｔとで形成される。

　図１２は、図１１に示す各露光フレームを各水平画素ラインの水平走査周期分のずれを無くして表した露光タイムチャートである。各露光フレームＥｘｐ１，Ｅｘｐ２，Ｅｘｐ３，Ｅｘｐ４における斜線部で表される領域が、Ｒ光による露光、Ｇ光による露光、Ｂ光による露光のいずれかに相当する露光期間である。

　Ｒ光による撮像信号Ｉｒ（ｉ）は、前述したＷ光とＮ光の照明光の場合と同様に、図１１の読み出しタイミングＲＤ２，ＲＤ３，ＲＤ４でそれぞれ読み出される撮像信号量をＲＤ２，ＲＤ３，ＲＤ４として、０≦ｉ＜（ｎ／２）の範囲では式（５）、（２／ｎ）≦ｉ≦ｎの範囲では式（６）で求められる。

　Ｂ光による撮像信号Ｉｂ（ｉ）は、前述同様に、図１１の読み出しタイミングＲＤ１で読み出される撮像信号量をＲＤ１として、０≦ｉ＜（ｎ／２）の範囲では式（７）、（２／ｎ）≦ｉ≦ｎの範囲では式（８）で求められる。

　Ｇ光による撮像信号Ｉｇ（ｉ）は、次のように求める。

　図１３に各露光フレームを模式的に示すように、露光フレームＥｘｐ２，Ｅｘｐ３の各水平画素ラインにおけるＲＤ２とＲＤ３の和は、Ｇ光による撮像信号量にＲ光、Ｂ光による撮像信号量が含まれる。

　そこで、ＲＤ２とＲＤ３の和から、露光フレームＥｘｐ１のＲ光による撮像信号量、露光フレームＥｘｐ４のＧ光による撮像信号量を減算すれば、Ｇ光のみの撮像信号量を求めることができる。したがって、Ｇ光による撮像信号量は、露光フレームＥｘｐ１，Ｅｘｐ２，Ｅｘｐ３，Ｅｘｐ４を用いて、ｉ＝０～ｎの全範囲において式（９）から求める。

　以上より、図１１に示す露光フレームＥｘｐ１，Ｅｘｐ２，Ｅｘｐ３，Ｅｘｐ４の４フレームから、Ｒ光による撮像信号Ｉｒ（ｉ），Ｇ光による撮像信号Ｉｇ（ｉ），Ｂ光による撮像信号Ｉｂ（ｉ）を生成できる。

　上記のように、複数種類の照明光を順次切り替えて、ローリングシャッタ方式の撮像素子により面順次式で撮像する場合であっても、各照明光を高速に切り替えて撮像でき、動画応答性を向上できる。

　また、上記方法によれば、混色の発生がなく、色再現性に優れた照明光別の撮像信号を生成できる。よって、グローバルシャッタ方式の撮像素子と比較しても遜色ない面順次方式による撮像が行える。

　次に、Ｗ光とＮ光の照明光別の撮像信号の生成方法の別の例を説明する。

　＜撮像信号Ｉｎ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＮ光による撮像信号Ｉｎ（ｉ）は、Ｎ光による露光量の割合が大きい露光フレームＥｘｐ３の第１のライン群Ａ１の撮像信号量ＲＤ３を用いて、以下の式（１０）により求める。

　＜撮像信号Ｉｗ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＷ光による撮像信号Ｉｗ（ｉ）は、Ｗ光による露光量の割合が大きい露光フレームＥｘｐ２の第１のライン群Ａ１の撮像信号量ＲＤ２と式（１０）により求めたＩｎ（ｉ）とを用いて算出する。

　ＲＤ２は、Ｉｗ（ｉ）とＩｎ（ｉ）を用いて以下の式（１１）で表される。

　式（１１）を変形すると式（１２）が得られる。

　式（１２）に式（１０）を代入すると式（１３）が得られる。

　この式（１３）により、第１のライン群Ａ１におけるＷ光による撮像信号Ｉｗ（ｉ）を算出することができる。

　＜撮像信号Ｉｗ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＷ光による撮像信号Ｉｗ（ｉ）は、Ｗ光による露光量の割合が大きい露光フレームＥｘｐ１の第２のライン群Ａ２の撮像信号量ＲＤ１を用いて、以下の式（１４）により求める。

　＜撮像信号Ｉｎ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＮ光による撮像信号Ｉｎ（ｉ）は、Ｎ光による露光量の割合が大きい露光フレームＥｘｐ２の第２のライン群Ａ２の撮像信号量ＲＤ２と式（１４）により求めたＩｗ（ｉ）とを用いて算出する。

　上記式（１２）に式（１４）を代入して変形すると下記式（１５）が得られる。

　この式（１５）により、第２のライン群Ａ２におけるＮ光による撮像信号Ｉｎ（ｉ）を算出することができる。

　次に、Ｒ光とＧ光とＢ光の照明光別の撮像信号の生成方法の別の例を説明する。

　＜撮像信号Ｉｂ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＢ光による撮像信号Ｉｂ（ｉ）は、Ｂ光による露光量の割合が大きい露光フレームＥｘｐ４の第１のライン群Ａ１の撮像信号量ＲＤ４を用いて、以下の式（１６）により求める。

　＜撮像信号Ｉｇ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＧ光による撮像信号Ｉｇ（ｉ）は、Ｇ光による露光量の割合が大きい露光フレームＥｘｐ３の第１のライン群Ａ１の撮像信号量ＲＤ３と式（１６）により求めたＩｂ（ｉ）とを用いて算出する。

　ＲＤ３は、Ｉｗ（ｉ）とＩｎ（ｉ）を用いて以下の式（１７）で表される。

　式（１７）を変形すると式（１８）が得られる。

　式（１８）に式（１６）を代入すると式（１９）が得られる。

　この式（１９）により、第１のライン群Ａ１におけるＧ光による撮像信号Ｉｇ（ｉ）を算出することができる。

　＜撮像信号Ｉｒ（ｉ）｜０≦ｉ＜（ｎ／２）の場合｜＞
　第１のライン群Ａ１におけるＲ光による撮像信号Ｉｒ（ｉ）は、Ｒ光による露光量の割合が大きい露光フレームＥｘｐ２の第１のライン群Ａ１の撮像信号量ＲＤ２と式（１９）により求めたＩｇ（ｉ）とを用いて算出する。

　ＲＤ２は、Ｉｒ（ｉ）とＩｇ（ｉ）を用いて以下の式（２０）で表される。

　式（２０）を変形すると式（２１）が得られる。

　式（２１）に式（１９）を代入すると式（２２）が得られる。

　この式（２２）により、第１のライン群Ａ１におけるＲ光による撮像信号Ｉｒ（ｉ）を算出することができる。

　＜撮像信号Ｉｒ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＲ光による撮像信号Ｉｒ（ｉ）は、Ｒ光による露光量の割合が大きい露光フレームＥｘｐ１の第２のライン群Ａ２の撮像信号量ＲＤ１を用いて、以下の式（２３）により求める。

　＜撮像信号Ｉｇ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＧ光による撮像信号Ｉｇ（ｉ）は、Ｇ光による露光量の割合が大きい露光フレームＥｘｐ２の第２のライン群Ａ２の撮像信号量ＲＤ２と式（２３）により求めたＩｒ（ｉ）とを用いて、前述と同様に下記式（２４）により算出する。

　＜撮像信号Ｉｂ（ｉ）｜（２／ｎ）≦ｉ≦ｎの場合｜＞
　第２のライン群Ａ２におけるＢ光による撮像信号Ｉｂ（ｉ）は、Ｂ光による露光量の割合が大きい露光フレームＥｘｐ３の第２のライン群Ａ２の撮像信号量ＲＤ３と式（２４）により求めたＩｇ（ｉ）とを用いて、前述と同様に下記式（２５）により算出する。

　以上のように、水平画素ラインの垂直方向における位置によって決まる係数（ｎ／ｉ，ｉ／（ｎ－ｉ），ｎ／（ｎ－ｉ），（ｎ－ｉ）／ｎ，（ｎ－ｉ）／ｉ）と、撮像信号量ＲＤ１～ＲＤ４を用いた演算によっても、撮像信号量を誤差を少なくして算出することができる。

　本発明は上記の実施形態に限定されるものではなく、実施形態の各構成を相互に組み合わせることや、明細書の記載及び周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

　例えば、本構成の撮像素子としては、ＣＭＯＳ型イメージセンサに限らず、ローリングシャッタ方式で機能する撮像素子であれば利用可能である。

　また、上記説明では、撮像素子３７の全水平画素ラインに対する垂直方向の中間ラインｉ＝ｎ／２を境界として第１ライン群Ａ１と第２ライン群Ａ２に水平画素ラインを区分するものとしたが、これに限らず、第１ライン群Ａ１と第２ライン群Ａ２の境界線は、任意の位置に設定することができる。

　以上の通り、本明細書には次の事項が開示されている。

　開示された撮像装置は、互いに異なるスペクトルを有する複数種類の照明光が出射可能な光源と、複数の画素が水平方向及び垂直方向に配列されてなり、水平方向に並ぶ画素からなる複数の水平画素ラインを有し、かつローリングシャッタ方式にて駆動される撮像素子を有する撮像部と、前記光源から出射する照明光を切り替える光源制御部と、前記いずれかの照明光が出射される単位照射期間と前記いずれかの照明光とは異なる照明光が出射される単位照射期間で形成される第１露光フレーム、及び、前記いずれかの照明光が出射される単位照射期間といずれの照明光も出射されない単位照射期間とで形成される第２露光フレームを生成し、１つの前記第１露光フレーム又は連続する２つの前記第１露光フレームの前後に前記第２露光フレームを設けたフレーム群を１周期として出力するフレーム画像制御部と、前記フレーム群に含まれる各露光フレームにおいて、各水平画素ラインの画素から読み出される検出信号量を用いて、当該画素を前記単位照射期間の間に、同一の照明光を用いて露光したときに当該画素から得られる撮像信号量を生成する撮像信号生成部と、を備えるものである。

　開示された撮像装置の前記撮像信号生成部は、前記第１露光フレームと前記第２露光フレームの各水平画素ラインの露光期間内で前記照明光が切り替わる水平画素ラインに対し、当該水平画素ラインの露光開始タイミングから前記照明光が切り替わるタイミングまでの第１の期間と、当該照明光が切り替わるタイミングから当該水平画素ラインの露光終了タイミングまでの第２の期間との比を用いて、当該水平画素ラインの画素についての前記撮像信号量を生成するものである。

　開示された撮像装置の前記撮像信号生成部は、前記水平画素ラインの垂直方向における位置によって決まる係数を用いて、当該水平画素ラインの画素についての前記撮像信号量を生成するものである。

　開示された撮像装置の前記撮像部は、前記水平画素ラインの垂直方向一端側から他端側に順次走査駆動する際に、前記他端側の水平画素ラインの露光終了タイミングが次フレームにおける前記一端側の水平画素ラインの露光開始タイミングと一致するように、各水平画素ラインの露光開始タイミングをずらして駆動するものである。

　開示された撮像装置の前記撮像信号生成部は、前記垂直方向一端側の水平画素ラインから、当該水平画素ラインに対する露光終了タイミングと一致する露光開始タイミングの水平走査ラインまでの間の水平画素ライン群に対して、該水平画素ライン群を前記垂直方向に２つに分割するラインを分割ラインとし、該分割ラインを境界として、前記垂直方向一端側の第１ライン群と、他端側の第２ライン群に前記水平画素ライン群を区分し、前記第１ライン群にある前記画素に用いる前記検出信号量と、前記第２ライン群にある前記画素に用いる前記検出信号量とを変えて前記撮像信号量を生成するものである。

　開示された撮像装置は、前記第１露光フレームと前記第２露光フレームの各水平画素ラインの露光期間内で前記照明光が切り替わる水平画素ラインに対し、当該水平画素ラインの露光開始タイミングから前記照明光が切り替わるタイミングまでの第１の期間と、当該照明光が切り替わるタイミングから当該水平画素ラインの露光終了タイミングまでの第２の期間は、前記ローリングシャッタの前記水平画素ラインに対する前記露光開始タイミングのずれに応じて決定されるものである。

　開示された撮像装置における前記複数種類の照明光は、白色照明光と、該白色照明光の波長幅より狭い狭帯域波長光とを含むものである。

　開示された撮像装置における前記複数種類の照明光は、少なくとも赤色光、緑色光、青色光を含むものである。

　開示された撮像装置の前記光源が半導体発光素子から構成されるものを含む。

　開示された内視鏡装置は、前記撮像装置を備えるものである。

　１１　内視鏡
　１３　制御装置
　１９　光源装置
　２１　プロセッサ
　３７　撮像素子
　３９　光源
　４１　光源制御部
　４３　撮像信号処理部
　４５　内視鏡制御部（フレーム画像制御部、撮像信号制御部）
　４７　画像処理部
　４９　メモリ
　５１　撮像制御部
１００　内視鏡装置

Claims

　互いに異なるスペクトルを有する複数種類の照明光を出射可能な光源と、
　複数の画素が水平方向及び垂直方向に配列されてなり、前記水平方向に並ぶ画素からなる複数の水平画素ラインを有し、かつローリングシャッタ方式により駆動される撮像素子を有する撮像部と、
　前記光源から出射する照明光を切り替える光源制御部と、
　前記いずれかの照明光が出射される単位照射期間と前記いずれかの照明光とは異なる照明光が出射される単位照射期間で形成される第１露光フレーム、及び、前記いずれかの照明光が出射される単位照射期間といずれの照明光も出射されない単位照射期間とで形成される第２露光フレームを生成し、１つの前記第１露光フレーム又は連続する２つの前記第１露光フレームの前後に前記第２露光フレームを設けたフレーム群を１周期として出力するフレーム画像制御部と、
　前記フレーム群に含まれる各露光フレームにおいて、前記各水平画素ラインの画素から読み出される検出信号量を用いて、当該画素を前記単位照射期間の間に同一の照明光を用いて露光したときに当該画素から得られる撮像信号量を生成する撮像信号生成部と、
　を備える撮像装置。
　請求項１記載の撮像装置であって、
　前記撮像信号生成部は、前記第１露光フレームと前記第２露光フレームの各水平画素ラインの露光期間内で前記照明光が切り替わる水平画素ラインに対し、当該水平画素ラインの露光開始タイミングから前記照明光が切り替わるタイミングまでの第１の期間と、当該照明光が切り替わるタイミングから当該水平画素ラインの露光終了タイミングまでの第２の期間との比を用いて、当該水平画素ラインの画素の前記撮像信号量を生成する撮像装置。
　請求項１記載の撮像装置であって、
　前記撮像信号生成部は、前記水平画素ラインの垂直方向における位置によって決まる係数を用いて、当該水平画素ラインの画素についての前記撮像信号量を生成する撮像装置。
　請求項１～３のいずれか１項記載の撮像装置であって、
　前記撮像部は、前記水平画素ラインの垂直方向一端側から他端側に順次走査駆動する場合に、前記他端側の水平画素ラインの露光終了タイミングが次フレームにおける前記一端側の水平画素ラインの露光開始タイミングと一致するように、各水平画素ラインの露光開始タイミングをずらして駆動する撮像装置。
　請求項４記載の撮像装置であって、
　前記撮像信号生成部は、前記垂直方向一端側の水平画素ラインから、当該水平画素ラインに対する露光終了タイミングと一致する露光開始タイミングの水平画素ラインまでの間の水平画素ライン群に対して、該水平画素ライン群を前記垂直方向に２つに分割するラインを分割ラインとし、
　該分割ラインを境界として、前記垂直方向一端側の第１ライン群と、他端側の第２ライン群に前記水平画素ライン群を区分し、
　前記第１ライン群にある前記画素に用いる前記検出信号量と、前記第２ライン群にある前記画素に用いる前記検出信号量とを変えて前記撮像信号量を生成する撮像装置。
　請求項１～請求項５のいずれか一項記載の撮像装置であって、
　前記第１露光フレームと前記第２露光フレームの各水平画素ラインの露光期間内で前記照明光が切り替わる水平画素ラインに対し、当該水平画素ラインの露光開始タイミングから前記照明光が切り替わるタイミングまでの第１の期間と、当該照明光が切り替わるタイミングから当該水平画素ラインの露光終了タイミングまでの第２の期間は、前記ローリングシャッタの前記水平画素ラインに対する前記露光開始タイミングのずれに応じて決定される撮像装置。
　請求項１～請求項６のいずれか一項記載の撮像装置であって、
　前記複数種類の照明光は、白色照明光と、該白色照明光の波長幅より狭い狭帯域波長光とを含む撮像装置。
　請求項１～請求項７のいずれか一項記載の撮像装置であって、
　前記複数種類の照明光は、少なくとも赤色光、緑色光、青色光を含む撮像装置。
　請求項１～請求項８のいずれか一項記載の撮像装置であって、
　前記光源が半導体発光素子から構成される撮像装置。
　請求項１～請求項９のいずれか一項記載の撮像装置を備える内視鏡装置。