JP6735586B2 - 電子内視鏡システムおよび電子内視鏡システムの作動方法 - Google Patents

Description

本発明は、照明光を断続的に照射してストロボスコープ撮影を行う電子内視鏡システムに関する。

従来、通常光源では観察できない被写体、例えば高周波で振動する声帯を観察するために、ストロボ光源を備えた内視鏡システムが知られている。このストロボスコープ撮影において、ストロボ光源は声帯の振動周期に同期させた断続的な照明光を振動中の観察部位に照射する。ストロボ発光タイミングは、声帯の振動波形の周期に応じて定められており、声帯の振動波形に対して位相が所定量ずつずれて発光するように発光周期を制御することで、振動している声帯のスローモーション画像が得られる（例えば、特許文献１参照）。

特開２００４−９７４４２号公報

しかし、上記の構成では、撮像素子の画素信号出力タイミングとストロボ発光タイミングとが別々に定められるため、画素信号出力タイミングとストロボ発光タイミングとが重なる期間が生じる。その結果、出力画像にノイズがのってしまい、望ましいスローモーション画像が得られない。

そこで、本発明は、ストロボなどの断続的に照射する光源の発光タイミングを変更せずに、ストロボスコープ画像を適正に得ることを目的としている。

本発明に係る電子内視鏡システムは、撮像素子と、照明光を断続的に照射する照明手段と、照明光の照射期間と撮像素子の画素信号出力期間とを検出する検出手段と、撮像素子から出力される画素信号に基づく画像（ここでは、出力画像という）に対し、ノイズ補正処理を行う補正手段とを備える。撮像素子としては、ＣＣＤなど電荷転送型撮像素子が適用可能である。また、照明手段としては、ストロボ（エレクトロニックフラッシュ）などが適用可能である。

そして、検出手段は、照射期間と画素信号出力期間とが重なっているか否かを判定し、補正手段は、照射期間と画素信号出力期間とが重なっているとき、ノイズ補正処理を行うことを特徴とする。

ノイズ補正処理は、前記照射期間と前記画素信号出力期間とが重なる期間に応じた画像部分に対し、ノイズ補正処理を行えばよい。ここで、「重なる期間に応じた画像部分」とは、ノイズが生じている（生じるであろう）画素部分だけ、あるいはその画素部分周辺も含めたエリアを示す。例えば、１ライン上にノイズが部分的に生じる場合、そのノイズの画素ラインだけを補正してもよく、あるいは、１ラインすべてを補正することも可能である。

画素信号が１ラインごとに出力される場合、検出手段は、１ラインごとに重なり期間を検出することが可能である。この場合、ノイズが生じるラインの上下の少なくとも一方の画素データを使用して補正すればよい。

検出手段は、電子スコープに設けることが可能であり、検出手段は、プロセッサを介して照明手段の駆動信号を受信することで、照明光の照射期間を検出することが好ましい。

また、検出手段は、撮像素子を駆動する撮像素子駆動回路の駆動信号に基づいて画素信号出力期間を検出することが可能である。

補正手段は、電子スコープに設けられていてもよい。

また、補正手段は、１ラインごとに重なり期間を判定された画素信号に対して順次補正してもよい。あるいは、１フィールドもしくは１フレーム分の画素信号を一時的に格納し、画像全体に対して重なり期間に応じたエリアに対する補正をまとめて行ってもよい。

本発明に係る電子内視鏡システムの作動方法は、照明手段が、照明光を断続的に照射し、検出手段が、照明光の照射期間と撮像素子の画素信号出力期間とを検出し、検出手段は、照射期間と画素信号出力期間とが重なっているか否かを判定し、照射期間と画素信号出力期間とが重なっているとき、補正手段が、撮像素子からの出力画像に生じるノイズのノイズ補正処理を行うことを特徴とする。

本発明の内視鏡システムにおいて補正処理を実行するプログラムは、内視鏡システムにおいて補正処理を実行させるプログラムであって、断続的な照明光の照射期間と撮像素子の画素信号出力期間とが重なっているか否かを判定する第１ステップと、前記照射期間と前記画素信号出力期間とが重なっているとき、ノイズ補正処理を行う第２ステップとを実行させる。

本発明によれば、ストロボの発光タイミングを変更せずに、ストロボスコープ画像を適正に得ることができる。

本発明の一実施形態に係る電子内視鏡システムの全体図を表すブロック図である。 出力画像にノイズが発生する場合を示すタイミングチャートである。 ノイズが発生した出力画像の一例を示す図である。 本発明の一実施形態における、ノイズ補正シーケンスを示す図である。

以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。本実施形態の電子内視鏡システム１０は、電子スコープ１１と、電子スコープ１１が着脱自在に接続されるプロセッサ１２と、プロセッサ１２からの映像を表示するモニタ１３と、光源装置２２（照明手段）とを備える。

電子スコープ１１の先端には、ＣＣＤイメージセンサ（例えばインターライン転送型ＣＣＤ）である撮像素子１５が設けられる。撮像素子１５は電子スコープ１１のコネクタ部に設けられるスコープコントローラ（検出手段／補正手段）１６からの信号により駆動・制御される。撮像素子１５では、対物レンズ１５Ａを通して被写体の撮像が行われ、検出された画像信号はスコープコントローラ１６において後述する補正処理が行われたのちに、プロセッサ１２の前段映像信号処理回路１７へと送られる。メモリ３２はスコープコントローラ１６における補正処理において用いられる。

前段映像信号処理回路１７では画像信号がデジタル信号に変換されるとともに所定の画像処理が施され、順次画像メモリ１８に一時的に保存される。画像メモリ１８に保存されたフレーム画像は、順次後段映像信号処理回路１９へ送られ、例えば所定規格のビデオ信号に変換されてモニタ１３などの出力装置へと出力される。スコープコントローラ１６、前段映像信号処理回路１７、画像メモリ１８、後段映像信号処理回路１９は、タイミングコントローラ２０からの各種同期信号に基づき制御される。

光源装置２２およびタイミングコントローラ２０は、プロセッサ全体の制御を行うシステムコントローラ２４により制御される。撮像素子１５による被写体の撮影は光源装置２２から供給される照明光の下で行われる。照明光はライトガイド２１を通して電子スコープ１１の先端に供給され、電子スコープ先端から照明レンズ２１Ａを通して照射される。

対物レンズ１５Ａを介して被写体が撮影されると撮像素子１５の受光面には光が入射する。撮像素子１５の受光面に入射した光は受光面に設けられたフォトダイオードによって電荷に変換される。撮像素子１５の受光面（フォトダイオード）に蓄積された電荷は、一時的に垂直転送レジスタに転送された後、１ラインずつ撮像素子１５から順に出力され、バッファ３１を経由してプロセッサ側へ送信される。

光源装置２２は、システムコントローラ２４に制御されるランプ電源２５によってストロボランプ２６から照明光を照射する。光源装置２２は、通常撮影時および後述するストロボスコープ撮影時にそれぞれ通常光、ストロボ光をライトガイド２１の端面に照射する。ストロボランプ２６は例えばキセノンランプやＬＥＤである。ストロボランプ２６から出力される光量はモータ２７によって駆動される絞り２８によって調整される。モータ２７は前段映像信号処理回路１７からの信号を受けてドライバ２９によって制御される。

システムコントローラ２４には、例えばプロセッサ１２の正面に配置されるフロントパネル３０が接続される。システムコントローラ２４は、フロントパネル３０のスイッチ操作にしたがって各種処理の選択や通常光とストロボ光との切替えを行う。

フロントパネル３０のスイッチでストロボスコープ撮影が選択されるとストロボランプ２６がストロボ発光を開始する。ストロボランプ２６のパルス発光タイミングはフロントパネル３０で設定される。発光タイミングはシステムコントローラ２４においてストロボ駆動信号に変換される。ストロボ駆動信号はランプ電源２５に送信されるとともにタイミングコントローラ２０を介してスコープコントローラ１６に送信される。

ストロボスコープ撮影は、例えば振動中の声帯のスローモーション画像を得るときに利用される。ストロボ光の発光周期を声帯の振動波形に対して所定量ずらすことによって声帯のスローモーション画像が得られる。ストロボ光の発光周期を調整することで、所望する動きの流れをもつスローモーション画像が得られる。スコープコントローラ１６は、ノイズ補正処理回路１６Ａを備え、ストロボスコープ撮影時にストロボ発光に起因するノイズが表示画像に生じないように、撮像素子１５から出力される画素信号に対しノイズ補正処理を施す。

図２、３を参照して、ストロボスコープ撮影時の動作について説明する。図２は撮像素子１５から１ラインずつ画素信号を出力させるときの画素信号出力タイミング、ストロボ発光タイミング（照明光の照射期間）との関係を示すタイミングチャートである。また、図３は、観察画像に生じるノイズを示した図である。

スコープコントローラ１６は、１ラインごとに画素信号を出力させる駆動パルスを、フレーム周期に応じて撮像素子１５へ出力する。これに伴い、１ライン分の画素信号が所定の周期Ｐで順次出力される。

一方、光源装置２２では、ストロボランプ２６から照明光が断続的（間欠的）に発光する（図２（ｂ）参照）。ストロボ光の発光周期Ｑは、声帯の振動周期に依存していて１ライン分の画素信号出力の周期Ｐよりも長く、また、スローモーション画像を得るためにその位相が少しずつシフトするように調整されている。１回の発光（照射）期間Ｓは、ここでは１ライン分の画素信号出力時間Ｔよりも長い。

このようにストロボ発光タイミングと１ライン分の画素信号出力タイミングとは、周期などが一致していないため、両方のタイミングがオーバラップする場合が生じる。図２では、発光（照射）期間Ｓと画素信号出力期間Ｔとが重なる期間を、Ｄ１、Ｄ２で示している。このようなオーバラップ期間が生じることにより、図３に示すような水平方向に沿って一部ノイズが生じることがある。ノイズＮ１は図２のオーバラップ期間Ｄ１（図２参照）に起因して生じ、ノイズＮ２はオーバラップ期間Ｄ２に起因して発生する。

本実施形態では、画素信号出力期間Ｔとストロボ光の発光（照射）期間Ｓとが重なって出力画像にノイズが発生するのを防ぐため、以下に詳述するように、１フィールド／フレーム分の画素信号に対し、オーバラップ期間についてノイズ補正処理を実行する。

図４は、スコープコントローラ１６において実行されるノイズ補正処理のフローチャートである。図４を参照して補正の手順を説明する。電子内視鏡システム１０の主電源が入れられると、ノイズ補正シーケンス（ステップＳ４００〜Ｓ４０５）が作動する。なお、このシーケンスはストロボスコープ撮影が選択された時に作動する構成であってもよい。

ステップＳ４０１において、ストロボが発光しているか否か判定される。ストロボ発光の開始は、プロセッサ１２から送られてくる駆動信号によって検知する。あるいは、プロセッサ１２において設定されたストロボスコープ撮影の情報を取得して検知してもよい。ストロボが発光していないと判断されると、画像の補正は行われずにステップＳ４０５においてシーケンスは終了する。

ステップＳ４０１においてストロボが発光していると判断されると、ステップＳ４０３に進む。ステップＳ４０３では、画素信号出力期間Ｔと、ストロボの発光（照射）期間Ｓとが重なるか否かが、ラインごとに順次判定される。具体的には、光源装置２２送られてくるストロボ発光駆動信号（パルス信号）のタイミングと、撮像素子１５へ送られる画素信号出力用の駆動信号のタイミングとに基づいて判定される。

ステップＳ４０３において重なっていないと判断されるとノイズ補正は行われず、シーケンスは終了する。重なると判断されると、ステップＳ４０４において、ノイズ補正処理が行われる。

具体的には、ノイズが生じるラインの画素信号を、前回の出力タイミングで出力された隣接する上側もしくは下側の１ライン分の画素信号に置き換える。ノイズ補正処理回路１６Ａでは、メモリ３２に一時的に格納された前後のラインの画素信号に基づいて補正処理が行われる。

なお、１フィールド／フレーム分の画素信号を一時的にメモリなどに格納し、画像全体の重なり期間を判定してから、各ノイズ箇所に対して補正処理を施してもよい。この場合、ノイズ補正処理は、ノイズ部分の周辺画素を利用すればよい。例えばノイズの生じたラインの隣接す上下両方の１ライン分の画素信号を用いて（例えば平均値、または特定の重み付けを行うなど）補正することができる。

また、ノイズが生じる画素の位置は照射期間Ｓと画素信号出力期間Ｔとが重なる期間から、ノイズの生じた箇所を特定し、１ライン分の画素信号を補正するのではなく、ノイズの生じた画素部分のみ補正することも可能である。

このように、本実施形態は画素信号の出力期間とストロボ光の照射期間との重なりに基づいてノイズが発生する部分を予測することによって、その補正処理を行う構成である。換言すれば、画素信号の出力期間とストロボ光の照射期間とが重なってもよいため、ストロボ光の照射期間を画像信号の出力期間によらず自由に設定することができる。これにより声帯の振動周期に対して任意の位相でストロボ光が照射できるため、結果として望ましい被写体のスローモーション画像を乱れなく表示することができる。また、ラインごとに重なり期間があるか否かをビデオスコープ側で判断して補正する、すなわち、プロセッサ側において画像信号処理を行う前に補正することによって、観察画像の画質にノイズ補正が影響するのを抑えることができる。さらに、比較的周期が長いストロボ照明タイミングをプロセッサ経由でスコープ内に送ることで、照明と画素信号出力の重なり期間をスコープ内部で検出することになり、周期が非常に短い画素信号出力タイミングを正確に検出する、すなわち重なり判定を確実に行うことが可能となる。

なお、撮像素子はＣＣＤに限定されず、１ライン分の画素信号を順次撮像素子から出力するときにストロボなどの断続的に発光する光源の発光タイミングが重なる場合、ノイズ補正を適用してもよい。

１０ 電子内視鏡システム
１５ 撮像素子
１６ スコープコントローラ（検出手段／補正手段）
２２ 光源装置（照明手段）
Ｓ 発光（照射）期間
Ｔ 画素信号出力期間
Ｎ１、Ｎ２ ノイズ
Ｄ１、Ｄ２ オーバーラップ期間

Claims (7)

1. 撮像素子と、
   照明光を断続的に発光し、発光周期を声帯の振動周期に応じて定めるとともに、その位相を声帯の振動波形に対して所定量ずつシフトさせる照明手段と、
   前記照明光の被写体への照射期間と前記撮像素子の画素信号出力期間とを検出する検出手段と、
   前記撮像素子からの出力画像に対してノイズ補正処理を行う補正手段とを備え、
   前記検出手段は、前記照射期間と前記画素信号出力期間とが重なっているか否かを判定し、
   前記補正手段は、前記照射期間と前記画素信号出力期間とが重なっているとき、ノイズ補正処理を行うことを特徴とする電子内視鏡システム。
2. 前記補正手段は、前記照射期間と前記画素信号出力期間とが重なる期間に応じた画像部分に対し、ノイズ補正処理を行うことを特徴とする請求項１に記載の電子内視鏡システム。
3. 前記画素信号が、ラインごとに順次出力され、
   前記ノイズ補正処理は、前記照射期間と前記画素信号出力期間とが重なる期間に応じたラインに対し、そのラインの上下少なくとも一方のラインの画素データを使用することを特徴とする請求項１乃至２のいずれかに記載の電子内視鏡システム。
4. 前記検出手段は、電子スコープに設けられており、
   前記検出手段は、プロセッサを介して前記照明手段の駆動信号を受信することで、前記照明光の照射期間を検出することを特徴とする請求項１乃至請求項３のいずれかに記載の電子内視鏡システム。
5. 前記補正手段は、電子スコープに設けられていることを特徴とする請求項１乃至請求項４のいずれかに記載の電子内視鏡システム。
6. 照明手段が、照明光を断続的に発光し、発光周期を声帯の振動周期に応じて定めるとともに、その位相を声帯の振動波形に対して所定量ずつシフトさせ、
   検出手段が、前記照明光の被写体への照射期間と前記撮像素子の画素信号出力期間とを検出し、
   前記検出手段は、前記照射期間と前記画素信号出力期間とが重なっているか否かを判定し、
   補正手段が、前記照射期間と前記画素信号出力期間とが重なっているとき、重なっているタイミングに応じた画像部分に対してノイズ補正処理を行うことを特徴とする電子内視鏡システムの作動方法。
7. 前記補正手段が、前記照射期間と前記撮像素子の画素信号出力期間とが重なる期間を特定し、ノイズが重なる画素部分のみ、ノイズ補正処理を行うことを特徴とする請求項２に記載の電子内視鏡システム。

Images