[go: up one dir, main page]

JP6529585B2 - 撮像装置、内視鏡装置および温度測定方法 - Google Patents

撮像装置、内視鏡装置および温度測定方法 Download PDF

Info

Publication number
JP6529585B2
JP6529585B2 JP2017522763A JP2017522763A JP6529585B2 JP 6529585 B2 JP6529585 B2 JP 6529585B2 JP 2017522763 A JP2017522763 A JP 2017522763A JP 2017522763 A JP2017522763 A JP 2017522763A JP 6529585 B2 JP6529585 B2 JP 6529585B2
Authority
JP
Japan
Prior art keywords
dark current
temperature
unit
imaging device
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017522763A
Other languages
English (en)
Other versions
JPWO2016199188A1 (ja
Inventor
敏之 野口
敏之 野口
明広 窪田
明広 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016199188A1 publication Critical patent/JPWO2016199188A1/ja
Application granted granted Critical
Publication of JP6529585B2 publication Critical patent/JP6529585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01KMEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K7/00Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements
    • G01K7/01Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements using semiconducting elements having PN junctions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、撮像装置、内視鏡装置および温度測定方法に関する。
内視鏡装置は、外部から直接観察することができない空間の内部を観察するために様々な分野で用いられている。例えば、体腔内の臓器の観察を行い、必要に応じて処置具を用いて治療処置を行う医療分野、ボイラ、タービン、エンジン、化学プラント等の設備内部の傷、腐食等の観察、検査を行う工業分野、などがある。内視鏡装置には、被検体内に挿入する挿入部の先端に、撮像素子としてCCD(Charge Coupled Device;電荷結合素子)センサやCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化物半導体)センサなどの固体撮像素子を備えるものがある。
観察対象となる被検体によっては観察箇所の温度が高温になる場合がある。その場合には、内視鏡装置の挿入部に備えられた固体撮像素子の温度が上昇することがある。また、被検体を照明する照明光によっても固体撮像素子の温度が上昇することがある。この温度上昇は、固体撮像素子において発生する暗電流の増加を引き起こし、観察される画像の画質を劣化させる原因となる。さらに温度が上昇すると固体撮像素子が破壊することがある。
例えば、特許文献1に記載の内視鏡装置のように、温度検出手段を挿入部の先端部に配置し、検出した温度が所定の温度以上である場合、そのことを告知する内視鏡装置が提案されている。しかしながら、先端部の径が細い(例えば、直径2〜4mm)内視鏡装置に温度検出手段を配置することは困難である。そこで、例えば、特許文献2、3に記載されているように、固体撮像装置の暗電流が温度によって変化することを利用して、別途温度センサを設けずに温度を推定することが提案されている。
日本国特開2007−151594号公報 日本国特開2010−11161号公報 日本国特開2009−32950号公報
特許文献2の撮像装置は、所定のスレッシュルドレベル(閾値)に基づいて抽出した特異出力画素信号の成分を、検出した暗電流から除去することで特異出力画素の影響を回避している。しかしながら、特異出力画素の配置や特性は、個々の撮像素子に応じて異なる。また、撮像素子によっては、画素間で信号レベルのばらつき(シェーディング)が顕著に現れるものがある。そのため、特異出力画素やシェーディングの個体差により温度に誤差が生じることがある。
また、特許文献3に記載の固体撮像素子では、信頼性が高い温度情報を得るために暗電流をその他の画素よりも多く発生させる特性を有する画素を温度検出用画素として用いる。しかしながら、この固体撮像素子は、温度検出用画素として専用の画素を備えることを要する。
本発明は、このような課題を考慮してなされたものであり、撮像素子に制約されずに撮像素子の温度を高い精度で推定することができる撮像装置、内視鏡装置および温度測定方法を提供することを目的とする。
本発明の第1の態様に係る撮像装置は、集光した光を光電変換する撮像素子と、前記撮像素子の所定の画素領域に属する画素からの出力信号を選択する選択部と、前記出力信号の所定セット間の差分に基づいて暗電流値を算出する暗電流算出部と、前記暗電流値から前記撮像素子の温度を算出する温度算出部と、を備える。
本発明の第2の態様によれば、上記第1の態様において、前記暗電流算出部は、前記出力信号の所定セット間の差分として、前記出力信号のフレーム間の差分に基づいて暗電流値を算出してもよい。
本発明の第3の態様によれば、上記第2の態様において、前記暗電流算出部は、前記フレーム間の差分として、一のフレームの前記出力信号と、複数の他のフレームの前記出力信号の平均値との差分を用いてもよい。
本発明の第4の態様によれば、上記第1の態様において、前記暗電流算出部は、前記出力信号の所定セット間の差分として、前記所定の画素領域に含まれる部分領域に属する画素からの出力信号の部分領域間の差分に基づいて暗電流値を算出してもよい。
本発明の第5の態様によれば、上記第1の態様から第4の態様のいずれかにおいて、前記暗電流算出部は、前記差分に係る値の画素間の幅から前記差分に含まれるノイズ成分のレベルを算出し、前記レベルに基づいて前記暗電流値を算出してもよい。
本発明の第6の態様によれば、上記第1の態様から第5の態様のいずれかにおいて、前記温度算出部は、暗電流値と温度との関係を示す暗電流温度テーブルに基づいて、前記暗電流算出部が検出した暗電流値に対応する温度を、前記撮像素子の温度として算出してもよい。
本発明の第7の態様によれば、上記第1の態様から第6の態様のいずれかにおいて、前記撮像素子への露光時間を撮像時における露光時間よりも長くする素子制御部、をさらに備えてもよい。
本発明の第8の態様によれば、上記第1の態様から第7の態様のいずれかにおいて、前記選択部は、前記所定の画素領域として前記集光した光が遮光される領域であるオプティカルブラック領域に属する画素からの出力信号を選択してもよい。
本発明の第9の態様によれば、上記第1の態様から第9の態様のいずれかにおいて、前記温度算出部が複数の露光時間のそれぞれについて算出した温度に基づいて温度測定状態が正常か否かを検査する検査部、をさらに備えてもよい。
本発明の第10の態様は、上記第1の態様から第9の態様のいずれかの撮像装置を備える内視鏡装置であってもよい。
本発明の第11の態様は、集光した光を光電変換する撮像素子の所定の画素領域に属する画素からの出力信号を選択する選択過程と、前記出力信号の所定セット間の差分に基づいて暗電流値を算出する暗電流算出過程と、前記暗電流値から前記撮像素子の温度を算出する温度算出過程と、を有する温度測定方法である。
本発明の各態様の撮像装置、内視鏡装置および温度測定方法によれば、撮像素子の暗電流検出領域に属する画素からの出力信号に含まれるランダムなノイズ成分が出力信号の差分において相殺されないのに対し、所定セット間で共通の信号成分が相殺される。温度変化に依存するノイズレベルに基づいて暗電流値を精度よく算出することができるので、撮像素子に制約されずに撮像素子の温度を高い精度で測定することができる。
第1実施形態に係る内視鏡装置の構成例を示す概略ブロック図である。 第1実施形態に係る制御部の構成を示す概略ブロック図である。 第1実施形態に係る撮像部からの出力信号の例を示す概念図である。 暗電流蓄積電荷量の一例を示す図である。 フォトダイオードで生じる暗電流の温度依存性の一例を示す図である。 信号クランプを説明するための概念図である。 信号値の画素間分布の一例を示す図である。 第1実施形態に係る撮像部の読み出し回路の構成を示す概略図である。 第1実施形態に係る温度測定処理を示すフローチャートである。 第1実施形態に係る内視鏡装置の他の構成例を示す概略ブロック図である。 第2実施形態に係る制御部の構成を示す概略ブロック図である。 第2実施形態に係る温度検査処理を示すフローチャートである。 第3実施形態に係る部分領域の例を示す図である。 第3実施形態に係る部分領域の他の例を示す図である。 第4実施形態に係る暗電流算出部がフレーム毎に定める最大値と最小値の例を示す概念図である。 第4実施形態に係る値域幅と標準偏差との関係を示す図である。 第4実施形態に係る値域幅と累積頻度との関係を示す図である。 第4実施形態に係る画素数と係数kとの関係を示す図である。
以下、図面を参照して本発明の実施形態に係る撮像装置及び内視鏡装置について説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係る内視鏡装置10の構成例を示す概略ブロック図である。
内視鏡装置10は、撮像装置10xと、挿入部14と、光源部15と、ライトガイド16とを含んで構成される。撮像装置10xは、制御部11と、撮像部12と、表示部13とを含んで構成される。
制御部11は、内視鏡装置10の各種の動作を制御する。例えば、制御部11は、光源部15から光を発光させるか否かを制御するための発光制御信号を生成し、生成した発光制御信号を光源部15に出力する。また、制御部11は、撮像部12が備える画素への露光と、各画素からの出力信号を読み出すための撮像制御信号を生成し、生成した撮像制御信号を撮像部12に出力する。そして、制御部11は、撮像部12の画素領域から暗電流値を検出するための所定領域内に配置された画素からの出力信号を選択し、選択した出力信号の所定セット間の差分に基づいて暗電流値を検出する。制御部11は、検出した暗電流値から撮像素子の温度を算出し、算出した温度を示す温度表示信号を表示情報として表示部13に出力する。
制御部11は、撮像部12の画素領域内の各画素の出力信号に基づく画像信号を生成し、生成した画像信号を表示情報として表示部13に出力する。制御部11は、所定の制御プログラムで指示される処理を実行することにより、その機能を実現してもよい。制御部11は、操作入力部(図示せず)と表示部13と協働してユーザインタフェースを構成してもよい。制御部11の構成については、後述する。
撮像部12は、被撮像体からの入射光を集光する光学系(図示せず)と、集光された光を電気信号である出力信号に光電変換する画素を複数個備える撮像素子を備える。撮像素子は、例えば、画素毎にフォトダイオードを含んで構成されるCCDイメージセンサ、CMOSイメージセンサなどである。複数個の画素は、撮像素子の撮像面上において所定の空間間隔で2次元配置されている。撮像面は、光学系の主軸に直交し、光学系によって集光される入射光が照射される。被撮像体の像が撮像面に結像する。撮像面において画素が配置されている領域が画素領域である。画素領域には、集光された入射光が照射される領域である撮像領域と、集光された入射光が照射されずに遮光される遮光領域であるオプティカルブラック(OB:Optical Black)領域とが含まれる。撮像部12は、制御部11から入力された制御信号に基づき各画素からの出力信号を読み出し、読み出した出力信号を制御部11に出力する。
表示部13は、制御部11から入力された表示情報として各種の画像、文字、記号などを表示する。表示部13は、例えば、制御部11からの画像信号が示す画像、温度表示信号が示す温度などを表示する。表示部13は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、EL(Electro−luminescence)ディスプレイなどの表示デバイスを含んで構成される。なお、表示部13は、内視鏡装置10の本体と着脱自在に固定されてもよい。
挿入部14は、他の方向よりも1つの方向の長さが長い細長の形状を有する管材を含んで構成され、長手方向の一端である先端部に撮像部12を備え、他端が内視鏡装置10の本体に接続されている。先端部は、被検体に最初に挿入、又は接近する部位である。挿入部14には、その長手方向に導線とライトガイド16が貫通している。ライトガイド16の両端のうち、挿入部14の一端、他端に配置されている方を、それぞれライトガイド16の一端、他端と呼ぶ。導線は、制御部11から撮像部12への撮像制御信号の伝送、撮像部12から制御部11への映像信号の伝送に用いられる。
光源部15は、制御部11からの制御信号に基づいて発光を開始(オン)又は発光を停止(オフ)する。光源部15が発光した光は照明光としてライトガイド16の他端に入射される。光源部15は、例えば、発光ダイオード(LED:Light Emitting Diode)などの発光素子を含んで構成される。
ライトガイド16は、その他端から入射された照明光を一端に透過する。ライトガイド16は、光を透過する細長の部材、例えば、光ファイバーを含んで構成される。ライトガイド16の一端から透過した照明光が放射され、被検体を照明する。挿入部14の他端に備えられた撮像部12の光学系には、被検体からの反射光が入射光として入射される。
次に、制御部11の構成について説明する。図2は、本実施形態に係る制御部11の構成を示す概略ブロック図である。制御部11は、素子制御部111、画像処理部112、選択部113、暗電流算出部114、温度算出部115、及び重畳部116を含んで構成される。
素子制御部111は、操作入力部(図示せず)からの操作信号に応じて光源部15を発光させるか否かを示す発光制御信号を生成し、生成した発光制御信号を光源部15に出力する。例えば、操作入力部から発光を指示する操作信号が入力されるとき、素子制御部111は、光源部15を発光させる電力を有する電気信号を電源(図示せず)から取得し、取得した電気信号を発光制御信号として光源部15に出力する。また、操作入力部から発光の停止を指示する操作信号が入力されるとき、素子制御部111は、発光制御信号の出力を停止する。
素子制御部111は、撮像部12による撮像を制御するための撮像制御信号を生成する。撮像制御信号は、撮像部12が備える画素への露光時間と、各画素から出力信号を読み出すタイミングを制御するための制御信号である。撮像制御信号は、例えば、撮像部12の画素領域に配列された画素について、所定のフレーム周期で出力信号の出力を画素毎にその配列順(例えば、ラスタスキャン順)に指示する駆動パルスである。各画素は、例えば、シリコンからなるP型半導体とN型半導体が接するPN接合を有するフォトダイオードを含んで構成される。各画素には時間の経過に応じて電荷が蓄積される。各画素は、素子制御部111からの撮像制御信号の入力に応じて、蓄積された電荷を解放する。当該画素からは、電荷の解放によって生じた電圧を信号値として示す出力信号が出力される。従って、露光時間は、電子シャッター機能を用いない場合には、フレーム周期(即ち、フレームレートの逆数)に相当する。また、各画素における電荷の蓄積は、主に入射光について光電変換によって生じるが、入射光が照射されないOB部内に配置された画素についても熱エネルギーにより電荷が蓄積される。熱雑音によって生じるノイズ成分は、暗電流として観測され、出力信号へのノイズとして付加される。
画像処理部112は、撮像部12からの画素毎の出力信号が示す信号値を各フレームで集約し、画素毎の信号値(画素値)を示す画像信号を生成する。画像処理部112は、生成した画像信号について所定の画像処理を行う。所定の画像処理として、例えば、γ補正、YC変換、リサイズ、などがある。画像処理部112は、所定の画像処理を行って得られた画像信号を重畳部116に出力する。
選択部113には、撮像部12から画素毎の出力信号が入力される。選択部113は、撮像部12の画素領域から暗電流値を検出するための所定領域(暗電流検出領域)として、OB部内に配置された画素毎の出力信号を選択し、選択した出力信号を暗電流算出部114に出力する。
暗電流算出部114は、選択部113から入力された画素毎の出力信号が示す信号値について所定セット間における差分値として、その時点におけるフレーム(現フレーム)の信号値と直前のフレーム(前フレーム)の信号値との差を算出する。暗電流算出部114は、算出した差分値の分布に基づいて現フレームにおける暗電流値を検出し、検出した暗電流値を温度算出部115に出力する。暗電流値を算出するための処理(暗電流算出処理)については、後述する。
温度算出部115は、暗電流算出部114から入力された暗電流値から撮像素子の温度を算出する。一般に、暗電流値が大きいほど温度が高いことを示す。温度算出部115は、所定の数式で表される演算を行って暗電流値から温度を算出してもよいし、予め温度算出部115に設定された暗電流温度テーブルを用いて、暗電流値に対応する温度を定めてもよい。暗電流温度テーブルは、暗電流値と温度と対応付けて形成される組を複数個含むデータである。温度算出部115は、算出した温度を表示するための温度表示信号を生成し、生成した温度表示信号を重畳部116に出力する。
重畳部116は、画像処理部112から入力された画像信号と温度算出部115から入力された温度表示信号とを重畳して、表示情報を生成する。重畳部116は、画像処理部112からの画像信号が示す画像のうち、所定の領域に含まれる画素の信号値を、温度表示信号が示す当該領域の領域に含まれる画素の信号値に置き換えることで、温度表示信号を画像信号よりも優先して採用する。重畳部116は、生成した表示情報を表示部13に出力する。
(OB領域の例)
次に、OB領域の例について説明する。図3は、本実施形態に係る撮像部12からの出力信号の例を示す概念図である。図3は、所定のフレームレートα[fps]でフレーム毎に出力信号が順次取得されることを示す。図3において、フレーム(0)からフレーム(n)のそれぞれの出力信号が長方形で表されている。また、各フレームの出力信号のうち、左上の塗りつぶされた領域はOB領域内に配置された画素からの出力信号を示し、それ以外の領域が撮像領域に配置された画素からの出力信号を示す。OB領域では、撮像部12の構成により光学系で集光される入射光が常に遮蔽される。本実施形態では、OB領域内に配置された画素からの出力信号から得られる暗電流値が温度測定に用いられる。これに対し、入射光が照射される撮像領域内に配置された画素からの出力信号は、画像処理部112において画像信号の生成に用いられる。
(暗電流蓄積電荷量の温度依存性)
温度の測定原理を説明する前に、各画素を構成するフォトダイオードにおける暗電流蓄積電荷量について説明する。図4は、暗電流蓄積電荷量の一例を示す図である。縦軸、横軸は、それぞれ暗電流蓄積電荷量QDC、蓄積時間τを示す。暗電流蓄積電荷量QDCは、蓄積時間τにほぼ比例する。暗電流蓄積電荷量QDCと蓄積時間τは、式(1)に示す関係を有する。
DC=k・τ … (1)
式(1)において、kは、比例係数を示す。比例係数kは、温度に依存する。一般に、温度が高いほど比例係数kが大きい。このことは、温度が高いほど暗電流が増加することを意味する。図4に示す例では、温度T、T、Tの順に、暗電流が増加する。なお、蓄積時間τは、電荷の蓄積開始時点からの経過時間である。つまり、蓄積時間τは、露光時間もしくはフレーム周期(フレームレートの逆数)に相当する。
(暗電流の温度依存性)
次に、フォトダイオードで生じる暗電流について説明する。図5は、フォトダイオードで生じる暗電流の温度依存性の一例を示す図である。縦軸、横軸は、それぞれ暗電流値I、温度Tを示す。暗電流値Iは、温度Tの上昇に対して指数関数的に増加する。暗電流値Iと温度Tは、式(2)に示す関係を有する。
=s・er・T … (2)
式(2)において、s、rは、それぞれフォトダイオードの不純物濃度や構造など撮像素子に依存する係数である。例えば、フォトダイオードの素材がシリコンである場合においては、6〜8°Cの温度上昇に対して、暗電流値Iは、ほぼ2倍になる。式(2)は、式(3)に示すように変形される。
T=(1/r)・ln(I/s) … (3)
従って、式(3)は、取得した暗電流値Iから温度Tが算出できることを示す。そこで、温度算出部115には、式(3)、又は暗電流値Iと温度Tとの関係を表す暗電流温度テーブルを設定しておく。温度算出部115は、暗電流温度テーブルを参照して、暗電流算出部114から入力された暗電流値Iに対応する温度Tを求める。これにより、温度算出部115は、複雑な演算を行わなくとも簡素な演算により短時間で温度を求めることができる。
(信号クランプ)
次に、信号クランプについて説明する。図6は、信号クランプを説明するための概念図である。信号クランプとは、出力信号レベルから電荷の蓄積によって生ずる信号レベルの上昇による成分(OB信号)を除去して光の照射によって得られる成分(撮像信号;光信号とも呼ばれる)を得るための処理である。図6の最左列、最右列には、それぞれ蓄積時間が短い場合(短時間蓄積)、より長い場合(長時間蓄積)に係る出力信号レベルを示す。上述したように、蓄積時間が長いほど蓄積される電荷が多くなるため、蓄積時間が長い場合におけるOB信号のレベルの方が、蓄積時間が短い場合におけるOB信号のレベルよりも高くなる。
そこで、画像処理部112は、撮像領域内の各画素の出力信号について信号クランプを行って撮像信号を生成する。画素毎に生成された撮像信号のレべルが、画素値に相当する。画像処理部112は、信号クランプの際に、OB領域内の各画素の出力信号レベルの平均値をOB信号のレベルとして算出し、撮像領域内の各画素の出力信号レベルからOB信号のレベルを差し引き、所定の基準信号レベルVrefを加算する。基準信号レベルVrefは、例えば、画像信号の黒レベルに相当する信号値(画素値)である。これにより、電荷の蓄積によるOB信号のレベルの上昇によって生じる信号値の誤差が除去される。なお、信号クランプは、DC(Direct Current)固定又は単にクランプとも呼ばれる。
(暗電流算出処理)
次に、本実施形態に係る暗電流算出処理について説明する。暗電流算出部114は、OB領域内の各画素について現フレームxにおける信号値VOUTから前フレームyにおける信号値VOUTの差分である演算値VCALを算出する。暗電流算出部114は、演算値VCALとして、当該差分に所定のオフセット値をさらに加算して得られた値を求めてもよい。オフセット値は、OB信号のレベルよりも十分に大きい値(例えば、1V)であればよい。
暗電流算出部114は、OB領域内の各画素について算出した演算値VCALを集約し、その画素間分布を定める。暗電流算出部114は、定めた演算値VCALの画素間分布から演算値VCALのノイズレベルNCALを定める。そして、暗電流算出部114は、定めたノイズレベルNCALと読出しノイズレベルNROについて式(4)を用いて暗電流値Iを算出する。読出しノイズレベルNROは、画素から読み出される出力信号に混入される読出しノイズのレベルである。各種のノイズレベルを定めるためのノイズレベル決定処理については後述する。
=α・(NCAL /2−NRO ) … (4)
式(4)は、暗電流値IがノイズレベルNCALの二乗の半分の値から読出しノイズレベルNROの二乗を差し引いて得られるフレーム当たりの暗電流蓄積電荷量QDCに、フレームレートαを乗じて算出されることを示す。
式(4)は、式(5)、(6)に示す関係に基づいて導出される。
CAL=√2・NOUT… (5)
OUT=√(NDC +NRO ) … (6)
式(5)においてNOUTは、各フレームの信号値VOUTのノイズレベルを示す。式(5)は、各画素にランダムに生じ、フレーム毎の平均値がフレーム間でほぼ等しい信号値VOUTのノイズが加算されて、演算値VCALのノイズとして得られることを示す。演算値VCALの算出過程においてフレーム間で信号値の減算が行われても、ノイズ成分は相殺されない。演算値VCALのノイズレベルNCALは、各フレームのノイズレベルNOUTの√2倍となる。式(6)において、NDCは、各画素を構成するフォトダイオードにおける暗電流ショットノイズのノイズレベルを示す。式(6)は、各画素にランダムに生じる暗電流ショットノイズと、読出しノイズとが加算されて、信号値VOUTのノイズとして得られることによる。なお、暗電流ショットノイズのノイズレベルの二乗値NDC は、暗電流蓄積電荷量QDCに相当する。
従って、フレーム間の信号値VOUTの差分から得られる演算値VCALにおいて、そのノイズ成分が相殺されずに有意なノイズレベルNCALが得られる。このノイズレベルNCALが暗電流値Iの算出に用いられる。他方、フレーム間で信号値VOUTの差分を算出することにより、出力信号に含まれる固定パターンノイズ(FPN:Fixed Pattern Noise)成分などの、フレーム間で共通のノイズ成分が相殺される。FPN成分には、例えば、白キズ、黒キズ、線キズ、縦横シェーディングなどがある。そのため、暗電流値Iを算出する際、フレーム間で共通のノイズ成分が低減又は除去されるので、算出される温度の精度が向上する。
(ノイズレベル決定処理)
次に、ノイズレベル決定処理について説明する。暗電流算出部114は、ノイズレベルNCALを定める際、信号値として演算値VCALの画素間分布を求める。信号値の画素間分布は、図7に示すように信号値(もしくは、その区間)毎の頻度(つまり、画素数)で表される。そして、暗電流算出部114は、信号値の画素間における標準偏差σをノイズレベルNCALとして算出する。標準偏差σは、信号値の画素間分布の大きさを定量的に表す一つの指標である。なお、オフセット値は、画素によらず一定の値である。そのため、オフセット値を加算して得られた演算値VCALのノイズレベルNCALは、オフセット値を加算せずに得られた演算値VCAL(フレーム間の差分値)のノイズレベルNCALと等しい。しかし、オフセット値を加算せずに得られた演算値VCALの平均値の絶対値がノイズレベルNCALよりも小さくなるために、有意な演算値VCALの画素間分布を観測できないことがある。そこで、暗電流算出部114は、標準偏差σよりも十分大きい値(例えば、3σ以上)を加算して得られた演算値VCALの画素間分布を求める。暗電流算出部114は、求めた画素間分布に基づいてノイズレベルNCALを高い精度で定めることができる。
次に、暗電流算出部114において読出しノイズレベルNROを定める処理について説明する。撮像部12は、画素毎に出力信号を読み出すための読み出し回路を備える。読み出し回路は、図8に示すように、各画素についてフォトダイオード121、画素アンプ122及び列ごとに配置される列アンプ123を備える。フォトダイオード121は、光電変換により電気信号を発生させる受光素子であり、入射光が入射されない場合においても熱エネルギーによって暗電流として電気信号を発生させ、暗電流により発生した電荷を蓄積する。画素アンプ122は、フォトダイオード121からの出力信号を増幅して、列アンプ123に出力する。画素毎の出力信号は、端子125を介して選択部113に出力される。読出しノイズは、主に画素アンプ122において画素毎の出力信号に付加されるが、信号値VOUTのノイズから抽出することは困難である。
そこで、暗電流算出部114は、端子125からの増幅信号の信号値の画素間分布を求め、求めた信号値の標準偏差(図7参照)を読出しノイズのノイズレベルNROとして算出する。増幅信号は、列アンプ123が画素アンプ122からの出力信号をさらに増幅して得られる信号である。列アンプ123は、増幅率可変機能付き増幅回路を含んで構成され、十分に大きい増幅率(例えば、仕様上の最大増幅率)を設定しておく。このようにすると、列アンプ123で増幅される読出しノイズに対して、列アンプ123以降の区間で付加されるノイズは十分に小さく無視できる状態となる。そのため、読み出しノイズと、列アンプ123からの出力信号に付加されるノイズとが、そのレベルにより判別可能となる。従って、暗電流算出部114は、図7を用いて説明した手法により読み出しノイズのノイズレベルNROを端子125からの増幅信号から定めることができる。
なお、列アンプ123から出力される増幅信号には、列アンプ123自体が生じるノイズが付加される可能性がある。しかしながら、各画素においてCMOS型撮像素子が用いられる場合には、読み出しノイズとして画素アンプ122からのノイズが支配的であり、列アンプ123からのノイズのノイズレベルは比較的小さい。
なお、暗電流算出部114は、各フレームについて演算値VCALのノイズレベルNCALを算出する。これに対し、暗電流算出部114は、読み出しノイズのノイズレベルNROを、必ずしも各フレームについて算出しなくてもよい。暗電流算出部114は、予め画像の撮影前に増幅信号に基づいて読み出しノイズのノイズレベルNROを取得しておいてもよい。取得するタイミングは、例えば、テスト動作時、パラメータ設定時、などのいずれでもよい。取得するタイミングとして撮影時以外の時点を選択することで、列アンプ123の増幅率の調整など撮影時における処理を煩雑にすることが回避される。なお、通常の動作環境(例えば、温度10〜40°C)のもとでは、ノイズレベルNROの変動が無視できるほど少ないので、一度設定したノイズレベルNROが利用可能である。
(温度測定処理)
次に、本実施形態に係る温度測定処理について説明する。
図9は、本実施形態に係る温度測定処理を示すフローチャートである。
(ステップS101)選択部113は、撮像部12から入力された画素毎の出力信号から、OB部内に配置された画素毎の出力信号を選択する。暗電流算出部114は、選択した出力信号についてフレーム間の差分値VCALを画素毎に算出し、算出した差分値の分布に基づいてノイズレベルNCALを算出する。その後、ステップS102に進む。
(ステップS102)暗電流算出部114は、算出したノイズレベルNCALとノイズレベルNROに基づいて暗電流値Iを算出する。その後、ステップS103に進む。
(ステップS103)温度算出部115は、算出した暗電流値Iから撮像素子の温度を算出する。温度算出部115は、算出した温度を表す温度表示信号を、重畳部116を介して表示部13に出力することにより、当該温度を表示させる。その後、ステップS104に進む。
(ステップS104)制御部11は、温度算出部115が算出した温度が、所定の動作保証温度(例えば、10〜40C°)の範囲内であるか否かを判定する。動作保証温度の範囲内であると判定されたとき(ステップS104 YES)、ステップS101の処理に戻る。動作保証温度の範囲外であると判定されたとき(ステップS104 NO)、ステップS105に進む。
(ステップS105)制御部11は、撮像素子の温度が動作保証温度の範囲外であることを示すアラームを表示部13等に報知させる。制御部11は、例えば、所定のアラーム表示を表示部13に表示させる。制御部11は、所定のアラーム音を所定時間(例えば、1分間)拡声部(図示せず)から再生させてもよい。その後、図9に示す処理を終了する。よって、ユーザは、撮像素子の温度が正常に動作することができる動作保証温度外になったことを知得することができる。
(複数フレーム間における差分値の他の算出例)
上述の暗電流算出処理では、暗電流算出部114が、各画素について現フレームxにおける信号値VOUTから前フレームyにおける信号値VOUTの差分である演算値VCALを算出する場合を例にしたが、これには限られない。暗電流算出部114は、式(7)に示すように、各画素について現フレームnにおける信号値VOUT(n)から複数の過去のフレームi間の信号値VOUT(i)の平均値の差分を演算値VCALとして算出してもよい。なお、演算値VCALには、さらに所定のオフセット値VOSが加算されてもよい。
CAL=VOUT(n)+VOS−(1/k)Σi=n−j n−1OUT(i) … (7)
式(7)において、jは、各フレームにおいて参照される過去のフレームの数を示す。jは、2以上の整数である。暗電流算出部114は、より多くのフレームの信号値を参照することにより、演算値VCALのノイズレベルNCALの精度を向上することができる。但し、制御部11は、現フレームnまでの、より長期間のjフレーム分の信号値を蓄積することを要する。なお、jフレーム間の平均値をとる場合、暗電流算出部114は、フレーム毎に異なる重み係数を用いた重み付き加算を行ってもよい。例えば、暗電流算出部114は、現フレームnに時間的に近い時刻のフレームほど大きい重み係数を用いる。これにより、現フレームに近い時刻のフレームの信号値ほど重視される。その後、暗電流算出部114は、例えば、式(4)を用いて、算出した演算値VCALから暗電流値Iを算出する。
(露光時間の制御)
素子制御部111には、操作入力部からの操作信号により温度測定が指示されることがある。その場合、素子制御部111は、撮像が指示される場合における露光時間よりも長い露光時間を、撮像部12を構成する撮像素子に設定してもよい。例えば、素子制御部111は、撮像に係る露光時間が1/30秒である場合、温度測定に係る露光時間を1/10秒と設定する。ここで、素子制御部111は、より長い露光時間に相当するフレーム周期で各画素から出力信号を読み出すタイミングを指示する撮像制御信号を生成し、生成した撮像制御信号を撮像部12に出力する。撮像部12からの出力信号に含まれるノイズ成分のノイズレベルが、各画素への電荷の蓄積量に比例して上昇するので、ノイズレベルに基づいて算出される暗電流値の精度が向上する。ひいては、精度が向上した暗電流値が温度の算出に用いられることで、算出される温度の精度が向上する。
(暗電流検出領域の他の例)
上述では、選択部113が暗電流検出領域としてOB領域に配置された画素毎の出力信号を選択する場合を例にしたが、これには限られない。素子制御部111が発光制御信号の出力を停止して光源部15を発光させない場合には、選択部113は、画素領域の全体を暗電流検出領域として、その全体又は一部に配置された画素毎の出力信号を選択してもよい。画素領域には入射光が照射されないため、各画素からの出力信号に光電変換による光信号の成分が含まれないためである。そのため、画素領域の全体又は任意の一部に配置された画素からの出力信号が温度測定に利用可能となる。
また、選択部113は、照度(板面照度)が所定の照度の閾値よりも低い画素領域を暗電流検出領域として、その領域に配置された画素毎の出力信号を選択してもよい。ここで、選択部113は、画像処理部112が信号クランプによってOB信号の成分を除去して得られる出力信号レベルが、所定の出力信号レベルの閾値よりも低い画素が分布している領域を暗電流検出領域として定めてもよい。これにより、OB領域内に配置された画素を用いずに、撮像領域内に配置された画素からの出力信号も温度測定に利用可能となる。一般には、OB領域の配置や大きさは、撮像部12の光学系ならびに画素領域、内視鏡装置10の構成要素間の位置関係に依存するため、位置合わせ等において精密な調整作業が要求される。例えば、撮像装置10xを別個の内視鏡装置に設置する場合において、かかる位置関係への依存性が低い撮像領域に配置された出力信号が温度測定に利用されることで、精密な調整作業を軽減又は不要とすることができる。
また、撮像部12は、光学系に入射される入射光の一部を遮る遮光部を備え、選択部113は、撮像領域に含まれる領域であって、遮光部により入射光が遮られる遮光領域を暗電流検出領域として定めてもよい。選択部113は、定めた暗電流検出領域に配置された各画素からの出力信号を選択する。この構成により、選択部113は、OB領域に配置された画素からの出力信号の選択を必要とせず、遮光部の設置といった比較的軽微な構成の変更により温度測定が可能になる。
(内視鏡装置の他の構成例)
上述した内視鏡装置10(図1)は、光源部15からの照明光を挿入部14の一端から放射するためのライトガイド16を備える場合を例にしたが、これには限られない。内視鏡装置10は、図10に示すように撮像装置10xと、挿入部14と、発光素子17を含んで構成されてもよい。図10に示す内視鏡装置10の構成は、図1に示す内視鏡装置10において、光源部15とライトガイド16が省略され、発光素子17を備えた構成に相当する。発光素子17は、光源部15が備える発光素子と同様の発光素子であってもよい。発光素子17は、制御部11からの発光制御信号に基づいて発光の開始又は停止が制御される。発光素子17は、挿入部14の一端に設けられ、制御部11からの発光制御信号を伝送するための導線が挿入部14に配置されている。かかる構成によっても、図1、2に示す構成と同様に撮像素子の温度を高い精度で測定可能となる。
以上に説明したように、撮像装置10xは、集光した光を光電変換する撮像素子と、撮像素子の画素領域から暗電流値を検出するための所定領域として暗電流検出領域に属する画素からの出力信号を選択する選択部113とを備える。また、撮像装置10xは、出力信号の所定セット間の差分に基づいて暗電流値を検出する暗電流算出部114と、暗電流値から撮像素子の温度を算出する温度算出部115を備える。
この構成により、撮像素子の暗電流検出領域に属する画素からの出力信号のランダムなノイズ成分が出力信号の差分において相殺されないのに対し、所定セット間で共通の信号成分が相殺される。温度変化に依存するノイズレベルに基づいて暗電流値を精度よく算出することができるので、撮像素子に制約されずに撮像素子の温度を高い精度で測定することができる。例えば、撮像装置10xでは汎用の撮像素子が適用可能であり、所定セット間で共通の信号成分として現れる撮像素子の個体差による影響が低減又は除去される。
また、暗電流算出部114は、出力信号の所定セット間の差分として、出力信号のフレーム間の差分に基づいて暗電流値を検出する、ことを特徴とする。
この構成により、出力信号の差分においてフレーム間で共通の信号成分が相殺される。温度変化に依存するノイズレベルに基づいて暗電流値を精度よく算出することができるので、撮像素子に制約されず撮像素子の温度を高い精度で測定することができる。
暗電流算出部114は、フレーム間の差分として、一のフレームの出力信号と、複数の他のフレームの出力信号の平均値との差分に基づいて暗電流値を算出することを特徴とする。
この構成により、一のフレームと、複数の他のフレームの平均値との間で共通の信号成分が相殺される。そのため、温度変化に依存するノイズレベルをより高い精度で定めることができるので、撮像素子の温度をより高い精度で測定することができる。
温度算出部115は、暗電流値と温度との関係を示す暗電流温度テーブルに基づいて、暗電流算出部114が算出した暗電流値に対応する温度を、撮像素子の温度として算出する、ことを特徴とする。
この構成により、温度算出部115は、複雑な演算を行わなくとも撮像素子の温度を測定することができる。
また、撮像装置10xは、撮像素子への露光時間を撮像時における露光時間よりも長くする素子制御部111をさらに備える。
この構成により、各画素への電荷の蓄積量の増加に応じて出力信号に含まれる熱雑音に基づくノイズ成分が増加するので、ノイズレベルに基づいて算出される暗電流値の精度が向上する。そのため、測定される温度の精度が向上する。
選択部113は、暗電流検出領域として集光した光が遮光される領域であるOB領域に属する画素からの出力信号を選択する、ことを特徴とする。
この構成により、温度測定に用いられるOB領域に属する各画素からの出力信号と、画像信号の取得に用いられる撮像領域に属する各画素からの出力信号とが並列に取得される。そのため、撮像と並行して撮像素子の温度を逐次に測定することができる。
また、撮像装置10xは、温度を表示する表示部13をさらに備える。
この構成により、撮像素子の温度がユーザに知得される。ユーザには、知得した温度に基づいて撮像装置10xの取り扱い、例えば、撮像を続行するか否かを判断する手がかりが与えられる。
<第2実施形態>
次に、本発明の第2実施形態について説明する。第1実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図11は、本実施形態に係る制御部11の構成を示す概略ブロック図である。
本実施形態に係る撮像装置10xにおいて、制御部11は、検査部117をさらに備える。
検査部117には、操作入力部からの操作信号により、温度測定状態の検査が指示されることがある。その場合、検査部117は、素子制御部111に、それぞれ異なる複数の露光時間を撮像部12の撮像素子に順次設定させる。検査部117は、それぞれの露光時間について温度算出部115が算出した温度の分布に基づいて、撮像装置10xにおける温度測定状態が正常か否かを判定する。検査部117は、その分布範囲が所定の分布範囲の閾値よりも小さい場合、温度測定状態が正常であると判定し、その分布範囲が所定の分布範囲の閾値以上である場合、温度測定状態が異常であると判定する。この判定は、制御部11が正常に動作しているとき、算出される温度が、露光時間によらず理想的には一定であることに基づく。
具体的には、検査部117は、2つの露光時間α、αを順次設定することを指示する露光時間設定信号を素子制御部111に出力する。素子制御部111は、検査部117から露光時間設定信号が入力されるとき、異なる時刻において、露光時間α、αのそれぞれに相当するフレーム周期に係る撮像制御信号を生成し、生成した撮像制御信号を撮像部12に出力する。温度算出部115は、上述した手法を用いて、各時刻において露光時間α、αでそれぞれ撮像部12から選択部113を介して読み出された出力信号に基づいて撮像素子の温度T、Tを算出する。そして、検査部117は、温度算出部115から、露光時間α、αでそれぞれ算出された温度T、Tを読み出す。そして、検査部117は、読み出した温度の差分の絶対値|T−T|が所定の閾値δT(例えば、0.1°C)よりも小さいとき、温度測定状態が正常であると判定する。検査部117は、温度の差分の絶対値|T−T|が閾値δT以上であるとき、温度測定状態が異常であると判定する。
温度測定状態が異常であると判定するとき、検査部117は、温度算出部115に温度の算出を停止させてもよい。その場合には、制御部11は、温度測定状態が異常であることを示す温度測定状態情報として、アラームを表示部13と拡声部(図示せず)の一方又は両方から報知させてもよい。よって、ユーザは、温度測定状態が異常であることを知得することができる。
(温度検査処理)
次に、温度算出部115が算出した温度が正常であるか否かを検査する温度検査処理について説明する。
図12は、本実施形態に係る温度検査処理を示すフローチャートである。
(ステップS201)検査部117は、露光時間α、αを順次設定することを指示する露光時間設定信号を素子制御部111に出力する。素子制御部111は、検査部117からの露光時間設定信号の入力に応じて、露光時間αを撮像部12の撮像素子に設定する。その後、ステップS202に進む。
(ステップS202)温度算出部115は、露光時間αで読み出された出力信号に基づいて撮像素子の温度Tを算出する。その後、ステップS203に進む。
(ステップS203)素子制御部111は、検査部117からの露光時間設定信号の入力に応じて、露光時間αを撮像部12の撮像素子に設定する。その後、ステップS204に進む。
(ステップS204)温度算出部115は、露光時間αで読み出された出力信号に基づいて撮像素子の温度Tを算出する。その後、ステップS205に進む。
(ステップS205)検査部117は、温度算出部115から温度T、Tを読み出し、読み出した温度の温度差の絶対値|T−T|が所定の閾値δTよりも小さいか否かを判定する。小さいと判定されるとき(ステップS205 YES)、ステップS206に進む。小さくないと判定されるとき(ステップS205 NO)、ステップS207に進む。
(ステップS206)検査部117は、温度測定状態が正常であると判定する。その後、図12に示す処理を終了する。
(ステップS207)検査部117は、温度測定状態が異常であると判定する。その後、図12に示す処理を終了する。
以上に説明したように、本実施形態に係る撮像装置10xは、複数の露光時間のそれぞれについて算出された温度に基づいて温度測定状態が正常か否かを検査する検査部117をさらに備える。
この構成により判定された温度測定状態が報知されることによって、ユーザは、撮像装置10xの取り扱い、例えば、撮像又は温度測定を続行するか否かを判断する手がかりが与えられる。
<第3実施形態>
次に、本発明の第3実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る撮像装置10xの暗電流算出部114は、選択部113からの画素毎の出力信号が示す信号値の所定セット間における差分値として、各1つのフレームの複数の部分領域間の差分に基づいて暗電流値を検出する。部分領域は、それぞれOB領域に含まれる一部の領域である。複数の部分領域は、それぞれ異なる位置に配置され、互いに重なり合わない。また、部分領域の形状、それぞれに配置される画素の数は、複数の部分領域間で共通であり、1つの部分領域内の画素のそれぞれは、他の部分領域内の画素のそれぞれと対応付けられている。暗電流算出部114は、対応付けられた画素間で信号値の差分値を算出し、算出した差分値の画素間の分布に基づいてノイズレベルを算出する。
次に、本実施形態に係る部分領域の例について説明する。図13は、本実施形態に係る部分領域の例を示す図である。図13は、4つの部分領域G11、G12、G21、G22を黒塗りの四角形で表す。互いに大きさと形状が等しい部分領域G11、G12からなる部分領域の組P、部分領域G21、G22からなる部分領域の組Pが、それぞれOB領域の左下、右上の部分に配置される。また、組P、Pのそれぞれについて、2つの部分領域が互いに隣接して配置される。P、Pのそれぞれに含まれる2つの部分領域は、暗電流算出部114が部分領域間で対応する画素の信号値の差分値を算出する際の部分領域として用いられる。そのため、信号値に含まれるFPN成分のうち互いに近接した位置ほど相関性が高い成分、つまり、各画素の温度に依存する熱雑音によって蓄積した電荷量による成分が相殺される。また、部分領域G11、G12、G21、G22のそれぞれの形状は、一辺の長さがOB領域の幅に近似した正方形である。この形状ならびに配置をとることにより、互いに隣接する部分領域に含まれる対応する画素間で位置が近接するとともに、各部分領域に含まれる画素数を多くすることができる。そのため、暗電流算出部114は、ノイズレベルを高い精度で算出することができ、ひいては、温度算出部115は、温度を高い精度で算出することができる。なお、暗電流算出部114は、差分値を算出する際、部分領域の組P、Pの両方を用いてもよいが、少なくとも1つの組を用いればよい。
次に、本実施形態に係る部分領域の他の例について説明する。図14は、本実施形態に係る部分領域の他の例を示す図である。図14は、4つの部分領域G31、G32、G41、G42を黒塗りの四角形で表す。部分領域G31、G32からなる部分領域の組P、部分領域G41、G42からなる部分領域の組Pが、それぞれOB領域の左下、右上の部分に配置される。また、組P、Pのそれぞれについて、互いに大きさと形状が等しい2つの部分領域が互いに隣接して配置される。図14に示す例では、組Pに含まれる部分領域G31、G32の一辺の長さは、他辺の長さよりも十分に長く、それぞれOB領域の幅よりも左辺の長さに近似している。また、部分領域G31、G32は、それぞれの長手方向に平行に対向して隣接している。組Pに含まれる部分領域G41、G42の一辺の長さは、他辺の長さよりも十分に長く、それぞれOB領域の幅よりも上辺の長さに近似している。また、部分領域G41、G42は、それぞれの長手方向に平行に対向して隣接している。この形状ならびに配置をとることにより、互いに隣接する部分領域に含まれる対応する画素間で位置が近接するとともに、各部分領域に含まれる画素数を多くすることができる。そのため、暗電流算出部114は、ノイズレベルを高い精度で算出することができ、そのノイズレベルに基づいて暗電流値を高い精度で算出することができる。ひいては、温度算出部115は、その暗電流値を用いて温度を高い精度で算出することができる。なお、暗電流算出部114は、ノイズレベルを算出する際、部分領域の組P、Pの両方を用いてもよいが、少なくともいずれか1つの組を用いればよい。
以上に説明したように、本実施形態に係る撮像装置10xにおいて、暗電流算出部114は、出力信号の所定セット間の差分として、暗電流検出領域に含まれる部分領域に属する画素からの出力信号の部分領域間の差分に基づいて暗電流値を算出する。
この構成により、出力信号の差分において部分領域間で共通の信号成分が相殺される。温度変化に依存するノイズレベルに基づいて暗電流値を精度よく算出することができるので、撮像素子に制約されず撮像素子の温度を高い精度で測定することができる。
<第4実施形態>
次に、本発明の第4実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る撮像装置10xの暗電流算出部114は、選択部113からの画素毎の出力信号が示す信号値の所定セット間における差分値の幅から所定のノイズ成分の分布を仮定してノイズレベルを算出する。そして、暗電流算出部114は、算出したノイズレベルから暗電流値を算出する。
次に、本実施形態に係るノイズレベルの算出処理について説明する。
暗電流算出部114は、OB領域のうち所定の部分領域内に配置された画素毎の演算値VCALの最大値Maxと最小値Minをフレーム毎に定める。本実施形態では、図15に示すように、部分領域はOB領域において少なくとも1個設定されていればよい。暗電流算出部114は、現フレームまでの所定のフレーム数分の最大値Maxと最小値Minを記憶する。図15に示す例では、暗電流算出部114は、フレーム(0)からフレーム(n)までのn+1フレーム分の最大値Maxと最小値Minを記憶する。暗電流算出部114は、記憶した最大値Maxと最小値Minをそれぞれ平均して代表最大値Max’と代表最小値Min’を算出する。そして、暗電流算出部114は、算出した代表最大値Max’から代表最小値Min’の差分を部分領域における演算値VCALの幅ΔVCALとして算出する。
上述したように、演算値VCALの画素間分布はランダムプロセスによるノイズに起因するので、図16に示すように正規分布に近似される。暗電流算出部114は、幅ΔVCALを2・κで除算して演算値VCALの標準偏差σを演算値VCALのノイズレベルNCALとして算出する。係数κは、部分領域に配置された画素数に応じて定まる所定の正の実数である。言い換えれば、係数κは、幅ΔVCALを2・σで正規化して得られる偏差値である。演算値VCALの値域を表す代表最小値Min’、代表最大値Max’は、それぞれ演算値VCALの平均値Avgからκ・σを減算、加算した値である。そして、暗電流算出部114は、式(4)を用いて算出したノイズレベルNCALから暗電流値Iを算出する。
本実施形態では、係数κは、演算値VCALが代表最小値Min’よりも低くなる確率、又は演算値VCALが代表最大値Max’よりも低くなる確率がそれぞれ0.5となるように定められる。言い換えれば、係数κは、−∞から代表最小値Min’まで(又は+∞から代表最大値Max’まで)演算値VCALの頻度を積分して得られる累積頻度が0.5となる代表最小値Min’(又は代表最大値Max’)を与える値である。図17において、この累積頻度が塗りつぶされた領域の面積で表される。従って、部分領域内の画素数が多いほどκが大きく、画素数が少ないほどκが小さい。演算値VCALの頻度を正規分布と仮定すると、画素数と係数κとの関係は、図18に示すように与えられる。例えば、画素数が50、100、500、1000である場合、係数κは、それぞれ2.326、2.576、3.090、3.291である。
なお、暗電流算出部114は、画素毎の演算値VCALとして、複数のフレーム間における信号値VOUTの差分値を用いてもよいし、複数の部分領域間における信号値VOUTの差分値を用いてもよい。また、暗電流算出部114は、代表最小値Min’、代表最大値Max’として、複数の部分領域もしくは部分領域の組間における最小値Minの平均値、最大値Maxの平均値を算出してもよい。
以上に説明したように、暗電流算出部114は、出力信号の所定セット間の差分に基づく演算値の画素間の幅から演算値に含まれるノイズ成分のノイズレベルを算出する。そして、暗電流算出部114は、算出したノイズレベルに基づいて暗電流値を算出する。
この構成により、複雑な演算を行わずに簡素な演算によって演算に含まれるノイズ成分のノイズレベルを演算値の画素間の幅から算出することができる。そのため、温度測定における処理量を低減することができる。
<変形例>
以上、本発明の実施形態について説明したが、本発明の要旨を逸脱しない範囲内において種々の変形を加えることができる。
例えば、撮像装置10xは、内視鏡装置10において着脱可能に固定され、独立の撮像装置として構成されてもよい。また、撮像装置10xが光源部15を備え、内視鏡装置10から光源部15が省略されてもよい。
また、内視鏡装置10又は撮像装置10xにおいて、表示部13が省略されてもよい。
また、第3、4の実施形態に係る制御部11は、検査部117をさらに備えてもよい。
内視鏡装置10又は撮像装置10xの一部、例えば、制御部11をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、内視鏡装置10又は撮像装置10xに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における内視鏡装置10又は撮像装置10xの一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。内視鏡装置10又は撮像装置10xの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の主旨を逸脱しない範囲で、校正の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
上記各態様の撮像装置、内視鏡装置および温度測定方法によれば、撮像素子の暗電流検出領域に属する画素からの出力信号に含まれるランダムなノイズ成分が出力信号の差分において相殺されないのに対し、所定セット間で共通の信号成分が相殺される。温度変化に依存するノイズレベルに基づいて暗電流値を精度よく算出することができるので、撮像素子に制約されずに撮像素子の温度を高い精度で測定することができる。
10‥内視鏡装置、10x…撮像装置、11…制御部、111…素子制御部、112…画像処理部、113…選択部、114…暗電流算出部、115…温度算出部、116…重畳部、117…検査部、12…撮像部、121…フォトダイオード、122…画素アンプ、123…列アンプ、125…端子、13…表示部、14…挿入部、15…光源部、16…ライトガイド、17…発光素子

Claims (10)

  1. 集光した光を光電変換する撮像素子と、
    前記撮像素子の所定の画素領域に属する画素からの出力信号を選択する選択部と、
    前記出力信号の所定セット間の差分に基づいて暗電流値を算出する暗電流算出部と、
    前記暗電流値から前記撮像素子の温度を算出する温度算出部と、
    前記温度算出部が複数の露光時間のそれぞれについて算出した温度に基づいて温度測定状態が正常か否かを検査する検査部と、
    を備える撮像装置。
  2. 前記暗電流算出部は、
    前記出力信号の所定セット間の差分として、前記出力信号のフレーム間の差分に基づいて暗電流値を算出する、
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記暗電流算出部は、
    前記フレーム間の差分として、一のフレームの前記出力信号と、複数の他のフレームの前記出力信号の平均値との差分に基づいて暗電流値を算出する、
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記暗電流算出部は、
    前記出力信号の所定セット間の差分として、前記所定の画素領域に含まれる部分領域に属する画素からの出力信号の部分領域間の差分に基づいて暗電流値を算出する、
    ことを特徴とする請求項1に記載の撮像装置。
  5. 前記暗電流算出部は、
    前記差分に係る値の画素間の幅から前記差分に含まれるノイズ成分のレベルを算出し、前記レベルに基づいて前記暗電流値を算出する、
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の撮像装置。
  6. 前記温度算出部は、
    暗電流値と温度との関係を示す暗電流温度テーブルに基づいて、前記暗電流算出部が検出した暗電流値に対応する温度を、前記撮像素子の温度として算出する、
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の撮像装置。
  7. 前記撮像素子への露光時間を撮像時における露光時間よりも長くする素子制御部をさらに備える、
    請求項1から請求項6のいずれか一項に記載の撮像装置。
  8. 前記選択部は、
    前記所定の画素領域として前記集光した光が遮光される領域であるオプティカルブラック領域に属する画素からの出力信号を選択する、
    ことを特徴とする請求項1から請求項7のいずれか一項に記載の撮像装置。
  9. 請求項1から請求項8のいずれか一項に記載の撮像装置を備える内視鏡装置。
  10. 集光した光を光電変換する撮像素子の所定の画素領域に属する画素からの出力信号を選択する選択過程と、
    前記出力信号の所定セット間の差分に基づいて暗電流値を算出する暗電流算出過程と、
    前記暗電流値から前記撮像素子の温度を算出する温度算出過程と、
    前記温度算出過程において複数の露光時間のそれぞれについて算出した温度に基づいて温度測定状態が正常か否かを検査する検査過程と、
    を有する温度測定方法。
JP2017522763A 2015-06-08 2015-06-08 撮像装置、内視鏡装置および温度測定方法 Active JP6529585B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066465 WO2016199188A1 (ja) 2015-06-08 2015-06-08 撮像装置、内視鏡装置および温度測定方法

Publications (2)

Publication Number Publication Date
JPWO2016199188A1 JPWO2016199188A1 (ja) 2018-04-05
JP6529585B2 true JP6529585B2 (ja) 2019-06-12

Family

ID=57503628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017522763A Active JP6529585B2 (ja) 2015-06-08 2015-06-08 撮像装置、内視鏡装置および温度測定方法

Country Status (3)

Country Link
US (1) US10531078B2 (ja)
JP (1) JP6529585B2 (ja)
WO (1) WO2016199188A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419697B2 (en) * 2016-09-08 2019-09-17 Gvbb Holdings S.A.R.L. System and method for high dynamic range digital double sampling
WO2022122644A1 (en) * 2020-12-08 2022-06-16 Ams-Osram Ag Sensor arrangement, temperature sensor and method for sensing a temperature of a sensing arrangement
US11601733B2 (en) * 2021-04-14 2023-03-07 Allegro Microsystems, Llc Temperature sensing of a photodetector array
US12335643B2 (en) * 2023-03-16 2025-06-17 Cista System Corp. Apparatus and method of dark current calibration and correction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL131242A0 (en) * 1999-08-04 2001-01-28 Given Imaging Ltd A method for temperature sensing
US7140766B2 (en) * 1999-08-04 2006-11-28 Given Imaging Ltd. Device, system and method for temperature sensing in an in-vivo device
JP2007151594A (ja) 2005-11-30 2007-06-21 Olympus Corp 内視鏡システム
JP5065789B2 (ja) 2007-07-27 2012-11-07 パナソニック株式会社 固体撮像装置
JP2010011161A (ja) * 2008-06-27 2010-01-14 Kyocera Corp 撮像装置および撮像素子測温方法
JP2010062975A (ja) * 2008-09-05 2010-03-18 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2010114654A (ja) * 2008-11-06 2010-05-20 Fujifilm Corp 撮影装置及び固体撮像素子の電荷転送方法
JP2013085191A (ja) * 2011-10-12 2013-05-09 Hoya Corp 撮像装置および撮像素子駆動方法

Also Published As

Publication number Publication date
US10531078B2 (en) 2020-01-07
US20180098061A1 (en) 2018-04-05
JPWO2016199188A1 (ja) 2018-04-05
WO2016199188A1 (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
US11243314B2 (en) Radiation imaging apparatus and radiation imaging system
US10148898B2 (en) Image sensor driving apparatus, method and radiation imaging apparatus
JP5873223B2 (ja) 内視鏡システムおよび画素補正方法
US20140239186A1 (en) Radiation imaging apparatus, radiation inspection apparatus, method for correcting signal, and computer-readable storage medium
JP6529585B2 (ja) 撮像装置、内視鏡装置および温度測定方法
JP2016015721A (ja) 放射線撮像装置、放射線撮像システムおよびその制御方法
JP4285641B2 (ja) 撮像装置
JP5617898B2 (ja) 撮像装置
JP2003000537A (ja) 内視鏡用の撮像方法および装置
JPWO2013128764A1 (ja) 医療システム
JP6238604B2 (ja) 放射線撮像システム
JP7373338B2 (ja) 放射線撮像装置及び放射線撮像システム
JP6808458B2 (ja) 放射線撮像装置および放射線撮像システム
JP6790111B2 (ja) 内視鏡装置
CN115220081A (zh) 辐射成像设备和辐射成像系统
JP2012130578A (ja) 内視鏡装置
JP7438720B2 (ja) 放射線撮像装置及び放射線撮像システム
JP7190360B2 (ja) 放射線撮像装置および放射線撮像システム
JP2010141738A (ja) 撮像装置、温度測定方法、電子情報機器、制御プログラムおよび可読記録媒体
WO2017187535A1 (ja) 内視鏡装置および温度検査方法
JP6041856B2 (ja) 放射線撮影システム、制御方法、記録媒体及びプログラム
JP6169148B2 (ja) 放射線撮像装置、放射線撮像方法、記録媒体及びプログラム
KR101394627B1 (ko) Cmos x-선 영상의료기기의 영상 데이터 획득방법 및 이를 위한 장치
WO2015087610A1 (ja) 放射線撮像装置及び放射線撮像システム
WO2023189201A1 (ja) 放射線撮像装置、放射線撮影システム、および制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R151 Written notification of patent or utility model registration

Ref document number: 6529585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250