JP2013506498A - 医療処置中の撮像のためのシステムおよび方法 - Google Patents

Abstract

一実施形態では、装置は、医療デバイスの電磁エネルギー放出パルス周波数よりも大きいフレーム周波数で複数のフレームを生成するように構成される、撮像装置を含み得、複数のフレームのうちの各フレームは、第１の複数の行を含み得る。装置はまた、複数のフレームからの各フレーム内の第１の複数の行のうちの各行の開始時間を、その同じフレーム内の隣接行の開始時間からオフセットするように構成される、電子ローリングシャッタモジュールを含み得る。装置はさらに、複数のフレームの少なくとも一部分に基づいて複数の有効フレームを生成するように構成される、画像処理モジュールを含み得、複数の有効フレームは、複数のフレームのフレーム周波数よりも低いフレーム周波数を含み得る。

Description

本特許出願は、２００９年９月３０日出願の米国仮特許出願第６１／２４７，００８号に対して、米国特許法第１１９および１２０条の下に優先権の利益を主張し、この米国仮特許出願は、その全体が本明細書において参考として援用される。

本発明の実施形態は、概して、医療デバイスに関し、より具体的には、そのようなデバイスの撮像デバイスおよび方法に関する。

医療処置を監視するために撮像システムを使用することによって、医療施術者は、治療領域の目視検査を通して、処置の進行をより正確に決定し、制御することができる。非侵襲的手技では、例えば、撮像内視鏡は、医療処置が進行中である間に、医療施術者が治療領域を検査することを可能にする。例えば、砕石術中に、典型的には腎臓、膀胱、尿管、または胆嚢の中で形成する結石の治療のための非侵襲的手技が、集中高強度衝撃波（例えば、圧力波）および／または電磁放射（例えば、レーザ）のパルスを提供して、結石を破壊するために使用される。医療デバイス内で撮像内視鏡を使用することによって、医療施術者は、結石の場所を特定し、結石が位置する場所で有効的に治療を目標または標的にすることができる。また、医療施術者は、結石の破砕の進行を監視し、それに従って手技（例えば、強度、周波数）を調整することができる。

しかしながら、医療デバイスによって生成される強力パルスは、撮像内視鏡内の撮像センサの動作に影響を及ぼし得る。例えば、治療中に、十分な後方散乱エネルギー（例えば、電磁放射）が撮像センサに衝打すると、撮像センサ内のある回路のタイミングを乱し、ビデオ出力の質に影響を及ぼし得る。また、後方散乱エネルギーは、撮像センサ内の撮像要素（例えば、ピクセル）の多くを飽和させ得て、これもビデオ出力の質に影響を及ぼす。低減したビデオ出力の質は、効果的に結石の場所を特定する、および／または治療する医療施術者の能力を制限し得る。

したがって、医療処置で使用することができ、かつビデオ出力の質へのエネルギーパルスの効果を低減および／または相殺する、撮像システムの必要性が存在する。

本開示の１つの例示的局面は、装置を対象としている。装置は、医療デバイスの電磁エネルギー放出パルス周波数よりも大きいフレーム周波数で複数のフレームを生成するように構成される、撮像装置を含んでもよく、複数のフレームのうちの各フレームは、第１の複数の行を含んでもよい。装置はまた、複数のフレームからの各フレーム内の第１の複数の行のうちの各行の開始時間を、その同じフレーム内の隣接行の開始時間からオフセットするように構成される、電子シャッタモジュールを含んでもよい。装置はさらに、複数のフレームの少なくとも一部分に基づいて複数の有効フレームを生成するように構成される、画像処理モジュールを含んでもよく、複数の有効フレームは、複数のフレームのフレーム周波数よりも低いフレーム周波数を含んでもよい。

本開示の種々の実施形態は、以下の局面のうちの１つ以上を含んでもよい：電子シャッタモジュールは、医療デバイスからの同期パルスおよび医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、複数のフレームからの現在のフレームを終了してもよい；撮像装置は、第２の複数の行を含む、アドレス可能ピクセル配列を有する固体撮像装置であってもよく、第２の複数の行のうちの各行は、複数のフレームからの１つのフレーム内の第１の複数の行からの１つの行と関連付けられてもよい；複数のフレームからの１つのフレームの有効部分は、少なくとも１つの有効行であってもよく、複数の有効フレームからの１つの有効フレームに含まれてもよい；画像処理モジュールは、複数のフレームからの少なくとも２つの隣接フレームの有効部分を組み合わせて、複数の有効フレームから１つの有効フレームを生成するように構成される、時間フィルタを含んでもよい；撮像装置は、完全である電源オンリセットおよび医療デバイスからの同期信号のうちの少なくとも１つに応じて、複数のフレームから初期フレームを読み出すように構成されてもよい；複数のフレームからの第１のフレームは、複数のフレームからの第２のフレームの前にあってもよく、電子シャッタモジュールは、医療デバイスからの同期パルスおよび医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、第１のフレームが終了された後に、第２のフレームの開始にリセットするように構成されてもよく、複数の有効フレームからの１つの有効フレームは、少なくとも１つの有効行を含んでもよい；少なくとも１つの有効行は、所定の閾値数を上回る有効ピクセルの数を有してもよい；複数のフレームからの第１のフレームは、複数のフレームからの第２のフレームの前にあってもよく、画像処理モジュールは、第２のフレームの無効部分を、第１のフレームからの関連有効部分と置換するように構成されてもよい；画像処理モジュールは、複数のフレームからの少なくとも１つのフレームの有効部分を記憶するように構成される、バッファを含んでもよい；画像処理モジュールは、撮像装置から受信される暗参照ピクセル情報および画像処理モジュールに記憶されるキャリブレーション情報のうちの少なくとも１つに基づいて、複数の有効フレームからの１つの有効フレーム内のピクセルと関連付けられる照明値を調整するように構成されてもよい；画像処理モジュールは、撮像装置から受信される暗参照ピクセル情報に基づいて出力を生成するように構成される、時間低域フィルタモジュールを含んでもよく、画像処理モジュールは、時間低域フィルタからの出力に基づいて、複数の有効フレームからの１つの有効フレーム内のピクセルと関連付けられる照明値を調整するように構成されてもよい；画像処理モジュールは、撮像装置から受信される暗参照ピクセル情報に基づいて出力を生成するように構成される、高速定着フィルタモジュールを含んでもよく、高速定着フィルタモジュールは、医療デバイスからの同期パルスおよび医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて作動させられてもよく、画像処理モジュールは、高速定着フィルタからの出力に基づいて、複数の有効フレームからの１つの有効フレーム内のピクセルと関連付けられる照明値を調整するように構成されてもよい；および、装置は、内視鏡を含んでもよい。

本開示の別の例示的局面は、方法を対象とする。方法は、受容した電磁エネルギーに基づいて、撮像装置で複数のビデオフレームを画定するステップを含んでもよく、撮像装置は、画像処理モジュールに動作可能に連結されてもよい。方法はまた、受容した電磁エネルギーに応じて、複数のビデオフレームからの１つのビデオフレーム内の行が無効行であるかどうかを決定するステップを含んでもよく、複数のビデオフレームからの第１のビデオフレームは、複数のビデオフレームからの第２のビデオフレームの前にあってもよい。方法はさらに、第１の有効ビデオフレームを生成するように、第２のビデオフレーム内の少なくとも１つの無効行を、第１のビデオフレームからの関連有効行と置換するステップを含んでもよい。方法は、加えて、複数の有効ビデオフレームを生成するステップを含んでもよく、複数の有効ビデオフレームは、複数のビデオフレームのフレーム周波数よりも低いフレーム周波数を含んでもよい。

本開示の種々の実施形態は、以下の局面のうちの１つ以上を含んでもよい：第１の周波数で複数のビデオフレームを生成するステップであって、第１の周波数は、医療デバイスの電磁エネルギー放出パルス周波数よりも大きい；第２のビデオフレーム内の行は、第１のビデオフレーム内の関連行が無効であるときに無効であってもよく、第２のビデオフレーム内の行内の有効ピクセルの数は、所定の閾値数を下回ってもよい；および、無効行が複数のビデオフレームからの所定の数の連続ビデオフレーム内で置換された後に、無効行を有効行であると見なすステップ。

本開示のさらに別の例示的局面は、別の方法を対象とする。方法は、患者の身体に撮像装置を挿入するステップと、電磁エネルギーを患者の身体に伝達するように、医療デバイスを起動するステップと、医療デバイスの電磁エネルギー放出パルス周波数よりも大きいフレーム周波数で複数のフレームを生成するステップとを含んでもよく、撮像装置は、医療デバイスからの同期パルスおよび医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、複数のフレームからの少なくとも１つのフレームを終了するように構成されてもよい。方法はまた、複数のフレームからの各フレーム内の各行の開始時間を、その同じフレーム内の隣接行の開始時間からオフセットするステップを含んでもよい。

本開示の種々の実施形態は、以下の局面のうちの１つ以上を含んでもよい：医療デバイスから患者の身体に伝達される電磁エネルギーの電力レベルを調整するステップ；複数のフレームのフレーム周波数を調整するステップ；複数のフレームからの１つのフレームが第１の有効フレームであるかどうかを決定するステップ；および、第１の有効フレームを含む、複数の有効フレームを生成するステップであって、複数の有効フレームは、複数のフレームのフレーム周波数よりも低いフレーム周波数を有する、ステップ。

この点において、本開示の少なくとも１つの実施形態を詳細に説明する前に、本開示は、本願において、構造の詳細、および以下の説明に記載される、または図面に図示される構成要素の配設に限定されないことを理解されたい。本開示は、説明されているものに加えた実施形態が可能であり、かつ種々の方法で実践および実行されることが可能である。また、本明細書ならびに要約書で採用される表現および用語は、説明の目的のためであり、限定的として見なされるべきではないことを理解されたい。

添付の図面は、本開示のある例示的実施形態を図示し、説明とともに、本開示の原則を説明する働きをする。

そのようなものとして、当業者であれば、本開示のいくつかの目的を実行するための他の構造、方法、およびシステムを設定するための基礎として、本開示が基づく概念が容易に使用されてもよいことを理解するであろう。したがって、請求項は、本開示の精神および範囲から逸脱しない限りにおいて、そのような同等の構造を含むものとして見なされるべきであると認識することが重要である。

図１は、実施形態による、泌尿器系を伴う医療デバイスおよび撮像デバイスの説明図である。 図２は、実施形態による、撮像システムの略ブロック図である。 図３は、実施形態による、画像処理モジュールおよび撮像デバイスの略ブロック図である。 図４は、実施形態による、撮像デバイスの略ブロック図である。 図５Ａは、実施形態による、医療デバイスの動作に起因する、撮像デバイス上のフレームリセットを図示する、タイミング図である。 図５Ｂは、実施形態による、撮像デバイスが医療デバイスの動作の周波数の２倍で操作されるときの増加した数の有効行を図示する、タイミング図である。 図６Ａは、実施形態による、医療デバイスの動作に起因する、撮像デバイス上の飽和ピクセルを伴う行を図示する、タイミング図である。 図６Ｂは、実施形態による、撮像デバイスが医療デバイスの動作の周波数の２倍で操作されるときの増加した数の有効行を図示する、タイミング図である。 図７は、実施形態による、無効行を置換するように構成されるモジュールの略ブロック図である。 図８は、実施形態による、ピクセルオフセットの変化を補償するように構成されるモジュールの略ブロック図である。 図９は、実施形態による、無効行を置換するように、およびピクセルオフセットの変化を補償するように構成されるモジュールの略ブロック図である。 図１０は、別の実施形態による、ピクセルオフセットの変化を補償するように構成されるモジュールの略ブロック図である。 図１１は、実施形態による、無効行を置換するための方法のフローチャートである。 図１２は、実施形態による、医療デバイスに近接して撮像デバイスを形成する方法を図示するフローチャートである。

本明細書で説明されるデバイスおよび方法は、概して、患者の体内での撮像システム（例えば、撮像内視鏡）の使用に関する。例えば、デバイスおよび方法は、腎臓結石（すなわち、尿路結石）および胆嚢または肝臓の結石（すなわち、胆石）の治療のための非侵襲的手技である、砕石術等の医療処置で使用するために好適である。砕石術は、典型的に、結石を除去する、感染症を予防する、および／または患者での再発の可能性を低減するように行われる。砕石器は、組織の巻き添え損傷を最小限化する、集中高強度圧力（例えば、音響）または電磁放射（例えば、レーザ）パルスを使用することによって、結石を破壊するために砕石術中に使用される医療デバイスである。撮像システムは、結石の場所を特定するため、および結石が位置する場所をパルスが目標とするように、治療を適切に標的化するために使用することができる。治療は、典型的には、治療と関連付けられる間隔に患者を慣れさせるように、パルス間に長い間隙を伴って、低電力レベルで始まる。パルスの周波数および電力レベルは、より効果的に結石を破壊するように、適切なときに徐々に増加させることができる。結石は、剪断力および／または圧力および／または放射パルスによって生成される結石を包囲するキャビテーション気泡によって、より小さい断片に分裂する。より小さい部品は、（例えば、内視鏡を介して）除去することができ、あるいは、例えば、患者の泌尿器系に、または胆嚢管に通過させることができる。いくつかの実施形態では、パルス周波数が電磁放射の伝達（例えば、放出）に関係する場合に、パルス周波数をエネルギー周波数または電磁エネルギー放出周波数と呼ぶことができる。

例えば、超音波砕石術、体外衝撃波砕石術（ＥＳＷＬ）、電気水圧砕石術（ＥＨＬ）、および尿道鏡下結石除去を含む、異なる種類の砕石手技が利用可能である。これらの砕石手技のうちのいずれか１つの選択は、結石の種類、サイズ、数、および場所、および／または患者の状態に依存し得る。超音波砕石術中に、高周波数音波が、尿管に挿入された電子プローブを通して結石に送信される。結石の破片は、典型的には、患者によって通過させられるか、または外科的に除去される。ＥＳＷＬでは、圧力波が患者の身体の外側から送信され、患者の尿の中で通過させることができる小断片または顆粒に縮小されるまで、結石を断片化するように結石に高度に集中させられる。より大きい結石については、結石を適切なサイズの顆粒に縮小するために、複数のＥＳＷＬ治療が必要とされてもよい。ＥＨＬ中に、電源から衝撃波を生成するために、可撓性プローブが使用される。プローブは、可撓性内視鏡（例えば、尿道鏡）を通して結石の近くに位置付けられる。衝撃波は、内視鏡を使用して抽出することができる、または患者によって通過させることができる小破片に結石を縮小するために使用される。尿道鏡下結石除去は、典型的には、尿管中央部および下部に位置する結石を治療するために使用される。この手技では、尿道鏡が、尿管の中へと尿道および膀胱を通過させられる。より小さい結石が、物理的に除去される一方で、より大きい結石は、電磁放射（例えば、レーザ）を使用して断片化される。

本明細書で説明されるような撮像システムは、例えば、砕石術等の医療処置を行う、および／または監視するのに医療施術者を支援することができる、ビデオ出力を生成するために使用することができる。この点において、撮像システムからのビデオ出力は、医療施術者が、結石の場所を特定し、結石が位置する正確な場所で衝撃波またはレーザ放射を集中させ、および／または結石の断片化および／または除去を監視することを可能にすることができる。医療施術者は、ビデオ出力によって提供されるリアルタイムフィードバックに従って、砕石器パルスの標的場所、砕石器パルスの電力レベル、および／または砕石器パルスの周波数を調整することができる。撮像システムは、撮像デバイスまたはセンサと、画像処理モジュールとを含むことができる。撮像デバイスおよび画像処理モジュールを接続するために、電線用導管を使用することができる。電線用導管の一方の端を画像処理モジュールに連結することができる一方で、遠位端部分である、電線用導管の他方の端は、撮像デバイスに連結することができ、患者の体内に挿入することができる。

本明細書および添付の請求項で使用されるように、「１つ」および「該」といった単数形は、文脈が明確に指示しない限り、複数形の指示対象を含むことに留意されたい。したがって、例えば、「１つの波長」という用語は、単一の波長または波長の組み合わせを意味することを目的としている。さらに、「近位」および「遠位」という用語は、それぞれ、デバイスの先端（すなわち、遠位端）が患者の身体の内側に挿入された状態で、医療デバイスを患者に挿入する操作者（例えば、医療施術者、看護師、技術者等）に近い、または離れた方向を指す。したがって、例えば、患者の身体の内側に挿入された端が、内視鏡の遠位端となる一方で、患者の身体の外側の端は、内視鏡の近位端となる。

図１は、実施形態による、泌尿器系１０を伴う医療デバイスおよび撮像デバイスの説明図である。泌尿器系１０は、尿道２、膀胱４、２つの尿管６および８、ならびに２つの腎臓１１および１２を有する。腎臓１１および１２は、血液から尿素を除去し、尿素、水、および他の廃棄物から尿を産生する、豆形の器官である。尿は、それぞれ、尿管６および８を介して、腎臓１１および１２から膀胱４まで下方に移動する。尿管６および８のそれぞれは、典型的には、長さ約８〜１０インチの狭い導管である。尿道壁の筋肉は、定期的に緊張および弛緩して、腎臓１１および１２から膀胱４の中へ尿を押し進める。膀胱４は、身体が尿道２を通して尿を出す準備ができるまで尿を貯蔵する、バルーン形の中空器官である。

結石は、典型的には、腎臓の中で形成される。結石は、腎臓の中に残留することができ、または移動し、泌尿器系１０の中のどこかで発見することができる。例えば、結石は、腎臓１１から尿管６へと下方に移動することができ、それは、腎臓１１から膀胱４への尿の通過を低減または防止する尿管６における閉塞をもたらし得る。尿が腎臓１から膀胱４へ適正に流れない（例えば、静止また滞留する）、腎感染が発現し得る。この点において、尿管６から結石を除去し、患者へのさらなる損傷または疾病を予防するために、砕石術等の医療処置を使用することができる。

図１はまた、医療デバイス（例えば、砕石術デバイス）および尿管６に詰まった結石１２０の存在と関連付けられる撮像デバイスを図示する、尿管６の内部の拡大図Ａも示す。結石１２０を除去するための尿道鏡下結石除去手技中に、例えば、医療デバイス１２４および内視鏡１２５が、尿道２および膀胱４を通過させられ、尿管６内で結石１２０付近に位置付けられる。内視鏡１２５は、導管１３０と、撮像デバイスまたはセンサ１２８を有する導管遠位端部分１２６とを含む。医療デバイス１２４は、電磁放射（例えば、レーザ放射）の１つ以上のパルスおよび／または同期パルスを有する出力ＥＭ１を生成するように構成される、遠位端部分１２２を含む。出力ＥＭ１は、複数の波長（例えば、光波長）、複数の電力レベル、および／または複数のパルス周波数と関連付けることができる。いくつかの実施形態では、出力ＥＭ１と関連付けられる電磁放射のパルスおよび／または同期パルスは、例えば、光ファイバ（図示せず）を介して医療デバイス１２４の遠位端部分１２２に連結される、電磁放射放出源（例えば、レーザ源）（図示せず）によって生成することができる。いくつかの実施形態では、医療デバイス１２４の１つ以上の構成要素および／または機能を、内視鏡１２５（または内視鏡１２５を含む撮像システム）と関連付ける（例えば、それに連結する、それに含む）ことができ、または逆も同様である。例えば、電磁放射放出源（および／または電磁放射源の１つ以上の機能）を、内視鏡１２５に連結するか、またはそれに含むことができる。

内視鏡１２５は、医療施術者が結石１２０の場所を特定することができるように、医療施術者が、治療領域（すなわち、結石１２０の場所）付近で導管遠位端部分１２６の中の撮像デバイス１２８を位置付けること、および／または医療処置を監視することを可能にする。いくつかの実施形態では、導管遠位端部分１２６は、例えば、治療領域を照射し、医療施術者によって使用するためのより良好なビデオ出力を提供するように、発光ダイオード（ＬＥＤ）等の照明デバイス（図示せず）を有することができる。いったん治療領域の場所が特定されると、医療デバイス１２４を適切に治療領域で目標にすることができ、医療施術者は、結石１２０を効果的に断片化するように、出力ＥＭ１と関連付けられる電力レベルおよび／またはパルス周波数を調整することができる。いくつかの実施形態では、結石１２０の破片は、内視鏡（例えば、内視鏡１２５）を使用して抽出することができ、または患者によって通過させることができる。内視鏡１２５は、上記で説明される尿道鏡下結石除去手技に加えて、他の医療処置で使用することができる。

図２は、実施形態による、撮像システム２００の略ブロック図である。撮像システム２００は、制御モジュール２１０と、コネクタ２２２と、導管２３０と、好適なカテーテルまたは内視鏡２２５とを含む。撮像システム２００は、例えば、砕石術等の医療処置に関連して使用することができる。導管２３０は、撮像デバイスまたはセンサ２２８を有する、導管遠位端部分２２６を含む。制御モジュール２１０は、画像処理モジュール２２０を含む。

画像処理モジュール２２０は、撮像デバイス２２８によって生成され、導管２３０を通して制御モジュール２１０によって受信される１つ以上の出力（例えば、ビデオ出力）を生成するように構成される。画像処理モジュール２２０は、ソフトウェアベース（例えば、プロセッサで実行可能な一式の命令、ソフトウェアコード）および／またはハードウェアベース（例えば、回路システム、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））となり得る。

いくつかの実施形態では、制御モジュール２１０は、導管２３０を通して、電力および／または制御信号を導管遠位端部分２２６の中の１つ以上の構成要素に提供するように構成することができる。例えば、制御モジュール２１０は、撮像デバイス２２８を操作するように、電力および／または制御信号を提供することができる。別の実施例では、制御モジュール２１０は、導管遠位端部分２２６の中の照明デバイス（図示せず）を操作するように、電力および／または制御信号を提供することができる。制御モジュール２１０は、例えば、画像処理モジュール２２０を通して、電力および／または制御信号を導管遠位端部分２２６の中の１つ以上の構成要素に提供することができる。いくつかの実施形態では、制御モジュール２１０は、導管２３０を通して導管遠位端部分２２６に連結することができる、電磁放射出力を生成するように構成される、レーザダイオード等のレーザ源（図示せず）を含むことができる。レーザ源によって生成される電磁放射出力は、治療領域を照射するように導管遠位端部分２２６から放出することができる。

いくつかの実施形態では、制御モジュール２１０は、付加的な処理能力を提供するように構成される、複数の構成要素（図示せず）を含むことができる。例えば、制御モジュール２１０は、色処理動作を行うように構成される、１つ以上のモジュールを含むことができる。別の実施例では、制御モジュール２１０は、ビデオ符号化または圧縮動作を行うように構成される、１つ以上のモジュールを含むことができる。別の実施例では、制御モジュール２１０は、Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ（ＮＴＳＣ）、高解像度ビデオ形式、および標準解像度ビデオ形式等の１つ以上の記録形式および／またはビデオ伝送形式にビデオをフォーマットするように構成される、１つ以上のモジュールを含むことができる。いくつかの実施形態では、制御モジュール２１０に関して上記で説明される付加的な処理能力のうちの少なくともいくつかは、画像処理モジュール２２０によって行うことができる。

導管２３０は、コネクタ２２２を通して制御モジュール２１０に連結される。導管２３０の近位端部分は、制御モジュール２１０から電力および／または制御信号を受信するように構成され、導管２３０の遠位端部分は、導管遠位端部分２２６の中の撮像デバイス２２８から少なくともビデオ出力を受信するように構成される。導管２３０は、例えば、１つ以上の導電性ワイヤ、１つ以上の光ファイバ、および／または１つ以上の同軸ケーブルを含むことができる。導管２３０は、例えば、細長い部分が内視鏡２２５内で操作されることを可能にするように可撓性となり得る、細長い部分を含む。

内視鏡２２５は、１つ以上の管腔を画定することができる。いくつかの実施形態では、内視鏡２２５は、それを導管２３０等の種々の構成要素を通して受容することができる、単一の管腔を含む。内視鏡２２５は、導管遠位端部分２２６を受容するように構成される近位端と、医療処置のための適切な場所に導管遠位端部分２２６を位置付けるために患者の体内に挿入されるように構成される遠位端とを有する。例えば、図１に関して上記で説明される、泌尿器系１０内の結石を除去するための砕石手技中に、結石１２０に、またはその付近に導管遠位端部分２２６を配置するために、内視鏡２２５を使用することができる。内視鏡２２５は、細長い部分が体内（例えば、泌尿器系１０）で操作されることを可能にするように可撓性となり得る、細長い部分を含む。内視鏡２２５はまた、内視鏡の１つ以上の管腔を通して、例えば、洗浄および／または吸引デバイス、鉗子、ドリル、スネア、針等の種々の医療デバイスまたはツールを受容するように構成することもできる。複数の管腔を伴うそのような内視鏡の実施例は、Ｄａｎｉｅｌｓらへの米国特許第６，２９６，６０８号で説明されており、その開示は、全体で参照することにより本明細書に組み込まれる。いくつかの実施形態では、流体チャネル（図示せず）が内視鏡２２５によって画定され、近位端において流体源（図示せず）に連結される。流体チャネルは、医療処置中に患者の身体の内部を洗浄するために使用することができる。いくつかの実施形態では、異なるチャネル（図示せず）が内視鏡２２５によって画定され、近位端において吸引源（図示せず）に連結される。チャネルは、例えば、砕石術に起因する結石の破片を除去するために使用することができる。

図３は、実施形態による、画像処理モジュール３２０および撮像デバイス３２８の略ブロック図である。画像処理モジュール３２０および／または撮像デバイス３２８は、図２に関して上記で説明される撮像システム２００で使用することができる。画像処理モジュール３２０は、例えば、撮像デバイス３２８によって生成されるビデオ出力から受信される１つ以上のビデオフレームの有効部分を調整、置換、および／または修正することを含む、種々のビデオ処理動作を行うように構成される。いくつかの実施形態では、撮像デバイス３２８は、撮像装置と呼ぶことができる。画像処理モジュール３２０は、画像処理モジュール３２０によって処理されるビデオフレームと関連付けられる速度または周波数を調整および／または修正するように構成される。画像処理モジュール３２０によって提供される機能性は、ソフトウェアベース（例えば、プロセッサで実行可能な一式の命令、ソフトウェアコード）および／またはハードウェアベース（例えば、回路システム、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））となり得る。いくつかの実施形態では、画像処理モジュール３２０は、図２で示されたもの等の内視鏡と関連付けられる（例えば、それに連結される、それに含まれる）ときに、内視鏡画像処理モジュールと呼ぶことができる。いくつかの実施形態では、画像デバイス３２８は、図２で示されたもの等の内視鏡と関連付けられる（例えば、それに連結される、それに含まれる）ときに、内視鏡撮像装置と呼ぶことができる。

画像処理モジュール３２０は、画像処理モジュール３２０の動作を制御する１つ以上の信号を含む、入力Ｉ３２を受信するように構成される。入力Ｉ３２と関連付けられる制御信号は、図２に関して上記で説明される制御モジュール２１０の中の他の構成要素またはモジュールの動作に起因することができる。例えば、医療処置に関連するユーザ（例えば、医療施術者）から受信された入力に応じて、入力Ｉ３２と関連付けられる１つ以上の制御信号を、制御モジュール２１０の中の構成要素またはモジュールから受信することができる。入力Ｉ３２は、画像処理モジュール３２０によって処理される１つ以上のビデオフレームの無効部分の調整、置換（例えば、置換タイミング）、および／または修正を制御する１つ以上の信号を含む。入力Ｉ３２は、例えば、画像処理モジュール３２０によって処理されるビデオフレームと関連付けられる速度または周波数を制御する１つ以上の信号を含むことができる。

入力Ｉ３２はまた、撮像デバイス３２８の動作を制御するために画像処理モジュール３２０によって使用することができる、１つ以上の信号も含むことができる。例えば、入力Ｉ３２は、撮像デバイス３２８のビデオ出力と関連付けられる速度または周波数を制御するために画像処理モジュール３２０によって使用することができる、１つ以上の信号を含むことができる。この点において、画像処理モジュール３２０は、撮像デバイス３２８の動作を制御する１つ以上の信号を含む、出力Ｏ３１を生成するように構成される。場合によっては、画像処理モジュール３２０は、出力Ｏ３１を介した、または異なる出力（図示する）を介した、撮像デバイス３２８に対する電源（例えば、ＤＣ電圧）となるように構成することができる。

撮像デバイス３２８は、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、電荷結合素子（ＣＣＤ）画像センサ、赤外線（ＩＲ）画像センサ、微小電気機械（ＭＥＭ）アレイ、または焦点面アレイとなり得る。一実施形態では、撮像デバイス３２８は、特定の視野（例えば、治療領域）と関連付けられる、可視範囲（例えば、約４００ｎｍから８００ｎｍの間）および／または赤外範囲（例えば、約８００ｎｍから１２００ｎｍの間）内の電磁放射を受容するように構成される。撮像デバイス３２８は、１つ以上のビデオフレームを生成するように構成され、各ビデオフレームは、電磁放射が受容された視野と関連付けられ、受容した電磁放射に基づく、場面および時間を表す。

画像処理モジュール３２０は、１つ以上のビデオフレーム（すなわち、ビデオ出力）を含む、撮像デバイス３２８からの入力Ｉ３４を受信するように構成される。入力Ｉ３４内のビデオフレームは、画像処理モジュール３２０によって処理される。画像処理モジュール３２０は、異なる解像度を有する撮像デバイス等の１つより多くの種類の撮像デバイス３２８とともに動作するように構成することができ、および／または電磁放射の異なるスペクトルを捕捉するように構成することができる。

画像処理モジュール３２０は、画像処理モジュール３２０によって処理される複数のフレームを含む、ビデオストリームを有する出力Ｏ３３を生成するように構成される。いくつかの実施形態では、出力Ｏ３３は、例えば、さらなる処理（例えば、後処理）のために、図２に関して上記で説明される近位端部分２１０の別の構成要素または部分に送信することができる。出力Ｏ３３は、画像処理モジュール３２０および／または撮像デバイス３２８の構成および／または動作に関係する情報を含むことができる。

図４は、実施形態による、撮像デバイス４２８のシステムブロック図である。撮像デバイス４２８は、列選択モジュール４１０と、行選択モジュール４２０と、ピクセル配列４３０、コントローラモジュール４４０と、入力／出力（Ｉ／Ｏ）モジュール４６０とを含む。随意で、撮像デバイス４２８は、アナログ・デジタル変換器（ＡＤＣ）モジュール４７０および／または処理モジュール４８０を含むことができる。コントローラモジュール４４０は、電子シャッタモジュール４５０を含む。撮像デバイス４２８によって提供される機能性は、ハードウェアベースまたはハードウェアベースおよびソフトウェアベースである。

ピクセル配列４３０は、１つ以上の列および行で配設される複数の画像素子（すなわち、ピクセル）４３１を含む。例えば、ピクセル配列４３０は、典型的には、６４０列×４８０行のピクセル４３１を含む、ビデオグラフィックスアレイ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ／ＶＧＡ）サイズまたは解像度を有することができる。他の実施形態では、ピクセル配列４３０は、ＶＧＡサイズの配列よりも小さい配列サイズを有することができ、またはＶＧＡサイズのアレイよりも大きい配列サイズを有することができる。例えば、ピクセル配列４３０は、典型的には、８００列×６００行のピクセル４３１を含む、スーパーＶＧＡ（ＳＶＧＡ）サイズを有することができる。別の実施例では、ピクセル配列４３０は、列および行の複数の構成で配設される、１００万より多くのピクセル４３１（例えば、メガピクセル配列）を有することができる。いくつかの実施形態では、ピクセル配列４３０のサイズは、特定の用途（例えば、特定の医療処置）のためにカスタマイズすることができる。この点において、ピクセル配列４３０のサイズは、特定の医療処置中に医療施術者を支援するために好適である、望ましい解像度に依存してもよい。

ピクセル配列４３０内の各ピクセル４３１は、電磁放射（図示せず）を受容し、受容した電磁放射を関連電荷または電圧（図示せず）に変換するように構成される。ピクセル配列４３０内のピクセルは、ピクセルが、光学フィルタを通過する電磁スペクトルの部分のみと関連付けられる電荷を生成するように、ピクセルに入射する電磁スペクトルの部分を除去または反射する光学フィルタ（図示せず）を有することができる。ピクセル配列４３０の全体を通して異なるスペクトル特性の光学フィルタ（例えば、反復色フィルタモザイクパターン）を使用することによって、撮像デバイス４２８は、色情報を有するビデオ出力を生成することができる。

ピクセル配列４３０は、１つ以上の列および／または行と関連付けられる複数の暗（参照）ピクセル４３２を含むことができる。暗ピクセル４３２は、暗ピクセル４３２に入射する電磁放射が実質的に反射されるように覆われる（例えば、金属層）。暗ピクセル４３２は、撮像デバイス４２８の動作中にピクセル４３１によって生成される、あるＤＣ電圧および／または電荷を相殺および／または補償するために、暗ピクセル４３２によって生成されるＤＣ電圧および／または電荷を使用することができるように、ピクセル配列４３０のある動作と関連付けられるＤＣ電圧および／または電荷を生成するように構成される。いくつかの実施形態では、例えば、撮像デバイス４２８の動作中、製造キャリブレーション動作中、および／または製造後システムキャリブレーション動作中に、暗ピクセル４３２と関連付けられる情報を決定することができる。暗ピクセル４３２と関連付けられる情報は、Ｉ／Ｏモジュール４６０、処理モジュール４８０、および／または撮像デバイス４２８の中のバッファ（図示せず）あるいはメモリ（図示せず）に記憶することができる。暗ピクセル４３２は、ピクセル配列４３０の両側に位置することができる。

Ｉ／Ｏモジュール４６０は、例えば、図３に関して上記で説明される画像処理モジュール３２０等の所与の画像処理モジュールから、入力Ｉ４を受容するように構成される。入力Ｉ４は、撮像デバイス４２８の動作と関連付けられる、１つ以上の信号および／またはパルスを含む。例えば、入力Ｉ４は、クロック信号、トリガ、周波数制御信号、同期信号、シャッタ制御信号、および／またはリセット等の、撮像デバイス４２８の動作のタイミングおよび／または周波数と関連付けられる信号および／またはパルスを含むことができる。Ｉ／Ｏモジュール４６０は、撮像デバイス４２８の１つ以上の構成要素の入力Ｉ４を介して受信される、信号および／またはパルスを伝達または送信するように構成される。

いくつかの実施形態では、入力Ｉ４は、例えば、砕石器等の医療デバイスの動作と関連付けられる信号および／またはパルス（例えば、同期パルス）を含むことができる。処理モジュール４８０が撮像デバイス４２８に含まれるとき、入力Ｉ４は、処理モジュール４８０の動作と関連付けられる信号および／またはパルスを含むことができる。例えば、入力Ｉ４は、処理モジュール４８０によって生成されるビデオ出力の形式を制御することと関連付けられる、信号および／またはパルスを含むことができる。

Ｉ／Ｏモジュール４６０は、撮像デバイス４２８によって生成されるビデオ出力またはビデオストリームと関連付けられる１つ以上の信号および／またはパルスを含む、出力Ｏ４を生成するように構成される。ビデオ出力またはビデオストリームは、１つ以上のビデオフレームおよび／またはビデオフレームの複数部分を含むことができる。出力Ｏ４は、例えば、図３に関して上記で説明される画像処理モジュール３２０等の、所与の画像処理モジュールに送信することができる。出力Ｏ４は、ビデオカード（図示せず）またはフレーム取り込み装置（図示せず）等の他の構成要素に送信することができる。ビデオカードまたはフレーム取り込み装置は、アナログビデオ信号またはデジタルビデオストリームを受信するように構成される、電子デバイスである。フレーム取り込み装置は、例えば、未加工（すなわち、圧縮されていない）または圧縮デジタル形態でビデオを記憶、表示、および／または伝送するために、撮像または視覚システムで使用することができる。

コントローラモジュール４４０は、撮像デバイス４２８の構成要素のうちの少なくともいくつかの動作を制御するように構成される。例えば、コントローラモジュール４４０は、撮像デバイス４２８と関連付けられる動作のタイミングを制御するように構成される。この点において、電子シャッタモジュール４５０は、列選択モジュール４１０、行選択モジュール４２０、およびピクセル配列４３０と関連付けられる動作のタイミングを制御するように構成される。例えば、コントローラモジュール４４０は、所与のピクセル４３１が、ピクセル４３１に入射する電磁放射の強度および／またはスペクトルと関連付けられる電荷または電圧を収集する（すなわち、露出または積分動作）時間を制御するように構成される。コントローラモジュール４４０は、ピクセル配列４３０内の複数の行からのどの行が、特定のときに積分されるか（すなわち、入射電磁放射に起因する電荷を収集する）を制御するように構成される。各ピクセル４３１と関連付けられる電荷または電圧は、読み出し動作を待つように、ピクセルに連結される貯蔵要素（例えば、コンデンサ）に移送される。コントローラモジュール４４０は、露出または積分動作に続く読み出し動作を制御するように構成される。読み出し動作では、露出動作中に各ピクセル４３１によって生成される電荷または電圧は、デジタル値または数（例えば、８ビットまたは１０ビット数）に変換するためにＡＤＣモジュール４７０に移送されるか、または、例えば、出力Ｏ４を介して撮像デバイス４２８から外へ移送される。

電子シャッタモジュール４４０は、例えば、グローバルシャッタまたはローリングシャッタと関連付けられる撮像デバイス４２８の動作を制御するように構成される。撮像デバイス４２８がグローバルまたは同期シャッタとともに動作するように構成されるとき、電子シャッタモジュール４４０は、行のそれぞれの中のピクセルが同時にリセットされ（すなわち、行リセット）、同じ期間（すなわち、積分時間）にわたって露出されるように、行選択モジュール４２０を介してピクセル配列４３０内の行を制御する。行が同時に露出されるため、グローバルシャッタを使用することにより、典型的には、高速移動または高速変化場面中に発生する、波のある、またはぼやけた効果を低減する。所与の行内の各ピクセル４３１と関連付けられる電荷または電圧は、読み出し動作を待つように、ピクセルに連結される貯蔵要素（例えば、コンデンサ）に移送される。電子シャッタモジュール４４０は、列選択モジュール４１０を介して、所与の行内の各ピクセル４３１と関連付けられる電荷または電圧の読み出しを制御する。ビデオフレームは、露出動作が完了した後に、露出した行を１つずつ読み出すことによって構築される。ビデオフレームを構築または構成するために使用される、露出した行を読み出すために要する時間は、読み出し時間として反映することができる。ＡＤＣモジュール４７０および／またはＩ／Ｏモジュール４６０は、ビデオフレームの少なくとも一部分を記憶するように構成される、バッファ（図示せず）またはメモリ（図示せず）を含むことができる。いったん行が読み出され、ビデオフレームが完成されると、電子シャッタモジュール４４０は、新しいビデオフレームを構築することができるように、ピクセル配列４３０をリセット（すなわち、フレームリセット）するように構成される。

この点において、撮像デバイス４２８と関連付けられる周波数またはフレームレートは、少なくとも部分的に、露出動作と関連付けられる時間（すなわち、積分時間）および読み出し動作と関連付けられる時間（すなわち、読み出し時間）に基づく。例えば、複数の露出した行からビデオフレームを構築することと関連付けられる積分時間および読み出し時間が長くなるほど、撮像デバイス４２８を操作することができる周波数またはフレームレートが低くなる。

撮像デバイス４２８がローリングシャッタとともに動作するように構成されるとき、電子シャッタモジュール４４０は、各行が異なる時間にリセットされ（すなわち、行リセット）、次いで、ある期間（すなわち、積分時間）にわたって露出されるように、行選択モジュール４２０を介してピクセル配列４３０内の行を制御する。例えば、ビデオフレームを構築するために使用される各行は、同じビデオフレーム内の隣接行のリセットまたは開始時間からオフセットされる時間に、リセットするか、または積分を開始することができる。いくつかの実施形態では、複数組の行が、同じビデオフレーム内の隣接する一式の行のリセットまたは開始時間からオフセットされる、リセットまたは開始時間を有することができる。行がオフセットして露出されるため、ローリングシャッタを使用することにより、典型的には、高速変化場面中でさえも、均一に露出した画像を生成する。各露出した行内の各ピクセル４３１と関連付けられる電荷または電圧は、読み出し動作を待つように、ピクセルに連結される貯蔵要素に移送される。電子シャッタモジュール４４０は、列選択モジュール４１０を介して、所与の行内のピクセル４３１と関連付けられる電荷または電圧の読み出しを制御する。各露出した行の露出の完了後に、その行が読み出されるにつれて、ビデオフレームが構築される。

いくつかの実施形態では、電子シャッタモジュール４５０内の回路は、例えば、砕石器等の医療デバイスの動作と関連付けられる同期パルスまたは電磁放射（例えば、燃焼閃光）に影響を及ぼされ得る。電子シャッタモジュール４５０は、医療デバイスの動作の結果として、ビデオフレームから新しいビデオフレームに不利にリセット（すなわち、フレームリセット）され得る。言い換えれば、電子シャッタモジュール４５０は、医療デバイスからの同期パルスまたは電磁放射が発生すると、ビデオフレームを時期尚早に終了して、新しいビデオフレームを開始することができる。この点において、撮像デバイス４２８の付近の医療デバイスの動作は、例えば、電子シャッタモジュール４５０によって提供されるタイミングおよび／または制御を乱すことによって、撮像デバイス４２８のビデオ出力の質に影響を及ぼすことができる。

図５Ａは、実施形態による、医療デバイス（例えば、砕石器）の動作に起因する、撮像デバイス上のフレームリセットを図示する、タイミング図５００である。タイミング図５００は、同期または電磁放射パルスが、例えば、図１に関して上記で説明される医療デバイス１２４等の医療デバイスによって送達される期間を図示する、上の部分５０１を含む。タイミング図５００は、例えば、図２〜４に関して上記で説明される撮像デバイス２２８、２３８、および４２８等の、医療処置で医療デバイスとともに使用されている所与の撮像デバイスからのビデオ出力と関連付けられる複数のビデオフレームを図示する、下の部分５０２を含む。

タイミング図５００の上の部分５０１は、医療デバイスが電磁放射パルスを治療領域に送達しない、または同期パルスを撮像デバイスに送信する、期間５０３ａ、５０３ｂ、５０３ｃ、および５０３ｄ（斜線パターンで示されている）を含む。期間５０６ａ、５０６ｂ、および５０６ｃ（白いパターンで示されている）は、医療デバイスが電磁放射パルスを治療領域に送達するか、または同期パルスを送信する、期間を図示する。例えば、時間インスタンス５０４ａおよび５０５ａは、それぞれ、期間５０６ａ中に患者に送達される電磁放射パルスの開始および終了と関連付けられる。治療領域に送達される電磁放射が結石に到達する時に、燃焼閃光が生じ得る。燃焼閃光は、例えば、大きなパルスまたは電磁放射のブラストとして、撮像デバイスによって受容することができる。電磁放射および／または同期パルスの間の期間Ｔ_Ｌは、医療デバイスの動作の周波数（Ｆ_Ｌ）と関連付けられる。

タイミング図５００の下の部分５０２は、撮像デバイスによって生成されるビデオフレームへの医療デバイスのパルス効果の実施例を図示する。この実施例では、撮像デバイスは、ビデオフレーム内の各行が、同じフレーム内の隣接行の露出開始時間からオフセットされる露出開始時間（例えば、行リセット）を有するように、ローリングシャッタを使用して操作される。また、撮像デバイスの周波数（すなわち、フレームレート）は、医療デバイスの動作の周波数（Ｆ_Ｌ）と実質的に同じである。

図５Ａは、複数の有効行５１０（斜線パターンで示されている）を含む、下の部分５０２の初め（左）にフレームＡを示す。有効行５１０は、例えば、閾値数を上回る有効ピクセルの数を含み、医療デバイスによって生成される同期パルス、または撮像デバイスにおいて医療デバイスと関連付けられる電磁放射（例えば、燃焼閃光）を受容することから発生するフレームリセットの結果として、時期尚早に終了または破損されていない行である。有効ピクセルは、例えば、適正に動作する（例えば、欠陥がない）、および／または非常に高いレベルの電磁放射に暴露されることから飽和していないピクセルとなり得る。フレームＡは、医療デバイスが電磁放射を治療領域に送達しない、または同期パルスを送信する、期間５０３ａ内に発生する。

フレームＢは、有効行５１０である第１および第２の上の行を有して示されている。第１および第２の行の両方は、医療デバイスが電磁放射を治療領域に送達しない、または同期パルスを送信する、期間５０３ａ内に発生する。しかしながら、フレームＢの第３の行（点線パターンで示されている）の終了部分は、医療デバイスが電磁放射を治療領域に送達する、または同期パルスを送信して撮像デバイスおよび医療デバイスを同期化する、期間５０６ａ内に発生する。この実施例では、医療デバイスのパルスは、フレームＢが、その第３の行で時期尚早に終了される（すなわち、時期尚早のフレームの終了）ように、撮像デバイスにおいてフレームリセットをもたらす（すなわち、撮像デバイス内の回路がフレームリセットを生成する）。フレームＢの第３の行は、発生するフレームリセットによって破損される。破損した行５１４は、医療デバイスのパルスによって生成されるフレームリセットに起因する無効ピクセルの数を含む、行となり得る。

撮像デバイスは、フレームＢの時期尚早の終了の結果として発生するフレームリセット後に、新しいフレームＣを開始する。しかしながら、フレームＣは、その第１の行として、無効行５１６（白いパターンで示されている）を有する。フレームＣの第１の行は、医療デバイスが期間５０６ａ内でパルスを生成するときに始まる。フレームＣの第１の有効行５１０は、その第２の行である。フレームＢに関して示されたように、フレームＣの第３の行は、フレームＣがその第３の行で時期尚早に終了されるように、期間５０６ｂ中に医療デバイスによって生成されるパルスから発生するフレームリセットによって破損される。図５Ａはまた、期間５０６ｃ中に医療デバイスによって生成されるパルスに起因する無効行５１６をその最上行として有する、フレームＤも示す。しかしながら、フレームＤ内の残りの行は、医療デバイスが電磁放射パルスを送達しない、または同期パルスを送信する期間５０３ｄ内で発生する際に、有効行５１０である。

図５Ａで説明される実施例は、撮像デバイスのフレームレートと実質的に同じ周波数で医療デバイスを操作することの効果を図示する。複数のビデオフレーム、場合によっては、複数の連続ビデオフレームを、医療デバイスの動作によって時期尚早に終了させることができる。終了されたビデオフレームは、有効行があるとすれば、少ししか含まなくてもよい。この点において、複数のビデオ出力は、医療デバイスによって生成されるパルスが撮像デバイスに及ぼす効果によって大きく影響され得る。結果として、医療施術者は、医療処置（例えば、砕石手技）の実施を効果的に支援するために、撮像デバイスによって生成されるビデオ出力を使用することができない場合がある。

図５Ｂは、実施形態による、撮像デバイスが、例えば、医療デバイスの動作の周波数の２倍（またはそれ以上）で操作されるときの増加した数の有効行を図示する、タイミング図５５０である。タイミング図５５０は、例えば、図１に関して上記で説明される医療デバイス１２４等の医療デバイスによって、電磁放射パルスが送達される、または同期パルスが送信される期間を図示する、上の部分５５１を含む。タイミング図５５０は、例えば、図２〜４に関して上記で説明される撮像デバイス２２８、２３８、および４２８等の、医療処置（例えば、砕石手技）で使用されている所与の撮像デバイスからのビデオ出力と関連付けられる複数のフレームを図示する、下の部分５５２を含む。この実施例では、撮像デバイスは、医療デバイスの動作の周波数の少なくとも２倍である周波数を有する、フレームレートで動作する。いくつかの実施形態では、フレームレートは、医療デバイスの動作の周波数（パルス周波数）の２倍未満になり得る。

タイミング図５５０の上部分５５１は、医療デバイスが電磁放射パルスを治療領域に送達しない、または同期パルスを撮像デバイスに送信する、期間５５３ａ、５５３ｂ、５５３ｃ、および５５３ｄ（斜線パターンで示されている）を含む。期間５５６ａ、５５６ｂ、および５５６ｃ（白いパターンで示されている）は、医療デバイスが電磁放射パルスを治療領域に送達するか、または同期パルスを送信する、期間を図示する。例えば、時間インスタンス５５４ａおよび５５５ａは、それぞれ、期間５５６ａ中に患者に送達される電磁放射パルスの開始および終了と関連付けられる。電磁放射および／または同期パルスの間の期間Ｔ_Ｌは、医療デバイスの動作の周波数（Ｆ_Ｌ）と関連付けられ、図５Ａに示されるのと実質的に同じ期間である。

タイミング図５５０の下の部分５５２は、撮像デバイスのフレームレートを、医療デバイスの動作の周波数（例えば、エネルギーまたはパルス周波数）の少なくとも２倍の周波数に増加させることの効果の実施例を図示する。この実施例では、撮像デバイスは、ビデオフレーム内の各行が、同じビデオフレーム内の隣接行の露出開始時間からオフセットされる露出開始時間（例えば、行リセット）を有するように、ローリングシャッタを使用して操作される。

図５Ｂは、複数の有効行５６０（斜線パターンで示されている）を含む、下の部分５５２の初め（左）にフレームＡを示す。フレームＡは、医療デバイスが電磁放射を治療領域に送達しない、または同期パルスを送信する、期間５５３ａ内に発生する。フレームＢは、有効行５６０である、その上の４つの行を有して示されている。フレームＢの上の４つの行は、医療デバイスが電磁放射を治療領域に送達しない、または同期パルスを送信する、期間５５３ａ内に発生する。しかしながら、フレームＢの第５の行（点線パターンで示されている）の終了部分は、医療デバイスが電磁放射を治療領域に送達する、または同期パルスを送信して撮像デバイスおよび医療デバイスを同期化する、期間５５６ａ内に発生する。この実施例では、医療デバイスのパルスは、フレームＢが、その第５の行で時期尚早に終了される（すなわち、時期尚早のフレームの終了）ように、フレームリセットを生成する。フレームＢの第５の行は、発生するフレームリセットによって破損され、破損した行５６４として示されている。

撮像デバイスのより高いフレームレートにより、フレームＢの時期尚早の終了後に発生する所与のビデオフレームは、撮像デバイスのフレームレートと関連付けられる周波数が、医療デバイスの動作の周波数と実質的に同じであるときに、フレームの時期尚早の終了後に発生するビデオフレームよりも多くの有効行を有する可能性が高い。例えば、新しいフレームＣが、フレームＢの時期尚早の終了の結果として発生するフレームリセットに続く。しかしながら、フレームＣは、医療デバイスが期間５５６ａ内にパルスを生成するときに始まる無効行５６６（白いパターンで示されている）を、その最上行として有する。フレームＣの最上行は無効行５５６であるが、フレームＣの残りの行は期間５５３ｂ中に発生し、有効行５６０である。フレームＣの最後の有効行５６０の後に、予定されたフレームリセットが発生し、新しいフレームＤが期間５５３ｂ中に始まる。フレームＢと同様に、フレームＤは、期間５５６ｂ中に医療デバイスによって生成されるパルスの結果として、最上部からその第５の行で時期尚早に終了する。フレームＥは、全ての行が有効行５６０である、下の部分５５２の終わり（右）に示されている。

撮像デバイスが医療デバイスの動作の周波数の２倍（またはそれ以上）で操作されるとき、信号対雑音比のわずかな損失を伴って画像情報を回復することが可能である。例えば、一実施形態では、複数対の隣接（または２つより多くの）ビデオフレーム（例えば、図５ＢのフレームＣおよびフレームＤ）を追加すること、組み合わせること等ができ、あるいは、より低い周波数またはフレームレートで動作する撮像デバイスの挙動を実質的に複製するように、少なくとも複数対の各隣接ビデオフレームの有効部分を追加すること、組み合わせること等ができる。撮像システムを通して受け入れられてもよい待ち時間の量に応じて、時間エイリアシング効果を最小限化しながら、隣接ビデオフレームの有効行内の情報を組み合わせるために、例えば、ｓｉｎ（ｘ）／ｘフィルタ等の、より複雑な時間フィルタリング動作を使用することができる。また、撮像デバイスにおけるフレームレートの増加は、典型的にはローリングシャッタによって生成される、見かけの動きアーチファクトを低減することができる。

いくつかの実施形態では、撮像デバイスのフレームレートが医療デバイスの動作の周波数の２倍未満であるときの有効フレーム（または有効フレームの複数部分）を画定するために、補間、外挿、フレーム遅延、および／またはその他等のフレーム処理技法を使用することができる。例えば、無効フレームの複数部分（または全体）に取って代わる有効フレームの複数部分（または全体）を生成するように、１つ以上のフレームと関連付けられる情報を補間することができる。いくつかの実施形態では、補間を行う時間を許容するように、操作者へのフレーム（例えば、有効フレーム）の表示を遅延させることができる（例えば、数フレーム遅延される）。遅延の持続時間は、例えば、操作者にとって、遅延が実質的に知覚できないように画定することができる。

いくつかの実施形態では、撮像デバイス（例えば、撮像センサ）は、電源オンリセット（ＰＯＲ）動作の終了時に、または、例えば、医療デバイスからの同期パルス等の同期信号の受信時に、読み出し動作または過程が発生するように構成することができる。撮像デバイスのある構成要素および／または部分の内部状態が適正に設定されていることを保証するように、ＰＯＲ動作の持続時間が短いことが望ましくてもよい。いくつかの実施形態では、ＰＯＲ動作の終了時に、撮像デバイスは、行のそれぞれをリセットすることができ、行の露出または積分動作が発生した後まで、読み出し動作を行わなくてもよい。代わりに、読み出し動作を伴うＰＯＲ動作に従い、読み出し動作後に行のリセットを発生させることによって、医療施術者に提示することができる完全かつ有効なビデオフレームを生成するよう、２つの完全なビデオフレームのそれぞれの中の有効行を追加する、または組み合わせることができるように、医療デバイスのパルスの間で、少なくとも２つの完全な（すなわち、時期尚早に終了されていない）ビデオフレームを読み出させることが可能であってもよい。

上記で説明されるように、場合によっては、医療デバイスによって生成される電磁放射パルスは、燃焼閃光をもたらし得る。結石の燃焼（例えば、断片化）に起因する光または閃光は、所与の撮像デバイスにおいてピクセルを飽和させ得る。多数の飽和ピクセルは、撮像デバイスからのビデオ出力の中の画像情報の損失をもたらし得る。これらの場合において、撮像デバイスは、ビデオ出力の質に影響を及ぼすように、ピクセルに起因する情報の損失のためにリセット（例えば、フレームリセット）する必要はない。

図６Ａは、実施形態による、医療デバイス（例えば、砕石器）の動作に起因する飽和ピクセルを伴う行を図示する、タイミング図である。タイミング図６００は、燃焼閃光または他の類似電磁放射が、例えば、図１に関して上記で説明される医療デバイス１２４等の医療デバイスによって送達されるパルスに起因する期間を図示する、上の部分６０１を含む。タイミング図６００は、例えば、図２〜４に関して上記で説明される撮像デバイス２２８、２３８、および４２８等の、医療処置（例えば、砕石手技）で医療デバイスとともに使用されている所与の撮像デバイスからのビデオ出力と関連付けられる複数のビデオフレームを図示する、下の部分６０２を含む。

タイミング図６００の上の部分６０１は、医療デバイスが電磁放射パルスを治療領域に送達しない、または同期パルスを撮像デバイスに送信する、期間６０３ａ、６０３ｂ、６０３ｃ、および６０３ｄ（斜線パターンで示されている）を含む。期間６０６ａ、６０６ｂ、および６０６ｃ（白いパターンで示されている）は、燃焼閃光または他の類似電磁放射が、医療デバイスによって送達されるパルスに起因する期間を図示する。燃焼閃光は、例えば、大きなパルスまたは電磁放射のブラストとして、撮像デバイスによって受容することができる。時間インスタンス６０４ａおよび６０５ａは、それぞれ、期間６０６ａ中に発生する燃焼閃光または光の開始および終了と関連付けられる。閃光の間の期間Ｔ_Ｌは、医療デバイスの動作の周波数（Ｆ_Ｌ）と関連付けられる。

タイミング図６００の下の部分６０２は、撮像デバイスによって生成されるビデオフレームへの高いレベルの電磁放射（例えば、閃光）の効果の実施例を図示する。この実施例では、撮像デバイスは、ビデオフレーム内の各行が、同じフレーム内の隣接行の露出開始時間からオフセットされる露出開始時間（例えば、行リセット）を有するように、ローリングシャッタを使用して操作される。また、撮像デバイスの周波数（すなわち、フレームレート）は、医療デバイスの動作の周波数（Ｆ_Ｌ）と実質的に同じである。

図６Ａは、複数の有効行６１０（斜線パターンで示されている）を含む、下の部分６０２の初め（左）にフレームＡを示す。有効行６１０は、例えば、閾値数を上回る有効ピクセルの数を含む行である。有効ピクセルは、例えば、適正に動作する（例えば、欠陥がない）、および／または非常に高いレベルの電磁放射に暴露されることから飽和していないピクセルとなり得る。フレームＡは、医療デバイスが電磁放射を治療領域に送達しない、または同期パルスを送信する、期間６０３ａ内に発生する。

フレームＢは、有効行６１０である、その上の３つの行を有して示されている。フレームＢの上の３つの行は、医療デバイスと関連付けられる閃光または他の類似送達電磁放射が撮像デバイスにおいて受容されない、期間６０３ａ内に発生する。しかしながら、フレームＢの第４の行（点線パターンで示されている）の終了部分は、非常に高いレベルの電磁放射が撮像デバイスにおいて受容される、期間６０６ａ内に発生する。電磁放射のレベルは、フレームＢの第４の行内の多数のピクセルを飽和させるように十分高い。フレームＢの第４の行は、ピクセルの飽和によって破損され、無効行６１４として示されている。フレームＢの残りの行も期間６０６ａ内で発生し、また、撮像デバイス上の高いレベルの電磁放射に起因するピクセルの飽和によって破損される。フレームＢの残りの行はそれぞれ、多数の飽和ピクセルを含むことができ、無効行６１６（白いパターンで示されている）として示されている。この実施形態では、フレームＢの第４の行が、撮像デバイス上の高いレベルの電磁放射によって破損されるフレームＢの第１の行である一方で、撮像デバイスはリセットせず（すなわち、フレームＢが時期尚早に終了されない）、フレームＢの残りの行は高いレベルの電磁放射に暴露される。

図６ＡのフレームＣ、Ｄ、Ｅ、およびＦは、医療デバイスの動作に起因し得る高いレベルの電磁放射の期間中に、ある行を発生させることの効果を示す。例えば、フレームＣは、有効行６１０である、２つだけの行を含み、フレームＤは、有効行６１０である、２つだけの行を含み、フレームＥは、１つだけの有効行６１０を含み、フレームＦは、９つの有効行６１０を含む。

図６Ａで説明される実施例は、撮像デバイスのフレームレートと実質的に同じ周波数で医療デバイスを操作することの効果を図示する。医療デバイスの動作によって生成されるピクセル飽和効果により、複数のビデオフレーム、場合によっては、複数の連続ビデオフレームは、非常に限定された数の有効行を有することができる。この点において、ビデオ出力の質は、医療デバイスの動作と関連付けられる燃焼閃光または類似電磁放射が撮像デバイスに及ぼす効果によって大きく影響され得る。結果として、医療施術者は、医療処置（例えば、砕石手技）の実施を効果的に支援するために、撮像デバイスによって生成されるビデオ出力を使用することができない場合がある。

図６Ｂは、実施形態による、撮像デバイスが、例えば、医療デバイスの動作の周波数の２倍（またはそれ以上）で操作されるときの増加した数の有効行を図示する、タイミング図である。タイミング図６５０は、燃焼フラッシュまたは他の類似電磁放射が、例えば、図１に関して上記で説明される医療デバイス１２４等の医療デバイスによって送達されるパルスに起因する期間を図示する、上の部分６５１を含む。タイミング図６５０は、例えば、図２〜４に関して上記で説明される撮像デバイス２２８、２３８、および４２８等の、医療処置（例えば、砕石手技）で使用されている所与の撮像デバイスからのビデオ出力と関連付けられる複数のフレームを図示する、下の部分６５２を含む。撮像デバイスは、医療デバイスの動作の周波数の少なくとも２倍である周波数を有する、フレームレートで動作する。いくつかの実施形態では、フレームレートは、医療デバイスの動作の周波数の２倍未満になり得る。

タイミング図６５０の上部分６５１は、医療デバイスが電磁放射パルスを治療領域に送達しない、または同期パルスを撮像デバイスに送信する、期間６５３ａ、６５３ｂ、６５３ｃ、および６５３ｄ（斜線パターンで示されている）を含む。期間６５６ａ、６５６ｂ、および５６５６ｃ（白いパターンで示されている）は、燃焼フラッシュまたは他の類似電磁放射が、医療デバイスによって送達されるパルスに起因する期間を図示する。例えば、時間インスタンス６５４ａおよび６５５ａは、それぞれ、期間６５６ａ中に発生する燃焼フラッシュまたは類似電磁放射の開始および終了と関連付けられる。閃光の間の期間Ｔ_Ｌは、医療デバイスの動作の周波数（Ｆ_Ｌ）と関連付けられ、図６Ａに示されるのと実質的に同じ期間である。

タイミング図６５０の下の部分６５２は、撮像デバイスのフレームレートを、医療デバイスの動作の周波数（例えば、エネルギーまたはパルス周波数）の少なくとも２倍の周波数に増加させることの効果の実施例を図示する。この実施例では、撮像デバイスは、ビデオフレーム内の各行が、同じビデオフレーム内の隣接行の露出開始時間からオフセットされる露出開始時間（例えば、行リセット）を有するように、ローリングシャッタを使用して操作される。

図６Ｂは、その行の全てが有効行６６０（斜線パターンで示されている）である、下の部分５６２の初め（左）にフレームＡを示す。フレームＡは、医療デバイスが電磁放射を治療領域に送達しない、または同期パルスを送信する、期間６５３ａ内に発生する。フレームＢは、有効行６６０である、その上の３つの行およびその下の２つの行を有して示されている。フレームＢの上の３つの行は、医療デバイスと関連付けられる閃光または他の類似送達電磁放射が撮像デバイスにおいて受容されない、期間６５３ａ内に発生する。同様に、フレームＢの下の２つの行は、医療デバイスと関連付けられる閃光または他の類似送達電磁放射が撮像デバイスにおいて受容されない、期間６５３ａ内に発生する。しかしながら、フレームＢの第４の行（点線パターンで示されている）の終了部分は、非常に高いレベルの電磁放射が撮像デバイスにおいて受信される、期間６５６ａ内に発生する。電磁放射のレベルは、フレームＢの第４の行内の多数のピクセルを飽和させるように十分高い。フレームＢの第４の行は、ピクセルの飽和によって破損され、無効行６６４として示されている。期間６０６ａ内に発生するフレームＢの残りの行も、撮像デバイス上の高いレベルの電磁放射に起因するピクセルの飽和によって破損され、無効行６６６（白いパターンで示されている）として示されている。

図６Ｂのフレームと対照的に、図６ＢのフレームＣ、Ｄ、Ｅ、およびＦは、医療デバイスの動作周波数の少なくとも２倍である周波数（例えば、フレームレート）で撮像デバイスを操作することの結果として、多数の有効行を有する。例えば、フレームＣは、有効行６６０である、６つの行を含み、フレームＤは、有効行６６０である、６つの行を含み、フレームＥは、５つの有効行６６０を含み、フレームＦは、９つの有効行６６０を含む。

撮像デバイスが医療デバイスの動作の周波数の２倍（またはそれ以上）で操作されるとき、信号対雑音比のわずかな損失を伴って画像情報を回復することが可能である。例えば、一実施形態では、隣接ビデオフレーム（例えば、図６ＢのフレームＢ、Ｃおよび／またはフレームＤ）を追加する、または組み合わせることができ、あるいは、より低い周波数またはフレームレートで動作する撮像デバイスの挙動を実質的に複製するように、少なくとも隣接ビデオフレームの有効部分を追加する、または組み合わせることができる。いくつかの実施形態では、ビデオフレームの周波数よりも低い周波数（例えば、フレームレート）でビデオフレームを生成するように、行を調整、置換、および／または修正することによって、ビデオフレームを追加する、または組み合わせることができる。

図７は、実施形態による、無効行を置換するように構成されるモジュール７００のシステムブロック図である。モジュール７００は、行有効化モジュール７２０と、セレクタ７３０と、フレームバッファモジュール７１０とを含む。いくつかの実施形態では、モジュール７００は、画像データモジュール７０５を含むことができる。他の実施形態では、画像データモジュール７０５は、モジュール７００から分離することができる。いくつかの実施形態では、モジュール７００は、図２および３に関して上記で説明される画像処理モジュール２２０および３２０等の画像処理モジュールに含むことができる。他の実施形態では、モジュール７００は、図４に関して上記で説明される撮像デバイス４２０等の、画像処理能力を有するように構成される撮像デバイスに含むことができる。モジュール７００の構成要素は、ソフトウェアベース、またはハードウェアベースおよびソフトウェアベースとなり得る。

画像データモジュール７０５は、所与のビデオフレームの１つ以上の行と関連付けられる情報を含む、ビデオフレーム情報を記憶するように構成される。画像データモジュール７０５は、そのビデオフレームからの１つ以上の行と関連付けられる情報を含む、出力Ｏ７１を生成するように構成される。画像データモジュール７０５は、出力Ｏ７１を行有効化モジュール７２０およびセレクタ７３０に送信するように構成される。

行有効化モジュール７２０は、画像データモジュール７０５から出力Ｏ７１を受信するように構成される。行有効化モジュール７２０は、受信した行が有効であるか無効であるかを決定するように構成される。有効性決定は、例えば、行内の有効ピクセルの数または割合、行内の飽和ピクセルの数または割合、および／またはビデオフレームの時間インスタンスの前の時間インスタンスに関係する１つ以上のビデオフレーム内の関連行の有効性に基づくことができる。例えば、有効生決定は、異なるフレーム内の関連行（例えば、同じ場所の行）が有効であるか無効であるかに基づくことができる。行有効化モジュール７２０は、画像データモジュール７０５から受信される行が有効であるか無効であるかを示す、出力Ｏ７２を生成するように構成される。

セレクタ７３０は、画像データモジュール７０５からの出力Ｏ７１とフレームバッファモジュール７１０からの出力Ｏ７４との間で選択するように構成される。選択された出力は、セレクタ７３０を通して、セレクタ７３０によって生成される出力Ｏ７３に移送される。行有効化モジュール７２０からの出力Ｏ７１が、画像データモジュール７０５から受信された行が有効であると示すときに、セレクタ７３０は、出力Ｏ７１を選択し、出力Ｏ７１に含まれる情報を出力Ｏ７３に移送するように構成される。出力Ｏ７３の中の有効行情報はまた、フレームバッファモジュール７１０に記憶される。行有効化モジュール７２０からの出力Ｏ７１が、画像データモジュール７０５から受信された行が無効であると示すときに、セレクタ７３０は、出力Ｏ７４を選択し、出力Ｏ７４に含まれる情報を出力Ｏ７３に移送するように構成される。この点において、無効行は、バッファモジュール７１０の中の最後の有効行と置換される。

医療処置（例えば、砕石手技）中に結石において生成される燃焼閃光が、撮像デバイスにおける電力供給電圧またはオンチップバイアス電圧への変化をもたらし得る、撮像デバイスの中の大きな光電流（すなわち、光学的に生成された電流）を誘発することができるため、所与の撮像デバイスによって生成されるビデオ出力が影響を及ぼされ得る。これらの供給電圧の変化は、特に、電荷または電圧オフセット（例えば、ブラックレベルまたはゼロ光レベル）に関して、電磁放射へのピクセル反応（例えば、光反応）に影響を及ぼし得る。供給電圧変動の結果として電荷または電圧オフセットに発生する変化を補償または補正するためには、例えば、図４に関して上記で説明される暗ピクセル４３２等の撮像デバイス内の暗ピクセルを、異なる時間のインスタンスで異なるフレーム上で行われる測定に基づいて時間オフセット変化を決定するために使用することができる。

図８は、実施形態による、ピクセルオフセットの変化を補償するように構成されるモジュール８００の略ブロック図である。モジュール８００は、暗参照ピクセルモジュール８７０と、時間低域フィルタモジュール８８０と、加算器８９０とを含む。いくつかの実施形態では、モジュール８００は、画像データモジュール８０５を含むことができる。他の実施形態では、画像データモジュール８０５は、モジュール８００から分離することができる。いくつかの実施形態では、モジュール８００は、図２および３に関して上記で説明される画像処理モジュール２２０および３２０等の画像処理モジュールに含むことができる。他の実施形態では、モジュール８００は、図４に関して上記で説明される撮像デバイス４２０等の、画像処理能力を有するように構成される撮像デバイスに含むことができる。モジュール８００の構成要素は、ソフトウェアベース、またはハードウェアベースおよびソフトウェアベースとなり得る。

画像データモジュール８０５は、所与のビデオフレームの１つ以上の行と関連付けられる情報を含む、ビデオフレーム情報を記憶するように構成される。画像データモジュール８０５は、ビデオフレームと関連付けられる暗ピクセル情報を含むことができる。画像データモジュール８０５は、そのビデオフレームからの１つ以上の行と関連付けられる情報、および／またはそのビデオフレームと関連付けられる暗ピクセル情報を含む、出力Ｏ８１を生成するように構成される。画像データモジュール８０５は、ビデオフレーム情報を加算器８９０に送信し、暗ピクセル情報を暗参照ピクセルモジュール８７０に送信するように構成される。

暗参照ピクセルモジュール８７０は、ビデオフレームの１つ以上の行と関連付けられる暗ピクセル情報を受信するように構成される。暗参照ピクセルモジュール８７０は、暗ピクセル情報を収集、組織化、および／または処理するように構成される。いくつかの実施形態では、暗参照ピクセルモジュール８７０は、１つ以上のビデオフレームと関連付けられる暗ピクセル情報を記憶するバッファ（図示せず）を含むことができる。暗参照ピクセルモジュール８７０は、暗参照ピクセルモジュール８７０によって受信および／または処理される暗ピクセル情報と関連付けられる情報を含む、出力Ｏ８２を生成するように構成される。

時間低域フィルタモジュール８８０は、暗参照ピクセルモジュール８７０から出力Ｏ８２を受信するように構成される。時間低域フィルタモジュール８８０は、ビデオフレームと関連付けられる暗ピクセル情報、またはビデオフレームの時間の前の時間にあるビデオフレームと関連付けられる暗ピクセル情報を時間的および／または空間的にフィルタにかけるように構成される。例えば、時間低域フィルタモジュール８８０の中で発生するフィルタリングは、現在のビデオフレームから、および／または１つ以上の以前のビデオフレームからの暗ピクセル情報に基づくことができる。時間低域フィルタモジュール８８０によって提供されるフィルタリングは、特に、後に大きい利得がビデオフレームと関連付けられる情報に適用されたときに、撮像デバイス内の通常レベルの雑音がビデオ出力の中の画像を乱すことを防止または低減するために使用することができる。時間低域フィルタモジュール８８０は、フィルタにかけられた暗ピクセル情報を含む、出力Ｏ８３を生成するように構成される。加算器８９０は、画像データモジュール８０５からの出力Ｏ８１の中のビデオフレーム情報から、出力Ｏ８３の中のフィルタにかけられた暗ピクセルを差し引くように構成される。ビデオフレーム情報からフィルタにかけられた暗ピクセル情報を差し引くことによって、モジュール８００は、医療デバイスの動作と関連付けられる燃焼閃光に起因する供給電圧の変動から撮像デバイスによって生成される電荷または電圧オフセットの変化を補償することができる。

図９は、実施形態による、無有効を置換するように、およびピクセルオフセットの変化を補償するように構成されるモジュール９００の略ブロック図である。モジュール９００は、暗参照ピクセルモジュール９７０と、時間低域フィルタモジュール９８０と、高速定着フィルタモジュール９９５と、セレクタ９４０と、フレームバッファモジュール９１０と、閃光検出器モジュール９１５（例えば、砕石術閃光検出器モジュール）と、セレクタ９３０と、加算器９９０とを含む。いくつかの実施形態では、モジュール９００は、画像データモジュール９０５を含むことができる。他の実施形態では、画像データモジュール９０５は、モジュール９００から分離することができる。いくつかの実施形態では、モジュール９００は、図２および３に関して上記で説明される画像処理モジュール２２０および３２０等の画像処理モジュールに含むことができる。他の実施形態では、モジュール９００は、図４に関して上記で説明される撮像デバイス４２０等の、画像処理能力を有するように構成される撮像デバイスに含むことができる。モジュール９００の構成要素は、ソフトウェアベース、またはハードウェアベースおよびソフトウェアベースとなり得る。

画像データモジュール９０５は、所与のビデオフレームの１つ以上の行と関連付けられる情報を含む、ビデオフレーム情報を記憶するように構成される。画像データモジュール９０５は、ビデオフレームと関連付けられる暗ピクセル情報を含むことができる。画像データモジュール９０５は、そのビデオフレームからの１つ以上の行と関連付けられる情報、および／またはそのビデオフレームと関連付けられる暗ピクセル情報を含む、出力Ｏ９１を生成するように構成される。画像データモジュール９０５は、出力Ｏ９１の中のビデオフレーム情報を、セレクタ９３０、フレームバッファモジュール９１０、および／または閃光検出器モジュール９１５に送信するように構成される。画像データモジュール９０５は、出力Ｏ９１の中の暗ピクセル情報を暗参照ピクセルモジュール９７０に送信するように構成される。

閃光検出器モジュール９１５は、ビデオフレームからの１つまたは複数の受信した行が有効であるか無効であるかを決定するように構成される。閃光検出器モジュール９１５は、例えば、ビデオフレームからの行の有効性に基づいて、閃光または類似電磁放射が医療デバイスと関連して発生するときを決定するように構成される。閃光検出器モジュール９１５は、画像データモジュール７０５から受信される行が有効であるか無効であるかを示す、出力Ｏ９５を生成するように構成される。閃光検出器モジュール９１５は、行が有効行であると決定されるときに、フレームバッファモジュール９１０上での有効行の記憶を可能にするように構成される。

セレクタ９３０は、画像データモジュール９０５からの出力Ｏ９１とフレームバッファモジュール９１０からの出力Ｏ９７との間で選択するように構成される。選択された出力は、セレクタ９３０を通して、セレクタ９３０によって生成される出力Ｏ９６に移送される。閃光検出器９１５からの出力Ｏ９１が、画像データモジュール９０５から受信された行が有効であると示すときに、セレクタ９３０は、出力Ｏ９１を選択し、出力Ｏ９１に含まれる情報を出力Ｏ９６に移送するように構成される。出力Ｏ９６の中の有効行情報はまた、フレームバッファモジュール９１０に記憶される。閃光検出器９１５からの出力Ｏ９１が、画像データモジュール９０５から受信された行が無効であると示すときに、セレクタ９３０は、出力Ｏ９７を選択し、出力Ｏ９７に含まれる情報を出力Ｏ９６に移送するように構成される。フレームバッファモジュール９１０は、閃光検出器９１５によって無効と見なされる受信した行の少なくとも一部分を置換または補正するために使用することができる、有効行（例えば、以前のフレームからの有効行）と関連付けられる情報を、出力Ｏ９６に含むように構成される。例えば、無効行は、フレームバッファモジュール９１０に記憶された最後の有効行と置換することができる。

暗参照ピクセルモジュール９７０および時間低域フィルタモジュール９８０は、それぞれ、図８に関して上記で説明される暗参照ピクセルモジュール８７０および時間低域フィルタモジュール８８０と同様になり得る。暗参照ピクセルモジュール９７０は、暗参照ピクセルモジュール９７０によって受信および／または処理される暗ピクセル情報と関連付けられる情報を含む、出力Ｏ９２を生成するように構成される。出力Ｏ９２は、時間低域フィルタモジュール９８０および高速定着フィルタモジュール９９５によって受信される。高速定着フィルタモジュール９９５は、ビデオフレームと関連付けられる暗ピクセル情報、またはビデオフレームの時間の前の時間（例えば、相対的時間）にあるビデオフレームと関連付けられる暗ピクセル情報を時間的および／または空間的にフィルタにかけるように構成される。

セレクタ９４０は、時間低域フィルタモジュール９８０からの出力Ｏ９３と高速定着フィルタモジュール９９５からの出力Ｏ９４との間で選択するように構成される。選択された出力は、セレクタ９４０を通して、セレクタ９４０によって生成される出力Ｏ９８に移送される。閃光検出器９１５からの出力Ｏ９１が、画像データモジュール９０５から受信された行が有効であると示すときに、セレクタ９４０は、出力Ｏ９３を選択し、出力Ｏ９３に含まれる情報を出力Ｏ９８に移送するように構成される。閃光検出器９１５からの出力Ｏ９１が、画像データモジュール９０５から受信された行が無効であると示すときに、セレクタ９４０は、出力Ｏ９４を選択し、出力Ｏ９４に含まれる情報を出力Ｏ９８に移送するように構成される。この点において、画像データモジュール９０５から受信される所定の数の行が無効であるとき、高速定着フィルタモジュール９９５が選択されることが望ましい。高速定着モードでは、次の有効行画像データモジュール９０５から受信されるまで、データをフレームバッファモジュール９１０の中にバッファすることができる。暗参照ピクセル情報は、暗参照ピクセル情報の個別サンプルの一部である雑音の大部分を取り消すか、または補償するように、十分に大量の情報サンプルが得られるまで収集される。補償された暗参照ピクセル情報は、ビデオデータ情報から差し引かれる電荷または電圧オフセットを決定するように平均化することができる。

加算器９９０は、セレクタＯ９３からの出力Ｏ９６の中のビデオフレーム情報から、セレクタ９４０からの出力Ｏ９８の中の暗ピクセル情報（例えば、オフセット情報）を差し引いて、出力Ｏ９９を生成するように構成される。ビデオフレーム情報から暗ピクセル情報を差し引くことによって、モジュール９００は、無効行を補償し、医療デバイスの動作と関連付けられる燃焼閃光に起因する供給電圧の変動から撮像デバイスによって生成される電荷または電圧オフセットの変化を補償することができる。

図１０は、別の実施形態による、ピクセルオフセットの変化を補償するように構成されるモジュール１０００の略ブロック図である。モジュール１０００は、暗ピクセル係数モジュール１０３５と、平均モジュール４５と、暗参照ピクセルモジュール１０７０と、時間低域フィルタモジュール８０と、加算器１０５５、６５、および１０９０とを含む。いくつかの実施形態では、モジュール１０００は、画像データモジュール１００５および／またはキャリブレーションデータモジュール１０２５を含むことができる。他の実施形態では、画像データモジュール１００５および／またはキャリブレーションデータモジュール１０２５は、モジュール１０００から分離することができる。いくつかの実施形態では、モジュール１００は、図２および３に関して上記で説明される画像処理モジュール２２０および３２０等の画像処理モジュールに含むことができる。他の実施形態では、モジュール１０００は、図４に関して上記で説明される撮像デバイス４２０等の、画像処理能力を有するように構成される撮像デバイスに含むことができる。モジュール１０００の構成要素は、ソフトウェアベース、またはハードウェアベースおよびソフトウェアベースとなり得る。

画像データモジュール１００５、暗参照ピクセルモジュール１０７０、および時間低域フィルタモジュール８０は、図８に関して上記で説明される、画像データモジュール８０５、暗参照ピクセルモジュール８７０、および時間低域フィルタモジュール８８０と同様である。この点において、画像データモジュール１００５からの出力Ｏ１０１は、そのビデオフレームからの１つ以上の行と関連付けられる情報、および／またはそのビデオフレームと関連付けられる暗ピクセル情報を含む。時間低域フィルタモジュール８０は、フィルタにかけられた暗ピクセル情報を含む、出力Ｏ１０３を生成するように構成される。

この実施形態では、製造過程の結果としてピクセル配列にわたって発生する、漏れ（暗）電流および／または他のオフセット（例えば、ソースフォロワ閾値電圧）の通常の変動に対処するように、ビデオフレーム内の各ピクセルのオフセットを個別に補正または補償することができる。

キャリブレーションデータモジュール１０２５は、所与の撮像デバイスのオフセット補正係数と関連付けられる情報を記憶するように構成される。一実施例では、オフセット補正係数は、製造またはシステムキャリブレーション動作中に取得または決定される、撮像デバイスのアレイの中の各暗ピクセルと関連付けられる電荷または電圧オフセットを含むことができる。キャリブレーションデータモジュール１０２５は、オフセット補正係数と関連付けられる情報を含む、出力Ｏ１０２を生成するように構成される。暗参照ピクセル係数モジュール１０３５は、オフセット補正係数と関連付けられる情報を処理するように構成される。平均モジュール１０４５は、暗参照ピクセル係数モジュール１０３５からのオフセット補正係数と関連付けられる、処理された情報を平均化するように構成される。平均モジュール１０４５は、平均オフセット補正係数を含む出力Ｏ１０３を生成するように構成される。

加算器１０５５は、時間低域フィルタモジュール１０８０からの出力Ｏ１０３から、平均モジュール１０４５からの出力Ｏ１０４を差し引いて、出力Ｏ１０５を生成するように構成される。加算器６５は、加算器１０５５からの出力Ｏ１０５およびキャリブレーションデータモジュール１０２５からの出力Ｏ２を加算して、出力Ｏ６を生成するように構成される。加算器１０９０は、画像データモジュール１００５からの出力Ｏ１０１から、加算器１０６５からの出力Ｏ１０６を差し引いて、出力Ｏ１０７を生成するように構成される。出力Ｏ１０７は、キャリブレーション状態と動作状態との間のオフセット差を補償するように調整されている、ビデオフレーム情報を含む。

図１１は、実施形態による、無有効行を置換するための方法を図示するフローチャートである。１１００では、所与のフレームと関連付けられる行が、撮像デバイス（例えば、画像センサ）から受信される。１１１０では、受信した行の中の飽和ピクセルの数が決定される。飽和ピクセルの数（または割合が）第１の所定の閾値数（または閾値割合）ＴＨ１を上回るとき、過程は、受信した行が無効行であると決定されるか、または見なされる、１１５０へ進む。飽和ピクセルの数（または割合が）第１の所定の閾値数（または閾値割合）ＴＨ１以下であるとき、過程は１１２０へ進む。一実施例では、飽和ピクセルの割合が、行の中のピクセルの総数の５０％を上回るときに、受信した行を無効であると見なすことができる。

１１２０では、受信した行を含む同じフレーム内の前の行が無効行であり、現在の行の中の飽和ピクセルの数（または割合）が第２の所定の閾値数（または閾値割合）ＴＨ２を上回り、ＴＨ２がＴＨ１よりも低いとき、次いで、過程は、受信した行が無効行であると決定されるか、または見なされる、１１５０へ進む。そうでなければ、過程は、受信した行が有効行であると決定されるか、または見なされる、１１３０へ進む。前の無効行は、無効と見なされた直前の行、または無効と見なされた受信した行を含む、フレームの所定の数の前の行内の行を含むことができる。１１３０の後で、１１４０では、有効行であると見なされる受信した行を、バッファに記憶することができる。

１１５０の後で、１１６０では、複数の連続フレーム（例えば、Ｎより多くの連続フレーム）内の受信した行と同じ行が無効業であると見なされると、過程は、１１５０で無効行であると見なされた、受信した行が、ここでは有効行であると見なされる、１１８０へ進むことができる。そうでなければ、過程は、無効行であると見なされる受信した行が、受信した行を含むフレームの時間よりも早い時間（例えば、相対的時間）にあるフレームからの有効行を伴う受信した行を含む、フレーム内で置換される、１１７０へ進むことができる。例えば、無効行であると見なされる受信した行を置換するために使用される有効行は、１１４０におけるバッファに由来することができる。

上記の１１６０および１１８０に関して説明される補正動作は、同じ場所での連続無効行の結果として、ビデオ出力の中の画像の領域が相当な期間（例えば、１００ミリ秒）にわたって静止することを防止するために使用することができる。そのような長い期間は、無効行の識別および処理を、人間の観察者（例えば、医療施術者）にとってより可視的にし、ときには、対処されることが求められるアーチファクトよりも好ましくなくすることができる。一実施例では、毎秒３０フレーム（ｆｐｓ）のフレームレートで動作するときに、無効行が有効であると見なされる前に、１１６０における連続フレームの数Ｎを、例えば、３つの連続置換に設定することができる。１１６０における連続フレームの数（Ｎ）の選択は、見かけの待ち時間、および／または無効行としての行の間違った分類または誤分類の可能性あるいは確率を含む、種々の要因に依存し得る
図１２は、実施形態による、医療デバイス（例えば、砕石器）に近接して撮像デバイスを使用する方法を図示するフローチャートである。ステップ１２００では、図２〜４に関して上記で説明される撮像デバイス２２８、３２８、および４２８等の撮像デバイスが、患者の体内に挿入される。１２１０では、１２００での挿入後に、図１に関して上記で説明される医療デバイス１２４等の医療デバイスが、例えば、電磁エネルギーまたは同期パルスを患者の身体に伝達（例えば、放出）するように起動される。撮像デバイスは、例えば、医療デバイスの動作の周波数（例えば、エネルギーまたはパルス周波数）の少なくとも２倍のフレーム周波数で、複数のフレーム（例えば、ビデオフレーム）を生成する。撮像デバイスは、医療デバイスからの同期パルスまたは医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、複数のフレームから少なくとも現在のフレームを終了する。複数のフレームからの各フレーム内の各業の開始またはリセット時間は、同じフレーム内の隣接行の開始またはリセット時間からオフセットされる。

１２２０では、医療デバイスから患者の身体に伝達（例えば、放出）される電磁放射またはエネルギーの電力レベルが調整される。一実施例では、電力レベルは、医療施術者によって調整される。別の実施例では、電力レベルは、例えば、図２に関して上記で説明される制御モジュール２１０等の医療デバイスによって、所定のレベルに調整される。１２３０では、撮像デバイスからの複数のフレームのフレーム周波数またはフレームレートが調整される。１２４０では、複数のフレームからの１つのフレームを、有効フレームであると決定することができる。いくつかの実施形態では、有効フレームは、複数のフレームからの２つ以上のフレームの有効部分を追加すること、または組み合わせることに起因することができる。有効フレームであると決定されるフレームを含む、複数の有効フレームを生成することができる。複数の有効フレームは、複数のフレームのフレーム周波数よりも低いフレーム周波数を有する。

種々の実施形態が上記で説明されているが、それらは、限定ではなく一例のみとして提示されていることを理解されたい。例えば、本明細書で説明される撮像システムは、説明される異なる実施形態の構成要素および／または特徴の種々の組み合わせおよび／または下位の組み合わせを含むことができる。画像処理モジュールの実施形態は、本明細書で説明される撮像デバイスを伴わずに提供することができる。他の実施形態では、画像処理モジュールの構成要素および／または特徴は、撮像デバイスに含むことができる。医療デバイスの使用を参照し、医療処置（例えば、砕石手技）に関して説明されているが、撮像デバイスおよび画像処理モジュール、ならびに撮像デバイスおよび画像処理モジュールを使用する方法は、他の症状の治療で使用できることを理解されたい。

いくつかの実施形態は、プロセッサと、種々のプロセッサ実装動作を行うための命令またはコンピュータコードをその上に有する、関連プロセッサ可読媒体を含んでもよい。そのようなプロセッサは、組み込みマイクロプロセッサ、コンピュータシステムの一部としてのマイクロプロセッサ、特定用途向け集積回路（「ＡＳＩＣ」）、およびプログラム可能論理デバイス（「ＰＬＤ」）等のハードウェアモジュールとして実装されてもよい。そのようなプロセッサはまた、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｃ、アセンブリ、ハードウェア記述言語、または任意の他の好適なプログラミング言語としてのプログラミング言語で、１つ以上のソフトウェアモジュールとして実装されてもよい。

いくつかの実施形態によるプロセッサは、１つまたは複数の特定の目的で特別に設計および構築されている、メディアおよびコンピュータコード（コードと呼ぶこともできる）を含んでもよい。プロセッサ可読媒体の実施例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープ等の磁気記憶媒体、コンパクトディスク／デジタルビデオディスク（「ＣＤ／ＤＶＤ」）、コンパクトディスク読み出し専用メモリ（「ＣＤ-ＲＯＭ」）、およびホログラフィックデバイス等の光学記憶媒体、ならびに光ディスクおよび読み出し専用メモリ（「ＲＯＭ」）およびランダムアクセスメモリ（「ＲＡＭ」）デバイス等の磁気光学記憶媒体を含むが、それらに限定されない。コンピュータコードの実施例は、マイクロコードまたはマイクロ命令、コンパイラによって生成されるような機械命令、およびインタープリタを使用してコンピュータによって実行される高次命令を含有するファイルを含むが、それらに限定されない。例えば、実施形態は、Ｊａｖａ（登録商標）、Ｃ＋＋、または他のオブジェクト指向プログラミング言語および開発ツールを使用して実装されてもよい。コンピュータコードの付加的な実施例は、制御信号、暗号化コード、および圧縮コードを含むが、それらに限定されない。

本開示の多くの特徴および利点が、詳細な明細書から明白であり、したがって、本開示の真の精神および範囲内に入る、本開示の全てのそのような特徴および利点を対象とすることが添付の請求項によって意図されている。さらに、多数の修正および変化例が、当業者に容易に思い浮かぶため、図示および説明される正確な構造および動作に本開示を限定することが所望されず、したがって、本開示の範囲内に入る、全ての好適な修正および同等物が用いられてもよい。

Claims (20)

1. 医療デバイスの電磁エネルギー放出パルス周波数よりも大きいフレーム周波数で複数のフレームを生成するように構成される撮像装置であって、該複数のフレームのうちの各フレームは、第１の複数の行を含む、撮像装置と、
   該複数のフレームからの各フレーム内の該第１の複数の行のうちの各行の開始時間を、その同じフレーム内の隣接行の開始時間からオフセットするように構成される、電子シャッタモジュールと、
   該複数のフレームの少なくとも一部分に基づいて複数の有効フレームを生成するように構成される画像処理モジュールであって、該複数の有効フレームは、該複数のフレームの該フレーム周波数よりも低いフレーム周波数を有する、画像処理モジュールと
   を備える、装置。
2. 前記電子シャッタモジュールは、前記医療デバイスからの同期パルスおよび該医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、前記複数のフレームからの現在のフレームを終了する、請求項１に記載の装置。
3. 前記撮像装置は、第２の複数の行を含む、アドレス可能ピクセル配列を有する固体撮像装置であり、該第２の複数の行のうちの各行は、前記複数のフレームからの１つのフレーム内の前記第１の複数の行からの１つの行と関連付けられる、請求項１に記載の装置。
4. 前記複数のフレームからの１つのフレームの有効部分は、少なくとも１つの有効行であり、前記複数の有効フレームからの１つの有効フレームに含まれる、請求項１に記載の装置。
5. 前記画像処理モジュールは、前記複数のフレームからの少なくとも２つの隣接フレームの有効部分を組み合わせて、前記複数の有効フレームから１つの有効フレームを生成するように構成される、時間フィルタを含む、請求項１に記載の装置。
6. 前記撮像装置は、完全である電源オンリセットおよび前記医療デバイスからの同期信号のうちの少なくとも１つに応じて、前記複数のフレームから初期フレームを読み出すように構成される、請求項１に記載の装置。
7. 前記複数のフレームからの第１のフレームは、前記複数のフレームからの第２のフレームの前にあり、前記電子シャッタモジュールは、前記医療デバイスからの同期パルスおよび前記医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、前記第１のフレームが終了された後に、前記第２のフレームの開始にリセットするように構成される、請求項１に記載の装置。
8. 前記複数の有効フレームからの１つの有効フレームは、少なくとも１つの有効行を含み、前記少なくとも１つの有効行は、所定の閾値数を上回る有効ピクセルの数を有する、請求項１に記載の装置。
9. 前記複数のフレームからの第１のフレームは、前記複数のフレームからの第２のフレームの前にあり、前記画像処理モジュールは、前記第２のフレームの無効部分を、前記第１のフレームからの関連有効部分と置換するように構成される、請求項１に記載の装置。
10. 前記画像処理モジュールは、前記複数のフレームからの少なくとも１つのフレームの有効部分を記憶するように構成される、バッファを含む、請求項１に記載の装置。
11. 前記画像処理モジュールは、前記撮像装置から受信される暗参照ピクセル情報および前記画像処理モジュールに記憶されるキャリブレーション情報のうちの少なくとも１つに基づいて、前記複数の有効フレームからの１つの有効フレーム内のピクセルと関連付けられる照明値を調整するように構成される、請求項１に記載の装置。
12. 前記画像処理モジュールは、前記撮像装置から受信される暗参照ピクセル情報に基づいて出力を生成するように構成される、時間低域フィルタモジュールを含み、前記画像処理モジュールは、前記時間低域フィルタからの前記出力に基づいて、前記複数の有効フレームからの１つの有効フレーム内のピクセルと関連付けられる照明値を調整するように構成される、請求項１に記載の装置。
13. 前記画像処理モジュールは、前記撮像装置から受信される暗参照ピクセル情報に基づいて出力を生成するように構成される、高速定着フィルタモジュールを含み、前記高速定着フィルタモジュールは、前記医療デバイスからの同期パルスおよび前記医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて作動させられ、前記画像処理モジュールは、前記高速定着フィルタからの前記出力に基づいて、前記複数の有効フレームからの１つの有効フレーム内のピクセルと関連付けられる照明値を調整するように構成される、請求項１に記載の装置。
14. 前記装置は、内視鏡を含む、請求項１に記載の装置。
15. 受容した電磁エネルギーに基づいて、撮像装置で複数のビデオフレームを画定することであって、該撮像装置は、画像処理モジュールに動作可能に連結される、ことと、
    該受容した電磁エネルギーに応じて、該複数のビデオフレームからの１つのビデオフレーム内の行が無効行であるかどうかを決定することであって、該複数のビデオフレームからの第１のビデオフレームは、該複数のビデオフレームからの第２のビデオフレームの前にある、ことと、
    第１の有効ビデオフレームを生成するように、該第２のビデオフレーム内の少なくとも１つの無効行を、該第１のビデオフレームからの関連有効行と置換することと、
    複数の有効ビデオフレームを生成することであって、該複数の有効ビデオフレームは、該複数のビデオフレームのフレーム周波数よりも低いフレーム周波数を有する、ことと
    を含む、方法。
16. 第１の周波数で前記複数のビデオフレームを生成することをさらに含み、該第１の周波数は、医療デバイスの電磁エネルギー放出パルス周波数よりも大きい、請求項１５に記載の方法。
17. 前記第２のビデオフレーム内の行は、前記第１のビデオフレーム内の関連行が無効であるときに無効であり、前記第２のビデオフレーム内の行内の有効ピクセルの数は、所定の閾値数を下回る、請求項１５に記載の方法。
18. 無効行が前記複数のビデオフレームからの所定の数の連続ビデオフレーム内で置換された後に、前記無効行を有効行であると見なすことをさらに含む、請求項１５に記載の方法。
19. 患者の身体に撮像装置を挿入することと、
    電磁エネルギーを該患者の該身体に伝達するように、医療デバイスを起動することと、
    該医療デバイスの電磁エネルギー放出パルス周波数よりも大きいフレーム周波数で複数のフレームを生成することであって、該撮像装置は、該医療デバイスからの同期パルスおよび該医療デバイスと関連付けられる電磁エネルギーのうちの少なくとも１つに応じて、該複数のフレームからの少なくとも１つのフレームを終了するように構成される、ことと、
    該複数のフレームからの各フレーム内の各行の開始時間を、その同じフレーム内の隣接行の開始時間からオフセットすることと
    を含む、方法。
20. 前記医療デバイスから前記患者の前記身体に伝達される前記電磁エネルギーの電力レベルを調整することと、
    前記複数のフレームの前記フレーム周波数を調整することと、
    該複数のフレームからの１つのフレームが第１の有効フレームであるかどうかを決定することと、
    該第１の有効フレームを含む複数の有効フレームを生成することであって、該複数の有効フレームは、該複数のフレームのフレーム周波数よりも低いフレーム周波数を有する、ことと
    を含む、請求項１９に記載の方法。

Images