JP7722365B2 - 手術中に画像取込装置を制御するためのシステム、方法、および、コンピュータプログラム製品 - Google Patents

Description

本開示は、手術中に画像取込装置を制御するための方法、装置、およびシステムに関する。

本明細書において提供される「背景技術」の説明は、本開示の文脈を一般的に提示することを目的としている。背景技術の箇所において説明される本発明の発明者の研究、ならびに他の理由で出願の時点における先行技術として認めることができない説明の態様は、明示的にも、言外にも、本開示に対する先行技術として認められるものではない。

近年において、医療システムおよび医療機器における著しい技術的発展が達成されている。ロボットシステムなどのコンピュータ支援手術システムが、今や手術時に人間の外科医と共に働くことが多い。これらのコンピュータ支援手術システムは、マスタースレーブ型のロボットシステムを含み、人間の外科医は、手術時にスレーブ装置の動作を制御するために、マスタコンソールを操作する。

ロボットカメラシステムなどのコンピュータ支援カメラシステムが、手術環境において人間のオペレータまたは外科医に視覚情報を提供するために使用される。これらのコンピュータ支援カメラシステムは、シーン内の手術動作の眺めを撮影して提供する単一のカメラを備えることができる。あるいは、これらのコンピュータ支援カメラシステムは、各々がシーン内の手術動作の所与の眺めを撮影する複数のカメラを含むことができる。

しかしながら、手術シーンの眺めが、ツール、外科医の手、組織変形、または他の動的要素などの要素によって妨げられることが多い。すなわち、手術シーンは、多くの場合に、きわめて複雑であり、内視鏡または顕微鏡などの医療画像取込装置から得られる眺めを遮る可能性がある多数の動的要素を含む。

これらの障害物は、シーン内の変化を外科医またはロボットシステムに知らせるために必要な重要な視覚情報の捕捉および提供を、遅延させる可能性がある。

手術環境において、外科医への重要な視覚情報の提供の遅延は、重大な結果をもたらす可能性がある。

本開示の目的は、これらの問題に対処することである。

本開示の第１の態様によれば、手術中に医療画像取込装置を制御するためのシステムであって、第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、医療画像取込装置から取得し、第１の画像データに基づく第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の１つ以上の所望の画像取込特性を決定し、医療画像取込装置の１つ以上の所望の画像取込特性に従って、第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて医療画像取込装置を制御するように構成された回路を含んでいるシステムが提供される。

本開示の第２の態様によれば、手術中に医療画像取込装置を制御する方法であって、第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、医療画像取込装置から取得するステップと、第１の画像データに基づく第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の１つ以上の所望の画像取込特性を決定するステップと、医療画像取込装置の１つ以上の所望の画像取込特性に従って、第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて医療画像取込装置を制御するステップとを含む方法が提供される。

本開示の第３の態様によれば、命令を含んでいるコンピュータプログラム製品が提供され、これらの命令は、プログラムがコンピュータによって実行されたときに、医療画像取込装置を制御する方法をコンピュータに実行させ、この方法は、第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、医療画像取込装置から取得するステップと、第１の画像データに基づく第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の１つ以上の所望の画像取込特性を決定するステップと、医療画像取込装置の１つ以上の所望の画像取込特性に従って、第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて医療画像取込装置を制御するステップとを含む。

本開示の態様は、コンピュータ支援カメラシステムが、撮影されるシーンの手術における有用性および予測可能性に対する予測可能な将来の変化の影響が、変化が生じる前にカメラシステムの動きによって補償されるように、カメラの位置を予測的に最適化することを可能にする。これにより、手術中の重要な視覚情報の捕捉および外科医または手術ロボットシステムへの提供における遅延が低減される。

以上の段落は、一般的な紹介として提示されており、以下の特許請求の範囲の技術的範囲を限定しようとするものではない。記載される実施形態は、さらなる利点と共に、添付の図面と併せて検討される以下の詳細な説明を参照することによって、最もよく理解されるであろう。

本開示および付随する多数の利点のより完全な認識が、以下の詳細な説明を参照し、添付の図面に関連して検討することによってよりよく理解されるがゆえに、容易に得られるであろう。

図１は、本開示に係る医療用支持アーム装置を適用することができる内視鏡手術システムの概略の構成の一例を示す図である。 図２は、図１に示したカメラヘッドおよびＣＣＵ（カメラ制御ユニット）の機能構成の一例を示すブロック図である。 図３は、本開示に係るマスタ装置の使用例を示す説明図である。 図４は、本開示の実施形態による手術中に画像取込装置を制御するための装置を示している。 図５Ａは、本開示の実施形態を適用することができる例示的な状況を示している。 図５Ｂは、本開示の実施形態による例示的な第１の画像データを示している。 図５Ｃは、本開示の実施形態による、手術シーンの予測アピアランスの生成のタイムチャートを示している。 図５Ｄは、本開示の実施形態による例示的な第２の画像データを示している。 図５Ｅは、本開示の実施形態による手術中に画像取込装置によって得られた例示的な画像を示している。 図６Ａは、本開示の実施形態による手術中に画像取込装置を制御するための装置を示している。 図６Ｂは、本開示の実施形態を適用することができる例示的な状況を示している。 図７Ａは、現在の実施形態によるコンピュータ支援手術システムの例示的な構成を示している。 図７Ｂは、本開示の実施形態を適用することができる例示的な状況を示している。 図７Ｃは、本開示の実施形態を適用することができる例示的な状況を示している。 図７Ｄは、本開示の実施形態を適用することができる例示的な状況を示している。 図７Ｅは、本開示の実施形態を適用することができる例示的な状況を示している。 図８は、本開示の実施形態による手術中に画像取込装置を制御する方法を示している。 図９は、本開示の実施形態による手術中に画像取込装置を制御するためのコンピューティング装置を示している。 図１０は、本技術を適用することができるコンピュータ支援手術システムの第１の例を概略的に示している。 図１１は、本技術を適用することができるコンピュータ支援手術システムの第２の例を概略的に示している。 図１２は、本技術を適用することができるコンピュータ支援手術システムの第３の例を概略的に示している。 図１３は、本技術を適用することができるコンピュータ支援手術システムの第４の例を概略的に示している。 図１４は、アームユニットの一例を概略的に示している。

ここで図面を参照すると、同様の参照番号は、いくつかの図を通して、同一の部分または対応する部分を指している。

＜＜１．基本構成＞＞
まず、本開示の実施形態を適用することができる内視鏡手術システムの基本構成を、本開示の図１～図４を参照して説明する。

＜１．１．内視鏡手術システムの構成例＞
図１が、本開示に係る技術を適用することができる内視鏡手術システム５０００の概略の構成の一例を示す図である。図１は、オペレータ（医師）５０６７が内視鏡手術システム５０００を使用して患者ベッド５０６９上の患者５０７１へと手術を実行している状態を示している。図示のように、内視鏡手術システム５０００は、内視鏡５００１と、その他の手術ツール５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡手術のための種々の装置が搭載されたカート５０３７とで構成される。

内視鏡手術においては、腹壁を切断して腹腔を開放する代わりに、腹壁が、トロカール５０２５ａ～５０２５ｄと呼ばれる複数の管状の開孔器具で穿刺される。次いで、内視鏡５００１の鏡筒５００３およびその他の手術ツール５０１７が、トロカール５０２５ａ～５０２５ｄを通って患者５０７１の体腔へと挿入される。図示の例においては、その他の手術ツール５０１７として、送気チューブ５０１９、エネルギー処置ツール５０２１、および鉗子５０２３が、患者５０７１の体腔に挿入されている。さらに、エネルギー処置ツール５０２１は、高周波電流または超音波振動を使用して、組織の切開および剥離、血管の封止、などを実行する処置ツールである。しかしながら、図示の手術ツール５０１７はあくまでも一例であり、例えばピンセットおよび開創器などの内視鏡手術において一般的に使用される種々の手術ツールを、手術ツール５０１７として使用することができる。

内視鏡５００１によって撮影された患者５０７１の体腔内の手術場所の画像が、表示装置５０４１に表示される。オペレータ５０６７は、表示装置５０４１によってリアルタイムで表示される手術場所の画像を眺めつつ、エネルギー処置ツール５０２１または鉗子５０２３を使用して、例えば患部を切除する処置を実行する。なお、図示されていないが、送気チューブ５０１９、エネルギー処置ツール５０２１、および鉗子５０２３は、手術中に、オペレータ５０６７または助手などによって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベースユニット５０２９から延びるアームユニット５０３１を含む。図示の例において、アームユニット５０３１は、関節部５０３３ａ、５０３３ｂ、および５０３３ｃと、リンク５０３５ａおよび５０３５ｂとで構成される多関節アームであり、アーム制御装置５０４５からの制御によって駆動される。アームユニット５０３１は、内視鏡５００１を接続することができる遠位端を有する。内視鏡５００１は、アームユニット５０３１によって支持され、位置および姿勢が制御される。この構成により、内視鏡５００１の位置の安定な固定を実現することができる。

（内視鏡）
内視鏡５００１は、患者５０７１の体腔へと挿入される遠位端から所定の長さの領域を有する鏡筒５００３と、鏡筒５００３の近位端に接続されたカメラヘッド５００５とで構成される。図示の例においては、堅固な鏡筒５００３を有するいわゆる剛体鏡として構成された内視鏡５００１が示されているが、内視鏡５００１は、可撓な鏡筒５００３を有するいわゆる可撓鏡として構成されてもよい。

鏡筒５００３の遠位端に、対物レンズが嵌め込まれた開口部が設けられている。光源装置５０４３が内視鏡５００１に接続され、光源装置５０４３によって生成された光が、鏡筒５００３の内部を延びる光ガイドによって鏡筒の遠位端へと案内され、対物レンズを通って患者５０７１の体腔内の観察対象に向かって放射される。なお、内視鏡５００１は、直視鏡であっても、斜視鏡であっても、側視鏡であってもよい。

光学系および撮像素子がカメラヘッド５００５の内部に設けられ、観察対象からの反射光（観察光）が、光学系によって撮像素子へと集光される。観察光は撮像素子によって光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が、生成される。画像信号は、ＲＡＷデータとしてカメラ制御ユニット（ＣＣＵ）５０３９に伝えられる。なお、カメラヘッド５００５は、光学系を適切に駆動することによって倍率および焦点距離を調整する機能を備える。

なお、例えば立体視（３Ｄ表示）などに対応するために、複数の撮像素子をカメラヘッド５００５に設けることができる。この場合、観察光を複数の撮像素子の各々へと導くために、複数の中継光学系が鏡筒５００３の内部に設けられる。

（カートに備えられる種々の装置）
ＣＣＵ５０３９は、中央演算処理装置（ＣＰＵ）またはグラフィックス処理装置（ＧＰＵ）などを使用して構成され、内視鏡５００１および表示装置５０４１の動作を一体的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、画像信号に基づく画像を表示するために、例えば現像処理（デモザイク処理）などのさまざまな種類の画像処理を実行する。ＣＣＵ５０３９は、画像処理を施した画像信号を表示装置５０４１へと供給する。また、ＣＣＵ５０３９は、カメラヘッド５００５に制御信号を送信し、カメラヘッド５００５の駆動を制御する。制御信号は、倍率および焦点距離などの撮像条件に関する情報を含むことができる。

表示装置５０４１は、ＣＣＵ５０３９の制御下で、ＣＣＵ５０３９によって画像処理が施された画像信号に基づいて画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）または８Ｋ（水平画素数７６８０×垂直画素数４３２０）などの高解像度の撮影に対応した内視鏡である場合、および／または３Ｄ表示に対応した内視鏡の場合、表示装置５０４１として、上述の内視鏡にそれぞれ適合するように、高解像度の表示が可能な装置および／または３Ｄ表示が可能な装置を使用することができる。４Ｋおよび８Ｋなどの高解像度の撮影に対応した内視鏡の場合、５５インチ以上のサイズの表示装置５０４１を使用することによって、より高い没入感を得ることができる。また、用途に応じて、解像度およびサイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えば発光ダイオード（ＬＥＤ）などの光源を使用して構成され、手術場所を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵなどのプロセッサを使用して構成され、所定のプログラムに従って動作することにより、所定の制御方法に従って支持アーム装置５０２７のアームユニット５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インターフェースである。ユーザは、入力装置５０４７を介して内視鏡手術システム５０００にさまざまな種類の情報および指示を入力することができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体に関する情報および手術の術式に関する情報など、手術に関するさまざまな種類の情報を入力する。さらに、例えば、ユーザは、入力装置５０４７を介して、アームユニット５０３１を駆動する指示、内視鏡５００１を用いた撮像条件（照射光の種類、倍率、焦点距離、など）を変更する指示、エネルギー処置ツール５０２１を駆動する指示、などを入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は、さまざまな既知の入力装置であってよい。例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、および／またはレバーを、入力装置５０４７として適用することができる。入力装置５０４７としてタッチパネルが用いられる場合には、タッチパネルを表示装置５０４１の表示面上に設けてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスおよびヘッドマウントディスプレイ（ＨＭＤ）などのユーザが装着するデバイスであり、さまざまな入力が、これらのデバイスによって検出されるユーザのジェスチャまたは視線に応じて行われる。さらに、入力装置５０４７は、ユーザの動きを検出することができるカメラを含み、さまざまな入力が、カメラによって撮影された画像から検出されるユーザのジェスチャまたは視線に応じて行われる。さらに、入力装置５０４７は、ユーザの声を集めることができるマイクロフォンを含み、さまざまな入力が、マイクロフォンを介して音声によって行われる。このように、入力装置５０４７が非接触なやり方でさまざまな種類の情報を入力できるように構成され、とくには、清浄な領域に属するユーザ（例えば、オペレータ５０６７）が、非清浄な領域に属する機器を非接触なやり方で操作することができる。さらに、ユーザは、手持ちの手術ツールから手を離すことなく機器を操作することができ、したがってユーザの利便性が向上する。

処置ツール制御装置５０４９は、組織の焼灼、切開、または血管の封止などのために、エネルギー処置ツール５０２１の駆動を制御する。送気装置５０５１が、内視鏡５００１による視野の確保およびオペレータの作業空間の確保の目的で、患者５０７１の体腔を膨らませるために、送気チューブ５０１９を介して体腔に気体を送り込む。レコーダ５０５３が、手術に関するさまざまな種類の情報を記録することができる装置である。プリンタ５０５５が、手術に関するさまざまな種類の情報をテキスト、画像、およびグラフなどのさまざまな形式で印刷することができる装置である。

以下で、内視鏡手術システム５０００におけるとくに特徴的な構成を、さらに詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、土台としてのベースユニット５０２９と、ベースユニット５０２９から延びるアームユニット５０３１とを含む。図示の例において、アームユニット５０３１は、複数の関節部５０３３ａ、５０３３ｂ、および５０３３ｃ、ならびに関節部５０３３ｂによって接続された複数のリンク５０３５ａおよび５０３５ｂによって構成されているが、図１は、便宜上、アームユニット５０３１の構成を簡略化した様相で図示している。実際には、関節部５０３３ａ～５０３３ｃならびにリンク５０３５ａおよび５０３５ｂの各々の形状、数、および配置、ならびに関節部５０３３ａ～５０３３ｃの各々の回転軸の方向などは、アームユニット５０３１が所望の自由度を有するように適切に設定される。例えば、アームユニット５０３１を、好ましくは、６自由度以上の自由度を有するように構成することができる。この構成により、内視鏡５００１をアームユニット５０３１の可動範囲内で自由に移動させることが可能であり、したがって内視鏡５００１の鏡筒５００３を所望の方向から患者５０７１の体腔へと挿入することが可能である。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられ、関節部５０３３ａ～５０３３ｃは、アクチュエータの駆動によって所定の回転軸を中心にして回転できるように構成される。アクチュエータの駆動がアーム制御装置５０４５によって制御されるとき、関節部５０３３ａ～５０３３ｃの各々の回転角度が制御され、アームユニット５０３１の駆動が制御される。この構成により、内視鏡５００１の位置および姿勢の制御を実現することができる。このときに、アーム制御装置５０４５は、力制御または位置制御などの種々の既知の制御方法によってアームユニット５０３１の駆動を制御することができる。

例えば、オペレータ５０６７が（フットスイッチ５０５７を含む）入力装置５０４７を介して操作入力を適切に実行し、アームユニット５０３１の駆動が操作入力に応じてアーム制御装置５０４５によって適切に制御されるとき、内視鏡５００１の位置および姿勢を制御することができる。このような制御により、アームユニット５０３１の遠位端の内視鏡５００１を、任意の位置から任意の位置まで移動させ、次いで移動後の位置に不動に支持することができる。なお、アームユニット５０３１を、いわゆるマスタースレーブの様相で操作することができる。この場合、アームユニット５０３１を、手術室から離れた場所に設置された入力装置５０４７を介して、ユーザが遠隔操作することができる。

また、力制御が適用される場合、アーム制御装置５０４５は、ユーザからの外力を受け取り、アームユニット５０３１がこの外力に応じて滑らかに動くように関節部５０３３ａ～５０３３ｃのアクチュエータを駆動するためのいわゆるパワーアシスト制御を実行することができる。この構成によれば、ユーザがアームユニット５０３１に直接触れつつアームユニット５０３１を動かす際に、アームユニット５０３１を比較的軽い力で動かすことができる。したがって、内視鏡５００１をより単純な操作でより直感的に動かすことが可能であり、ユーザの利便性を向上させることができる。

ここで、内視鏡５００１は、一般に、内視鏡手術においてスコピストと呼ばれる医師によって支持されてきた。この点に関し、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になり、したがって手術場所の画像を安定的に得て、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は、必ずしもカート５０３７に設けられなくてもよい。さらに、アーム制御装置５０４５は、必ずしも１つの装置である必要はない。例えば、アーム制御装置５０４５を、支持アーム装置５０２７のアームユニット５０３１の関節部５０３３ａ～５０３３ｃの各々に設けることができ、あるいはアームユニット５０３１の駆動制御は、互いに協働する複数のアーム制御装置５０４５によって実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に手術場所を撮影する際の照射光を供給する。光源装置５０４３は、例えば、ＬＥＤ、レーザ光源、またはこれらの組み合わせによって構成される白色光源を使用して構成される。このときに、白色光源がＲＧＢレーザ光源の組み合わせによって構成される場合、各色（各波長）の出力強度および出力タイミングを高精度に制御することができるため、撮影画像のホワイトバランスを光源装置５０４３において調整することができる。さらに、この場合に、観察対象をＲＧＢレーザ光源の各々からのレーザ光によって時分割の様相で照射し、照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢの各々に対応する画像を時分割の様相で撮影することも可能である。この方法によれば、撮像素子にカラーフィルタを設けることなく、カラー画像を得ることができる。

さらに、光源装置５０４３の駆動を、出力される光の強度を所定の時間ごとに変更するように制御することができる。カメラヘッド５００５の撮像素子の駆動を光の強度の変更のタイミングに同期して制御することで、時分割の様相で画像を取得し、画像を合成することによっていわゆる黒つぶれおよび白とびのない、いわゆる高ダイナミックレンジの画像を生成することができる。

さらに、光源装置５０４３を、特殊光観察に適合した所定の波長帯域の光を供給できるように構成してもよい。特殊光観察においては、例えば、体組織における光の吸収の波長依存性が利用され、通常の観察における照射光（換言すると、白色光）と比べて狭い帯域の光を放射することにより、粘膜表層の血管などの所定の組織を高コントラストで撮影するいわゆる狭帯域撮像（ＮＢＩ）が行われる。あるいは、特殊光観察において、励起光を放射することによって生じる蛍光によって画像を得る蛍光観察を行うこともできる。蛍光観察においては、体組織を励起光で照射し、体組織からの蛍光を観察すること（自家蛍光観察）、インドシアニングリーン（ＩＣＧ）などの試薬を体組織へと局所的に注入し、試薬の蛍光波長に対応する励起光で体組織をやはり照射することによって蛍光画像を得ること、などが可能である。光源装置５０４３を、このような特殊光観察に対応する狭帯域の光および／または励起光を供給できるように構成することができる。

（カメラヘッドおよびＣＣＵ）
内視鏡５００１のカメラヘッド５００５およびＣＣＵ５０３９の機能を、図２を参照してさらに詳細に説明する。図２は、図１に示したカメラヘッド５００５およびＣＣＵ５０３９の機能構成の一例を示すブロック図である。

カメラヘッド５００５は、図２を参照すると、その機能として、レンズユニット５００７、撮像ユニット５００９、駆動ユニット５０１１、通信ユニット５０１３、およびカメラヘッド制御ユニット５０１５を有する。

さらに、ＣＣＵ５０３９は、その機能として、通信ユニット５０５９、画像処理ユニット５０６１、および制御ユニット５０６３を有する。カメラヘッド５００５およびＣＣＵ５０３９は、伝送ケーブル５０６５を介して双方向の通信が可能となるように接続される。

まず、カメラヘッド５００５の機能構成を説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の遠位端から取り込まれた観察光が、カメラヘッド５００５へと導かれ、レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズおよびフォーカスレンズを含む複数のレンズを組み合わせることによって構成される。レンズユニット５００７の光学特性は、観察光が撮像ユニット５００９の撮像素子の受光面上に集光されるように調整される。さらに、ズームレンズおよびフォーカスレンズは、その光軸上での位置を移動させることにより、撮影画像の倍率および焦点距離を調整できるように構成される。

撮像ユニット５００９は、撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、撮像素子の受光面上に集光され、観察像に対応した画像信号が光電変換によって生成される。撮像ユニット５００９によって生成された画像信号は、通信ユニット５０１３にもたらされる。

撮像ユニット５００９を構成する撮像素子として、例えば、Ｂａｙｅｒ配列を有するカラー撮影が可能な相補型金属酸化膜半導体（ＣＭＯＳ）型のイメージセンサを使用することができる。なお、撮像素子として、例えば４Ｋ以上の高解像度画像の撮影に適合することができる撮像素子を使用することができる。手術場所の高解像度画像を得ることができるため、オペレータ５０６７は、手術場所の状況をより詳細に把握することができ、手術をより円滑に進めることができる。

さらに、撮像ユニット５００９を構成する撮像素子は、３Ｄ表示に適合する右目用および左目用のそれぞれの画像信号を取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、オペレータ５０６７は、手術場所における生体組織の奥行きをより正確に把握することができる。なお、撮像ユニット５００９がマルチプレート式にて構成される場合には、複数のレンズユニット５００７がそれぞれの撮像素子に対応するように設けられる。

さらに、撮像ユニット５００９は、必ずしもカメラヘッド５００５に設けられる必要はない。例えば、撮像ユニット５００９を、鏡筒５００３の内部において対物レンズの直後に設けることができる。

駆動ユニット５０１１は、アクチュエータを使用して構成され、カメラヘッド制御ユニット５０１５の制御下で、レンズユニット５００７のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。この移動により、撮像ユニット５００９によって撮影される画像の倍率および焦点距離を適切に調整することができる。

通信ユニット５０１３は、通信装置を使用して構成され、ＣＣＵ５０３９との間でさまざまな種類の情報を送信および受信する。通信ユニット５０１３は、撮像ユニット５００９から得られた画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この場合、手術場所の撮影画像を低レイテンシで表示するために、画像信号が光通信によって送信されることが好ましい。手術の際に、オペレータ５０６７は、撮影画像を通じて患部の状態を観察しながら手術を実行するため、より安全でより確実な手術のために、手術場所の動画像が可能な限りリアルタイムにて表示される必要がある。光通信が行われる場合、電気信号を光信号に変換する光電変換モジュールが、通信ユニット５０１３に設けられる。画像信号は、光電変換モジュールによって光信号に変換され、次いで伝送ケーブル５０６５を介してＣＣＵ５０３９へと送信される。

さらに、通信ユニット５０１３は、カメラヘッド５００５の駆動を制御するための制御信号をＣＣＵ５０３９から受信する。制御信号は、例えば、撮影画像のフレームレートを指定するための情報、撮像時の露出値を指定するための情報、ならびに／あるいは撮影画像の倍率および焦点距離を指定するための情報、などの撮像条件に関する情報を含む。通信ユニット５０１３は、受信した制御信号をカメラヘッド制御ユニット５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって送信されてよい。この場合、通信ユニット５０１３は、光信号を電気信号に変換する光電変換モジュールを備え、制御信号は光電変換モジュールによって電気信号に変換され、次いでカメラヘッド制御ユニット５０１５へともたらされる。

なお、上述したフレームレート、露出値、倍率、および焦点距離などの撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御ユニット５０６３によって自動的に設定される。すなわち、内視鏡５００１は、いわゆる自動露出（ＡＥ）機能、オートフォーカス（ＡＦ）機能、および自動ホワイトバランス（ＡＷＢ）機能を備える。

カメラヘッド制御ユニット５０１５は、通信ユニット５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御ユニット５０１５は、撮影画像のフレームレートを指定する情報および／または撮像時の露出を指定する情報に基づいて、撮像ユニット５００９の撮像素子の駆動を制御する。さらに、例えば、カメラヘッド制御ユニット５０１５は、撮影画像の倍率および焦点距離を指定する情報に基づいて、駆動ユニット５０１１を介してレンズユニット５００７のズームレンズおよびフォーカスレンズを適切に移動させる。また、カメラヘッド制御ユニット５０１５は、鏡筒５００３およびカメラヘッド５００５を識別するための情報を記憶する機能を有してもよい。

なお、レンズユニット５００７および撮像ユニット５００９などの構成を、高い気密性および防水性を有する密閉構造内に配置することによって、カメラヘッド５００５にオートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成を説明する。通信ユニット５０５９は、通信装置を使用して構成され、カメラヘッド５００５との間でさまざまな種類の情報を送信および受信する。通信ユニット５０５９は、カメラヘッド５００５から送信される画像信号を伝送ケーブル５０６５を介して受信する。この場合、上述したように、画像信号を光通信によって好適に送信することができる。この場合、光通信に適合するように、通信ユニット５０５９は、光信号を電気信号に変換する光電変換モジュールを備える。通信ユニット５０５９は、電気信号に変換された画像信号を画像処理ユニット５０６１に提供する。

さらに、通信ユニット５０５９は、カメラヘッド５００５の駆動を制御するための制御信号をカメラヘッド５００５へと送信する。この制御信号も、光通信によって送信されてよい。

画像処理ユニット５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号について、さまざまな種類の画像処理を実行する。例えば、画像処理は、現像処理、高画質化処理（例えば、帯域強調処理、超解像処理、ノイズリダクション（ＮＲ）処理、および／または手振れ補正処理）、および／または拡大処理（電子ズーム処理）など、さまざまな種類の既知の信号処理を含む。さらに、画像処理ユニット５０６１は、ＡＥ、ＡＦ、およびＡＷＢを行うための画像信号に対する検出処理を実行する。

画像処理ユニット５０６１は、ＣＰＵおよびＧＰＵなどのプロセッサを用いて構成され、プロセッサが所定のプログラムに従って動作するときに、上述した画像処理および検出処理を実行することができる。なお、画像処理ユニット５０６１が複数のＧＰＵによって構成される場合、画像処理ユニット５０６１は、画像信号に関する情報を適切に分割し、複数のＧＰＵによって並列に画像処理を実行する。

制御ユニット５０６３は、内視鏡５００１を用いた手術場所の撮像およびそのような撮影画像の表示に関するさまざまな種類の制御を行う。例えば、制御ユニット５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。このときに、撮像条件がユーザによって入力される場合、制御ユニット５０６３は、ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１がＡＥ機能、ＡＦ機能、およびＡＷＢ機能を備える場合、制御ユニット５０６３は、画像処理ユニット５０６１による検出処理の結果に応じて、最適な露出値、焦点距離、およびホワイトバランスを適切に計算して、制御信号を生成する。

さらに、制御ユニット５０６３は、画像処理ユニット５０６１によって画像処理が施された画像信号に基づいて、手術場所の画像を表示装置５０４１に表示させる。このときに、制御ユニット５０６３は、種々の画像認識技術を使用して手術場所の画像においてさまざまな物体を認識する。例えば、制御ユニット５０６３は、手術場所の画像に含まれる物体のエッジの形状および色などを検出することにより、鉗子などの手術ツール、特定の生体部位、出血、エネルギー処置ツール５０２１の使用時のミスト、などを認識することができる。制御ユニット５０６３は、表示装置５０４１に手術場所の画像を表示させる際に、このような認識結果を使用して、さまざまな種類の手術支援情報を手術場所の画像に重畳表示させる。手術支援情報が重畳表示され、オペレータ５０６７に提示されることにより、手術をより安全かつ確実に進めることが可能になる。

カメラヘッド５００５およびＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。

ここで、図示の例では通信が伝送ケーブル５０６５を用いて有線で行われるが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は、無線で行われてもよい。両者の間の通信が無線で行われる場合、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内において医療スタッフの動きが伝送ケーブル５０６５によって妨げられる事態を解消できる。

本開示に係る技術を適用することができる内視鏡手術システム５０００の一例を、上述のとおり説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術を適用することができるシステムは、このような例に限定されない。例えば、本開示に係る技術は、検査用の可撓内視鏡システムまたは顕微鏡手術システムにも適用可能である。

あるいは、本開示の態様は、マスタースレーブ医療用ロボットシステムを含む医療用ロボットシステムに適用可能である。医療用ロボットシステムにおいては、ユーザ（医師５０６７など）がマスタ装置（外科医コンソール）を操作して、有線または無線の通信手段を介してスレーブ装置（ベッドの傍らのカート）に動作指令を送信し、スレーブ装置を遠隔操作する。医療用ロボットシステムは、電気手術ユニット（ＥＳＵ）、吸引／灌注ポンプ、および内視鏡／顕微鏡用の光源などのいくつかの支援ハードウェアおよびソフトウェア構成要素を含む別個のカートをさらに含むことができる。

図３が、本開示に係るマスタ装置６０の使用例を示している。図３においては、右手用および左手用の２つのマスタ装置６０Ｒおよび６０Ｌが両方とも設けられている。外科医は、支持ベース５０に両腕または両肘を乗せ、右手および左手を使用して操作部１００Ｒおよび１００Ｌをそれぞれ把持する。この状態で、外科医は、手術部位を示すモニタ２１０を見ながら、操作部１００Ｒおよび１００Ｌを操作する。外科医は、それぞれの操作部１００Ｒおよび１００Ｌの位置または方向を変位させることで、いずれも図示されていないスレーブ装置に取り付けられた手術器具の位置または方向を遠隔操作し、あるいは各々の手術器具を使用して把持動作を行うことができる。

本開示の実施形態を適用することができる例示的な手術システムの基本構成を、本開示の図１～図４を参照して上述した。以下で、本開示の具体的な実施形態を説明する。

＜手術中に画像取込装置を制御するための装置＞
上述したように、手術環境の動的変化による手術中の外科医またはロボット外科医への重要な視覚情報の提供における遅延を低減する装置が提供されることが望ましい。したがって、本開示の実施形態に従い、手術中に画像取込装置を制御するための装置が提供される。

手術中に画像取込装置を制御するための装置は、本開示の図１を参照して説明した内視鏡手術などの例示的な内視鏡手術に適用可能である。したがって、本開示の実施形態は、この例示的な手術を参照して説明される。しかしながら、本開示が、この特定の手術に限定されるようには意図されていないことを、理解できるであろう。むしろ、本開示の実施形態は、任意のそのような手術に適用可能である。実際に、本開示の実施形態は、コンピュータ支援手術システムおよび装置を含む任意の手術に適用可能である。

＜例示的な状況＞
ここで、本開示の図１に戻る。この例示的な手術において、医師（または、本明細書においては外科医）５０６７は、患者５０７１について内視鏡手術を実行中である。外科医５０６７は、自身の目で患者５０７１の体腔の内部を眺めることができない。むしろ、外科医は、表示画面５０４１に表示される内視鏡装置５００１によって撮影された画像に依存する。したがって、この例において、内視鏡装置は、手術シーンの画像を撮影し、それらの画像を外科医に提供する。これにより、たとえ外科医５０６７が患者の体腔の内部を直接見ることができない場合であっても、外科医は、手術ツール（例えば、エネルギー処置ツール５０２１）を使用して患者５０７１の体腔の内部で外科手術を実行することができる。

この意味で、内視鏡装置は、外科医へと表示するために手術シーンの重要な視覚情報を捕捉する。

ここで、図１の例示的な状況において、内視鏡装置５００１は、支持アーム５０２７によって支持される。したがって、支持アームは、内視鏡装置が初期視点から手術シーンの画像を撮影するように、内視鏡装置５００１を所定の位置に保持する。この初期視点を、外科医５０６７が手術を開始する前に外科医５０６７が決定することができる。手術シーンのこの第１の視点を提供するための初期位置（初期視点に対応する）に内視鏡装置５００１を位置させるための支持アーム５０２７の動きは、アーム制御装置５０４５によって制御される。

手術中の外科医５０６７による患者の体腔へのエネルギー処置ツール５０２１の挿入を考える。これは、手術の特定の段階を実行するために必要となり得る。外科医５０６７は、エネルギー処置ツールを挿入する際に、内視鏡装置５００１によって撮影された手術シーンの画像によって案内される。

この例示的な状況において、エネルギー処置ツール５０２１が患者の体内の所望の位置に挿入されると、外科医５０６７は、エネルギー処置ツール５０２１の操作を開始する。

動作時に、エネルギー処置ツール５０２１は、患者の標的領域を加熱する。これは、外科医５０６７によって出血を焼灼するために行われる可能性がある。エネルギー処置ツールの使用が、患者５０７１の体腔内にミストまたは煙を発生させる可能性があることを、理解できるであろう。このミストまたは煙が、内視鏡装置５００１の視点からの手術シーンの視界を不明瞭にする可能性があり、結果として、内視鏡装置による手術シーンの鮮明な画像の取得がもはや不可能になる可能性がある。したがって、エネルギー処置ツール５０２１の使用時に、外科医（内視鏡装置５００１によって撮影された画像を表示画面５０４１上で眺める）が、患者の体内の手術シーンの鮮明な画像をもはや見ることができない可能性がある。

換言すると、エネルギー処置ツール５０２１の動作中に、内視鏡装置５００１がもはや初期視点からは手術シーンの鮮明な画像を撮影することができないため、外科医が、患者の体腔の内部からの重要な視覚情報を受け取ることができない可能性がある。したがって、このときに、外科医がエネルギー処置ツール５０２１の動作中の重要な手術事象（手術によるさらなる出血など）の発生を認識できない恐れがある。

したがって、外科医は、シーンの鮮明な画像が表示装置５０４１上に回復されるように、ミストおよび／または煙が消えるまでエネルギー処置ツール５０２１の動作を停止させなければならないかもしれない。しかしながら、これは手術の進行を遅らせる。あるいは、外科医５０６７（あるいは、外科医５０６７の人間であり、あるいはコンピュータであるアシスタント）が、エネルギー処置ツール５０２１の動作によって生じたミストおよび／または煙にもかかわらずシーンの鮮明な画像を得ることができるように内視鏡装置５００１の再構成を試みるために、内視鏡装置５００１を制御しなければならないかもしれない。しかしながら、これは外科医５０６７による手術の継続を可能にするが、（ミストおよび／または煙に起因する）シーンの鮮明な画像の喪失とシーンの鮮明な画像の回復との間に遅延が存在すると考えられる。この期間の間、手術シーンに関する重要な安全上重大な視覚情報を、外科医が見逃す可能性がある。

したがって、本開示の実施形態によれば、手術中に画像取込装置を制御するための本開示の実施形態による装置が提供される。

装置：
図４が、本開示の実施形態による手術中に医療画像取込装置などの画像取込装置を制御するための装置／システムを示している。

装置８００は、医療画像取込装置から第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを取得するように構成された取得ユニット８１０と、第１の画像データに基づく第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の１つ以上の所望の画像取込特性を決定するように構成された決定ユニット８２０と、医療画像取込装置の１つ以上の所望の画像取込特性に従って、第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて画像取込装置を制御するように構成された制御ユニット８３０とを含む。

特定の例示的な実施形態において、画像取込装置の制御は、画像取込装置を支持する関節アームの位置を制御することを含む。すなわち、画像取込装置を支持する関節アームを、手術シーン内の画像取込装置の位置を制御するために、装置／システム８００によって制御することができる。すなわち、本開示の図１の例示的な状況に戻ると、装置８００は、内視鏡装置５００１の動きを制御するために、アーム制御装置５０４５に接続されてよい。あるいは、装置８００は、ＣＣＵ５０３９に接続されてよく、あるいはＣＣＵ５０３９の一部を形成することができる。

特定の例において、装置８００は、図４に示されるように、随意により、第１の画像データに従って第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスである第２の画像データを生成するように構成された生成ユニット８２０ａを含むことができる。これにより、第２の時間インスタンスにおける手術シーンの予測アピアランスである第２の画像データを保存し、後続の処理（機械学習システムの訓練など）において使用することが可能になる。

ここで、装置８００の動作を、本開示の図１を参照して示されるような例示的な内視鏡手術の状況を参照して説明する。しかしながら、装置を必要に応じて任意の手術の状況に適用できることを、理解できるであろう。

取得ユニット：
手術中に、装置８００の取得ユニット８１０は、内視鏡装置５００１から手術シーンの第１の画像（または、画像データ）を取得する。この第１の画像は、画像が内視鏡装置５００１によって撮影されたときの手術シーンのアピアランスに関する情報を、装置８００へともたらす。この例において、この第１の画像は、表示装置５０４１上で外科医へと表示される画像と同じ画像である。すなわち、第１の画像は、手術シーンの現在のアピアランスを示す。

取得ユニット８１０による第１の画像データの取得のやり方が、とくに限定されないことを理解できるであろう。例えば、取得ユニット８１０は、任意の適切な有線または無線の手段によって画像取込装置（内視鏡装置５００１など）から画像データを取得することができる。さらに、画像データの実際の形態は、画像データの撮影に使用される画像取込装置の種類に依存する。本例（本開示の図１を参照して説明される）において、画像取込装置は内視鏡装置５００１である。したがって、この例において、取得ユニット８１０によって取得される画像データは、シーンの高解像度画像、４Ｋ画像、または８Ｋ画像であってよい。

ここで、この例示的な状況において、手術が、外科医５０６７がエネルギー処置ツール５０２１を患者の体腔へと今まさに挿入した段階まで進行したと考える。この例示的な手術シーンが、本開示の図５Ａに示されている。

図５Ａには、患者５０１７の体腔内の標的処置領域９０００が示されている。標的処置領域９０００に接近する（外科医５０６７によって挿入された）エネルギー処置ツール５０２１が図示されている。内視鏡装置５００１は、第１の視点から手術シーンの画像を撮影する。内視鏡装置５００１によって撮影される手術シーンの領域が、領域９００２によって示されている。内視鏡装置５００１によって撮影されるこの領域の画像は、装置８００によって取得され、手術シーンの第１の画像を形成する。

この段階において、装置８００によって取得された第１の画像は、手術シーンの鮮明な画像を含み、すなわち第１の画像は、内視鏡装置５００１の視点からの手術シーン（具体的には、標的処置領域９０００の）の妨げのない視界を提供する。この第１の画像データの例示的な図が、図５Ｂに示されている。図５Ｂの図から見て取ることができるとおり、内視鏡装置５００１の視点からの画像は、標的処置領域９０００と、エネルギー処置ツール５０２１の少なくとも一部分とを含む。

決定ユニット：
次いで、本開示の実施形態によれば、装置８００の決定ユニット８２０は、第１の画像データに基づく第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、画像取込装置５００１の１つ以上の所望の画像取込特性を決定するように構成される。

第１の画像の時点と、シーンの第１の画像の予測アピアランスが決定される時点との間の時間ステップまたは時間ギャップは、状況に応じてさまざまである。時間ギャップの持続時間を、装置８００の初期構成の際に事前に設定することができる。あるいは、時間ギャップは、手術中に装置８００または外科医５０６７によって動的に調整されてもよい。

しかしながら、この例において、時間ギャップは約１秒であってよい。この例示的な時間ギャップよりもはるかに短い時間ギャップおよびはるかに大きい時間ギャップも想定される。

換言すると、この例において、装置８００は、約１秒の将来の手術シーンの予測アピアランスを決定する。この予測アピアランスは、取得された第１の画像データ（手術シーンの現在のアピアランスを示している）に従って決定される。

＜予測アピアランス＞
特定の例において、決定ユニット８２０は、外部の計算装置またはサーバからシーンの予測画像を受信することができる。しかしながら、他の実施形態において、装置８００の決定ユニット８２０は、シーン予測アルゴリズムを使用して、手術シーンの視覚的特性が時間ステップ後にどのように現れるかについての予測（すなわち、予測データまたは画像データ）を生成する。

予測データ（手術シーンの予測アピアランスである）の実際の形態は、とくには限定されず、本開示の実施形態が適用される状況に応じてさまざまである。しかしながら、特定の例において、以下でさらに詳細に説明されるように、予測データは、取得ユニット８１０によって取得された画像データと同様の種類のデータ（すなわち、取得ユニット８１０によって取得された画像がＲＧＢ画素値などのイメージセンサ画素値からなる場合、そのような画素値）で構成される。さらに、特定の例が、単一の予測アピアランスを含む予測データを用いて説明されているが、代わりに、断定アピアランスデータが順次に増加する時間ステップにおける手術シーンの予測アピアランスを含むように、複数の予測が行われてもよいことを、理解できるであろう。

好都合には、シーンの予測アピアランスが取得された画像データと同様の形態である場合（すなわち、シーンの予測アピアランスがシーンの予測画像を形成する場合）、予測画像の内容を分析するために、高度な画像処理技術を装置８００によって使用することができる。画像取込装置の１つ以上の所望の画像取込特性を決定するための決定ユニットによる予測画像の分析は、以下でさらに詳細に説明される。

ここで、いくつかの実施形態において、シーンの予測アピアランスを生成するために決定ユニット８２０によって使用される予測アルゴリズムは、敵対的生成ネットワーク（ＧＡＮ）などの既知の機械学習アルゴリズムを含むことができる。しかしながら、本開示がとくにＧＡＮ機械学習アルゴリズムに限定されず、必要に応じて任意の機械学習アルゴリズムを使用できることを、理解できるであろう。これらの機械学習アルゴリズムは、類似のシナリオの過去の映像および画像データのデータベースに基づいて、将来の時点におけるシーンのアピアランスの現実的な予測を生成することができる。したがって、アルゴリズムに提供される任意の新たな画像が、近い将来の（すなわち、アルゴリズムに提供された画像から所与の時間ステップだけ将来の）シーンのアピアランスの予測を生成する。

手術環境の例において、機械学習アルゴリズムを訓練するために使用される過去の映像および画像データのデータベースは、外科医（コンピュータ支援手術システムまたは人間の外科医のいずれかである）によって実行された以前の手術の映像および画像を含むことができる。訓練用データベースは、他の外科医によって行われた以前の手術の映像および画像も含むことができる。いくつかの状況において、訓練用データベースは、手術シーンの検証済みの写実的シミュレーションも含むことができる。手術シーンのこれらの検証済みの写実的シミュレーションを、とくに機械学習アルゴリズムを訓練する目的で生成することができる。訓練用データベースは、手術シーンの深度情報を示す深度データも含むことができる。訓練用データベースは、例えば、アームの関節部の回転角度、アームの関節部によって接続されたリンクの長さなど、画像取込装置を支持する関節アームの構成データおよび／または関節アームの姿勢に関するデータも含むことができる。すなわち、機械学習システムを、必要に応じて手術シナリオにおいて得られた任意の手術データで訓練することができる。

特定の例においては、現実的な予測アピアランスデータを生成するために、深層学習モデルを使用することができる。これらの深層学習モデルは、ニューラルネットワークを用いて構築される。これらのニューラルネットワークは、入力層および出力層を含む。いくつかの隠れ層が、入力層と出力層との間に位置する。各々の層は、いくつかの個々のノードを含む。入力層のノードが、第１の隠れ層のノードに接続される。第１の隠れ層（および、後続の各々の隠れ層）のノードが、以後の隠れ層のノードに接続される。最後の隠れ層のノードが、出力層のノードに接続される。換言すると、層内の各ノードは、ニューラルネットワークの先行の層内のすべてのノードにつながっている。

当然ながら、モデルにおいて使用される隠れ層の数および各々の層内の個々のノードの数の両方が、訓練用データのサイズおよび予測データの個々の要件に従ってさまざまであってよいことを、理解できるであろう。

ここで、各々のノードは、いくつかの入力を受け取り、出力を生成する。ノードへと（ニューラルネットワークの先行の層との接続を介して）もたらされる入力は、それぞれに適用される重み係数を有する。

ニューラルネットワークにおいて、入力層は、いくつかの入力（上述のような手術シナリオにおいて得られた手術データを含むことができる）を受け取る。すなわち、この例において、入力層は、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、および／または以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および／または以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの１つ以上を、入力層への入力として受け取ることができる。次いで、これらの入力は、隠れ層において、訓練時に調整された重みを使用して処理される。次いで、出力層が、ニューラルネットワークからの予測を生成する。

具体的には、訓練時に、訓練用データを入力およびターゲットに分けることができる。入力データは、ターゲット（モデルが予測するように訓練されている手術シーンの画像のアピアランスである）を除くすべてのデータである。次いで、入力データは、ニューラルネットワークのそれぞれのノード間の重みを調整するために、訓練時にニューラルネットワークによって分析される。いくつかの例においては、訓練時の重みの調整を、線形回帰モデルによって達成することができる。しかしながら、他の例においては、ノード間の重みを調整してニューラルネットワークを訓練するために、非線形な方法が実施されてもよい。

効果的には、訓練時に、ニューラルネットワークのノードに適用される重み係数は、提供された入力データについてターゲットデータとの最良一致を生む重み係数の値を決定するために調整される。すなわち、訓練時に、入力およびターゲット出力の両方が提供される。次いで、ネットワークは、入力を処理し、得られた出力をターゲットデータと比較する。次いで、出力とターゲットデータとの間の差が、ニューラルネットワークを通って逆伝播され、ニューラルネットワークにニューラルネットワークのそれぞれのノードの重みを調整させる（逆伝播）。

当然ながら、モデルを訓練するために使用される訓練サイクル（または、エポック）の数は、状況に応じてさまざまであってよい。いくつかの例において、モデルを、モデルがターゲットデータの所定のしきい値の範囲内の出力を生成するまで、訓練用データで継続的に訓練することができる。

ひとたび訓練されると、新たな入力データをニューラルネットワークの入力層に提供することができ、これにより、モデルは（訓練時にニューラルネットワークの各ノードに適用された重みに基づいて）所与の入力データに対する予測出力（将来の特定の時間ステップにおける手術シーンの予測アピアランスなど）を生成する。

当然ながら、本実施形態が（ニューラルネットワークなどの）深層学習モデルにとくに限定されず、状況に応じて任意のそのような機械学習アルゴリズムを本開示の実施形態に従って使用することができることを、理解できるであろう。

さらに、機械学習アルゴリズムを訓練するために使用される実際のデータは、とくに限定されず、本開示の実施形態が適用される手術シナリオの種類に応じてさまざまである。

イベント認識ネットワークを使用して映像または画像の大規模プールで予測ネットワークを自動的に訓練することが可能である（当然ながら、手術中に得られた他のデータも使用することができる）。例えば、予測ネットワークは、所与の画像または一連の画像について、次に何が来るか（すなわち、シーケンス内の次の画像がどのように現れると予測されるか）の予測を出力することができる。次いで、この予測（例えば、シーンの予測アピアランスを形成する予測データ）は、シーケンス内の後続の画像に関するイベント認識ネットワーク分析によって、正しいと宣言または正しくないと宣言される。これにより、短い時間で機械学習システムを大規模なデータベースで自動的に訓練することが可能になり、したがって機械学習システムによって行われる予測の品質が向上する。

ここで、決定ユニット８２０は、訓練用データベース内のイベントの発生、および手術シーンの現在のアピアランスに基づいて、将来の時点における手術シーンのアピアランスの予測を形成することができる。すなわち、決定ユニット８２０は、訓練用データから、例えば、第１の手術ツール（外科用メスなど）がシーンへと導入された場合に、第１の手術ツールの導入の時点の短時間後に第２の手術ツール（吸引装置など）がシーンへと第１の手術ツールと同様の場所に導入される可能性が高いことを学習することができる。この情報、および手術シーンの現在のアピアランスを使用して、決定ユニット８２０は、外科用メスの導入の短時間後の手術シーンのアピアランスを予測することができる。

さらに、いくつかの実施形態においては、決定ユニット８２０を、予測の信頼値を決定して出力するように構成することができ、これは、手術シーンの予測アピアランスの個々の部分について決定されてよい。次いで、信頼値が所定のしきい値を下回る予測の部分を、後の分析から除外することができる。これにより、高い信頼度（または、確実性）で予測された手術シーンの領域のみが、装置８００による後の分析に含まれることが保証され、したがって装置８００の精度が向上する。

当然ながら、決定ユニット８２０によって使用される予測アルゴリズムは、敵対的生成ネットワークを含むことができるが、本開示は、この点に関してとくに限定されるようには意図されていない。代案として、変分オートエンコーダを、本開示の実施形態に従って予測画像を生成するために使用することができる。さらなる代案として、自己回帰モデルを、本開示の実施形態による予測アルゴリズムとして使用することができる。

実際に、状況に応じて、決定ユニット８２０は、必要に応じて、取得された第１の画像データに従って手術シーンの予測アピアランスを生成するために、任意のそのような方法を使用することができる。

上述のように、特定の例示的な実施形態において、装置８００は、第１の画像データに従って（第２の時間インスタンスにおける）手術シーンの予測アピアランスである第２の画像データを生成するように構成された随意による生成ユニット８２０ａをさらに含むことができる。

これに関して、図５Ｃが、将来の時点における手術シーンの予測アピアランスの生成のタイムチャートを示している。図５Ｃにおいて、時間が横軸に示され、左方から右方へと増加する。

第１の画像データＩ１（内視鏡装置５００１の視点からの手術シーンの現在のアピアランスを示す）が、時点Ｔ１において装置８００によって取得される。この時点（Ｔ１）において、装置８００は、時点Ｔ２における手術シーンの予測による将来のアピアランスを示す第２の画像データＩ２を生成する。シーンのアピアランスの予測が行われる将来の時点Ｔ２は、現在の時点Ｔ１よりもΔｔだけ後の時点である。上述したように、この例において、時間差Δｔは、第２の画像データＩ２が約１秒だけ将来の時点における手術シーンの予測アピアランスを示すように、約１秒であってよい。

装置８００によって生成された第２の画像データＩ２の一例が、図５Ｄに示されている。この例示的な第２の画像データＩ２には、将来の時点Ｔ２における手術シーンの予測アピアランスが示されている。装置８００によって生成されたこの予測画像で、時点Ｔ２（すなわち、現在の時点Ｔ１から時間Δｔだけ将来）において内視鏡装置５００１の視点からの手術部位９０００が霧９００４によって不明瞭になると予測されることが分かる。

換言すると、この例において、装置８００は、第１の画像データを使用してエネルギー処置ツール５０２１の挿入を確認し、この第１の画像データに基づいて、将来の時間期間Δｔにおいて内視鏡装置５００１の視点からの手術シーンが図５Ｄに示される予測による第２の画像データＩ２のアピアランスを有することになると予測する。すなわち、エネルギー処置ツール５０２１の存在ゆえに、装置８００は、約１秒後の時点において手術部位９０００の視界が霧（ミストおよび／または煙など）によって不明瞭になると予測することができる。

予測画像データＩ２を、画像の１つ以上の所望の画像取込特性を決定するために直接使用することができる。あるいは、生成ユニット８２０ａは、予測画像データを最初にメモリに保存してもよく、これにより、必要に応じて後で取り出すことが可能である。

ここで、本開示の図５に示される特定の手術シーンにおいて、装置８００は、第２の画像データＩ２を分析し、時点Ｔ２において手術部位９０００が霧９００４によって不明瞭になると予測されるため、外科医５０６７が将来の時点Ｔ２において手術部位の重要な視覚情報を観察することが、霧によって妨げられる可能性があると判定する。したがって、装置８００は、予測される霧９００４による重要な視覚情報の喪失を回避可能にするために必要とされる内視鏡装置５００１の画像取込特性の構成を決定する。

すなわち、この例において、装置８００は、内視鏡装置５００１が電磁スペクトルの可視領域における観察から電磁スペクトルの赤外線領域における観察へと変化することが望ましいと判定する。これは、装置８００が、霧によって手術部位の視覚画像が不明瞭になるが、電磁スペクトルの異なる部分（赤外線領域など）を使用して手術部位を観察することによって、手術部位の鮮明な画像を依然として得ることができると判断するからである。したがって、時点Ｔ２における内視鏡装置の所望の画像取込特性は、内視鏡装置５００１が、第２の時間インスタンスの発生前に、電磁スペクトルの赤外線領域において画像を撮影するように切り替わることである。

＜画像取込特性＞
画像取込装置の１つ以上の所望の画像取込特性は、画像取込装置の所望の撮像条件の決定を含むことができる。画像取込装置の撮像条件は、光学画像システム条件および画像処理条件のうちの１つ以上を含むことができる。例えば、光学画像システム条件および／または画像処理条件は、所望の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および／または画像輝度のうちの１つ以上を含むことができる。すなわち、光学画像システム条件は、光学画像ズームなどを含むことができる。対照的に、画像処理条件は、画像処理回路によって画像撮影の時点において実行され、あるいは撮影済みの画像に対して事後処理において適用されるデジタル画像ズームなどを含むことができる。これに代え、あるいはこれに加えて、画像取込装置の１つ以上の所望の画像取込特性は、画像取込装置の所望の位置または動きを含んでもよい。当然ながら、本開示はこの点に関してとくに限定されず、任意のそのような所望の画像取込特性を、状況に応じて決定ユニットによって決定することができる。さらなる代案として、上述のように、画像取込特性は、画像撮影の種類（シーンの視覚画像を撮影するか、あるいはシーンのハイパースペクトル画像（電磁スペクトルの全体からの情報を使用する）を撮影するか、など）を含むことができる。

ここで、本開示の実施形態において、装置８００の決定ユニット８２０は、手術シーンの予測アピアランスに関して画像取込装置（内視鏡装置５００１など）の最適な１つ以上の画像取込特性を決定するために１つ以上のカメラ特性アルゴリズムを使用することができる。

１つ以上の画像取込特性を決定するために使用される１つ以上の画像取込特性アルゴリズムは、いくつかの例において、過去の手術映像、検証済みのシミュレーション、外科医による手術の最中に測定されたデータ（手術ツールおよびカメラの位置情報、環境マップ（同時の位置推定およびマッピング（ＳＬＡＭ）によって生成できる）、およびツールの種類情報を含む入力データで訓練された機械学習システムで構成されてよい。すなわち、適切な訓練用セットで訓練された機械学習アルゴリズムを、画像取込装置の所望の画像取込特性を決定するために使用することができる。

さらに、画像取込装置の１つ以上の画像取込特性を決定するために、ニューラルネットワーク（上記で詳細に説明したニューラルネットワークなど）を含む深層学習アルゴリズムを、本開示の実施形態に従って使用することができる。

さらに、（手動または自動のいずれかで）ラベル付けされたデータを使用して、機械学習アルゴリズムを訓練することも可能である。ラベルデータは、手術のワークフロー中の撮像装置の操縦、ナビゲーション、または制御の評価結果を含むことができる。さらに、ラベルデータは、手術シーン内のアクティブなツールおよびイベント（例えば、出血）などの重要な特徴の視認性の評価を含むことができる。このラベル付けを、外科医５０６７または他の医療スタッフが行うことができる。さらに、ラベルデータは、視点の安定性、一貫した向き、および照明など、人間の視覚システムによる画像の有用性に関する他の目標を含むことができる。このようにして、機械学習アルゴリズムは、外科医５０６７による使用のために最適化された所望の画像取込特性を決定することを学習することができる。

随意により、所望の画像取込特性を決定するためのアルゴリズムは、ルールベースのアルゴリズムであってよく、手術シーンの予測アピアランス（例えば、予測画像データ）を、現在の画像データおよびコンテクストデータと組み合わせて、既知のシナリオの発生を検出するために分析することができる。

次いで、検出されたシナリオに関する理想的なカメラ特性および挙動のルックアップテーブルを使用して、所望の画像取込特性を決定することができる。手術シーンに関して、予測画像データにおいて検出されるいくつかの例示的なシナリオ（または、イベント）、および結果として得られる所望の画像取込特性は、以下のとおりである。

１．シーン内のツールまたは物体の移動
シーン内のツールまたは物体の移動が、視界の妨げを引き起こす可能性がある。すなわち、例えば、ツール（吸引ツールなど）の移動によって、シーン内の画像取込装置の視点からの画像が不明瞭になり、あるいは部分的に不明瞭になる可能性がある。本開示の実施形態によれば、予測画像データ内のツールの位置に鑑みて、障害物を回避し、手術シーンおよびツールの視認を維持する撮像装置の所望の移動を、計算することができる。

２．能動的に使用されているツールの移動
予測画像データ内のツールの将来の移動を使用して、自動カメラ追従機能において撮影画像の中心にツールを維持する撮像装置の所望の移動を定めることができる。ツールの状態（使用中であるか否か）を、状態を示しており、ツールの作動スイッチによって変化するデータ、などに基づいて検出することができる。

３．臓器の保持／滑り
予測画像データは、開創器によって保持された臓器が落下したり、移動したりするイベントを描写することができる。臓器の移動を画像内で追跡し、開創器および臓器の両方を視野内に保つことができる撮像装置の所望の移動を、選択することができる。あるいは、画像取込装置によって使用されるズームのレベルを変更することによって、臓器を視野内に保つことも可能である。

４．予測される出血イベント
出血元の場所をできる限り撮影画像の中心付近に位置させつつ、手術ツールなどの他の重要な画像特徴を視野内に保つ撮像装置の所望の移動を、選択することができる。これは、カメラ位置の横方向の変化および角度の変化の組み合わせによって達成することができる。

５．ツール交換
所望の画像取込特性を、ツール交換が発生したとき（すなわち、使用済みのツールが取り除かれたとき、または新たなツールがシーンへと導入されたとき）に選択することができる。予測画像データ内の他の重要な特徴の視認性を維持しつつ、ツールが導入される領域を視認できるように、所望の画像取込特性が決定される。例えば、手術シーンの視認を維持しながら、患者の体腔へのトロカール入口の下方の領域の視認性をもたらすカメラ角度を、選択することができる。

６．（利き手でない手による）収縮の引っ張り方向の変化
剥離／切除の方向／位置の変化が存在し、ツールは、利き手でない手によるツールの保持によって張力が生じる部分に移動すると考えられる。この変化を考慮するために、画像取込装置の所望の画像取込特性を決定することができる。

本開示が、これらの上述の例に限定されることは意図されておらず、本開示の実施形態に従って画像取込装置の１つ以上の所望の画像取込特性を決定するためにルックアップテーブルにおいて使用することができる多数の他の手術シナリオが存在することを、理解できるであろう。

本決定ユニットを、機械学習アルゴリズムおよびルックアップテーブルの両方を使用して説明してきたが、必要に応じて、画像取込装置の所望の画像取込特性を決定するために、任意の適切な方法が決定ユニット８２０によって使用されてよいことを、理解できるであろう。当業者であれば、例えば、画像取込装置の所望の動きまたは所望の画像取込位置などの所望の画像取込特性を決定するために、生成ユニット８２０ａによって生成された予測画像データに自動カメラ位置システムのための既存の技術を適用することができる。

予測画像データが複数のシナリオまたはイベントを含む状況があり得ることを、理解できるであろう。すなわち、予測画像データが、可能性の高いいくつかの予測を含み、それらが実際にはきわめて異なる画像取込特性を必要とする可能性がある。したがって、特定の例においては、カメラまたは画像取込装置が、起こりうるすべての結果を撮影する画像取込特性を使用し、あるいは各々のシナリオの発生が確認されたならばすぐに各々のシナリオにとって理想的な視点をカメラが迅速に占めることができる取込特性を使用することが、望ましいかもしれない。例えば、これは、異なるシナリオの２つの所望の視点の間の中間点であってよい。

さらに、特定の例においては、決定ユニット８２０を、画像取込特性に関する１つ以上の因子に従って画像取込装置の画像取込特性について重みを計算し、重み係数が最も大きい画像取込特性を画像取込装置の所望の画像取込特性として決定するように、構成することができる。すなわち、或る範囲の画像取込特性（或る範囲の視認位置など）を生成し、これらの視認位置の各々を、利点（例えば、その位置において外科医が手術シーンの標的領域をどの程度良好に視認できるか、または画像のうちの何パーセントを手術シーンの標的領域が占めるか）などの因子に従って重み付けすることができる。次いで、計算された重みが最も大きい画像取込特性（または、この例においては、位置）が、最も有利な画像取込特性と見なされ、手術シーンの所望の画像取込特性として選択される。

あるいは、画像取込装置の画像取込特性の重み付けは、画像取込装置の画像取込特性と画像取込装置の一組の目標画像取込特性との比較に基づく。画像取込装置の画像取込特性が目標画像取込特性に近いほど、重み係数が大きくなる。

制御ユニット：
ひとたび決定ユニットが画像取込装置の所望の画像取込特性を決定すると、制御ユニットは、画像取込装置を第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて画像取込装置の１つ以上の所望の画像取込特性に従って制御するように構成される。

したがって、この例において、装置８００は、内視鏡装置５００１を、第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて、内視鏡装置の１つ以上の所望の画像取込特性（すなわち、内視鏡装置が電磁スペクトルの赤外線部分を使用して画像を撮影する）に従って制御する。

図５Ｃに戻ると、第３の時間インスタンスＴ３（制御時点）が、タイムチャート上で現在の時点Ｔ１と第２の時点Ｔ２（霧が画像を不明瞭にすると予測される時期）との間の時点に示されている。したがって、装置８００は、時点Ｔ３において、内視鏡装置が電磁スペクトルの赤外線部分を使用した画像の撮影に切り替わるように、内視鏡装置を制御する。タイムチャート上の時点Ｔ３の実際の位置は、それが現在の時点Ｔ１と予測の対象の時点Ｔ２との間にあり、かつ第２の時点Ｔ２に達する前に内視鏡装置の画像取込特性を決定された画像取込特性に相関するように装置８００によって調整できるように充分に時点Ｔ２よりも前である限りにおいて、とくに限定されない。

したがって、この例においては、第２の時点Ｔ２に達した（外科医５０６７が予測どおりにエネルギー処置ツール５０２１の使用を開始した）とき、装置８００は、内視鏡装置５００１が電磁スペクトルの可視領域ではなくて電磁スペクトルの赤外線領域で画像を撮影するように、内視鏡装置５００１をすでに制御している。したがって、時点Ｔ２において、内視鏡装置５００１によって撮影される実際の画像は、エネルギー処置ツール５０２１の動作によって生じるミストおよび／または煙の存在にもかかわらず、手術部位５００１の鮮明な画像を示す。時点Ｔ２において（すなわち、内視鏡装置５００１の画像取込特性の制御後に）内視鏡装置５００１によって取得された実際の画像の図が、図５Ｅに示されている。

いくつかの実施形態において、制御ユニットは、画像取込装置（内視鏡５００１など）の現在の画像取込特性を、画像取込装置の所望の画像取込特性と比較し、その後に、これらの特性の比較を使用して、画像取込装置に所望の時間において所望の画像取込特性を達成させる画像コントローラ命令を生成するように構成される。例えば、画像取込装置の現在の位置と画像取込装置の所望の位置とを比較することで、制御ユニットは、画像取込装置を所望の位置へと移動させるために使用することができる対応する作動命令を決定することができる。

好都合な効果：
本開示の実施形態によれば、手術中に画像取込装置を制御するための装置は、コンピュータ支援手術システムがカメラの画像取込特性を予測的に最適化することを可能にし、したがって、手術シーンの予測可能な将来の変化の影響に、予測された変化が手術シーンにおいて実際に発生する前に、画像取込特性の調整および／または画像取込装置の構成によって対処することができる。このようにして、手術シーンの撮像に対する悪影響（例えば、外科医への重要な画像情報の提供が妨げられる）を、手術を遅延させることなく回避することができる。

当然ながら、本開示は、これらの好都合な技術的効果にとくに限定されず、本開示を検討することで当業者にとって明らかになるとおり、他の効果も存在し得る。

さらなる変更：
画像取込装置が、状況に応じて必要されるとおりの任意の医療画像取込装置を含んでよいことを、理解できるであろう。すなわち、装置８００の構成を本開示の図５～図６を参照して上述したが、本開示の実施形態が、この特定の例に限定されないことを、理解できるであろう。例えば、本開示の実施形態を内視鏡撮像装置を参照して説明してきたが、本開示の実施形態は、必要に応じて、望遠鏡撮像装置、顕微鏡撮像装置、エクソスコープ撮像装置、などにも適用可能である。さらに、装置の構成に対するいくつかのさらなる変更を、以下で説明する。

コンテクスト検知システム：
シーンの予測アピアランスを生成するために決定ユニットによって使用される上述の方法は、取得された画像データを利用して予測を生成するが、本開示がこれに関してとくに限定されないことを、理解できるであろう。むしろ、予測データの生成および画像取込装置の１つ以上の所望の画像取込特性の決定において、特定の追加情報が装置８００によって使用されてよい。この追加情報は、特定の例において、装置８００の予測能力をさらに高めるコンテクスト情報を提供することができる。

いくつかの例においては、シーンの予測画像の生成を支援するために、コンテクスト情報を生成ユニットに提供することができる。例えば、シーン予測アルゴリズムは、シーンの変化の描写を生成するために、コンテクスト情報からのキューに依存することができ、複数のデータソースを使用して予測画像データの任意の特定の例を生成することができる。あるいは、コンテクスト検知システムを、コンテクスト情報の分析を実行するように構成することができ、この分析が、画像取込装置の所望の画像取込特性を決定するときに決定ユニット８２０によって使用される。さらなる代案として、コンテクスト情報を決定ユニットに直接提供し、決定ユニットがコンテクスト情報を自身の分析に取り入れてもよい。

したがって、随意により、本開示の実施形態によれば、取得ユニット８１０は、手術シーンにおいて生じる変化に関連し得る手術のコンテクストに関する追加情報を収集するように構成されたコンテクスト検知システム８５０を含むことができる。これが、本開示の図６Ａに示されている。

コンテクスト検知システムは、外科医によって実行されている手術に関するコンテクスト情報を収集するように構成された、いくつかのコンテクスト検知手段（種々の別個のカメラおよびセンサを含む）を含むことができる。コンテクスト検知手段によって取得されるコンテクスト情報は、シーン内の物体の位置、シーン内の物体の動き、シーン内に存在する物体の種類、および／またはシーン内の人物によって実行されている動作のうちの少なくとも１つを含むことができる。

しかしながら、コンテクスト検知システム８５０の構成はとくに限定されず、本開示の実施形態が適用される特定の状況に応じてさまざまである。

コンテクスト検知システム８５０のコンテクスト検知手段によって取得することができるコンテクスト情報のいくつかの具体例が、以下に提示される。

いくつかの例において、コンテクスト検知システム８５０は、手術室内かつ患者の体外のカメラおよび／またはマイクロフォンを含むことができる。カメラおよび／またはマイクロフォンは、手術室内かつ患者の体外で発生するイベントを監視する。マイクロフォンからの音声記録が、コンテクスト検知システムによる手術室内の会話（「鉗子を渡してください」または「出血があります」などの外科医からの指示を含む）の監視を可能にできる。あるいは、コンテクスト検知システムのカメラからの画像が、コンテクスト検知システムによる手術台の向き、室内照明、手術室内のスタッフの相対位置、などの判断を可能にできる。あるいは、マイクロフォンおよびカメラからのデータを、手術スタッフに関するストレスレベルまたは現在のタスクレベルなどの手術室内のスタッフの状態を判断するために、コンテクスト検知ユニットによって使用することができる。

したがって、カメラおよび／またはマイクロフォンを使用して患者の体外の環境を監視することにより、装置８００は、手術の進行についてより深いコンテクスト認識を得ることができ、これは、生成ユニット８２０ａの予測能力および決定ユニット８２０による画像取込特性の選択の両方を向上させることができる。

これに代え、あるいはこれに加えて、コンテクスト検知システムは、血圧、呼吸、および心拍センサなどの患者センサを含むことができる。これらのセンサは、手術中の患者の状態に関する追加のコンテクスト情報を提供することができる。例えば、患者の血圧の低下が、出血の発生を知らせている可能性があり、この情報を、生成ユニット８２０ａおよび決定ユニット８２０によって予測画像および所望の画像取込特性を生成するときに使用することで、手術シーンの鮮明な画像を維持する装置８００の能力をさらに向上させることができる。あるいは、組織運動に関連する律動（心拍など）、呼吸サイクル、気腹圧、などに関するコンテクスト情報を、コンテクスト検知システム８５０の個別のセンサによって監視することで、装置８００による画像取込装置の画像取込特性の決定をさらに改善することができる。

これに代え、あるいはこれに加えて、現在のツールの動作状態または他のパラメータを通信するツールを、コンテクスト検知システムに組み合わせることができる。例えば、コンテクスト検知システムを、手術ツール（エネルギー処置ツール５０２１など）から状態更新を受信するように構成することができる。有線または無線インターフェースによって受信されてよいこれらの状態更新は、ツールが作動中であるか否かをコンテクスト検知システムに通知することができる。エネルギー処置ツールの例において、コンテクスト検知システム８５０は、エネルギー処置ツールが作動しているときに、患者の体腔内でミストおよび／または煙の量が増加する可能性があることを知ることができる。したがって、装置８００は、これに応じて画像取込装置の所望の画像取込特性を決定することができる。

あるいは、コンテクストシステム８５０は、手術の次の段階で使用するために補佐の外科医がどのツールを準備しているか、特定の時間期間内に発生したツール交換回数、ツールの種類の情報（ツールが外科医によってどのように操作されるかに関する情報を含む）、ツールの速度および軌跡などのツール運動情報、外科医または補助スタッフがツールをどのように保持しているかについての情報、差し迫る視覚的変化に関係し得るツール状態および動作設定に関する情報（例えば、吸引／灌注／吸入の量）などを判断するように構成された１つ以上のセンサおよび／または回路を含むことができる。

この追加のコンテクスト情報を、画像取込装置の画像取込特性の決定において装置８００を支援するために使用することができる。例えば、コンテクスト検知ユニットは、ツールから受信した情報を、生成ユニット８２０ａによって生成されるシーンの予測画像の精度を高めるために使用されるキューとして使用することができる。

これに代え、あるいはこれに加えて、コンテクスト検知システム８５０を、外科医または他の医療スタッフによる手動入力を受け取るように構成することができる。手動入力を、コンテクスト検知システム８５０は、例えばタッチスクリーンデバイスまたはコンピュータキーボードの操作を介して受け取ることができる。この情報を、手術の現在の段階（例えば、「第２段階に入る」）を装置８００に知らせるために使用することができる。このやり方での手術の段階の判断は、画像取込装置の画像取込特性の決定において装置８００の助けとなる。例えば、手術のどの段階が開始されたかを知ることによって、装置８００は、どのツールが手術シーンに導入され、あるいは手術シーンから取り除かれる可能性が高いかを、より正確に判断および予測することができる。

仮想カメラユニット：
いくつかの例において、装置８００は、仮想視点システム８６０をさらに含むことができる。仮想視点システム８６０を、カメラ位置とは別であってよい３Ｄ空間内の座標位置（すなわち、仮想カメラ位置）を有する仮想視点を生成するために使用することができる。換言すると、合成による仮想視点が、画像取込装置の移動の間に撮影された画像を通じて生成され、仮想視点は、所与の時間インスタンスにおける画像取込装置の実際の位置とは別個かつオフセットされている。仮想視点を生成するために、仮想視点システム８６０は、当技術分野で知られている画像スティッチングおよび視点仮想化アルゴリズムを使用して、画像取込装置の動きからの画像データを組み合わせるように構成される。

このようにして、人間であるコントローラが仮想カメラ位置を制御する一方で、仮想視点システム８６０が、画像取込装置の実際のカメラ位置を制御するために自律的に動作することができる。いくつかの例においては、仮想カメラ位置を完全に自律的に制御することができ、人間の視覚系の画像安定性目標を満たしつつ、画像取込装置の自律制御を使用してデータを迅速に収集することができる。

仮想カメラ視点が使用されている例においては、外科医によるシーンの視認に有利な改善された仮想カメラ視点を装置８００によって予測することができる。さらに、仮想視点を生成するために必要な実際のカメラの動きを、画像取込装置の１つ以上の所望の画像取込特性として決定ユニット８２０によって決定することができる。

能力検知ユニット：
いくつかの例において、装置８００は、能力検知ユニット８７０をさらに含むことができる。能力検知ユニット８７０を、決定ユニット８２０および制御ユニット８３０とやり取りして、所望の画像取込特性の所与の組に対して達成することができる最適な画像取込特性を決定するように構成することができる。すなわち、能力検知ユニット８７０は、画像取込装置または手術環境の１つ以上の制限または限界ゆえに、画像取込装置が決定ユニット８２０によって決定された所望の画像取込特性を必要とされる時間フレーム内に達成することができないと判断することができる。この場合、能力検知ユニット８７０は、画像取込装置にとって達成可能な最適な画像取込特性を制御ユニット８３０に指示する。換言すると、能力検知ユニットは、画像取込装置の所望の／最適な画像取込特性を決定するときに、画像取込装置の限界を考慮する。

画像取込装置の所望の画像取込特性が、所望の画像取込位置である例を考える。これが、本開示の図６Ｂに示されている。この例において、装置８００は、将来の時点Ｔにおいて画像を撮影するための画像取込装置の所望の位置Ｌ１を生成済みである。所望の位置が（決定ユニット８２０によって）決定されると、能力検知ユニット８７０は、画像取込装置の能力（画像取込装置の現在位置Ｌ０、および画像取込装置の最大速度Ｖを含む）を評価して、画像取込装置が時点Ｔ（Δｔだけ将来の時点）までに所望の位置Ｌ１を達成することができるか否かを判定する。

しかしながら、この例において、能力検知ユニットは、画像取込装置が時点Ｔまでに位置Ｌ１を達成しないと判定する。むしろ、画像取込装置の能力に基づくと、画像取込装置は時点Ｔまでに位置Ｌ２を達成するにすぎない。したがって、能力検知ユニットは、画像取込装置が時点Ｔまでに位置Ｌ１を達成できないと判定する。

しかしながら、位置Ｌ２は、位置Ｌ１と比較して時点Ｔにおける最適位置ではない。すなわち、Ｌ１とは対照的に、位置Ｌ２は、シーンの明瞭な視認を提供できない可能性がある。したがって、能力検知ユニットが、決定ユニット８２０とやり取りし、時間ステップΔｔ内に達成することができる画像取込装置の移動範囲内の画像取込装置の最適位置を決定する。これに基づき、位置Ｌ３が、時間ステップΔｔ内に達成することができる（すなわち、時点Ｔまでに達成することができる）画像取込装置の最適位置であると判定される。

したがって、画像取込装置の能力の限界ゆえに画像取込装置が所望の位置Ｌ１を達成できないと判定されるため、画像取込装置の能力の範囲内の第２の所望の位置Ｌ３が決定される。これにより、画像取込装置が、必要な時間内に所望の位置Ｌ１を達成することができないがゆえに最適ではない位置Ｌ２に到達してしまう事態が回避される。

さらに、能力検知ユニットが、画像取込装置が所望の画像取込特性を達成することができるかどうかを判定するときに、環境上の制限などの他の制限も考慮できることを、理解できるであろう。例えば、能力検知ユニットは、患者の組織または外科医の手術ツールなどとの衝突の可能性ゆえに、画像取込装置が所望の画像取込位置を達成することができないと判定することができる。

随意により、能力検知ユニット８７０を、手術シナリオの１つ以上のルールに従って実装することができる。すなわち、装置は、取得された画像データおよび／または取得されたコンテクストデータを通じて、特定の手術シナリオ（心臓手術など）を認識することができる。次いで、手術シナリオの認識を使用して、画像取込装置の可能な動きまたは所望の画像取込特性に適用され得る所定の制約のルックアップテーブルを照会することができる。例えば、心臓手術において、心臓の特定の部分が画像取込装置の視野内に保持されること、または画像取込装置の位置が心臓の特定の部分にアクセスする外科医の能力を妨げないことが、制約であり得る。

本開示の実施形態の例において、能力検知手段８７０および／または制御ユニット８３０を、シーン内に存在する１つ以上の物体の位置に従って所望の画像取込位置への移動パターンを決定するように構成することができる。これにより、画像取込装置が所望の位置への途中でシーン内の物体と衝突しないことが保証される。

具体的には、いくつかの実施形態において、ひとたび所望の画像取込位置への移動パターンが決定されると、制御ユニットは、画像取込装置を所望の位置へと、所望の位置への経路において手術シーンに（例えば、シーン内の物体との衝突によって）悪影響を及ぼすことなく効率的に移動させるために、決定された移動パターンに従って画像取込装置を支持する関節アームの位置および／または向きを制御するように構成される。

当然ながら、画像取込装置の能力を所望の位置に関して説明したが、能力検知ユニットを、必要に応じて画像取込装置の他の所望の画像取込特性にも適用できることを、理解できるであろう。

例示的な構成：
本開示の実施形態によるコンピュータ支援手術システムの例示的な構成を、本開示の図７Ａを参照して説明する。この例示的な構成を、例えば、（本開示の図１を参照して説明したような）内視鏡手術の状況において使用することができる。

この例示的な構成において、ロボットカメラシステム１１００が提供される。このロボットカメラシステムは、画像取込装置１１０２および駆動システム１１０４を含む。画像取込装置は、支持アーム１１０６によって駆動システムに結合する。換言すると、駆動システム１１０４は、画像取込装置によって手術シーンの画像を撮影するように画像取込装置１１０２を位置決めするために、支持アーム１１０６を動かすために使用される。

画像取得ユニット（図示せず）は、画像取込装置から画像データを取得し、この画像データをシーン予測ユニット（装置８００の生成ユニット８２０ａなど）に提供する。さらに、コンテクスト検知ユニット１１００は、手術シーンのコンテクスト情報を取得し、このコンテクスト情報をシーン予測ユニット１１０８に提供する。

次いで、シーン予測ユニット１１０８は、この情報に基づいて、将来の時点Ｔにおける（すなわち、ロボットカメラシステムの画像取込装置によって画像データが取得された時点よりも前の時点Ｔにおける）手術シーンのアピアランスを表す予測画像データを生成する。

この予測画像データは、カメラ位置決めユニット１１１２（装置８００の決定ユニット８２０など）に提供される。また、カメラ位置決めユニット１１１２は、（画像取込装置１１００から受信した画像データに基づいて生成された）仮想視点システム１１１４からの仮想カメラ位置を受け取る。

この情報（さらには、ロボットカメラシステム１１００の支持アームの現在位置）に基づいて、カメラ位置決めユニット１１１２は、撮像装置の所望の移動を計算する。これが、ロボットカメラシステムを時点Ｔよりも前に所望の位置へと移動させるために、ロボットカメラシステムの駆動ユニットへともたらされる一連の駆動コマンドを設計する駆動設計ユニット１１１６（装置８００の制御ユニット８３０など）に提供される。

このようにして、ロボットカメラシステムの位置を、ロボットカメラシステムが時点Ｔよりも前に所望の位置を達成するように、制御することができる。これにより、コンピュータ支援手術システムは、手術シーンの予測可能な将来の変化の影響が、変化が生じる前のカメラシステムの移動によって補償されるように、カメラの位置を予測的に最適化することができる。

このコンピュータ支援手術システムの手術シナリオへの適用の例示的な図が、図７Ｂを参照して示される。図７Ｂにおいて、外科医１１２０が、患者１１２４の標的領域１１２２に対してコンピュータ支援外科手術を実行中である。外科医１１２０は、ロボットカメラシステム１１２６によって撮影された手術シーンの画像を、ディスプレイ（図示せず）上で観察する。ロボットカメラシステムの視野は、図７Ｂの線１１２８によって囲まれた領域によって示されている。ロボットカメラシステム１１２６からの画像は、図７Ａに示されるようにシーン予測ユニット１１０８にも提供される。

この例において、外科医１１２０が外科用メス１１３０を手術シーンにちょうど導入したところであると考える。この段階で、シーン予測ユニット（装置８００の生成ユニットであってよい）は、後続のビデオフレームにおいて、２秒の時間内に、外科医１１２０が吸引管１１３２を手術シーンに導入すると予測する。これが図７Ｃに示されている。予測画像の分析により、予測される手術シーン内の吸引管１１３２の配置が、ロボットカメラシステム１１２６を遮り、したがってシーンの鮮明な画像が得られないことが明らかになる。

したがって、予測画像の時間ステップ（すなわち、現在の時点の２秒先）に鑑み、図７Ａのカメラ位置決めユニット１１１２は、ロボットカメラシステム１１２６によって達成することができ、かつ標的領域１１２２の鮮明な画像を提供するロボットカメラシステム１１２６を取り囲む三次元ボリューム内の可能な動きを計算する。これが図７Ｄに示されている。

最後に、ひとたびロボットカメラシステムの所望の画像取込位置が決定されると、駆動設計ユニット１１１６および駆動ユニット１１０４が相互作用して、外科医１１２０が吸引管１１３２を手術シーンへと実際に配置する前に標的領域１１２２の鮮明な視野を維持するためにロボットカメラシステム１１２６が自身の位置および角度を調整するように、ロボットカメラシステム１１２６を制御する。これが図７Ｅに示されている。

方法：
本開示の実施形態によれば、手術中に画像取込装置を制御する方法が提供される。本開示の実施形態による手術中に画像取込装置を制御する方法の説明が、図８に示されている。

手術中に医療画像取込装置などの画像取込装置を制御する方法は、Ｓ１２００で開始し、ステップＳ１２０２に進む。

ステップＳ１２０２において、本方法は、医療画像取込装置から第１の画像データを取得することを含み、第１の画像データは、第１の時間インスタンスにおける手術シーンのアピアランスである。

ひとたび第１の画像データが取得されると、本方法は、ステップＳ１２０４に進む。

ステップＳ１２０４において、本方法は、第１の画像データに基づく第１の時間インスタンスの後の第２の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の１つ以上の所望の画像取込特性を決定することを含む。

ひとたび画像取込装置の１つ以上の所望の画像取込特性が決定されると、本方法は、ステップＳ１２０６に進む。

ステップＳ１２０６において、本方法は、画像取込装置を第１の時間インスタンスと第２の時間インスタンスとの間の第３の時間インスタンスにおいて医療画像取込装置の１つ以上の所望の画像取込特性に従って制御することを含む。

ひとたび画像取込装置が第３の時間インスタンスにおいて制御されると、本方法はステップＳ１２０８に進み、ステップＳ１２０８で終了する。

いくつかの状況において、画像取込装置の所望の画像取込特性が、画像取込装置がすでに有する画像取込特性であってもよいことを、理解できるであろう。この場合、画像取込装置の現在の画像取込特性に対する変更は、行われない。

さらに、いくつかの状況において、ステップＳ１２０６が完了すると本方法はステップＳ１２０２に戻ることを、理解できるであろう。このようにして、画像取込装置の所望の画像取込特性が継続的または定期的に評価され、必要に応じて更新される。

コンピューティング装置：
ここで図９を参照すると、本開示の実施形態によるコンピューティング装置１３００が示されている。コンピューティング装置１３００は、手術中に画像取込装置を制御するためのコンピューティング装置であってよい。典型的には、コンピューティング装置は、パーソナルコンピュータまたはサーバに接続された端末などのデバイスであってよい。実際に、いくつかの実施形態において、コンピューティング装置はサーバであってもよい。コンピューティング装置１３００は、マイクロプロセッサまたは他の処理回路１３０２を使用して制御される。

処理回路１３０２は、コンピュータ命令を実行するマイクロプロセッサであってよく、あるいは特定用途向け集積回路であってよい。コンピュータ命令は、磁気的に読み取り可能な媒体、光学的に読み取り可能な媒体、またはソリッドステート型回路であってよい記憶媒体１３０４に格納される。記憶媒体１３０４は、（図示のように）コンピューティング装置１３００に統合されてよく、あるいはコンピューティング装置１３００とは別個であって、有線または無線のいずれかの接続を使用してコンピューティング装置１３００に接続されてよい。コンピュータ命令を、プロセッサ回路１３０２にロードされたときに本開示の実施形態による手術中に画像取込装置を制御する方法を実行するようにコンピューティング装置１３００のプロセッサ回路１３０２を構成するコンピュータ可読コードを含むコンピュータソフトウェアとして具現化することができる。

プロセッサ回路１３０２には、ユーザ入力部（図示せず）がさらに接続される。ユーザ入力部は、タッチスクリーンであってよく、あるいはマウスまたはスタイリスト型の入力装置であってよい。ユーザ入力部は、キーボードまたはこれらの装置の任意の組み合わせであってもよい。

ネットワーク接続部１３０６が、プロセッサ回路１３０２にさらに組み合わせられる。ネットワーク接続部１３０６は、ローカルエリアネットワークあるいはインターネットまたは仮想プライベートネットワークなどのワイドエリアネットワークへの接続部であってよい。ネットワーク接続部１３０６を、他の医療装置と通信して関連データを取得し、あるいは他の医療装置に関連データを提供することをプロセッサ回路１３０２にとって可能にする医療装置インフラストラクチャに接続することができる。ネットワーク接続部１３０６を、ファイアウォールまたは何らかの他の形態のネットワークセキュリティの背後に配置することができる。

さらに、処理回路１３０２に表示装置１３０８が組み合わせられる。表示装置は、コンピューティング装置１３００に統合されて図示されているが、さらにコンピューティング装置１３００とは別個であってもよく、システムの動作の視覚化をユーザにとって可能にするモニタまたは何らかの種類の装置であってよい。さらに、表示装置１３００は、コンピューティング装置１３００によって生成される関連情報のユーザまたは第三者（医療支援アシスタントなど）による閲覧を可能にするプリンタまたは何らかの他の装置であってもよい。

上記は、「マスタースレーブ」型のロボットシステムに関連して説明されているが、本開示はそのように限定されない。いくつかの事例において、手術ロボットは、人間の外科医が監視者の立場で存在する状態で、人間の外科医とは独立して働くことができる。さらに、内視鏡検査または腹腔鏡検査において、スコピストがロボットであってよく、人間の外科医がロボットを監督する。いくつかの実施形態において、ロボットシステムは、主外科医がロボット外科医を使用し、補佐の外科医が補助ロボットアームを遠隔操作するマルチロボット手術システムであってよい。ロボットシステムは、手術器具を保持する１対の協働する自律型ロボットアームからなる単独手術システムであってもよい。この場合、人間の外科医は、マスタースレーブ構成を使用することができる。

＜例示的なシステム＞
図１０が、本技術を適用することができるコンピュータ支援手術システム１１２６０の一例を概略的に示している。コンピュータ支援手術システムは、自律アーム１１０００および１つ以上の外科医制御アーム１１０１０を組み込んだマスタースレーブシステムである。自律アームは、撮像装置１１０２０（例えば、内視鏡、顕微鏡、またはエクソスコープなどの医療用スコープ）を保持する。１つ以上の外科医制御アーム１１０１０は、手術装置１１０３０（例えば、切削ツールなど）をそれぞれ保持する。自律アームの撮像装置が、外科医にとって視認可能な電子ディスプレイ１１１００に手術シーンの画像を出力する。自律アームは、外科医が１つ以上の外科医制御アームを使用して手術を実行しているときに撮像装置の視界を自律的に調整して、外科医が手術シーンをリアルタイムで適切に視認できるようにする。

外科医は、マスタコンソール１１０４０を使用して、１つ以上の外科医制御アーム１１０１０を制御する。マスタコンソールは、マスタコントローラ１１０５０を含む。マスタコントローラ１１０５０は、１つ以上の力センサ１１０６０（例えば、トルクセンサ）、１つ以上の回転センサ１１０７０（例えば、エンコーダ）、および１つ以上のアクチュエータ１１０８０を含む。マスタコンソールは、１つ以上の関節部を有するアーム（図示せず）と、操作部とを含む。外科医が操作部を把持して動かすことで、アームを１つ以上の関節部を中心にして動かすことができる。１つ以上の力センサ１１０６０は、外科医が１つ以上の関節部を中心にしてアームの操作部へともたらす力を検出する。１つ以上の回転センサは、アームの１つ以上の関節部の回転角度を検出する。アクチュエータ１１０８０は、アームを１つ以上の関節部を中心にして駆動することで、アームが外科医に触覚フィードバックを提供することを可能にする。マスタコンソールは、外科医から入力情報を受け取り、さらには外科医に出力情報を提供するための自然なユーザインターフェース（ＮＵＩ）入力部／出力部を含む。ＮＵＩ入力部／出力部は、（外科医が入力情報を提供するために動かし、さらには触覚フィードバックを出力情報として外科医に提供する）アームを含む。ＮＵＩ入力部は、音声入力、視線入力、および／またはジェスチャ入力を含むこともできる。マスタコンソールは、撮像装置１１０２０によって撮影された画像を出力するための電子ディスプレイ１１１００を含む。

マスタコンソール１１０４０は、ロボット制御システム１１１１０を介して自律アーム１１０００および１つ以上の外科医制御アーム１１０１０の各々と通信する。ロボット制御システムは、有線または無線接続１１２３０、１１２４０、および１１２５０によってマスタコンソール１１０４０、自律アーム１１０００、および１つ以上の外科医制御アーム１１０１０に接続される。接続１１２３０、１１２４０、および１１２５０は、マスタコンソール、自律アーム、および１つ以上の外科医制御アームの間の有線または無線信号の交換を可能にする。

ロボット制御システムは、制御プロセッサ１１１２０およびデータベース１１１３０を含む。制御プロセッサ１１１２０は、１つ以上の力センサ１１０６０および１つ以上の回転センサ１１０７０から受信した信号を処理して、制御信号を出力し、制御信号に応答して、１つ以上のアクチュエータ１１１６０が１つ以上の外科医制御アーム１１０１０を駆動する。このようにして、マスタコンソール１１０４０の操作部の動きが、１つ以上の外科医制御アームの対応する動きを生じさせる。

さらに、制御プロセッサ１１１２０は、制御信号を出力し、制御信号に応答して１つ以上のアクチュエータ１１１６０が自律アーム１１０００を駆動する。自律アームへと出力される制御信号は、マスタコンソール１１０４０、１つ以上の外科医制御アーム１１０１０、自律アーム１１０００、および任意の他の信号源（図示せず）のうちの１つ以上から受信した信号に応答して、制御プロセッサ１１１２０によって決定される。受信信号は、撮像装置１１０２０によって適切な視野の画像を撮影するための自律アームの適切な位置を示す信号である。データベース１１１３０は、受信信号の値および対応する自律アームの位置を記憶する。

例えば、マスタコントローラの１つ以上の力センサ１１０６０および回転センサ１１０７０から受信した信号（これは、結果的に、１つ以上の外科医制御アーム１１０１０の対応する動きを表す）の値の所与の組み合わせについて、自律アーム１１０００の対応する位置が、撮像装置１１０２０によって撮影される画像が１つ以上の外科医制御アーム１１０１０によって遮られることがないように設定される。

別の例として、自律アームの１つ以上の力センサ１１１７０（例えば、トルクセンサ）によって出力された信号が、自律アームが抵抗（例えば、自律アームの経路内の障害物に起因する）に直面していることを示す場合、自律アームの対応する位置が、画像が撮像装置１１０２０によって別の視野（例えば、自律アームが障害物を含まない別の経路に沿って移動することができる視野）から取得されるように設定される。

自律アームの適切な位置を示す他の種類の受信信号が存在してもよいことを、理解できるであろう。

制御プロセッサ１１１２０は、受信信号の値をデータベース１１１３０において参照し、対応する自律アーム１１０００の位置を指示する情報を取得する。次いで、この情報が処理されて、さらなる信号が生成され、さらなる信号に応答して自律アームのアクチュエータ１１１６０が自律アームを指示された位置に移動させる。

自律アーム１１０００および１つ以上の外科医制御アーム１１０１０の各々は、アームユニット１１１４０を含む。アームユニットは、アーム（図示せず）と、制御ユニット１１１５０と、１つ以上のアクチュエータ１１１６０と、１つ以上の力センサ１１１７０（例えば、トルクセンサ）とを含む。アームは、アームの動きを可能にする１つ以上のリンクおよび関節部を含む。制御ユニット１１１５０は、ロボット制御システム１１１１０へと信号を送信し、ロボット制御システム１１１１０から信号を受信する。

ロボット制御システムから受信した信号に応答して、制御ユニット１１１５０は、アームを１つ以上の関節部を中心にして駆動して適切な位置へと動かすために、１つ以上のアクチュエータ１１１６０を制御する。１つ以上の外科医制御アーム１１０１０に関して、受信信号は、（例えば、外科医がマスタコンソールのアームを制御することによる）マスタコンソール１１０４０から受信した信号に基づいて、ロボット制御システムによって生成される。自律アーム１１０００に関して、受信信号は、ロボット制御システムがデータベース１１１３０内の適切な自律アーム位置情報を検索することによって生成される。

１つ以上の関節部を中心にして１つ以上の力センサ１１１７０によって出力された信号に応答して、制御ユニット１１１５０は、ロボット制御システムに信号を出力する。例えば、これにより、ロボット制御システムは、１つ以上の外科医制御アーム１１０１０が直面している抵抗を表す信号をマスタコンソール１１０４０に送信し、対応する触覚フィードバックを外科医にもたらすことができる（例えば、１つ以上の外科医制御アームが直面する抵抗により、マスタコンソールのアクチュエータ１１０８０がマスタコンソールのアームに対応する抵抗を生じさせるように）。別の例として、ロボット制御システムは、（例えば、１つ以上の力センサ１１１７０が障害物が自律アームの経路内に存在することを示す場合に、自律アームの代替位置を見つけるために）データベース１１１３０において適切な自律アーム位置情報を検索することができる。

自律アーム１１０００の撮像装置１１０２０は、カメラ制御ユニット１１１８０と、撮像ユニット１１１９０とを含む。カメラ制御ユニットは、撮像ユニットを制御して画像を撮影し、ズームレベル、露出値、ホワイトバランス、などの撮影画像の種々のパラメータを制御する。撮像ユニットは、手術シーンの画像を撮影する。撮像ユニットは、１つ以上のレンズおよびイメージセンサ（図示せず）を含む画像の撮影に必要なすべての構成要素を含む。画像が撮影される手術シーンの視野は、自律アームの位置に依存する。

１つ以上の外科医制御アームの手術装置１１０３０は、装置制御ユニット１１２００、マニピュレータ１１２１０（例えば、１つ以上のモータおよび／またはアクチュエータを含む）、および１つ以上の力センサ１１２２０（例えば、トルクセンサ）を含む。

装置制御ユニット１１２００は、ロボット制御システム１１１１０から受信した信号に応答して物理的動作（例えば、手術装置１１０３０が切削ツールである場合の切削動作）を実行するようにマニピュレータを制御する。信号は、外科医が手術装置を制御すべくＮＵＩ入力部／出力部１１０９０に情報を入力することによって生成されるマスタコンソール１１０４０から受信される信号に応答して、ロボット制御システムによって生成される。例えば、ＮＵＩ入力部／出力部は、手術装置に所定の動作（例えば、手術装置が切削ツールである場合に電気ブレードをオンまたはオフにする）を実行させるために外科医が操作することができるマスタコンソールのアームの操作部の一部として含まれる１つ以上のボタンまたはレバーを含む。

さらに、装置制御ユニット１１２００は、１つ以上の力センサ１１２２０から信号を受信する。受信信号に応答して、装置制御ユニットは、対応する信号をロボット制御システム１１１１０に提供し、ロボット制御システムは、対応する信号をマスタコンソール１１０４０に提供する。マスタコンソールは、ＮＵＩ入力部／出力部１１０９０を介して外科医に触覚フィードバックを提供する。したがって、外科医は、手術装置１１０３０ならびに１つ以上の外科医制御アーム１１０１０から触覚フィードバックを受け取る。例えば、手術装置が切削ツールである場合、触覚フィードバックは、１つ以上の力センサ１１２２０からの信号が切削ツールに大きな力が加わっていることを示す場合（例えば、骨などの硬い材料を切削するときに生じる）に、切削ツールを操作するボタンまたはレバーが操作に対してより大きな抵抗をもたらし、１つ以上の力センサ１１２２０からの信号が切削ツールに加わる力が小さいことを示す場合（例えば、筋肉などのより柔らかい材料を切断するときに生じる）に、操作に対する抵抗を小さくすることを、含むことができる。ＮＵＩ入力部／出力部１１０９０は、ロボット制御システム１１１１０から受信した信号に応答して触覚フィードバックを提供するための１つ以上の適切なモータ、アクチュエータ、などを含む。

図１１が、本技術を適用することができるコンピュータ支援手術システム１２０９０の別の例を概略的に示している。コンピュータ支援手術システム１２０９０は、外科医がマスタースレーブシステム１１２６０を介してタスクを実行し、コンピュータ化された手術装置１２０００が自律的にタスクを実行する手術システムである。

マスタースレーブシステム１１２６０は図１０と同じであるため、説明は省略する。しかしながら、システムは、代替の実施形態において図１０のシステムとは異なるシステムであってよく、あるいは完全に省略されてもよい（この場合、システム１２０９０は、外科医が従来からの手術を実行しているときに自律的に動作する）。

コンピュータ化された手術装置１２０００は、ロボット制御システム１２０１０と、ツールホルダアーム装置１２１００とを含む。ツールホルダアーム装置１２１００は、アームユニット１２０４０と、手術装置１２０８０とを含む。アームユニットは、アーム（図示せず）と、制御ユニット１２０５０と、１つ以上のアクチュエータ１２０６０と、１つ以上の力センサ１２０７０（例えば、トルクセンサ）とを含む。アームは、アームの動きを可能にする１つ以上の関節部を含む。ツールホルダアーム装置１２１００は、有線または無線接続１２１１０を介してロボット制御システム１２０１０と信号を送信および受信する。ロボット制御システム１２０１０は、制御プロセッサ１２０２０およびデータベース１２０３０を含む。別個のロボット制御システムとして図示されているが、ロボット制御システム１２０１０およびロボット制御システム１１１１０は、１つの同じロボット制御システムであってもよい。手術装置１２０８０は、手術装置１１０３０と同じ構成要素を有する。これらは図１１には示されていない。

ロボット制御システム１２０１０から受信した制御信号に応答して、制御ユニット１２０５０は、アームを１つ以上の関節部を中心にして駆動して適切な位置へと動かすために、１つ以上のアクチュエータ１２０６０を制御する。さらに、手術装置１２０８０の動作は、ロボット制御システム１２０１０から受信される制御信号によって制御される。制御信号は、アームユニット１２０４０、手術装置１２０８０、および任意の他の信号源（図示せず）のうちの１つ以上から受信される信号に応答して、制御プロセッサ１２０２０によって生成される。他の信号源として、手術シーンの画像を撮影する撮像装置（例えば、マスタースレーブシステム１１２６０の撮像装置１１０２０）を挙げることができる。制御プロセッサ１２０２０によって受信された信号の値は、対応するアーム位置および／または手術装置動作状態情報と共にデータベース１２０３０に格納された信号値と比較される。制御プロセッサ１２０２０は、受信信号の値に関連するアーム位置および／または手術装置動作状態情報をデータベース１２０３０から検索する。次いで、制御プロセッサ１２０２０は、検索されたアーム位置および／または手術装置動作状態情報を使用して、制御ユニット１２０５０および手術装置１２０８０に送信される制御信号を生成する。

例えば、手術シーンの画像を撮影する撮像装置から受信した信号が（例えば、ニューラルネットワーク画像分類プロセスなどを介して）所定の手術シナリオを示す場合に、この所定の手術シナリオがデータベース１２０３０において検索され、この所定の手術シナリオに関連付けられたアーム位置情報および／または手術装置動作状態情報がデータベースから読み出される。別の例として、信号がアームユニット１２０４０の１つ以上の関節部を中心にして１つ以上の力センサ１２０７０によって測定された抵抗の値を示す場合に、この抵抗の値がデータベース１２０３０において検索され、この抵抗の値に関連付けられたアーム位置情報および／または手術装置動作状態情報がデータベースから読み出される（例えば、アームの経路内の障害物に対応して抵抗が増大した場合に、アームの位置を代替位置に変更できるようにするため）。次いで、いずれの場合も、制御プロセッサ１２０２０は、アームの位置を読み出されたアーム位置情報によって示される位置へと変更するように１つ以上のアクチュエータ１２０６０を制御する信号を制御ユニット１２０５０に送信し、かつ／または読み出された動作状態情報によって示される動作状態に入る（例えば、手術装置１２０８０が切削ツールである場合に電気ブレードを「オン」状態または「オフ」状態にする）ように手術装置１２０８０を制御する信号を手術装置１２０８０に送信する。

図１２が、本技術を適用することができるコンピュータ支援手術システム１３０００の別の例を概略的に示している。コンピュータ支援手術システム１３０００は、自律アーム１１０００が撮像装置１１０２０（例えば、内視鏡、顕微鏡、またはエクソスコープなどの医療用スコープ）を保持するコンピュータ支援医療スコープシステムである。自律アームの撮像装置が、外科医にとって視認可能な電子ディスプレイ（図示せず）に手術シーンの画像を出力する。自律アームは、外科医が手術を実行しているときに撮像装置の視界を自律的に調整して、外科医が手術シーンをリアルタイムで適切に視認できるようにする。自律アーム１１０００は図１０の自律アームと同じであるため、説明は省略する。しかしながら、この場合、自律アームは、図１０のマスタースレーブシステム１１２６０の一部としてではなく、スタンドアロンのコンピュータ支援医療スコープシステム１３０００の一部として提供される。したがって、自律アーム１１０００を、例えば腹腔鏡手術（医療用スコープが内視鏡である）および開放手術を含む多数のさまざまな手術環境で使用することができる。

コンピュータ支援医療スコープシステム１３０００は、自律アーム１１０００を制御するためのロボット制御システム１３０２０をさらに含む。ロボット制御システム１３０２０は、制御プロセッサ１３０３０およびデータベース１３０４０を含む。有線または無線信号が、接続１３０１０を介してロボット制御システム１３０２０と自律アーム１１０００との間で交換される。

ロボット制御システム１３０２０から受信される制御信号に応答して、制御ユニット１１１５０は、自律アーム１１０００を駆動して、適切な視野の画像を撮像装置１１０２０によって撮影するための適切な位置へと動かすために、１つ以上のアクチュエータ１１１６０を制御する。制御信号は、アームユニット１１１４０、撮像装置１１０２０、および任意の他の信号源（図示せず）のうちの１つ以上から受信される信号に応答して、制御プロセッサ１３０３０によって生成される。制御プロセッサ１３０３０によって受信された信号の値は、対応するアーム位置情報と共にデータベース１３０４０に格納された信号値と比較される。制御プロセッサ１３０３０は、受信信号の値に関連するアーム位置情報をデータベース１３０４０から検索する。次いで、制御プロセッサ１３０３０は、検索されたアーム位置情報を使用して、制御ユニット１１１５０に送信される制御信号を生成する。

例えば、撮像装置１１０２０から受信した信号が（例えば、ニューラルネットワーク画像分類プロセスなどを介して）所定の手術シナリオを示す場合に、この所定の手術シナリオがデータベース１３０４０において検索され、この所定の手術シナリオに関連付けられたアーム位置情報がデータベースから読み出される。別の例として、信号がアームユニット１１１４０の１つ以上の力センサ１１１７０によって測定された抵抗の値を示す場合に、この抵抗の値がデータベース１２０３０において検索され、この抵抗の値に関連付けられたアーム位置情報がデータベースから読み出される（例えば、アームの経路内の障害物に対応して抵抗が増大した場合に、アームの位置を代替位置に変更できるようにするため）。次いで、いずれの場合も、制御プロセッサ１３０３０は、１つ以上のアクチュエータ１１１６を制御して、アームの位置を読み出されたアーム位置情報によって示される位置に変更するように、制御ユニット１１１５０に信号を送信する。

図１３が、本技術を適用することができるコンピュータ支援手術システム１４０００の別の例を概略的に示している。システムは、撮像ユニット１１０２０を有する１つ以上の自律アーム１１０００と、手術装置１２１００を有する１つ以上の自律アーム１２１００とを含む。１つ以上の自律アーム１１０００および１つ以上の自律アーム１２１００は、前述した自律アームと同じである。各々の自律アーム１１０００および１２１００は、制御プロセッサ１４０９０およびデータベース１４１００を含むロボット制御システム１４０８０によって制御される。有線または無線信号が、それぞれ接続１４１１０および１４１２０を介してロボット制御システム１４０８０と各々の自律アーム１１０００および１２１００との間で伝送される。ロボット制御システム１４０８０は、自律アーム１１０００の各々を制御するための前述のロボット制御システム１１１１０および／または１３０２０の機能を実行し、自律アーム１２１００の各々を制御するための前述のロボット制御システム１２０１０の機能を実行する。

自律アーム１１０００および１２１００は、（例えば、システム１４０００が開放手術システムである場合に）手術の少なくとも一部を完全に自律的に行う。ロボット制御システム１４０８０は、手術の現在の段階および／または手術において生じているイベントを表す入力情報に基づいて、手術中に所定の動作を実行するように自律アーム１１０００および１２１００を制御する。例えば、入力情報は、画像取込装置１１０００によって撮影された画像を含む。さらに、入力情報は、マイクロフォン（図示せず）によって取り込まれた音、手術器具（図示せず）に含まれる動きセンサに基づく使用中の手術器具の検出、および／または任意の他の適切な入力情報を含むことができる。

入力情報は、機械学習ベースの手術計画装置１４０２０によって実装される適切な機械学習（ＭＬ）アルゴリズム（例えば、適切な人工ニューラルネットワーク）を使用して分析される。計画装置１４０２０は、機械学習プロセッサ１４０３０と、機械学習データベース１４０４０と、トレーナ１４０５０とを備える。

機械学習データベース１４０４０は、手術段階（例えば、切開を行うこと、臓器を除去すること、または縫合を施すこと）および／または手術事象（例えば、出血または患者パラメータが所定の範囲から外れること）の分類を示す情報と、それらの分類に対応する事前に知られた入力情報（例えば、各々の分類の手術段階および／または手術事象の際に撮像装置１１０２０によって撮影された１つ以上の画像）とを含む。機械学習データベース１４０４０に、訓練段階において各々の分類を示す情報および対応する入力情報をトレーナ１４０５０に提供することによってデータが追加される。次いで、トレーナ１４０５０は、この情報を使用して機械学習アルゴリズムを（例えば、情報を使用して適切な人工ニューラルネットワークパラメータを決定することによって）訓練する。機械学習アルゴリズムは、機械学習プロセッサ１４０３０によって実現される。

ひとたび訓練されると、以前は見られなかった入力情報（例えば、新たに撮影された手術シーンの画像）を機械学習アルゴリズムによって分類して、その入力情報に関連する手術段階および／または手術事象を決定することができる。さらに、機械学習データベースは、機械学習データベースに格納された各々の手術段階および／または手術事象に応答して各々の自律アーム１１０００および１２１００が行うべき動作（例えば、「切開を行う」という手術段階に関して関連の位置に切開を形成するように自律アーム１２１００を制御し、「出血」という手術事象に関して適切な焼灼を実行するように自律アーム１２１００を制御する）を示す動作情報を含む。したがって、機械学習ベースの手術計画部１４０２０は、機械学習アルゴリズムによって出力された手術段階および／または手術事象分類に応答して自律アーム１１０００および／または１２１００が行うべき関連動作を決定することができる。関連動作を示す情報は、ロボット制御システム１４０８０に提供され、ロボット制御システムは、関連動作を実行させるための信号を自律アーム１１０００および／または１２１００へともたらす。

計画装置１４０２０は、ロボット制御システム１４０８０を有する制御ユニット１４０１０に含まれてよく、これにより、計画装置１４０２０とロボット制御システム１４０８０との間の直接的な電子通信が可能になる。これに代え、あるいはこれに加えて、ロボット制御システム１４０８０は、通信ネットワーク１４０５０（例えば、インターネット）を介して他の装置１４０７０から信号を受信することができる。これにより、これらの他の装置１４０７０によって実行される処理に基づいて自律アーム１１０００および１２１００を遠隔制御することが可能になる。一例において、装置１４０７０は、複雑な機械学習アルゴリズムを迅速に実行することによってより信頼できる手術段階および／または手術事象の分類に到達するための充分な処理能力を有するクラウドサーバである。異なる機械学習アルゴリズムを、異なるそれぞれの装置１４０７０によって、これらの装置の各々にとってアクセス可能な外部の（例えば、クラウドベースの）機械学習データベース１４０６０に格納された同じ訓練用データを使用して実施することができる。したがって、各々の装置１４０７０は、（計画装置１４０２０の機械学習データベース１４０４０のような）自身の固有の機械学習データベースを必要とせず、訓練用データを中央において更新し、すべての装置１４０７０に利用可能にすることができる。各々の装置１４０７０は、そのそれぞれの機械学習アルゴリズムを実施するために、（トレーナ１４０５０のような）トレーナおよび（機械学習プロセッサ１４０３０のような）機械学習プロセッサをさらに含む。

図１４が、アームユニット１１１４０の一例を示している。アームユニット１２０４０は、同じやり方で構成される。この例において、アームユニット１１１４０は、撮像装置１１０２０としての内視鏡を支持する。しかしながら、他の例においては、他の撮像装置１１０２０あるいは手術装置１１０３０（アームユニット１１１４０の場合）または１２０８０（アームユニット１２０４０の場合）が支持される。

アームユニット１１１４０は、土台７１００と、土台７１００から延びるアーム７２００とを含む。アーム７２００は、複数の能動関節部７２１ａ～７２１ｆを含み、アーム７２００の遠位端に内視鏡１１０２０を支持する。リンク７２２ａ～７２２ｆは、実質的に棒状の部材である。複数のリンク７２２ａ～７２２ｆの端部が、能動関節部７２１ａ～７２１ｆ、受動スライド機構７２４０、および受動関節部７２６０によって互いに接続される。土台ユニット７１００は、アーム形状が土台７１００から延びるように支点として機能する。

アーム７２００の能動関節部７２１ａ～７２１ｆに設けられたアクチュエータを駆動および制御することによって、内視鏡１１０２０の位置および姿勢が制御される。この例によれば、内視鏡１１０２０の遠位端が処置部位である患者の体腔へと進入し、処置部位の画像を撮影する。しかしながら、内視鏡１１０２０は、他の撮像装置または手術装置などの他の装置であってもよい。より一般的には、アーム７２００の端部に保持された装置は、遠位ユニットまたは遠位装置と呼ばれる。

ここで、アームユニット７２００は、図１４に示されるように座標軸を定義することによって以下のように説明される。さらに、座標軸に従って、鉛直方向、長手方向、および水平方向が定義される。換言すると、床面に設置された土台７１００に対する鉛直方向が、ｚ軸方向および鉛直方向と定義される。さらに、ｚ軸と直交する方向であって、アーム７２００が土台７１００から延びる方向（換言すると、土台７１００に対して内視鏡１１０２０が位置する方向）が、ｙ軸方向および長手方向と定義される。さらに、ｙ軸およびｚ軸と直交する方向が、ｘ軸方向および水平方向と定義される。

能動関節部７２１ａ～７２１ｆは、リンク同士を互いに回転可能に接続する。能動関節部７２１ａ～７２１ｆは、アクチュエータを有し、アクチュエータの駆動によって所定の回転軸を中心に回転駆動される各々の回転機構を有する。各々の能動関節部７２１ａ～７２１ｆの回転駆動が制御されるとき、例えばアームユニット７２００を伸ばし、あるいは収縮させる（折り畳む）ように、アーム７２００の駆動を制御することができる。

受動スライド機構７２４０は、受動形態変更機構の一態様であり、リンク７２２ｃとリンク７２２ｄとを所定の方向に沿って前後に移動可能に接続する。受動スライド機構７２４０は、例えばユーザによって前後に移動するように操作され、リンク７２２ｃの一端側の能動関節部７２１ｃと受動関節部７２６０との間の距離を変更することができる。この構成により、アームユニット７２００の全体の形態を変化させることができる。

受動関節部７３６０は、受動形態変更機構の一態様であり、リンク７２２ｄとリンク７２２ｅとを互いに回動可能に接続する。受動関節部７２６０は、例えばユーザによって回転操作され、リンク７２２ｄとリンク７２２ｅとの間に形成される角度を変更することができる。この構成により、アームユニット７２００の全体の形態を変化させることができる。

一実施形態において、アームユニット１１１４０は、６つの能動関節部７２１ａ～７２１ｆを有し、アーム７２００の駆動に関して６自由度が実現される。すなわち、アームユニット１１１４０の駆動制御が、６つの能動関節部７２１ａ～７２１ｆの駆動制御によって実現される一方で、受動スライド機構７２６０および受動関節部７２６０は、駆動制御の対象ではない。

具体的には、図１４に示されるように、能動関節部７２１ａ、７２１ｄ、および７２１ｆは、接続されたリンク７２２ａおよび７２２ｅの各々の長軸方向ならびに接続された内視鏡１１０２０の取込方向を回転軸方向として有するように設けられる。能動関節部７２１ｂ、７２１ｃ、および７２１ｅは、接続されたリンク７２２ａ～７２２ｃ、７２２ｅ、および７２２ｆ、ならびに内視鏡１１０２０の各々の接続角度がｙ－ｚ平面（ｙ軸とｚ軸とで規定される平面）内で変更される方向であるｘ軸方向を回転軸方向として有するように設けられる。このようにして、能動関節部７２１ａ、７２１ｄ、および７２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部４２１ｂ、４２１ｃ、および４２１ｅは、いわゆるピッチングを行う機能を有する。

アームユニット１１１４０のアーム７２００の駆動に関して６自由度が実現されるため、アーム７２００の可動範囲内において内視鏡１１０２０を自由に移動させることが可能である。図１４は、内視鏡１１０２０の可動範囲の一例として半球を示している。半球の中心点ＲＣＭ（Ｒｅｍｏｔｅ Ｃｅｎｔｅｒ ｏｆ Ｍｏｔｉｏｎ）が内視鏡１１０２０によって撮影される処置部位の撮影中心であるとすると、内視鏡１１０２０の撮影中心を半球の中心点に固定した状態で、内視鏡１１０２０を半球の球面上で移動させることにより、処置部位を様さまざまな角度から撮影することができる。

本開示の実施形態は、以下の番号の条項によっても定義される。
（１）
手術中に医療画像取込装置を制御するためのシステムであって、
第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、前記医療画像取込装置から取得し、
前記第１の画像データに基づく前記第１の時間インスタンスの後の第２の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定し、
前記医療画像取込装置の前記１つ以上の所望の画像取込特性に従って、前記第１の時間インスタンスと前記第２の時間インスタンスとの間の第３の時間インスタンスにおいて前記医療画像取込装置を制御する
ように構成された回路を含んでいるシステム。
（２）
前記医療画像取込装置を制御することは、前記医療画像取込装置を支持する関節アームの位置を制御することを含む、条項１に記載のシステム。
（３）
前記回路は、前記手術シーンの前記予測アピアランスに基づいて、前記医療画像取込装置の前記１つ以上の所望の画像取込特性のうちの１つとして前記医療画像取込装置の所望の位置を決定するように構成されている、条項１または２に記載のシステム。
（４）
前記回路は、前記シーン内に存在する１つ以上の物体の位置に応じて前記所望の画像取込位置への移動パターンを決定し、前記決定された移動パターンに従って前記医療画像取込装置を支持する関節アームの位置および／または向きを制御するようにさらに構成されている、条項２または３に記載のシステム。
（５）
前記回路は、前記医療画像取込装置の前記１つ以上の所望の画像取込特性のうちの１つとして、前記画像取込装置の所望の撮像条件を決定するように構成されている、条項１～３のいずれかに記載のシステム。
（６）
前記所望の撮像条件は、光学画像システム条件および画像処理条件のうちの１つ以上を含む、条項５に記載のシステム。
（７）
前記光学画像システム条件および前記画像処理条件は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および／または画像輝度のうちの少なくとも１つを含む、条項６に記載のシステム。
（８）
前記回路は、前記第１の画像データに従って、前記第２の時間インスタンスにおける前記手術シーンの前記予測アピアランスである第２の画像データを生成するようにさらに構成されている、請求項１～７のいずれかに記載のシステム。
（９）
前記回路は、前記第１の画像データおよび前記シーンの現在の状態に関する情報に従って、前記第２の画像データを生成するようにさらに構成されている、条項８に記載のシステム。
（１０）
前記回路は、前記シーン内の物体の位置、前記シーン内の物体の動き、前記シーン内に存在する物体の種類、および／または前記シーン内の人物が実行している動作のうちの少なくとも１つを含む前記シーンの現在の状態に関する情報を取得するようにさらに構成されている、条項９に記載のシステム。
（１１）
前記回路は、内視鏡、顕微鏡、またはエクソスコープのうちの１つである前記医療画像取込装置を制御するように構成されている、条項１～１０のいずれかに記載のシステム。
（１２）
前記回路は、前記医療画像取込装置の前記所望の画像取込特性を決定するときに、前記医療画像取込装置の制約を考慮するようにさらに構成されている、条項１～１１のいずれかに記載のシステム。
（１３）
前記回路は、手術シナリオにおいて得られた手術データで訓練された機械学習システムを使用して前記手術シーンの前記予測アピアランスを生成するようにさらに構成されている、条項１～１２のいずれかに記載のシステム。
（１４）
前記手術シナリオにおいて得られた手術データは、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、ならびに／あるいは以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および／または以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの１つ以上を含む、条項１３に記載のシステム。
（１５）
前記回路は、前記医療画像取込装置の画像取込特性について該画像取込特性に関する１つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定するように構成されている、条項１～１４のいずれかに記載のシステム。
（１６）
前記回路は、前記第３の時間インスタンスと前記第２の時間インスタンスとの間の時間で完了できる動きの範囲を計算し、該計算に従って前記医療画像取込装置の前記所望の画像取込特性を決定するように構成されている、条項１～１５のいずれかに記載のシステム。
（１７）
手術中に医療画像取込装置を制御する方法であって、
第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、前記医療画像取込装置から取得するステップと、
前記第１の画像データに基づく前記第１の時間インスタンスの後の第２の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記１つ以上の所望の画像取込特性に従って、前記第１の時間インスタンスと前記第２の時間インスタンスとの間の第３の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む方法。
（１８）
命令を含んでいるコンピュータプログラム製品であって、
前記命令は、前記プログラムがコンピュータによって実行されたときに、医療画像取込装置を制御する方法を前記コンピュータに実行させ、
前記方法は、
第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、前記医療画像取込装置から取得するステップと、
前記第１の画像データに基づく前記第１の時間インスタンスの後の第２の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記１つ以上の所望の画像取込特性に従って、前記第１の時間インスタンスと前記第２の時間インスタンスとの間の第３の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む、コンピュータプログラム製品。

上記の教示に照らして本開示の多数の修正および変更が可能であることは明らかである。したがって、添付の特許請求の範囲の技術的範囲において、本開示が本明細書に具体的に記載されているやり方以外のやり方で実施されてもよいことを、理解されたい。

本開示の実施形態がソフトウェアによって制御されるデータ処理装置によって少なくとも部分的に実施されるものとして説明されている限りにおいて、そのようなソフトウェアを担持する光ディスク、磁気ディスク、半導体メモリ、などの非一時的な機械可読媒体も本開示の実施形態を表すと見なされることを、理解できるであろう。

上記の説明が、分かりやすくするために、さまざまな機能ユニット、回路、および／またはプロセッサを参照して実施形態を説明していることを、理解できるであろう。しかしながら、実施形態を損なうことなく、種々の機能ユニット、回路、および／またはプロセッサ間の機能の任意の適切な分配を使用できることは、明らかであろう。

記載された実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実装されてよい。記載された実施形態は、随意により、少なくとも部分的に、１つ以上のデータプロセッサおよび／またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして実装されてよい。あらゆる実施形態の要素および構成要素は、任意の適切なやり方で物理的、機能的、および論理的に実装されてよい。実際に、機能を単一のユニットまたは複数のユニットに実装しても、他の機能ユニットの一部として実装してもよい。したがって、開示された実施形態は、単一のユニットに実装されても、異なるユニット、回路、および／またはプロセッサ間に物理的および機能的に分散されてもよい。

本開示をいくつかの実施形態に関連して説明してきたが、本明細書に記載の特定の形態への限定は意図されていない。さらに、或る特徴が特定の実施形態に関連して説明されているように見えるかもしれないが、記載された実施形態のさまざまな特徴を、本技術の実施に適した任意のやり方で組み合わせることができることを、当業者であれば理解できるであろう。

Claims (14)

1. 手術中に医療画像取込装置を制御するためのシステムであって、
   第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、前記医療画像取込装置から取得し、
   前記第１の画像データに基づく前記第１の時間インスタンスの後の第２の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定し、
   前記医療画像取込装置の前記１つ以上の所望の画像取込特性に従って、前記第１の時間インスタンスと前記第２の時間インスタンスとの間の第３の時間インスタンスにおいて前記医療画像取込装置を制御する
   ように構成された回路を含み、
   前記回路は、
   前記医療画像取込装置の画像取込特性について該画像取込特性に関する１つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定するように構成され、
   前記予測アピアランスのうちの個々の箇所の信頼値を決定し、当該信頼値が所定の閾値よりも低い箇所を前記予測アピアランスから除外し、前記信頼値が前記所定の閾値よりも低い箇所が除外された前記予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定するように構成されており、
   前記所望の画像取込特性は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および画像輝度のうちの少なくとも１つを含む
   システム。
2. 前記医療画像取込装置を制御することは、前記医療画像取込装置を支持する関節アームの位置を制御することを含む、請求項１に記載のシステム。
3. 前記回路は、前記手術シーンの前記予測アピアランスに基づいて、前記医療画像取込装置の前記１つ以上の所望の画像取込特性のうちの１つとして前記医療画像取込装置の所望の位置を決定するように構成されている、請求項１又は２に記載のシステム。
4. 前記回路は、前記手術シーン内に存在する１つ以上の物体の位置に応じて前記医療画像取込装置の所望の位置への移動パターンを決定し、前記決定された移動パターンに従って前記医療画像取込装置を支持する関節アームの位置および／または向きを制御するようにさらに構成されている、請求項３に記載のシステム。
5. 前記回路は、前記第１の画像データに従って、前記第２の時間インスタンスにおける前記手術シーンの前記予測アピアランスである第２の画像データを生成するようにさらに構成されている、請求項１～４のいずれか１項に記載のシステム。
6. 前記回路は、前記第１の画像データおよび前記手術シーンの現在の状態に関する情報に従って、前記第２の画像データを生成するようにさらに構成されている、請求項５に記載のシステム。
7. 前記回路は、前記手術シーン内の物体の位置、前記手術シーン内の物体の動き、前記手術シーン内に存在する物体の種類、および前記手術シーン内の人物が実行している動作のうちの少なくとも１つを含む前記手術シーンの現在の状態に関する情報を取得するようにさらに構成されている、請求項６に記載のシステム。
8. 前記回路は、内視鏡、顕微鏡、およびエクソスコープのうちの１つである前記医療画像取込装置を制御するように構成されている、請求項１～７のいずれか１項に記載のシステム。
9. 前記回路は、前記医療画像取込装置の前記所望の画像取込特性を決定するときに、前記医療画像取込装置の制約を考慮するようにさらに構成されている、請求項１～８のいずれか１項に記載のシステム。
10. 前記回路は、手術シナリオにおいて得られた手術データで訓練された機械学習システムを使用して前記手術シーンの前記予測アピアランスを生成するようにさらに構成されている、請求項１～９のいずれか１項に記載のシステム。
11. 前記手術シナリオにおいて得られた手術データは、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの１つ以上を含む、請求項１０に記載のシステム。
12. 前記回路は、前記第３の時間インスタンスと前記第２の時間インスタンスとの間の時間で完了できる動きの範囲を計算し、該計算に従って前記医療画像取込装置の前記所望の画像取込特性を決定するように構成されている、請求項１～１１のいずれか１項に記載のシステム。
13. 手術中に医療画像取込装置を制御する方法であって、
    コンピュータが、
    第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、前記医療画像取込装置から取得するステップと、
    前記第１の画像データに基づく前記第１の時間インスタンスの後の第２の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定するステップと、
    前記医療画像取込装置の前記１つ以上の所望の画像取込特性に従って、前記第１の時間インスタンスと前記第２の時間インスタンスとの間の第３の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
    を含み、
    前記コンピュータが、
    前記医療画像取込装置の画像取込特性について該画像取込特性に関する１つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定し、
    前記予測アピアランスのうちの個々の箇所の信頼値を決定し、当該信頼値が所定の閾値よりも低い箇所を前記予測アピアランスから除外し、前記信頼値が前記所定の閾値よりも低い箇所が除外された前記予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定し、
    前記所望の画像取込特性は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および画像輝度のうちの少なくとも１つを含む
    方法。
14. 命令を含んでいるコンピュータプログラム製品であって、
    前記命令は、前記コンピュータプログラム製品がコンピュータによって実行されたときに、医療画像取込装置を制御する方法を前記コンピュータに実行させ、
    前記方法は、
    第１の時間インスタンスにおける手術シーンのアピアランスである第１の画像データを、前記医療画像取込装置から取得するステップと、
    前記第１の画像データに基づく前記第１の時間インスタンスの後の第２の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定するステップと、
    前記医療画像取込装置の前記１つ以上の所望の画像取込特性に従って、前記第１の時間インスタンスと前記第２の時間インスタンスとの間の第３の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
    を含み、
    前記医療画像取込装置の画像取込特性について該画像取込特性に関する１つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定することと、
    前記予測アピアランスのうちの個々の箇所の信頼値を決定し、当該信頼値が所定の閾値よりも低い箇所を前記予測アピアランスから除外し、前記信頼値が前記所定の閾値よりも低い箇所が除外された前記予測アピアランスに基づいて、前記医療画像取込装置の１つ以上の所望の画像取込特性を決定することと、
    をさらに含み、
    前記所望の画像取込特性は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および画像輝度のうちの少なくとも１つを含む
    コンピュータプログラム製品。