JP2018538037A - 訓練又は支援機能を有する手術システム - Google Patents

Abstract

遠隔操作手術システム（ＴＳＳ）をサポートするためのシステム、方法、及び有形に実装されたソフトウェア命令について説明する。ＴＳＳの監視されるイベントを含む手術入力が受信される。外科的処置の現在の段階は、手術入力に基づいて自律的に決定される。状況に関連した支援がＴＳＳの外科医コンソールに提供されることに応答して、外科医支援の要請が検出されて、状況に関連した支援は外科的処置に段階同期される。

Description

優先権の主張
本願は、２０１６年８月１２日に出願された米国仮特許出願第６２／３７４，６７０号について優先権の利益を主張し、及び２０１５年１１月１２日に出願された米国仮特許出願第６２／２５４，５５６号について優先権の利益を主張するものであり、これら各文献の全体が参照により本明細書に組み込まれる。

本発明の態様は、手術に関連して使用される医療装置に関する。より具体的には、本発明の態様は、ロボット支援手術システムを制御して、手術能力データを収集及び評価し、手術従事者に自動的に支援又は助言することに関する。

低侵襲性遠隔操作手術システム（TSS）が、内部手術部位で作業するときに外科医の手先の器用さを増大させるだけでなく、外科医が遠隔地（滅菌場外部）から患者を手術できるようにするために、開発されている。ＴＳＳにおいて、外科医には、大抵の場合、制御コンソールにおいて手術部位の画像が提供される。外科医は、適切なビューア又はディスプレイ上で手術部位の画像を見ながら、制御コンソールのマスター入力又は制御装置を操縦することによって患者に対して外科的処置を行う。マスター入力装置のそれぞれは、サーボ機構で作動／関節駆動される手術器具の動作を制御する。外科的処置中に、ＴＳＳは、マスター入力装置の操縦に応答して、例えば、針を保持又は駆動する、血管を把持する、組織を切開する、組織をステープル留めする等、外科医のために様々な機能を実行するエンドエフェクタを有する様々な手術器具又はツールの機械的作動及び制御を提供することができる。

ＴＳＳを使用する外科医を訓練し、ＴＳＳを使用する手術で外科医を支援（assist）することが望ましい。該当する場合には、自動化された外科的評価及び自動化された手術支援を容易にするための実用的な解決策が必要である。

以下の発明の概要は、基本的な理解を提供するために、本発明の主題の特定の態様を紹介する。この発明の概要は、本発明の主題の広範な概要ではなく、解決要素又は重要な要素を特定すること、又は本発明の主題の範囲を線引きすることを意図するものではない。この発明の概要は、本発明の主題の様々な態様及び実施形態に関連する情報を含むが、その唯一の目的は、以下の詳細な説明の前置きとして、いくつかの態様及び実施形態を一般的な形態で提示することである。

本発明の一態様は、遠隔操作手術システム（TSS）のための外科医支援システムを対象とする。ＴＳＳは、一般に、電気機械手術システムを有効にして外科的処置を実施するための手術制御入力を受け取る外科医入力インターフェイスを含む。

いくつかの実施形態では、外科医支援システムは、仮想手術環境エンジン及びアシストエンジンを含み、それら各エンジンは、コンピュータ・ハードウェアを使用して実装され得る。

仮想手術環境エンジンは、ＴＳＳの監視されるイベントを含む手術入力を受信する手術入力評価エンジンと、手術入力に基づいて、外科的処置の現在の段階を決定するセグメント化エンジンとを含む。

アシストエンジンは、ＴＳＳの外科医入力インターフェイスに通信可能に結合されるＴＳＳインターフェイスと、外科医支援のための要請を検出する支援要請検知器と、外科医の支援のための要請に応答して、ＴＳＳインターフェイスを介して状況に関連した支援（context-related
assistance）を送信する支援レンダリング・エンジンとを含む。状況に関連した支援は、外科的処置に段階同期（stage-synchronized）される。段階同期（stage synchronization）とは、厳密な時間的整合ではなく、手術プロセスフローに関する整合を指す。いくつかの実施形態では、段階同期は、外科的処置の今後の段階のために外科医又は外科チームを用意するための支援が提供されるように、段階オフセット（stage-offsetting）をサポートする。

有利には、段階同期は、直ちに利用可能にされ得る状況に関連した支援を外科医に提供する。支援の例には、外科的処置の現在の（又は今後の）部分の自動的にキューイングされた（queued）専門家ビデオセグメント、場合によっては手術中に呼び出され得る外科的処置の現在又は今後の部分のオンデマンド・シミュレーション、自動化された専門システムからの特定のシナリオの外科的手法のアドバイス、及び外科的処置の特定の部分に専門知識を有すると以前評価された人物の専門的な支援の通知を含む。前述の例は説明のために与えられたものであり、添付の特許請求の範囲において明示的に示されない（called out）限り、特許請求の範囲を限定するものと見なすべきではない。

いくつかの実施形態では、仮想手術環境エンジンは、ＴＳＳの手術入力に基づいて外科的処置の計算モデルを処理するシミュレータ・エンジンを実装するようにさらに構成される。例えば、シミュレータ・エンジンは、仮想手術環境におけるＴＳＳを計算上表現するためのＴＳＳモデルと；患者の身体的特徴に基づく患者、及びＴＳＳモデルの操作によって影響を受ける患者への変化を計算上表現するための患者モデルと；を含むことができる。

いくつかの実施形態では、外科医支援システムは、外科的処置の手術入力及び現在の段階にアクセスし、現在の段階を含む外科的処置の複数の異なる段階に対応する手術入力の複数の時間的及び空間的メトリックを計算するように構成された外科的手法評価エンジンを含む。外科的手法評価エンジンは、手術制御入力を生成する外科医の外科的能力の質を表す手術段階特有の能力スコアを生成することができる。

低侵襲性遠隔操作手術システム（TSS）の平面図である。 外科医コンソールの斜視図である。 電子機器カートの斜視図である。 ＴＳＳの概略図である。 ＴＳＳの説明図である。 手術システムの患者側カートの斜視図である。 手術シーンの説明図である。 手術器具の正面図である。 器具マニピュレータの斜視図である。 手術計画ツールの概略図である。 様々な実施形態による、仮想手術環境、データ記録システム、外科医評価システム、及び支援システムを含む追加のサポートシステムを有するＴＳＳを特徴とする先進の手術システムを示す図である。 一実施形態による、図９のシステムの仮想手術環境の動作要素及びそれらの相互作用を示す図である。 一実施形態による、図１０の仮想手術環境の手術入力評価器の動作要素及びそれらの相互作用を示す図である。 一実施形態による、図１０の仮想手術環境の、その動作要素及びそれらの相互作用を含むセグメンタを示す図である。 一実施形態による、図１０の仮想手術環境のシミュレータの動作要素及びそれらの相互作用を示す図である。 一実施形態による、図９のシステムの外科医評価器の動作要素及びそれらの相互作用を示す図である。 例示的な実施形態による、図９のシステムのデータ記録システムの動作要素及びそれらの相互作用を示す図である。 いくつかの実施形態による、図９のシステムのアシストエンジンの動作要素及びそれらの相互作用を示す図である。 汎用マシンの例示的な形態のコンピュータシステムを示すブロック図であり、コンピュータシステムは、本明細書に記載の実施形態の態様を実施するために専用マシンに変換することができる。 図１７に示されるようなコンピュータ装置の例示的なハードウェア及びソフトウェア・アーキテクチャを示す図であり、ハードウェアコンポーネントとソフトウェアコンポーネントとの間の様々なインターフェイスが示されている。 いくつかの実施形態による、例示的な手術器具及びアクチュエータアセンブリを示す説明図であり、手術器具が手術器具の異なる例示的な動作状態で示されている。 いくつかの実施形態による、例示的な手術器具及びアクチュエータアセンブリを示す説明図であり、手術器具が手術器具の異なる例示的な動作状態で示されている。 いくつかの実施形態による、例示的な手術器具及びアクチュエータアセンブリを示す説明図であり、手術器具が手術器具の異なる例示的な動作状態で示されている。 いくつかの実施形態による、図９のシステム等のＴＳＳサポートシステムを動作させる例示的な方法を示すプロセスフロー図である。 外科医がＴＳＳの手術シーン内で手術器具をより正確に制御できるような視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンの水平線の変化を示す説明図である。 外科医がＴＳＳの手術シーン内で手術器具をより正確に制御できるような視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンの水平線の変化を示す説明図である。 外科医がＴＳＳの手術シーン内で手術器具をより正確に制御できるような視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンの水平線の変化を示す説明図である。 外科医がＴＳＳの手術シーン内の関連情報をより良く監視できる視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンの２次元位置変化を示す説明図である。 外科医がＴＳＳの手術シーン内の関連情報をより良く観察できる視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンの２次元位置変化を示す説明図である。 外科医がＴＳＳの手術シーン内の関連情報をより良く観察できる視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンのズームレベル変更を示す説明図である。 外科医がＴＳＳの手術シーン内の関連情報をより良く観察できる視点を達成し外科医を支援するために、図１４の外科医評価器の制御設定アジャスタによってもたらされる手術シーンのズームレベル変更を示す説明図である。

発明の態様、実施形態、実装形態、又は用途を説明するこの詳細な説明及び添付図面は、限定するものとして解釈すべきではなく、特許請求の範囲は保護対象となる発明を規定する。この詳細な説明及び特許請求の範囲の範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的及び動作的変更を行うことができる。いくつかの例では、本発明を不明瞭にしないために、周知の回路、構造、又は技術は詳細には示さないか、又は説明していない。２つ以上の図における同様の数字は、同じ又は類似の要素を表す。

１つの実施形態、実装形態、又は用途に関して詳細に説明した要素は、実際的であればいつでも、具体的に図示又は説明していない他の実施形態、実装形態、又は用途に含まれることがある。例えば、ある要素について第１の実施形態を参照して詳細に説明しているが、第２の実施形態を参照して説明していない場合に、この要素は、それにも拘わらず、第２の実施形態に含まれるように権利範囲に含まれる。こうして、以下の詳細な説明で不必要な繰返しを避けるために、１つの実施形態、実装形態、又は用途に関連して図示し説明した１つ又は複数の要素は、特に他に説明しない限り、１つ又は複数の要素が実施形態又は実装形態を機能しないようにしない限り、又は２つ以上の要素が相反する機能を提供しない限り、他の実施形態、実装形態、又は態様に組み込まれ得る。

本発明の態様は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商品化されたda Vinci（登録商標）Surgical System（具体的には、Da Vinci Xi（登録商標）手術システムとして市販されているModel IS4000）を使用する実装形態の観点から主に説明する。しかしながら、知識のある者は、本明細書に開示された本発明の態様は、ロボット式の及び適用可能であれば非ロボット式の実施形態及び実装形態を含む様々な方法で具体化及び実施できることを理解するであろう。da Vinci（登録商標）手術システム（例えば、da Vinci Xi（登録商標）手術システム、da Vinci Si（登録商標）手術システム）での実装形態は、単なる例示であり、本明細書に開示される本発明の態様の範囲を特定のモデル又は装置に限定するものと見なすべきではなく、さらにそれらの制限が１つ又は複数の請求項に明示的に示される範囲に限定するものとみなすべきではない。

低侵襲性遠隔操作手術システム（TSS）
遠隔操作とは、遠隔における機械の操作を指す。低侵襲性遠隔操作医療システムでは、外科医は、カメラを含む内視鏡を使用して患者の体内の手術部位を見ることができる。いくつかの実施形態では、外科的処置中に深さの知覚を可能にする立体画像を取り込むことができる。

ここで図面を参照すると、同様の参照符号がいくつかの図面を通して同様の部品を表しており、図１は、手術台１４上に横たわっている患者１２に対して低侵襲性の診断又は外科的処置を行うために典型的に使用される低侵襲性ＴＳＳ１０の平面図である。システムは、処置中に外科医１８が使用するための外科医コンソール１６を含む。１人又はそれ以上のアシスタント２０もこの処置に参加することができる。低侵襲性ＴＳＳ１０は、患者側カート（複数可）２２及び電子機器カート２４をさらに含む。患者側カート２２は、外科医１８が外科医コンソール１６を介して手術部位を確認しながら、少なくとも１つの手術器具２６を患者１２の身体の低侵襲性切開部を介して操縦することができる。手術部位の画像は、立体内視鏡等の内視鏡２８と共に取り付けられたカメラによって取得することができ、患者側カート２２によってカメラを操縦して内視鏡２８を位置付けし且つ向き合わせすることができる。外科医コンソール１６を介して外科医１８に後で表示するために、電子機器カート２４上に位置するコンピュータプロセッサを使用して手術部位の画像を処理することができる。別個のシステム要素（すなわち、患者側カート２２、電子機器カート２４、及び外科医コンソール１６）は、例示的な目的のために図示及び説明しているが、様々な実施形態において、それらに含まれる要素は、組み合わせ及び／又は分離することができる。例えば、いくつかの実施形態では、電子機器カート２４のコンピュータプロセッサは、外科医コンソール１６及び／又は患者側カート２２に組み込むことができる。一度に使用される手術器具２６の数は、一般に、数ある要因の中でも診断又は外科的処置、及び手術部位内の空間的な制約に依存する。処置中に使用される１つ又は複数の手術器具２６を変更する必要がある場合に、アシスタント２０は、患者側カート２２から手術器具２６を取り外し、その器具を手術室のトレイにある別の手術器具２６と交換することができる。

図２は、外科医コンソール１６の斜視図である。外科医コンソール１６は、奥行き知覚を可能にするような手術部位の調整された立体視を外科医１８に提示するための左眼用ディスプレイ３２と右眼用ディスプレイ３４とを含むビューア３１を有する。様々な他の実施形態では、非立体ディスプレイが外科医１８に提供され得る。コンソール１６は、１つ又は複数の制御入力３６をさらに含む。外科医１８による１つ又は複数の制御入力３６の操縦に応答して、患者側カート２２（図１に示される）で使用するために設置された１つ又は複数の手術器具が移動する。制御入力３６は、関連する手術器具２６（図１に示される）と同じ又はそれより多い機械的自由度を提供して、外科医１８にテレプレゼンス（すなわち、制御入力３６が器具２６と一体であるという知覚）を提供することができ、それによって外科医は、器具２６を直接的に制御しているという強い感覚を有することになる。この目的のために、いくつかの実施形態では、位置、力、及び触覚フィードバックセンサ（図示せず）を使用して、手術器具２６からの位置、力、及び触覚感覚を制御入力３６を介して外科医の手に戻して伝達させることができるが、通信遅延の制約を受ける。ビューア３１が固定され、制御入力３６が機械的に結合された物理的コンソール１６が、例示目的のために図示され説明されているが、様々な他の実施形態では、「非接地状態の（ungrounded）」制御入力及び／又はディスプレイ構造が使用され得る。例えば、いくつかの実施形態では、ビューア３１はヘッドマウントディスプレイであってもよく、及び／又は制御入力３６は、任意の基本構造（例えば、マイクロソフト社のKinect等の有線、無線又はジェスチャベース）から機械的に独立してもよい。

外科医コンソール１６は、通常、外科医が処置を直接的に監視し、必要な場合にその場に物理的に存在し、電話や他の通信媒体を介すのではなく患者側アシスタントと直接的に話すことができるように、患者と同じ部屋に配置される。しかし、外科医は、異なる部屋、完全に異なる建物、又は遠隔医療処置を可能にする、患者から離れた他の遠隔位置に位置してもよい。

図３は、電子機器カート２４の斜視図である。電子機器カート２４は、内視鏡２８と結合され、取り込んだ画像を処理し、その後に外科医コンソール上で又はローカル及び／又はリモートに位置する別の適切なディスプレイ上で外科医等に表示させるために、コンピュータプロセッサを含む。例えば、立体内視鏡が使用される場合に、電子機器カート２４上のコンピュータプロセッサは、取り込んだ画像を処理して手術部位の調整された立体画像を外科医に提示することができる。そのような調整は、対向する画像同士の間の位置合せを含むことができ、且つ立体内視鏡の立体動作距離を調整することを含むことができる。別の例として、画像処理は、光学収差等の画像取込み装置の結像誤差を補償するために以前に決定されたカメラ較正パラメータの使用を含むことができる。オプションとして、電子機器カート内の機器は、外科医コンソール又は患者側カートに統合してもよく、或いは手術室内の他の様々な位置に配置してもよい。

図４は、（図１の低侵襲性ＴＳＳ等の）ＴＳＳ５０を概略的に示す。外科医コンソール５２（図１の外科医コンソール１６等）は、外科医が低侵襲性処置中に患者側カート５４（図１の患者側カート２２等）を制御するために使用される。患者側カート５４は、立体内視鏡等の撮像装置を使用して手術部位の画像を取り込み、取り込んだ画像を電子機器カート５６（図１の電子機器カート２４等）上に位置するコンピュータプロセッサに出力することができる。コンピュータプロセッサは、典型的には、コンピュータプロセッサの不揮発性メモリ装置に記憶されたコンピュータ可読コードを実行するための１つ又は複数のデータ処理ボードを含む。一態様では、コンピュータプロセッサは、その後に表示する前に、取り込んだ画像を様々な方法で処理することができる。例えば、コンピュータプロセッサは、外科医コンソール５２を介して外科医に合成画像を表示する前に、取り込んだ画像を仮想制御インターフェイスに重ね合わせる（オーバーレイする）ことができる。

追加的に又は代替的に、取り込んだ画像は、電子機器カート５６の外部に位置するコンピュータプロセッサによって画像処理を受け得る。一実施形態では、ＴＳＳ５０は、電子機器カート５６上に位置するコンピュータプロセッサと同様のオプションのコンピュータプロセッサ５８（破線で示す）を含み、患者側カート５４は、外科医コンソール５２に表示させる前に、画像処理のために取り込んだ画像をコンピュータプロセッサ５８に出力する。別の態様では、取り込んだ画像は、最初に、電子機器カート５６上のコンピュータプロセッサによる画像処理を受け、次に、外科医コンソール５２に表示させる前に、コンピュータプロセッサ５８による更なる画像処理を受ける。ＴＳＳ５０は、破線で示されるようなオプションのディスプレイ６０を含むことができる。ディスプレイ６０は、電子機器カート５６上に位置するコンピュータプロセッサ及びコンピュータプロセッサ５８と結合され、これらのコンピュータプロセッサによって処理された取込み画像は、ディスプレイ６０に表示され、さらに外科医コンソール５２のディスプレイにも表示される。

図５Ａは、いくつかの実施形態による、１つ又は複数の機械式支持アーム５１０を使用して外科的処置を行う遠隔操作手術システム１０の構成要素の配置を示す例示的な簡略ブロック図である。システム１０の態様は、ロボット支援され且つ自律的に動作する機構を含む。これらの機械式支持アーム５１０は、多くの場合に、手術器具を支持する。例えば、機械式手術用アーム（例えば、中央の機械式手術用アーム５１０Ｃ）を使用して、立体又は３次元の手術画像取込み装置１０１Ｃを有する内視鏡を支持することができる。機械式手術用アーム５１０Ｃは、画像取込み装置１０１Ｃを含む内視鏡を機械式アームに機械的に固定するための、滅菌アダプタ、又はクランプ、クリップ、ネジ、スロット／溝、又は他の締結機構を含むことができる。様々な他の実施形態では、画像取込み装置１０１Ｃ（又は任意の他の手術器具）を機械式手術用アーム５１０Ｃに組み込むことができる。

ユーザ又はオペレータＯ（一般に外科医）は、マスター制御コンソール１６におけるハンドグリップ及びフットペダル等の制御入力装置３６を操縦することによって、患者Ｐに対して外科的処置を行う。オペレータは、患者の身体内部の手術部位の画像のビデオフレームを立体表示ビューア３１を介して見ることができる。コンソール１６のコンピュータプロセッサ５８は、制御ライン１５９を介して遠隔操作式内視鏡手術器具１０１Ａ〜１０１Ｃの動きを指示し、患者側システム２４（患者側カートとも呼ばれる）を使用して器具を移動させる。

患者側システム２４は、１つ又は複数の機械式支持アーム５１０を含む。典型的には、患者側システム２４は、対応する位置付けセットアップ・アーム１５６によって支持された少なくとも３つの機械式手術用アーム５１０Ａ〜５１０Ｃ（一般に機械式手術用支持アーム５１０と呼ばれる）を含む。中央の機械式手術用アーム５１０Ｃは、カメラの視野内の画像の取込みに適した内視鏡カメラ１０１Ｃを支持するか、又は内視鏡カメラ１０１Ｃを含むことができる。中央から左右の機械式手術用支持アーム５１０Ａ及び５１０Ｂは、組織を操作することができる器具１０１Ａ及び１０１Ｂをそれぞれ支持又は含むことができる。

図５Ｂは、実施形態による、低侵襲性ＴＳＳ１０の患者側カート５００の斜視図である。患者側カート５００は、１つ又は複数の支持アームアセンブリ５１０を含む。手術器具マニピュレータ５１２が、各支持アームアセンブリ５１０の端部に取り付けられる。さらに、各支持アームアセンブリ５１０は、オプションで、手術のために患者に対して取り付けられた手術器具マニピュレータ５１２を位置付けするために使用される１つ又は複数のセットアップ関節（例えば、非動力供給及び／又はロック可能）を含むことができる。図示されるように、患者側カート５００は床の上に置かれる。他の実施形態では、患者側カートの動作部分は、壁、天井、患者の身体５２２も支持する手術台５２６、又は他の手術室の機器に取り付けることができる。さらに、単一の患者側カート５００が、４つの手術器具マニピュレータ５１２を含むものとして示されているが、複数の患者側カート５００及び／又は患者側カート（複数可）５００上のより多い又は少ない手術器具マニピュレータ５１２を使用してもよい。

機能的なＴＳＳは、一般に、ＴＳＳのユーザが患者の身体５２２の外部から手術部位を見ることを可能にする視覚システム部分を含む。視覚システムは、典型的には、ビデオ画像を取り込むためのカメラ器具５２８と、取り込んだビデオ画像を表示させるための１つ又は複数のビデオディスプレイとを含む。いくつかの手術システム構成では、カメラ器具５２８は、カメラ器具５２８の先端部から患者の身体５２２の外部の１つ又は複数の撮像センサ（例えば、ＣＣＤ又はＣＭＯＳセンサ）に画像を移す光学系を含む。あるいはまた、撮像センサ（複数可）をカメラ器具５２８の先端部に位置付けしてもよく、センサ（複数可）によって生成された信号を処理するためにリード線に沿って又は無線で転送して、１つ又は複数のビデオディスプレイ上に表示させることができる。ビデオディスプレイの一例は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商品化された手術システムの外科医コンソール上の立体視ディスプレイである。

図５Ａ〜図５Ｂを参照すると、各手術器具マニピュレータ５１２には、患者の身体５２２内の手術部位で動作する手術器具５２０が取り付けられている。各手術器具マニピュレータ５１２は、関連する手術器具が１つ又は複数の機械的な自由度（例えば、全部で６つのデカルト自由度、５つ以下のデカルト自由度等）で移動可能になるように、様々な形態で提供される。典型的には、機械的制約又は制御的制約により、各マニピュレータ５１２がその関連する手術器具を患者に対して静止している器具の運動中心の周りに動くことが制限され、この運動中心は、典型的には、器具が身体内に入る位置に置かれる。

一態様では、手術器具５２０は、コンピュータ支援遠隔操作によって制御される。機能的な低侵襲性ＴＳＳは、ＴＳＳのユーザ（例えば、外科医又は他の医療従事者）からの入力を受け取る制御入力を含む。制御入力は、手術器具５２０が結合される１つ又は複数のモータ等の、１つ又は複数のコンピュータ制御遠隔操作アクチュエータと通信する。このようにして、手術器具５２０は、医療従事者の制御入力の動きに応じて移動する。一態様では、１つ又は複数の制御入力は、図２に示される外科医コンソール１６等の外科医コンソールに含まれる。外科医は、外科医コンソール１６の制御入力装置３６を操縦して、患者側カート５００の遠隔操作アクチュエータを動作させることができる。遠隔操作アクチュエータによって生成された力は、遠隔操作アクチュエータから手術器具５２０に力を伝える駆動トレイン機構を介して伝達される。

図５Ａ〜図５Ｂを参照すると、一態様では、手術器具５２０及びカニューレ５２４は、手術器具５２０がカニューレ５２４を通して挿入された状態で、マニピュレータ５１２に取り外し可能に結合される。マニピュレータ５１２の１つ又は複数の遠隔操作アクチュエータは、手術器具５１２を全体として移動させる。マニピュレータ５１２は、器具キャリッジ５３０をさらに含む。手術器具５２０は、器具キャリッジ５３０に着脱可能に接続される。一態様では、器具キャリッジ５３０は、多数のコントローラ動作を与える１つ又は複数の遠隔操作アクチュエータを内部に収容し、アクチュエータによって、手術器具５２０が手術器具５２０上のエンドエフェクタの様々な運動として並進する。こうして、器具キャリッジ５３０内の遠隔操作アクチュエータは、手術器具全体ではなく、手術器具５２０の１つ又は複数の構成要素のみを動かす。器具全体又は器具の構成要素のいずれかを制御するための入力は、外科医又は他の医療従事者によって制御入力に与えられる入力（「マスター」コマンド）が、手術器具による対応する動作（「スレーブ」応答）に変換されるような入力である。

いくつかの実施形態によれば、手術システム１０は、ドッキングされた以下の器具のタイプ、ヘッドイン、カメラの動き、第３のアームの制御、人間工学的な調整、テーブルの動きの調整等を含む複数のシステム作動状態を有することができる。ドッキングされたシステム状態の間に、１つ又は複数のマニピュレータ５１２がカニューレ５２４に結合される。次のシステム状態の間に、手術器具（スレーブ）は制御入力（マスターコマンド）を追跡している。器具タイプのシステム状態の間に、システムは、特定の外科的処置の実施に適した、又は外科的処置中の特定の外科的活動の実施に適した器具のセットをそのシステム内に設置する。ヘッドインシステム状態の間に、システムは、外科医が「マスター」制御入力装置を保持したことを示すのを待っている。

代替実施形態では、器具キャリッジ５３０は、遠隔操作アクチュエータを収容していない。手術器具５２０のエンドエフェクタの様々な動きを可能にする遠隔操作アクチュエータは、例えば患者側カート５００上のいずれかの場所等の、器具キャリッジ５３０から離れた位置に収容される。ケーブルベースの力伝達機構等が、遠隔に位置する遠隔操作アクチュエータのそれぞれの動きを、器具キャリッジ５３０に位置する対応する器具インターフェイス・アクチュエータ出力に移すために使用される。いくつかの実施形態では、手術器具５２０は、第１のアクチュエータに機械的に結合され、第１のアクチュエータは、縦方向（ｚ軸）回転等の手術器具の第１の動きを制御する。手術器具５２０は、第２のアクチュエータに機械的に結合され、第２のアクチュエータは、２次元（ｘ，ｙ）運動等の手術器具の第２の動きを制御する。手術器具５２０は、第３のアクチュエータに機械的に結合され、第３のアクチュエータは、顎部エンドエフェクタの開閉等の手術器具の第３の動きを制御する。

図５Ｃは、手術シーン５５０を表す説明図であり、また、いくつかの実施形態によるシーンを記録するために使用されるカメラ５２８を取り付ける内視鏡１０１Ｃを示している。シーン（scene）５５０は、患者の体腔内に配置される。シーン５５０は、幾何学的輪郭５５４を含む例示的な仮想球状解剖学的構造５５２を含む。シーン５５０は、手術器具５５６を取り囲む。内視鏡１０１Ｃに取り付けられたカメラ５２８は、ビューア３１内に表示されるシーンを取り込み、後で再生するために記録する。

図６は、細長いチューブ中心軸線６１１を有する細長いチューブ６１０によって結合された先端部分６５０と基端側制御機構６４０とを含む手術器具５２０の側面図である。手術器具５２０は、患者の身体内に挿入されるように構成され、外科的処置又は診断処置を実施するために使用される。手術器具５２０の先端部分６５０は、図示される鉗子、針ドライバ、焼灼装置、切断ツール、撮像装置（例えば、内視鏡又は超音波プローブ）等の様々なエンドエフェクタ６５４のいずれかを提供することができる。手術エンドエフェクタ６５４は、顎部を開閉する又はナイフを経路に沿って並進する等の機能的な機械的自由度を含むことができる。図示される実施形態では、エンドエフェクタ６５４は、エンドエフェクタを細長いチューブ中心線軸６１１に対して向き合せ可能にする手首６５２によって、細長いチューブ６１０に結合される。手術器具５２０は、（例えば、器具に関連する半導体メモリ上に）記憶された情報を含むことができ、この情報は、恒久的であってもよく、又は手術器具５２０を動作させるように構成された手術システムによって更新してもよい。従って、手術システムは、手術器具５２０と手術システムの１つ又は複数の構成要素との間の一方向又は双方向の情報通信のいずれかを提供することができる。

図７は、手術器具マニピュレータ５１２の斜視図である。器具マニピュレータ５１２は、手術器具が設置されていない状態で示されている。器具マニピュレータ５１２は、手術器具（例えば、手術器具５２０）が着脱可能に結合され得る器具キャリッジ５３０を含む。器具キャリッジ５３０は、複数の遠隔操作アクチュエータを収容する。各遠隔操作アクチュエータは、アクチュエータ出力７０５を含む。手術器具が器具マニピュレータ５１２に設置されると、器具の基端側制御機構（例えば、図６の基端側制御機構６４０）の１つ又は複数の器具入力（図示せず）は、対応するアクチュエータ出力７０５に機械的に結合される。一態様では、この機械的結合は直接的であり、アクチュエータ出力７０５は対応する器具入力に直接的に接触する。別の態様では、この機械的結合は、器具マニピュレータ５１２と関連する手術器具との間に滅菌バリアを提供するように構成されたドレープ要素等の中間インターフェイスを介して生じる。

一態様では、対応する遠隔操作アクチュエータによる１つ又は複数の器具入力の動きは、手術器具の機械的自由度の動きをもたらす。例えば、一態様では、器具マニピュレータ５１２に設置された手術器具は、図６に示される手術器具５２０である。図６を参照すると、一態様では、対応する遠隔操作アクチュエータによる基端側制御機構６４０の１つ又は複数の器具入力の動きは、基端側制御機構６４０に対して細長いチューブ６１０（及び取り付けられた手首６５２及びエンドエフェクタ６５４）を細長いチューブの中心軸線６１１の周りに回転させる。別の態様では、対応する遠隔操作アクチュエータによる１つ又は複数の器具入力の動きは、手首６５２の運動をもたらし、細長いチューブ中心線軸６１１に対してエンドエフェクタ６５４を向き合せする。別の態様では、対応する遠隔操作アクチュエータによる１つ又は複数の器具入力の動きは、エンドエフェクタ６５４の１つ又は複数の可動要素（例えば、顎部材、ナイフ部材等）の運動をもたらす。従って、器具マニピュレータ５１２に設置された手術器具の様々な機械的自由度は、器具キャリッジ５３０の遠隔操作アクチュエータの操作によって動かすことができる。

手術計画システム
図８は、例示的な手術計画システム８００の概略図を示す。一態様では、手術計画ツール８００は、電子カルテデータベース８３０とデータ通信するＴＳＳ８５０を含む。ここに示されるＴＳＳ８５０は、図４に示されるＴＳＳ５０と同様である。一態様では、電子カルテデータベース８３０は、特定の病院又は複数の病院で治療を受けた患者の医療記録を含む。データベース８３０は、病院の構内に位置するサーバ上に実装することができる。データベース８３０に含まれる医療記録エントリは、病院のコンピュータからイントラネット・ネットワークを介してアクセスすることができる。あるいはまた、データベース８３０は、例えば、多数のクラウドデータストレージサービスの１つを使用して、病院から離れて位置する遠隔サーバ上に実装することができる。この場合に、データベース８３０の医療記録エントリは、クラウドサーバ上に格納され、コンピュータシステムによってインターネットアクセスを用いてアクセスすることができる。

一態様では、外科的処置が、ＴＳＳ８５０を使用して第１の患者に対して行われる。ＴＳＳ８５０に関連する撮像装置は、手術部位の画像を取り込み、取り込んだ画像をビデオのフレームとして外科医コンソール５２のディスプレイに表示する。一態様では、外科医コンソール５２の医療従事者は、外科医コンソール５２の入力装置を使用して、表示されたビデオに示された特定の患者の解剖学的構造に強調表示又は注釈付けを行う。そのような入力装置の例は、図２にそれぞれ示される左及び右用のハンドグリップ制御入力３６，３８であり、そのような入力装置は、表示されたビデオに重ね合わされたグラフィックユーザインターフェイスと連動して動作するカーソルに結合される。グラフィックユーザインターフェイスは、ＱＷＥＲＴＹキーボード、マウス及び対話式スクリーンディスプレイ等のポインティング装置、タッチスクリーンディスプレイ、或いはデータ又はテキスト入力のための他の手段、又は音声注釈／又はマイク及びプロセッサによる音声のテキスト変換を含む。従って、医療従事者は、表示された画像内の関心のある組織を強調表示する、又はテキスト注釈を入力することができる。

一態様では、手術部位ビデオは、電子機器カート５６上に位置するディスプレイにさらに表示される。一態様では、電子機器カートのディスプレイは、医療従事者が、電子機器カート上のディスプレイ上で見るために表示される画像上に示される患者の解剖学的構造の特定の部分を強調表示し注釈を付けるために有用なタッチスクリーン・ユーザインターフェイスである。ユーザがタッチスクリーン・ユーザインターフェイス上に表示された患者の解剖学的構造の一部に触れることによって、ユーザは、表示された画像の一部を強調表示することができる。さらに、キーボードを含むグラフィックインターフェイスを表示された画像上に重ね合わせる（オーバーレイする）ことができる。ユーザは、キーボード、又はマイク及び音声−テキスト変換ドライバ等の他の入力装置を使用して、テキスト注釈を入力することができる。

一態様では、ＴＳＳ８５０に関連する撮像装置によって取り込まれた手術部位ビデオは、ＴＳＳ８５０によって記録され、ユーザにリアルタイムで又は略リアルタイムで表示されることに加えて、データベース８３０に記憶される。記録されたビデオに関連してユーザによってなされた強調表示及び／又は注釈もデータベース８３０に記憶することができる。一態様では、ユーザによってなされた強調表示は、データベース８３０に記憶する前に、記録されたビデオに埋め込まれる。後になって、記録されたビデオは、視聴するために検索することができる。一態様では、記録されたビデオを見る人は、強調表示が表示されるか、又は表示させないかを選択することができる。同様に、記録されたビデオに関連する注釈もデータベース８３０に記憶することができる。一態様では、ユーザによってなされた注釈付けは、記録されたビデオにタグを付けるために使用され、及び記録されたビデオに含まれる主題を特定する手段として提供するように使用される。例えば、１つの注釈は、特定の疾患状態の条件を表すことができる。この注釈は、記録されたビデオにタグ付けするために使用される。後になって、この疾患状態に関する記録された処置を見たい人は、キーワード検索を使用してビデオを見つけることができる。

記憶されたビデオの検索
場合によっては、医療従事者は、所与の患者に対して行われた過去の外科的処置のビデオ録画を見ることができることが望ましい。一態様では、病状を治療するために以前に第１の外科的処置を受けた患者は、その後、同じ病状の再発を治療するために、又は第１の外科的処置の手術部位の近くに位置する解剖学的構造を治療するために、第２の外科的処置を必要とする。一態様では、第１の外科的処置の手術部位のイベントが手術部位ビデオ録画に取り込まれ、ビデオ録画は患者の電子カルテの一部としてデータベース８３０に保管された。関連する実施形態では、第１の外科的処置は、処置のタイプに従ってインデックス付けされ得る。患者に対して第２の外科的処置を行う前に、医療従事者は、データベース８３０の検索を行って、患者の以前の外科的処置のビデオ録画を見つけることができる。

場合によっては、患者に対して外科的処置を行うことを計画している医療従事者は、患者と同様の特定の特徴を有する人物に対して行われた同様の外科的処置のビデオ録画を見ることができることが望ましい。一態様では、外科的処置の手術部位ビデオ録画は、各ビデオ録画がデータベース８３０に保管される前に、患者の年齢、性別、肥満度指数（BMI）、遺伝情報、患者が受けた処置のタイプ等のメタデータ情報でタグ付けすることができる。一態様では、ビデオ録画をタグ付けするために使用されたメタデータ情報は、患者の既存の医療記録から自動的に検索され、その後、ビデオ録画をデータベース８３０に保管する前にビデオ録画をタグ付けするために使用される。従って、患者に対して医療処置を行う前に、医療従事者は、その患者と共通の特定の特性を共有する患者に対して行われた同様の処置のビデオ録画をデータベース８３０で検索することができる。例えば、医療従事者が、ＴＳＳ８５０を使用して、肥満度指数が高い６５歳の男性患者に対して前立腺切除術を行うことを計画する場合に、医療従事者は、ＴＳＳ８５０を使用して、同様に肥満度指数が高く同様の年齢の男性に対して行われた前立腺切除の手術部位ビデオ録画をデータベース８３０で検索することができる。

一態様では、外科的処置のビデオ録画は、データベース８３０によって、パーソナルコンピュータ、タブレット、スマートフォン、端末、又は他の電子アクセス装置等のオプションのパーソナルコンピュータ装置８２０（破線で示す）に伝達され、外科的処置を行うことを計画している医療従事者が見ることができるようにされる。それに加えて又はこれに代えて、以前の外科的処置のビデオ録画は、データベース８３０によってＴＳＳ８５０に伝達され、手術前又は手術中に見ることができるようにされる。一態様では、ビデオ録画は、ＴＳＳ８５０によって、外科医コンソール５２に位置するディスプレイ上に表示される。別の態様では、第１の外科的処置のビデオ録画は、電子機器カート５６上に位置するディスプレイに表示される。

関連する実施形態では、以下でより詳細に説明するように、以前の処置のビデオ録画は、現在の外科的処置の段階と同期又はその段階とキューイング可能であり、現在の処置の今後の段階で使用される等の関連する外科的タスク又は手法の即時の位置特定を容易にする。現在の外科的処置にビデオ再生をキューイングする（queuing）ことにより、外科医は再生を非常に効率的にスクロールして今後のステップ又は最近のステップを見ることができる。特に、段階の同期又は段階のキューイングは、厳密には時間に同期していないが、以前の外科的処置と現在の外科的処置との間の時間順序の類似性が一般的にある。むしろ、上述したように、段階同期は、手術プロセスフローに関して整合される。ビデオマッチングによる直接的な視覚的特徴のマッチングは、（ａ）メタデータ、（ｂ）段階同期、及び（ｃ）時間的同期のうちの１つ又は複数によって高めることができる。

あるいはまた、現在の手術からのビデオシーケンスは、コンテンツがコンピュータ視覚方法を使用して特定できる場合に、視覚的類似性（例えば、色、時間、エッジ等）又はコンテンツの類似性（例えば、器官、解剖学的構造、ツール等）に基づいて、マッチングにより、熟練した外科医によって実施される代表的な手術からのビデオシーケンスに一致させることができる。

クラウドベースのビデオデータベース
一態様では、データベース８３０は、クラウドデータストレージサービスを使用して遠隔サーバに実装され、複数のヘルスケアプロバイダによってアクセス可能である。図８を参照すると、破線で示されるように、手術計画ツール８００は、オプションで、ＴＳＳ８５０（破線で示す）及びパーソナルコンピュータ装置８４０（破線で示す）を含む。一態様では、ＴＳＳ８５０はＴＳＳ８５０と同様であり、パーソナルコンピュータ装置８４０は、ＴＳＳ８５０及びパーソナルコンピュータ装置８２０が第１のヘルスケアプロバイダに位置しており、ＴＳＳ８５０及びパーソナルコンピュータ装置８４０が第２の位置に位置している又は第２のヘルスケアプロバイダと共にあることを除いて、パーソナルコンピュータ装置８２０と同様である。一態様では、第１の患者は、病状の外科的処置を必要とし、第１のヘルスケアプロバイダでＴＳＳ８５０を使用して外科的処置を受ける。外科的処置のビデオ録画は、データベース８３０に保管される。後になって、第２の患者は、同じ病状の外科的治療を必要とし、第２のヘルスケアプロバイダでＴＳＳ８５０を使用して外科的治療を受ける予定である。第２の患者に対して外科的処置を行う前に、医療従事者は、安全なインターネット接続を介してデータベース８３０にアクセスし、同様の処置の手術部位ビデオ録画をデータベース８３０で検索する。一態様では、第２の患者を治療する医療従事者は、第１の患者の身元の知識を得ることなく、第１の患者の外科的処置のビデオ録画をデータベース８３０から検索することができる。このようにして、第１の患者のプライバシーが維持される。一態様では、第１の患者の外科的処置のビデオ録画は、第１の患者を治療した医療従事者によって行われた強調表示及び／又は注釈を含む。

コンピュータベースのパターンマッチング及び解析
手術計画ツール８００は、コンピュータ実行可能コードの形態で実装されるパターンマッチング及び解析アルゴリズムを含むことができる。一態様では、パターンマッチング及び解析アルゴリズムは、手術計画ツール８００の不揮発性メモリ装置に記憶され、データベース８３０に保管されたビデオ録画を解析するように構成される。前述したように、データベースに保管された各ビデオ録画８３０は、特定のメタデータ情報でタグ付け及び／又はその情報を埋め込むことができる。このメタデータ情報は、患者の年齢、性別、及び患者の健康又は病歴を記述する他の情報等の患者情報を含むことができる。さらに、前述したように、メタデータ情報は、医療従事者によってなされた強調表示又は注釈を含むことができる。一態様では、これらの強調表示及び注釈は、ビデオ録画に埋め込まれ、ビデオと共にデータベース８３０に保管される。

一態様では、パターンマッチング及び解析アルゴリズムは、データベース８３０に記憶された複数のビデオ録画の間で共有される形状及び色のパターンを特定する画像解析コンポーネントを含む。パターンマッチング及び解析アルゴリズムは、このビデオのサブセットに関連付けられたタグ付きメタデータをレビューして、単語やフレーズがこのサブセット内のビデオに頻繁に関連付けられているかどうかを判定する。メタデータは、例えば、テキストに注釈付けによって、音声をテキストに翻訳することによってタグ付けすることができる。パターンマッチング及び解析アルゴリズムによって実行されるこれらの解析は、患者の解剖学的構造、好ましい外科的アプローチ、疾患状態、潜在的な合併症等に関する決定を行う際に医療従事者を支援するために使用することができる。

仮想手術環境、データ記録、及び外科医評価器
ＴＳＳは、実施されている外科的処置のビデオを外科医の入力と共に、制御コンソールを介して記録することができる。一般に、このように収集されたデータを使用して外科医を訓練し支援することが望ましい。しかしながら、システム設計者は、膨大な量の収集データを管理し、データの関連部分を抽出し、外科医が歓迎する有用で控えめな支援を提供する際に多くの課題に直面する。

様々な実施形態において、以下に詳述するように、ＴＳＳは、ＴＳＳを操作する医療従事者に評価及び支援を提供するために、追加の専用マシンによって補強又はサポートされる。図９は、ＴＳＳ９５０が、仮想手術環境（VSE）９０４、データ記録システム９０６、外科医評価器（assessor）９０８、及び支援システム９１０を含む適切なインターフェイスを追加のサポートシステムに含むことを除いて、図４に関連して上述したＴＳＳ５０に同様の、ＴＳＳ９５０を特徴とする先進の手術システム９００を示す図である。これらの追加の支援システムはそれぞれ、様々なマシン構成で実現してもよい。例えば、１つ又は複数の追加のシステムは、専用ユニットとして、又はプログラム命令の実行によるコンピュータ・プラットフォームの一部として提供してもよい。コンピュータ・プラットフォームは、１つの物理的なマシンであってもよく、又はクラウドコンピュータの分散モデルの場合には、役割や機能、又は処理スレッド等によって複数の物理マシンの間で分散してもよい。コンピュータ・プラットフォームは、いくつかの実施形態において、（例えば、外科医コンソール５２、電子機器カート５８等において）ＴＳＳ９５０の一部として実装してもよく、ＴＳＳからの別個のハードウェア（例えば、タブレット、パーソナルコンピュータ又はラップトップコンピュータ、スマートフォン、又はこれらのいくつかの組合せ）を使用して実装してもよい。コンピュータ・プラットフォームは、システム又はパーソナルハードウェア上のローカル処理とクラウドとの組合せとして実装してもよい。

様々な実施形態において、特定の動作は、仮想マシンで実行され、１つ又は複数の物理マシン上で順番に実行してもよい。当業者であれば、実施形態の特徴は、様々な異なる適切なマシン実装によって実現してもよいことを理解するであろう。

様々な実施形態では、これらのコンポーネントは、エンジン、回路、コンポーネント、又はモジュールとして実装され、一貫性のためにエンジンと呼ばれるが、これらの用語は互換性を有して使用され得る。エンジンは、本明細書で説明する動作を実施するために、１つ又は複数のプロセッサに通信可能に結合されたハードウェア、ソフトウェア、又はファームウェアであってもよい。エンジンはハードウェアエンジンであってもよく、そのようなエンジンは、特定の動作を行うことができる有形の実体と考えてもよく、特定の方法で構成又は配置してもよい。一例では、回路は、エンジンとして特定の方法で（例えば、内部的に又は他の回路等の外部エンティティに対して）構成してもよい。一例では、１つ又は複数のハードウェアプロセッサの全体又は一部は、ファームウェア又はソフトウェア（例えば、命令、アプリケーション部分、又はアプリケーション）によって、特定の動作を行うように動作するエンジンとして構成し得る。一例では、ソフトウェアは機械可読媒体上に存在することができる。一例では、ソフトウェアは、エンジンの基礎となるハードウェアによって実行されると、ハードウェアに指定された動作を実行させる。従って、ハードウェアエンジンという用語は、有形の実体を包含するように理解され、特定の態様で動作し又は本明細書に記載された任意の動作の一部又は全部を実行するように物理的に構成され、具体的に構成され（例えば、ハードワイヤードにより実現され）、又は一時的に（例えば、非常に短い時間の間に）構成される（例えば、プログラムされる）エンティティである。

エンジンが一時的に構成される例を考えると、各エンジンは、ある時点でインスタンス化する必要はない。例えば、エンジンがソフトウェアを使用して構成された汎用ハードウェアプロセッサコアを含む場合に、汎用ハードウェアプロセッサコアは、異なる時間にそれぞれ異なるエンジンとして構成してもよい。従って、ソフトウェアは、例えば、ある時点で特定のエンジンを構成し、異なる時点で異なるエンジンを構成するように、ハードウェアプロセッサコアを構成することができる。

ＴＳＳ９５０は、患者及び医療従事者にとって役に立つ手術環境９０２とインターフェイス接続する。概して言えば、ＴＳＳ９５０の制御入力は、手術環境９０２において現実世界の効果を生じさせる電気機械システムに供給される。これに対して、ＶＳＥ９０４は、実際の手術環境の１つ又は複数の部分を計算上モデル化して、いくつかの実施形態による仮想手術環境を形成する。従って、ＴＳＳ９５０の同じ制御入力がＶＳＥ９０４に供給され、これらの制御入力は仮想手術環境において計算上モデル化された効果を生じさせる。

１つのタイプの実施形態では、仮想手術環境は、ＴＳＳ９５０の出力を表すモデル化された電気機械出力の患者モデルへの影響に加えて、生理学的構造、体液、疾患状態、血行動態等を含む患者の少なくとも一部のモデルを含む。別のタイプの実施形態では、患者はモデル化されず、むしろ、ＴＳＳ９５０の電気機械的出力が表される。別のタイプの実施形態では、ＴＳＳ９５０の電気機械システムに供給される制御シグナリングは、ＶＳＥ９０４によってモデル化される。

関連する実施形態では、仮想手術環境９０４は、ＴＳＳ９５０から受け取った手術入力の評価に基づいて、外科的処置の段階又はセグメントを決定するようにプログラムされるか、又は他の方法で構成される。

別の関連する実施形態では、ＶＳＥ９０４は、シミュレートされた患者における効果（例えば、手術部位における組織の効果、血行動態等）を含むＴＳＳへの手術入力のＶＳＥシミュレート後の効果、又は手術入力そのものではなく、患者と手術器具との相互作用の他のシミュレートされた特徴に基づいて、外科的処置の段階又はセグメントを決定するようにプログラムされるか、又は他の方法で構成される。別の関連する実施形態では、手術入力の組合せ及びそのシミュレート後の効果が、外科的処置のセグメントの評価に使用される。

図１０は、一実施形態によるＶＳＥ９０４の動作要素及びそれらの相互作用を示す図である。手術入力評価器１００２は、ＴＳＳ９５０からとりわけ制御入力、運動学的情報、センサデータ、システムイベント、又は状態指標等のイベントデータを収集し、外科的効果の観点からそれらの意味を解釈するようにプログラムされるか、又は他の方法で構成される。セグメンタ（segmenter）１００４は、外科的処置が行われているとき又は後処理モードにおいて、外科的処置の段階を区別するようにプログラムされるか、又は他の方法で構成される。シミュレータ１００６は、ＴＳＳ９５０からの制御入力に基づいて、仮想手術環境における外科的処置をモデル化するようにプログラムされるか、又は他の方法で構成される。シミュレータ１００６は、手術環境９０２において実施される実際の外科的処置と並行して、又はその代わりに動作することができ、外科医が特定の処置又はその一部を練習するために使用することができる。いくつかの実施形態では、シミュレータ１００６は、処置の特定の部分の間に呼び出されて、外科医が患者に対して実際にあるタスクを実施する前にそのタスクを練習可能にする。より一般的には、シミュレータ１００６は、外科医、学生、又は他の医療従事者による訓練及び練習に使用され得る。

図１１は、一実施形態による、手術入力評価器１００２の動作要素及びそれらの相互作用を示す図である。イベントモニタ１１０２は、システムイベント、運動学及び外部入力を含み得るイベントデータをＴＳＳ９５０から受信し、一連のイベントを記録する。関連する実施形態では、イベントモニタ１１０２は、処置に関連するアシスタント（複数可）又は他の機器／器具による動作等、ＴＳＳ９５０以外又はＴＳＳ９５０による手術環境９０２で行われた追加の動作に関する情報を受信する。これらの動作は、例えば、ＴＳＳ９５０の１つ又は複数のセンサによって、又はビデオ取込み装置等の環境監視センサによって、又は他の機器／器具自体によって検出され、ＴＳＳ９５０に通信される。上で参照したように、イベントは、例えば、外科医、アシスタント、又は他の検出可能な動作／入力／出力によって提供されるボタンの押下、器具運動制御、器具選択、ビデオシステム制御、手首運動、カメラ運動活性化、マスタージェスチャ／活性化、及び他の入力等の器具制御の活性化のいずれかをさらに含むことができる。例えば、イベントとして収集される他のデータは、運動データ、眼球運動、ユーザ認証（例えば、虹彩認識）、筋活動（例えば、筋電図を用いた測定）、感知された外科医の姿勢、内視鏡によって撮影された画像、システム状態（例えば、様々な器具のドッキング／展開状態、アームとマスターコントローラとの係合／係合解除状態、設置された器具のタイプ、設置された器具の数、オペレータのヘッド係合状態、マスター制御等のコントロールに加えられる力、ロボット器具によって検出された力、カメラの動き及び制御、タッチスクリーン入力、人員の位置（例えば、センサが手術環境に設けられた場合等））、及びこれらのいずれかの履歴を含む。イベントの順序は、時系列データとして記録することができ、集合的に記録することができ、ＴＳＳ９５０のオペレータ（複数可）及び手術環境９０２内の任意の人員の調整された動作、及び／又は手術環境９０２からコンパイルされた他のデータを表すことができる。

いくつかの実施形態では、ジェスチャ評価器（assessor）１１０４は、時系列イベントデータを読み取り、ジェスチャ基準１１０６を適用して、イベントの組合せが任意の規定されたジェスチャを構成するかどうかを確認する。現在の状況では、ジェスチャは、ツール及びコントロールの複合的な動きを構成する２つ以上のイベントのシーケンスである。例示的な例として、縫合作業に関連する単一の縫う動作は、ジェスチャと見なすことができる。この例では、一般に、制御入力データが収集され、そのジェスチャを認識するように分類されるシーケンスの個々の動きが存在する。一実施形態では、ジェスチャ基準１１０６は、様々なジェスチャを構成する一連のイベントのライブラリを含む。より基本的な環境では、ジェスチャ基準１１０６は、あらゆる時間増分について、一連のイベントの時間ウィンドウがジェスチャであるとみなされるように、最近のイベントの時間ウィンドウ（例えば、最近の４０秒）を単に規定することができる。この例の時間ウィンドウ又はジェスチャは、他のジェスチャと重複する可能性がある。

特に、他の実施形態では、ジェスチャ評価器１１０４は存在しない。むしろ、監視されるイベントが、タスク評価器１１０８に提供される。ジェスチャ評価器１１０４が利用可能なさらに別のタイプの実施形態では、検出されたジェスチャと監視されるイベントとの組合せが、タスク評価器１１０８に並列に提供される。

タスク評価器１１０８は、実行されている現在の外科的タスクを評価するようにプログラムされるか、又は他の方法で構成される。現況では、タスクとは、規定された外科的効果を一緒に生成する、一連のイベント、ジェスチャ、又はこれらの組合せである。タスクは、臨床的に一般的な手術（例えば、切開タスク、縫合タスク等）又は処置の臨床的に関連するステップ（複数可）／セグメント（複数可）（例えば、前立腺切除術のＵＶ吻合）であり得る。タスク評価は、一連の最近のイベントに基づいており、さらに、ある規定された一連のイベントをタスクに関連付けるタスク基準データベース１１１０からのデータに基づいている。関連する実施形態では、タスク基準データベース１１１０は、それらのタスクが共通に行われる外科的処置のライブラリを含むこともできる。このタイプの実施形態では、外科的処置の特定自体が、タスク評価アルゴリズムへの入力となり得る。この文脈における外科的処置は、例えば、前立腺切除術、臍ヘルニア修復、乳房切除術等の高レベルの記述子である。

様々な実施形態では、ジェスチャ評価器１１０４及びタスク評価器１１０８は、適用可能な場合に訓練セットデータとして使用されるそれぞれの基準１１０６，１１１０に基づいて、Ｋ近傍（KNN）分類等の１つ又は複数の分類操作、例えばＫ平均クラスタリング等のクラスタ化操作、関連規則マイニング（mining）操作、サポートベクトルマシン（SVM）操作、人工ニューラルネットワーク（ANN）操作（例えば、再帰型ニューラルネットワーク、畳込みニューラルネットワーク等）等を個別に実行することができる。

イベント、ジェスチャ、及びタスクは、それぞれ、関節角度、速度、先行／後続アイドリング（idling）等の様々なパラメータ値を有することができる。遠隔操作される外科的処置中に、手術システムの作動状態の変化を引き起こす制御入力が生じることが理解されるであろう。例えば、外科医は、自分の頭をビューアの内外に移動させることができ、その結果、ヘッドイン（head-in）状態が変化する。外科医は、手又は足を制御入力に接触させたり接触を外したりして、例えば、次の状態の変化を生じさせることができる。使用中の器具の組合せが変更され、例えば器具タイプの状態に変化が生じる可能性がある。

１つ又は複数の外科的状態における外科的活動を支援するＴＳＳ９５０の動作は、外科医が外科的活動を行った実際の方法を示す器具の動きを示す、手術システム内の制御入力情報の生成をさらにもたらす。例えば、外科医は、制御入力を使用して、器具を例えば迅速に又はゆっくりと移動させることができる。外科医は、例えば、手術器具を、１つ又は別の経路に沿って、解剖学的構造に向かう方向又は解剖学的構造から離れる方向に移動させることができる。外科医は、特定の器具を作動させる前に、例えば、制御入力を使用して異なる器具の位置を調整することができる。

図１９Ａ〜図１９Ｃは、いくつかの実施形態による、例示的な手術器具１９０２及びアクチュエータアセンブリ１９０３を示す説明図であり、手術器具が３つの異なる例示的な手術器具作動状態で示されている。例示的な器具１９０２は、開いた状態と閉じた状態との間で移行可能な顎エンドエフェクタ１９０４と、その間に部分的に開いた／部分的に閉じた状態の連続体とを含む。例示的な器具１９０２は、異なる２次元（ｘ，ｙ）位置状態の間を移動することができる２自由度（２−ｄｏｆ）の手首１９０６も含む。例示的なアクチュエータアセンブリ１９０３は、いくつかの実施形態では、顎エンドエフェクタ１９０４を作動させるために使用される顎用モータ（JM）を含む第１のアクチュエータ１９０８を含む。例示的なアクチュエータアセンブリ１９０３は、いくつかの実施形態では、手首１９０６を作動させるために使用される手首用モータ（WM）を含む第２のアクチュエータ１９１０を含む。手術中に、手術器具１９０２は、外科的処置中の異なる活動に対応する複数の器具作動状態を介して移行ことができる。各移行は、イベントモニタ１１０２によって取り込まれ記憶された制御入力情報の生成をもたらし、その制御入力情報は、ある状態のその物理的位置及び配置（例えば、開いているか閉じている）から次の状態のその物理的な位置及び配置にする移行するように命令されたときの器具の動きを示す。

例えば、図１９Ａに示されるように、第１のジェスチャは、顎エンドエフェクタ１９０４を完全に開いた状態に配置する第１のアクチュエータ１９０８（JM）と、手首１９０６を第１の位置状態（ｘ１，ｙ１）に配置する第２のアクチュエータ１９１０（WM）とを含むことができる。例えば、図１９Ｂに示されるように、外科的処置は、第１のアクチュエータ１９０８が顎エンドエフェクタ１９０４を完全に閉じた状態に移行させ、第２のアクチュエータ１９１０が手首１９０６を第２の位置状態（ｘ２，ｙ２）に移行させる第２のジェスチャを含むことができる。例えば、図１９Ｃに示されるように、外科的処置は、第１のアクチュエータ１９０８が顎エンドエフェクタ１１０４を部分的に開いた／部分的に閉じた状態に配置し、第２のアクチュエータ１９１０が手首１９０６を第３の位置状態（ｘ３，ｙ３）に配置する第３の外科的活動を含むことができる。

一実施形態によれば、手術入力評価器１００２は、シミュレータ１００６と協働して、制御入力情報（例えば、イベント、ジェスチャ、又はこれらの組合せ）に応答して位置状態をモデル化する。仮想化された動き及び位置状態は、タスク評価器１１０８によって順番に評価され、適用可能なタスクを特定することができる。このタイプの実施形態では、処理された制御入力データではなく、又はこのデータに加えて、モデル化された運動学的情報を使用してタスク評価を行うことができる。

ここで図１２を参照すると、例示的な実施形態によるセグメンタ（segmenter）１００４が、その動作要素及びそれらの相互作用を含めて詳細に示されている。図示の例では、セグメンタ１００４は、セグメント評価（segmentation
assessment）のための２つのクラス（すなわち、リアルタイム・セグメント評価器１２００及び後処理ベースのセグメント評価器１２２０）のアルゴリズムのうちの１つを選択的に適用するように構成される。

リアルタイム・セグメント評価器１２００を手術中に適用して、外科医又は医療従事者が知覚する限り、無視できる遅延でセグメント評価を行ってもよい。例示的な実施形態では、リアルタイム・セグメント評価器１２００は、ディープラーニングのために長い短期記憶（LSTM）ＲＮＮアーキテクチャを使用する再帰型ニューラルネットワーク（RNN）として構成される。図示されるように、特徴抽出器１２０２は、ＲＮＮ１２０４への入力として特徴ベクトルを生成するために、評価されたタスクのシーケンス及びそれらの対応するパラメータにフィルタリング又は他の選択基準を適用する。特徴ベクトルの例は、アクチュエータの関節角度及び速度と一緒に姿勢（例えば、位置及び回転行列情報）を含む。ＲＮＮ１２０４は、実際には２つのＲＮＮが存在し、一方が前方参照型であり、他方は後方参照型である双方向ＲＮＮであってもよい。したがって、予測された将来の値及び過去の値が、ＲＮＮアルゴリズムにおいて考慮される。例示的な実施形態では、ＲＮＮ１２０４は、２つの層、双方向ＬＳＴＭ及びゲート付き再帰型ユニット（GRU）層を有し、各層に隠れノードを有する。

訓練データ１２０６は、当業者によって認識されるように、適切な訓練アルゴリズムを使用してＲＮＮ１２０４を訓練するために使用される、分類された特徴ベクトルを含む。訓練データは、手術入力（例えば、外科医が操作する制御からの制御入力パラメータを含むイベント、又は補助的に修正可能な器具構成、手術環境で生じるイベント等）に基づいてもよい。関連する実施形態では、訓練データは、手術入力のシミュレート後の効果に基づいてもよい。この後者のタイプの実施形態では、シミュレータ１００６は訓練データのソースとすることができる。

後処理セグメント評価器は、セグメント評価を行うために操作から記録された全てのデータを使用して、操作後の任意の時点で適用できる。後処理ベースのセグメント評価器１２２０の一例では、図示の実施形態による階層整列クラスタ化アルゴリズム（HACA）を使用してクラスタ化が行われる。例示的なセグメント評価器１２２０アーキテクチャは、図示の実施形態による特徴抽出器１２２２、プリプロセッサ１２２４、フレームカーネル行列１２２６、及びクラスタ化エンジン１２２８を含む。特徴抽出器１２２２は、特定の次元を有し、特定のパラメータのセットを表す特徴ベクトルを生成する。プリプロセッサ１２２４は、一実施形態によるＫ平均クラスタ化アルゴリズムを使用することができる。

フレームカーネル行列演算１２２６は、動きセグメント化に関連する自己類似性（すなわち、グラム（Gram））行列Ｋ＝φ（Ｘ）^Ｔφ（Ｘ）を計算する。ここで、各エントリｓ_ｉｊは、カーネル関数による２つのサンプルｘ_ｉとｘ_ｊと間の類似性を規定する。

ＨＡＣＡクラスタ化エンジン１２２８は、Zhou, Feng,
Fernando De la Torre, Jessica K. Hodgins, “Hierarchical aligned cluster
analysis for temporal clustering of human motion,” IEEE Transactions on Pattern
Analysis and Machine Intelligence 35, no. 3(2013): 582-596に一致するＨＡＣＡアルゴリズムを実行する。

関連する実施形態では、訓練データ１２０６を更新し、リアルタイム・セグメント評価器１２００のセグメント決定を再評価するために、後処理ベースのセグメント評価器１２２０が手術後に使用される。

信頼度測定エンジン１２３０は、正しいセグメント化の確率を表す信頼度スコアを計算するようにプログラムされるか、又は他の方法で構成される。信頼度スコアは、クロスエントロピー及び対数確率計算を用いて計算することができる。以下により詳細に説明するように、計算された信頼度は、外科医のスキルを評価するためのメトリックとして、又は時間等の他のメトリックへの重みとして使用して、評価精度をさらに向上させることができる。

図１３は、一実施形態によるシミュレータ１００６の動作要素及びそれらの相互作用を示す図である。患者モデル１３０２は、患者の測定又は評価された身体的特徴１３０４に基づいて、又は測定又は診断された病状１３０６に基づいて患者を表すようにプログラムされるか、又は他の方法で構成される。関連する身体的特徴１３０４の例には、サイズ、体重、性別、年齢、肥満度指数（BMI）、筋緊張、臓器の大きさ及び位置等、並びにＣＴスキャン、ＭＲＩ、超音波又は他の検査で取得したような画像化された解剖学的構造を含む。同様に、病状１３０６は、腫瘍、嚢胞、ヘルニア、切れた結合組織、骨折した骨等の特徴を含み得る。ＴＳＳモデラ１３１０は、構成情報１３１２によって表されるような、ツール、エンドエフェクタ、及び他の構成部分を含むＴＳＳ９５０を表すようにプログラムされるか、又は他の方法で構成される。ＴＳＳモデラ１３１０は、様々な手術ツールの位置付け及び動きを仮想手術環境に反映できるように、ＴＳＳ９５０から制御入力情報を受信する。

ＴＳＳモデラ１３１０及び患者モデル１３０２は、仮想外科的処置がシミュレートされるときに、シミュレーション中に状態情報を交換することができる。従って、これらのエンジンの一方又は両方は、外科的処置によって変更が行われるときに、患者の現在の状態を維持し更新することができる。

一実施形態では、シミュレータ１００６は、外科的処置中にＴＳＳ９５０及び患者の進行を追跡するために、手術環境９０２とともに操作される。別の実施形態では、外科的処置の所与のセグメントは、外科医の要求で、又はトリガに応答して、シミュレーションを開始することができる。この手術中のシミュレーションは、外科医が処置中に重大な又は困難な瞬間に遭遇し、これらの措置を実際に患者に展開する前に特定の動き又は様々な手法を練習することを望む場合に呼び出される。関連する実施形態では、並列実行シミュレーションを自律分析して、セグメンタ１００４を使用して現在の手術段階を決定し、特徴ベクトルのセット内のモデルベースの状況データでさらに訓練してもよい。

別の実施形態では、実際の患者の代わりに外科的訓練又は練習のためにシミュレータ１００６を使用してもよい。いくつかの実装形態では、外科医及び他の医療従事者のためのＴＳＳ９５０のユーザインターフェイスを使用して、手術環境を現実的にシミュレートし、訓練又は練習の一部として機械インターフェイス体験を提供することができる。

外科医評価
図１４は、一実施形態による、外科医評価器９０８の動作要素及びそれらの相互作用をより詳細に示す図である。外科医評価器９０８の心臓部には、制御入力シグナリング、並びにジェスチャ評価器１１０４（利用可能な場合）、タスク評価器１１０８、及びセグメンタ１００４による評価を解析して、ＴＳＳ９５０の制御入力を操作する外科医の外科的処置の質を表す評価又はスコアを生成するようにプログラムされた、又は他の方法で構成された外科的手法評価器１４０２があり、これらは、外科的処置中に、又は練習又は訓練のシミュレーション中に使用してもよい。

外科的手法評価器への入力は、ビデオ情報Ｖ、イベント情報Ｅ、ジェスチャＧ、及び評価されたタスクＴを運動学的データＫと共に含む。このデータは、ＴＳＳ９５０又はＶＳＥ９０４によって（例えば、手術入力評価器１００２、シミュレータ１００６から）提供してもよい。関連する実施形態では、入力は、ＲＮＮ１２０４又はクラスタ化エンジン１２２８によるセグメント決定に基づいて、セグメンタ１００４の信頼度測定エンジン１２３０によって決定されるようなセグメント信頼度スコアＳ−Ｃを含むことができる。

セグメントは、外科的処置部分に対応し、且つビデオ、イベント、ジェスチャ、タスク及び運動学のうちの１つ又は複数の組合せを表す１つ又は複数の特徴の組合せに関して規定される。セグメントには、ジェスチャ／タスクとして表現することができるイベント／運動学／ビデオの組合せ、又は中間ジェスチャ／タスク表現なしで直接的に表現することができるイベント／運動学／ビデオの組合せが含まれる。

一実施形態では、外科的手法評価器１４０２は、様々な時間的及び空間的なメトリックのそれぞれについて様々な統計を計算する。例えば、様々な外科的処置セグメントの持続時間を評価することができる。同様に、タスクレベルの持続期間は、例えば、セグメント毎に、いくつかのやり方で計算され、集約してもよい。特定のタスク又は外科的セグメントの完了に関連して、ジェスチャ又は他の動きの量、イベントの量、又はこれらの量のいくつかの組合せを調べる効率的な運動（economy-of-motion）解析もまた実行され得る。アイドル時間（すなわち、動きがないこと）も考慮され得る。外科的手法の評価において、運動速度、入力装置の手首角度、アイドル時間（例えば、静止）、マスターワークスペース範囲、マスタークラッチ数、印加エネルギー、及び他のそのようなパラメータ等の他のメトリックも考慮に入れることができる。外科的手法の評価において、カメラ移動の頻度、カメラ移動の持続時間、カメラ移動の間隔等のカメラ制御メトリックも考慮に入れることができる。いくつかの実施形態では、カメラクラッチ移動（CMFrq）は、イベント又はセグメント全体の経過に亘って時間増分（例えば、毎秒）毎に外科医によって行われる内視鏡移動の平均数として規定される。カメラ移動持続時間（CMDur）は、イベント又はセグメント全体の過程に亘る全ての内視鏡移動の平均時間増分（例えば、秒）として規定される。カメラクラッチ間隔（CMInt）は、イベント又はセグメント全体の過程に亘る内視鏡移動の間の平均時間増分（例えば、秒）として規定される。非限定的な例として、カメラの使用期間、カメラ使用の一貫性、エネルギー印加の持続時間（組織の切断、組織の焼灼、印加されるエネルギーの増大）、マスタークラッチの使用頻度、異なるアームの時間的制御（例えば、アーム１とアーム３との使用の間の時間）、エンドエフェクタの向きを有するマスターアライメントの頻度等を含む。

評価基準１４０６は、外科医の能力評価を計算するための１つ又は複数の基準を規定する。１つのタイプの実施形態では、外科的処置の能力には、処置の特定された異なる段階に対応する一連のスコア（得点）が与えられる。評価基準１４０６は、相対的重要度を調整するために、様々なメトリックに適用される情報をフィルタリング、マスキング、及び重付け情報を含むことができる。特に、様々な外科的処置のために又は所与の外科的処置の異なる段階のために、異なる重み／調整が、メトリックに適用され得る。また、評価基準１４０６は、外科的能力評価をレンダリングする際に適用されるアルゴリズム又は計算式を規定することができる。外科的手法評価器１４０２が、ＡＮＮ、分類器、クラスタ化エージェント、サポートベクトルマシン等の機械学習アルゴリズムを使用する実施形態では、評価基準１４０６は、メトリックの特徴ベクトルを構築するための基準を含むことができる。

ベンチマーク技術データベース１４０４は、対応する外科的処置において専門家であるとみなされる外科医又は他の医療従事者によって達成されるスコア及びメトリックを含む。

例えば、いくつかの実施形態では、ベンチマークデータベース１４０４は、カメラ制御時間に基づく外科医のスキルレベルのベンチマークを含む。本発明者は、遠隔操作手術システム（TSS）を使用する際に外科医を経験者、中級者、又は初心者として評価するために、カメラの制御時間を、異なる外科的タスク（例えば、カメラ標的決定、点及び針、切開エネルギー（energy
dissection）、マッチボード（match board）、針標的決定、ペグボード（peg board）、ピックアンドプレース（pick and
place）、リング及びレール、リングウォーキング、スケーリング、縫合、スポンジ、スレッドリング及びチューブ）を表す複数の練習の各々について測定した検討を行った。練習の結果は、カメラ制御時間に基づいて外科医のスキルレベルのベンチマークを作成するために使用される。この検討によると、熟練した外科医は、一般に、新人の外科医よりもはるかに迅速にカメラ制御を行うことが分かった。中級の外科医は、新人の外科医よりもはるかに速く練習を行うことが多い。しかしながら、この検討では、中級の外科医と熟練した外科医との間で練習の完了時間に有意な差がないことが分かった。

この検討では多くの驚くべき発見が明らかになった。例えば、熟練した外科医は、殆ど練習で新人の外科医よりも有意に高いＣＭＦｒｑを有し、中級の外科医は、殆どの練習で新人の外科医よりも有意に高いＣＭＦｒｑを有し、中間の外科医と熟練した外科医との間ではＣＭＦｒｑに有意な差はなかった。この検討では、熟練した外科医が、殆どの練習で新人の外科医よりも有意に短いＣＭＤｕｒを有することが分かった。殆どの練習では、中級の外科医は、新人の外科医よりも有意に短いＣＭＤｕｒを有していた。殆どの練習では、熟練した外科医は中級の外科医よりも有意に短いＣＭＤｕｒを有していた。殆どの練習では、熟練した外科医は、新人の外科医よりも有意に短いＣＭＩｎｔを有していたが、中級の外科医は、殆どの練習で新人の外科医よりも有意に短いＣＭＩｎｔを有していた。中間の外科医と熟練した外科医との間でＣＭＩｎｔに有意な差はなかった。

関連する実施形態では、所与の処置についてリアルタイムで実行され得るタスク毎又はセグメント毎に構築された特徴ベクトルが、外科的処置のタスク又はセグメントに対応する１つ又は複数のベンチマークスコアと比較される。この比較は、問題の特徴ベクトルとベンチマーク特徴ベクトルとの間の単純なデカルト距離測定、又は他の何らかの同様の測定であってもよい。決定された類似度は、タスク、セグメント等に対応する手術能力スコアとして返してもよい。

各外科医の所与の外科的処置について計算された様々なスコアが、外科医データベース１４０８に記憶される。外科医がＴＳＳ９５０の使用及び特定の処置を行う際に経験及び専門知識を得るにつれて、改善率等の傾向を検出するために、経時的なスコアを解析することができる。いくつかの実施形態によれば、外科医データベース１４０８は、１４１２でのＴＳＳ９５０のシミュレーションのみの動作と、１４１４での実際の患者に対して行われた処置に対応する動作との間の能力スコアを区別する。

データ記録（logging）
図１５は、例示的な実施形態によるデータ記録システム９０６の動作要素及びそれらの相互作用を示す図である。インデクサ（indexer）１５０２は、入来データを他の関連データと関連させてデータ検索を容易にするようにプログラムされるか、又は他の方法で構成される。図示の例では、様々なデータが外科的処置中に記録され得る。例えば、取り込まれたビデオ及び追加された注釈１５０４、評価された入力ログ１５０６、評価されたタスクログ１５０８、シミュレーションログ１５１０、及び実行中の（running）外科的手法評価ログ１５１２が記録され得る。データの各項目は、その取込みの日付及び時刻、患者、外科医、ＴＳＳ、手術のタイプ、及び他の関連データにさらに関連し得る。

一実施形態では、取り込まれたビデオ及び注釈データ１５０４について、インデクサ１５０２は、ビデオを、外科的処置の評価されたセグメントに対応するセグメントに分割することができる。評価された入力ログ１５０６は、評価されたジェスチャだけでなく、時系列イベント及び他の入力情報も記憶する。評価されたタスクログ１５０８は、リアルタイムで行われたタスク及び外科的処置セグメントの評価を含む。一実施形態では、評価された入力ログ１５０６は、短期記憶部分及び長期記憶部分を含み、短期記憶部分は、イベントを含む全ての入来入力情報を記憶するが、長期記憶部分は、タスク判定の決定がなされた入力のみを記憶する。

シミュレーションログ１５１０は、シミュレータ１００６の患者モデル１３０２及びＴＳＳモデラ１３１０を記述する時系列の状態情報を含む。一実施形態では、シミュレーションログのサンプリングレートは、セグメント評価が行われるレート（例えば、４〜２０サンプル／秒）と同様である。実施された外科的処置の詳細な検討及び解析を可能にするのに十分なデータが記録される。

実行中の外科的手法評価ログ１５１２は、外科的手法評価器１４０２によって生成された絶えず更新された外科的能力スコアの時系列サンプルを記憶する。実行中の外科的手法評価ログ１５１２に記録されたデータは、現在の患者に対して行われている現在の外科的タスク（又はシミュレーション）に特有のものであり得る。このデータセットは、外科医特有のデータを複数の異なる患者、処置、及び日付に亘り記憶する外科医データベース１４０８（図１４）のデータと重複してもよい。

アシストエンジン
図１６は、いくつかの実施形態による、アシストエンジン９１０の動作要素及びそれらの相互作用を示す図である。図示されるように、アシストエンジン９１０は、外科医支援のための要請を検出するようにプログラムされるか、又は他の方法で構成された支援要請検出器１６００を含む。いくつかの実施形態では、支援要請検出器１６００、処置能力センサ１６０２、及びＴＳＳユーザインターフェイス（UI）１６０４、これらのエンジンのいずれかが、それぞれの入力に応答してアシストエンジン９１０の支援動作を開始することができる。処置能力センサ１６０２は、ＶＳＥ９０４及び外科医評価器９０８の動作を監視する。例えば、実行中の外科的手法評価（例えば、データベース１５１２に記録されている）と重ねられたセグメンタ１００４の出力は、外科的処置の段階、及びその段階での外科医の測定された能力に関する情報を提供する。

アシスト基準１６０３は、満たされると、以下に説明するアシスタンスレンダリング・エンジンのうちの１つ又は複数によってアシスト動作の働きをトリガする様々な閾値条件を含む。特に、異なる閾値を、異なるタイプの支援に関連付けてもよい。動作中に、手処置能力センサ１６０２は、現在の外科的処置及びそのセグメントの現在、実行中の外科的手法評価を、処置及び段階に対応する閾値条件に対して比較する。閾値条件の比較が満たされた場合、すなわち現在、実行中の外科的手法評価スコアが所与の閾値を下回った場合に、対応する支援が提案され、及び／又は提供される。

関連する実施形態では、アシスト基準１６０３の閾値条件は、外科医固有又は患者固有のものであってもよい。例えば、比較的熟練した外科医は、支援が提供される前に、初心者の外科医よりもより高い閾値でシステムを構成することができる。同様に、より重大な状態（例えば、重度の外傷患者、高齢の患者、新生児又は早産の患者等）の患者に対する手術のために、より低い閾値を選択することができる。

さらに、例えば、アシスト基準１６０３は、処置の特定のステップの専門知識を有する特定の熟練した外科医からの入力を選択的に要求するために使用することができる。例えば、特定の外科医は複雑な解剖を本当に上手に行うことができ、従って、それら外科医は、誰かがそのステップで苦労しているが他の外科医がより簡単なステップを求めている場合に、待機（on-call）しなければならない。

ＴＳＳ ＵＩインターフェイス１６０４は、ＴＳＳ９５０の外科医コンソールと情報を交換する。ＴＳＳ ＵＩインターフェイス１６０４は、外科医から特定の支援を求める要求を受け取り、その場合に、ＴＳＳ ＵＩインターフェイスは、支援レンダリング・エンジンに命令して、対応する支援を提供する。状況に関連した支援情報は同様に、その情報を外科医コンソールに送るＴＳＳ ＵＩインターフェイスを介して外科医に表示することができる。

関連する実施形態では、処置能力センサ１６０２による支援のための自動要請に応答して、ＴＳＳ ＵＩインターフェイス１６０４は、その支援を提供する外科医に視覚的又は聴覚的な通知を提供し、外科医が、その支援を受け入れる、拒否する、又は延期する制御入力を提供する。

図示の実施形態によれば、外科医又は他の医療従事者に対応する種類の支援を提供するために、多数の異なる支援レンダリング・エンジンが利用可能である。様々な他の実施形態では、より多い又はより少ない支援レンダリング・エンジンが提供される。図示されるように、ビデオ待ち行列（queuer）１６０６は、再生のためにデータベース１６０８からビデオセグメントを検索するように構成される。ビデオセグメントは、セグメンタ１００４によって決定されるように、外科的処置の現在の段階に対して特定の対応を有してもよい。例えば、キューに入れられるビデオセグメントは、外科的処置の現在の段階又は今後の段階を表すことができる。

通知器１６１０は、遠隔コンソール又は他のインターフェイスを介して、外科医に直接的な指導及び／又は支援を提供することができる専門家問合せ先１６１２に従って待機中の外科医との通信を開始するように構成される。

技術アドバイザ１６１４は、現在又は今後の手術段階に応答して、手術スキル要件データベース１６１６に基づいて外科医の評価された実行中の手術技法評価を考慮して、所与のシナリオで使用される特定の外科的手法を推奨する。関連する実施形態では、技術アドバイザ１６１４は、手術環境の１人以上のアシスタント等の他の医療従事者に適用可能なプロンプト又は他の指示又は推奨を提供することができる。

関連する実施形態では、技術アドバイザ１６１４は、ステップの持続時間、ステップの順序、現在のセグメント、及びステップの能力レベルに基づいて（全てが現在のセグメント及び外科医の能力、だけでなくオプションでその外科医に対応する履歴データに基づいて）、今後の手術段階を予測する予測機能を含む。この情報を使用して、最適なＯＲターンオーバー（turnover）のための処置の終了、将来の器具交換等の将来のイベントを予測することができる。

シミュレーション構成器１６１８は、シミュレータ１００６によって実行される、現在の又は今後の外科的処置の段階に対応するシミュレーションシナリオを自律的にセットアップするように動作する。このタイプの支援によって、外科医が実際の手術環境に戻って患者に外科的手法を行う前に、手術中に仮想手術環境において特定の外科的手法を練習可能にすることができる。

制御設定アジャスタ１６２０は、外科的タスクを容易にするために、制御入力に応答してＴＳＳの１つ又は複数の挙動を自動的に変化させるように動作する。調整は、処置特有の、タスク特有の、外科医特有の、又はこれらの何らかの組合せであってもよい制御調整規則１６２２に従って行ってもよい。可変ＴＳＳ挙動の例には、制御入力感度の調整（例えば、所与の入力イベント又はジェスチャの動作速度の低下）、ジェスチャフィルタリング（例えば、特定の入力動きを可能にして外科的効果を生じさせるが、他は行わない）、ビデオ取込み設定等が含まれる。他の調整には、カメラの水平線／ズーム／位置、テーブル位置、画像特性（色、色合い、オーバーレイ等）、現在の患者又は関連する患者からの現在の／今後のステップのための手術前画像のロード、マスターツール動作のスケーリング、力フィードバックゲイン、状況／セグメントに応じて制御入力ボタンの押下を異なるようにマッピングをすること、又はそれらの何らかの組合せが含まれる。

図２１Ａ〜図２１Ｃは、外科医が遠隔操作手術システム（TSS）の手術シーン内の手術器具をより正確に制御することができるような視点を達成し外科医を支援するために、制御設定アジャスタ１６２０によって行われる手術シーンの水平線の変化を示す説明図である。外科医は、左眼用ディスプレイ３２及び右眼用ディスプレイ３４を介して手術器具を含む手術シーンを立体的に視る（例示的な目的のために立体的な外科医ビューが描かれているが、様々な他の実施形態では、平面視のビューが提供され得る）。例えば、ＴＳＳが、３つの異なる手術器具２１１０，２１１２，２１１４と、内視鏡を搭載したカメラ（図示せず）とを取り付けていると仮定する。外科医は、左及び右のハンドグリップ制御入力３６，３８を使用して、手術器具及び内視鏡を２つずつ制御することができる。カメラの視野内にある器具は、手術シーンビュー内で外科医に見える。さらに、例えば、外科医があるタスクから（外科医が変わる）次のタスクへの移行の間に外科医が器具を変更したと仮定する。さらに、器具から変更したもの（the changed
from instrument）が、器具に変更したもの（the changed
to instrument）とは異なる手術シーン内の異なる位置に位置付けされると仮定する。この場合に、左及び右のハンドグリップ制御入力３６，３８の外科医のグリップは変わらないが、現在外科医の制御下にある手術シーン内の手術器具の位置及び向きが変更される。制御設定アジャスタ１６２０は、手術器具の精度及び制御を改善又は最適化するために、左及び右のハンドグリップ制御入力３６，３８上で手術シーン内の現在外科医制御下の器具の視点を外科医の手の位置と調和させるように、手術シーンの水平線の調整を提供することができる。

図２１Ａを参照すると、現在外科医の制御下にある第１及び第２の手術器具２１１０，２１１２を含む、水平線アイコン２１２０の向きによって示される第１の水平線を有する第１の手術シーン２１００が示されている。水平線アイコン２１２０は、シーン内にオプションのオーバーレイとして表示され、水平線アイコン２１２０は、典型的には内視鏡が患者側カートのマニピュレータの中立位置にある場合のレベルである手術シーンの水平線を示す。水平線レベルは、患者側アーム内の中立位置として公称上規定されており、左右のディスプレイは決して位置を変えないので、左右のディスプレイに対して相対的ではないことが理解されるであろう。さらに、図２１Ａに示される手術器具２１１０，２１１２及び第１の手術シーンの水平線の向きは、外科医の目の前に直接的に置かれたシーンを視た場合に、左及び右のハンドグリップ制御入力３６，３８上の外科医の手の自然な解剖学的な向きと一致する。外科医の手の３Ｄデカルト位置は、ＴＳＳのマスタークラッチ能力のため、器具の３Ｄデカルト位置とは異なり得ることに留意されたい。

図２１Ｂを参照すると、現在外科医の制御下にある第１及び第３の手術器具２１１０，２１１４を含む、水平線アイコン２１２０の向きによって示される第１の水平線を有する第２の手術シーン２１０２が示されている。第１のシーン２１００から第２のシーン２１０２への移行の過程で、外科医は、第２の手術器具（破線で示す）２１１２を使用することから第３の手術器具２１１４を使用するように変更したと仮定する。こうして、左及び右のハンドグリップ制御入力３６，３８の上の外科医の手は、第１のシーン２１００で行ったように第１及び第２の手術器具２１１０，２１１２を制御するのではなく、第２の手術シーン２１０２内の第１及び第３の手術器具２１１０，２１１４を制御する。第２及び第３の手術器具２１１２，２１１４は、手術シーン内の異なる位置に位置付けされる。さらに、水平線アイコン２１２０は、左眼及び右眼のディスプレイ３２，３４の視点からの第２の手術シーン２１０２のビューが、第１のシーン２１００の視点と同じであることを示す。こうして、外科医は、ここで、第２の手術シーン２１０２において、以前に制御した第２の器具２１１２の位置とは異なる位置にある第３の手術器具２１１４を制御する。左及び右のハンドグリップ制御入力３６，３８上の外科医の手の位置は変更されず、手術シーンの水平線は変化しないが、現在制御されている器具のうちの１つ、すなわち第３の器具２１１４の位置が変更される。さらに、外科医がその器具に関する制御を取得する前に第３の器具２１１４の姿勢を鏡映する必要がある場合に、右ハンドグリップ制御入力３８の向きは、器具２１１２とは異なる第３の器具２１１４の新しい向きに一致するように変更しなければならない。これらの理由及び潜在的に他の理由により、図２１Ｂに示される手術器具２１１０，２１１４及び第２の手術シーンの水平線の位置は、左及び右のハンドグリップ制御入力３６，３８上の外科医の手の自然の解剖学的位置と一致しない場合がある。この不一致の結果として、外科医は、そうでなければ有し得た正確さ及び／又は器用さで第３の器具２１１４を動かすことができないかもしれない。

図２１Ｃを参照すると、現在外科医の制御下にある第１及び第３の手術器具２１１０，２１１４を含む、水平線アイコン２１２０の向きによって示される第２の水平線を有する第３の手術シーン２１０４が示されている。第３のシーン２１０４は、手術シーンの水平線が水平線アイコンの向きによって示されるように変化する点を除いて、第２のシーン２１０２と同一である。シーン方向の変化の結果として、図２１Ｃに示される手術器具２１１０，２１１４及び第３の手術シーンの水平線の位置／向きは、外科医の目の直前に位置するシーンを視るときに、左及び右のハンドグリップ制御入力３６，３８上の外科医の手の自然の解剖学的位置とより密接に一致することが理解されるだろう。手術シーンの水平線の向きの変化の結果として、外科医は、第２のシーン２１０２の手術シーンの水平線よりも正確に、第３の器具２１１４をより容易に移動させることができる。

制御設定アジャスタ１６２０は、第２の手術シーン２１０２に示される水平線の向きから第３の手術シーン２１０４に示される水平線の向きに変更するために、カメラ向き制御設定の変更を内視鏡搭載カメラに与える。外科的手法評価器１４０２は、例えば、熟練した外科医が、第２及び第３のシーン２１１０，２１１４に示される第１及び第３の器具２１００，２１０４の位置で器具を制御するときに、第３のシーン２１１４の水平線の向きを使用することを決定できる。制御設定アジャスタ１６２０は、初心者の外科医に代わってそのような水平線の向きの変化を自動的に行うことができる。こうして、例えば、初心者の外科医が、熟練した器具移動の精度に従って、手術シーンの水平線の変化によって改善され得るタスクに移行するとき、制御設定アジャスタ１６２０は、手術シーンの水平線の向きを自動的に変化させ、手術シーンの水平線の向き及びシーン内の器具の位置を、左及び右のハンドグリップ制御入力３６，３８上の外科医の手の位置とより良く相関させることができる。

図２２Ａ〜図２２Ｂは、外科医がＴＳＳの手術シーン内の関連情報をより良く観察することができる視点を達成し外科医が支援するために、制御設定アジャスタ１６２０によって行われる手術シーンの２次元位置変化を示す説明図である。図２２Ａを参照すると、第１及び第２の手術器具２１１０，２１１２がそれらのエンドエフェクタ部分を手術シーン２２００の縁部の近くに配置した第４の手術シーン２２００が示されている。手術器具２１００，２１０２が第４の手術シーン２２０のようにシーンの縁部近くに配置されると、身体組織（図示せず）等の、そのシーンの縁部近くに位置する関心のある項目は、可視シーンの外に位置する可能性があり、従って、外科医には見えない可能性がある。図２２Ｂを参照すると、第１及び第２の手術器具２１１０，２１１２がそれらのエンドエフェクタ部分を手術シーン２２０２の中央近くに配置した第５の手術シーン２２０２が示されている。制御設定アジャスタ１６２０は、器具のエンドエフェクタがシーンの縁部に配置された第１の２次元領域を表示する第２の手術シーン２１０２から、器具のエンドエフェクタがシーンの中央近くに配置された第２の２次元領域を表示する第３の手術シーン２１０４に変更するために、カメラ制御設定の変更を内視鏡搭載カメラに与える。外科的手法評価器１４０２は、例えば、外科医が手術シーン内の特定の領域（例えば、中心等）に器具を表示することを好むことを判定することができる。こうして、例えば、初心者の外科医が、熟練した外科医に従って、シーンの中心に向けて器具を移動させるように描写されたシーンの領域の変化をより良く見ることができるシーンを含むタスクに移行する場合に、例えば、制御設定アジャスタ１６２０は、シーン内に描かれた器具及び組織構造（図示せず）の位置を変えるように、カメラの位置を自動的に変更することができる。

図２３Ａ〜図２３Ｂは、外科医がＴＳＳの手術シーン内の関連情報をより良く観察できる視点を達成し外科医を支援するために、制御設定アジャスタ１６２０によって行われる手術シーンのズームレベル変更を示す説明図である。図２３Ａを参照すると、第１及び第２の手術器具２１１０，２１１２が、手術シーン２２００内で遠くに小さく見えるようにズームアウトされた状態で示される第６の手術シーン２３００が示されている。第６の手術シーン２３００における手術器具２１００，２１０２の遠くの小さな外観はまた、手術器具２１００，２１０２が遠くに小さく見えるように相互作用し、従って外科医が見るのが難しくなる、身体組織（図示せず）等の他の関心のある項目をもたらすことが理解される。図２３Ｂを参照すると、第１及び第２の手術器具２１１０，２１１２がより近く大きく現われ、容易に詳細に見られるようにズームインした状態で示される第７の手術シーン２３０２が示されている。制御設定アジャスタ１６２０は、第１のズームアウト状態のズームレベルを表示する第５の手術シーン２３００から、第２のズームイン状態のズームレベルを表示する第７の手術シーン２３０２に変更するために、カメラ制御設定の変更を内視鏡搭載カメラに与える。外科的手法評価器１４０２は、例えば、熟練した外科医が特定のタスクについて特定のズームレベルで器具を表示することを好むことを判定することができる。こうして、例えば、初心者の外科医が、熟練した外科医に従って、ズームレベルの変化につれて良く見ることができるシーンを含むタスクに移行する場合に、制御設定アジャスタ１６２０は、例えば、カメラのズームレベルを自動的に変更することができる。

さらに、カメラ調整は、患者の解剖学的位置及びカメラの向きの推定値を含み、動き及び相互作用のためのカメラの位置／向きを最適化することができる。例えば、外科医が解剖学的構造に基づいて特定の方向に針を動かす必要がある場合に、カメラはこの環境のキュー（cue）にそのカメラ自体を整列させることができる。

いくつかの実施形態では、これらのアシストエンジンのいずれかによる支援は、段階の現在の評価に基づいて、現在の外科的処置の段階に段階同期させることができる。上述したように、段階同期とは、厳密な時間的整合ではなく、手術プロセスフローの点での整合を指す。いくつかの実施形態では、段階同期は、外科的処置の今後の段階のために外科医又は外科チームを用意するための支援が提供されるように、段階オフセットをサポートする。

支援は、セグメンタ１００４、シミュレータ１００６、外科医評価器９０８、又はこれらのエンジンの２つ以上を含む組合せによって評価されるように、使用された、評価後の外科的手法のタイプに一致するようにさらに選択してもよい。

図１７は、汎用マシンの例示的な形態であるコンピュータシステムを示すブロック図である。特定の実施形態では、本明細書に記載される１つ又は複数の特定の動作アーキテクチャ及びアルゴリズムによるコンピュータシステム１７００のプログラミングは、そのプログラムを実行する際に、ＶＳＥ９０４、データ記録エンジン９０６、外科医評価器９０８、アシストエンジン９１０、又はこれらのシステムの任意の組合せを形成するために専用マシンを生成する。ネットワーク展開では、コンピュータシステムは、サーバ−クライアント・ネットワーク環境においてサーバ又はクライアント・マシンのいずれかの能力で動作してもよく、ピアツーピア（又は分散）ネットワーク環境においてピア・マシンとして動作してもよい。

例示的なコンピュータシステム１７００は、少なくとも１つのプロセッサ１７０２（例えば、中央処理装置（CPU）、グラフィック処理装置（GPU）又は両方、プロセッサコア、計算ノード等）、メインメモリ１７０４、及びスタティックメモリ１７０６を含み、これらは、リンク１７０８（例えば、バス）を介して互いに通信する。コンピュータシステム１７００は、ビデオ表示装置１７１０、英数字入力装置１７１２（例えば、キーボード）、及びユーザインターフェイス（UI）ナビゲーション装置１７１４（例えば、マウス）をさらに含むことができる。一実施形態では、ビデオ表示装置１７１０、入力装置１７１２、及びＵＩナビゲーション装置１７１４は、タッチスクリーンディスプレイに組み込まれる。コンピュータシステム１７００は、記憶装置１７１６（例えば、ドライブユニット）、信号発生装置１７１８（例えば、スピーカ）、ネットワークインターフェイス装置（NID）１７２０、及び１つ又は複数のセンサ（図示せず）をさらに含むことができる。

記憶装置１７１６は、本明細書に記載される方法又は機能のいずれか１つ又は複数によって具体化又は利用されるデータ構造及び命令１７２４（例えば、ソフトウェア）の１つ又は複数のセットを記憶する機械可読媒体１７２２を含む。命令１７２４はまた、コンピュータシステム１７００によるその実行中に、メインメモリ１７０４、スタティックメモリ１７０６、及び／又はプロセッサ１７０２内に完全に又は少なくとも部分的に存在することができ、メインメモリ１７０４、スタティックメモリ１７０６、及び／又はプロセッサ１７０２も機械可読媒体を構成する。

機械可読媒体１７２２は、例示的な実施形態で単一の媒体であると示されているが、用語「機械可読媒体」は、１つ又は複数の命令１７２４を記憶する単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を含むことができる。用語「機械可読媒体」は、機械による実行のための命令を記憶、符号化、又は伝達することができ、機械に本開示のいずれか１つ又は複数の方法を実行させ、又はそのような命令によって又はそれに関連して利用されるデータ構造を記憶、符号化、又は伝達することが可能である任意の有形の媒体を含むように考慮される。従って、「機械可読媒体」という用語は、ソリッドステートメモリ、光媒体、磁気媒体を含むものとして考慮されるが、これらに限定されるものではない。機械可読媒体の特定の例には、例として、半導体メモリ装置（例えば、電気的にプログラム可能な読出し専用メモリ（EPROM）、電気的に消去可能なプログラム可能な読出し専用メモリ（EEPROM）及びフラッシュメモリ装置；内蔵ハードディスクやリムーバブルディスク等の磁気ディスク；光磁気ディスク；及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭを含むが、これらに限定されない不揮発性メモリを含む。

様々な実施形態によるＮＩＤ１７３０は、任意の適切なフォームファクタを取ることができる。そのような実施形態の１つでは、ＮＩＤ１７２０は、リンク１７０８を介してプロセッサ１７０２とインターフェイス接続するネットワークインターフェイスカード（NIC）の形態である。一例では、リンク１７０８は、スロットを含むＰＣＩ Ｅｘｐｒｅｓｓ（PCIe）バスであり、スロット内でＮＩＣフォームファクタは取り外し可能に係合し得る。別の実施形態では、ＮＩＤ１７２０は、ローカルリンク回路、プロセッサインターフェイス回路、他の入出力回路、メモリ回路、記憶装置、及び周辺コントローラ回路等と共にマザーボード上にレイアウトされたネットワークインターフェイス回路である。別の実施形態では、ＮＩＤ１７２０は、ユニバーサルシリアルバス（USB）ポート等の周辺入出力ポートを介してリンク１７０８とインターフェイス接続する周辺機器である。ＮＩＤ１７２０は、有線又は無線（例えば、無線周波数、赤外線、又は可視光スペクトル等）、光ファイバ等であり得る伝送媒体１７２６を介してデータを送受信する。

図１８は、図１７に示すようなコンピュータ装置の例示的なハードウェア及びソフトウェア・アーキテクチャを示す図であり、ハードウェア（ＨＷ）コンポーネントとソフトウェア（ＳＷ）コンポーネントとの間の様々なインターフェイスが示されている。ＨＷで示されるように、ハードウェアコンポーネントは分割ダラインの下に表示されるが、ＳＷで示されるソフトウェアコンポーネントは分割ラインの上にある。ハードウェア側では、（１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（それぞれが１つ又は複数のプロセッサコアを有する）等を含むことができる）処理装置１８０２は、メモリ管理装置１８０４及びシステム相互接続１８０６とインターフェイス接続される。メモリ管理装置１８０４は、実行されるプロセスによって使用される仮想メモリと物理的メモリとの間のマッピングを提供する。メモリ管理装置１８０４は、処理装置１８０２も含む中央処理装置の一体部分であってもよい。

相互接続１８０６は、メモリ、データ、及び制御ライン等のバックプレーンだけでなくＰＣＩ、ＵＳＢ等の入出力装置とのインターフェイスも含む。メモリ１８０８（例えば、ダイナミックランダムアクセスメモリ−ＤＲＡＭ）及びフラッシュメモリ等の不揮発性メモリ１８０９（例えば、電気的に消去可能な読出し専用メモリ−ＥＥＰＲＯＭ、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ等）は、メモリコントローラ１８１０を介してメモリ管理装置１８０４及び相互接続１８０６とインターフェイス接続される。いくつかの実施形態では、このアーキテクチャは、周辺機器による直接メモリアクセス（DMA）をサポートすることができる。ビデオ及びオーディオアダプタ、不揮発性ストレージ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の外部周辺リンクだけでなく、Ｗｉ−Ｆｉ（登録商標）又はＬＴＥ（登録商標）ファミリインターフェイスを介して通信するようなネットワークインターフェイス装置等のＩ／Ｏ装置は、まとめてＩ／Ｏ装置及びネットワーク１８１２として表され、これらは、対応するＩ／Ｏコントローラ１８１４を介して相互接続１８０６とインターフェイスする。

ソフトウェア側では、初期システム起動時に実行されるプレオペレーティングシステム（プレＯＳ）環境１８１６は、オペレーティングシステムの起動を開始する責任がある。プレＯＳ環境１８１６の従来の例は、システム基本入出力システム（BIOS）である。現代のシステムでは、統一された拡張可能なファームウェアインターフェイス（UEFI）が実装されている。プレＯＳ環境１８１６は、オペレーティングシステムの起動を開始する責任があるが、本発明の特定の態様による組込みアプリケーションの実行環境も提供する。

オペレーティングシステム（OS）１８１８は、ハードウェア装置を制御し、メモリ内のプログラムに対するメモリアクセスを管理し、タスクを調整し、マルチタスクを容易にし、記憶されるデータを編成し、メモリ空間及び他のリソースを割り当て、プログラムバイナリコードをメモリにロードし、アプリケーションプログラムの実行を開始し（アプリケーションプログラムは次にユーザ及びハードウェア装置と相互作用する）、及び様々な規定された割込みを検出して応答するカーネルを提供する。また、オペレーティングシステム１８１８は、デバイスドライバと、周辺機器及びネットワークとのインターフェイスを容易にし、アプリケーションプログラムの抽象化を提供する様々な共通サービスとを提供し、アプリケーションがそのような共通動作の詳細を処理する責任を負う必要がないようにする。オペレーティングシステム１８１８は、さらに、モニタ、キーボード、マウス、マイク、ビデオカメラ、タッチスクリーン等の周辺装置を介してユーザとの対話を容易にするグラフィカルユーザインターフェイス（GUI）を提供する。

ランタイムシステム１８２０は、関数呼出しの前にスタックにパラメータを置く、ディスク入出力（Ｉ／Ｏ）の動作、及び並列実行に関連する動作等の操作を含む実行モデルの部分を実装する。ランタイムシステム１８２０は、タイプチェック、デバッグ、又はコード生成及び最適化等のサポートサービスを実行することもできる。

ライブラリ１８２２は、アプリケーションプログラムの更なる抽象化を提供するプログラム機能のコレクションを含む。これらは、例えば共有ライブラリ、動的リンクライブラリ（DLL）等を含む。ライブラリ１８２２は、オペレーティングシステム１８１８、ランタイムシステム１８２０に一体化してもよく、機能を追加してもよく、さらに遠隔ホストしてもよい。ライブラリ１８２２は、オペレーティングシステム１８１８によって提供されるサービスを呼び出すために、アプリケーションプログラム１８２４によって様々な関数呼出しが行われるアプリケーションプログラムインターフェイス（API）を規定する。アプリケーションプログラム１８２４は、コンピュータ装置自体の基本操作を調整する下位システムプログラムによって実行されるタスクを超える、ユーザにとって有用なタスクを実行するプログラムである。

プロセスフロー
図２０は、システム９００等のＴＳＳサポートシステムを動作させる例示的な方法２０００を示すプロセスフロー図である。方法２０００は、説明目的のために様々な異なる動作を組み合わせる十分に特徴付けられた実施形態であることに留意されたい。図２０に示す例は実際的な実施形態であってもよいが、様々な他の実施形態では、特定の動作を修正、省略、又は再順序付けできることが理解されるだろう。

以下の説明は、図９〜図１６のシステム構成要素図及び動作要素図と共に、図２０を参照する。２００２において、手術入力評価器１００２のイベントモニタ１１０２は手術入力を受信する。手術入力は、ＴＳＳの監視されるイベントを含む。さらに、手術入力は、シミュレータ１００６におけるＴＳＳの計算モデルへの制御入力を含むことができる。手術入力はまた、ＴＳＳの計算モデルからのモデル化されたイベントを含むことができる。

２００４において、ＴＳＳモデラ１３１０は仮想手術環境でＴＳＳをモデル化する。これは、構成情報１３１２に規定されるように、ツール、エンドエフェクタ、及び他の構成部分を計算上表現することを含むことができる。ＴＳＳモデラ１３１０は、制御入力を処理し、モデルにおいて、それらの制御入力に応答して仮想状態の変化をもたらす。仮想状態の変化は、それ自体が、イベントモニタ１１０２が受け取ることができるイベントのタイプを構成することができる。

２００６において、患者モデル１３０２は、ＴＳＳモデラ１３１０の操作の効果を含めて、患者をモデル化する。２００８において、手術入力評価器は、実行されている現在の外科的タスクを決定する。２０１０において、セグメンタ１００４は、手術入力に基づいて、及びオプションの評価されたタスクに基づいて、外科的処置の現在の段階を決定する。

２０１２において、セグメンタ１００４の信頼度測定エンジン１２３０は、段階評価の信頼度スコアを決定する。２０１４において、外科医評価器９０８は、外科的手法評価器１４０２を使用して手術入力の時間的及び空間的なメトリックを計算する。オプションで、信頼度スコアが考慮される。２０１６において、外科的手法評価器は、外科医又は手術スタッフについての段階特有の能力スコアを生成する。

２０１８において、外科的処置の現在の段階、能力スコア、又はこれらの項目のいくつかの組合せに基づいて、外科医支援の要請が検出され得る。支援の要請は、外科医又は他のオペレータによって提供してもよい。２０２０において、段階に同期化された支援がレンダリングされる。

補注と実施例
実施例１は、外科医入力インターフェイスを含む遠隔操作手術システム（TSS）のための手術支援システムであって、外科医入力インターフェイスは、電気機械手術システムを有効にして外科的処置を行うための手術制御入力を受け取り、この手術支援システムは、仮想手術環境エンジンと、アシストエンジンと、を有しており、
仮想手術環境エンジンは、ＴＳＳの監視されるイベントを含む手術入力を受信する手術入力評価エンジンと；手術入力に基づいて、外科的処置の現在の段階を決定するセグメント化エンジンと；を実装するように動作可能に構成されたコンピュータ・ハードウェアを含み、
アシストエンジンは、ＴＳＳの外科医入力インターフェイスに通信可能に結合されるＴＳＳインターフェイスと；外科医支援のための要請を検出する支援要請検出器と；外科医支援のための要請に応答して、ＴＳＳインターフェイスを介して状況に関連した支援（context-related
assistance）を開始する支援レンダリング・エンジンと；を実装するように動作可能に構成されたコンピュータ・ハードウェアを含み、
状況に関連した支援は、外科的処置に段階同期される。

実施例２では、実施例１の主題はオプションでＴＳＳを含む。
実施例３では、実施例１〜２のいずれか１つ又は複数の主題はオプションで以下を含み、仮想手術環境エンジンは、ＴＳＳの手術入力に基づいて、外科的処置の計算モデルを処理するシミュレータ・エンジンを実装するようにさらに構成される。
実施例４では、実施例３の主題はオプションで以下を含み、シミュレータ・エンジンは、仮想手術環境におけるＴＳＳを計算上表現するためのＴＳＳモデルと；患者の身体的特徴に基づく患者、及びＴＳＳモデルの操作によって影響を受ける患者への変化を計算上表現するための患者モデルとを含む。

実施例５では、実施例３〜４いずれか１つ又は複数の主題はオプションで以下を含み、シミュレータ・エンジンは、ＴＳＳを介して行われている実際の外科的処置と並行して動作するように構成され、ＴＳＳへの手術制御入力は、シミュレータ・エンジンの計算モデルに仮想効果を生じさせる。
実施例６では、実施例３〜５のいずれか１つ又は複数の主題はオプションで以下を含み、手術入力評価エンジンによって受信された手術入力は、シミュレータ・エンジンの計算モデルからのＴＳＳ制御入力のシミュレートされた効果（simulated
effects：シュミレート後の効果）を含む。
実施例７では、実施例３〜６のいずれか１つ又は複数の主題はオプションで以下を含み、シミュレータ・エンジンは、現在の段階の決定に基づいて、外科的処置の特定の段階をシミュレートするように構成され、このシミュレーションを開始する。

実施例８では、実施例１〜７のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、ＴＳＳの電気機械手術システムを制御するＴＳＳ制御入力を含む。
実施例９では、実施例１〜８のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、ＴＳＳの電気機械手術システムのシミュレーションを制御するＴＳＳ制御入力を含む。
実施例１０では、実施例１〜９のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、手術アシスタントによるＴＳＳ検出動作を含む。

実施例１１では、実施例１〜１０のいずれか１つ又は複数の主題はオプションで以下を含み、セグメント化エンジンは、正確なセグメント決定の確率を表す信頼度スコアを決定するための信頼度測定エンジンを含む。
実施例１２では、実施例１１の主題はオプションで以下を含み、信頼度スコアは、セグメント化エンジンのディープラーニング・エンジンを訓練するための手術入力の対応するシーケンスの適合性を示す。
実施例１３では、実施例１〜１２のいずれか１つ又は複数の主題はオプションで以下を含み、セグメント化エンジンは、外科的処置中に手術入力の一部を処理する訓練される（trained）ニューラルネットワークを実装するように構成されたリアルタイム・セグメント評価器を含む。
実施例１４では、実施例１３の主題はオプションで以下を含み、セグメント化エンジンは、手術入力の一部を処理するクラスタ化アルゴリズムを実施するように構成された後処理セグメント評価器をさらに含む。

実施例１５では、実施例１３〜１４のいずれか１つ又は複数の主題はオプションで以下を含み、訓練されるニューラルネットワークは、先行する複数の外科的処置からの先の手術入力に基づいて訓練される。
実施例１６では、実施例１３〜１５のいずれか１つ又は複数の主題はオプションで以下を含み、訓練されるニューラルネットワークは、先行してシミュレートされた複数の外科的処置からの先の手術入力に基づいて訓練される。
実施例１７では、実施例１〜１６のいずれか１つ又は複数の主題はオプションで以下を含み、手術入力評価エンジンは、手術入力に基づいて、行われている現在の外科的タスクを決定するように構成されたタスク評価エンジンを含み、現在の外科的タスクは、規定された外科的効果を生じさせる一連のイベントを含み、セグメント化エンジンは、現在の外科的タスクにさらに基づいて、外科的処置の現在の段階を決定する。

実施例１８では、実施例１〜１７のいずれか１つ又は複数の主題はオプションで外科的手法評価エンジンを実装するように動作可能に構成されたコンピュータ・ハードウェアを含む外科医評価エンジンを含み、外科的手法評価エンジンは、手術入力及び外科的処置の現在の段階にアクセスし；現在の段階を含む外科的処置の複数の異なる段階に対応する手術入力の複数の時間的及び空間的なメトリックを計算し；手術制御入力を生じさせる外科医の外科的能力の質を表す手術段階特有の能力スコアを生成する；ように構成される。
実施例１９では、実施例１８の主題はオプションで以下を含み、外科的手法評価器は、時間的及び空間的なメトリックと、外科的処置の専門家によって行われる段階に基づく基準メトリックとの間の比較を行うようにさらに構成され、能力スコアは比較の結果に基づく。
実施例２０では、実施例１８〜１９のいずれか１つ又は複数の主題はオプションで以下を含み、外科的手法評価器は、セグメント化エンジンによる正確なセグメント決定の確率を表す信頼度スコアにアクセスし、信頼度スコアにさらに基づいて、能力スコアを生成するようにさらに構成される。

実施例２１では、実施例１８〜２０のいずれか１つ又は複数の主題はオプションで以下を含み、能力スコアは、外科的処置中ずっと（throughout）更新されるランニングスコアである。
実施例２２では、実施例１８〜２１のいずれか１つ又は複数の主題はオプションで以下を含み、支援要請検出器は、能力スコアに基づいて、外科医支援の要請を検出するように構成される。
実施例２３では、実施例１〜２２のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、実施されている外科的処置の段階特有部分のデモンストレーションを含む専門家ビデオセグメントを含む。

実施例２４では、実施例１〜２３のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、外科的処置の段階特有のシミュレーションの構成及び開始を含む。
実施例２５では、実施例１〜２４のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、制御設定の調整を含む。

実施例２６は、外科医入力インターフェイスを含む遠隔操作手術システム（TSS）を支援するための機械実装方法であって、外科医入力インターフェイスは、電気機械手術システムを有効にして外科的処置を行うための手術制御入力を受け取り、この方法は、ＴＳＳの監視されるイベントを含む手術入力を受信するステップと；手術入力に基づいて、外科的処置の現在の段階を決定するステップと；外科医支援のための要請を検出するステップと；外科医支援のための要請に応答して、外科医入力インターフェイスに対して状況に関連した支援を開始するステップと；を含み、状況に関連した支援は、外科的処置に段階同期される。
実施例２７では、実施例２６の主題は、オプションで、ＴＳＳの手術入力に基づいて、外科的処置を計算モデルとしてシミュレートすることを含む。

実施例２８では、実施例２７の主題はオプションで以下を含み、外科的処置をシミュレートするステップは、仮想手術環境におけるＴＳＳを計算モデルの一部として計算上表現するステップと；患者の身体的特徴に基づく患者、及び計算モデルにおいて計算上表現されたＴＳＳのモデル化された操作によって影響を受ける患者への変化を計算上表現するステップと；を含む。
実施例２９では、実施例２７〜２８のいずれか１つ又は複数の主題はオプションで以下を含み、シミュレーションは、ＴＳＳを介して実施される実際の外科的処置と並行して行われ、ＴＳＳへの手術制御入力は、計算モデルにおいて仮想効果を生じさせる。
実施例３０では、実施例２７〜２９のいずれか１つ又は複数の主題はオプションで以下を含み、手術入力は、計算モデルからのＴＳＳ制御入力のシミュレート後の効果を含む。

実施例３１では、実施例２７〜３０のいずれか１つ又は複数の主題は、オプションで、現在の段階の決定に基づいて、計算モデルを使用して外科的処置の特定の段階をシミュレートするステップを含む。
実施例３２では、実施例２６〜３１のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、ＴＳＳの電気機械手術システムを制御するＴＳＳ制御入力を含む。
実施例３３では、実施例２６〜３２のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、ＴＳＳの電気機械手術システムのシミュレーションを制御するＴＳＳ制御入力を含む。

実施例３４では、実施例２６〜３３のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、手術アシスタントによるＴＳＳ検出動作を含む。
実施例３５では、実施例２６〜３４のいずれか１つ又は複数の主題は、オプションで、正確なセグメント決定の確率を表す信頼度スコアを決定するステップを含む。
実施例３６では、実施例３５の主題はオプションで以下を含み、信頼度スコアは、ディープラーニング・アルゴリズムを訓練するための手術入力の対応するシーケンスの適合性を示す。

実施例３７では、実施例２６〜３６のいずれか１つ又は複数の主題はオプションで以下を含み、外科的処置の現在の段階を決定する際に、訓練されるニューラルネットワークが、外科的処置中に手術入力の一部を処理するために実装される。
実施例３８では、実施例３７の主題はオプションで以下を含み、外科的処置の現在の段階を決定する際に、クラスタ化アルゴリズムが、手術入力の一部を処理するために実施される。
実施例３９では、実施例３７〜３８のいずれか１つ又は複数の主題はオプションで以下を含み、訓練されるニューラルネットワークは、先行する複数の外科的処置からの先の手術入力に基づいて訓練される。

実施例４０では、実施例３７〜３９のいずれか１つ又は複数の主題はオプションで以下を含み、訓練されるニューラルネットワークは、先行してシミュレートされた複数の外科的処置からの先の手術入力に基づいて訓練される。
実施例４１では、実施例２６〜４０のいずれか１つ又は複数の主題は、オプションで、手術入力に基づいて、行われている現在の外科的タスクを決定するステップを含み、現在の外科的タスクは、規定された外科的効果を生じさせる一連のイベントを含み、外科的処置の現在の段階を決定するステップは、現在の外科的タスクにさらに基づく。
実施例４２では、実施例２６〜４１のいずれか１つ又は複数の主題は、オプションで、現在の段階を含む外科的処置の複数の異なる段階に対応する手術入力の複数の時間的及び空間的なメトリックを計算するステップと；手術制御入力を生じさせる外科医の外科的能力の質を表す手術段階特有の能力スコアを生成するステップと；を含む。

実施例４３では、実施例４２の主題は、オプションで、時間的及び空間的なメトリックと、外科的処置の専門的によって行われる段階に基づく基準メトリックとの間の比較を行うステップを含み、能力スコアは比較の結果に基づく。
実施例４４では、実施例４２〜４３のいずれか１つ又は複数の主題は、オプションで、正確なセグメント決定の確率を表す信頼度スコアにさらに基づいて、能力スコアを生成するステップを含む。
実施例４５では、実施例４２〜４４のいずれか１つ又は複数の主題はオプションで以下を含み、能力スコアは、外科的処置中ずっと更新されるランニングスコアである。

実施例４６では、実施例４２〜４５のいずれか１つ又は複数の主題はオプションで以下を含み、外科医支援のための要請は、能力スコアに基づく。
実施例４７では、実施例２６〜４６のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、実施されている外科的処置の段階特有部分のデモンストレーションを含む専門家ビデオセグメントを含む。
実施例４８では、実施例２６〜４７のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、外科的処置の段階特有のシミュレーションの構成及び開始を含む。
実施例４９では、実施例２６〜４８のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、制御設定の調整を含む。

実施例５０は、コンピュータ・プラットフォーム上で実行されると、コンピュータ・プラットフォームに、外科医入力インターフェィスを含む遠隔操作手術システム（TSS）をサポートするための専用機械を実装させる命令を含む少なくとも１つの非一時的な機械可読記憶媒体であり、外科医入力インターフェィスは、電気機械手術システムを有効にして外科的処置を行うための手術制御入力を受け取り、命令は、ＴＳＳの監視されるイベントを含む手術入力を受信するための命令と；手術入力に基づいて、外科的処置の現在の段階を決定するための命令と；外科医支援のための要請を検出するための命令と；外科医支援のための要請に応答して、外科医入力インターフェイスに対して状況に関連した支援を開始するための命令と；を含み、状況に関連した支援は、外科的処置に段階同期される。

実施例５１では、実施例５０の主題は、オプションで、ＴＳＳの手術入力に基づいて、外科的処置を計算モデルとしてシミュレートするための命令を含む。
実施例５２では、実施例５１の主題はオプションで以下を含み、外科的処置をシミュレートするための命令は、仮想手術環境におけるＴＳＳを計算モデルの一部として計算上表現するための命令と；患者の身体的特徴に基づく患者、及び計算モデルにおいて計算上表現されたＴＳＳのモデル化された操作によって影響を受ける患者への変化を計算上表現するための命令と；を含む。
実施例５３では、実施例５１〜５２のいずれか１つ又は複数の主題はオプションで以下を含み、シミュレーションは、ＴＳＳを介して実施される実際の外科的処置と並行して行われ、ＴＳＳへの手術制御入力は、計算モデルにおいて仮想効果を生じさせる。

実施例５４では、実施例５１〜５３のいずれか１つ又は複数の主題はオプションで以下を含み、手術入力は、計算モデルからのＴＳＳ制御入力のシミュレート後の効果を含む。
実施例５５では、実施例５１〜５４のいずれか１つ又は複数の主題は、オプションで、現在の段階の決定に基づいて、計算モデルを使用して外科的処置の特定の段階をシミュレートするための命令を含む。
実施例５６では、実施例５０〜５５のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、ＴＳＳの電気機械手術システムを制御するＴＳＳ制御入力を含む。

実施例５７では、実施例５０〜５６のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、ＴＳＳの電気機械手術システムのシミュレーションを制御するＴＳＳ制御入力を含む。
実施例５８では、実施例５０〜５７のいずれか１つ又は複数の主題はオプションで以下を含み、監視されるイベントは、手術アシスタントによるＴＳＳ検出動作を含む。
実施例５９では、実施例５０〜５８のいずれか１つ又は複数の主題は、オプションで、正確なセグメント決定の確率を表す信頼度スコアを決定するための命令を含む。

実施例６０では、実施例５９の主題はオプションで以下を含み、信頼度スコアは、ディープラーニング・アルゴリズムを訓練するための手術入力の対応するシーケンスの適合性を示す。
実施例６１では、実施例５０〜６０のいずれか１つ又は複数の主題はオプションで以下を含み、外科的処置の現在の段階を決定するための命令は、訓練されるニューラルネットワークに、外科的処置中に手術入力の一部を処理するように実施させる。
実施例６２では、実施例６１の主題はオプションで以下を含み、外科的処置の現在の段階を決定するための命令は、クラスタ化アルゴリズムに、手術入力の一部を処理するように実施させる。

実施例６３では、実施例６１〜６２のいずれか１つ又は複数の主題はオプションで以下を含み、訓練されるニューラルネットワークは、先行する複数の外科的処置からの先の手術入力に基づいて訓練される。
実施例６４では、実施例６１〜６３のいずれか１つ又は複数の主題はオプションで以下を含み、訓練されるニューラルネットワークは、先行してシミュレートされた複数の外科的処置からの先の手術入力に基づいて訓練される。
実施例６５では、実施例５０〜６４のいずれか１つ又は複数の主題は、オプションで、手術入力に基づいて、行われている現在の外科的タスクを決定するための命令を含み、現在の外科的タスクは、規定された外科的効果を生じさせる一連のイベントを含み、外科的処置の現在の段階を決定するための命令は、現在の外科的タスクの決定に基づく。

実施例６６では、実施例５０〜６５のいずれか１つ又は複数の主題は、オプションで、現在の段階を含む外科的処置の複数の異なる段階に対応する手術入力の複数の時間的及び空間的なメトリックを計算するための命令と；手術制御入力を生じさせる外科医の外科的能力の質を表す手術段階特有の能力スコアを生成するための命令と；を含む。
実施例６７では、実施例６６の主題は、オプションで、時間的及び空間的なメトリックと、外科的処置の専門家によって行われる段階に基づく基準メトリックとの間の比較を行うための命令を含み、能力スコアは比較の結果に基づく。
実施例６８では、実施例６６〜６７のいずれか１つ又は複数の主題は、オプションで、正確なセグメント決定の確率を表す信頼度スコアにさらに基づいて、能力スコアを生成するための命令を含む。

実施例６９では、実施例６６〜６８のいずれか１つ又は複数の主題はオプションで以下を含み、能力スコアは、外科的処置中ずっと更新されるランニングスコアである。
実施例７０では、実施例６６〜６９のいずれか１つ又は複数の主題はオプションで以下を含み、外科医支援のための要請は、能力スコアに基づく。
実施例７１では、実施例５０〜７０のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、実施されている外科的処置の段階特有部分のデモンストレーションを含む専門家ビデオセグメントを含む。

実施例７２では、実施例５０〜７１のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、外科的処置の段階特有のシミュレーションの構成及び開始を含む。
実施例７３では、実施例５０〜７２のいずれか１つ又は複数の主題はオプションで以下を含み、状況に関連した支援は、制御設定の調整を含む。

例示的な実施形態について図示し且つ説明してきたが、広範な修正、変更、及び置換が、前述した開示において企図されており、いくつかの例において、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに用いることができる。当業者は、多くの変形形態、代替形態、及び修正形態を認識するだろう。従って、本発明の範囲は、以下の特許請求の範囲によってのみ限定され、特許請求の範囲は、本明細書に開示された実施形態の範囲と一致する態様で及び広範に解釈することが適当である。

Claims (55)

1. 外科医入力インターフェイスを含む遠隔操作手術システム（ＴＳＳ）のための手術支援システムであって、前記外科医入力インターフェイスは、電気機械手術システムを有効にして外科的処置を行うための手術制御入力を受け取り、当該手術支援システムは、
   仮想手術環境エンジンと、アシストエンジンと、を有しており、
   前記仮想手術環境エンジンは、
   前記ＴＳＳの監視されるイベントを含む手術入力を受信する手術入力評価エンジンと、
   前記手術入力に基づいて、前記外科的処置の現在の段階を決定するセグメント化エンジンと、を実装するように動作可能に構成されたコンピュータ・ハードウェアを含み、
   前記アシストエンジンは、
   前記ＴＳＳの前記外科医入力インターフェイスに通信可能に結合されるＴＳＳインターフェイスと、
   外科医支援のための要請を検出する支援要請検出器と、
   前記外科医支援のための要請に応答して、前記ＴＳＳインターフェイスを介して状況に関連した支援を開始する支援レンダリング・エンジンと、を実装するように動作可能に構成されたコンピュータ・ハードウェアを含む、
   手術支援システム。
2. 前記ＴＳＳをさらに有する、請求項１に記載の手術支援システム。
3. 前記仮想手術環境エンジンは、前記ＴＳＳの前記手術入力に基づいて、外科的処置の計算モデルを処理するシミュレータ・エンジンを実装するようにさらに構成される、請求項１に記載の手術支援システム。
4. 前記シミュレータ・エンジンは、
   仮想手術環境における前記ＴＳＳを計算上表現するためのＴＳＳモデルと、
   患者の身体的特徴に基づく前記患者、及び前記ＴＳＳモデルの操作によって影響を受ける前記患者への変化を計算上表現するための患者モデルと、を含む、請求項３に記載の手術支援システム。
5. 前記シミュレータ・エンジンは、前記ＴＳＳを介して行われている実際の外科的処置と並行して動作するように構成され、前記ＴＳＳへの手術制御入力は、前記シミュレータ・エンジンの前記計算モデルに仮想効果を生じさせる、請求項３に記載の手術支援システム。
6. 前記手術入力評価エンジンによって受信された前記手術入力は、前記シミュレータ・エンジンの前記計算モデルからのＴＳＳ制御入力のシミュレートされた効果を含む、請求項３に記載の手術支援システム。
7. 前記シミュレータ・エンジンは、前記現在の段階の決定に基づいて、外科的処置の特定の段階をシミュレートするように構成され、該シミュレートを開始する、請求項３に記載の手術支援システム。
8. 前記監視されるイベントは、前記ＴＳＳの電気機械手術システムを制御するＴＳＳ制御入力を含む、請求項１に記載の手術支援システム。
9. 前記監視されるイベントは、前記ＴＳＳの電気機械手術システムのシミュレーションを制御するＴＳＳ制御入力を含む、請求項１に記載の手術支援システム。
10. 前記監視されるイベントは、手術アシスタントによるＴＳＳ検出動作を含む、請求項１に記載の手術支援システム。
11. 前記セグメント化エンジンは、正確なセグメント決定の確率を表す信頼度スコアを決定する信頼度測定エンジンを含む、請求項１に記載の手術支援システム。
12. 前記信頼度スコアは、前記セグメント化エンジンのディープラーニング・エンジンを訓練するための手術入力の対応するシーケンスの適合性を示す、請求項１１に記載の手術支援システム。
13. 前記セグメント化エンジンは、前記外科的処置中に前記手術入力の一部を処理する訓練されるニューラルネットワークを実装するように構成されたリアルタイム・セグメント評価器を含む、請求項１に記載の手術支援システム。
14. 前記セグメント化エンジンは、前記手術入力の一部を処理するクラスタ化アルゴリズムを実施するように構成された後処理セグメント評価器をさらに含む、請求項１３に記載の手術支援システム。
15. 前記訓練されるニューラルネットワークは、先行する複数の外科的処置からの先の手術入力に基づいて訓練される、請求項１３に記載の手術支援システム。
16. 前記訓練されるニューラルネットワークは、先行してシミュレートされた複数の外科的処置からの先の手術入力に基づいて訓練される、請求項１３に記載の手術支援システム。
17. 前記手術入力評価エンジンは、前記手術入力に基づいて、行われている現在の外科的タスクを決定するように構成されたタスク評価エンジンを含み、前記現在の外科的タスクは、規定された外科的効果を生じさせる一連のイベントを含み、
    前記セグメント化エンジンは、前記現在の外科的タスクにさらに基づいて、前記外科的処置の現在の段階を決定する、請求項１に記載の手術支援システム。
18. 外科的手法評価エンジンを実装するように動作可能に構成されたコンピュータ・ハードウェアを含む外科医評価エンジンをさらに有しており、前記外科的手法評価エンジンは、
    前記手術入力及び前記外科的処置の現在の段階にアクセスし、
    前記現在の段階を含む前記外科的処置の複数の異なる段階に対応する前記手術入力の複数の時間的及び空間的なメトリックを計算し、
    前記手術制御入力を生じさせる外科医の外科的能力の質を表す手術段階特有の能力スコアを生成する、ように構成される、請求項１に記載の手術支援システム。
19. 外科的手法評価器は、前記時間的及び空間的なメトリックと、前記外科的処置の専門家によって行われる段階に基づく基準メトリックとの間の比較を行うようにさらに構成され、
    前記能力スコアは前記比較の結果に基づく、請求項１８に記載の手術支援システム。
20. 外科的手法評価器は、
    前記セグメント化エンジンによる正確なセグメント決定の確率を表す信頼度スコアにアクセスし、
    前記信頼度スコアにさらに基づいて、前記能力スコアを生成するようにさらに構成される、請求項１８に記載の手術支援システム。
21. 前記能力スコアは、前記外科的処置中に更新されるランニングスコアである、請求項１８に記載の手術支援システム。
22. 前記支援要請検出器は、前記能力スコアに基づいて、外科医支援のための要請を検出するように構成される、請求項１８に記載の手術支援システム。
23. 前記状況に関連した支援は、実施されている外科的処置の段階特有部分のデモンストレーションを含む専門家ビデオセグメントを含む、請求項１に記載の手術支援システム。
24. 前記状況に関連した支援は、前記外科的処置の段階特有のシミュレーションの構成及び開始を含む、請求項１に記載の手術支援システム。
25. 前記状況に関連した支援は、制御設定の調整を含む、請求項１に記載の手術支援システム。
26. 前記状況に関連した支援は、前記外科的処置に段階同期される、請求項１に記載の手術支援システム。
27. 外科的手法評価エンジンを実装するように動作可能に構成されたコンピュータ・ハードウェアを含む外科医評価エンジンをさらに有しており、
    前記外科的手法評価エンジンは、
    カメラ制御入力にアクセスし、
    カメラ制御入力の複数の時間的及び空間的なメトリックを計算し、
    前記カメラ制御入力を生じさせる外科医のカメラ制御の質を表すカメラ能力スコアを生成するように構成される、請求項１に記載の手術支援システム。
28. 前記状況に関連した支援は、手術シーンの視覚ディスプレイの水平線の向きの変化、手術シーンの視覚ディスプレイ内に示される２次元領域の変化、及び手術シーンの視覚ディスプレイのズームレベルの変化のうちの少なくとも１つを含む、請求項１に記載の手術支援システム。
29. 外科医入力インターフェイスを含む遠隔操作手術システム（ＴＳＳ）をサポートするための機械実施方法であって、前記外科医入力インターフェイスは、電気機械手術システムを有効にして外科的処置を行うための手術制御入力を受け取り、当該方法は、
    前記ＴＳＳの監視されるイベントを含む手術入力を受信するステップと、
    前記手術入力に基づいて、前記外科的処置の現在の段階を決定するステップと、
    外科医支援のための要請を検出するステップと、
    前記外科医支援のための要請に応答して、前記外科医入力インターフェイスに対して状況に関連した支援を開始するステップと、を含み、
    前記状況に関連した支援は前記外科的処置に段階同期される、
    方法。
30. 前記ＴＳＳの前記手術入力に基づいて、前記外科的処置を計算モデルとしてシミュレートするステップをさらに含む、請求項２９に記載の方法。
31. 前記外科的処置をシミュレートするステップは、
    仮想手術環境における前記ＴＳＳを前記計算モデルの一部として計算上表現するステップと、
    患者の身体的特徴に基づく前記患者、及び計算モデルにおいて計算上表現された前記ＴＳＳのモデル化された操作によって影響を受ける患者への変化を計算上表現するステップと、を含む、請求項３０に記載の方法。
32. 前記シミュレートするステップは、前記ＴＳＳを介して実施される実際の外科的処置と並行して行われ、前記ＴＳＳへの手術制御入力は、前記計算モデルにおいて仮想効果を生じさせる、請求項３０に記載の方法。
33. 前記手術入力は、前記計算モデルからのＴＳＳ制御入力のシミュレートされた効果を含む、請求項３０に記載の方法。
34. 前記現在の段階の決定に基づいて、前記計算モデルを使用して前記外科的処置の特定の段階をシミュレートするステップをさらに含む、請求項３０に記載の方法。
35. 前記監視されるイベントは、前記ＴＳＳの電気機械手術システムを制御するＴＳＳ制御入力を含む、請求項２９に記載の方法。
36. 前記監視されるイベントは、前記ＴＳＳの電気機械手術システムのシミュレーションを制御するＴＳＳ制御入力を含む、請求項２９に記載の方法。
37. 前記監視されるイベントは、手術アシスタントによるＴＳＳ検出動作を含む、請求項２９に記載の方法。
38. 正確なセグメント決定の確率を表す信頼度スコアを決定するステップをさらに含む、請求項２９に記載の方法。
39. 前記信頼度スコアは、ディープラーニング・アルゴリズムを訓練するための手術入力の対応するシーケンスの適合性を示す、請求項３８に記載の方法。
40. 前記外科的処置の前記現在の段階を決定する際に、訓練されるニューラルネットワークが、前記外科的処置中に前記手術入力の一部を処理するように実装される、請求項２９に記載の方法。
41. 前記外科的処置の前記現在の段階を決定する際に、クラスタ化アルゴリズムが、前記手術入力の一部を処理するために実施される、請求項４０に記載の方法。
42. 前記訓練されるニューラルネットワークは、先行する複数の外科的処置からの先の手術入力に基づいて訓練される、請求項４０に記載の方法。
43. 前記訓練されるニューラルネットワークは、先行してシミュレートされた複数の外科的処置からの先の手術入力に基づいて訓練される、請求項４０に記載の方法。
44. 前記手術入力に基づいて、行われている現在の外科的タスクを決定するステップであって、前記現在の外科的タスクは、規定された外科的効果を生じさせる一連のイベントを含む、決定するステップをさらに含み、
    前記外科的処置の現在の段階を決定するステップは、前記現在の外科的タスクにさらに基づく、請求項２９に記載の方法。
45. 前記現在の段階を含む前記外科的処置の複数の異なる段階に対応する前記手術入力の複数の時間的及び空間的なメトリックを計算するステップと、
    前記手術制御入力を生じさせる外科医の外科的能力の質を表す手術段階特有の能力スコアを生成するステップと、をさらに含む、請求項２９に記載の方法。
46. 前記時間的及び空間的なメトリックと、前記外科的処置の専門家によって行われる段階に基づく基準メトリックとの間の比較を行うステップをさらに含み、
    前記能力スコアは前記比較の結果に基づく、請求項４５に記載の方法。
47. 正確なセグメント決定の確率を表す信頼度スコアにさらに基づいて、前記能力スコアを生成するステップをさらに含む、請求項４５に記載の方法。
48. 前記能力スコアは、前記外科的処置中に更新されるランニングスコアである、請求項４５に記載の方法。
49. 前記外科医支援のための要請は、前記能力スコアに基づく、請求項４５に記載の方法。
50. 前記状況に関連した支援は、実施されている前記外科的処置の段階特有部分のデモンストレーションを含む専門家ビデオセグメントを含む、請求項２９に記載の方法。
51. 前記状況に関連した支援は、前記外科的処置の段階特有のシミュレーションの構成及び開始を含む、請求項２９に記載の方法。
52. 前記状況に関連した支援は、制御設定の調整を含む、請求項２９に記載の方法。
53. 前記状況に関連した支援は、前記外科的処置に段階同期される、請求項２９に記載の方法。
54. カメラ制御入力の複数の時間的及び空間的なメトリックを計算するステップと、
    前記カメラ制御入力を生じさせる外科医のカメラ制御の質を表すカメラ能力スコアを生成するステップと、をさらに含む、請求項２９に記載の方法。
55. 前記状況に関連した支援は、手術シーンの視覚ディスプレイの水平線の向きの変化、手術シーンの視覚ディスプレイ内に示される２次元領域の変化、及び前記手術シーンの視覚ディスプレイのズームレベルの変化のうちの少なくとも１つを含む、請求項２９に記載の方法。
    
    

Images