JP2020512116A - マーカーレスロボット追跡システム、制御装置、及び方法 - Google Patents

Abstract

一次回転軸の周りで回転可能な一次回転関節２２と二次回転軸の周りで回転可能な二次回転関節２２とを含む手術ＲＣＭロボット２０を使用するマーカーレスロボット追跡システム１０である。複数の固有標識セットは、一次回転軸に対して固定された配向における標識３０、及び、二次回転軸に対して固定された配向における追加的な標識３０を含む各固有標識セットを含むロボット２０に統合されている。システム１０は、カメラ座標系４３、５３において複数の固有標識セットの部分セットを可視化するための光学カメラ４１、５１と、カメラ座標系４３、５３における標識の部分セットの光学カメラ４１、５１による可視化から導出されたカメラ座標系４３、５３における手術ＲＣＭロボット２０のロボットポーズを推定するためのロボット追跡制御装置７０とをさらに含む。

Description

本開示の本発明は、一般に、カメラ座標系における手術ロボットのポーズの追跡（例えば、光学位置測定システムの座標系における光学マーカーの追跡、又は、電磁位置測定システムの座標系における電磁センサーの追跡）を目的として手術ロボットに装着された追跡可能マーカーを使用したシステム、制御装置、及び方法に関する。

本開示の本発明は、より詳細には、位置測定システム（例えば、光学位置測定システム又は単眼位置測定システム）の座標系における手術ロボットのポーズを推定することを目的として追跡可能標識を手術ロボットに統合することにより、このようなシステム、制御装置、及び方法を改善することに関する。

画像支援工程のうちの大部分において、レジストレーション後、追跡される手術器具が、以前に獲得された医療画像と同時表示される。患者座標系に対する器具位置のこのような表示による可視化は、様々な臨床工程、特に、決定的な解剖学的構造に対する手術器具の位置の術中確認を伴う工程に対して有益なことが示されている。

手術器具（例えば、組織切除デバイス、超音波トランスデューサー、針など）の追跡は、外部位置測定システム（例えば、光学位置測定システム、電磁位置測定システムなど）により有効化される。ロボット手術ツールの場合、電磁センサーを使用した追跡は、手術室内に存在するだけでなく、手術ロボットシステム（例えば、ステンレス鋼器具及びロボットアーム、電気モーターなど）においても一般的に使用される強磁性材料に、電磁追跡の正確さが影響を受けやすいという観点から、実際的ではないことが実証されている。

他方、光学的追跡の高い精度と統合の簡単さとの両方が、光学的追跡技術を技術コミュニティ内において非常に一般的なものとしてきた。最も一般的な方法は、ロボットのアームに装着された外部マーカーを使用することである。例えば、赤外線光学的追跡システムと組み合わされた逆反射マーカーが、ロボットアームの運動を検出するために、及び、ロボットのデカルト位置誤差を低減するために使用されてきた。逆反射マーカーを使用した光学的追跡が、また、低侵襲ロボット支援型椎弓根ねじ配置及び脊椎固定のために研究されており、光学マーカーは、ロボットエンドエフェクタと患者の椎骨との両方に搭載され、ナビゲーションのために後で使用される。別の患者・ロボットレジストレーション（ｐａｔｉｅｎｔ−ｔｏ−ｒｏｂｏｔ ｒｅｇｉｓｔｒａｔｉｏｎ）方法が、説明されているロボットシステムに組み込まれており、この方法は、点ベースの整合を使用した粗いレジストレーション、及び、表面整合に基づく微細なアラインメントを伴う。

カメラ座標系における手術ＲＣＭロボットのポーズを追跡するためのマーカーベースの追跡システム、制御装置、及び方法を改善するために、本開示は、手術ＲＣＭロボットに統合された固有標識セットのカメラ座標系における可視化に基づいて位置測定システムの座標系における手術ＲＣＭロボットのポーズを推定するための発明を提供する。

本開示の本発明の一実施形態において、マーカーレスロボット追跡システムは、ロボット座標系における複数のポーズ間で遷移可能な手術ＲＣＭロボットを備える。

手術ＲＣＭロボットは、一次回転軸の周りで回転可能な一次回転関節と、二次回転軸の周りで回転可能な二次回転関節とを含む。

複数の固有標識セットが手術ＲＣＭロボットに統合されている。各固有標識セットは、一次回転軸に対して固定された配向における１つ又は複数の標識を含み、二次回転軸に対して固定された配向における追加的な１つ又は複数の標識をさらに含む。

システムは、光学カメラと、手術ＲＣＭロボットを追跡するためのロボット追跡制御装置とをさらに使用する。

動作中、光学カメラは、カメラ座標系における標識の部分セット又は標識のすべてを可視化する。標識の部分セットは、固有標識セットのうちの１つ又は複数からの２つ以上の標識を含む。

ロボット追跡制御装置は、カメラ座標系における標識の部分セットの光学カメラによる可視化に応答して、カメラ座標系における手術ＲＣＭロボットのロボットポーズの推定を制御する。

カメラ座標系における手術ＲＣＭロボットのロボットポーズの推定は、ロボット座標系とカメラ座標系との間における並進アラインメント及び／又は回転配向のロボット追跡制御装置による推定を伴う。

本開示の本発明の第２の実施形態は、カメラ座標系における標識の部分セットの光学カメラによる可視化に応答して、カメラ座標系における手術ＲＣＭロボットのロボットポーズの推定を制御するための、及び、カメラ座標系における手術ＲＣＭロボットのロボットポーズの推定の情報提示をする手術ＲＣＭロボットポーズデータをさらに生成するための、ロボットポーズ制御装置を備えるマーカーレスロボット追跡デバイスである。

手術ＲＣＭロボットポーズデータは、限定されないが、患者の介入型画像（例えば、ＣＴ画像、ＭＲＩ画像、Ｘ線像、超音波画像など）内において関係する画像座標系への、カメラ座標系における手術ＲＣＭロボットのロボットポーズの変換といった、介入型工程の任意の目的のために処理され、結果として、ロボット器具（例えば、針、椎弓根ねじなど）が患者の介入型画像内に重ねられる、及び／又は、結果として、ロボット器具（例えば、内視鏡など）により生成された画像が患者の介入型画像に融合される。

本開示の本発明の第３の実施形態は、手術ＲＣＭロボットを追跡するためのマーカーレスロボット追跡方法である。

マーカーレスロボット追跡方法は、手術ＲＣＭロボットが、ロボット座標系における複数のロボットポーズ間において選択的に遷移させられることと、光学カメラが、カメラ座標系における標識の部分セット又は標識のすべてを可視化することと、ロボット追跡制御装置が、カメラ座標系における標識の部分セット又は標識のすべての光学カメラによる可視化から導出されたカメラ座標系における手術ＲＣＭロボットのロボットポーズの推定を制御することとを有する。

本開示の本発明を説明すること、及び、本開示の本発明をクレームすることを目的として、以下のことが言える。

（１）「標識」、「座標系」、「ポーズ」、「アーム」、「アーク」、「回転関節」、「立体カメラ」、「単眼カメラ」、「並進ベクトル」及び「回転配向」が挙げられるがこれらに限定されない本開示の当技術分野の用語は、本開示の技術分野において知られるように、及び、本開示において説明される例示であると理解される。

（２）「手術ＲＣＭロボット」という用語は、本開示の技術分野において知られているように、及び、以下において考えられているように、遠隔運動中心（ＲＣＭ）において交差する回転軸をもつ２つ以上の回転関節を含んで構造的に配置された、すべての手術ロボットを広く包含する。

（３）「固有標識セット」という用語は、本開示において例示的に説明されるように、他の標識セットの記述子と区別される共通の記述子を含む標識セットを広く包含する。記述子の例として標識に対する寸法及び幾何学的構成が挙げられるがこれらに限定されない。

（４）「位置測定システム」という用語は、本開示の技術分野において知られているように、及び、以下において考えられているように、手術ＲＣＭロボットの特徴を可視化する光学カメラといった、すべてのシステムを広く包含する。位置測定システムの例として、光学位置測定システム（例えば、ＮＤＩ Ｐｏｌａｒｉｓ Ｓｐｅｃｔｒａ）及び単眼位置測定システム（例えば、ＭｉｃｒｏｎＴｒａｃｋｅｒ、及びＣｌａｒｏＮａｖ）が挙げられるがこれらに限定されない。光学カメラの例として立体カメラ及び単眼カメラが挙げられるがこれらに限定されない。

（５）「マーカーレスロボット追跡システム」という用語は、本開示の技術分野において知られているように、及び、以下において考えられているように、本開示において例示的に説明されるように、手術ＲＣＭロボットに統合された固有標識セットのカメラ座標系における可視化に基づいて位置測定システムの座標系における手術ＲＣＭロボットのポーズを推定するための本開示の本発明の原理を組み込んだ、すべてのロボット追跡システムを広く包含する。知られたロボット追跡システムの例として、深度センサーを含むカメラベースのシステム（例えばＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）、飛行時間センサー（例えば、Ｓｗｉｓｓｒａｎｇｅｒ ＳＲ４０００）が挙げられるがこれらに限定されない。

（６）「マーカーレスロボット追跡方法」という用語は、本開示の技術分野において知られている、及び、以下において考えられているように、本開示において例示的に説明されるように、手術ＲＣＭロボットに統合された固有標識セットのカメラ座標系における可視化に基づいて位置測定システムの座標系における手術ＲＣＭロボットのポーズを推定するための本開示の本発明の原理を組み込んだ、すべてのロボット追跡方法を広く包含する。知られたロボット追跡方法の例として、単一のカメラ、及び、複数ビュー再構成、飛行時間カメラ、深度センサーを含むカメラ（例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）、及び、（例えば、畳み込みニューラルネットワークを使用した）シーン学習方法を使用するすべての種類のカメラベースの追跡方法が挙げられるがこれらに限定されない。

（７）「制御装置」という用語は、本開示において例示的に説明されるように、手術ＲＣＭロボットに統合された固有標識セットのカメラ座標系における可視化に基づいて位置測定システムの座標系における手術ＲＣＭロボットのポーズを推定することに関係した本開示の様々な発明の原理の適用を制御するための、特定用途向けメインボード又は特定用途向け集積回路のすべての構造上の構成を広く包含する。制御装置の構造上の構成として、プロセッサ、コンピュータ可用／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺デバイス制御装置、インターフェース、バス、スロット、及びポートが挙げられるがこれらに限定されない。「制御装置」という用語に対して本明細書において使用される「ロボット作動」及び「ロボット追跡」という名称は、「制御装置」という用語にいかなる追加的な限定も記載及び示唆することなく、本明細書において説明及び主張される特定の制御装置を他の制御装置から識別を目的として区別する。

（８）「アプリケーションモジュール」という用語は、特定の用途を実行するための電子回路及び／又は実行可能プログラム（例えば、非一時的なコンピュータ可読媒体に記憶された実行可能ソフトウェア及び／又はファームウェア）からなる制御装置のコンポーネントを広く包含する。「アプリケーションモジュール」という用語に対して本明細書において使用される「並進ベクトル推定器」、「回転配向推定器」及び「ロボットポーズ推定器」という名称は、「アプリケーションモジュール」という用語にいかなる追加的な限定も記載及び示唆することなく本明細書において説明及び主張される特定のアプリケーションモジュールを他のアプリケーションモジュールから識別を目的として区別する。

（９）「データ」及び「コマンド」という用語は、本開示において後で説明される本開示の様々な発明の原理を適用することを支援する情報及び／又は命令を通信するための、本開示の技術分野において理解される、及び本開示において例示的に説明されるすべての形態の検出可能な物理量又はインパルス（例えば、電圧、電流、又は磁場強度）を広く包含する。本開示のコンポーネント間のデータ／コマンド通信は、本開示の技術分野において知られているように、及び、以下において考えられているように、任意の種類の有線又は無線媒体／データリンクにわたるデータ／コマンド送信／受信、及び、コンピュータ可用／コンピュータ可読記憶媒体にアップロードされたデータ／コマンドの読み出しを挙げられるがこれらに限定されない、任意の通信方法を伴ってよい。

本開示の本発明の前述の実施形態及び他の実施形態、及び、本開示の本発明の様々な特徴及び利点は、添付図面とともに読まれる本開示の本発明の様々な実施形態の以下の詳細な記述からさらに明らかになる。詳細な記述及び図面は、限定ではなく本開示の本発明の例示にすぎず、本開示の本発明の範囲は添付の請求項及びその同等なものにより規定される。

本開示の本発明の原理によるマーカーレスロボット追跡システムの例示的な実施形態を示す図である。 本開示の本発明の原理による手術ＲＣＭロボットの例示的な実施形態を示す図である。 本開示の本発明の原理による図１に示されるマーカーレスロボット追跡システムの例示的な実施形態を示す図である。 本開示の本発明の原理によるＲＣＭロボットの回転関節の例示的な回転を示す図である。 本開示の本発明の原理によるＲＣＭロボットの回転関節の例示的な回転を示す図である。 本開示の本発明の原理によるＲＣＭロボットの回転関節の例示的な回転を示す図である。

カメラ座標系における手術ロボットのポーズを追跡するためのマーカーベースの追跡システム、制御装置、及び方法の改善として本開示は、手術ＲＣＭロボットに統合された固有標識セットのカメラ座標系における可視化に基づいてカメラ座標系における手術ＲＣＭロボットのポーズを推定するための発明を提供する。

本開示の様々な発明の理解を促進するために、図１〜図２Ｃの以下の説明は、本開示の本発明の原理によるマーカーレスロボット追跡システム１０及び標識式手術ＲＣＭロボット２０の実施形態を教示する。本説明から、当業者は、本開示の本発明の原理によるマーカーレス追跡システム及び標識式手術ＲＣＭロボットの様々な、及び多くの実施形態をどのように実施するかを理解する。

さらに本説明から、当業者は、本開示の標識式手術ＲＣＭロボットを使用した多くの、及び様々な種類の画像支援介入における本開示のマーカーレス追跡システムの組み込みを理解する。このような画像支援介入の例として、低侵襲腹腔鏡手術（例えば、前立腺切除、脾摘出、腎摘出、肝切除、肺葉切除など）及び、脊椎の低侵襲手術（例えば、椎弓根ねじ配置、減圧、脊椎固定など）が挙げられるがこれらに限定されない。

図１を参照すると、本開示のマーカーレスロボット追跡システム１０は、手術ＲＣＭロボット２０を使用する。

手術ＲＣＭロボット２０は、本開示の技術分野において知られる回転関節２２の回転軸の交点により確立された遠隔運動中心（ＲＣＭ）を規定するための２つ以上のアーム／アーク２１、及び、１つ以上の回転関節２２の構造的配置を含む。

本開示の本発明の原理によると、標識３０の２つ以上の固有セットが、本開示においてさらに説明されるように、カメラ座標系における手術ＲＣＭロボット２０のポーズを推定することを目的として示されるように、アーム／アーク２１、及び／又は、好ましくは回転関節２２に統合される。

実際には、本開示においてさらに説明されるように、各固有標識セットは、共通の記述子（例えば、同じ寸法及び同じ幾何学的構成）を含む同一の標識を含み、固有標識セット内の共通の記述子は、固有標識セット間において視覚的区別を円滑化する程度に異なる。

さらに実際には、本開示においてさらに説明されるように、アーム／アーク２１、及び／又は、好ましくは回転関節２２への各固有標識セット３０の統合は、光学カメラによる特定の固有セットの各標識３０の特異的な可視化を目的として、回転関節２２の回転軸に対する特定の固有セットの各標識３０の固定された配向の固有位置を規定する。

さらに実際には、標識３０の構造上の構成及び物質組成は、手術ＲＣＭロボット２０、及び、マーカーレスロボット追跡システム１０により使用される特定の種類の位置測定システムの特定の実施形態の構造上の構成に依存する。

第１の実施形態において、標識３０は、本開示の技術分野において知られる光学カメラ（例えば、立体カメラ）の見通し線を使用して検出可能な外部逆反射物体である。このような逆反射物体の例として、本開示の技術分野において知られる逆反射ホイルから物質的に構成されたプリズム（例えば、逆反射ホイルから物質的に構成された球）が挙げられるがこれらに限定されない。

第２の実施形態において、標識３０は、本開示の技術分野において知られるコンピュータビジョンアルゴリズムを使用したカメラ（例えば、単眼カメラ）のカメラ画像内において検出可能なアーク２１又は回転関節２２の外部的幾何学的構造物である。このような外部特徴の例として、線（例えば、非破線又は破線、直線又は曲線）及び閉じた形状（例えば、円、楕円、六角形など）が挙げられるがこれらに限定されない。

図２Ａは、回転軸ＲＡ１の周りで回転可能な一次回転関節１２１と、回転軸ＲＡ２の周りで回転可能な二次回転関節１２２と、アーム１２３と、支持アーク１２４と、示される回転軸ＥＡをもつ金属内視鏡２００又は任意の他のロボット器具（例えば、針、椎弓根ねじなど）を保持するためのガイドを提供するエンドエフェクタ１２６を含む器具アーク１２５とを使用した例示的な手術ＲＣＭロボット１２０を示す。支持アーク１２４は、回転関節１２１及び回転関節１２２に同心に接続されており、器具アーク１２５は、回転関節１２２に同心に接続されている。より具体的には、
１．回転軸ＲＡ１、ＲＡＤ、及びＥＡが、手術ＲＣＭロボット１２０の遠隔運動中心１２７において交差し、
２．支持アーク１２４のθ_Ｂのベースアーク長が、回転軸ＲＡ１と回転軸ＲＡ２の間に延びており、
３．器具アーク１２５の延伸アーク長θ_Ｅ１が、回転軸ＲＡ１と回転軸ＥＡとの間に延びており、
４．一次回転関節１２１のモーター駆動式アクチュエータが、作業空間３７ａ内における内視鏡２００の遠位焦点先端部２０２の広い動きを制御するように所望のφ_１度に対して回転軸ＲＡ１の周りでアーク１２４とアーク１２５とを共に回転させるように動作させられ、
５．二次回転関節１２２のモーター駆動式アクチュエータが、内視鏡２００の遠位焦点先端部２０２の対象とされる動きを制御するように所望のφ_２度に対して回転軸ＲＡ２の周りで器具アーク１２５を回転させるように動作させられ、
６．エンドエフェクタ１２６が、手動により、又は制御されて、その回転軸ＥＡの周りで内視鏡２００を回転させる能力をもち、
７．ＲＣＭ長Ｌ_ＲＣＭが、ＲＣＭ１２７と遠位焦点先端部２０２との間の距離であり、
８．焦点距離（図示されていない）が、内視鏡２００の接眼部材２０１から視認可能な遠位焦点先端部２０２から延びた内視鏡２００の視野の長さである。

実際には、本開示の当業者は、手術ＲＣＭロボット１２０により案内される他の器具を理解する。

本開示の本発明の原理によると、象徴的に示される固有標識セット１３０は、本開示においてさらに説明されるように、カメラ座標系における手術ＲＣＭロボット１２０のポーズを推定することを目的として、回転軸に対して固定された配向において回転関節１２１及び回転関節１２２に統合されている。同時に、又は代替的に、標識は、回転軸に対して固定された配向においてアーク１２４及び１２５に統合される。

例えば、図２Ｂに示されるように、固有非破線標識セット１３１、及び、１８０°逆側の別の非破線標識（図示されていない）、及び、固有破線標識セット１３２及び１３３は、回転関節１２１の回転軸ＲＡ１の周りに固定された配向で均等に空間的に配置されている。これらの標識は、逆反射ホイルから物質的に構成されている、又は、逆反射ホイルから物質的に構成されていない。本例の場合、同じ固有標識セットが回転関節１２２にも統合され、及び／又は、異なる固有標識セットが回転関節１２２に統合される。

さらなる例により、図２Ｃに示されるように、固有ダイヤモンド標識セット１３４及び１８０°逆側のダイヤモンド標識ペア（図示されていない）、及び、固有台形標識ペアセット１３５が、回転関節１２２の回転軸ＲＡ２の周りに固定された配向で均等に空間的に配置されている。これらの標識は、逆反射ホイルから物質的に構成されている、又は、逆反射ホイルから物質的に構成されていない。本例の場合、同じ固有標識セットが回転関節１２１にも統合され、及び／又は、異なる固有標識セットが回転関節１２１に統合される。

図２Ｂ及び図２Ｃは、手術ＲＣＭロボットにおける固有標識セットの統合の多くの、及び多様な実施形態の非限定的な例である。

実際には、マーカーレスロボット追跡システム１０は、本開示の技術分野において知られているように、グローバル座標系において手術ＲＣＭロボット１２０を回転及び／又は並進移動させるためのリンク及び関節を含む作動可能プラットフォーム（明確となるように図示されていない）をさらに使用する。

図１を再度参照すると、本開示のマーカーレスロボット追跡システム１０は、立体位置測定システム４０及び単眼位置測定システム５０を含む１つ又は複数の光学位置測定システムをさらに使用する。

立体位置測定システム４０は、本開示の技術分野において知られているように見通し線４２に対して校正されたカメラ座標系４３において標識３０を可視化するための見通し線４２をもつ立体カメラ４１を含む。実際には、本開示においてさらに説明されるように、手術ＲＣＭロボット２０が立体カメラ４１に対して複数のポーズ間を遷移させられるとき、任意の瞬間において、１つ又は複数の標識３０が立体カメラ４１の見通し線４２内において視認可能となる。

立体位置測定システム４０は、立体カメラ４１の動作を制御するための立体カメラ制御装置４４をさらに含むことにより、制御装置４４が、本開示の技術分野において知られているように一時的に立体カメラ４１により可視化された各標識３０のカメラ座標系４３における三次元（「３Ｄ」）位置（すなわち、位置及び配向）の推定の情報提示をする標識位置データ４５を生成する。

単眼位置測定システム５０は、本開示の技術分野において知られているように見通し線５２に対して校正されたカメラ座標系５３における標識３０を可視化するための見通し線５２をもつ単眼カメラ５１を含む。実際には本開示においてさらに説明されるように、手術ＲＣＭロボット２０が単眼カメラ５１に対して複数のポーズ間を遷移させられるとき、任意の瞬間において、１つ又は複数の標識３０が単眼カメラ５１の見通し線５２内において視認可能となる。

単眼位置測定システム５０は、単眼カメラ５１の動作を制御するための単眼カメラ制御装置５４をさらに含むことにより、制御装置５４は、本開示の技術分野において知られているように一時的に単眼カメラ５１により可視化された各標識３０のカメラ座標系５３における三次元（「３Ｄ」）位置（すなわち、位置及び配向）の推定の情報提示をする標識位置データ５５を生成する。

さらに図１を参照すると、本開示のマーカーレスロボット追跡システム１０は、ロボットポーズ制御装置６０とロボット追跡制御装置７０とをさらに使用する。

ロボットポーズ制御装置６０は、回転関節作動コマンド６３を１つ又は複数の回転関節２２に通信することにより、画像支援介入により指定された程度にその回転軸に対して回転関節２２を回転させるように、本開示の技術分野において知られているように構造的に構成されている。ロボットポーズ制御装置６０は、画像支援介入を実施するためにモジュール（図示されていない）を使用するか、又は、本開示の技術分野において知られているように画像支援式制御装置（図示されていない）からコマンドを受信する。

ロボットポーズ制御装置６０は、本開示の技術分野において知られるように、エンコーダ又は他の位置センサーを介してその回転軸に対する各回転関節２２の回転位置の情報提示をする回転関節位置データ２３を受信するように、本開示の技術分野において知られているようにさらに構造的に構成されている。ロボットポーズ制御装置６０は、ロボット座標系１２０における手術ＲＣＭロボット２０のポーズの情報提示をする手術ロボットポーズデータ６２を生成するように、ロボット座標系６１に対して回転関節位置データ２３を処理する。

ロボット追跡制御装置７０は、カメラ座標系（例えば、立体位置測定システム４０のカメラ座標系４３、又は、単眼位置測定システム５０のカメラ座標系５３）における手術ＲＣＭロボット２０のポーズ２５を推定するように本開示の本発明の原理により構造的に構成されている。

実際には、ロボット追跡制御装置７０は、標識位置データ（例えば、立体位置測定システム４０の標識位置データ４５、又は、単眼位置測定システム５０の標識位置データ５５）、及び、手術ロボットポーズデータ６２を解釈して、カメラ座標系における手術ＲＣＭロボット２０のポーズ２５を推定する。

実際には、ロボット追跡制御装置７０は、本ロボットの技術分野において知られる任意の技術を実施し、これにより、ロボット追跡制御装置７０は、標識位置データ及び手術ロボットポーズデータ６２を解釈して、カメラ座標系とロボット座標系６１との間における変換アラインメントを把握することにより、ロボット座標系６１における手術ＲＣＭロボット２０のポーズ２４をカメラ座標系における手術ＲＣＭロボット２０の推定されたポーズ２５に変換する。

一実施形態において、ロボット追跡制御装置７０は、標識位置データ及び手術ロボットポーズデータ６２を解釈して、ロボット座標系６１における手術ＲＣＭロボット２０のポーズ２４をカメラ座標系における手術ＲＣＭロボット２０の推定されたポーズ２５に変換するための変数として、並進ベクトル及び／又は回転行列をもたらす。

並進ベクトルは、本開示においてさらに説明されるようにロボット座標系６２及びカメラ座標系の原点間における並進アラインメントを規定する。

回転行列は、本開示においてさらに説明されるように、ロボット座標系６２及びカメラ座標系の軸の回転配向を規定する。

１つの立体実施形態では、ロボット追跡制御装置７０は、ポーズ特定７１を実施する。ロボット座標系６１における手術ＲＣＭロボット２０のポーズ２４をカメラ座標系４３における手術ＲＣＭロボット２０の推定されたポーズ２５に変換するための変数として並進ベクトル及び回転行列をもたらす標識位置データ４５及び手術ロボットポーズデータ６２の解釈を伴う。ロボット追跡制御装置７０は、カメラ座標系４３における手術ＲＣＭロボット２０の推定されたポーズ２５の情報提示をする推定された手術ロボットポーズデータ７２ａを生成し、画像支援介入又は任意の他の適用可能介入に従ってロボットポーズ制御装置６０により手術ＲＣＭロボット２０の選択的作動を制御するために、推定された手術ロボットポーズデータ７２を使用するために、ロボットポーズ制御装置６０又は任意の他の制御装置（図示されていない）に推定された手術ロボットポーズデータ７２を通信する。

単眼実施形態では、ロボット追跡制御装置７０は、ロボット座標系６１における手術ＲＣＭロボット２０のポーズ２４をカメラ座標系５３における手術ＲＣＭロボット２０の推定されたポーズ２５に変換するための変数として並進ベクトル及び回転行列をもたらす標識位置データ４５及び手術ロボットポーズデータ６２の解釈を伴うポーズ特定７２を実施する。ロボット追跡制御装置７０は、カメラ座標系５３における手術ＲＣＭロボット２０の推定されたポーズ２５の情報提示をする推定された手術ロボットポーズデータ７２ｂを生成し、推定された手術ロボットポーズデータ７２を使用するために、画像支援介入又は任意の他の適用可能介入に従ってロボットポーズ制御装置６０により手術ＲＣＭロボット２０の選択的作動を制御するために、ロボットポーズ制御装置６０又は任意の他の制御装置（図示されていない）に推定された手術ロボットポーズデータ７２を通信する。

本開示の様々な発明のより深い理解を促進するために、図３〜図６の以下の説明が、本開示の本発明の原理による標識型手術ロボット１２０（図２Ａ）を使用したマーカーレスロボット追跡システム１１０の実施形態を教示する。本説明から、当業者は、本開示の本発明の原理によるマーカーレス追跡システム及び標識式手術ＲＣＭロボットの様々な、及び多くの実施形態をどのように実施するかをさらに理解する。

図３を参照すると、マーカーレスロボット追跡システム１１０はテーブル１８１に装着されたアクティブアーム１８０を使用し、それにより、手術ＲＣＭロボット１２０（図２Ａ）はグローバル座標系（図示されていない）においてテーブル１８１に対して回転及び／又は並進移動させられる。この目的を達成するために、アクティブアーム１８０は、本開示の技術分野において知られている並進関節１８２、回転関節１８３、及び並進関節１８４を含む。

マーカーレスロボット追跡システム１１０は、カメラ座標系１４１に対して校正された見通し線（図示されていない）をもつ立体カメラ１４０、及び／又はカメラ座標系１５１に対して校正された見通し線（図示されていない）をもつ単眼カメラ１５０をさらに使用する。

マーカーレスロボット追跡システム１１０は、ワークステーション１９０と、ロボットポーズ制御装置１６０、カメラ制御装置１６１、及びロボット追跡制御装置１７０を含むマーカーレスロボット追跡デバイス１１１とをさらに使用する。

ワークステーション１９０は、本開示の技術分野において知られているモニター１９１、キーボード１９２、及びコンピュータ１９３の知られた構成物を含む。

ロボットポーズ制御装置１６０、カメラ制御装置１６１、及びロボット追跡制御装置１７０は、コンピュータ１９３内に搭載されており、各制御装置は、１つ又は複数のシステムバスを介して相互接続されたプロセッサ、メモリ、ユーザーインターフェース、ネットワークインターフェース、及び、記憶装置を含む。

プロセッサは、本開示の技術分野において知られているように、又は、以下において考えられているように、メモリ又は記憶装置に記憶された命令を実行可能であるか、又はデータを別様に処理する任意のハードウェアデバイスである。非限定的な例において、プロセッサとして、マイクロプロセッサ、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他の同様のデバイスが挙げられる。

メモリは、本開示の技術分野において知られているように、又は、以下において考えられているように、Ｌ１、Ｌ２又はＬ３キャッシュ、又は、システムメモリを挙げられるがこれらに限定されない、様々なメモリを含む。非限定的な例において、メモリとして、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、又は他の同様のメモリデバイスを含む。

ユーザーインターフェースは、本開示の技術分野において知られているように、又は、以下において考えられているように、管理者などのユーザーとの通信を可能にするための１つ又は複数のデバイスを含む。非限定的な例において、ユーザーインターフェースは、ネットワークインターフェースを介して遠隔端末に提示されるコマンドラインインターフェース又はグラフィカルユーザーインターフェースを含む。

ネットワークインターフェースは、本開示の技術分野において知られているように、又は、以下において考えられているように、他のハードウェアデバイスとの通信を可能にするための１つ又は複数のデバイスを含む。非限定的な例において、ネットワークインターフェースは、Ｅｔｈｅｒｎｅｔプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含む。さらに、ネットワークインターフェースは、ＴＣＰ／ＩＰプロトコルに従った通信のためのＴＣＰ／ＩＰスタックを実装する。ネットワークインターフェースのための様々な代替的な、又は追加的なハードウェア又は構成が明らかとなる。

記憶装置は、本開示の技術分野において知られているように、又は、以下において考えられているように、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、又は同様の記憶媒体を挙げられるがこれらに限定されない、１つ又は複数の機械可読記憶媒体を含む。様々な非限定的な実施形態において、記憶装置は、プロセッサによる実行のための命令又はプロセッサが動作する対象となるデータを記憶する。例えば、記憶装置は、ハードウェアの様々な基本動作を制御するための基本オペレーティングシステムを記憶する。記憶装置は、実行可能ソフトウェア／ファームウェアの形態で１つ又は複数のアプリケーションモジュールをさらに記憶する。

より具体的には、さらに図３を参照すると、ロボットポーズ制御装置１６０は、本開示の技術分野において知られているようにプラットフォーム１８０を介して手術ＲＣＭロボット１２０を回転及び並進移動させるための、ロボットポーズ制御装置６０（図１）に対して本開示においてここまでに説明されるように手術ＲＣＭロボット１２０の回転関節を作動させるための、及び、ロボットポーズ制御装置６０（図１）に対して本開示においてここまでに説明されるようにロボット座標系１２１における手術ＲＣＭロボット１２０のポーズを追跡するためのアプリケーションモジュール（図示されていない）を含む。

カメラ制御装置１６１は、一時的に手術ＲＣＭロボット１２０の１つ又は複数の標識の立体カメラ１４０及び／又は単眼カメラによる可視化を制御するための、及び、カメラ制御装置４４及び５４（図１）に対して本開示においてここまでに説明されるように標識可視化から標識位置データを生成する、アプリケーションモジュール（図示されていない）を含む。

ロボット追跡制御装置１７０は、ロボット追跡制御装置７０（図１）に対して本開示においてここまでに説明されるようにカメラ座標系における手術ＲＣＭロボット１２０のポーズを推定するための本開示の本発明の原理によるアプリケーションモジュールを含む。

一実施形態において、ロボット追跡制御装置１７０は、並進ベクトルを推定するための並進ベクトル推定器１７１、回転行列を推定するための回転行列推定器１７２、及び、推定された並進ベクトル及び回転行列に基づいてカメラ座標系における手術ＲＣＭロボット１２０のロボットポーズを推定するためのロボットポーズ推定器１７３を構造的に構成するハードウェア、ソフトウェア、ファームウェア、及び／又は、電子回路の構成を具現化する。

推定器１７１〜１７３の例示的な実施形態を説明することを目的として、図４は、手術ＲＣＭロボット１２０の関節のグラフィカルモデル２００を示し、図５は、手術ＲＣＭロボット１２０に統合された標識のグラフィカルモデル２０１を示し、両方のモデルが、本開示においてここまでに説明されているように手術ＲＣＭロボット１２０に統合された標識の立体可視化に適した並進ベクトル及び回転行列を推定することに適している。

図４を参照すると、グラフィカルモデル２００は、一次回転関節のグラフィカル表現としての関節Ｊ４と、二次回転関節のグラフィカル表現としての関節Ｊ５とを含む。関節Ｊ６は、追加的な二次回転関節を含む手術ＲＣＭロボットの実施形態に対する本開示の適用可能性を強調表示するように示される。

さらに図４を参照すると、グラフィカルモデルは、アクティブアーム１８０（図３）の並進関節１８２に対する関節Ｊ１、アクティブアーム１８０（図３）の回転関節１８３に対する関節Ｊ２、及び、アクティブアーム１８０（図３）の並進関節１８４を含む。

図５を参照すると、グラフィカルモデル２１１は、一次回転関節ＰＲＪに統合された標識ｕ_１及び二次回転関節ＳＲＪに統合された標識ｕ_２の第１の固有標識セットを含む。グラフィカルモデル２１１は、一次回転関節ＰＲＪに統合された標識ｖ_１及び二次回転関節ＳＲＪに統合された標識ｖ_２の第２の固有標識セットを含む。

図３〜図５を参照すると、第１に、カメラ座標系（例えば、図１に示される座標系４３又は座標系５３）におけるｎ個の固有標識のセットＦ＝Ｕ∪Ｖ＝｛ｆ_１，…，ｆ_ｎ｝を用意する、ここで、標識ｆ_ｉ∈Ｒ^３（ｆ_ｉ＝［ｘ，ｙ，ｚ，１］^Ｔ）は関節のｉ軸ｅ_ｉからオフセットｄ_ｉに位置し、ｆ_ｉ｜｜ｅ_ｉであり、カメラ座標系におけるモーター軸が以下の式［１］及び式［２］に従って計算される。

ここで、Ｒ_ｉは、

と、ロボットポーズ制御装置１６０により与えられた関節ｉの角度θ_ｉとにより規定された軸の周りにおける回転を表す。オフセットｄ_ｉは、（ａ）モーター軸

上における一点の位置を知ること、又は、又は（ｂ）例えば例として図５に示されるように、オフセットが知られた関節位置（ロボットホームポジション）において推定される校正方法を使用することにより計算される。

好ましくは、ライン特徴ベクトル

は、三角測量される。すなわち、カメラ画像及び立体カメラの校正された系から手術ＲＣＭロボット１２０において検出された対応する２Ｄラインセグメントのセットを用意し、３Ｄ特徴ベクトル

が、エピポーラ幾何を使用して三角測量され、すなわち、２Ｄ対応は、それぞれのカメラ中心及び２Ｄラインセグメントを通る２つの平面を交差させることにより３Ｄラインに変換される。代替的に、ライン特徴ベクトル

は、検出された少なくとも２つの点をカメラ画像において検出された２Ｄラインセグメント上に置くことにより計算される。

第２に、並進ベクトルｔが、以下の式［３］及び式［４］に従って各モーター軸ｅ_ｉとｔとの間における距離の二乗の和を最小化する点として最小二乗検出において算出される。

第３に、回転行列Ｒが、次の式［５］〜式［１１］に従って正規直交基底を形成する３つのベクトルにより規定される。

ここで、Ｒ_ｉは

により規定された軸の周りにおける回転を表し、関節ｉの角度θ_ｉはロボットポーズ制御装置１６０により与えられる。

最後に、カメラ座標系におけるロボット１２０のポーズは、次式［１２］に従って規定される。
Ｔ＝［Ｒ ｔ］ ［１２］

さらに図３〜図５の第２のポーズ推定の実施形態を参照すると、ロボット追跡制御装置１７０は、カメラ座標系における手術ＲＣＭロボット１２０のポーズを推定（「光学的ポーズ推定」）するためにのみ標識位置データの解釈を伴うポーズ推定のためのハードウェア、ソフトウェア、ファームウェア、及び／又は電子回路の構造的配置を具現化する。

この光学的ポーズの実施形態は、視覚情報（標識）を使用するのみでロボット１２０のポーズが計算される特別なシナリオを説明する。それらを含む平面Ｐ_Ｆにわたって広がるＲ^３における非平行標識の非空セットＦ＝｛ｆ_１，…，ｆ_ｎ｝を用意し、ロボット１２０のポーズが以下のアルゴリズムを使用して計算される。

第１に、交点ｗが、以下の式［１３］及び式［１４］において、標識ｆ_ｉにより規定された各軸とｗとの間における距離の二乗の和を最小化する点として最小二乗検出において算出される。

第２に、並進ベクトルｔが、後述の式｛１５］〜［１７］に従って平面Ｐ_Ｆに対する法線

により規定された方向にスカラー値−ｄ（ｘ）_ｉぶん交点ｗをオフセットさせることにより算出される。

ここで、平面

に対する法線は、式［１６］に従って計算される。

第３に、回転行列Ｒは、次の式［１８］〜式［２１］に従って正規直交基底を形成する３つのベクトルにより規定される。

最後に、カメラ座標系におけるロボット１２０のポーズが、次式［２２］に従って規定される。
Ｔ＝［Ｒ ｔ］ ［２２］

推定器１７１〜１７３の別の例示的な実施形態を説明することを目的として、図６は、本開示においてここまでに説明されているように手術ＲＣＭロボット１２０に統合された標識の単眼可視化に適した並進ベクトル及び回転行列を推定することに適した手術ＲＣＭロボット１２０の関節のグラフィカルモデル２０２を示す。

図６を参照すると、グラフィカルモデル２０２は、一次回転関節のグラフィカル表現としての関節軸β_１の周りにおける回転角度Θ_１と、二次回転関節のグラフィカル表現としての関節軸β_２の周りにおける回転角度Θ_２とを含む。関節軸β_３の周りにおける回転角度Θ_３は、追加的な二次回転関節を含む手術ＲＣＭロボットの実施形態に対する本開示の適用可能性を強調するために示される。

図３、図５、及び図６を参照すると、カメラ／ロボットポーズ推定は、３に等しい、又は３より大きい要素数をもつセットＬ＝｛ｌ_１，…，ｌ_ｎ｝の固有２Ｄ標識を提供する単一の校正された光学カメラを使用したロボット１２０の追跡及びポーズ推定のための手法を説明する。

画像座標系におけるｌ_ｉ＝［ｘ，ｙ，１］^Ｔなどの標識ｌ_ｉ∈Ｒ^２のセット、及び、ロボット座標系におけるｒ_ｉ＝［ｘ，ｙ，ｚ，１］^Ｔなどの標識ｒ_ｉ∈Ｒ^３のセットを用意することにより、ロボットのポーズは、次式［２３］に基づいて、ＲＡＮＳＡＣアルゴリズムなどの当技術分野において知られた方法を使用してＰｎＰ問題を解くことにより推定される。
ｒ_ｉ＝（ＫＰ）^−１ｌ_ｉ ［２３］

ここで、Ｋは、カメラ校正行列（内因的カメラパラメータ）であり、Ｐは、前述の方法（ＲＡＮＳＡＣアルゴリズム）を使用して計算されたワールド座標系におけるカメラ位置及び配向（外因的カメラパラメータ）である。

カメラ座標系における標識

のセットを用意することにより、標識

のセットが次式［２４］を使用してロボット座標系において動的に計算される。

ここで、ｄは、以下の式［２５］及び式［２６］に従って（及び、同次表現に変形された）式に従って計算されたｊ_ｉ＝［ｘ，ｙ，ｚ，１］^Ｔなどの関節軸ｊ_ｉ∈Ｒ^３からのオフセットを表す。

ここで、ｒは、同心アーチ（ＲＣＭと標識との間の距離）の半径を表す。β_ｉは、図６に示される関節回転軸間の回転角度を表し、θ_ｉは、図６に示される関節回転軸の周りにおける回転角度を表す。

図３を再度参照すると、ロボットポーズ制御装置１６０、カメラ制御装置１６１、及び／又は、ロボット追跡制御装置１７０は、タブレット、又は、ワークステーション及びタブレットによりアクセス可能なサーバーが挙げられるがこれらに限定されない他の種類の処理デバイスに代替的に、又は同時に搭載され、又は、本開示のポーズ推定の実行を支援するネットワークにわたって分散される。

さらに、実際には、ロボットポーズ制御装置１６０、カメラ制御装置１６１、及び／又は、ロボット追跡制御装置１７０は、マーカーレスロボット追跡デバイス１１１の統合されたコンポーネント、分離されたコンポーネント、又は、論理的に区切られたコンポーネントである。

さらに、実際には、カメラ制御装置は、デバイス１１１から省略され、及び、別の光学位置測定システムに搭載される。

図１〜図４を参照すると、当業者は、任意の種類の画像支援介入（例えば、低侵襲腹腔鏡手術及び脊椎の低侵襲手術）において使用される手術ＲＣＭロボットへの追跡可能な標識の統合を提供する本開示の本発明による、マーカーベースの追跡システム、制御装置、及び方法に勝る改善が挙げられるがこれらに限定されない本開示の多くの利点を理解する。

さらに、当業者は、本明細書において提供される教示を参考にして、本開示／明細書において説明される、及び／又は、図面に示される特徴、要素、コンポーネントなどが、電子コンポーネント／回路、ハードウェア、実行可能ソフトウェア、及び、実行可能ファームウェアの様々な組み合わせにより実施され、及び、単一の要素又は複数の要素に組み合わされる機能を提供することを理解する。例えば、図面に示される／例示される／描かれる様々な特徴、要素、コンポーネントなどの機能は、専用ハードウェア、及び、適切なソフトウェアと連携してソフトウェアを実行することが可能なハードウェアの使用を通して提供され得る。プロセッサにより提供される場合、機能は、単一の専用プロセッサにより、単一の共用プロセッサにより、又は、複数の個々のプロセッサにより提供され得、そのうちのいくつかは、共用及び／又は多重化され得る。さらに、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを排他的に表すと解釈されてはならず、限定されないが、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するためのメモリ（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性記憶装置など）、及び、処理を実施及び／又は制御することが可能な（及び／又は、するように構成可能な）（ハードウェア、ソフトウェア、ファームウェア、回路、それらの組み合わせなどを含む）実質的に任意の手段及び／又は機械を暗示的に含み得る。

さらに、本発明の原理、態様、及び実施形態について記載した本明細書におけるすべての記述、及び、それらの特定の例は、それらの構造的に同等なものと機能的に同等なものとの両方を包含するように意図される。さらに、このような同等なものが（例えば、構造に関わらず同じ又は実質的に同様の機能を実施し得る開発される任意の要素といった）現在知られている同等なものと将来的に開発される同等なものとの両方を含むことが意図される。従って、例えば、本明細書で提示される任意のブロック図が、本発明の原理を具現化する例示的なシステムコンポーネント及び／又は回路の概念的な図を表し得ることが本明細書において提供される教示を考慮して当業者により理解される。同様に、当業者は、任意のフローチャート、フロー図などがコンピュータ可読記憶媒体において実質的に表されることにより、コンピュータ、プロセッサ、又は処理能力をもつ他のデバイスにより、このようなコンピュータ又はプロセッサが明示的に示されるか否かに関わらず実行され得る様々な工程を表し得ることを本明細書において提供される教示を考慮して理解するはずである。

さらに、本開示の例示的な実施形態は、例えば、コンピュータ又は任意の命令実行システムによる、又は、コンピュータ又は任意の命令実行システムに関連した使用のためのプログラムコード及び／又は命令を提供するコンピュータ可用及び／又はコンピュータ可読記憶媒体からアクセス可能な、コンピュータプログラム製品又はアプリケーションモジュールの形態をとり得る。本開示によると、コンピュータ可用又はコンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによる、又は、命令実行システム、装置、又はデバイスに関連した使用のために、例えば、プログラムを含み、記憶し、通信し、伝播し、又は、移送し得る任意の装置であり得る。このような例示的な媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム（又は、装置又はデバイス）、又は、伝播媒体であり得る。コンピュータ可読媒体の例として、例えば半導体又はソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュ（ドライブ）、硬質磁気ディスク、及び、光ディスクが挙げられる。光ディスクの現在の例として、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、読み出し／書き込み型コンパクトディスク（ＣＤ−Ｒ／Ｗ）、及びＤＶＤが挙げられる。さらに、今後開発される任意の新しいコンピュータ可読媒体も、本開示の例示的な実施形態に従って使用又は参照されることと同様に、コンピュータ可読媒体とみなされなければならないことが理解されなければならない。

新規性及び進歩性があるマーカーレスロボット追跡システム、制御装置、及び方法の好ましい、及び例示的な実施形態（本実施形態は例示的であって限定ではないことが意図される）を説明してきたが、図面を含む本明細書において提供される教示を考慮に入れた当業者により変更及び変形がなされ得ることに留意されたい。従って、本開示の好ましい、及び例示的な実施形態において／対して変更がなされ得、本変更が本明細書において開示される実施形態の範囲内であることが理解される。

さらに、デバイスを組み込んだ、及び／又は実施した、対応する、及び／又は関係するシステム、又は、本開示によるデバイスにおいて使用／実施されるものも本開示の範囲に入ると想定され、及びみなされることが想定される。さらに、本開示によるデバイス及び／又はシステムを製造及び／又は使用するための対応する、及び／又は関係する方法も本開示の範囲に入ると想定され、及びみなされる。

Claims (20)

1. ロボット座標系における複数のロボットポーズ間での遷移可能な手術ＲＣＭロボットと、複数の固有標識セットと、カメラ座標系における前記複数の固有標識セットの少なくとも部分セットを視覚化する光学カメラと、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる可視化に応答して、前記カメラ座標系における前記手術ＲＣＭロボットのロボットポーズの推定を制御するロボット追跡制御装置と、
   を備え、
   前記手術ＲＣＭロボットが、一次回転軸の周りで回転可能な一次回転関節を含み、
   前記手術ＲＣＭロボットが、二次回転軸の周りで回転可能な二次回転関節をさらに含み、
   各々の前記固有標識セットが、前記一次回転軸に対して固定された配向において前記手術ＲＣＭロボットに統合された少なくとも１つの標識を含み、
   各々の前記固有標識セットが、前記二次回転軸に対して固定された配向において前記手術ＲＣＭロボットに統合された追加的な少なくとも１つの標識をさらに含む、
   マーカーレスロボット追跡システム。
2. 前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化を制御するカメラ制御装置をさらに備え、
   前記カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする標識位置データを生成し、
   前記カメラ制御装置による前記標識位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
   前記ロボット追跡制御装置が、前記並進アラインメントに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
   請求項１に記載のマーカーレスロボット追跡システム。
3. 前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化を制御するように構造的に構成されたカメラ制御装置をさらに備え、
   前記カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする標識位置データを生成し、
   前記カメラ制御装置による前記標識位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における回転配向を推定し、
   前記ロボット追跡制御装置が、前記回転配向に基づいて、前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
   請求項１に記載のマーカーレスロボット追跡システム。
4. 前記カメラ制御装置による前記標識位置データの生成に応答して、
   前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
   前記ロボット追跡制御装置が、前記並進アラインメントと前記回転配向とに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
   請求項３に記載のマーカーレスロボット追跡システム。
5. 前記ロボット座標系における前記複数のロボットポーズ間での前記手術ＲＣＭロボットの遷移を制御するロボットポーズ制御装置をさらに備え、
   前記ロボットポーズ制御装置が、前記一次回転軸に対する前記一次回転関節の回転位置と前記二次回転軸に対する前記二次回転関節の回転位置との情報提示をする回転関節位置データを生成し、
   前記カメラ制御装置による前記標識位置データの生成と前記ロボットポーズ制御装置による回転関節位置データの生成とに応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
   前記ロボット追跡制御装置が、前記並進アラインメントに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
   請求項２に記載のマーカーレスロボット追跡システム。
6. 前記ロボット座標系における前記複数のロボットポーズ間での前記手術ＲＣＭロボットの遷移を制御するロボットポーズ制御装置をさらに備え、
   前記ロボットポーズ制御装置が、前記一次回転軸に対する前記一次回転関節の回転位置と前記二次回転軸に対する前記二次回転関節の回転位置との情報提示をする回転関節位置データを生成し、
   前記カメラ制御装置による前記標識位置データの生成と、前記ロボットポーズ制御装置による前記回転関節位置データの生成とに応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における前記回転配向を推定し、
   前記ロボット追跡制御装置が、前記回転配向に基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
   請求項３に記載のマーカーレスロボット追跡システム。
7. 前記カメラ制御装置による前記標識位置データの生成と、前記ロボットポーズ制御装置による前記回転関節位置データの生成とに応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
   前記ロボット追跡制御装置が、前記並進アラインメントと前記回転配向とに基づいて、前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
   請求項６に記載のマーカーレスロボット追跡システム。
8. ロボット座標系における複数のロボットポーズ間での遷移可能な手術ＲＣＭロボットのためのマーカーレスロボット追跡デバイスであって、
   前記手術ＲＣＭロボットが、一次回転軸の周りで回転可能な一次回転関節と、二次回転軸の周りで回転可能な二次回転関節とを含み、
   複数の固有標識セットが、前記手術ＲＣＭロボットに統合されていて、
   各々の前記固有標識セットが、前記一次回転軸に対して固定された配向において前記手術ＲＣＭロボットに統合された少なくとも１つの標識を含み、
   各々の前記固有標識セットが、前記二次回転軸に対して固定された配向において前記手術ＲＣＭロボットに統合された追加的な少なくとも１つの標識をさらに含み、
   前記マーカーレスロボット追跡デバイスが、ロボット追跡制御装置を備え、
   前記ロボット追跡制御装置が、カメラ座標系における前記複数の固有標識セットの少なくとも部分セットの光学カメラによる可視化に応答して、前記カメラ座標系における前記手術ＲＣＭロボットのロボットポーズの推定を制御し、
   前記ロボット追跡制御装置が、前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズの推定の情報提示をする手術ＲＣＭロボットポーズデータを生成する、
   マーカーレスロボット追跡デバイス。
9. 前記ロボット追跡制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする標識位置データを受信するように動作可能であり、
   前記ロボット追跡制御装置が、
   前記標識位置データに応答して前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定する並進アラインメント推定器と、前記標識位置データに応答して前記ロボット座標系と前記カメラ座標系との間における回転配向を推定する回転配向推定器とのうちの少なくとも１つと、
   前記並進アラインメントと前記回転配向とのうちの少なくとも１つに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定するポーズ推定器とを含む、
   請求項８に記載のマーカーレスロボット追跡デバイス。
10. 前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化を制御するカメラ制御装置をさらに備え、
    前記カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする標識位置データを生成し、
    前記カメラ制御装置による前記標識位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
    前記ロボット追跡制御装置が、前記並進アラインメントに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項８に記載のマーカーレスロボット追跡デバイス。
11. 前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化を制御するカメラ制御装置をさらに備え、
    前記カメラ制御装置は、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする前記標識位置データを生成し、
    前記カメラ制御装置による前記標識位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における回転配向を推定し、
    前記ロボット追跡制御装置が、前記回転配向に基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項８に記載のマーカーレスロボット追跡デバイス。
12. 前記カメラ制御装置による前記標識位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
    前記ロボット追跡制御装置が、前記並進アラインメントと前記回転配向とに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項１１に記載のマーカーレスロボット追跡デバイス。
13. 前記ロボット座標系における前記複数のロボットポーズ間での前記手術ＲＣＭロボットの遷移を制御するロボットポーズ制御装置をさらに備え、
    前記ロボットポーズ制御装置が、前記一次回転軸に対する前記一次回転関節の回転位置と前記二次回転軸に対する前記二次回転関節の回転位置との情報提示をする回転関節位置データを生成し、
    前記カメラ制御装置による前記標識位置データの生成、及び、前記ロボットポーズ制御装置による前記回転関節位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
    前記ロボット追跡制御装置が、前記並進アラインメントに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項１０に記載のマーカーレスロボット追跡デバイス。
14. 前記ロボット座標系における前記複数のロボットポーズ間での前記手術ＲＣＭロボットの遷移を制御するロボットポーズ制御装置をさらに備え、
    前記ロボットポーズ制御装置が、前記一次回転軸に対する前記一次回転関節の回転位置と前記二次回転軸に対する前記二次回転関節の回転位置との情報提示をする前記回転関節位置データを生成し、
    前記カメラ制御装置による前記標識位置データの生成、及び、前記ロボットポーズ制御装置による前記回転関節位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における回転配向を推定し、
    前記ロボット追跡制御装置が、前記回転配向に基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項１０に記載のマーカーレスロボット追跡デバイス。
15. 前記カメラ制御装置による前記標識位置データの生成、及び、前記ロボットポーズ制御装置による前記回転関節位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定し、
    前記ロボット追跡制御装置が、前記並進アラインメントと前記回転配向とに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項１４に記載のマーカーレスロボット追跡デバイス。
16. 手術ＲＣＭロボットが、ロボット座標系における複数のロボットポーズ間で選択的に遷移されるステップであって、
    前記手術ＲＣＭロボットが、一次回転軸の周りで回転可能な一次回転関節と二次回転軸の周りで回転可能な二次回転関節とを含み、
    複数の固有標識セットが、前記手術ＲＣＭロボットに統合されていて、
    各々の前記固有標識セットが、前記一次回転軸に対して固定された配向において前記手術ＲＣＭロボットに統合された少なくとも１つの標識を含み、
    各々の前記固有標識セットが、前記二次回転軸に対して固定された配向において前記手術ＲＣＭロボットに統合された追加的な少なくとも１つの標識をさらに含む、
    前記遷移されるステップと、
    光学カメラが、カメラ座標系における前記複数の固有標識セットの少なくとも部分セットを可視化するステップと、
    ロボット追跡制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記手術ＲＣＭロボットのロボットポーズの推定を制御するステップと、
    を有する、マーカーレスロボット追跡方法。
17. カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化を制御するステップであって、
    前記カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする標識位置データを生成する、
    前記制御するステップと、
    前記ロボット追跡制御装置が、前記カメラ制御装置による前記標識位置データの前記生成に応答して、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定するステップであって、
    前記ロボット追跡制御装置が、前記並進アラインメントに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    前記推定するステップと、
    を有する、請求項１６に記載のマーカーレスロボット追跡方法。
18. ロボットポーズ制御装置が、前記ロボット座標系における前記複数のロボットポーズ間での前記手術ＲＣＭロボットの遷移を制御するステップであって、
    前記ロボットポーズ制御装置が、前記一次回転軸に対する前記一次回転関節の回転位置と前記二次回転軸に対する前記二次回転関節の回転位置との情報提示をする回転関節位置データを生成する、
    前記制御するステップと、
    前記カメラ制御装置による前記標識位置データの生成、及び、前記ロボットポーズ制御装置による前記回転関節位置データの生成に応答して、前記ロボット追跡制御装置が、前記ロボット座標系と前記カメラ座標系との間における並進アラインメントを推定するステップと、
    を有し、
    前記ロボット追跡制御装置が、前記並進アラインメントに基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項１７に記載のマーカーレスロボット追跡方法。
19. カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化を制御するステップであって、
    前記カメラ制御装置が、前記カメラ座標系における前記複数の固有標識セットの少なくとも前記部分セットの前記光学カメラによる前記可視化から導出された前記カメラ座標系における前記一次回転関節の配置及び前記二次回転関節の配置の情報提示をする標識位置データを生成する、
    前記制御するステップと、
    前記ロボット追跡制御装置が、前記カメラ制御装置による前記標識位置データの前記生成に応答して、前記ロボット座標系と前記カメラ座標系との間における回転配向を推定するステップであって、
    前記ロボット追跡制御装置が、前記回転配向に基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    前記推定するステップと、
    をさらに有する、請求項１６に記載のマーカーレスロボット追跡方法。
20. ロボットポーズ制御装置が、前記ロボット座標系における前記複数のロボットポーズ間での前記手術ＲＣＭロボットの遷移を制御するステップであって、
    前記ロボットポーズ制御装置が、前記一次回転軸に対する前記一次回転関節の回転位置と前記二次回転軸に対する前記二次回転関節の回転位置との情報提示をする回転関節位置データを生成する、
    前記制御するステップと、
    前記ロボット追跡制御装置が、前記カメラ制御装置による前記標識位置データの生成、及び、前記ロボットポーズ制御装置による前記回転関節位置データの生成に応答して、前記ロボット座標系と前記カメラ座標系との間における回転配向を推定するステップと、
    を有し、
    前記ロボット追跡制御装置が、前記回転配向に基づいて前記カメラ座標系における前記手術ＲＣＭロボットの前記ロボットポーズを推定する、
    請求項１９に記載のマーカーレスロボット追跡方法。
    

Images