KR102596096B1

KR102596096B1 - 원격조작 시스템에서 기구 내비게이터를 디스플레이하기 위한 시스템들 및 방법들

Info

Publication number: KR102596096B1
Application number: KR1020227020095A
Authority: KR
Inventors: 타비시 무스터파; 벤자민 에스 플램; 폴 에이 후버
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2016-07-14
Filing date: 2017-04-25
Publication date: 2023-11-01
Anticipated expiration: 2037-04-25
Also published as: KR102410247B1; KR20190019131A; KR20220084212A; US20190151032A1; WO2018013198A1

Abstract

시스템은 수술 환경에서 복수의 기구에 연결된 원격조작 조종기를 포함하는 원격조작 어셈블리를 포함한다. 시스템은 또한 하나 이상의 프로세서를 포함하는 처리 유닛을 포함한다. 처리 유닛은 복수의 기구의 제1 합성 렌더링을 디스플레이하고, 트리거링 이벤트를 인식하고, 트리거링 이벤트의 인식에 응답하여, 제1 합성 렌더링을 디스플레이하는 것으로부터 복수의 기구의 제2 합성 렌더링을 디스플레이하는 것으로 변경하도록 구성된다.

Description

원격조작 시스템에서 기구 내비게이터를 디스플레이하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR DISPLAYING AN INSTRUMENT NAVIGATOR IN A TELEOPERATIONAL SYSTEM}

관련 출원들

본 특허 출원은 2016년 7월 14일자로 출원되고 발명의 명칭이 "원격조작 시스템에서 기구 내비게이터를 디스플레이하기 위한 시스템들 및 방법들(SYSTEMS AND METHODS FOR DISPLAYING AN INSTRUMENT NAVIGATOR IN A TELEOPERATIONAL SYSTEM)"인 미국 가특허 출원 제62/362,381호의 우선권 및 그것의 출원일의 이득을 우선권을 주장하며, 그것은 본 명세서에 참조에 의해 포함된다.

기술 분야

본 개시내용은 원격조작 의료 절차(teleoperated medical procedure)를 수행하기 위한 시스템들 및 방법들에 관한 것으로, 더 구체적으로는 사용자가 기구 구성을 이해하는 데에 도움을 주기 위해 수술 환경(surgical environment)에서 기구들의 합성 렌더링된 뷰들(synthetically rendered views)을 디스플레이하기 위한 시스템들 및 방법들에 관한 것이다.

최소 침습 의료 기술들을 수행하기 위해 사용되는 원격조작 시스템들과 같은 의료용 로봇 시스템들은 침습성 의료 절차들 동안 손상되는 조직의 양을 감소시킴으로써, 환자 회복 시간, 불편함, 및 유해한 부작용들을 감소시키도록 의도된다. 원격조작 시스템들의 예는 캘리포니아 주 서니베일의 Intuitive Surgical, Inc.의 da Vinci® Surgical System 및 da Vinci® S™ Surgical System을 포함한다. 이러한 시스템들 각각은 외과의의 콘솔러(surgeon's consoler) 환자측 카트, 고성능 3차원("3D") 비전 시스템, 및 인간의 손목을 본떠서 만든 Intuitive Surgical의 독점적인 EndoWrist® 관절형 기구들(articulating instruments)을 포함한다. 수술 기구들을 고정하는 조종기들(manipulators)의 움직임들에 추가될 때, 이러한 관절형 기구들은 개복 수술(open surgery)의 자연스러운 움직임들에 필적하거나 그보다 훨씬 큰 적어도 6 자유도의 움직임을 그것들의 엔드 이펙터들에 허용한다. 의료 절차들의 수행 동안, 이미지 캡처 디바이스에 의해 캡처된 수술 부위의 2 또는 3차원 라이브 이미지들을 보는 것이 유용하다. 종종, 이미지 캡처 디바이스에 의해 제공되는 이미지는 수술 기구들의 구성을 이해하기에는 불충분한 정보를 사용자에게 제공 할 수 있다. 따라서, 이미지 캡처 디바이스로부터의 이미지는 사용자가 기구 구성들을 이해할 수 있게 하는, 기구들의 하나 이상의 렌더링으로 보충될 수 있다.

US

2009-0192524

A (2009.07.30)

본 발명의 실시예들은 설명에 후속하는 청구항들에 의해 가장 잘 요약된다.

일부 실시예에 따르면, 시스템은 수술 환경에서 복수의 기구에 연결된 원격조작 조종기(teleoperational manipulator)를 포함하는 원격조작 어셈블리(teleoperational assembly)를 포함한다. 시스템은 또한 하나 이상의 프로세서를 포함하는 처리 유닛을 포함한다. 처리 유닛은 복수의 기구의 제1 합성 렌더링을 디스플레이하고, 트리거링 이벤트를 인식하고, 트리거링 이벤트의 인식에 응답하여, 제1 합성 렌더링을 디스플레이하는 것으로부터 복수의 기구의 제2 합성 렌더링을 디스플레이하는 것으로 변경하도록 구성된다.

일부 실시예들에 따르면, 시스템은 수술 환경에서 복수의 기구에 연결된 원격조작 조종기를 포함하는 원격조작 어셈블리, 및 하나 이상의 프로세서를 포함하는 처리 유닛을 포함한다. 처리 유닛은 복수의 기구의 관점 원위(perspective distal)로부터 복수의 기구의 합성 렌더링을 생성하고, 복수의 기구의 합성 렌더링을 횡방향으로 반전하고, 복수의 기구의 횡방향으로 반전된 합성 렌더링을 디스플레이하도록 구성된다.

일부 실시예들에 따르면, 컴퓨터 처리 시스템에 의해 수행되는 방법은 복수의 기구의 제1 합성 렌더링을 디스플레이하는 단계를 포함한다. 복수의 기구는 원격조작 어셈블리의 원격조작 조종기에 연결된다. 방법은 또한 트리거링 이벤트를 인식하는 단계; 및 트리거링 이벤트의 인식에 응답하여, 제1 합성 렌더링을 디스플레이하는 것으로부터 복수의 기구의 제2 합성 렌더링을 디스플레이하는 것으로 변경하는 단계를 포함한다.

일부 실시예들에 따르면, 컴퓨터 처리 시스템에 의해 수행되는 방법은 복수의 기구의 관점 원위로부터 복수의 기구의 합성 렌더링을 생성하는 단계를 포함한다. 복수의 기구는 원격조작 어셈블리의 원격조작 조종기에 연결된다. 방법은 복수의 기구의 합성 렌더링을 횡방향으로 반전하는 단계; 및 복수의 기구의 횡방향으로 반전된 합성 렌더링을 디스플레이하는 단계를 더 포함한다.

상술한 일반적인 설명 및 이하의 상세한 설명 둘 다는 본질적으로 예시적이고 설명적인 것이며, 본 개시내용의 범위를 제한하지 않고서 본 개시내용의 이해를 제공하도록 의도된 것임을 이해해야 한다. 이와 관련하여, 본 개시내용의 추가적인 양태들, 특징들 및 이점들은 이하의 상세한 설명으로부터 본 기술분야의 통상의 기술자에게 명백할 것이다.

도 1은 일부 실시예들에 따른 의료용 디바이스들의 번들 유닛을 갖는 원격조작 의료 시스템을 이용하는 수술실의 개략도이다.
도 2는 일부 실시예들에 따른 의료용 디바이스들의 번들 유닛을 유지하는 원격조작 암 어셈블리의 개략도이다.
도 3은 일부 실시예들에 따른 의료용 디바이스의 번들 유닛의 원위 단부의 개략도이다.
도 4는 일부 실시예들에 따른 기구 내비게이터 렌더링을 갖는 수술 환경의 시야를 도시한다.
도 5는 일부 실시예들에 따른 기구 내비게이터 렌더링의 측면 뷰를 도시한다.
도 6은 일부 실시예들에 따른 기구 내비게이터 렌더링의 하면 뷰를 도시한다.
도 7은 일부 실시예들에 따른 기구 내비게이터 렌더링을 갖는 수술 환경의 시야를 도시한다.
도 8은 도 7의 기구 내비게이터 렌더링을 더 상세하게 도시한다.
도 9는 일부 실시예들에 따른 기구 내비게이터 렌더링을 디스플레이하기 위한 방법을 도시한다.
도 10은 일부 실시예들에 따른 기구 내비게이터 렌더링을 디스플레이하기 위한 방법을 도시한다.
도 11은 일부 실시예들에 따른 기구 내비게이터 렌더링을 디스플레이하기 위한 방법을 도시한다.

도 1은 수술대(50)에 누워있는 환자(40)에 대해 의료 절차를 수행하기 위해 외과의(20)에 의해 원격조작 의료 시스템(100)이 이용되고 있는 수술실의 평면도를 예로서 도시한다. 외과의(20)가 외과의 콘솔(10) 상에서 제어 디바이스들(108, 109)을 조작함으로써 원격조작에 의해 절차를 수행하는 동안 절차를 돕기 위해 1인 이상의 보조자(30)가 환자(40) 근처에 위치될 수 있다.

본 예에서, 의료용 디바이스들의 번들 유닛(bundled unit of medical devices)을 포함하는 엔트리 가이드(300)가 단일 엔트리 포트(150)를 통해 환자(40) 내로 삽입된다. 본 예에서는 엔트리 포트(150)가 최소 침습 절개부이지만, 다른 의료 절차들의 수행에서, 그것은 대신에 자연적인 인체 개구부일 수 있다. 엔트리 가이드(300)는 일부 실시예들에서 환자측 카트라고도 지칭될 수 있는, 원격조작 조종기 어셈블리(120)의 원격조작 암 어셈블리(200)에 의해 유지되고 조작된다. 본 예에서는 단 하나의 원격조작 암 어셈블리가 사용되지만, 원격조작 의료 시스템(100)은 추가의 원격조작 암 어셈블리들을 구비할 수 있다.

외과의 콘솔(10)은 외과의에게 수술 부위의 3D 이미지를 디스플레이하기 위한 3D 모니터(104), 좌측 및 우측의 조작가능한 제어 디바이스들(108, 109), 풋 페달(105), 및 제어 시스템(102)을 포함한다. 제어 디바이스들(108, 109)은 조이스틱들, 글러브들, 트리거 건들(trigger-guns), 수동 조작 제어기들(hand-operated controllers), 또는 그와 유사한 것과 같은 다양한 입력 디바이스들 중 임의의 하나 이상의 입력 디바이스를 포함할 수 있다. 제어 시스템(102)은 콘솔(10)에 통합되거나 그 옆에 또는 그 근처에 위치되는 전용 컴퓨터일 수 있는 프로세서를 포함할 수 있거나, 시스템(100) 전체에 걸쳐 분산 처리 방식으로 분산되는 다수의 처리 또는 제어기 컴포넌트를 포함할 수 있다. 또한, 환자 근처에는, 환자에 대한 의료 절차의 수행 동안 보조자가 보는 보조 모니터(140)가 제공된다.

외과의 콘솔(10)은 외과의가 절차를 직접적으로 모니터링할 수 있고, 필요하다면 물리적으로 이용가능하며, 전화 또는 다른 통신 매체를 통하는 것이 아니라 직접적으로 보조자(들)에게 말할 수 있도록, 통상적으로 환자와 동일한 방에 위치된다. 그러나, 외과의는 다른 방, 완전히 다른 건물, 또는 원격 수술 절차들을 허용하는 환자로부터 멀리 떨어진 다른 위치에 있을 수 있음을 이해할 것이다.

도 3에 도시된 바와 같이, 엔트리 가이드(300)는 3개의 수술 기구 또는 도구(301, 302, 303) 및 이미지 캡처 디바이스(340)를 포함할 수 있다. 수술 도구들(301, 302, 303) 각각은 제어 디바이스들(108, 109) 중 하나와 연관될 수 있다. 외과의가 이미지 캡처 디바이스(340)에 의해 캡처된 대로의 수술 부위를 콘솔 모니터(104) 상에서 3D로 보는 동안, 제어 시스템(102)이 연관된 수술 도구들(301, 302, 303) 중 하나의 대응 이동을 야기하도록, 외과의는 제어 디바이스들(108, 109)을 조작함으로써 의료 절차를 수행한다. 의료 절차 동안, 수술 도구는 제어 디바이스들(108, 109) 중 다른 디바이스에 재할당될 수 있다.

제어 디바이스들(108, 109)은 외과의가 도구들을 직접 제어하는 느낌을 강하게 갖도록 제어 디바이스들(108, 109)이 도구들(301, 302, 303)과 통합되어 있다는 인식, 또는 텔레프레전스(telepresence)를 외과의에게 제공하기 위해, 그것들의 연관된 도구들(301, 302, 303)과 적어도 동일한 자유도들을 구비할 수 있다.

모니터(104)는 외과의가 자신이 수술 부위를 실제로 직접 내려다보고 있다고 느끼도록 배향되는 투영된 이미지를 표시하도록, 외과의의 손 가까이에 위치될 수 있다. 이를 위해, 도구들(301, 302, 303)의 이미지들[이미지 캡처 디바이스(340)의 뷰에서 보이는 경우]은 외과의의 손들이 위치되는 곳에 실질적으로 위치된 것으로 보일 수 있다.

추가로, 바람직하게는 외과의가 마치 실질적으로 실제 존재하는 작업공간을 보고 있는 것처럼 도구들(301, 302, 303)의 각각의 엔드 이펙터들(321, 322, 332)을 그것들의 대응하는 제어 디바이스들을 통해 조작할 수 있도록, 실시간 이미지가 투시 이미지(perspective image) 내에 투영된다. 실제 존재(true presence)는, 이미지의 제시가 도구들(301, 302, 303)을 물리적으로 조작하고 있는 조작자의 시점을 시뮬레이트하는 진정한 투시 이미지임을 의미한다. 따라서, 제어 시스템(102)은 도구들(301, 302, 303)의 좌표들을 인지되는 위치(perceived position)로 변환하고, 그에 의해 투시 이미지는 이미지 캡처 디바이스(140)가 도구들(301, 302, 303) 바로 뒤에 위치하는지를 알 수 있게 하는 이미지로 된다.

제어 시스템(102)은 시스템(100) 내에서 다양한 기능들을 수행한다. 그것이 수행하는 하나의 중요한 기능은 제어 디바이스들(108, 109)의 기계적 움직임을 변환하고, 버스(110)를 통한 제어 신호들을 통해 원격조작 암 어셈블리(200)에 전달하여, 외과의가 도구들(301, 302, 303)을 효과적으로 조작할 수 있게 하는 것이다.

제어 시스템(102)이 프로세서를 갖는 것으로 설명되었지만, 제어 시스템(102)은 실제로 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합에 의해 구현될 수 있음을 알아야 한다. 또한, 본 명세서에 설명된 그것의 기능들은 하나의 유닛에 의해 수행되거나 상이한 컴포넌트들로 나누어질 수 있으며, 컴포넌트들 각각은 결국 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합에 의해 구현될 수 있다. 또한, 제어 시스템(102)은 콘솔(10)의 일부로서 또는 콘솔에 물리적으로 인접하여 도시되었지만, 환자측 카트(120) 및/또는 원격조작 암 어셈블리(200)는 물론, 대안적으로는 콘솔(10)에 설치된 인쇄 회로 기판들 내에서와 같이, 시스템 전반에 걸쳐 분산된 다수의 서브유닛을 또한 포함할 수 있다.

본 명세서에 설명된 것과 같은 의료용 원격조작 시스템의 다양한 양태들의 구성 및 동작에 대한 추가의 상세들에 대해서는, 예를 들어 공동 소유되는 미국 특허 제6,493,608호의 "최소 침습 수술 장치의 제어 시스템의 양태들(Aspects of a Control System of a Minimally Invasive Surgical Apparatus)", 및 공동 소유되는 미국 특허 제6,671,581호의 "최소 침습 수술 장치에서의 카메라 참조 제어(Camera Referenced Control in a Minimally Invasive Surgical Apparatus)"를 참조하기 바라며, 그들의 전체 내용은 본 명세서에 참조에 의해 인용된다.

도 2는 엔트리 가이드(300)를 유지하고 있는 원격조작 암 어셈블리(200)의 개략적인 측면도(반드시 비례에 맞거나 완전하지는 않음)를 예로서 도시한다. 도구 가이드(270)는 환자의 최소 침습 절개부(150)를 통해 삽입되고, 가이드 홀더(240)에 의해 원격조작 암 어셈블리(200)에 연결된다. 다음으로, 엔트리 가이드(300)는 도구 가이드(270)를 통해 환자에게 삽입될 수 있다. 원격조작 암 어셈블리(200)는 환자측 카트(120)의 베이스(201)에 의해 기계적으로 지지된다.

암(200)의 링크들(202, 203)은 수평 셋업 조인트들(204, 205)을 통해 함께 연결되고 또한 베이스(201)에 연결된다. 이 예에서, 셋업 조인트들(204, 205)은 브레이크들이 해제될 때 암(200)의 수동 위치조정(manual positioning)을 허용하는 수동 조인트들(passive joints)이다. 예를 들어, 셋업 조인트(204)는 링크(202)가 축(206)에 대해 수동으로 회전되는 것을 허용하고, 셋업 조인트(205)는 링크(203)가 축(207)에 대해 수동으로 회전하는 것을 허용한다.

이 예에서는 2개의 링크 및 2개의 셋업 조인트만이 도시되어 있지만, 본 발명과 관련하여 이러한 원격조작 암 어셈블리 및 다른 원격조작 암 어셈블리들에서 적절한 대로 더 많거나 더 적은 각각의 링크 및 셋업 조인트가 사용될 수 있다. 예를 들어, 셋업 조인트들(204, 205)은 암(200)의 수평 위치조정에 유용하지만, 추가적인 셋업 조인트들이 포함될 수 있고, 암(200)의 제한된 수직 및 각도 위치조정에 유용할 수 있다. 그러나, 암(200)의 주요 수직 위치조정에 대해, 암(200)은 또한 베이스(201)의 수직 축을 따라 활주식으로(slidably) 이동될 수 있고, 제 위치에 고정될 수 있다.

원격조작 암 어셈블리(200)는 또한 2개의 능동 조인트(active joints), 및 모터들에 의해 구동되는 다수의 기어를 포함한다. 요 조인트(yaw joint)(210)는 암 섹션(230)이 축(261) 주위로 회전하는 것을 허용하고, 피치 조인트(220)는 암 섹션(230)이 축(261)의 그것에 수직하고 도면의 평면에 직교하는 축에 대해 회전하는 것을 허용한다. 인터페이스(304)는 종래의 조인트들, 케이블 및 도르래 시스템들을 통해 수술 도구들(338, 339) 및 이미지 캡처 유닛(340)의 이동을 작동시키는 모터 구동 기어들과 같은 엔트리 가이드(300)의 근위 단부(proximal end) 및 캐리지(245) 상의 메이팅 부분들을 포함한다.

암 섹션(230)은 피치 조인트(220)가 자신의 모터에 의해 회전될 때 섹션들(231, 232)이 항상 서로 평행하도록 구성된다. 결과적으로, 엔트리 가이드(300)는, 일반적으로 셋업 조인트들(204, 205)의 수동 위치조정을 통해 환자에의 엔트리 포인트에 있도록 위치되는 피벗 포인트(262)에 대해 피봇하도록 요 및 피치 모터들을 구동함으로써 제어가능하게 이동될 수 있다. 추가로, 엔트리 가이드(300)는 암 섹션(230) 상의 캐리지(245)에 연결되고, 캐리지는 결국 엔트리 가이드(300)를 그것의 삽입 축(263)을 따라 연장 또는 수축시키기 위한 선형 구동 메커니즘에 연결된다.

요 조인트(210), 피치 조인트(220), 및 캐리지(245) 내의 모터 구동 기어들 각각은 개별 조인트 또는 기어 제어기에 의해 제어되지만, 제어기들은 공통 마스터/슬레이브 제어 시스템에 의해 제어될 수 있고, 그에 의해 엔트리 가이드(300)의 의료용 디바이스들은 사용자(예를 들어, 외과의 또는 조작자)가 그것의 연관된 제어 디바이스를 조작하는 것을 통해 제어될 수 있다.

도 3은 엔트리 가이드(300)의 원위 단부(distal end)의 사시도를 예로서 도시한다. 엔트리 가이드(300)는 의료 절차를 수행하기 위한 제거가능한 수술 도구들(301, 302, 303), 및 환자 내의 수술 부위에서의 절차를 보기 위한 제거가능한 이미지 캡처 유닛(340)을 포함한다. 3개의 제거가능한 수술 도구가 도시되어 있지만, 대안적인 실시예에서 더 많거나 더 적은 수의 수술 도구가 구현될 수 있다. 도구들(301, 302, 303) 각각과 이미지 캡처 유닛(340)은 엔트리 가이드(300)의 내부 코어에 형성된 별도의 내강(lumen)을 통해 연장된다. 다음으로, 의료 절차를 수행하는 동안 또는 의료 절차의 수행을 준비할 때의 수술 도구들(301, 302, 303) 중 하나 또는 모두의 교체는, 보조자가 더 이상 필요하지 않은 도구를 그것의 내강으로부터 제거하고, 트레이(T)로부터의 대체 도구(131)를 비어있는 내강에 삽입함으로써 도구를 대체 도구(131)로 교체하는 것에 의해 달성될 수 있다. 대안적으로, 미사용 내강들이 이용가능한 경우에는, 이미 위치되어 있는 임의의 다른 도구들을 제거하지 않고서도, 추가 도구가 그러한 이용가능한 내강들 중 하나를 통해 삽입될 수 있다.

이미지 캡처 디바이스(340)는 바람직하게는 수술 부위의 3차원 이미징을 위한 입체 카메라 쌍(342, 343)(및/또는 단일 양안 카메라), 및 캡처된 이미지들 내의 객체들의 가시성을 증강시키기 위한 발광 다이오드(LED) 또는 외부 소스로부터의 광을 운반하는 광섬유 번들(fiber optics bundle)과 같은 조명 디바이스(344)를 포함한다. 또한, 수술용 또는 진단용으로 해부학적 구조를 "관찰"하기 위해, 초음파 프로브와 같은 보조 이미지 캡처 유닛들이 엔트리 가이드(300)의 이용가능한 내강에 제공될 수 있다.

일부 실시예들에서, 캐뉼라 또는 오버튜브(310)는 또한 엔트리 가이드의 내부 코어 및 그를 통해 삽입되는 의료용 디바이스들(즉, 수술 도구들 및 이미지 캡처 유닛들)을 보호하기 위해 엔트리 가이드(300) 내에 또한 포함된다. 오버튜브(310)는 강성(rigid)일 수 있다. 대안적으로, 오버튜브(310)가 신체 내강을 통해 환자의 수술 부위까지 이동할 때 신체 내강의 형상들을 추종할 수 있도록, 오버튜브는 가요성 재료로 형성되거나, 능동적으로 및/또는 수동적으로 굴곡가능한(bendable) 섹션들을 포함할 수 있다.

수술 도구들(301, 302, 303) 각각은 그들 각각의 엔드 이펙터들(321, 322, 332)이 손목 메커니즘(wrist mechanism)에 의해 연결되는, 제어가능하게 연장가능하고 회전가능하며 굴곡가능한 암을 갖는다. 예를 들어, 수술 도구(303)는 원위 조인트들(334, 336)에 의해 연결된 3개의 링크(331, 333, 335), 및 엔드 이펙터(332)를 연결하는 손목 메커니즘(327)을 포함한다. 근위 링크(335)는 종축(352)[일반적으로, 단일 포트 디바이스(300)의 삽입 축(263)에 평행함]을 따라 제어가능하게 연장가능하고 수축가능하며, 삽입 축(352)에 대해 제어가능하게 회전가능하다. 한편, 중간 링크(333)는 링크(335)에 대한 원위 조인트(336)에 의해 제어가능하게 굴곡가능하고, 원위 링크(331)는 링크들(333, 335)에 연결되고, 그것의 굴곡 각도가 링크(333)의 방향과 반대 방향이 되고 결과적으로 링크들(331, 335)이 평행한 정렬을 유지하도록 원위 조인트(334)에 의해 굴곡가능하다.

수술 도구들(301, 302)의 암들은 수술 도구(303)의 암과 유사하게 구성된다. 손목 메커니즘(327)의 일례에 대한 추가 상세들은 공동 소유되는 미국 특허 제6,817,974호 "적극적으로 위치조정이 가능한 텐돈 작동 멀티디스크 손목 조인트를 갖는 수술 도구(Surgical Tool Having Positively Positionable Tendon-Actuated Multi-Disk Wrist Joint)"에 제공되며, 그것의 전체 내용은 참조에 의해 본 명세서에 포함된다.

또한, 이미지 캡처 디바이스(340)는 적어도, 이미지 캡처 유닛(340)이 자신의 종축[단일 포트 디바이스(300)의 삽입 축(263)에 평행할 수 있음]을 따라 삽입/수축하는 것, 및 수술 절차 동안 수술 도구들을 올바르게 보도록 수술 도구들(338, 339) "위로" 이미지 캡처 디바이스(340)의 충분한 높이를 달성하기 위한 피치 모션을 용이하게 하는, 제어가능하게 연장가능하고 회전가능하며 굴곡가능한 암(345)을 갖는다. 또한, 이미지 캡처 디바이스(340)에 대한 추가적인 위치조정 및 배향 능력들을 용이하게 하기 위해, 이미지 캡처 디바이스의 삽입 축에 대한 이미지 캡처 디바이스(340)의 롤 각도 이동(roll angular movement)과 같은 추가의 자유도들이 제공될 수 있다. 증강된 조종성(maneuverability)을 위해, 이미지 캡처 암(345)은 수술 도구들(301, 302, 303)의 제어가능하게 굴곡가능하고 회전가능하며 연장가능한 암들과 같이 굴곡가능한 것일 수 있다.

엔트리 가이드(300)는 도구들(301, 302, 303)의 종축들이 대체로 Z축과 정렬되는 XYZ 좌표계에 의해 참조되는 수술 환경에서 동작한다.

도 4는 환자 해부구조[예를 들어, 환자(40)] 내부의 수술 환경의 디스플레이(400)이다. 디스플레이(400)는 예를 들어 모니터들(104, 140) 중 하나 또는 둘 다에 제시될 수 있다. 이미징 기구[예컨대, 이미징 기구(340)]는 수술 환경 내의 이미징 기구의 시야의 이미지(402)를 생성하기 위해 사용된다. 이미지(402)는 입체 내시경(stereoscopic endoscope)에 의해 획득되고 우안 및 좌안 디스플레이들을 통해 사용자에게 보이는 이미지들의 합성 이미지로서 생성되는 3차원 이미지일 수 있다. 수술 환경 좌표계는 Z축이 이미지(402)의 평면의 안과 밖으로 대체로 수직하게 연장되도록 정의된다. 시야는 기구(404)의 원위 단부, 기구(406)의 원위 단부, 및 기구(408)의 원위 단부의 이미지를 포함한다. 기구들(404, 406, 408)은 도구들(301, 302, 303)과 동일하거나 실질적으로 유사할 수 있다. 디스플레이(400)는 또한 임상의에 대한 지시사항들, 경고들, 기구 식별 정보, 상태 정보, 또는 수술 절차에 관련된 다른 정보를 포함할 수 있는, 이미지(402)의 주변에 위치되는 정보 필드들(410)을 포함한다.

또한, 디스플레이(400)는 기구들(404, 406, 408)의 원위 단부들의 합성 렌더링을 제공하는 기구 내비게이터(412)를 포함한다. 기구 내비게이터(412)는 외과의(20)가 기구들의 구성을 시각화(visualize)하고 이미지(402)를 제공하는 이미징 기구의 시야 밖에 있을 수 있는 기구들을 시각화하는 것을 허용하기 위해, 수술 환경 내에 위치된 가상 카메라의 관점으로부터 렌더링된다. 내비게이터는 이미지(402)와 함께 중첩되거나 다르게 그래픽으로 통합되거나 제시된다. 기구 내비게이터(412)는 원격조작 암 어셈블리 및 기구들에 관한 운동학적 정보(예를 들어, 강성 컴포넌트들의 알려진 길이들, 및 조인트들의 명령된, 감지된 또는 달리 알려진 배향들), 및 엔트리 가이드 및 기구들의 위치 및 배향에 관한 센서 정보와 같은, 원격조작 시스템(100)으로부터의 정보를 사용하여 합성적으로 렌더링될 수 있다. 보조 기구 이미지들의 합성 렌더링은 미국 특허 출원 제12/163,087호 "엔트리 가이드의 원위 단부 밖으로 연장되는 관절형 기구들의 보조 뷰를 제공하는 의료용 로봇 시스템(Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide)"에 개시되며, 그것의 전체내용은 참조에 의해 본 명세서에 포함된다.

도 5는 기구 내비게이터(420)를 도시한다. 기구 내비게이터(420)는 종축 A에 평행한 YZ 평면 내에 위치된 가상 카메라의 관점으로부터의 합성 기구 렌더링이다. 이러한 관점은 일반적으로 이미징 기구(340)의 관점에 대해 횡방향이다. 축 A는 기구들(404, 406, 408) 및 이미지 캡처 기구(422)[예를 들어, 디바이스(340)]를 포함하는 엔트리 가이드를 통해 연장되고, 이들 모두는 캐뉼러(424)로부터 연장된다. 본 예에서, 내비게이터(420)는 엔트리 가이드의 측면 뷰인 것으로 고려된다. 내비게이터(420)는 또한 뷰어가 이미지(402)와 내비게이터(420)를 조화시키는 것을 돕기 위해 이미지 캡처 디바이스(422)의 시야(426)를 도시한다. 내비게이터(420)의 관점은 Z 방향에서의 기구 깊이 및 이동, 및 Y 방향에서의 상하 위치 및 움직임의 시각화를 제공하지만, X 방향에서의 이동에 관한 정보는 거의 제공하지 않는다. 이러한 관점은 또한 기구 번들의 반대 측에 있는 기구(404)와 같은 기구의 일부를 모호하게 할 수 있다.

도 6은 기구 내비게이터(430)를 도시한다. 기구 내비게이터(430)는 종축(A)에 평행한 XZ 평면 내에 위치된 가상 카메라의 관점으로부터의 합성 기구 렌더링이다. 이러한 관점은 일반적으로 이미징 기구(340)의 관점에 대해 횡방향이다. 이러한 예에서, 가상 카메라로부터의 이미지는 합성 기구 렌더링(430)을 생성하기 위해 Z축에 대해 횡방향으로 반전된다(즉, Z축에 대해 뒤집어짐). 이미지의 반전은 기구들의 좌우 배향을 카메라 이미지(402) 내의 기구들과 대응시켜 유지한다. 내비게이터(430)는 엔트리 가이드의 미러링된 밑면 뷰로 고려된다. 내비게이터(430)의 관점은 Z 방향에서의 기구 깊이 및 이동, 및 X 방향에서의 횡방향 위치 및 움직임의 시각화를 제공하지만, Y 방향에서의 이동에 관한 정보는 거의 제공하지 않는다.

대안적인 예에서, 상면 뷰 기구 내비게이터의 합성 렌더링은 밑면 내비게이터(430)를 생성하는 가상 카메라의 관점으로부터 Z축에 대해 180° 회전하여, 종축 A에 평행한 XZ 평면에 위치된 가상 카메라의 관점으로부터 생성될 수 있다. 이러한 관점은 또한 일반적으로 이미징 기구(340)의 관점을 횡단한다. 이러한 예에서, 가상 카메라로부터의 이미지는 Z축에 대해 횡방향으로 반전되지 않는다. 또한, 상면 뷰 내비게이터의 관점은 Z 방향에서의 기구 깊이 및 이동, 및 X 방향에서의 횡방향 위치 및 움직임의 시각화를 제공하지만, Y 방향에서의 이동에 관한 정보는 거의 제공하지 않는다. 이러한 관점은 또한 기구 번들의 반대 측에 있는 기구와 같은 기구의 일부를 가릴 수 있다.

이러한 2차원 시점들[즉, 내비게이터(420, 430)] 각각은 기구들 중 하나 이상을 가리고, 이동의 세번째 차원에 관한 제한된 정보를 제공하므로, 뷰어가 2개의 내비게이터를 교대하도록 허용하는 것은 기구들의 3차원 이동 및 위치에 관한 더 완전한 정보를 제공할 수 있다. 내비게이터들은 내비게이터들 사이를 토글하기 위해 외과의 콘솔(10)에서 수동 스위치를 작동시키는 것과 같은 완전 수동 트리거링 이벤트에 기초하여 교대될 수 있다. 스위치 활성화와 같은 반복된 아날로그 입력들은 외과의(20)에게 힘든 일이 될 수 있고, 따라서 2차원 단일 뷰에서 번들 기구들 전부의 뷰를 제공하는 다른 유형의 내비게이터들, 및 더 적은 사용자 입력을 필요로 하는 뷰들을 교대하기 위한 다른 기술들은 사용자 경험을 향상시킬 수 있고, 의료 절차를 수행하기 위해 더 유용한 정보를 제공할 수 있다.

도 7은 도 8에 더 상세하게 도시된 기구 내비게이터(440)와 함께 도 4의 디스플레이(400)를 도시한다. 기구 내비게이터(440)는 종축(A)을 따라 기구들의 XY 평면 원위에 위치된 가상 카메라의 관점으로부터의 합성 기구 렌더링이다. 이 예에서, 합성 기구 렌더링(440)을 생성하기 위해, 가상 카메라로부터의 이미지는 Y축에 대해 횡방향으로 반전된다(즉, Y축에 대해 뒤집어진다). 따라서, 내비게이터(420)는 엔트리 가이드의 미러링된 정면 뷰인 것으로 고려된다. 이러한 미러링된 뷰에서, 모든 4개의 기구(404, 406, 408, 422)가 보인다. 추가로, 이미지의 반전은 기구들의 좌우 배향을 카메라 이미지(402) 내의 기구들에 대응시켜 유지한다. 내비게이터(440)의 관점은 Y 방향에서의 기구들의 상하 위치 및 움직임의 시각화를 제공하고, 또한 X 방향에서의 기구의 횡방향 위치 및 움직임의 시각화를 제공한다. 그러나, 이러한 관점은 Z 방향에서의 기구 이동에 대한 정보는 거의 제공하지 않을 수 있다.

외과의(20)에게 기구들의 위치, 배향 및 이동에 관한 완전한 세트의 정보를 제공하기 위해, 사용자 입력, 또는 현재 시스템 상태 및/또는 동작 모드에 응답하여 상이한 내비게이터 렌더링들이 제공될 수 있다.

도 9는 일부 실시예들에 따른 기구 내비게이터 렌더링을 디스플레이하기 위한 방법(500)을 도시한다. 방법(500)은 동작들 또는 프로세스들(502-506)의 세트로서 도시된다. 도시된 프로세스들(502-506) 모두가 방법(500)의 모든 실시예들에서 수행되는 것은 아닐 수 있다. 추가로, 도 9에 명시적으로 도시되지 않은 하나 이상의 프로세스는 프로세스들(502-508)의 전, 후, 중간에, 또는 그것들의 일부로서 포함될 수 있다. 일부 실시예들에서, 프로세스들(502-508) 중 하나 이상은 임의적(optional)이며, 생략될 수 있다.

프로세스(502)에서, 복수의 원격조작 기구의 합성 렌더링이 디스플레이 디바이스 상에 디스플레이된다. 합성 렌더링은 예를 들어, 정면 미러 뷰 내비게이터(440), 측면 뷰 내비게이터(420), 또는 오버헤드 뷰 내비게이터(430)일 수 있다. 일부 실시예들에서, 제1 합성 렌더링으로서 제공되는 디폴트 내비게이터는 내비게이터(440)일 수 있다. 프로세스(504)에서, 트리거링 이벤트는 원격조작 시스템(100)에 의해 인식된다. 트리거링 이벤트는 수동 스위치의 활성화, 풋 페달 밟기, 음성 명령, 또는 다른 사용자 입력과 같은 외과의 콘솔(10)에서의 사용자 입력일 수 있다.

대안적으로, 트리거링 이벤트는 동작 모드에서의 변화와 같은 시스템 상태의 변화일 수 있다. 원격조작 시스템(100)은 사용자 입력부들(108, 109)의 이동이 기구들 중 하나 이상의 이동을 직접 제어하는 기구 제어 모드를 포함하는 다양한 동작 모드를 포함할 수 있다. 시스템(100)은 또한 기구들의 마스터/슬레이브 제어가 일시중지되고 조종기 어셈블리의 수동 재구성이 보조자(30)에 의해 수행될 수 있는 클러치 모드를 포함할 수 있다. 시스템(100)은 기구들 중 하나 이상이 교환되는 안내되는 도구 변경 모드를 또한 포함할 수 있다. 시스템(100)은 또한 엔트리 가이드(300) 및 부착된 기구들이 이동되는 카메라 조정 및 재배치 모드들을 포함할 수 있다. 시스템(100)은 또한 엔트리 가이드(300)의 이미징 기구만이 이동가능한 카메라 제어 모드를 포함할 수 있다.

프로세스(506)에서, 트리거링 이벤트에 응답하여, 내비게이터의 상이한 합성 렌더링이 디스플레이될 수 있다. 임의로, 후속 트리거링 이벤트가 인식되는 경우, 시스템은 제1 내비게이터, 또는 제1 또는 제2 내비게이터가 아닌 내비게이터를 디스플레이할 수 있다.

방법(500)의 예로서, 원격조작 시스템이 공통 동작 마스터/슬레이브 기구 제어 모드에 있을 때, 디폴트 내비게이터는 정면 미러 뷰 내비게이터(440)일 수 있다. 원격조작 시스템이 클러치 또는 안내되는 도구 변경 모드로 전이할 때, 내비게이터는 외과의에게 Z 방향에서의 이동에 관한 정보를 제공하고 외과의가 이미징 기구 시야의 밖에 있을 수 있는 기구들을 시각화하는 것을 허용하기 위해 내비게이터(430)로 변경할 수 있다. 내비게이터(430)로의 전이는 외과의가 좌우 배향을 유지하는 것을 허용하지만, 좌우 배향이 덜 중요한 대안적인 실시예들에서는, 내비게이터(420)가 대신 디스플레이될 수 있다. 원격조작 시스템이 기구 제어 모드로 다시 전이할 때, 모드 변경이 검출될 수 있고 내비게이터가 내비게이터(440)로 다시 변경된다.

방법(500)의 대안적인 예에서, 디폴트 내비게이터로부터 변경하기 전에 다수의 조건이 만족될 필요가 있을 수 있다. 예를 들어, 원격조작 시스템이 공통 마스터/슬레이브 기구 제어 모드에 있을 때, 디폴트 내비게이터는 정면 미러 뷰 내비게이터(440)일 수 있다. 원격조작 시스템이 카메라 조정, 재배치 또는 제어 모드 중 하나로 전이할 때, 내비게이터는 제2 이벤트가 인식될 때까지 내비게이터(440)를 유지할 수 있다. 제2 이벤트는 원격조작 시스템에 의해 적어도 하나의 기구가 이미징 기구 시야의 밖에 있음을 인식하는 것일 수 있다. 두 조건 모두가 충족될 때(즉, 카메라 모드로의 진입, 및 기구가 시야 밖에 있다는 인식)에만, 내비게이터는 외과의에게 Z 방향에서의 이동에 관한 정보를 제공하고 외과의가 이미징 기구 시야 밖에 있을 수 있는 기구들을 시각화하는 것을 허용하기 위해, 내비게이터(440)로부터 내비게이터(430)로 변경된다. 원격조작 시스템이 기구 제어 모드로 다시 전이되거나 기구들 전부가 시야에 들어올 때, 모드 및 상태 변경이 검출되고, 내비게이터는 다시 내비게이터(440)로 변경된다.

도 10은 일부 실시예들에 따른 기구 내비게이터 렌더링을 디스플레이하기 위한 방법(600)을 도시한다. 방법(600)은 동작들 또는 프로세스들(602-608)의 세트로서 도시된다. 도시된 프로세스들(602-608) 모두가 방법(600)의 모든 실시예들에서 수행되는 것은 아닐 수 있다. 추가로, 도 10에 명시적으로 도시되지 않은 하나 이상의 프로세스는 프로세스들(602-608)의 전, 후, 중간에, 또는 그것들의 일부로서 포함될 수 있다. 일부 실시예들에서, 프로세스들(602-608) 중 하나 이상은 임의적이며, 생략될 수 있다.

프로세스(602)에서, 복수의 원격조작 기구의 합성 렌더링이 디스플레이 디바이스 상에 디스플레이된다. 합성 렌더링은 예를 들어, 정면 미러 뷰 내비게이터(440), 측면 뷰 내비게이터(420), 또는 밑면 뷰 내비게이터(430) 또는 상면 뷰 내비게이터일 수 있다. 일부 실시예들에서, 제1 합성 렌더링으로서 제공되는 디폴트 내비게이터는 내비게이터(440)일 수 있다. 프로세스(604)에서, 트리거링 이벤트는 원격조작 시스템(100)에 의해 인식된다. 트리거링 이벤트는 예를 들어 위에서 설명된 동작 모드의 변경과 같은 시스템 상태의 변경일 수 있다.

프로세스(606)에서, 트리거링 이벤트의 인식에 응답하여 아날로그 내비게이터 제어부(analog navigator control)가 인에이블된다. 아날로그 내비게이터 제어부는 예를 들어 회전식 손잡이, 선형 슬라이더, 또는 상이한 내비게이터들 사이의 부드럽고 연속적인 전이를 허용하는 외과의 콘솔(10)에서의 다른 유형의 제어부일 수 있다.

프로세스(608)에서, 인에이블된 아날로그 내비게이터 제어부의 활성화에 응답하여, 내비게이터의 상이한 합성 렌더링이 디스플레이될 수 있다. 이러한 제2 렌더링은 제1 내비게이터 뷰와 다른 내비게이터 뷰 사이의 혼합이며, 이것은 아날로그 내비게이터 제어부에 의해 연속적으로 조정된다. 하나의 대안적인 실시예에서, 이러한 연속적인 전이는 2개의 내비게이터 뷰 사이에서 가상 카메라의 위치를 부드럽게 이동시킴으로써 달성될 수 있다. 따라서, 이러한 예에서, 트리거링 이벤트만으로는 제2 내비게이터의 즉각적인 디스플레이를 유발하지 않는다. 트리거링 이벤트 및 인에이블된 내비게이터 제어부의 활성화 둘 다가 제2 내비게이터의 디스플레이를 위한 전제조건이다. 임의로, 프로세스(610)에서, 아날로그 내비게이터 제어부는, 아날로그 내비게이터 제어부가 해제될 때 제어부가 디폴트 초기 위치로 되돌아 오게 하는 복귀 특징을 가질 수 있다. 아날로그 내비게이터 제어부가 디폴트 초기 위치로 복귀할 때, 디스플레이는 다시 제1 합성 렌더링으로 변경된다. 아날로그 내비게이터 제어부는 예를 들어 외과의가 좌 및 우 측면 뷰 내비게이터들 사이를 토글하는 것을 허용하기 위해 양방향성일 수 있다. 하나의 대안적인 실시예에서, 아날로그 내비게이터 제어부 동작은 롤 축에 대한 사용자 입력 디바이스(108, 109)의 움직임일 수 있다.

도 11은 일부 실시예들에 따라 기구 내비게이터 렌더링을 디스플레이하기 위한 방법(700)을 도시한다. 방법(700)은 동작들 또는 프로세스들(702-706)의 세트로서 도시된다. 도시된 프로세스들(702-706) 모두가 방법(700)의 모든 실시예들에서 수행되는 것은 아닐 수 있다. 추가로, 도 10에 명시적으로 도시되지 않은 하나 이상의 프로세스는 프로세스들(702-706)의 전, 후, 중간에, 또는 그것들의 일부로서 포함될 수 있다. 일부 실시예들에서, 프로세스들(702-706) 중 하나 이상은 임의적이며, 생략될 수 있다.

프로세스(702)에서, 복수의 원격조작 기구의 합성 렌더링이 기구들의 관점 원위(perspective distal)로부터 생성된다. 프로세스(704)에서, 생성된 합성 렌더링은 횡방향으로 반전된다. 프로세스(706)에서, 횡방향으로 반전된 합성 렌더링이 디스플레이된다. 방법(700)의 일례는 정면 미러 뷰 내비게이터(440)의 디스플레이를 생성하기 위해 사용된다. 초기 합성 렌더링은 기구들의 XY 평면 원위에 위치되고 종축(A)에 수직한 가상 카메라의 관점으로부터 나오는 것이다. 이러한 초기 렌더링은 카메라 이미지(402)와 내비게이터(440)에서의 기구들의 좌우 배향이 동일한 더 직관적인 미러링된 뷰를 제공하기 위해, Y축에 대해 뒤집어지거나 횡방향으로 반전된다.

본 발명의 실시예들 내의 하나 이상의 요소는 제어 처리 시스템과 같은 컴퓨터 시스템의 프로세서 상에서 실행되도록 소프트웨어로 구현될 수 있다. 소프트웨어로 구현될 때, 본 발명의 실시예들의 요소들은 본질적으로 필요한 작업을 수행하기 위한 코드 세그먼트들이다. 전송 매체 또는 통신 링크를 통한 반송파로 구현되는 컴퓨터 데이터 신호에 의해 다운로드될 수 있는 프로그램 또는 코드 세그먼트들은 프로세서 판독가능한 저장 매체 또는 디바이스에 저장될 수 있다. 프로세서 판독가능한 저장 디바이스는 광학 매체, 반도체 매체, 및 자기 매체를 포함하는, 정보를 저장할 수 있는 임의의 매체를 포함할 수 있다. 프로세서 판독가능한 저장 디바이스의 예들은 전자 회로; 반도체 디바이스, 반도체 메모리 디바이스, 판독 전용 메모리(ROM), 플래시 메모리, 소거가능한 프로그래밍가능한 판독 전용 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학 디스크, 하드 디스크, 또는 다른 저장 디바이스를 포함한다. 코드 세그먼트들은 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크들을 통해 다운로드될 수 있다.

제시된 프로세스들 및 디스플레이들은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치에 관련되지 않을 수 있음에 유의해야 한다. 다양한 범용 시스템들이 본 명세서의 교시에 따른 프로그램들과 함께 사용될 수 있고, 또는 설명된 동작들을 수행하기 위해 더 특수화된 장치를 구성하는 것이 편리함이 판명될 수도 있다. 이러한 다양한 시스템들의 요구되는 구조는 청구항들에서 요소들로서 나타날 것이다. 추가로, 본 발명의 실시예들은 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 본 명세서에 설명된 본 발명의 교시들을 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있다는 것을 이해할 것이다.

본 발명의 특정한 예시적인 실시예가 설명되고 첨부 도면들에 도시되었지만, 그러한 실시예들은 폭넓은 발명을 예시할 뿐이고 그것을 제한하지 않으며, 본 기술분야의 통상의 기술자들에게는 다양한 다른 수정들이 떠오를 수 있으므로, 본 발명의 실시예들은 도시되고 설명된 특정한 구성들 및 배열들에 제한되지 않음을 이해해야 한다.

Claims

시스템으로서,
수술 환경(surgical environment)에서 복수의 기구(instrument)에 연결된 원격조작 조종기(teleoperational manipulator)를 포함하는 원격조작 어셈블리(teleoperational assembly)로서, 상기 복수의 기구는 단일 엔트리 포트를 통해 삽입가능한 엔트리 가이드 내의 번들 유닛으로서 구성되는, 원격조작 어셈블리; 및
하나 이상의 프로세서를 포함하는 처리 유닛을 포함하고,
상기 처리 유닛은:
상기 복수의 기구의 관점 원위로부터 상기 복수의 기구의 합성 렌더링을 생성하고,
상기 복수의 기구의 상기 합성 렌더링을 횡방향으로 반전하고,　
상기 복수의 기구의 횡방향으로 반전된 합성 렌더링을 디스플레이하도록 구성되고,
상기 관점은 상기 번들 유닛을 통하는 중심 종축을 따른 관점 평면(perspective plane)으로부터 나오는 것인, 시스템.
삭제
제1항에 있어서, 상기 복수의 기구 중 적어도 하나는 이미징 기구인, 시스템.
제3항에 있어서, 상기 처리 유닛은 상기 이미징 기구에 의해 캡처된 상기 수술 환경의 시야의 이미지를 디스플레이하도록 더 구성되는 시스템.
제4항에 있어서, 상기 합성 렌더링은 공통 디스플레이 윈도우에서 상기 시야의 이미지와 함께 디스플레이되는, 시스템.
제4항에 있어서, 상기 복수의 기구 중 적어도 하나는 상기 시야의 이미지에서 보이지 않는, 시스템.
제1항에 있어서, 상기 복수의 기구의 합성 렌더링은 상기 원격조작 어셈블리에 의해 결정된 상기 복수의 기구 각각의 기구 포즈들에 기초하여 생성되는, 시스템.
컴퓨터 처리 시스템에 의해 수행되는 방법으로서,
복수의 기구(instrument)의 관점 원위로부터 상기 복수의 기구의 합성 렌더링을 생성하는 단계로서, 상기 복수의 기구는 원격조작 어셈블리(teleoperational assembly)의 원격조작 조종기(teleoperational manipulator)에 결합되고 번들 유닛으로서 구성되고, 상기 관점은 상기 번들 유닛을 통하는 중심 종축을 따른 관점 평면(perspective plane)으로부터 나오는 것인, 단계;
상기 복수의 기구의 상기 합성 렌더링을 횡방향으로 반전시키는 단계; 및
상기 복수의 기구의 횡방향으로 반전된 합성 렌더링을 디스플레이하는 단계를 포함하는, 방법.
삭제
제8항에 있어서, 상기 복수의 기구 중 적어도 하나는 이미징 기구인, 방법.
제10항에 있어서, 상기 이미징 기구에 의해 캡처된 수술 환경의 시야의 이미지를 디스플레이하는 단계를 더 포함하는, 방법.
제11항에 있어서, 상기 합성 렌더링은 공통 디스플레이 윈도우에서 상기 시야의 이미지와 함께 디스플레이되는, 방법.
제11항에 있어서, 상기 복수의 기구 중 적어도 하나는 상기 시야의 이미지에서 보이지 않는, 방법.
제8항에 있어서, 상기 복수의 기구의 합성 렌더링은 상기 원격조작 어셈블리에 의해 결정된 상기 복수의 기구 각각의 기구 포즈들에 기초하여 생성되는, 방법.