KR20140121581A

KR20140121581A - 수술 로봇 시스템

Info

Publication number: KR20140121581A
Application number: KR1020130037938A
Authority: KR
Inventors: 하태신; 고원준; 권영도; 김경록; 최병권
Original assignee: 삼성전자주식회사
Priority date: 2013-04-08
Filing date: 2013-04-08
Publication date: 2014-10-16
Also published as: US20140303643A1; US9439733B2

Abstract

일 실시 예에 따른 수술 로봇 시스템은 수술 도구를 갖는 슬레이브 장치 및 상기 수술 도구의 동작을 제어하는 마스터 장치를 포함하고, 상기 마스터 장치는 포즈 인식 수단이 부착된 조작 도구를 갖는 마스터 조작 모듈 및 상기 포즈 인식 수단을 통해 획득된 포즈 정보를 이용하여 상기 조작 도구의 포즈를 추정하고, 추정된 조작 도구의 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하여 상기 슬레이브 장치로 전송하는 마스터 제어 모듈을 포함한다.

Description

수술 로봇 시스템{Surgical robot system}

수술 로봇 시스템이 개시된다. 더욱 상세하게는, 작업 공간 제약이 낮고, 조작자가 직관적으로 사용할 수 있는 수술 로봇 시스템이 개시된다.

최소 침습 수술(Minimal Invasive Surgery)이란 환부의 크기를 최소화하는 수술을 통칭한다. 최소 침습 수술은 인체의 일부(예: 복부)에 큰 절개창을 열고 시행하는 개복 수술과는 달리, 인체에 0.5㎝∼1.5㎝ 크기의 적어도 하나의 절개공(또는 침습구)을 형성하고, 이 절개공을 통해 내시경과 각종 수술도구들을 넣은 후 영상을 보면서 시행하는 수술 방법이다.

이러한 최소 침습 수술은 개복 수술과는 달리 수술 후 통증이 적고, 장 운동의 조기 회복 및 음식물의 조기 섭취가 가능하며 입원 기간이 짧고 정상 상태로의 복귀가 빠르며 절개 범위가 작아 미용 효과가 우수하다는 장점을 갖는다. 이와 같은 장점으로 인하여 최소 침습 수술은 담낭 절제술, 전립선암 수술, 탈장 교정술 등에 사용되고 있고 그 분야를 점점 더 넓혀가고 있는 추세이다.

일반적으로 최소 침습 수술에 이용되는 수술 로봇 시스템은 마스터 장치와 슬레이브 장치를 포함한다. 마스터 장치는 조작자(예: 의사)의 조작에 따른 제어신호를 생성하여 슬레이브 장치로 전송하고, 슬레이브 장치는 마스터 장치로부터 수신한 제어신호에 대응되는 수술 동작을 환자에게 가하게 되며, 마스터 장치와 슬레이브 장치를 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치한 상태에서 수술을 진행하고 있다.

마스터 장치는 조작자에 의해 조작되는 입력부를 구비하고, 조작자가 입력부를 조작함으로써 슬레이브 장치의 수술 동작을 원격으로 제어할 수 있다. 여기에서, 슬레이브 장치에 마련된 수술 도구에 충돌이 발생하는 경우 이에 대응되는 포스 피드백(force feedback)을 입력부로 제공함으로써, 조작자가 슬레이브 장치의 수술 도구에 충돌이 발생했음을 감지할 수 있도록 하고 있는데, 이를 위해 입력부는 마스터 장치의 본체에 기구적으로 연결된 상태이어야 하고, 이에 따라 조작자의 워크스페이스에 제약이 발생한다. 또한, 입력부는 일반적으로 실제 수술 도구와는 다른 형상으로 구비되는데, 이러한 형상의 입력부 조작에 익숙해지기까지 상당한 시간이 소모된다.

조작자가 직관적으로 조작 가능하며, 작업 공간 제약이 낮은 수술 로봇 시스템을 제공하는 것이다.

도 1은 수술 로봇 시스템의 외관을 도시한 도면이다.
도 2는 도 1의 마스터 장치를 구체적으로 도시한 사시도이다.
도 3은 마스터 조작 모듈을 구체적으로 도시한 도면이다.
도 4는 수술 로봇 시스템의 구성요소를 개략적으로 도시한 블럭도이다.
도 5는 도 4의 마스터 장치에 카메라가 더 포함된 예를 도시한 블럭도이다.
도 6은 도 4의 마스터 조작 모듈에 RF 수신 노드가 더 포함되고, 마스터 장치에 RF 송신 노드가 더 포함된 예를 도시한 블럭도이다.
도 7은 도 6의 마스터 장치에 카메라가 더 포함된 예를 도시한 블럭도이다.
도 8은 도 7의 마스터 조작 모듈에 진동 모터 및 모터 구동부가 더 포함된 예를 도시한 블럭도이다.
도 9는 도 4의 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이다.
도 10은 도 5의 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이다.
도 11은 도 6의 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이다.
도 12는 도 7의 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이다.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시 예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서에서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.

이하, 첨부된 도면들을 참조하여 본 실시 예를 상세히 설명하기로 한다.

도 1은 수술 로봇 시스템의 외관을 도시한 도면이고, 도 2는 도 1의 마스터 장치를 구체적으로 도시한 사시도이며, 도 3은 마스터 조작 모듈을 구체적으로 도시한 도면이고, 도 4는 수술 로봇 시스템의 구성요소를 개략적으로 도시한 블럭도이다.

도 1을 참조하면, 수술 로봇 시스템은 크게 수술대에 누워있는 환자(P)에게 수술을 행하는 슬레이브 장치(200)와 조작자(예로써, 의사)(S)의 조작을 통해 슬레이브 장치(200)를 원격 제어하는 마스터 장치(100)를 포함할 수 있다. 이때, 도 1과 같이, 조작자(S)를 보조할 보조자(A)가 환자(P) 측에 한 명 이상 위치할 수 있다.

여기에서, 조작자(S)를 보조한다는 것은 환자(P)가 위치하는 실제 공간에서 조작자(S)의 조작에 의해 이루어지는 수술 작업을 보조하는 것을 의미할 수 있으며, 예를 들어, 사용되는 수술 도구의 교체 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다. 예를 들어, 수술 종류에 따라 수술 작업에 다양한 수술 도구가 사용될 수 있는데, 슬레이브 장치(200)의 로봇 암(210) 개수는 제한적이므로, 한 번에 장착될 수 있는 수술 도구의 개수 역시 제한적이다. 이에 따라, 수술 작업이 진행되는 과정에서 수술 도구를 교체할 필요가 있는 경우, 조작자(S)는 환자(P) 측에 위치한 보조자(A)에게 수술 도구를 교체하도록 지시하고, 보조자(A)는 지시에 따라 슬레이브 장치(200)의 로봇 암(210)으로부터 교체 지시를 받은 수술 도구를 제거하고, 트레이(T)에 놓인 수술 도구들(220′) 중 교체 대상 수술 도구(220′)를 로봇 암(210)에 장착할 수 있다.

마스터 장치(100)와 슬레이브 장치(200)는 물리적으로 독립된 별도의 장치로 분리 구성될 수 있으나, 특별히 이에 한정되는 것은 아니며, 예로써 하나로 통합된 일체형 장치로 구성되는 것 역시 가능할 것이다.

본 실시 예에 따른 마스터 장치(100)는 도 1에 도시한 바와 같이, 크게 마스터 조작 모듈(110) 및 마스터 제어 모듈(130)을 포함한다.

마스터 조작 모듈(110)은 슬레이브 장치(200)의 수술 도구(220) 동작 제어를 위한 제어신호를 생성하기 위해 조작자(S)가 조작을 가하는 구성으로, 조작자(S)가 잡고 조작할 수 있는 조작 도구(T) 및 조작 도구(T)에 부착되어 움직이는 조작 도구(T)의 포즈 정보를 획득하는 포즈 인식 수단을 포함할 수 있다. 여기에서, "포즈 정보"는 3차원 공간상의 위치 정보 및 자세 정보를 모두 포함할 수 있다.

또한, 마스터 제어 모듈(130)은 상술한 포즈 인식 수단을 통해 획득한 포즈 정보에 기초하여 조작 도구(T)의 포즈를 추정하고, 추정된 포즈에 대응되는 수술 도구(220) 포즈 제어신호를 생성하여 슬레이브 장치(200)로 전송하는 역할을 할 수 있다.

본 실시 예에서 마스터 조작 모듈(110)과 마스터 제어 모듈(130)은 물리적으로 독립된 별도의 구성으로 분리하여 구현할 수 있으나, 특별히 이에 한정되는 것은 아니다. 다만, 이와 같이 구현함에 따라, 조작자가 마스터 장치의 본체에 물리적으로 연결되어 있는 종래의 입력장치를 조작하는 것과 비교하여 편리한 조작이 가능하고, 워크스페이스(workspace)에 제약이 발생하는 문제가 해결될 수 있다.

또한, 이와 같이 마스터 조작 모듈(110)과 마스터 제어 모듈(130)을 물리적으로 독립된 구성으로 구현함에 따라, 마스터 조작 모듈(110)과 마스터 제어 모듈(130)은 서로 무선 통신 방식을 통하여 데이터를 송수신할 수 있으며, 이를 위해 마스터 조작 모듈(110) 및 마스터 제어 모듈(130)은 각각 RF 송수신부(116, 134)를 구비할 수 있다. 또한, 마스터 조작 모듈(110)은 포함하고 있는 모든 구성요소들에 전원을 공급하기 위한 전원부(112)를 별도로 구비할 수 있다(도 4 참조). 이때, 전원부(112)로는 배터리(battery) 등이 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다.

이하, 마스터 조작 모듈(110) 및 마스터 제어 모듈(130)의 구체적인 구성요소 및 동작에 대하여 설명한다.

마스터 조작 모듈(110)은 도 3 및 도 4에 도시한 바와 같이, 손잡이(TH) 및 몸체(TB)를 포함하는 조작 도구(T), 조작 도구(T)에 마련되어 조작 도구(T)의 포즈(pose) 정보를 획득하는 포즈 인식 수단, 마스터 제어 모듈(130)과 무선으로 데이터를 송수신하기 위한 RF 송수신부(116) 및 상기 포즈 인식 수단을 구동시켜 조작 도구(T)의 포즈 정보를 획득하고, 획득한 포즈 정보를 RF 송수신부(116)를 통하여 마스터 제어 모듈(130)로 전송하는 제1제어부(111)를 포함할 수 있다.

이때, 조작 도구(T)는 실제 수술 현장에서 의사가 사용하는 수술 도구와 동일한 형상으로 구현될 수 있으나, 특별히 이에 한정되는 것은 아니다. 여기에서, 수술 도구는 메스, 가위, 겸자, 소작기, 핀셋 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다. 즉, 실제 수술 현장에서 사용되는 수술 도구와 동일한 형상의 조작 도구(T)에 상술한 포즈 인식 수단, RF 송수신부(116), 제1제어부(111)를 마련하여 마스터 조작 모듈(110)을 구현할 수 있다. 이때, 마스터 조작 모듈(110)은 실제 수술 현장에서 사용되는 수술 도구와 동일한 수로 구비될 수 있다.

이에 따라, 조작자(S)는 도 2에 도시한 바와 같이, 실제 수술 도구를 사용하는 것처럼 익숙하게 조작 도구(T)를 조작할 수 있으므로, 직관적 조작이 가능하며, 조작 도구(T) 조작에 익숙해지기 위한 숙련 시간을 단축할 수 있다.

또한, 도 2에서는 조작자(S)가 양손에 쥐고 있는 마스터 조작 모듈(110)을 동일한 형상으로 도시하고 있으나, 조작자(S)는 양손에 각각 다른 형상의 마스터 조작 모듈(110)을 잡고 조작할 수 있음은 자명할 것이다. 예를 들어, 한 손에는 가위 형상의 마스터 조작 모듈(110)을 쥐고, 다른 한 손에는 메스 형상의 마스터 조작 모듈(110)을 쥔 상태로 조작할 수 있다.

또한, 본 실시 예에서는 상술한 포즈 인식 수단으로 다양한 장치가 사용될 수 있는데, 첫 번째 예로서, 도 4와 같이 관성측정장치(Inertial Measurement Unit:IMU)(113)가 사용될 수 있다. 여기에서, 관성측정장치(IMU)(113)는 가속도계와 각속도계인 자이로를 포함하는 다수의 관성 센서(Inertial Sensor)로 구성되며, 일반적으로 3개의 가속도계와 3개의 각속도계가 각각 직각으로 배치된 형태로 구현될 수 있다. 이와 같은 구성을 갖는 관성측정장치(IMU)(113)는 측정 대상 물체의 움직임에 따른 관성 데이터(이후, 제1포즈 정보라 함)를 측정하여 출력할 수 있다. 여기에서, 제1포즈 정보는 조작 도구(T)의 제1포즈를 추정하는데 이용될 수 있는 정보를 의미할 수 있다. 구체적으로, 측정 대상인 물체의 이동 관성, 회전 관성, 지자기 등을 측정하여 대상 물체에 대한 제1포즈 정보 즉, 가속도, 속도, 방향, 거리 등 다양한 정보를 출력할 수 있다. 이와 같이, 관성측정장치(IMU)(113)로부터 출력된 제1포즈 정보를 제1제어부(111)가 전달받아 마스터 제어 모듈(130)로 전송할 수 있다.

즉, 조작자(S)에 의해 관성측정장치(IMU)(113)가 부착된 조작 도구(T)가 조작되면, 제1제어부(111)는 관성측정장치(IMU)(113)를 구동시켜 움직이는 조작 도구(T)에 대한 제1포즈 정보(가속도, 속도, 방향 및 거리 등)를 획득하고, 획득한 제1포즈 정보를 RF 송수신부(116)를 통해 마스터 제어 모듈(130)로 전송한다.

한편, 상술한 포즈 인식 수단으로, 도 6에 도시한 바와 같이, RF 수신 노드(117)를 더 포함할 수 있으며, 이에 따라 마스터 장치(100)는 도 2 및 도 6에 도시한 바와 같이 복수의 RF 송신 노드(150)를 포함할 수 있다. 이때, 복수의 RF 송신 노드(150)는 도 6와 같이, 서로 다른 식별 정보를 갖는 제1RF 송신 노드(151), 제2RF 송신 노드(152) 및 제3RF 송신 노드(153)를 포함할 수 있다. 도 2 및 도 6에서는 마스터 장치(100)가 세 개의 RF 송신 노드(150)를 포함하는 것으로 도시하고 있으나, 이는 하나의 실시 예에 불과하며, RF 송신 노드의 개수가 특별히 이에 한정되는 것은 아니다.

또한, 각 RF 송신 노드(151, 152, 153)는 도 2에 도시한 바와 같이, 조작자(S)의 주위에 삼각형의 형태로 배치될 수 있으나, 특별히 이에 한정되는 것은 아니다. 다만, 이와 같은 형태로 각 RF 송신 노드(151, 152, 153)를 배치함으로써, 추후 각 RF 송신 노드(151, 152, 153)로부터 전송된 신호의 세기에 기초하여 각 RF 송신 노드(151, 152, 153)와의 거리를 연산하고, 연산된 거리를 삼각측량법에 적용하여 조작 도구(T)의 포즈 정보(이하, 제2포즈 정보라 함)를 용이하게 획득할 수 있을 것이다. 이후, "제2포즈 정보"는 조작 도구(T)의 제3포즈를 추정하는데 이용될 수 있다.

즉, 마스터 조작 모듈(110)의 제1제어부(111)는 RF 수신 노드(117)로 하여금 각 RF 송신 노드(151, 152, 153)로 신호 전송을 요청하도록 하고, RF 수신 노드(117)로부터 요청을 받은 각 RF 송신 노드(151, 152, 153)는 RF 수신 노드(117)로 각자 자신의 식별 정보를 전송한다. 이후, 제1제어부(111)는 RF 수신 노드(117)로부터 각 RF 송신 노드(151, 152, 153)별 식별 정보 및 신호 세기 정보를 전달받아 이를 기초로 조작 도구(T)의 제2포즈 정보를 획득하고, 획득한 제2포즈 정보를 RF 송수신부(116)를 통해 마스터 제어 모듈(130)로 전송한다.

본 실시 예에서는 상술한 포즈 인식 수단으로 관성측정장치(IMU)(113)만을 사용할 수도 있고, 또는, 관성측정장치(IMU)(113)와 RF 수신 노드(117)를 함께 사용하는 것도 가능하다. 이때, 관성측정장치(IMU)(113)와 RF 수신 노드(117)를 함께 사용함으로써, 관성측정장치(IMU)(113)만을 사용했을 때 측정 시간이 흐름에 따라 발생할 수 있는 오차를 보정할 수 있는 장점이 있다.

또한, 본 실시 예에 따른 마스터 조작 모듈(110)은 도 3과 같이 조작 도구(T)에 부착된 마커(M)를 더 포함할 수 있으며, 마스터 장치(100)는 조작 도구(T)에 대한 이미지를 획득하는 카메라(170)를 더 포함할 수 있다. 또한, 마스터 제어 모듈(130)은 카메라(170)를 통해 획득된 조작 도구(T)에 대한 이미지에서 마커(M)를 검출하고, 검출된 마커(M)를 이용하여 조작 도구(T)의 포즈(이하, 제2포즈라 함)를 추정할 수 있다. 이때, 카메라(170)는 깊이 카메라(Depth Camera)일 수 있으나, 특별히 이에 한정되는 것은 아니다. 여기에서, "깊이 카메라(Depth Camera)"는 레이저 또는 적외선(Infra-Red:IR)을 대상 물체(본 실시 예에서는 조작 도구(T)에 해당함)에 조사한 후 되돌아 오는 광선을 취득하여 거리를 계산함으로써, 대상 물체의 깊이 정보를 추정할 수 있는 카메라를 의미할 수 있다. 이러한 깊이 카메라는 고해상도를 갖는 이미지를 획득하는 동시에 각 화소별 깊이 추정이 가능한 장점이 있어 동적 객체나 장면의 3차원 모델 생성에 응용할 수 있는 장점이 있다.

이와 같이 깊이 카메라(Depth Camera)를 이용하여 검출된 각 마커(M) 대한 깊이 정보를 이용하여 조작 도구(T)의 제2포즈를 추정할 수 있다.

또한, 본 실시 예에 따른 마스터 조작 모듈(110)은 도 3 및 도 4에 도시한 바와 같이, 조작 도구(T)에 부착된 모션 센서(115)를 더 포함할 수 있다. 여기에서, "모션 센서(115)"는 조작 도구(T)의 모션 정보 즉, 동작 정보를 획득하는 구성으로서, 본 실시 예에서 모션 센서(115)는 주로 벌리고 오므리는 등의 동작을 하는 조작 도구(T) 예로써, 가위, 집게 등과 같은 형상을 갖는 조작 도구(T)에 한정적으로 마련될 수 있으나, 특별히 이에 한정되는 것은 아니다. 즉, 상술한 가위, 집게 등과 같은 형상을 갖는 조작 도구(T)는 도 3에 도시한 바와 같이, 조인트를 구비할 수 있고, 해당 조인트의 움직임에 따라, 조작 도구(T)는 벌리고 오므리는 동작을 하게 된다. 이에 따라, 해당 조인트에 모션 센서(115)를 부착함으로써, 조인트의 움직임 상태에 대한 정보(이하, 모션 정보라 함)를 검출할 수 있다. 이때, 본 실시 예에서 모션 센서(115)로 포텐쇼미터(Ptentionmeter) 등이 사용될 수 있으나, 특별히 이에 한정되는 것은 아니며, 공지된 모션 센서라면 어느 것이든 사용 가능할 것이다.

즉, 마스터 조작 모듈(110)의 제1제어부(111)는 조작 도구(T)의 조인트에 부착된 모션 센서(115)를 구동시켜 조작 도구(T)의 모션 정보를 획득하고, 획득한 모션 정보를 RF 송수신부(116)를 통하여 마스터 제어 모듈(130)로 전송할 수 있다. 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로부터 전송받은 모션 정보를 이용하여 조작 도구(T)의 모션을 추정하고, 추정된 모션에 대응되는 수술 도구 모션 제어신호를 생성하여 슬레이브 장치(200)로 전송할 수 있다.

또한, 도 3 및 도 4에 도시한 바와 같이, 본 실시 예에 따른 마스터 조작 모듈(110)은 조작 도구(T)의 손잡이(TH)에 마련된 접촉 센서(114)를 더 포함할 수 있다. 이는, 조작자(S)가 조작 도구(T)를 조작하고 있는지 즉, 조작 도구(T)를 쥐고 있는 상태인지를 검출하기 위한 것으로, 본 실시 예에서는 상술한 접촉 센서(114)를 구비함으로써, 조작자(S)가 조작 도구(T)를 잡고 있지 않거나, 수술 도중 떨어뜨리는 등과 같은 돌발 상황 발생 시, 조작 도구(T)의 포즈 정보 및 모션 정보에 대응되는 제어신호를 슬레이브 장치(200)로 전송하지 않도록 하여 의도치 않은 상황으로 인해 사고가 발생하는 것을 방지할 수 있다.

이와 같은 접촉 센서(114)는 조작자(S)의 손과 직접적으로 닿는 손잡이(TH) 내벽에 밀착 형성될 수 있으나, 특별히 이에 한정되는 것은 아니며, 조작자(S)의 손과 접촉될 수 있는 위치라면 어디든 형성 가능할 것이다. 또한, 본 실시 예에서 접촉 센서(114)는 정전 용량의 변화로 접촉 여부를 검출하는 방식의 센서일 수 있으나, 특별히 이에 한정되는 것은 아니다.

또한, 도 8에 도시한 바와 같이, 본 실시 예에 따른 마스터 조작 모듈(110)은 조작 도구(T)에 마련된 진동 모터(118) 및 진동 모터(118)를 구동시키는 모터 구동부(119)를 더 포함할 수 있다. 이는, 슬레이브 장치(200)의 수술 도구(220)가 수술 동작을 수행하는 도중 내부 장기 또는 조직 등에 충돌하는 상황이 발생하였음을 조작자(S)에게 알리기 위한 것으로, 마스터 조작 모듈(110)의 제1제어부(111)는 슬레이브 장치(200)로부터 상술한 상황에 대한 신호가 전달되면 모터 구동부(119)를 이용하여 진동 모터(118)를 구동시켜 조작 도구(T)가 진동할 수 있도록 제어할 수 있다. 이에 따라, 조작자(S)는 슬레이브 장치(200)의 수술 도구(220)에 충돌이 발생했음을 감지할 수 있다.

본 실시 예에 따른 마스터 제어 모듈(130)은 도 1 및 도 4에 도시한 바와 같이, 마스터 조작 모듈(110)과 무선으로 데이터를 송수신하기 위한 RF 송수신부(134), RF 송수신부(134)를 통해 전송된 조작 도구(T)의 포즈 정보를 이용하여 조작 도구(T)의 포즈를 추정하는 조작 도구 포즈 추정부(133) 및 추정된 포즈가 유효 범위 이내인지를 판단하여 유효 범위 이내인 경우 추정된 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하여 슬레이브 장치(200)로 전송하는 제2제어부(131)를 포함할 수 있다. 여기에서, "유효 범위"는 조작 도구(T)에 대한 기설정된 워크스페이스(workspace) 범위이며, 유효 범위를 벗어나는 경우에는 정상적인 조작 상황이 아닌 것으로 판단하여 조작 도구(T)의 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하지 않는다.

또한, 상술한 바와 같이 마스터 장치(100)는 카메라(170)를 더 포함할 수 있으며, 제2제어부(131)는 카메라(170)를 통해 획득된 조작 도구(T)에 대한 이미지에서 마커(M)를 검출하고, 검출된 마커(M)를 이용하여 조작 도구(T)의 포즈를 추정할 수 있다.

즉, 마스터 제어 모듈(130)의 제2제어부(131)는 마스터 조작 모듈(110)로부터 전송된 조작 도구(T)의 포즈 정보를 이용하여 조작 도구(T)의 포즈를 추정하거나, 카메라(170)를 통해 획득된 이미지를 이용하여 조작 도구(T)의 포즈를 추정할 수 있다. 이하, 설명의 편의를 위하여 마스터 조작 모듈(110)로부터 전송된 포즈 정보를 이용하여 추정한 조작 도구(T)의 포즈를 각각 제1포즈(관성측정장치(IMU)를 이용하여 획득한 제1포즈 정보를 이용하여 추정한 포즈), 제3포즈(RF 수신 노드를 이용하여 획득한 제2포즈 정보를 이용하여 추정한 포즈)라 하고, 카메라(170)를 통해 획득된 이미지에서 검출된 마커(M)를 이용하여 추정한 조작 도구(T)의 포즈를 제2포즈라 할 것이다.

마스터 조작 모듈(110)로부터 전송받은 조작 도구(T)의 포즈 정보는 조작 도구(T)에 마련된 관성측정장치(Inertial Measurement Unit:IMU)(113)를 통해 획득된 제1포즈 정보, RF 수신 노드(117)를 통해 획득된 제2포즈 정보를 포함할 수 있다. 이때, 제1포즈 정보만을 전송받거나, 제2포즈 정보만을 전송받거나 또는 제1포즈 정보 및 제2포즈 정보 둘 다 전송받을 수 있다.

이때, 제1포즈 정보 또는 제2포즈 정보 중 하나의 포즈 정보만을 전송받은 경우 제2제어부(131)는 전송받은 하나의 포즈 정보만을 이용하여 조작 도구(T)의 포즈(제1포즈 또는 제3포즈)를 추정하지만, 제1포즈 정보 및 제2포즈 정보 둘 다 전송받은 경우 제2제어부(131)는 두 개의 포즈 즉, 조작 도구(T)의 제1포즈 및 제3포즈를 모두 추정할 수 있다. 또한, 상술한 바와 같이, 조작 도구(T)에 마커(M)를 부착하고, 카메라(170)를 구비하는 경우, 제2제어부(131)는 카메라(170)를 통해 획득한 이미지를 이용하여 조작 도구(T)의 제2포즈를 추정할 수 있다.

본 실시 예는 이와 같은 구성을 하나 또는 두 개 이상을 조합하여 구현될 수 있다. 즉, 관성측정장치(IMU)(113)만을 구비하는 구성으로 구현하거나(이하, 제1 실시 예라 함, 도 4 참조), 관성측정장치(IMU)(113) 및 마커(M)와 카메라(170)를 구비하는 구성으로 구현하거나(이하, 제2 실시 예라 함, 도 5 참조), 관성측정장치(IMU)(113) 및 RF 수신 노드(117)와 RF 송신 노드(150)를 구비하는 구성으로 구현하거나(이하, 제3 실시 예라 함, 도 6 참조) 또는 관성측정장치(IMU)(113), 마커(M)와 카메라(170) 및 RF 수신 노드(117)와 RF 송신 노드(150) 전부를 구비하는 구성으로 구현할 수 있다(이하, 제4 실시 예라 함, 도 7 참조). 여기에서, 제2 실시 예, 제3 실시 예 및 제4 실시 예와 같이 두 개 이상의 구성을 조합하여 구현함으로써, 하나의 포즈 정보만을 이용하여 조작 도구(T)의 포즈를 추정했을 때 발생할 수 있는 오차를 보정하여 보다 정확한 포즈를 산출할 수 있도록 한다.

각 실시 예에 대한 제2제어부(131)의 동작을 설명하면 다음과 같다.

우선, 제1 실시 예와 같은 구성으로 구현되는 경우, 제2제어부(131)는 조작 도구 포즈 추정부(133)를 이용하여 전송받은 제1포즈 정보를 이용하여 조작 도구(T)의 제1포즈를 추정하고, 추정된 제1포즈가 유효 범위 이내인지를 판단한 후, 유효 범위 이내이면 제어신호 생성부(135)를 이용하여 추정된 제1포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 통신부(140)를 통해 슬레이브 장치(200)로 전송할 수 있다.

또한, 제2 실시 예와 같은 구성으로 구현되는 경우, 제2제어부(131)는 조작 도구 포즈 추정부(133)를 이용하여 전송받은 제1포즈 정보를 이용하여 조작 도구(T)의 제1포즈를 추정하고, 카메라(270)를 통해 획득한 조작 도구(T)에 대한 이미지에서 검출된 마커(M)의 깊이 정보를 이용하여 조작 도구(T)의 제2포즈를 추정한다. 이후, 제2제어부(131)는 추정된 제1포즈 및 제2포즈 각각의 좌표값에 기설정된 가중치(w)를 적용하여 조작 도구(T)의 제1 최종 포즈를 산출하고, 산출된 제1 최종 포즈가 유효 범위 이내인지를 판단한 후, 유효 범위 이내이면 제어신호 생성부(135)를 이용하여 산출된 제1 최종 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 통신부(140)를 통해 슬레이브 장치(200)로 전송할 수 있다.

또한, 제3 실시 예와 같은 구성으로 구현되는 경우, 제2제어부(131)는 조작 도구 포즈 추정부(133)를 이용하여 전송받은 제1포즈 정보 및 제2포즈 정보를 이용하여 제1포즈 및 제3포즈를 각각 추정한다. 이후, 제2제어부(131)는 추정된 제1포즈 및 제3포즈 각각의 좌표값에 기설정된 가중치(w)를 적용하여 조작 도구(T)의 제2 최종 포즈를 산출하고, 산출된 제2 최종 포즈가 유효 범위 이내인지를 판단한 후, 유효 범위 이내이면 제어신호 생성부(135)를 이용하여 산출된 제2 최종 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 통신부(140)를 통해 슬레이브 장치(200)로 전송할 수 있다.

또한, 제4 실시 예와 같은 구성으로 구현되는 경우, 제2제어부(131)는 조작 도구 포즈 추정부(133)를 이용하여 전송받은 제1포즈 정보 및 제2포즈 정보를 이용하여 제1포즈 및 제3포즈를 각각 추정하고, 카메라(270)를 통해 획득한 조작 도구(T)에 대한 이미지에서 검출된 마커(M)의 깊이 정보를 이용하여 조작 도구(T)의 제2포즈를 추정한다. 이후, 제2제어부(131)는 추정된 제1포즈, 제2포즈 및 제3포즈 각각의 좌표값에 기설정된 가중치(w)를 적용하여 조작 도구(T)의 제3 최종 포즈를 산출하고, 산출된 제3 최종 포즈가 유효 범위 이내인지를 판단한 후, 유효 범위 이내이면 제어신호 생성부(135)를 이용하여 산출된 제3 최종 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 통신부(140)를 통해 슬레이브 장치(200)로 전송할 수 있다.

또한, 본 실시 예에 따른 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로부터 전송받은 모션 정보를 이용하여 조작 도구(T)의 모션을 추정하는 조작 도구 모션 추정부(132)를 더 포함할 수 있다. 즉, 제2제어부(131)는 조작 도구 모션 추정부(132)를 이용하여 마스터 조작 모듈(110)로부터 전송받은 모션 정보에 대한 조작 도구(T)의 모션을 추정할 수 있다. 이후, 제2제어부(131)는 제어신호 생성부(135)를 이용하여 추정된 모션에 대응되는 수술 도구 모션 제어신호를 생성하고, 생성된 수술 도구 모션 제어신호를 통신부(140)를 통해 슬레이브 장치(200)로 전송할 수 있다.

또한, 본 실시 예에 따른 마스터 장치(100)는 도 4에 도시한 바와 같이, 모드 입력부(160)를 더 포함할 수 있다. 여기에서, 모드 입력부(160)는 마스터 장치(100)와 슬레이브 장치(200)의 연결 상태를 설정하기 위한 구성으로, 예를 들어, 페달, 스위치 및 버튼 등의 형태로 구현될 수 있으나, 그 형태가 특별히 이에 한정되는 것은 아니다. 또한, 모드 입력부(160)는 조작자(S)는 양손으로 마스터 조작 모듈(110)을 조작하므로 발로 조작할 수 있는 위치에 마련될 수 있으나, 특별히 이에 한정되는 것은 아니다. 이와 같은, 모드 입력부(160)를 이용하여 마스터 장치(100)와 슬레이브 장치(200)를 커플(coupling) 모드, 디커플링(decoupling) 모드, 종료 모드 등으로 설정할 수 있으며, 커플(coupling) 모드인 경우에만 마스터 장치(100)로부터 슬레이브 장치(200)로 제어신호를 전송할 수 있도록 할 수 있다.

이하, 상술한 구성요소를 포함하는 수술 로봇 시스템 내에서 이루어진 동작을 설명한다. 구체적으로, 도 9는 제1 실시 예에 따른 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이고, 도 10은 제2 실시 예에 따른 수술 로봇 시스템 의 각 구성에서 이루어지는 동작 흐름도이며, 도 11은 제3 실시 예에 따른 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이고, 도 12는 제4 실시 예에 따른 수술 로봇 시스템의 각 구성에서 이루어지는 동작 흐름도이다.

도 9를 살펴보면, 제1 실시 예에 따른 수술 로봇 시스템에서 마스터 제어 모듈(130)은 현재 슬레이브 장치(200)와 커플(coupling) 모드인지를 판단하고(S901), 커플 모드이면 마스터 조작 모듈(110)로 조작 도구(T)의 포즈 정보 및 모션 정보를 요청하는 신호를 전송한다(S903). 이때, 상술한 요청 신호는 RF 송수신부(134)를 통해 무선으로 전송할 수 있다.

다음, 마스터 제어 모듈(130)로부터 포즈 정보 및 모션 정보를 요청하는 신호를 전송받은 마스터 조작 모듈(110)은 조작자(S)가 조작 도구(T)를 조작하고 있는 중인지를 판단하고(S905), 조작자(S)가 조작 도구(T)를 조작하고 있는 중이면, 조작 도구(T)에 부착된 관성측정장치(IMU)(113)를 이용하여 조작 도구(T)의 제1포즈 정보를 획득한다(S907). 이때, 조작자(S)가 조작 도구(T)를 조작하고 있는 중인지를 판단하는 단계는, 조작 도구(T)의 손잡이(TH)에 마련된 접촉 센서(114)를 통해 수행될 수 있으나, 특별히 이에 한정되는 것은 아니다.

다음, 마스터 조작 모듈(110)은 조작 도구(T)의 조인트에 마련된 모션 센서(115)를 이용하여 조작 도구(T)에 대한 모션 정보를 획득한 후(S909), 획득한 모션 정보 및 전술한 단계 S907을 통해 획득한 조작 도구(T)의 제1포즈 정보를 마스터 제어 모듈(130)로 전송한다(S911).

다음, 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로부터 전송받은 제1포즈 정보 및 모션 정보를 이용하여 조작 도구(T)의 제1포즈 및 모션을 추정하고(S913), 추정된 제1포즈가 유효 범위 이내인지를 판단한 후(S915), 판단 결과 유효 범위 이내이면 추정된 제1포즈 및 모션에 각각 대응되는 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 생성하고(S917), 생성된 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 슬레이브 장치(200)로 전송한다(S919). 여기에서, "유효 범위"는 조작 도구(T)에 대한 기설정된 워크스페이스(workspace) 범위일 수 있다.

한편, 슬레이브 장치(200)로 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 전송하는 단계(S919) 이후의 단계에 대해 도 9에서는 도시하고 있지는 않으나, 슬레이브 장치(200)가 마스터 장치(100)로부터 전송받은 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 이용하여 수술 도구(220)의 포즈 및 모션을 제어할 수 있음은 자명할 것이다. 또한, 후술될 각 실시 예에 대한 설명에서 제1 실시 예에 설명된 동작과 중복되는 동작에 대한 설명은 생략할 것이다.

또한, 도 10을 참조하면, 제2 실시 예에 따른 수술 로봇 시스템에서 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로 조작 도구(T)에 대한 포즈 정보 및 모션 정보를 요청한 후(S1003), 카메라(170)를 통해 획득된 조작 도구(T)에 대한 이미지에서 마커(M)를 검출하고(S1013), 검출된 마커(M)에 대한 깊이 정보를 이용하여 조작 도구(T)의 제2포즈를 추정한다(S1015).

다음, 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로부터 전송받은 제1포즈 정보 및 모션 정보를 이용하여 조작 도구(T)의 제1포즈 및 모션을 추정하고(S1017), 추정된 제1포즈 및 전술한 단계 S1015를 통해 추정된 제2포즈 각각의 좌표값에 기설정된 가중치(w)를 적용하여 제1 최종 포즈를 산출한 후(S1019), 산출된 제1 최종 포즈가 유효 범위 이내인지를 판단하고(S1021), 판단 결과 유효 범위 이내이면 산출된 제1 최종 포즈 및 추정된 모션 각각에 대응되는 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 생성한다(S1023).

또한, 도 11을 참조하면, 제3 실시 예에 따른 수술 로봇 시스템에서 마스터 제어 모듈(130)로부터 포즈 정보 및 모션 정보를 요청하는 신호를 전송받은 마스터 조작 모듈(110)은 조작 도구(T)에 부착된 관성측정장치(IMU)(113)를 이용하여 조작 도구(T)에 대한 제1포즈 정보를 획득한 후(S1107), 조작 도구(T)에 마련된 RF 수신 노드(117) 및 조작자(S) 주변에 마련된 RF 송신 노드(150)를 이용하여 조작 도구(T)의 제2포즈 정보를 획득한다(S1109).

다음, 마스터 조작 모듈(110)은 조작 도구(T)의 조인트에 마련된 모션 센서(115)를 이용하여 조작 도구(T)에 대한 모션 정보를 획득한 후(S1111), 획득된 모션 정보와 전술한 단계 S1107 및 S1109를 통해 획득한 제1포즈 정보 및 제2포즈 정보를 마스터 제어 모듈(130)로 전송한다(S1113).

다음, 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로부터 전송받은 제1포즈 정보, 제2포즈 정보 및 모션 정보를 이용하여 조작 도구(T)의 제1포즈, 제3포즈 및 모션을 추정하고(S1115), 추정된 제1포즈 및 제3포즈 각각의 좌표값에 기설정된 가중치(w)를 적용하여 제2 최종 포즈를 산출한다(S1117).

다음, 산출된 제2 최종 포즈가 유효 범위 이내인지를 판단하고(S1119), 판단 결과 유효 범위 이내이면 산출된 제2 최종 포즈 및 추정된 모션 각각에 대응되는 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 생성한다(S1121).

또한, 도 12을 참조하면, 제4 실시 예에 따른 수술 로봇 시스템에서 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로 조작 도구(T)에 대한 포즈 정보 및 모션 정보를 요청한 후(S1203), 카메라(170)를 통해 획득된 조작 도구(T)에 대한 이미지에서 마커(M)를 검출하고(S1215), 검출된 마커(M)에 대한 깊이 정보를 이용하여 조작 도구(T)의 제2포즈를 추정한다(S1217).

또한, 마스터 제어 모듈(130)로부터 포즈 정보 및 모션 정보를 요청하는 신호를 전송받은 마스터 조작 모듈(110)은 조작 도구(T)에 부착된 관성측정장치(IMU)(113)를 이용하여 조작 도구(T)에 대한 제1포즈 정보를 획득하고(S1207), 조작 도구(T)에 마련된 RF 수신 노드(117) 및 조작자(S) 주변에 마련된 RF 송신 노드(150)를 이용하여 조작 도구(T)의 제2포즈 정보를 획득한 후(S1209), 조작 도구(T)의 조인트에 마련된 모션 센서(115)를 이용하여 조작 도구(T)에 대한 모션 정보를 획득하고(S1211), 획득된 모션 정보와 전술한 단계 S1207 및 S1209를 통해 획득한 제1포즈 정보 및 제2포즈 정보를 마스터 제어 모듈(130)로 전송한다(S1213).

다음, 마스터 제어 모듈(130)은 마스터 조작 모듈(110)로부터 전송받은 제1포즈 정보, 제2포즈 정보 및 모션 정보를 이용하여 조작 도구(T)의 제1포즈, 제3포즈 및 모션을 추정하고(S1219), 추정된 제1포즈, 제3포즈 및 전술한 단계 S1217을 통해 추정된 제2포즈 각각의 좌표값에 기설정된 가중치(w)를 적용하여 제3 최종 포즈를 산출한 후(S1221), 산출된 제3 최종 포즈가 유효 범위 이내인지를 판단하고(S1223), 판단 결과 유효 범위 이내이면 산출된 제3 최종 포즈 및 추정된 모션 각각에 대응되는 수술 도구 포즈 제어신호 및 수술 도구 모션 제어신호를 생성한다(S1225).

이와 같이, 슬레이브 장치(200)의 수술 도구(220)를 포즈를 제어하기 위한 제어신호를 생성하는 조작 도구(T)의 포즈 추정 구성에 대한 다양한 실시 예가 존재하며, 이 중 하나의 구성만을 이용하여 구현(제1 실시 예)할 수도 있으나, 둘 이상의 구성을 조합하여 구현(제2 실시 예, 제3 실시 예 및 제4 실시 예)함으로써, 하나의 구성만으로 수행할 때 발생할 수 있는 오차를 보정하여 조작 도구(T)의 포즈를 정확하게 추정할 수 있다.

또한, 본 실시 예에 따른 마스터 장치(100)는 도 4에 도시한 바와 같이, 통신부(140)를 더 포함할 수 있다. 여기에서, 통신부(140)는 마스터 장치(100)와 슬레이브 장치(200) 사이에 데이터를 송수신하기 위한 구성으로, 유선 통신, 무선 통신 또는 이들의 조합으로 구현될 수 있다.

또한, 도 4에 도시한 바와 같이, 마스터 장치(100)는 표시부(120)를 더 포함할 수 있다. 표시부(120)에는 슬레이브 장치(200)의 내시경(230)을 통해 수집된 환자(P) 신체 내부에 대한 실제 영상 및 환자의 수술 전 의료 영상을 3차원 영상으로 변환한 가상 영상 등이 표시될 수 있다. 이를 위해, 마스터 장치(100)는 슬레이브 장치(200)로부터 전송되는 영상 데이터를 수신 및 처리하여 표시부(120)로 출력하기 위한 영상 처리부(136)를 포함할 수 있다. 여기에서, "영상 데이터"는 상술한 바와 같이, 내시경(230)을 통해 수집된 환자(P) 신체 내부에 대한 실제 영상 및 환자의 수술 전 의료 영상을 3차원 영상으로 변환한 가상 영상 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.

본 실시 예에서, 표시부(120)로는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, 투명 디스플레이, 홀로그램(Hologram) 디스플레이 및 HMD(Head Mounted Display) 등이 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다.

또한, 본 실시 예에서는 조작자(S)가 조작중인 조작 도구(T)를 내시경(230)을 통해 수집된 환자(P) 신체 내부에 대한 실제 영상의 대응되는 위치에 오버레이 방식으로 합성한 증강 현실 영상을 표시부(120)에 표시할 수 있다. 이에 따라, 조작자(S)는 실제로 수술하는 것처럼 조작 도구(T)를 조작할 수 있는 직관적 조작이 가능하도록 할 수 있다.

또한, 표시부(120)에 슬레이브 장치(200)의 동작 상태에 관한 정보 및 환자 정보 등이 표시되도록 구현할 수 있다. 여기에서, "환자 정보"는 환자(P)의 상태를 나타내는 정보로서, 예를 들어, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보일 수 있다. 이러한 생체 정보를 마스터 장치(100)로 제공하기 위해 후술할 슬레이브 장치(200)는 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈 및 혈압 측정 모듈 등을 포함하는 생체 정보 측정 유닛을 더 포함할 수 있으며, 마스터 장치(100) 또한 슬레이브 장치(200)로부터 전송되는 생체 정보를 수신 및 처리하여 표시부(120)로 출력하기 위한 신호 처리부(미도시)를 더 포함할 수 있다.

슬레이브 장치(200)는 도 1과 같이, 복수의 로봇 암(210), 로봇 암(210) 단부에 장착된 각종 수술 도구들(220)을 포함할 수 있다. 복수의 로봇 암(210)은 도 1에 도시한 바와 같이, 본체(201)에 결합되어 고정 및 지지될 수 있다. 이때, 한 번에 사용되는 수술 도구(220)의 갯 수와 로봇 암(210)의 갯 수는 여러 가지 요인 중 진단법, 수술법 및 수술실 내의 공간적인 제약에 따라 좌우될 수 있다.

또한, 복수의 로봇 암(210)은 각각 복수의 링크(211) 및 복수의 관절(213)을 포함할 수 있으며, 각 관절(213)은 링크(211)와 링크(211)를 연결하고, 1 자유도(Degree Of Freedom:DOF) 이상을 가질 수 있다. 여기에서, "자유도(Degree Of Freedom:DOF)"란 기구학(Kinematics) 또는 역기구학(Inverse Kinematics)에서의 자유도를 말한다. 기구의 자유도란 기구의 독립적인 운동의 수, 또는 각 링크 간의 상대 위치의 독립된 운동을 결정하는 변수의 수를 말한다. 예를 들어, x축, y축, z축으로 이루어진 3차원 공간상의 물체는, 물체의 공간적인 위치를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에 대한 회전 각도) 중에서 하나 이상의 자유도를 갖는다. 구체적으로, 물체가 각각의 축을 따라 이동 가능하고, 각각의 축을 기준으로 회전 가능하다고 한다면, 이 물체는 6 자유도를 갖는 것으로 이해될 수 있다.

또한, 관절(213)에는 관절(213)의 상태와 관련된 정보를 검출할 수 있는 검출부가 마련될 수 있다. 예로써, 검출부는 관절(213)에 가해진 힘/토크 정보를 검출하는 힘/토크 검출부, 관절(213)의 위치 정보를 검출하는 위치 검출부 및 관절(213)의 속도 정보를 검출하는 속도 검출부를 포함할 수 있다. 여기에서, 속도 검출부는 위치 검출부로 사용되는 위치 센서의 종류에 따라 생략가능하다.

또한, 로봇 암(210)의 각 관절에는 마스터 장치(100)로부터 전송되는 제어 신호, 구체적으로는 수술 도구 포즈 제어신호에 따라 로봇 암(210)의 움직임을 제어하기 위한 제1 구동부(215)가 마련될 수 있다. 예를 들어, 조작자(S)가 마스터 장치(100)의 마스터 조작 모듈(110)의 조작 도구(T)를 조작하면, 마스터 조작 모듈(110)의 제1제어부(111)는 움직이는 조작 도구(T)의 포즈 정보를 획득하여 마스터 제어 모듈(130)로 전송하고, 마스터 제어 모듈(130)은 전송받은 포즈 정보에 대응되는 수술 도구 포즈 제어신호를 생성하여 슬레이브 장치(200)로 전송한다.

이후, 슬레이브 장치(200)의 제어부(240)는 마스터 장치(100)로부터 전송받은 수술 도구 포즈 제어신호에 따라 제1 구동부(215)를 구동시킴으로써, 로봇 암(210)의 각 관절 움직임을 제어하여 로봇 암(210)에 장착된 수술 도구(220)를 대응되는 포즈를 갖도록 이동시킬 수 있다. 이때, 로봇 암(210)이 수술 도구 포즈 제어신호에 상응하는 방향으로 회전 및 이동하는 등에 대한 실질적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.

한편, 슬레이브 장치(200)의 로봇 암(210)의 각 관절은 상술한 바와 같이, 마스터 장치(100)로부터 전송되는 제어신호에 의해 움직이도록 구현할 수 있으나, 외력에 의해 움직이도록 구현하는 것도 가능하다. 즉, 수술대 근처에 위치한 보조자(A)가 수동으로 로봇 암(210)의 각 관절을 움직여 수술 도구(220)의 포즈를 제어하도록 구현할 수 있다.

수술 도구들(220)은 도 1에 도시하지는 않았으나, 일 예로 로봇 암(210)의 단부에 장착되는 하우징, 하우징으로부터 일정 길이로 연장되는 샤프트 및 샤프트 끝단에 장착된 엔드 이펙터를 포함할 수 있다.

일반적으로 수술 도구(220)는 크게 주 수술 도구 및 보조 수술 도구로 분류할 수 있다. 여기에서, "주 수술 도구"란 수술 부위에 대하 절개, 봉합, 응고, 세척 등과 같은 직접적인 수술 동작을 수행하는 엔드 이펙터(예: 메스, 수술용 바늘 등)를 포함하는 도구를 의미할 수 있고, "보조 수술 도구"란 수술 부위에 대해 직접적인 수술 동작을 수행하는 것이 아닌 주 수술 도구의 동작을 보조하기 위한 엔드 이펙터(예: 스킨 홀더 등)를 포함하는 도구를 의미할 수 있다.

또한, 엔드 이펙터는 수술 도구(220)에서 환자(P)의 환부에 실제로 작용하는 부분을 의미하는 것으로, 예로써, 클램프, 그래스퍼, 가위, 스태플러, 바늘 홀더, 메스, 절단 블레이드 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니며, 수술에 필요한 공지된 도구라면 어떤 것이든 사용 가능할 것이다.

또한, 하우징에는 구동휠이 결합될 수 있고, 구동휠을 와이어 등을 통해 엔드 이펙터와 연결되어 구동휠을 회전시킴으로써, 엔드 이펙터를 동작시킬 수 있다. 이를 위해 로봇 암(210)의 단부에는 구동휠을 회전시키기 위한 제2 구동부(225)가 마련될 수 있다. 예를 들어, 조작자(S)가 마스터 장치(100)의 마스터 조작 모듈(110)의 조작 도구(T)를 조작하면, 마스터 조작 모듈(110)의 제1제어부(111)는 움직이는 조작 도구(T)의 모션 정보를 획득하여 마스터 제어 모듈(130)로 전송하고, 마스터 제어 모듈(130)은 전송받은 모션 정보에 대응되는 수술 도구 모션 제어신호를 생성하여 슬레이브 장치(200)로 전송한다.

이후, 슬레이브 장치(200)의 제어부(240)는 마스터 장치(100)로부터 전송받은 수술 도구 모션 제어신호에 따라 제2 구동부(225)를 구동시킴으로써, 엔드 이펙터를 원하는 대로 동작시킬 수 있다. 다만, 엔드 이펙터를 동작시키기 위한 메커니즘이 반드시 전술한 것처럼 구성되어야하는 것은 아니며, 로봇 수술을 위해 엔드 이펙터에 필요한 동작을 구현할 수 있는 다양한 전기적/기계적 메커니즘이 적용될 수 있음은 물론이다.

슬레이브 장치(200)의 내시경(230) 역시 수술 부위에 직접적인 수술 동작을 행하는 것이 아닌 주 수술 도구의 동작을 보조하기 위해 사용되는 도구이므로 넓은 의미에서 내시경(230)도 보조 수술 도구에 해당하는 것으로 볼 수 있을 것이다. 내시경(230)으로는 로봇 수술에서 주로 사용되는 복강경뿐 아니라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 심장경 등 다양한 수술용 내시경이 사용될 수 있다.

또한, 내시경(230)으로 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 및 CCD(Charge Coupled Device) 카메라가 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다. 또한, 내시경(230)은 수술 부위에 빛을 조사하기 위한 조명수단을 포함할 수 있다. 또한, 내시경(230)은 도 1에 도시한 바와 같이, 로봇 암(210)의 단부에 장착될 수 있으며, 슬레이브 장치(200)는 내시경(230)을 동작시키기 위한 제3 구동부(235)를 더 포함할 수 있다. 또한, 슬레이브 장치(200)의 제어부(240)는 내시경(230)을 이용하여 수집된 환자(P) 신체 내부에 대한 실제 영상을 통신부(260)를 통해 마스터 장치(100)로 전송할 수 있다.

또한, 슬레이브 장치(200)는 내시경(230)을 통해 수집된 환자(P) 신체 내부에 대한 실제 영상을 표시할 수 있는 표시부(250)를 더 포함할 수 있고, 이를 위해, 슬레이브 장치(200)의 제어부(240)는 내시경(230)을 통해 수집된 영상을 처리하여 표시부(250)로 출력하는 영상 처리부(241)를 포함할 수 있다.

또한, 슬레이브 장치(200)의 제어부(240)는 환자(P) 신체 내부로 삽입된 수술 도구(220)가 내부 장기 또는 조직에 충돌하는 경우, 충돌이 발생했음을 알리는 신호를 통신부(260)를 통해 마스터 장치(100)로 전송할 수 있다.

이상 본 발명을 구체적인 실시 예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.

100 : 마스터 장치
110 : 마스터 조작 모듈
111 : 제1제어부
112 : 전원부
113 : 관성측정장치(IMU)
114 : 접촉센서
115 : 모션센서
116, 134 : RF 송수신부
117 : RF 수신 노드
118 : 진동 모터
119 : 모터 구동부
120, 250 : 표시부
130 : 마스터 제어 모듈
131 : 제2제어부
132 : 조작 도구 모션 추정부
133 : 조작 도구 포즈 추정부
135 : 제어신호 생성부
136 : 영상 처리부
140, 260 : 통신부
150 : RF 송신 노드
160 : 모드 입력부
170 : 카메라
200 : 슬레이브 장치
201 : 본체
210 : 로봇 암
211 : 링크
213 : 관절
215 : 제1구동부
220 : 수술 도구
225 : 제2구동부
230 : 내시경
235 : 제3구동부
240 : 제어부

Claims

수술 도구를 갖는 슬레이브 장치 및 상기 수술 도구의 동작을 제어하는 마스터 장치를 포함하는 수술 로봇 시스템에 있어서,
상기 마스터 장치는,
포즈 인식 수단이 부착된 조작 도구를 갖는 마스터 조작 모듈; 및
상기 포즈 인식 수단을 통해 획득된 포즈 정보를 이용하여 상기 조작 도구의 포즈를 추정하고, 추정된 조작 도구의 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하여 상기 슬레이브 장치로 전송하는 마스터 제어 모듈
을 포함하는 수술 로봇 시스템.
제1항에 있어서,
상기 마스터 조작 모듈은,
손잡이 및 몸체를 포함하는 조작 도구;
상기 조작 도구에 마련되어 움직이는 조작 도구의 포즈 정보를 획득하는 포즈 인식 수단;
상기 마스터 제어 모듈과 무선으로 데이터를 송수신하기 위한 RF 송수신부; 및
상기 포즈 인식 수단을 구동시켜 상기 조작 도구의 포즈 정보를 획득하고, 획득한 상기 포즈 정보를 상기 RF 송수신부를 통하여 상기 마스터 제어 모듈로 전송하는 제1제어부
를 포함하는 수술 로봇 시스템.
제2항에 있어서,
상기 포즈 인식 수단은 관성측정장치(Inertial Measurement Unit)이고,
상기 제1제어부는 상기 관성측정장치(Inertial Measurement Unit)를 통해 상기 조작 도구의 제1포즈 정보를 획득하고, 획득한 상기 제1포즈 정보를 상기 RF 송수신부를 통해 상기 마스터 제어 모듈로 전송하는 수술 로봇 시스템.
제3항에 있어서,
상기 마스터 제어 모듈은,
상기 마스터 조작 모듈과 무선으로 데이터를 송수신하기 위한 RF 송수신부;
상기 RF 송수신부를 통해 전송된 상기 제1포즈 정보를 이용하여 상기 조작 도구의 제1포즈를 추정하는 조작 도구 포즈 추정부; 및
상기 추정된 제1포즈가 유효 범위 이내인지를 판단하여 유효 범위 이내인 경우 상기 추정된 제1포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 상기 슬레이브 장치로 전송하는 제2제어부
를 포함하는 수술 로봇 시스템.
제4항에 있어서,
상기 유효 범위는 상기 조작 도구에 대한 기설정된 워크스페이스(Workspace) 범위인 수술 로봇 시스템.
제4항에 있어서,
상기 마스터 조작 모듈은,
상기 조작 도구에 형성된 복수의 마커를 더 포함하고,
상기 마스터 장치는,
상기 조작 도구에 대한 이미지를 획득하는 카메라를 더 포함하며,
상기 제2제어부는 상기 카메라를 통해 획득된 이미지에서 상기 복수의 마커를 검출하고, 검출된 각 마커를 이용하여 상기 조작 도구의 제2포즈를 추정한 후, 상기 추정된 제1포즈 및 제2포즈 각각의 좌표값에 기설정된 가중치를 적용하여 제1 최종 포즈를 산출하고, 산출된 상기 제1 최종 포즈가 유효 범위 이내인지를 판단하여 유효 범위 이내인 경우 상기 제1 최종 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 상기 슬레이브 장치로 전송하는 수술 로봇 시스템.
제6항에 있어서,
상기 마스터 조작 모듈은,
상기 조작 도구에 마련되어 상기 조작 도구의 모션 정보를 획득하는 모션 센서를 더 포함하고,
상기 제1제어부는 상기 모션 센서를 구동시켜 상기 조작 도구의 모션 정보를 획득하고, 획득한 상기 모션 정보를 상기 RF 송수신부를 통하여 상기 마스터 제어 모듈로 전송하며,
상기 마스터 제어 모듈은,
상기 마스터 조작 모듈로부터 전송된 모션 정보를 이용하여 상기 조작 도구의 모션을 추정하는 조작 도구 모션 추정부를 더 포함하고,
상기 제2제어부는 상기 추정된 모션에 대응되는 수술 도구 모션 제어신호를 생성하고, 생성된 수술 도구 모션 제어신호를 상기 슬레이브 장치로 전송하는 수술 로봇 시스템.
제3항에 있어서,
상기 포즈 인식 수단으로 RF 수신 노드를 더 포함하고,
상기 마스터 장치는 서로 다른 식별 정보를 갖는 복수의 RF 송신 노드를 포함하며,
상기 제1제어부는 상기 RF 수신 노드로 수신된 복수의 RF 송신 노드 각각의 식별 정보 및 신호 세기를 이용하여 상기 조작 도구의 제2 포즈 정보를 획득한 후, 획득한 상기 제1포즈 정보 및 제2포즈 정보를 상기 RF 송수신부를 통해 상기 마스터 제어 모듈로 전송하는 수술 로봇 시스템.
제8항에 있어서,
상기 마스터 제어 모듈은,
상기 마스터 조작 모듈과 무선으로 데이터를 송수신하기 위한 RF 송수신부;
상기 RF 송수신부를 통해 전송된 상기 제1포즈 정보 및 제2포즈 정보를 이용하여 상기 조작 도구의 제1포즈 및 제3포즈를 추정하는 조작 도구 포즈 추정부; 및
상기 추정된 제1포즈 및 제3포즈 각각의 좌표값에 기설정된 가중치를 적용하여 제2 최종 포즈를 산출하고, 산출된 상기 제2 최종 포즈가 유효 범위 이내인지를 판단하여 유효 범위 이내인 경우 상기 제2 최종 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 상기 슬레이브 장치로 전송하는 제2제어부
를 포함하는 수술 로봇 시스템.
제9항에 있어서,
상기 유효 범위는 상기 조작 도구에 대한 기설정된 워크스페이스(Workspace) 범위인 수술 로봇 시스템.
제9항에 있어서,
상기 마스터 조작 모듈은,
상기 조작 도구에 부착된 복수의 마커를 더 포함하고,
상기 마스터 장치는,
상기 조작 도구에 대한 이미지를 획득하는 카메라를 더 포함하며,
상기 제2제어부는 상기 카메라를 통해 획득된 이미지에서 상기 복수의 마커를 검출하고, 검출된 각 마커를 이용하여 상기 조작 도구의 제2포즈를 추정한 후, 상기 추정된 제1포즈, 제2포즈 및 제3포즈 각각의 좌표값에 기설정된 가중치를 적용하여 제3 최종 포즈를 산출하고, 산출된 상기 제3 최종 포즈가 유효 범위 이내인지를 판단하여 유효 범위 이내인 경우 상기 제3 최종 포즈에 대응되는 수술 도구 포즈 제어신호를 생성하고, 생성된 수술 도구 포즈 제어신호를 상기 슬레이브 장치로 전송하는 수술 로봇 시스템.
제11항에 있어서,
상기 유효 범위는 상기 조작 도구에 대한 기설정된 워크스페이스(Workspace) 범위인 수술 로봇 시스템.
제11항에 있어서,
상기 마스터 조작 모듈은,
상기 조작 도구에 마련되어 상기 조작 도구의 모션 정보를 획득하는 모션 센서를 더 포함하고,
상기 제1제어부는 상기 모션 센서를 구동시켜 상기 조작 도구의 모션 정보를 획득하고, 획득한 상기 모션 정보를 상기 RF 송수신부를 통하여 상기 마스터 제어 모듈로 전송하며,
상기 마스터 제어 모듈은,
상기 마스터 조작 모듈로부터 전송된 모션 정보를 이용하여 상기 조작 도구의 모션을 추정하는 조작 도구 모션 추정부를 더 포함하고,
상기 제2제어부는 상기 추정된 모션에 대응되는 수술 도구 모션 제어신호를 생성하고, 생성된 수술 도구 모션 제어신호를 상기 슬레이브 장치로 전송하는 수술 로봇 시스템.
제2항에 있어서,
상기 마스터 조작 모듈은,
상기 조작 도구의 손잡이에 마련되어 조작자의 조작 여부를 검출하는 접촉 센서를 더 포함하는 수술 로봇 시스템.
제2항에 있어서,
상기 마스터 조작 모듈은,
상기 조작 도구에 구비된 진동 모터 및 상기 진동 모터를 구동시키는 모터 구동부를 더 포함하고,
상기 제1제어부는 상기 슬레이브 장치로부터 상기 수술 도구에 대한 충돌 발생 신호가 전송되면, 상기 모터 구동부를 이용하여 상기 진동 모터를 구동시켜 상기 조작 도구를 진동시키는 수술 로봇 시스템.
제1항에 있어서,
상기 마스터 장치는 환자에 대한 의료 영상을 표시하는 표시부를 더 포함하는 수술 로봇 시스템.
제16항에 있어서,
상기 표시부는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, 투명 디스플레이, 홀로그램(Hologram) 디스플레이 및 HMD(Head Mounted Display)를 포함하는 수술 로봇 시스템.
제1항에 있어서,
상기 마스터 장치는 상기 슬레이브 장치와의 연결 모드를 설정하는 모드 입력부를 더 포함하는 수술 로봇 시스템.
제18항에 있어서,
상기 모드 입력부는 페달, 스위치 및 버튼 형태로 구현되는 수술 로봇 시스템.
제1항에 있어서,
상기 마스터 조작 모듈과 상기 마스터 제어 모듈은 서로 분리된 형태인 수술 로봇 시스템.