KR101891138B1

KR101891138B1 - 인간-기계 협력 로봇 시스템

Info

Publication number: KR101891138B1
Application number: KR1020137014499A
Authority: KR
Inventors: 그레고리 헤이거; 니콜라스 파도이
Original assignee: 더 존스 홉킨스 유니버시티
Priority date: 2010-11-11
Filing date: 2011-11-14
Publication date: 2018-08-23
Anticipated expiration: 2031-11-14
Also published as: CN103249368B; WO2012065175A2; EP2637594A2; WO2012065175A9; US9283675B2; JP6106594B2; WO2012065175A3; CN103249368A; KR20130137185A; JP2013543764A; EP2637594A4; US20130218340A1

Abstract

본 발명의 실시 예에 따른 다단계 작업을 수행하는 반자동 상호적 로봇 시스템은, 사용자 인터페이스 시스템, 상기 사용자 인터페이스 시스템과 통신하는 인식 시스템, 상기 인식 시스템과 통신하는 제어 시스템 및 상기 제어 시스템과 통신하는 센서-작동기 시스템을 포함하고, 상기 인식 시스템은 사용자가 상기 사용자 인터페이스 시스템을 조종하는 동안 상기 사용자가 취한 동작들을 인식하고, 상기 인식된 동작들 및 상기 다단계 작업의 작업 모델을 기반으로 하는 상기 다단계 작업의 자동 단계, 반자동 단계 또는 직행 단계 중 어느 하나를 상기 센서-작동기 시스템이 수행하도록 상기 제어 시스템에 선택적으로 지시한다.

Description

인간-기계 협력 로봇 시스템{HUMAN-MACHINE COLLABORATIVE ROBOTIC SYSTEMS}

관련 출원의 상호 참조

본 출원은 2010년 11월 11일자로 출원된 미국 가출원 번호 61/412,587 및 2011 년 2월 17일자로 출원된 미국 가출원 번호 61/443,779을 우선권으로 주장한다. 상기 출원의 모든 내용은 여기서 참조로써 통합된다.

본 발명은 미국 국립과학재단(NSF)으로부터 수여받은 No. CPS0931805의 정부 지원으로부터 만들어졌다. 미국 정부는 본 발명에 대하여 일정 권리를 갖는다.

발명의 실시 예로서 제시된 것은 로봇 시스템에 관한 것이고, 더 상세하게는 반자동 상호적 로봇 시스템과 가상 반자동 상호적 로봇 시스템에 관한 것이다.

로봇 시스템은 반복적이거나 복잡하거나 번거롭거나 위험한 작업들의 수행에 있어 유용할 수 있다. 예를 들어, 수술에 적용되는 경우 복잡한 절차들은 외과의에게 높은 작업 부담으로 나타난다. 또한 최근 수술실의 로봇 도입은 외과의를 양성하고 평가하기 위한 새로운 기술들에 대한 필요성을 유도하여 왔다. 이러한 이유로, 최근 외과적인 제스쳐 모델링이 상당한 관심을 받아왔고, 몇 가지 방법들, 일반적으로 은닉 마르코프 모델 또는 이의 변형 방법들을 사용하여 오프라인 기술 모델링 및 분류에 대하여 제안되어 왔다(J. Rosen, J. Brown, L. Chang, M. Sinanan, and B. Hannaford, "Generalized approach for modeling minimally invasive surgery as a stochastic process using a discrete markov model," IEEE Trans, on Biomedical　Engineering, vol. 53, no. 3, pp. 399-413, 2006; H. C. Lin, I. Shafran, D. Yuh, and G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006; B. Varadarajan, C. E. Reiley, H. Lin, S. Khudanpur, and G. D. Hager, "Data-derived models for segmentation with application to surgical assessment and training," in MICCAI (1), 2009, pp. 426-434).

세세한 손동작이 가능한 로봇들의 개발과 함께 특정 외과수술 작업들을 자동화하는 기술들이 제안되어 왔다. 다루어진 작업의 예로서 매듭 묶기가 있다. (H. G. Mayer, F. J. Gomez, D. Wierstra, I. Nagy, A. Knoll, and J. Schmidhuber, "A system for robotic heart surgery that learns to tie knots using recurrent neural networks," in IROS, 2006, pp. 543-548)에서는, 회기 뉴럴 네트워크(recurrent neural networks)가 시연으로부터 순환 궤적을 학습하기 위하여 사용된다. (J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X.-Y. Fu, K. Goldberg, and P. Abbeel, "Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations," in ICRA, 2010, pp. 2074-2081)에서는, 증가 속도로 궤적을 반복하기 위하여 로봇 동역학(robot dynamics)이 학습된다. 바늘 삽입 작업 또한 많은 관심을 받아왔다. (F. Nageotte, P. Zanne, C. Doignon, and M. de Mathelin, "Stitching planning in laparoscopic surgery: Towards robot-assisted suturing," Robotic Res., vol. 28, no. 10, pp. 1303-1321, 2009)에서는, 바늘 삽입의 경로 계획을 계산하기 위하여 기하학적 작업 모델이 디자인되었다. (C. Staub, T. Osa, A. Knoll, and R. Bauernschmitt, "Automation of tissue piercing using circular needles and vision guidance for computer aided laparoscopic surgery," in ICRA, 2010, pp. 4585-4590)에서는, 외과의가 삽입 지점을 레이저 포인터로 표시한 뒤, 바늘 삽입을 위한 원형의 움직임이 자동화된다. 그러나 조직이나 봉합용 실 같은 환경요소를 다루거나 조종자와의 협력을 제공하는 자동화 방법에 대한 필요성이 남아있다.

로봇과 조종자 사이의 협력을 가능하게 하는 자연적인 방법은 현재의 상황 정보(context)에 기초하여 상호 작용 방식을 변경하는 것이다. 이것은 머니퓰레이터에 경로 한계를 두기 위해 가상 설비를 사용함으로써 현미수술(microsurgery)에서 작업에 따라 상대적으로 시연되어 왔다(D. Kragic and G. Hager, 'Task modeling and specification for modular sensory based human-machine cooperative systems," in IROS, 2003, pp. 3192-3197).

일반적으로 오토머터(automata)나 은닉 마르코프 모델을 사용하여, 현재 수술 작업의 실시간 인식을 위한 상황 정보 모델링이 아래 문헌들에서 다루어져 왔다.

B. P. L. Lo, A. Darzi, and G.-Z. Yang, "Episode classification for the analysis of tissue/instrument interaction with multiple visual cues," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2003, pp. 230-237.

K. Yoshimitsu, F. Miyawaki, T. Sadahiro, K. Ohnuma, Y. Fukui, D. Hashimoto, and. Masamune, "Development and evaluation of the second version of scrub nurse robot (snr) for endoscopic and laparoscopic surgery," in IROS, 2007, pp. 2288-2294.

S. Speidel, G. Sudra, J. Senemaud, M. Drentschew, B. P. Mller-Stich, C. Gutt, and R. Dillmann, "Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling," in Med. Imaging. SPIE, 2008.

N. Padoy, D. Mateus, D. Weinland, M.-O. Berger, and N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009.

그러나 이러한 접근 방식은 수술을 수행하기 위한 인간-기계 상호 작용을 허용하지 않는다. 따라서 개선된 인간-기계 협력 로봇 시스템에 대한 필요성이 존재한다.

본 발명의 실시 예에 따른 다단계 작업을 시뮬레이션하는 반자동 상호적 로봇 시뮬레이션 시스템은, 사용자 인터페이스 시스템, 상기 사용자 인터페이스 시스템과 통신하는 인식 시스템, 상기 인식 시스템과 통신하는 제어 시스템 및 상기 제어 시스템과 통신하는 가상 센서-작동기 시스템을 포함하고, 상기 인식 시스템은 사용자가 상기 사용자 인터페이스 시스템을 조종하는 동안 상기 사용자가 취한 동작들을 인식하고, 상기 인식된 동작들 및 상기 다단계 작업의 작업 모델을 기반으로 하는 상기 다단계 작업의 자동 단계, 반자동 단계 또는 직행 단계 중 어느 하나를 상기 가상 센서-작동기 시스템이 시뮬레이션 하도록 상기 제어 시스템에 선택적으로 지시한다.

본 발명은 후술하는 상세한 설명, 도면, 및 예시들을 참조하여 더 잘 이해될 수 있다.
도1은 본 발명의 일 실시 예에 따른 다단계 작업을 수행하기 위한 반자동 상호적 로봇 시스템을 도식적으로 나타낸 도면,
도2 는 본 발명의 다른 실시 예에 따른 다단계 작업을 수행하기 위한 반자동 상호적 로봇 시스템을 나타낸 도면,
도3은 도2의 반자동 상호적 로봇 시스템의 다른 예시를 나타낸 도면,
도4는 본 발명의 일 실시 예에 따른 환자 측 머니퓰레이터 및 내시경 카메라(좌측 도면)와 마스터 머니퓰레이터(우측 도면)을 포함하는 다빈치 로봇의 구성도,
도5는 본 발명의 일 실시 예에 따른 수동 서브작업과 자동 서브작업 간의 천이를 포함하는 작업 모델을 도식적으로 나타낸 도면,
도6(a) 및 도6(b)는 본 발명의 일 실시 예에 따른 하나의 기구로 수행된 핀 작업을 나타낸 것으로서, 6(a)는 포드의 개시 및 종료 상태를 나타내고 6(b)는 어두운 부분들은 자동화로 표시된 부분을 나타내는, 기구의 예시 궤적을 나타낸 도면,
도7(a) 및 도7(b)는 두 개의 기구들로 수행된 봉합 작업을 나타낸 것으로서, 도7(a)는 포드의 개시 및 종료 상태를 나타내고 7(b)는 어두운 부분들은 자동화로 표시된 부분을 나타내는, 두 개의 기구들의 예시 궤적들(일반적으로 교차하지만, 더 나은 시각화를 위해 분리함)을 나타낸 도면,
도8 은 본 발명의 일 실시 예에서 사용되는 좌표 시스템들을 나타낸 도면,
도9(a) 및 9(b)는 평균 궤적들의 예시를 나타내고, 도 9(a)는 점선으로 표시된 입력 궤적들과 실선으로 표시된 평균 궤적, 도9(b)는 시간이 경과할 동안 하나의 프래임 축을 표시하여 회전 동작을 강조하는, 실선으로 표시된 입력 궤적들과 점선으로 표시된 평균 궤적을 나타낸 도면,
도10(a) 및 10(b)는 마스터 머니퓰레이터들의 작업 영역을 분석한 것으로, 도10(a)는 마스터 머니퓰레이터의 3차원 동작으로 나타낸 핀 작업으로서 수동 동작(좌측 도면) 및 HMC 동작(우측 도면)을 동일한 비율로 표시한 도면, 10(b)는 좌측 및 우측 마스터 머니퓰레이터의 3차원 동작으로 나타낸 봉합 작업으로서 수동 동작(좌측 도면) 및 HMC 동작(우측 도면)을 동일한 비율로 표시하고 좌측의 타원은 좌측 머니퓰레이터에 대응하는 도면,
도11은 인간 기계 협력 체계에서 수행되는 작업들을 예시적으로 나타낸 도면이다.

이하, 본 발명의 몇몇 실시 예들을 상세히 설명한다. 실시 예들을 설명함에 있어서, 특정 용어가 명료성의 목적으로 이용된다. 그러나, 본 발명은 이와 같이 선택되는 특정 용어로 제한되지 않는다. 당 업자는 본 발명의 넓은 개념을 벗어나지 않고 다른 균등 구성요소들이 이용될 수 있고 다른 방법들이 개발될 수 있다는 것을 인식할 수 있다. 배경 기술 및 상세한 설명 부분을 포함한 본 명세서에서 언급된 모든 참조문헌들은 그 각각이 개별적으로 포함되는 것처럼 본원에 참조로 통합된다.

본 발명의 몇몇 실시 예들에 따른 원격 조정 로봇 보조 장치는 어떤 흔히 발행하는 작업들에 대한 자체적 수행의 가능성을 제공할 수 있다. 본 발명의 몇몇 실시 예들은 수술 작업의 어떤 부분들이 수동으로 수행될 동안, 외과의의 완벽한 컨트롤 하에 자체적으로 수행될 수술 작업의 부분들인 서브작업(또는 단계)들 별로 자연스러운 작업 분배를 이용함으로써 새로운 수술용 인간-기계 협력(Human-Machine Collaborative, HMC) 시스템을 제공할 수 있다. 본 발명의 일 실시 예에 따른 로봇 시스템은 수동 서브작업(단계)의 완료를 자동적으로 확인하고, 원활하게 다음의 자동 작업(단계)을 수행한 뒤, 다시 외과의가 제어하도록 한다. 본 발명의 일 실시 예는 시연으로부터 학습한 것을 기반으로 한다. 본 발명의 일 실시 예는 작업 완료를 인식하기 위한 은닉 마르코프 모델과 수행된 동작들을 학습하기 위하여 시간적 곡선 평균을 사용한다. 본 발명의 일 실시 예에 따른 몇몇의 예시에서, 다빈치(DA BINCH) 원격 수술 로봇이 조정된다. 이하, 두 개의 예시적 작업들로부터, 이러한 인간-기계 협력 시스템이 사용하기 쉽고 자동 제어 기능이 마스터 머니퓰레이터 작업 영역 사용을 개선함을 보인다. 이러한 시스템은 로봇의 종래 사용 방식을 제한하지 않지만 외과의에게 완전하게 제어를 맡기는 동안 시스템의 기능들을 강화하므로, 수술의 성과 향상을 위한 안전하고 수용 가능한 해결책을 제시한다.

이하 상세하게 설명된 본 발명의 몇몇의 실시 예들 및 예시들이 수술용 로봇에 관한 것임에도 불구하고, 본 발명의 전반적인 사상은 수술용 로봇에만 제한되는 것은 아니다. 본 발명의 다른 실시 예들은 다른 타입의 로봇 시스템, 예에 제한되는 것은 아니나 예를 들어, 제조 및/또는 조립 로봇, 위험하거나 원거리의 작업환경에서 사용되기 위한 원격 조종 로봇을 포함한다.

여기에서 사용되는 "작업"이라는 용어는 로봇 시스템에 의하여 수행되는 어떠한 다단계 프로세스라도 일반적으로 포함한다. 예를 들어, 수술용 로봇의 경우, 작업은 수술 절차의 어느 한 부분일 수 있다. "단계"라는 용어는 엑츄레이터 조립체의 어느 한 부분의 천이 및/또는 순환 중 어느 하나를 포함한다.

도1은 본 발명의 일 실시 예에 따른 다단계 작업을 수행하는 반자동 상호적 로봇 시스템(100)을 개략적으로 도시한다. 반자동 상호적 로봇 시스템(100)은 사용자 인터페이스 시스템(102), 사용자 인터페이스 시스템(102)과 통신하는 인식 시스템(104), 인식 시스템(104)과 통신하는 제어 시스템(106), 제어 시스템(106)과 통신하는 센서-작동기 시스템(108)을 포함한다. 인식 시스템(104)는 사용자가 사용자 인터페이스 시스템(102)를 조종하는 동안 사용자가 취하는 동작들을 인식하도록 구성되고, 인식된 동작들 및 다단계 작업의 작업 모델(110)을 기반으로 하여 다단계 작업의 자동 단계, 반자동 단계 또는 직행 단계 중 어느 하나를 센서-작동기 시스템(108)이 수행하도록 하기 위해 제어 시스템(106)에 선택적으로 지시하도록 구성된다.

사용자 인터페이스 시스템(102)은 하나, 둘 또는 그 이상의 조종자들에 의해 조종되는 제어기들을 포함할 수 있다. 제어기는 손으로 조작될 수 있고, 대안으로 또는 이에 더하여 사용자의 신체 중 다른 부분, 예에 한정되는 것은 아니나 예를 들어, 페달들로 조작될 수도 있다. 예를 들어, 종래의 수술용 로봇들은 사용자가 로봇에 의해 제어기로부터 하나나 그 이상의 센서-작동기 요소들을 분리하도록 하는 클러치 페달을 포함한다. 이것은 예를 들어, 대충의 조정 및/또는 긴급한 분리에 유용할 수 있다. 사용자 인터페이스 시스템(102)은 또한 하나 또는 그 이상의 사용자들이, 예를 들어, 수술 중인 환자나 조립된 제품을 관측할 수 있도록 관측 및/또는 디스플레이 시스템을 포함할 수 있다. 몇몇의 실시 예에서 디스플레이 시스템은 이미지들, 예에 한정되는 것은 아니나 예를 들어, 의학적인 이미지들을 보여줄 수 있다. 예를 들어, 수술에 적용한 경우, 이미지들은 실시간의 시각적인 이미지들, 실시간 초음파 검사, 실시간 OCT 이미지들 및/또는 그 밖의 다른 양상들을 포함할 수 있거나, MRI, CT, PET 등의 수술 전의 이미지들을 포함할 수 있다. 다양한 이미지 양상들은 선택가능하고, 설정될 수 있고, 겹쳐질 수 있다. 그리고/또는 다양한 이미지 양상들은 그래픽 및/또는 숫자 또는 기호 형태로 결합된 그 밖의 다른 정보들을 포함할 수 있다.

인식 시스템(104)은 예를 들어, 컴퓨터 또는 다른 어떤 적합한 데이터 처리 및 저장 장치에 구현될 수 있다. 몇몇의 실시 예들에서, 인식 시스템(104)은 인식 및 그 밖에 다른 절차들을 수행하는 컴퓨터에 저장된, 컴퓨터로 실행 가능한 지시들을 포함할 수 있다. 그러나 또 다른 실시 예들로서 인식 시스템은 컴퓨터에 저장된 소프트웨어 명령들이기 보다 하드웨어 장치일 수 있다. 컴퓨터는 예를 들어 워크 스테이션, 데스크 탑, 또는 랩탑 같은 로컬 컴퓨터일 수 있고, 또는 네트워크를 통하여 연결된 원거리에 위치 및/또는 분리된 컴퓨터 시스템일 수 있다. 컴퓨터는 또한 하나 또는 그 이상의 데이터 저장 장치들 그리고 메모리 장치들을 포함할 수 있다. 예를 들면, 작업 모델(110)은 컴퓨터의 데이터 저장 장치에 저장될 수 있다. 인식 시스템은 몇몇의 실시 예들에서 사용자의 특정한 동작들을 인식하기 위하여 로봇 운동학(kinematics)을 이용할 수 있다. 작업 모델에 기반하여, 그러한 동작은 다기능 작업을 수행하는 단계와 밀접한 관계를 맺을 수 있다. 대안으로 또는 이에 더하여, 사용자 인터페이스 시스템(102) 및/또는 센서-작동기 시스템(108)은 사용자(들)의 동작들 및/또는 센서-작동기 시스템의 요소들의 동작 및/또는 다뤄지는 환자들 또는 대상물들을 보다 직접적으로 관측하기 위하여 관측 시스템을 포함할 수 있다. 관측 시스템은, 이에 제한되는 것은 아니지만 예를 들어, 움직이는 대상물들을 관측하고 분할하기 위하여 하나 또는 그 이상의 카메라를 포함할 수 있다.

인식 시스템(104)은, 제어 시스템의 제어 하에 센서-작동기 시스템에 의하여 자동 단계. 반자동 단계 또는 직행 단계가 수행될 것인지를 결정한다는 점에서 스위칭 시스템과 유사하게 동작한다. 직행 단계는 종래의 원격 조종 로봇 시스템으로 수행될 수 있는 단계와 유사하거나 동일하게 수행되는 단계일 수 있다. 자동 단계는 전적으로 로봇의 제어 하에 수행되는 단계일 수 있다. 예를 들어, 사용자는 그 이후의 단계들이 수행될 위치로 센서-작동기 시스템의 적어도 한 부분을 움직일 수 있다. 이러한 첫 번째 동작은 직행 단계의 하나의 가능한 예시이다. 인식 시스템은 이 단계가 사용자에 의하여 수행되었음을 인식할 수 있고, 작업 모델에 기초하여 자동 단계의 수행을 지시할 수 있다. 예를 들어, 인식 시스템은 직행 단계에서 움직여 졌던 센서-작동기 시스템의 부분에, 예에 한정되는 것은 아니지만 예를 들어, 수술 절차를 위한 수술용 도구 또는 봉합선, 또는 조립 동작을 위한 조립 도구나 조립 조각 같은 대상물을 집어 들고 또한 되돌려놓기 위한 위치로 이동하기 위한 지시들을 제공할 수 있다. 이것은 단지 하나의 실시 예이고 본 발명의 범위를 제한하려는 의도가 아니다. 수많은 가능한 실시 예들이 존재함을 인식하여야 할 것이다.

다른 실시 예에서, 인식 시스템(104)는 사용자가 센서-작동기 시스템의 한 부분을 다단계 작업의 어느 한 단계를 수행하기 위한 위치로 움직인 것을 인식할 수 있다. 그리고 인식 시스템은 작업 모델에 기초하여, 사용자를 보조하기 위하여 다른 단계를 수행하도록 센서-작동기 시스템의 다른 부분에 지시들을 제공한다. 제한하지 않되 일 실시 예로서, 인식 시스템이 사용자를 보조하기 위하여 다른 로봇 팔의 동작을 지시하는 동안 사용자는 하나의 로봇 팔을 조작한다. 예를 들어, 자동 단계는 사용자를 위하여 대상물을 고정시키고 있을 수 있다. 예를 들어, 외과적인 절차에서, 이것은 조명, 카메라, 내시경 등을 고정시키는 것일 수 있고, 또는 절개될 봉합선을 고정시키는 것일 수 있다. 예를 들어, 조립 동작에서, 이것은 사용자가 어느 부분을 부착할 수 있도록, 조립 중인 물건을 고정 및/또는 조종하는 것일 수 있다. 이러한 예시들은 본 발명의 몇몇 개념들의 설명을 돕기 위한 것이고 범위를 제한하려는 의도가 아니다. 이 기술분야의 통상의 기술자는 본 발명의 넓은 개념들 내에서 수많은 이와 같은 실시 예들이 가능하다는 점을 분명히 해야 할 것이다.

몇몇의 실시 예들에서, 사용자 입력 시스템은 제어 시스템으로 제공될 지시들의 착수 또는 수정을 위하여 인식 시스템에 전달될 명령들을 수동 또는 음성으로 사용자가 입력하는 입력 장치를 포함할 수 있다. 이것은 이에 한정되는 것은 아니지만, 센서-작동기 시스템을 위한 제어기들을 조작하는 것과는 별개로 사용자로부터 제공된 수신호들 포함할 수 있다.

도2 및 도3은 본 발명의 일 실시 예에 따른 반자동 상호적 로봇 시스템(200)을 설명한다. 이 실시 예에서 반자동 상호적 로봇 시스템(200)은, 예를 들면 변형된 다빈치 로봇 시스템과 같은, 수술용 로봇 시스템이다. 이 실시 예에서, 사용자 인터페이스 시스템(202)은 외과의용 콘솔이다. 워크스테이션(204) 및/또는 데이터 처리 저장 장치(206)는 인식 시스템 및 작업 모델을 포함하도록 구성된다. 센서-작동기 시스템(208)은 복수의 관절식 팔들(210)을 포함하는 수술용 로봇 센서-작동기 시스템이다. 제어 시스템은 워크스테이션(204), 데이터 처리 저장 장치(206) 및/또는 센서-작동기 시스템(208)에 포함될 수 있다. 사용자 인터페이스 시스템(202)은 오른손(212) 및 왼손(214) 용 제어기들 및 우안(216) 및 좌완(218) 용 디스플레이들을 포함한다. 복수의 관절식 팔들(210)중 적어도 어느 하나는 그리퍼 또는 도구 부착 어셈블리 중 어느 하나를 포함할 수 있다.

본 발명의 몇몇의 실시 예들에서, 예를 들어 작업 모델은 은닉 마르코프 모델(Hidden Markov Model, HMM)일 수 있다. 그러나, 본 발명의 넓은 개념들은 오직 은닉 마르코프 모델에만 한정되지 않는다. 예를 들어, 마르코프 특성이 적절한 근사치일 것을 요하지 않는 다른 모델들이 본 발명의 다른 실시 예들에서 또한 사용될 수 있다. 본 발명의 몇몇 실시 예들에서, 작업 모델은 기계 학습(machine-learning) 모델일 수 있다.

본 발명의 다른 실시 예들에서, 센서-작동기 시스템(108 및/또는 208)은 실제의 물질적인 시스템이 되는 것 대신에 시뮬레이션일 수 있다. 이것은 반자동 상호적 로봇 시스템(100 및/또는 200)에 의하여 수행되는 작업들을 시뮬레이션하는데 유용할 수 있다. 예를 들어, 시뮬레이션들은 훈련 중인 사용자들에게 유용할 수 있다. 하지만, 시뮬레이션들은, 예에 제한되는 것은 아니나 예를 들면, 수행될 작업을 계획하는 것 및/또는 다양한 가능성 있는 작업들의 실험들이나 테스트들을 수행하는 것과 같은 다른 목적들에 있어 또한 유용할 수 있다.

후술하는 특정한 실시 예들은 보다 상세하게 본 발명의 몇몇의 개념들의 설명을 돕기 위한 것이다. 그러나, 본 발명의 넓은 개념들은 특정한 실시 예들로 제한되지 않는다.

실시 예

이를 테면 INTUITIVE SURGICAL, Inc.의 다빈치 수술용 시스템 같은, 원격조종 수술 로봇들의 확대된 사용은 수술들을 가르치고, 평가하고, 수행하는 새로운 방법들을 제공한다. 한편으로, 객관적인 수행 데이터의 수많은 집합들이 로봇들로부터 수집될 수 있다(H. C. Lin, I. Shafran, D. Yuh, and G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, Vol. 11, no. 5, pp. 220-230, 2006). 다른 한편으로, 이러한 기술은 가까운 미래에 특정한 수술 작업들의 자동화를 가능하게 할 수 있다(J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X-y. Fu, K. Goldberg, and P. Abbeel, 'Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations,' in ICRA, 2010, pp. 2074-2081). 그러나, 수집된 수행 데이터가, 조종자와 수술 환경에 적응이 가능하고 또한 수술 중 원활한 보조를 제공할 수 있는, 효율적인 인간-기계 협력 시스템들을 디자인하기 위해 어떻게 사용될 수 있는지는 불분명하였다.

다음의 예시에서, 본 발명의 일 실시 예에 따라, 원격 조종 작업 중인 외과의를 협력적으로 보조하는 방법을 수술 시연으로부터 학습하는 인간-기계 협력(HMC) 시스템을 살펴본다. 이것은 순수한 자동화에 초점이 맞춰진 이전의 작업과 상호 보완적이다(H. G. Mayer, F. J. Gomez, D. Wierstra, I. Nagy, A. Knoll, and J. Schmidhuber, 'A system for robotic heart surgery that learns to tie knots using recurrent neural networks,' in IROS, 2006, pp. 543-548; F. Nageotte, P. Zanne, C. Doignon, and M. de Mathelin, 'Stitching planning in laparoscopic surgery: Towards robot-assisted suturing,' Robotic Res., vol. 28, no. 10, pp. 1303-1321, 2009; Berg10). 여기에서, 작업은 수동 서브작업 및 잠재적으로 자동화될 서브작업들로 구분된다. 시스템은 수동 작업들의 완료를 실시간으로 인식함으로써 조종자를 보조하고 잔여 작업들을 자동화한다. 시스템은 또한 조종자의 인지 부하(cognitive workload)를 줄이기 위하여 조종자의 시야에 맥락적인 증강 현실(AR) 정보를 제공한다. 자동화되는 서브작업들은 조종자의 작업 영역의 최적의 사용을 가능하게 하기 위하여 선택된다. 서브작업들은 환경과 상호 작용이 없는 운반 작업들을 포함한다. 원격 조종 동안, 수동적인 수행과 자동화된 수행 간의 천이는 자동적으로 그리고 매끄럽게 이루어 진다. 더욱이, 조종자는 필요한 경우 궤적을 수정하기 위해 자동 수행 동안 개입하는 것이 가능하다.

이하, 연구 목적을 위해 단독적으로 사용된 다빈치 수술 로봇(G. Guthart and J. K. S. Jr., 'The intuitive^TM telesurgery system: Overview and application,' in ICRA, 2000, pp. 618-621)을 이용하는 접근 방식을 입증하도록 한다. 로봇은 3차원 내시경 시각화기(stereo endoscopic visualization)의 아래에서 세 개의 환자 측 머니퓰레이터들을 원격 조종하는 두 개의 마스터 콘솔 머니퓰레이터들을 포함한다(도4 참조). 먼저 조종자가 작업을 수회 수행하고, 자동화되어야 할 서브작업들에 해당하는 상기 데이터의 부분들에 주석을 다는 동안 동안, 로봇으로부터 운동학적인 데이터를 기록한다. 이어서 현재의 수동 작업의 완료를 실시간으로 결정하기 위하여 은닉 마르코프 모델들(HMMs)에 기초한 근사치를 사용한다. 자동화된 수행으로의 천이가 이루어질 때, 자동 서브작업에 해당하는 기구 동작이 로봇에 제공된다. 이 동작은 동적 시간 신축(Dynamic Time Warping, DTW)에 기초한 근사치를 평균화한 시간적 곡선을 사용한 시연 데이터로부터 학습된 것이다. 마지막으로, 관리를 위하여, 우리는 조종자의 3차원(stereo) 시야에 계획된 궤적의 오버레이를 디스플레이한다.

여기에서의 접근 방식을 설명하기 위해 두 개의 조작적인 작업들, 세 개의 핀들을 훈련용 포드(pod)의 중요 위치들로 이동시키는 경우 및 봉합용 포드(pod)에서 봉합 동작을 수행하는 경우를 이용한다. 아래 실험들은 인간-기계 협력 체제가, 마스터 머니퓰레이터들에서의 큰 움직임을 감소시키고 손의 위치를 조정하기 위해 움켜쥘 필요를 줄임으로써, 사용하기 쉽고 조종자의 작업 영역의 사용을 매우 개선할 수 있다는 것을 보여준다.

작업 모델

이 예시의 목적들을 위하여, 순차적인 시간적 명령으로 수행되어야 할 서브작업들(또는 단계들)의 정렬된 세트를 포함하는 작업을 고려한다. 설명을 용이하게 하기 위해, 수동 서브작업으로 개시하면서, 수동 서브작업과 자동 서브작업을 교대로 하는 작업들을 가정한다. 이것은 수동 또는 자동 타입 각각의 순차적인 서브작업들을 하나의 서브작업으로 종합함으로써 성취될 수 있다.

작업

는 일련의 서브작업들,

(단,

)을 포함한다.

는 자동화된 서브작업들인 것으로 가정한다. 이 예시에서, 그러한 서브작업들은 환경 또는 능숙한 조종과의 상호 작용을 수반하지 않지만, 대신에 큰 동작들을 요한다.

도 5는 천이들이 수동 서브작업 완료의 인식에 의하여 또는 자동 서브작업의 종료에 의하여 가동되는, 마치 자동 장치와 유사한 작업 모델을 간략히 도시한 것이다.

예시적인 작업들

도6 및 도7은 본 발명의 접근 방식을 예를 들어 설명하기 위하여 두 개의 작업들이 도시된다. 핀 작업으로 명명된 제1작업은, 하나의 기구를 필요로 하고, 세 개의 핀들을 세 개의 중요 위치들로 배치하는 것으로 구성된다(도 6(a)). 상기 작업은 시스템으로부터 학습한 여섯 개의 큰 운반 동작과, '움켜쥐기' 및 '고정하기'로 구성되고 조종자에 의해 수행되는 여섯 개의 능숙한 동작들로 구성된다. 표1은 서브작업들을 정리하여 보여준다. 도6(b)은 기구에 의해 수행되는 동작을 도시하고, 운반 동작 및 능숙한 동작들은 다른 색상으로 표시되었다.

#	동작	#	동작
1	제1핀 동쪽에서 움켜쥐기	7	제2핀 고정하기
2*	제1핀 북쪽으로 이동하기	8*	도구를 동쪽으로 되돌리기
3	제1핀 고정하기	9	제3핀 움켜쥐기
4*	도구를 동쪽으로 되돌리기	10*	제3핀 남쪽으로 이동하기
5	제2핀 움켜쥐기	11	제3핀 고정하기
6*	제2핀 서쪽으로 이동하기	12*	도구를 동쪽으로 되돌리기

표 1: 핀-동작 설명. *은 자동 서브작업들을 나타낸다.

봉합 작업으로 명명된 제2작업은, 두 개(좌측 및 우측)의 기구들을 필요로 하고, 3회의 바늘 삽입으로 봉합을 수행하는 것으로 구성된다(도 7(a)). 상기 작업은 세 군데의 잇따른 위치들에서 반복되는 다섯 개의 일반적인 동작들로 구성된다. 세 개의 능숙한 동작들: 우측 기구로 바늘 움켜쥐기, 바늘 삽입하기 및 좌측 기구로 바늘 움켜쥐기는 외과의로부터 수행된다. 두 개의 운반 동작들: 좌측 기구로 실을 잡아 당기기 및 다음 봉합 지점의 위치에서 우측 기구로 바늘을 넘겨주기는 학습되고 자동화된다. 수동 및 자동 서브작업들로 연결된 모든 서브작업들은 표2로 나열되었다. 도7(b)는 좌측 및 우측 기구에 의해서 수행되는 동작들은 도시하고, 운반 동작 및 능숙한 동작들은 다른 색상으로 표시되었다.

#	동작
1	포드에서 바늘 움켜쥐기(RT), 제1봉합지점으로 이동하기(RT), 바늘 삽입하기(RT), 바늘 움켜쥐기(LT)
2*	실 잡아당기기(LT), 제2봉합지점으로 이동하기(LT)
3	(LT)로부터 바늘 움켜쥐기(RT), 바늘 삽입하기(RT), 바늘 움켜쥐기(LT)
4*	실 잡아당기기(LT), 제3봉합지점으로 이동하기(LT)
5	(LT)로부터 바늘 움켜쥐기(RT), 바늘 삽입하기(RT), 바늘 움켜쥐기(LT)
6*	실 잡아당기기(LT), 포드의 가장자리로 이동하기(LT)

표 2: 봉합 작업 설명. *은 자동 서브작업을 나타낸다. (RT)는 우측기구, (LT)는 좌측기구를 나타낸다.

로봇 환경

여기의 설정에서, 작업을 달성하기 위하여 사용되는 포드는 각각 7의 자유도(DOFs)를 가진 두 개의 환자 측 머니퓰레이터들(PSMs)에 의하여 조종될 수 있다. 각각의 머니퓰레이터(PSM)는 수술용 기구들을 조종한다. 여기에서 머니퓰레이터들은 작업 시 동일한 기구들, 즉 두 개의 큰 바늘 드라이버들을 가진다. 7번째 자유도는 기구 그래스퍼의 개방에 해당한다. 우리는 또한 단순화를 위해, 보다 일반적인 원격 조종 형태가 다빈치로봇(Guthart00)을 사용하는데 있어 가능하더라도, 좌측(또는 우측) 마스터가 좌측(또는 우측) PMS를 조종한다고 가정한다. 원격 조종 동안, 기구들과 포드는 명확한 6의 자유도를 가진 머니퓰레이터를 이용하여 이동할 수 있는 3차원 내시경 카메라로 관측된다.

4개의 메인 좌표 시스템들(또는 프레임들)은 설정에서 아주 중요하다(도8 참조). 작업 좌표 시스템(

)은 작업에 대하여 특정되고 로봇의 최초 운동학에 독립적이다. 카메라 좌표 시스템(

)은 3차원 내시경 카메라의 위치를 표시한다. 기구 좌표 시스템(

)은

에서 좌측 또는 우측의 기구j의 위치를 표시한다. 마지막으로, 예를 들어 로봇의 기준이 되는, 현실의 좌표는 (

)로 표기한다.

은 이동T와 회전 R로 구성된 3차원 변환을 나타낸다. 이하에서, 시간 t 에 대하여,

에서

으로의 변환

,

에서

으로의 변환

을 안다고 가정한다. 상기 변환들은 다빈치 리서치 인터페이스를 이용하여 수집된다(S. DiMaio and C. Hasser, "The da vinci research interface." Insight Journal. [Online]. Available: http://hdl.handle.net/10380/1464). 이에 더하여,

에서

로의 변환

이 필요하다. 작업 시작 전에 참조 현실 위치에 훈련용 포드를 위치시키고, 카메라의 움직임을 추적하기 위하여

를 사용함으로써 상기 변환을 얻는다. 짧은 작업에 대하여, 포드가 최초 참조 위치에 남아있다고 가정한다. 보다 긴 작업에 대하여, 포드가 옮겨질 위치에서, 시각적 포드 추적을 통해 해당 변환이 제공될 수 있다. 또한 데카르트 공간에서 두 개의 환자 측 머니퓰레이터들의 선속도 및 각속도, 그래스퍼들의 상태 및 작업환경 분석을 위한 두 개의 마스터 머니퓰레이터들의 데카르트 위치들을 수집한다. 이러한 데이터는 40Hz의 주파수로 수집된다.

마지막으로 3차원 내시경 카메라가 교정된다. 이것은 외과의의 3차원 시야에서의 궤적과 같은 3차원 증강 현실 정보를 오버레이할 수 있도록 한다.

시연 데이터

조종자는 작업 별로 M번 시연하도록 요청받는다. M개의 연속하는 기록들을 작업

로 산출한다. 각각의 기록은,

에 대하여

에서

인, 길이

의 다차원 시계열

에 해당한다. 사영

은 6차원 데카르트 속도들과 두 개의 기구들의 그리퍼 상태를 포함한다. 이 데이터는 인식 시스템에서 사용될 것이다. 사영

는 두 개의 기구들의 6차원 데카르트 위치들을 포함한다. 이 데이터는 제어 궤적들 학습을 위해 사용될 것이다. 위치들은 로봇 초기 운동학에 독립적이도록 작업 좌표 시스템에서 표현된다.

각각의

마다, 자동화되어야 할 작업 부분들은 조종자에 의하여 라벨이 붙여진다.

는 서브작업들

에 해당하는N개의 데이터 조각들

로 분할된다. 다음의 방법들을 후술한다.

수동 작업

(단,

)의 완료를 결정하는 인식 모델

를 학습하는 방법. 이를 위해, 학습 데이터

로부터 구축된 은닉 마르코프 모델(HMM)을 사용한다.

기구에 의하여 자동적으로 수행될 서브작업

(단,

)의 궤적을 계산하는 방법. 이를 위해, 동적 시간 신축(DTW)에 기초한 데이터

에 대하여 적용된 시간적 곡선 평균 기술을 사용한다.

인식

인식 시스템의 목적은 각각의 수동 작업의 완료를 결정하고 자동 조종으로의 원활한 천이를 수행하기 위한 것이다. 조종자는 궤적의 제어가 자동화 될 때까지, 이후의 서브작업을 수동적으로 시작하고 수행하려는 듯이 계속적인 동작을 자연스럽게 수행하여야 한다. 원활한 천이를 가동하기 위해, 자동 궤적이 시작될 수 있는 지점에 조종자가 다다른 순간을 결정할 필요가 있다. 이것은 은닉 마르코프 모델(HMMs)에 기초한 시간적 모델로부터 계산된, 서브작업 완료의 실시간 측정을 이용하여 이루어진다.

은닉 마르코프 모델은 다섯 개의 인자로 이루어진 집합

으로 형식적으로 정의된다. S는 모델에서 상태

들의 개수이다. A는 위상 기하학으로 모델링한, 상태들 사이의 천이 확률 행렬이다. O는 관측 공간이고 본 발명에서는

이다. B는 어떤 관측

와 상태

에 대한 확률

(즉,

는

에서 관측됨)을 나타내는 관측 모델이다.

는 최초 상태들에 대한 확률 분포이다.

서브작업 완료를 측정하기 위해, 수동 서브작업

과 자동적으로 수행될 서브작업

을 각각 모델링한 HMMs

및 HMMs

의 병합으로부터 생성된 HMM

을 사용한다.

및

은 각각

및

로부터 구축되었다. 실험을 위하여 관측 분포로서 가우시안 혼합 및 좌/우 HMMs을 사용한다. (N. Padoy, D. Mateus, D. Weinland, M.-O. Berger, and N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009)를 참조하여 파라미터들을 초기화한다. 상태들의 개수는 학습 시퀀스들의 길이로부터 결정된다. 확률은 가능한 상태들만큼의 시퀀스들로 데이터를 균등하게 분할함으로써 이러한 데이터로부터 초기화된다. 이후, 파라미터들을 교정하기 위하여 기대 최대화(expectation-maximization )가 적용된다. 두 개의 HMMs이 병합될 때,

의 최종 상태는

의 최초 상태로의 천이를 가지는 것으로 수정된다. 천이 확률은

에서 예상 시간이 학습 데이터로부터 계산된 서브작업의 평균 기간과 동일해 지도록 선택된다.

HMM

의 각각의 상태

에 대하여, 이진 지표 함수를 다음과 같이 정의한다.

(1)

자동적으로 수행될 작업에 대응하는 HMM의 상태에 도달하는 확률에 의한 시간 t에 수동 서브작업이 완료될 확률

을 정의한다.

(2)

여기에서,

는 현재 시간 t까지의 관측을 나타내고

는 시간 t때에 HMM상태를 나타내는 확률 변수이다. 이 식은 앞의 HMM의 확률들을 사용하여 계산된다(L. R. Rabiner, "tutorial on hidden markov models and selected applications in speech recognition," Proceedings of the IEEE, vol. 77, no. 2, pp. 257-286, 1989).

마지막으로, 작업 완료 결정은 결정 임계값

을 사용하여 짧은 시간 간격

동안 평균을 냄으로써 얻어진다.

(3)

자동화

a.제어

로봇 팔들은 다빈치 리서치 인터페이스를 사용하여 제어된다(DiMaio2008). 기구 각각, 데카르트 동작

과 외과의의 마스터 머니퓰레이터 조작에 의한 동작을 중첩한 제어 모드를 사용한다. 여기에서, 동작

는 카메라 좌표 시스템

에서 주어진다.

을 작업 좌표 시스템

상에서 표현되고 후술하는 방법에 의하여 계산되는 학습된 궤적으로 정의한다. 이 궤적은 초기 위치를 차감함으로써 정규화된다. 따라서,

이다. 특정 기구에 대하여,

에서

로 표시하는 상대 궤적을 자동 수행이 시작되는 순간에 도구 상단 위치에서 수행한다. 이 실험들로 이러한 수행들이 수동 제어와 자동 수행간의 원활한 천이를 창출해내는 자연스러운 방법임이 확인된다. 자동 제어가 개시될 때 현재의 도구 위치에 대하여 궤적이 수행된다는 것은, 조종자로 하여금 시연된 정확한 작업으로부터 변경을 주어 조작할 수 있도록, 예를 들어, 다른 위치에서 바늘을 삽입하는 것과 같은 유연성을 제공하는 것이다.

중첩된 동작은

에 대하여 다음과 같이 주어진다.

(4)

b.평균 동작 계산

이하, 특정 기구에 대하여, 로봇에게 제공될 동작

을 학습하는 방법에 대하여 상세히 설명한다. 자동 서브작업

에 대하여, 상기 동작은 대상 기구의 데카르트 위치 및 방향을 사용하여, 데이터

로부터 계산된다. 아래에서, 회전은 쿼터니언으로 표현되고 7차원 위치 데이터는 지수

을 삭제한

로 나타낸다.

(K. Wang and T. Gasser, "Alignment of curves by dynamic time warping," Annals of Statistics, vol. 25, no. 3, pp. 1251-1276, 1997)에서 처음 소개되고, (S.-A. Ahmadi, T. Sielhorst, R. Stauder, M. Horn, H. Feussner, and N. Navab, "Recovery of surgical workflow without explicit models," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2006, pp. 420-428)에서와 같이 연속 데이터 및 이진 데이터에 대하여 완벽하게 적용되는 시간적 곡선 평균화 방법을 사용하여 시연 시퀀스들로부터 의미있는 동작들을 살펴본다. 상기 방법은 평균화되기 전에, 동적 시간 신축을 사용하여 모든 궤적들이 시간적으로 기준 평균 궤적에 동기화되는 기대 최소화 알고리즘과 유사한 반복 절차를 포함한다(H. Sakoe and S. Chiba, "Dynamic programming algorithm optimization for spoken word recognition," IEEE Trans. Acoust. Speech Signal Process., vol. 26, no. 1, pp. 43-49, 1978). 최종 평균치는 다음 반복에서 기준으로 사용된다. 이러한 접근 방식을 통해, 평균치는 입력 궤적들의 평균 길이와 동일한 길이 τ를 가진다. 도9는 이러한 접근 방식을 통해 생성된 평균 궤적들을 도시한다.

상기 접근법을 간략히 요약하면 다음과 같다.

(ㄱ)

을 기준 시퀀스로 한다. 동적 시간 신축을 이용하여 시간적으로

을

에 대하여 신축(warp)하고 신축 함수

로 나타낸다.

(ㄴ)

에 대하여 평균 타임라인을 다음과 같이 계산한다.

(5)

(ㄷ)

을 평균 타임라인으로 변환하기 위해 쉬프트 함수

를 계산한다.

(ㄹ)다음과 같이 평균을 계산한다.

(6)

(ㅁ)

대신에

를 사용하여 수렴할 때까지 반복한다.

초기 기준으로서, 같은 방법을 사용하여 입력 시퀀스를 두 개씩 반복하여 병합한다. 하기의 방법으로 동작 데이터에 대한 접근법을 조정하였다. 첫 번째로, 위치가 지배적인 특징이고 방향 정보(orientation information)는 이 실시 예에서 동기화를 위한 중요한 역할을 하지 않기 때문에, 시간 신축 동기화를 위하여 오직 3차원 위치 데이터를 사용한다. 두 번째로, 앞의 일부 단계들은 두 개의 쿼터니언들을 보간(interpolation)하거나 복수의 쿼터니언들을 평균화하는 것을 요한다. 각각 SLERP 보간(E. B. Dam, M. Koch, and M. Lillhohn, "Quaternions, interpolation and animation," University of Copenhagen, Tech. Rep. DIKU-TR98/5, 1998)과 구형 평균화(F. L. Markley, Y. Cheng, J. L. Crassidis, and Y. Oshman, "Averaging quaternions," Journal of Guidance, Control, and Dynamics, vol. 30, no. 4, pp. 1193-1196, 2007)를 사용한다. 작업 좌표 시스템에서 평균 궤적의 계산이 완료된 후, 초기 위치값을 차감함으로서 정규화한다.

데이터가 높은 차원이거나 복수의 구간별 변이들을 포함하는 경우, 동적 시간 신축 동기화는 부정확할 수 있음은 알려져 왔다. 보다 향상된 시간적 동기화 기술들(F. Zhou and F. De la Torre, "Canonical time warping for alignment of human behavior," in Advances in Neural Information Processing Systems Conference (NIPS), December 2009)이 상기 경우들을 위해 제안되어 왔고, 대안적으로 사용될 수 있다. 그러나 본 발명에서는 상기 경우들은 해당이 없다. 도 9(a)는 본 발명의 접근 방식이 몇 개의 시연 시퀀스들로부터 부드러운 평균 동작을 제공하는 방법을 도시한다. 도 9(b)는 학습된 궤적의 회전 동작을 강조한다.

실험들

지금까지 다빈치 로봇을 사용하여 CISST 라이브러리(A. Deguet, R. Kumar, R. Taylor, and P. Kazanzides, "The CISST libraries for computer assisted intervention systems," Insight Journal. [Online]. Available: http://hdl.handle.net/10380/1465a)를 기반으로 하는 모듈 형 응용 프로그램에서 이러한 HMC 접근 방식을 실행하여 왔다. 응용 프로그램은 다섯 개의 상호적인 기능 스레드를 포함한다. 즉, 1) 완료 인식, 2) 경로 계획, 3) 로봇 제어, 4)시각적 오버레이 및 5)메인 작업 제어이다.

실험에서, 작업 모델들을 구축하기 위해 각각의 작업을 다섯 번씩 수행하였다. 예시 비디오는 두 개의 예시 작업를 수행하는 동안 인간-기계 협력 시스템을 사용하는 조종자를 보여준다. 이 영상에서, 라벨 "수동" 조종자가 동작을 수행하는 동안 표시된다. 조종자가 서브작업을 완료할 계산된 확률도 또한 제공된다. 자동 동작들로 변경되면, 계획된 궤적뿐만 아니라 라벨 "자동"이 표시된다. 조종자의 시야를 방해하지 않도록, 표시된 궤적은 정확하게 현실의 위치와 오버레이 되지 않는다. 대신에 시야의 위쪽으로 옮겨진다. 이것은 감독의 목적 및 조종자의 인지 부하 감소의 목적에 기여한다. 영상은 수동 동작과 자동 수행 사이의 원활한 천이를 보여준다. 또한 다빈치 로봇이, 예를 들어, 그것의 내시경 카메라를 회전시킴으로써 자유롭게 조종될 수 있음을 보여준다. 예를 들어, 바늘 삽입을 반복적으로 실패하는 시도들 또는 예상 밖의 그리퍼(gripper)의 개폐와 같은 이상 값들에 대한 접근 방식의 응용성 또한 설명되었다. 도 11은 HMC 시스템으로 작업들을 수행하는 동안 얻어진 여러 이미지들을 도시한다.

추가적인 조종자들이 시스템을 사용하여 천이들이 원활하고 직관적인지 알아내왔다. 그러나 이것은 이전에 특정 작업을 수행해본 적이 없는 조종자가 기대되는 동작을 정확하게 수행하지 않는 첫 번째 시도 중에 발생할 수 있다. 그러한 경우, 올바르고 예상되는 위치로부터 미세하게 이행된 궤적을 야기하며, 완료는 짧은 지연을 수반하고 인식될 수 있다. 결국 이것은 도구 위치의 조정을 요한다. 이것은, 사용자가 (시연 데이터와 유사한 방법으로) 작업을 올바르게 수행하는 방법을 배우기 위하여 몇 번의 시도들이 필요할 수 있음을, 또는 현재 조종자에 의해 시연된 데이터를 포함하고 조종자의 스타일을 설명함으로써 작업 모델들이 구축되어야 함을 보여준다. 실험들에서, HMMs 모델들은 두 개의 가우시안의 혼합을 사용하고 β=0.9로 하여 자동 수행을 가동한다. 1초 동안

를 평균화 한다.

용이한 원격 조종 제어에 대한 접근법의 이점은 마스터 머니퓰레이터들의 동작들이 크게 감소된다는 것일 수 있다. 사실, 큰 운반 동작들은 자동적으로 수행되고 조종자의 다른 동작들을 요하지 않는다. 이것으로 도출된 두 개의 결론은 다음과 같다. 마스터 머니퓰레이터들을 재조정하기 위해 붙들을 필요성은 거의 존재하지 않고, 마스터 머니퓰레이터 충돌들이 발생할 가능성은 더 적다.

도10은 마스터 머니퓰레이터들의 작업 영역에 대한 분석을 도시한다. 도10은 HMC시스템이 사용될 때와 사용되지 않을 때의 마스터 머니퓰레이터들의 동작을 비교한다. 핀 작업에 대하여, 도10(a)은 HMC 시스템이 사용될 때 마스터 머니퓰레이터의 작업 영역이 더 작은 용적으로 감소한 것을 보여준다. 이는 수행되어야 할 동작이 단지 핀을 움켜쥐거나 고정시키는 것으로 제한되기 때문이다. 봉합 작업에 대하여, 좌측 기구만이 자동적이다. 도10(b)는 HMC시스템이 사용될 때 우측 머니퓰레이터가 유사한 작업 영역을 사용하는 것을 보여준다. 그러나 좌측 머니퓰레이터는 HMC 체계에서 역할이 두 개의 능숙한 동작들 즉, 바늘 움켜쥐기와 바늘 넘겨주기로 감소하였기 때문에 보다 작은 작업 영역을 사용한다. 표3은 각 방향에서 다섯 개의 시퀀스의 평균을 낸 마스터 머니퓰레이터 위치들의 비교 표준 편차를 나타낸다.

머니퓰레이터들이 이동한 거리에 대하여 유사한 결과가 관측된다. 즉, 실험에서 이동 거리는 핀 작업의 경우 평균 4배 정도 감소하고 봉합 작업의 경우 1.3배 정도 감소한다. 작업 완료에 걸리는 시간은 HMC 접근 방식 사용유무의 대해 차이가 없다. 핀 작업은 평균 48초, 봉합 작업은 평균 64초가 소요된다. 이 시간은 자동 운반 동작을 가속화함으로써 간단하게 줄일 수 있다.

	핀 작업			봉합 작업
	x	y	z	x	y	Z
수동	55.4	50.4	22.1	17.7	21.4	38.3
HMC	10.6	19.9	23.1	12.1	16.7	23.2

표 3: 핀 작업(우측 마스터 머니퓰레이터)와 봉합 작업(좌측 마스터 머니퓰레이터)에 대한, 마스터 머니퓰레이터 위치의 표준 편차(mm단위). HMC사용 유무에 따른 비교이다.

논의 및 결론

본 발명의 실시 예에 따라, 시연으로부터 학습하는 것을 기반으로 하여 원격 수술을 위한 새로운 인간-기계 협력 접근 방식을 상세히 설명하였다. 능숙한 동작들은 조종자에 의하여 수행된다. 그리고 이것은 환경과 어떠한 상호 작용도 수반하지 않는 앞서 학습한 동작들의 자동 수행을 조종자들의 동작의 완료를 실시간으로 인식하여 가동하는 동안 이루어진다. 설명한 바와 같이, 그러한 동작들이 큰 운반 동작들일 때 다빈치 원격 수술 로봇을 사용하는 이러한 협력 방식은 마스터 머니퓰레이터들의 작업 영역 사용을 개선한다. 또한, 실험들은 그러한 인간-기계 협력 방식이 수동 조종 및 자동 수행 사이의 원활하고 직관적인 전환을 가능하게 함을 보여준다.

본 발명의 접근 방식은 환경에 대한 완벽한 설명이나 동작을 미리 프로그래밍하는 것을 필요로 하지 않는다. 인식 시스템, 수행된 동작과 서브작업들의 배치는 자동 구간으로 라벨이 붙여진 시연된 시퀀스들로부터 곧장 추론된다. 또한 조종자의 시야 영역에서 계획된3차원 궤적을 표시함으로써 조종자는 자동 동작들을 관리할 수 있다. 수행된 동작은 마스터 머니퓰레이터의 움직임들에 중첩되므로, 조종자는 필요한 경우 궤적을 조정할 수 있다. 마지막으로, 로봇을 붙잡거나 제어 중지를 요청함으로써 자동 수행은 안전하게 중지될 수 있다.

이 접근 방식은 능숙한 조종 서브작업들, 예를 들어, 3차원 내시경으로부터 제공된 시각 정보를 이용하여 바늘을 삽입하는 것에까지 확대될 수 있다. 환경적인 신호들은, 예를 들어, 조직과 기구의 접촉과 같은 학습한 체계에 통합될 수 있다. 또한 서브작업들의 연속이 순차적이지 않을 수도 있지만 옵션들을 포함할 수 있는 긴 작업들이 포함될 수 있다.

HMC 시스템의 향상은 학습된 작업 별 동작들뿐만 아니라, 예를 들어, 음성 명령으로 가동되는 단순한 일반적인 동작을 자동화하는 기능을 포함할 수 있다. 특정 도구에 초점을 맞추기 위한 카메라 위치 자동 변위 같은 일반적인 동작들 또한 원격 조종 로봇의 인체 공학적 사용을 향상시킬 수 있다.

본 명세서에서 설명 및 검토된 실시예들은 당업자에게 본 발명을 어떻게 이루고 사용하는 지를 설명하기 위한 것이다. 본 발명의 실시예들을 설명함에 있어서, 특정의 용어가 명료성의 목적으로 이용된다. 그러나, 본 발명은 이와 같이 선택된 특정 용어로 제한되지 않는다. 본 발명의 전술한 실시예들은 상기의 설명에 비추어 당업자에 의해 인식되는 바와 같은 본 발명의 범위를 벗어나지 않고 변경 또는 변화될 수 있다. 따라서, 특허청구범위 및 이의 균등물의 범위 내에서 본 발명은 구체적으로 설명된 것과 다르게 실시될 수 있는 것으로 이해하여야 한다.

Claims

다단계 작업을 수행하는 반자동 상호적 로봇 시스템으로서,
사용자 인터페이스 시스템;
상기 사용자 인터페이스 시스템과 통신하는 인식 시스템;
상기 인식 시스템과 통신하는 제어 시스템; 및
상기 제어 시스템과 통신하는 로봇의 센서-작동기 시스템을 포함하고,
상기 인식 시스템은 상기 다단계 작업의 작업 모델에 기반하여 사용자가 상기 사용자 인터페이스 시스템을 조종하는 동안 상기 사용자가 취한 동작들을 인식하고, 상기 로봇의 상기 센서-작동기 시스템이 상기 다단계 작업의 직행 단계를 수행하도록 상기 제어 시스템에 지시하며,
상기 인식 시스템은 상기 직행 단계의 완료를 더 인식하고,
상기 인식 시스템은 상기 인식된 동작들 및 상기 다단계 작업의 상기 작업 모델에 기반하여 상기 직행 단계가 완료되면 상기 로봇의 상기 센서-작동기 시스템이 자동 단계를 수행하도록 상기 제어 시스템에 더 지시하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 로봇의 상기 센서-작동기 시스템은 복수의 관절식 팔들을 포함하는 반자동 상호적 로봇 시스템.
제2항에 있어서,
상기 복수의 관절식 팔들 중 적어도 하나는 그리퍼 또는 도구 부착 어셈블리 중 적어도 하나를 포함하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 작업 모델은 은닉 마르코프 모델인 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 작업 모델은 기계 학습 모델인 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 사용자 인터페이스 시스템은 상기 제어 시스템에 제공될 지시들의 착수 또는 수정을 위하여 상기 인식 시스템과 통신하기 위해 상기 사용자의 적어도 어느 한 부분의 동작을 감지 및 결정하도록 구성 및 배치되는 사용자 관측 시스템을 포함하는 반자동 상호적 로봇 시스템.
제6항에 있어서,
상기 관측 시스템은 카메라들을 포함하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 로봇의 상기 센서-작동기 시스템은 상기 제어 시스템에 제공될 지시들의 착수 또는 수정을 위하여 상기 인식 시스템과 통신하도록, 또한, 다뤄지는 대상의 적어도 어느 한 부분의 특성을 감지 및 결정하도록 구성 및 배치되는 센서 시스템을 포함하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 사용자 인터페이스 시스템은
상기 제어 시스템에 제공될 지시들의 착수 또는 수정을 위하여 상기 인식 시스템에 전달될 명령들을, 상기 사용자가 적어도 수동 또는 음성으로 입력할 수 있도록 하는 입력 장치를 포함하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 사용자 인터페이스 시스템은 상기 사용자에게 수행 될 단계에 대한 정보를 보여주는 디스플레이 시스템을 포함하는 반자동 상호적 로봇 시스템.
다단계 작업을 시뮬레이션하는 반자동 상호적 로봇 시뮬레이션 시스템으로서,
사용자 인터페이스 시스템;
상기 사용자 인터페이스 시스템과 통신하는 인식 시스템;
상기 인식 시스템과 통신하는 제어 시스템; 및
상기 제어 시스템과 통신하는 로봇의 가상 센서-작동기 시스템을 포함하고,
상기 인식 시스템은 상기 다단계 작업의 작업 모델에 기반하여 사용자가 상기 사용자 인터페이스 시스템을 조종하는 동안 상기 사용자가 취한 동작들을 인식하고, 상기 로봇의 상기 가상 센서-작동기 시스템이 상기 다단계 작업의 직행 단계의 수행을 시뮬레이션하도록 상기 제어 시스템에 지시하며,
상기 인식 시스템은 상기 직행 단계의 종료를 더 인식하고,
상기 인식 시스템은 상기 인식된 동작들 및 상기 다단계 작업의 상기 작업 모델에 기반하여 상기 직행 단계가 완료되면 상기 로봇의 상기 가상 센서-작동기 시스템이 자동 단계를 수행하도록 상기 제어 시스템에 더 지시하는 반자동 상호적 로봇 시뮬레이션 시스템.
제11항에 있어서,
상기 로봇의 상기 가상 센서-작동기 시스템은 복수의 관절식 팔들을 시뮬레이션하는 반자동 상호적 로봇 시뮬레이션 시스템.
제11항에 있어서,
상기 작업 모델은 은닉 마르코프 모델인 반자동 상호적 로봇 시뮬레이션 시스템.
제11항에 있어서,
상기 작업 모델은 기계 학습 모델인 반자동 상호적 로봇 시뮬레이션 시스템.
제11항에 있어서,
상기 사용자 인터페이스 시스템은 상기 사용자에게 시뮬레이션 될 단계에 대한 정보를 보여주는 디스플레이 시스템을 포함하는 반자동 상호적 로봇 시뮬레이션 시스템.
제1항에 있어서,
상기 인식 시스템은 상기 자동 단계가 완료되면 상기 작업 모델에 기반하여 상기 사용자가 상기 사용자 인터페이스 시스템을 조종하는 동안 상기 사용자가 취한 동작들을 더 인식하고, 상기 로봇의 상기 센서-작동기 시스템이 제 2 직행 단계를 수행하도록 상기 제어 시스템에 지시하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 반자동 상호적 로봇 시스템은 상기 사용자로부터의 수동 입력에 응답하여 직행 단계를 수행하는 반자동 상호적 로봇 시스템.
제1항에 있어서,
상기 반자동 상호적 로봇 시스템은 상기 반자동 상호적 로봇 시스템의 제어 하에서 자동 단계를 수행하고, 상기 사용자로부터의 움직임을 필요로 하지 않는 반자동 상호적 로봇 시스템.