KR102770936B1 - 다중 의료 영상 송출 및 수술 보조 기능을 제공하는 헤드셋 기반 비전장치 - Google Patents

Abstract

본 발명은 최소 침습 수술을 위한 수술 로봇 시스템 및 이의 제어방법에 관한 것으로, 보다 구체적으로는 비전 헤드셋을 이용한 수술 로봇 시스템 및 이의 제어방법에 관한 것이다.
본 발명의 일실시예에 따르면, 메인 스크린에 내시경 영상을 송출하는 내시경 영상 송출모듈; 상기 메인 스크린의 일측에 위치하는 보조 스크린에 선택되고 활성화된 수술 보조 기능을 송출하는 수술 보조 기능 송출모듈; 상기 보조 스크린에 제공될 수 있는 복수 개의 수술 보조 기능에 대한 목록을 선택 스크린에 송출하는 수술 보조 기능 선택 송출모듈; 사용자의 머리 위치 변화를 감지하기 위한 각속도 센서 및 자이로스코프; 사용자의 시선 변화 및 초점 변화를 감지하기 위한 시선추적모듈; 그리고 상기 시선추적모듈의 추적 결과에 기반하여, 상기 복수 개의 수술 보조 기능 중 선택된 특정 수술 보조 기능이 상기 보조 스크린에 제공되도록 제어하는 컨트롤러를 포함하는 수술 로봇 시스템의 헤드셋이 제공될 수 있다.

Description

다중 의료 영상 송출 및 수술 보조 기능을 제공하는 헤드셋 기반 비전장치{headset-based vision system for providing multiple medical view and surgery assistance}

본 발명은 최소 침습 수술을 위한 수술 로봇 시스템 및 이의 제어방법에 관한 것으로, 보다 구체적으로는 비전 헤드셋을 이용한 수술 로봇 시스템 및 이의 제어방법에 관한 것이다.

또한, 본 발명은 수술 로봇 시스템에 적용할 수 있는 헤드셋 기반 비전장치 및 이의 제어방법에 관한 것이다.

수술 로봇을 활용한 최소침습수술은 환자에게 최소한의 절개를 가하여 수술을 진행하는 기법으로, 개복 수술에 비해 다양한 이점(출혈량 최소화, 빠른 회복, 입원 기간 단축 등)으로 환자의 예후 개선에 이바지하고 있다.

현재 국내외에서 가장 널리 활용되는 외과 수술 로봇인 Intuitive Surgical Inc. 사의 da Vinci Surgical System(dVSS) 수술 로봇은 크게 집도의가 조작을 가하는 집도 콘솔(Surgeon Console)과 환자 쪽에 위치한 수술 카트(Patient Cart)로 구성된다.

집도 콘솔은 집도의에게 3차원 영상을 송출하는 비전장치인 Stereo Viewer, 로봇의 위치를 조작할 수 있는 Master Tool Manipulator(MTM), 그리고 다양한 특수 기능을 수행할 수 있는 Foot Pedal Tray로 구성된다.

수술 카트는 수술 도구 및 내시경 카메라의 장착이 가능한 조작부(Manipulator)들로 구성된다. 조작부(Manipulator)는 제공하는 기능에 따라 환자에게 직접적인 조작을 가하는 수술 도구를 장착할 수 있는 Patient Side Manipulator(PSM)와 집도의에게 수술 시야를 제공하는 내시경 카메라를 장착할 수 있는 Endoscopic Camera Manipulator(ECM)로 나뉜다.

MTM은 PSM과 ECM의 위치 제어를 담당하는 장치로, 집도의는 허용 조작 범위 내에서 손과 손목의 움직임을 활용하여 MTM을 조작한다. 해당 움직임은 집도의가 제어권을 소유하고 있는 수술 카트의 조작부(Manipulator) 및 장착된 수술 도구의 움직임으로 반영된다.

Foot Pedal Tray는 스위치(Switch), 클러치(Clutch), 카메라(Camera) 등 수술 카트에 위치하는 각 조작부(Manipulator)의 조작 제어권을 획득하고 다양한 기능을 수행하는 페달들로 구성된다. 스위치 페달은 집도의가 활용하고자 하는 조작부(Manipulator)의 제어권을 획득하도록 한다. 클러치 페달은 조작부(Manipulator)가 움직이지 않는 상태에서 MTM 및 집도의의 손의 위치를 재조정할 수 있도록 한다. 이로써 집도의는 MTM의 제한된 조작 범위 내에서 수술을 원활하게 진행할 수 있다. 카메라 페달을 밟으면 ECM에 대한 위치 제어권 획득이 가능하여, 내시경 카메라의 위치 이동이 가능하다.

Stereo Viewer는 집도의의 각 눈에 서로 다른 시점(Viewpoint)에서 촬영된 영상을 송출하여 인위적으로 시차(Parallax)를 느끼도록 함으로써 깊이감과 몰입감을 느낄 수 있도록 한다.

그러나, 이러한 수술 로봇의 비전장치는 부피가 매우 커서 수술 공간이 비효율적으로 활용되는 한계점이 있다. 또한, 현재 활용되는 수술 로봇은 수술 진행 과정 내내 비전장치 내부에 시선을 고정해야 한다. 집도의는 앉은 상태에서 고정된 자세로 시야는 비전장치 내부를 향한 채로 손을 이용하여 집도를 하게 된다. 이때, 종래의 비전장치는 인체공학적 특성을 잘 반영하지 못하여, 육체적 피로가 누적되고, 이는 만성 관절 통증 및 불편감의 원인으로 작용한다. 또한, 수술 로봇의 비전장치에 송출되는 영상은 수술 장면에 관한 시야에 국한되어, 활력 징후(Vital Sign) 등 환자에 대한 의료 정보 확인을 위해서는 기존의 비전장치로부터 시선을 떼고, 해당 정보를 확인해야 한다. 따라서, 종래의 수술 로봇을 이용하는 경우, 수술 과정을 중단하여 수술의 흐름이 일시적으로 끊긴다는 한계점을 가지고, 더 나아가 사활을 다투는 수술은 환자의 예후에 치명적으로 작용할 가능성이 존재한다.

본 발명은 기본적으로 종래의 로봇 수술 시스템 및 이의 비전장치의 문제를 해결하고자 함을 목적으로 한다.

본 발명의 일실시예를 통해서 효율적인 수술 공간 활용이 가능한 로봇 수술 시스템 및 이의 비전장치을 제공하고자 한다.

본 발명의 일실시예를 통해서 비전장치에 대한 집도의의 구속적 측면을 완화하여 더욱 개선된 환경으로 수술을 수행할 수 있는 로봇 수술 시스템 및 이의 비전장치를 제공하고자 한다.

본 발명의 일실시예를 통해 헤드셋을 통해 집도의에게 다양한 수술 보조 기능을 제공하여 수술 흐름의 단절을 최소화하고 임상적 편의성을 높일 수 있는 로봇 수술 시스템 및 이의 비전장치을 제공하고자 한다.

본 발명의 일실시예를 통해 집도의의 시선 변화를 통해서 용이하게 수술 보조 기능의 활성화 및 선택할 수 있는 로봇 수술 시스템 및 이의 비전장치를 제공하고자 한다.

본 발명의 일실시예를 통해 집도의에 따른 맞춤형 수술 플랫폼을 제공할 수 있는 로봇 수술 시스템 및 이의 비전장치을 제공하고자 한다.

본 발명의 일실시예를 통해 종래의 로봇 수술 시스템에 용이하게 적용할 수 있는 비전 플랫폼 내지 비전장치을 제공하고자 한다.

전술한 목적을 이루기 위하여, 본 발명의 일실시예에 따르면, 사용자에게 수술 영상을 제공하는 비전장치를 포함하여 사용자가 수술 조작을 수행하도록 구비되는 집도 콘솔(surgeon console)과 환자 쪽에 위치하여 상기 집도 콘솔을 통한 사용자의 수술 조작을 반영하여 수술을 수행하는 수술 카트(patient cart)를 포함하는 수술 로봇 시스템에 있어서, 상기 비전장치는 사용자가 착용하는 헤드셋을 포함하고, 상기 헤드셋은, VR환경 내에서 수술 영상과 수술 보조 기능 영상을 서로 구분되도록 사용자에게 제공하는 메인 디스플레이 영역; 그리고 VR환경 내에서 상기 수술 보조 기능을 사용자가 선택 및 활성화하도록 사용자에게 제공하며, 상기 메인 디스플레이 영역의 일측에 위치하는 보조 디스플레이 영역을 포함함을 특징으로 하는 수술 로봇 시스템이 제공될 수 있다.

상기 메인 디스플레이 영역은, 중앙에 위치하고 현재의 수술 영상을 사용자에게 제공하는 메인 스크린; 그리고 상기 메인 스크린의 좌우에 각각 위치하고, 상기 보조 디스플레이 영역을 통해 선택되어 활성화된 수술 보조 기능을 사용자에게 제공하는 복수 개의 보조 스크린을 포함할 수 있다.

상기 보조 디스플레이 영역은 각각의 수술 보조 기능을 표시하는 복수 개의 선택 스크린을 포함할 수 있다.

상기 보조 디스플레이 영역은 상기 메인 디스플레이 영역의 좌측 또는 우측에 위치될 수 있다. 따라서, 집도의가 특히 메인 스크린에 집중하는 경우, 보조 디스플레이 영역은 집도의의 시야에서 완전히 벗어나도록 할 수 있다.

상기 헤드셋은 사용자의 시선 변화 및 초점 변화를 추적하는 시선추적모듈과 상기 헤드셋이 착용된 사용자의 머리의 이동을 감지하는 각속도 센서 및 자이로스코프를 포함함이 바람직하다.

상기 메인 스크린, 보조 스크린 그리고 선택 스크린의 깊이 방향 위치는 상기 시선추적모듈의 추적 결과에 기반하여 자동으로 조절되는 것이 바람직하다.

상기 복수 개의 수술 보조 기능 중 특정 수술 보조 기능에 대한 사용자의 선택과 상기 복수 개의 보조 스크린 중 상기 선택된 수술 보조 기능이 제공되는 특정 보조 스크린에 대한 사용자의 선택은, 소정 시간 동안 소정 횟수 사용자의 눈 깜빡임을 통해 수행될 수 있다.

즉, 본 실시예에 따르면 세부적인 객체의 선택, 일례로 수술 보조 기능 및/또는 스크린의 선택은 각속도 및 자이로스코프 센서 기반 사용자 머리 위치 감지 기술과 적외선 기반 시선 추적 기술이 적용될 수 있다.

각속도 센서와 자이로스코프 센서는 개별적으로 구비될 수도 있으며, 통합되어 구비될 수도 있다.

상기 수술 보조 기능은 환자의 실시간 의료 정보, 수술 시야 내 출혈 부위 시각 정보, 수술 시야 내 주요 병변 또는 조직 강조 시각 정보, 수술 가이드를 위한 참조 정보, 수술 예후 예측 정보 그리고 재수술 시 환자의 호전도 계산 및 예후 예측 정보 중 적어도 어느 하나를 포함할 수 있다.

전술한 목적을 이루기 위하여, 본 발명의 일실시예에 따르면, 메인 스크린에 내시경 영상을 송출하는 내시경 영상 송출모듈; 상기 메인 스크린의 일측에 위치하는 보조 스크린에 선택되고 활성화된 수술 보조 기능을 송출하는 수술 보조 기능 송출모듈; 상기 보조 스크린에 제공될 수 있는 복수 개의 수술 보조 기능에 대한 목록을 선택 스크린에 송출하는 수술 보조 기능 선택 송출모듈; 사용자의 머리 위치 변화를 감지하기 위한 각속도 센서 및 자이로스코프; 사용자의 시선 변화 및 초점 변화를 감지하기 위한 시선추적모듈; 그리고 상기 시선추적모듈의 추적 결과에 기반하여, 상기 복수 개의 수술 보조 기능 중 선택된 특정 수술 보조 기능이 상기 보조 스크린에 제공되도록 제어하는 컨트롤러를 포함하는 수술 로봇 시스템의 헤드셋이 제공될 수 있다.

상기 보조 스크린은, 상기 메인 스크린의 좌측에 구비되는 좌측 보조 스크린과 우측에 구비되는 우측 보조 스크린을 포함할 수 있다.

상기 컨트롤러는, 상기 선택된 특정 수술 보조 기능이 상기 좌측 보조 스크린 또는 우측 보조 스크린 중에서 선택된 어느 하나의 보조 스크린에 제공되도록 제어함이 바람직하다.

상기 복수 개의 수술 보조 기능 중 특정 수술 보조 기능에 대한 사용자의 선택과 상기 복수 개의 보조 스크린 중 상기 선택된 수술 보조 기능이 제공되는 특정 보조 스크린에 대한 사용자의 선택은, 소정 시간 동안 소정 횟수 사용자의 눈 깜빡임을 통해 수행될 수 있다. 따라서, 사용자가 손이나 발을 이용하지 않고 직관적 그리고 용이하게 선택 조작을 할 수 있다.

상기 헤드셋은 사용자에게 휴식 권장을 알리는 알람 송출모듈을 포함할 수 있다. 일례로, 상기 시선추적모듈을 통한 추적 결과를 인공지능모듈을 통해 분석하여 집도의의 피로를 예상하여 사용자에게 휴식 권장을 알릴 수 있다.

상기 수술 보조 기능은 환자의 실시간 의료 정보, 수술 시야 내 출혈 부위 시각 정보, 수술 시야 내 주요 병변 또는 조직 강조 시각 정보, 수술 가이드를 위한 참조 정보, 수술 예후 예측 정보 그리고 재수술 시 환자의 호전도 계산 및 예후 예측 정보 중 적어도 어느 하나를 포함함이 바람직하다.

상기 컨트롤러는, 상기 시선추적모듈의 추적 결과에 기반하여 상기 메인 스크린, 보조 스크린 그리고 선택 스크린의 깊이 방향 위치를 자동으로 조절하는 것이 바람직하다.

상기 헤드셋은 상기 수술 로봇 시스템의 주변기기와 데이터를 송수신하는 입출력모듈을 포함할 수 있다.

본 발명의 일실시예를 통해서 효율적인 수술 공간 활용이 가능한 로봇 수술 시스템 및 이의 비전장치을 제공할 수 있다.

본 발명의 일실시예를 통해서 비전장치에 대한 집도의의 구속적 측면을 완화하여 더욱 개선된 환경으로 수술을 수행할 수 있는 로봇 수술 시스템 및 이의 비전장치를 제공할 수 있다.

본 발명의 일실시예를 통해 헤드셋을 통해 집도의에게 다양한 수술 보조 기능을 제공하여 수술 흐름의 단절을 최소화하고 임상적 편의성을 높일 수 있는 로봇 수술 시스템 및 이의 비전장치을 제공할 수 있다.

본 발명의 일실시예를 통해, VR환경 내에서 수술 영상 및 수술 보조 영상을 제공하는 것뿐만 아니라, 집도의의 시선 변화를 통해서 용이하게 수술 보조 기능의 활성화 및 선택할 수 있는 로봇 수술 시스템 및 이의 비전장치를 제공할 수 있다.

본 발명의 일실시예를 통해 집도의에 따른 맞춤형 수술 플랫폼을 제공할 수 있는 로봇 수술 시스템 및 이의 비전장치을 제공하고자 한다.

본 발명의 일실시예를 통해 종래의 로봇 수술 시스템에 용이하게 적용할 수 있는 비전 플랫폼 내지 비전장치을 제공할 수 있다.

본 발명의 일실시예를 통해 집도의가 용이하게 사용할 수 있는 비전장치의 제어방법을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 헤드셋을 사용자가 착용한 후 사용자에게 제공되는 디스플레이의 개념을 간략하게 도시하고,
도 2는 본 발명의 일실시예에 따른 헤드셋의 제어구성을 도시하고,
도 3은 수술 보조 기능 및 스크린의 활성화 플로우를 도시하고,
도 4는 수술 보조 기능 및 스크린의 선택 플로우를 도시하고,
도 5는 보조 스크린에 표시된 수술 보조 기능으로서의 출혈 강조 기능의 일례를 도시하고,
도 6은 수술 보조 기능으로서의 조직 간 경계 표시 기능의 일례를 도시하고,
도 7은 수술 보조 기능으로서의 이상적 수술 시나리오 기능의 일례를 도시하고,
도 8은 수술 보조 기능으로서의 예후 예측 기능의 일례로 출혈 확률이 계산되어 표시된 일례가 도시되어 있다.

본 발명의 일실시예에 따르면, 종래 수술 로봇의 비전장치를 가상현실 헤드셋으로 대체할 수 있다. 특히, 가상현실뿐만 아니라 혼합 현실을 구현한 헤드셋을 포함한 수술 로봇 및 이의 제어방법을 제공할 수 있다.

여기서 헤드셋(head-set)은 머리 착용 디스플레이(HMD, head mounted display)를 의미하며 안경처럼 사용자가 착용하고 사용하는 모니터라 할 수 있다. 최근에는 FMD(face mounted display)라고 부르기도 한다.

혼합 현실(Mixed Reality, MR)이란, 현실(Reality)과 가상현실(Virtuality) 사이 일련의 스펙트럼을 포괄하는 개념으로, 대표적인 예로 현실 환경에 가상적인 요소를 덧씌우는 증강 현실(Augmented Reality, AR)과 가상 환경에 현실의 요소를 추가하는 증강 가상현실(Augmented Virtuality, AV)이 있다. 혼합 현실은 사용자에게 입체감과 현실감이 있는 3차원 영상을 제공하며, 흔히 머리에 착용할 수 있고, 각 눈앞에 서로 다른 영상을 송출할 수 있는 가상현실 헤드셋이 널리 쓰인다. 이는 여러 대의 고정된 Base Station에서 송출되는 적외선 신호를 기반으로 헤드셋의 상대적인 위치를 실시간으로 추적할 수 있고, 헤드셋 내에 내재된 방향과 위치의 변화를 인지할 수 있는 각속도 센서인 자이로스코프 센서를 기반으로 집도의의 목 돌림(Flexion, Extension, Rotation 등) 각도에 따라 실시간으로 헤드셋의 기준 좌표계가 정립되므로 광각의 가상 환경 구축이 가능하다. 또한, 집도의는 다양한 입력(컨트롤러, 헤드셋 위치 및 자세의 변화, 음성 등) 및 출력(소리, 진동, 화면 등) 채널을 통해 혼합 현실 인터페이스와 상호작용할 수 있다. 또한, 가상현실 헤드셋은 헤드셋의 전면 및 측면부에 카메라를 내장시켜, 집도의 주변 환경에 대한 시야를 획득하고, 이를 또 다른 입력 채널로 활용할 수 있다.

한편, 본 발명의 일실시예에 따르면 시선 추적(Eye Tracking) 기술이 적용될 수 있다.

혼합 현실 등의 몰입형 기술에서 입력, 제어 수단으로 사용되는 행동(Gesture) 기반 인터페이스는 사용자의 손 및 몸의 움직임, 눈의 깜빡임, 머리의 움직임 등과 같은 물리적인 동작들에 의해서 만들어진다. 이때, 시각은 오감 중 가장 민감하고 반응이 빠른 감각 기관으로 시선 추적 기술은 사용자와 정보기기 간 상호 작용 시 가장 효과적인 수단 중 하나이다. 따라서, 혼합 현실을 구현한 헤드셋의 행동 기반 인터페이스로서 시선 추적 기술을 적용하는 것이 매우 바람직하다.

시선 추적 기술은 눈동자의 움직임을 감지하여 시선의 위치를 추적하는 기술로, 적외선을 눈 표면의 각막으로 주사하고 각막에서 반사되는 적외선을 카메라가 인지하고 추적하는 원리로, 눈의 움직임을 컴퓨터에 데이터로서 저장한다. 눈의 움직임 측정 시 시점의 위치 및 시간 정보를 동시에 기록이 가능하며, 해당 데이터를 활용하여 눈의 움직임을 분류할 수 있다. 시선 추적 기술은 크게 RED (Remote Eyetracking Device)와 HED (Head-mounted Eyetracking Device) 방법으로 구분될 수 있다.

RED는 눈과 직접적인 접촉 없이 시선의 움직임을 자동으로 측정해주는 방법을 말하며, 이는 눈의 초점을 측정할 시 피험자가 몸을 자유롭게 움직이지 못하고 고정된 자세에서 머리의 위치를 유지해야 하는 어려움이 있다. 그러나 HED는 피험자가 카메라가 부착된 별도의 헤드셋을 착용하고 몸을 자유롭게 움직이면서 공간적 탐색이 가능하다. 이에 따라 HED는 동적인 움직임에 따른 시선의 움직임을 조사할 수 있으며, 입체물을 대상으로 한 실험이 가능하다는 특징을 가진다. 따라서, 혼합 현실을 구현한 헤드셋의 행동 기반 인터페이스로서 HED 방법의 시선 추적 기술을 적용하는 것은 매우 바람직하다.

따라서, 본 발명은 종래 수술 로봇의 비전장치의 문제점을 해결하기 위하여, 전술한 바와 같이 시선 추적 기술이 적용된 혼합 현실 구현 헤드셋을 포함하는 비전장치에 관한 것이라 할 수 있다.

즉, 본 발명의 일실시예에 따르면 가상현실 기술을 적용하여 기존의 수술 로봇 비전장치를 대체하고, 수술을 위한 시야 및 환자의 의료 정보를 비롯한 편의성을 제공하는 수술 보조 기능을 가상현실 헤드셋의 가상 환경으로 송출하는 비전장치 내지 플랫폼을 제공할 수 있다.

이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 비전장치에 대해서 상세히 설명한다.

도 1은 사용자가 헤드셋을 착용한 후 사용자에게 제공되는 디스플레이의 개념을 간략하게 도시하고 있다.

도시된 바와 같이 헤드셋 내의 디스플레이는 메인 디스플레이(10)와 보조 디스플레이(20)를 포함할 수 있다. (A) 영역은 메인 디스플레이(10) 그리고 (B) 영역은 보조 디스플레이(10)라 할 수 있다.

메인 디스플레이(10)는 복수 개의 스크린(11, 12, 13)을 포함할 수 있으며, 보조 디스플레이(20) 또한 복수 개의 선택 스크린(21, 22, 23, 24)을 포함할 수 있다. 물론, 각각의 스크린의 개수는 달라질 수 있다.

사용자는 헤드셋을 착용한 후 수술을 수행하게 된다. 일례로 내시경 수술을 수행하는 경우 내시경 영상을 보면서 사용자가 수술을 수행한다. 따라서, 메인 디스플레이(10)에는 내시경 영상이 송출되어 디스플레이됨이 바람직하다. 특히, 사용자가 정면을 응시하면서 수술을 수행하는 것이 바람직하므로, 중앙 스크린(12)에 내시경 영상이 디스플레이될 수 있다.

한편, 사용자가 수술을 수행하면서 다양한 보조 정보를 참조하는 것이 바람직할 것이다. 즉, 헤드셋이 단순하게 기본적인 내시경 영상을 디스플레이하는 기능만을 수행하는 것이 아니라, 보조 정보를 디스플레이하는 보조 기능을 수행하도록 할 수 있다. 다시 말하면, 사용자가 수술 시 참조할 수 있는 정보들을 디스플레이하는 보조 기능이 부가됨이 바람직하다.

따라서, 메인 디스플레이(10)는 보조 기능을 디스플레이하기 위한 보조 스크린(11, 13)을 포함할 수 있다. 보조 스크린(11, 13)은 중앙 스크린(12)의 좌측 또는 우측에 구비될 수 있으며, 사용자는 중앙 스크린(12)을 보면서 수술을 수행하면서 시선을 좌측 또는 우측으로 이동시켜 보조 정보를 용이하게 파악할 수 있게 된다.

일례로, 보조 스크린은 중앙 스크린(12) 즉 메인 스크린의 좌측과 우측에 각각 구비될 수 있다. 편의상 좌측의 보조 스크린(11)을 좌측 보조 스크린(11)이라 하고 우측의 보조 스크린(13)을 우측 보조 스크린(13)이라 할 수 있다.

사용자는 시선 이동이 아닌 좌우로 고개를 돌릴 수 있다. 즉, 좌측으로 고개를 돌리면서 보조 스크린(11)을 정면으로 응시할 수 있으며, 우측으로 고개를 돌리면서 보조 스크린(13)을 정면으로 응시할 수 있다. 이후, 보조 정보를 확인한 후 고개를 정면으로 돌린 후 중앙 스크린을 보면서 수술을 진행할 수 있다. 여기서, 즉, 좌측 보조 스크린(11)과 우측 보조 스크린(13)에는 서로 다른 수술 보조 정보가 제공되는 것이 바람직하다고 할 수 있다. 따라서, 매우 간단하고 용이하게 수술 보조 정보를 확인할 수 있게 된다.

다시 말하면, 메인 디스플레이(10)는 수술 시야를 위한 내시경 영상이 송출되는 부분(12)과 수술 보조 기능이 시각적으로 송출되는 부분(11, 13)으로 구분될 수 있다.

수술 보조 기능은 매우 다양할 수 있으며, 특히 수술 진행 상황에 따라 필요한 수술 보조 기능이 달라질 수 있다. 그러나 한정된 메인 디스플레이(10)의 공간으로 인해 다양하고 많은 수술 보조 기능을 동시에 디스플레이하는 것은 용이하지 않다. 일례로 내시경 영상이 송출되는 중앙 스크린(12)의 크기를 줄이고 보조 스크린의 수를 증가시키는 것은 바람직하지 않을 것이다. 따라서, 메인 디스플레이(10)에서 송출되는 보조 기능은 사용자가 선택할 수 있도록 함이 바람직하다.

일례로, 보조 스크린(11, 13)에는 사용자의 선택으로 활성화된 보조 기능만 송출되어 디스플레이되도록 함이 바람직하다.

보조 디스플레이(20)는 메인 디스플레이(10)의 일측에 마련될 수 있으며, 사용자가 정면을 응시하는 경우에는 사용자의 시야에서 벗어나는 좌측 내지는 우측에 마련될 수 있다. 일례로, 보조 디스플레이(20)는 메인 디스플레이(10)의 왼쪽에 마련될 수 있다.

보조 디스플레이(20)에는 복수 개의 선택 스크린(21, 22, 23, 24)이 나열되어 구비될 수 있으며, 선택 스크린 각각에는 해당 수술 보조 기능이 문자 등으로 기재되어 표시될 수 있다. 물론, 보조 기능이 더욱 많은 경우 선택 스크린의 개수는 더 많을 수 있다. 즉, 보조 디스플레이(20)는 활성화가 가능한 수술 보조 기능을 나열한 부분이라 할 수 있다. 도 1에는 수술 보조 기능이 일례로 4개 나열된 것이 도시되어 있다.

따라서, 사용자는 수술을 진행함에 따라 보조 디스플레이(20)를 통해서 필요한 수술 보조 기능이 활성화되도록 선택하고, 선택되어 활성화된 수술 보조 기능은 메인 디스플레이(10)를 통해 볼 수 있게 된다. 즉, 내시경 영상뿐만 아니라 현재 필요한 수술 보조 기능을 활용하여 최적의 수술을 수행할 수 있게 된다.

로봇 수술은 담낭, 충수, 갑상선, 위/대장 등 여러 부위에 대해 수술 시 적용 가능하며, 부위에 따른 수술의 종류 또한 다양하다. 수술 부위 및 종류에 따라 집도의가 집중적으로 확인 및 참고하여야 하는 의료 정보와 유용하게 활용 가능한 수술 보조 기능의 종류가 상이할 수 있다. 따라서, 수술 부위 및 종류에 따라 집도의가 이전에 활용했던 수술 보조 기능과 해당 기능을 송출한 보조 스크린에 대한 이력을 기록할 수 있다. 이후, 해당 정보를 인공지능 알고리즘을 기반으로 분석하여 향후 같은 수술 부위 및 종류의 수술이 진행될 시 수술 보조 기능 및 해당 기능을 송출할 보조 스크린을 추천할 수 있다. 이는, 수술 데이터가 누적될수록 효과적인 수술 보조 기능 및 보조 스크린 추천이 가능하며, 사용자(집도의)의 편의성 개선에 이바지할 수 있다.

결국, 보조 디스플레이(20)에 구비되는 선택 스크린들에는 선택할 수 있는 수술 보조 기능이 나열되며, 이를 통해서 현재 디스플레이되는 수술 보조 기능을 다른 보조 기능으로 변경할 수 있는 것이 바람직하다.

이하에서는 도 2를 참조하여 본 발명의 일실시예에 따른 헤드셋의 제어구성에 대해서 상세히 설명한다.

헤드셋(100)은 영상송출모듈(30)을 포함할 수 있다. 영상송출모듈(30)은 입출력모듈(80)을 통해서 입력되는 영상 내지 정보들을 송출하여 디스플레이할 수 있다.

영상송출모듈(30)은 내시경 영상 송출모듈(31)을 포함할 수 있으며, 이를 통해서 현재 내시경에 구비된 카메라를 통해 획득되는 영상을 메인 스크린(12)으로 송출할 수 있다.

영상송출모듈(30)은 수술 보조 기능 송출모듈(32)을 포함할 수 있다. 이를 통해서 각각의 보조 스크린(11, 13)에 선택되어 활성화된 수술 보조 기능이 송출될 수 있다.

영상송출모듈(30)은 선택 가능한 수술 보조 기능을 송출하는 수술 보조 기능 선택 송출모듈(33)을 포함할 수 있다. 이를 통해서 각각의 선택 스크린(21, 22, 23, 24)에 선택 가능한 수술 보조 기능의 명칭이나 정보 등을 송출할 수 있다.

한편, 영상송출모듈(30)은 알람 송출모듈(34)을 포함할 수 있다. 알람은 집도의의 주위를 환기시키기 위한 정보를 의미하며, 일례로 휴식 권장 메시지일 수 있다. 알람 정보는 메인 스크린(12)의 상측 또는 하측에 표시되도록 할 수 있다. 즉, 집도의가 메인 스크린(12)을 보면서 수술하는 도중 머리를 이동하지 않아도 용이하게 알람 정보를 파악할 수 있다.

상기 영상송출모듈(30)은 복수 개의 스크린에 영상을 송출하는 서브 모듈(31, 32, 33, 34)이 통합된 단일 모듈로 구비될 수도 있다.

상기 영상송출모듈(30)은 헤드셋(20)의 컨트롤러(20)를 통해서 제어될 수 있다. 상기 컨트롤러(20)에서는 활성화된 영상이나 선택되어 활성화된 영상이 선택적으로 특정 스크린에 송출되도록 제어할 수 있다.

헤드셋(100)은 가속도 센서(40)와 자이로스코프(50)를 포함할 수 있다. 가속도 센서(50)와 자이로스코프(50)는 사용자의 머리 위치 변화를 감지하도록 구비될 수 있다. 즉, 사용자의 머리 위치 변화를 통해서 사용자의 시선이 응시하는 방향을 감지할 수 있다. 다시 말하면, 사용자가 메인 스크린(12)을 응시하고 있는지, 보조 스크린(11, 13)을 응시하고 있는지 또는 선택 스크린(21, 22, 23, 24)을 응시하는지 감지할 수 있다.

집도의의 집도 시 기본자세(즉 내시경 수술 도중 기본자세) 집도의마다 다를 수 있다. 컨트롤러(20)는 가속도 센서(30)와 자이로스코프(50)를 통해서 기본자세 위치를 파악할 수 있다. 물론, 이러한 기본자세 위치는 집도의 마다 달라질 수 있다. 왜냐하면 수술 시 편한 자세는 집도의마다 상이할 수 있기 때문이다.

컨트롤러(20)는 기본자세 위치에서 메인 스크린(12)이 집도의의 정면에 나타나도록 제어할 수 있다.

헤드셋(100)은 시선추적모듈(60)을 포함할 수 있다. 시선추적모듈(60)은 사용자의 눈동자의 움직임을 감지하여 시선의 위치를 추적하기 위한 모듈이라 할 수 있다. 적외선을 눈 표면의 각막에 주사하는 적외선 모듈, 각막에서 반사되는 적외선을 인지하는 카메라 모듈을 포함할 수 있다.

특히, 시선추적모듈(60)을 통해서 시점의 위치 및 시간 정보를 기록할 수 있다.

또한, 시선추적모듈(60)은 집도의의 두 개의 눈동자 각각에 적외선을 주사하여 집도의 시선의 초점을 파악할 수 있다.

전술한 바와 같이, 본 발명의 일실시예에 따르면, 복수 개의 스크린에 해당하는 정보를 매핑하게 된다. 특히, 수술 진행 시 수술 시야의 선명도는 환자의 치료 예후에 영향을 미칠 수 있는 중요한 요소이다. 따라서, 집도의의 초점 거리를 고려하여 최상의 선명도를 제공할 수 있는 깊이 방향 위치에 각각의 스크린을 배치하는 것이 매우 중요하다. 즉, 시선추적모듈(60)을 통해서 집도의의 초점 거리를 파악하여 최적 위치에 스크린을 배치할 수 있다.

일례로, 깊이 방향의 시선 초점과 밀접한 연관이 있는 IPD(inter-pupillary distance, 동공 간 거리) 및 동공의 크기가 측정될 수 있으며, 이를 기반으로 최적초점 거리가 산출될 수 있다. 산출된 초점 거리에 스크린을 구비시킴으로써 최상의 선명도로 수술 시야 및 수술 보조 기능 수출이 가능하게 된다.

초점 거리는 수술을 집도하는 의사에 따라 차이가 존재하므로 사용자에 따라 가상공간 내 스크린의 배치 위치가 상이할 수 있다. 해당 기능을 통해 사용자의 초점 거리 계산 및 스크린의 배치 위치 조정을 자동화하여, 사용자에 따른 맞춤 플랫폼 제공이 가능하다. 또한, 해당 기능을 항시 제공함으로써 수술 진행 시 변화하는 IPD 및 동공의 크기를 반영함으로써 스크린의 위치를 지속적으로 최적화하여 사용자의 시각적 편의성 증진에 기여할 수 있다. 이는 궁극적으로 환자의 치료 예후에 긍정적 영향을 미칠 것이다.

헤드셋(100)은 주변 기기와 연동되어 작동될 수 있다. 즉, 헤드셋(100)은 주변 기기와 데이터를 주고받게 되며 이를 위한 입출력모듈(80)을 포함할 수 있다. 입출력모듈(80)을 통해서 내시경 영상을 수신할 수 있으며, 필요한 수술 보조 기능의 영상이나 정보를 수신할 수 있다. 또한, 입출력모듈(80)을 통해서 선택되어 활성화된 정보를 주변기기로 요청하고 이를 수신할 수 있다.

한편, 헤드셋(100)은 인공지능모듈(70)을 포함할 수 있다. 물론, 인공지능모듈(70)은 헤드셋(100)이 아닌 주변기기 특히 수술 로봇 시스템의 메인 컴퓨터에 구비될 수도 있다.

인공지능모듈(70)을 통해서 사용자의 피로도를 예측할 수 있다. 일례로, 시선추적모듈(60)을 통해서 사용자의 시선을 항시 추적하며 시선의 시간 정보 및 그 당시의 동공의 지름에 대한 정보를 포함한 시선 경로에 대한 기록이 가능하다. 수술 진행 시 시간이 지날수록 피로에 의한 집도의의 집중력이 감소하게 된다. 집도의의 집중력 감소는 환자의 예후에 부정적인 영향을 미칠 수 있으므로, 휴식을 통한 피로 및 집중력 회복을 권장한다. 이를 위하여 시선 추적 기술을 활용해 획득한 시선의 시간 정보, 동공의 지름, 시선의 경로 등의 정보를 인공지능 알고리즘을 활용하여 시선의 패턴, 눈의 깜빡임 빈도 수 등에 대해 분석을 통해 피로도를 정량화 후 일정 수치 이상일 경우 휴식 권장 기능을 제공할 수 있다. 해당 기능은 사용자(집도의)의 상태에 대한 항시 모니터링 및 개선을 통해 궁극적으로 환자의 치료 예후에 긍정적 영향을 미칠 것이다.

인공지능모듈(70)을 통해 영상을 처리할 수 있다. 즉, 인공지능 기반 영상처리 기술을 적용하여 다양한 형태로 수술 영상을 처리할 수 있다. 이러한 영상 처리를 통해서 다양한 수술 보조 기능이 구현될 수 있다. 이에 대해 상세한 설명은 후술한다.

이하에서는 본 발명의 일실시예에 적용할 수 있는 수술 보조 기능의 종류에 대해서 상세히 설명한다.

기존의 수술 로봇의 비전장치에서는 집도 중인 실시간 수술 영상만 확인이 가능하므로, 활력 징후(Vital Sign) 등 환자에 대한 의료 정보 확인을 위해서는 비전장치에 국한된 시야로부터 탈피하여, 비전장치 외부에서 해당 정보를 확인해야 한다. 이는 수술의 흐름이 일시적으로 단절되는 한계점을 가진다. 이에, 본 실시예에서는 수술 보조 기능으로써 수술 시 참고해야 하는 환자의 의료 정보를 실시간으로 송출하여 해당 한계점을 극복할 수 있다. 제공 가능한 환자의 의료 정보로 CT, MRI, Vital Sign, 전자의무기록(Electronic Medical Record, EMR) 등이 존재하며, 수술 부위 및 종류에 따라 활용하고자 하는 의료 정보를 집도의의 의도에 맞춰 송출 가능하도록 하여 수술 진행 시 임상적 편의성 증진에 이바지할 수 있다. 즉, 본 발명의 일실시예에 따르면 수술 보조 기능은 다양한 환자의 의료 정보를 포함할 수 있다.

로봇 수술이 아닌 기존의 전통적인 개복 수술 진행 시 집도의는 시각뿐만 아닌 촉각을 병행 활용한다. 그러나 종래의 로봇 수술은 집도의의 촉각 활용이 제한된다는 한계를 가진다. 이러한 한계점을 극복하기 위하여, 본 발명의 일실시예에 따르면, 로봇 수술 진행 시 집도의에게 풍부한 시각적 정보를 제공함으로써 수술 장면에 대한 가시성을 개선할 수 있다. 이는 종래의 로봇 수술에 비해 집도의의 임상적 편의성 개선 및 환자의 긍정적 예후에 일조하게 된다.

해당 기능들은 인공지능 기반의 영상처리 기술을 활용하여 구현이 가능하며 출혈 강조 및 조직간 경계 표시 기능을 제공할 수 있다.

도 5에는 수술 보조 기능으로서의 출혈 강조 기능의 일례가 도시되어 있다.

출혈 강조 기능이 비활성화된 영상은 현재의 내시경 영상일 수 있으며 메인 스크린(12)에 송출되는 영상일 수 있다. 출혈 강조 기능이 활성화된 영상은 현재의 내시경 영상을 인공지능 기반으로 영상 처리하여 출혈 부분이 강조된 영상이라 할 수 있다. 출혈 강조 기능은 출혈이 발생한 부위를 직관적으로 강조하여 혈액 손실의 최소화 및 수술 시야 확보에 기여할 수 있다. 출혈 강조 기능이 활성화된 영상은 보조 스크린(11, 13)에 송출될 수 있다.

도 6에는 수술 보조 기능으로서의 조직 간 경계 표시 기능이 도시되어 있다.

수술을 진행하는 부위에 따라 주의해야 하는 조직(혈관 및 병변)의 위치 예측 및 시각화 기능을 제공할 수 있다. 예를 들어, 갑상선에 대해 수술 진행 시 기도 양 옆의 신경을 주의하여 수술을 진행할 필요가 있다.

조직 간 경계 표시 기능이 비활성화된 영상은 현재의 내시경 영상일 수 있으며 메인 스크린(12)에 송출되는 영상일 수 있다. 조직 간 경계 표시 기능이 활성화된 영상은 현재의 내시경 영상을 인공지능 기반으로 영상 처리하여 신경의 위치 예측 및 시각화 기능을 제공할 수 있다. 이를 통해서 집도의의 임상적 편의성 증대를 도모할 수 있다. 물론, 조직 간 경계 표시 기능이 활성화된 영상은 보조 스크린(11, 13)에 송출될 수 있다.

즉, 본 발명의 일실시예에 따르면 수술 보조 기능은 수술 시야 내 출혈 부위 및 주요 병변과 조직 강조를 위한 시각화 기능을 포함할 수 있다.

도 7에는 수술 보조 기능으로서의 이상적 수술 시나리오 기능이 도시되어 있다.

일반적인 수술 시 환자에 따라 세부적인 병변의 위치 및 수술 부위의 차이는 존재하나 수술의 큰 틀이 바뀌지 않는 경우가 다수 존재한다. 이에, 진행되는 수술에 따라 상대적으로 위험성이 높거나 주의할 사항이 존재하는 수술 단계에서, 해당 단계가 이상적으로 완료된 수술 케이스의 수술 과정 및 장면을 제공하여, 집도의가 해당 단계를 성공적으로 수행할 수 있도록 가이드 해주는 기능을 제공할 수 있다.

해당 기능은 영상의 특징점을 검출하고, 이를 특징 정보로 추출하여 영상 간 특징점의 위치에 따른 객체 매칭(Matching)을 진행하는 SIFT (Scale Invariant Feature Transform)이나 SURF (Speeded Up Robust Feature) 등의 영상 처리 알고리즘을 활용하여 구현할 수 있다. 진행 중인 수술에 따른 특정 병변 및 조직을 객체로 지정하여 수술 장면 간 객체 비교를 통하여 이상적인 수술 시나리오 제공이 가능하다.

진행 중인 수술 영상은 메인 스크린(12)에 송출되는 영상일 수 있다. 그리고 진행 중인 수술 영상과 매칭되는 이상적인 수술 영상은 보조 스크린(11, 13)에 송출되는 영상일 수 있다.

수술 단계가 진행될수록 해당 단계에서 이상적인 수술 영상이 지속적으로 매칭되어 보조 스크린(11, 13)에 송출될 수 있다. 따라서, 집도의는 해당 수술 단계를 진행하면서 현재 수술 단계에서 가장 이상적인 영상을 참조하여 현재 수술을 진행할 수 있다.

더 나아가 해당 수술 단계를 진행할 시, 제공되는 이상적인 수술에 대한 전반적인 흐름을 분석하여 집도의가 절개, 봉합, 지혈 등의 행동을 병변 및 조직에 가할 경우, 환자의 예후를 예측하여 실시간으로 시각적 제공이 가능하다.

도 8에는 수술 보조 기능으로서의 예후 예측 기능의 일례로 출혈 확률이 계산되어 표시된 일례가 도시되어 있다.

예후 예측 기능은 이상적인 수술 시나리오 분석에서 더 나아가 현재의 수술 상태에서 환자의 예후 예측이 가능하고 이를 시각화하는 수술 보조 기능이라 할 수 있다. 일례로, 메인 스크린(12)을 통해 제공되는 현재의 수술 상태와 매칭되어 출혈 확률이 몇 퍼센트인지 예측할 수 있고, 예측된 이미지 또는 영상이 보조 스크린(11, 13)을 통해서 제공될 수 있다. 물론, 환자의 예측 예후에 대해 출혈 확률은 인공지능 알고리즘을 기반으로 계산되어 표시될 수 있다.

구체적으로, 도 8에는 출혈 확률에 따라 영상의 배경이나 테두리 등 색감이 달라질 수 있다. 일례로, 출혈 확률이 낮은 경우에는 초록색 계열, 출혈 확률이 보통인 경우에는 노란색 계열 그리고 출혈 확률이 높은 경우에는 빨간색 계열이 나타나도록 할 수 있다. 즉, 시각적으로 구분되도록 할 수 있다.

집도의는 보조 스크린(11, 13)에 초록색 계열로 출혈 확률이 30% 예측된다는 정보가 표시되는 경우 이를 확인하고 수술의 잘 수행되고 있음을 알 수 있으며, 반대로 보조 스크린(11, 13)에 빨간색 계열로 출혈 확률이 80% 예측된다는 정보가 표시되는 경우 이를 확인하고 좀 더 성공률이 높아지는 방향으로 수술 진행을 수정할 수 있다. 이를 통해서 수술의 성공률을 높일 수 있을 것이다. 즉, 본 발명의 일실시예에 따르면 수술 보조 기능은 수술 가이드 및 예후 예측 기능을 포함할 수 있다.

한편, 수술의 종류에 따라 환자의 수술은 한 차례로 끝나지 않는 경우가 존재하며 이때는 재수술이 진행된다. 해당 경우 녹화된 1차 수술 과정을 제공함으로써 재수술을 진행함에 있어 시각적으로 보조하도록 한다. 즉, 1차 수술 과정을 참고하여 수술이 진행될 환부에 대해 상기를 통해 중요 지점을 효율적으로 집도할 수 있는 효과를 기대할 수 있다.

또한, 인공지능 알고리즘을 기반으로 1차 수술이 마무리될 당시의 환부의 영상과 재수술 시의 환부의 영상에 대해 비교 분석을 통해 환부의 상태에 대한 호전도를 정량적으로 계산한 기능을 제공할 수 있으며, 이는 1차 수술의 성공 여부 판단 및 재수술의 방향성 확립에 기여할 수 있을 것이다. 이와 더불어, 1차 수술과 재수술이 진행된 두 시기 간의 차이와 환부 호전도에 대한 정보를 활용하여 해당 환부에 대해 완치 시기를 예측 가능하다. 이는 향후 환자의 치료 계획 확립에 활용 가능할 것으로 기대할 수 있다. 즉, 본 발명의 일실시예에 따르면 수술 보조 기능은 재수술 시 환자의 호전도 계산 및 예후 예측 기능을 포함할 수 있다.

이하에서는 도 3 및 도 4를 참조하여 수술 보조 기능 활성화 및 선택 방법에 대해서 상세히 설명한다.

도 3은 수술 보조 기능의 활성화를 나타내는 흐름도이며, 도 4는 수술 보조 기능 및 스크린 선택을 나타내는 흐름도이다.

집도의가 수술을 진행하면서 현재 보조 스크린(11, 13)에서 송출되는 보조 정보가 아닌 다른 보조 정보를 요청할 수 있다. 물론, 현재 보조 스크린(11, 13)에는 어떠한 보조 정보가 송출되지 않을 수 있고, 이때 집도의가 특정 보조 정보를 요청할 수도 있다. 즉, 기본(normal) 상태에서 수술 보조 기능 활성화 상태로 진입(S10)할 수 있다.

수술 보조 기능 활성화 상태로 진입하기 위해서는 집도의가 고개를 돌려 보조 디스플레이(20)를 응시해야 한다. 즉, 다른 조작이나 입력이 없더라도 집도의의 시선 변화를 통해서 수술 보조 기능 활성화 상태로 진입할 수 있다.

이때, 가속도센서(40)나 자이로스코프(50) 등을 통해서 수술 보조 기능활성화 상태 진입을 확인할 수 있으며, 시선추적모듈(60)을 통해서 수술 보조 기능활성화 상태 진입을 할 수도 있다. 물론, 이러한 수단들을 통해 파악된 정보들을 이용할 수도 있을 것이다.

집도의는 보조 디스플레이(20)에서 제공하는 복수 개의 수술 보조 기능들 중 특정 수술 보조 기능을 선택(S20)할 수 있다. 즉, 집도의가 특정 보조 수술 기능을 응시한 상태에서 눈을 깜빡임으로써 특정 보조 수술 기능을 선택할 수 있다. 깜빡임 횟수는 2회 내지 3회일 수 있다.

시선추적모듈(60)을 통해서 집도의가 눈을 깜빡이는 것을 용이하게 파악할 수 있다. 왜냐하면, 집도의가 눈을 깜빡이는 것은 일시적으로 집도의의 각막 등을 통해서 적외선이 반사되지 않거나 반사량이 현저히 적다는 것을 의미하기 때문이다. 따라서, 눈 깜빡임 여부 및 깜빡임 횟수는 알고리즘 상으로 매우 용이하게 파악할 수 있다.

또한, 전술한 바와 같이 가속도 센서(40) 및 자이로스코프(50)와 같은 센서들을 이용하여 집도의가 응시하는 위치를 파악할 수 있다. 물론, 전술한 바와 같이 시선추적모듈(60)을 이용하여 집도의가 응시하는 위치를 파악할 수 있다. 센서들 및 시선추적모듈(60)을 복합적으로 이용하여 더욱 정확하게 집도의가 응시하는 위치를 파악할 수도 있다.

집도의가 응시하는 위치 및 눈 깜빡임을 통해서 특정 보조 수술 기능이 선택되면, 선택 완료 상태로 진입(S30)하게 되며 이후 선택 완료된 특정 보조 수술 기능이 표시될 보조 스크린을 선택(S40)할 수 있다. 즉, 집도의는 특정 보조 수술이 선택 완료된 후 고개를 돌려 특정 보조 스크린을 응시할 수 있다. 일례로, 우측의 보조 스크린(13)을 응시한 후 2회 내지 3회 눈을 깜빡임으로써 보조 스크린을 선택할 수 있다.

이후, 우측의 보조 스크린(13)에는 선택 완료된 특정 보조 수술 기능이 송출되어 디스플레이됨으로써 활성화가 완료(S50)된다.

이러한 수술 보조 기능 활성화 상태는 반복적으로 수행될 수 있다. 즉, 보조 수술 기능의 송출이 완료된 후, 집도의는 일례로 좌측 보조 스크린(11)에 다른 수술 보조 기능이 송출되도록 할 수 있다. 이 경우, 집도의는 마찬가지로 방법으로 수술 보조 기능을 선택하고 선택된 수술 보조 기능이 송출되는 스크린을 선택할 수 있다. 물론, 기본 상태로 회귀할 수도 있다. 즉, 다른 기능 활성화 여부를 확인(S50)하고 새로운 수술 보조 기능 선택 과정이 수행되거나 아니면 기본 상태로 진입 내지는 회귀할 수 있다.

수술 보조 기능 및 스크린 선택의 상세한 플로우는 도 4 통해서 더욱 상세히 설명한다.

전술한 바와 같이 수술 보조 기능 선택은 집도의가 보조 디스플레이(20)를 향하여 고개를 돌리면서 수행할 수 있다. 물론, 스크린 선택은 집도의가 원하는 보조 스크린을 향하여 고개를 돌리면서 수행할 수 있다. 즉, 수술 보조 기능 선택(S20)의 구체적인 플로우와 보조 스크린 선택(S40)의 구체적인 플로우는 서로 동일할 수 있다.

구체적으로, 헤드셋(100)에는 각속도 센서(40)와 자이로스코프(50)가 내장될 수 있다. 또한, 헤드셋(100)에는 시선추적모듈(60)이 내장될 수 있다.

사용자의 얼굴이 수평으로 정면을 향하는 것을 기준으로 할 때, 각속도 센서와 자이로스코프를 통해서 사용자의 얼굴이 좌우 그리고 상하로 어느 정도 각도로 움직이는지 파악할 수 있다. 따라서, 현재 사용자가 응시하는 곳에 선택 객체(object)가 있는지를 파악할 수 있다. 즉, 어떠한 수술 보조 기능이 객체로 구비되는지 또는 어떠한 보조 스크린이 객체로 구비되는지 파악할 수 있다.

즉, 각속도 센서와 자이로스코프를 통해서 사용자의 시선이 객체(object)인 수술 보조 기능 또는 보조 스크린에 접근(S21/S41)하여 시선 내에 객체가 있는지를 파악(S22/S44)할 수 있다. 물론, 이러한 단계들은 시선추적모듈(60)을 통해서도 수행될 수 있으며, 센서 및 시선추적모듈(60)을 복합적으로 이용하여 수행될 수 있다.

시선 내에 객체가 있는 경우, 객체에 대해 선택이 있는지 파악할 수 있다. 객체에 대해 선택은 시선추적모듈(60)을 통해 소정 횟수의 눈 깜빡임일 수 있다. 즉 사용자는 눈 깜빡임을 통해서 선택 신호를 입력(S23/S43)하게 되며, 정확한 신호 입력이 있는지를 확인(S24/S44)하게 된다. 정확한 신호의 입력은 일례로 소정 시간 내에 소정 횟수의 눈깜빡일 수 있다.

정확한 신호 입력이 있는 것으로 판단되면 객체에 대해 선택이 완료(S25/S45)되며, 선택된 결과가 수행될 수 있다. 즉, 특정 수술 보조 기능이 선택될 수 있고, 선택된 특정 수술 보조 기능이 특정 보조 스크린에 제공될 수 있게 된다.

100 : 헤드셋 10 : 메인 디스플레이
11 : 좌측 보조 스크린 12 : 메인 스크린
13 : 우측 보조 스크린 20 : 보조 디스플레이
21, 22, 23, 24 : 선택 스크린

Claims (15)

1. 사용자에게 수술 영상을 제공하는 비전장치를 포함하여 사용자가 수술 조작을 수행하도록 구비되는 집도 콘솔(surgeon console)과 환자 쪽에 위치하여 상기 집도 콘솔을 통한 사용자의 수술 조작을 반영하여 수술을 수행하는 수술 카트(patient cart)를 포함하는 수술 로봇 시스템에 있어서,
   상기 비전장치는 사용자가 착용하는 헤드셋을 포함하고,
   상기 헤드셋은,
   VR환경 내에서 수술 영상과 수술 보조 기능 영상을 서로 구분되도록 사용자에게 제공하는 메인 디스플레이 영역; 그리고
   VR환경 내에서 상기 수술 보조 기능을 사용자가 선택 및 활성화하도록 사용자에게 제공하며, 상기 메인 디스플레이 영역의 일측에 위치하는 보조 디스플레이 영역을 포함하고,
   상기 메인 디스플레이 영역은,
   중앙에 위치하고 현재의 수술 영상을 사용자에게 제공하는 메인 스크린; 그리고
   상기 메인 스크린의 좌우에 각각 위치하고, 상기 보조 디스플레이 영역을 통해 선택되어 활성화된 수술 보조 기능을 사용자에게 제공하는 복수 개의 보조 스크린을 포함하고,
   상기 보조 디스플레이 영역은 각각의 수술 보조 기능을 표시하는 복수 개의 선택 스크린을 포함하고,
   사용자가 상기 보조 디스플레이 영역에 표시된 복수의 수술 보조 기능 중 어느 하나를 선택하고, 상기 선택된 수술보조 기능이 제공될 보조 스크린을 상기 복수 개의 보조 스크린 중 어느 하나로 선택하면, 상기 선택된 수술보조 기능이 상기 선택된 보조 스크린으로 제공되고,
   상기 헤드셋은 사용자의 시선 변화 및 초점 변화를 추적하는 시선추적모듈과 상기 헤드셋이 착용된 사용자의 머리의 이동을 감지하는 각속도 센서 및 자이로스코프를 포함하고,
   상기 메인 스크린, 보조 스크린 그리고 선택 스크린의 깊이 방향 위치는 상기 시선추적모듈의 추적 결과에 기반하여 자동으로 조절되고,
   상기 복수 개의 수술 보조 기능 중 특정 수술 보조 기능에 대한 사용자의 선택과 상기 복수 개의 보조 스크린 중 상기 선택된 수술 보조 기능이 제공되는 특정 보조 스크린에 대한 사용자의 선택은, 소정 시간 동안 소정 횟수 사용자의 눈 깜빡임을 통해 수행되고,
   상기 수술 보조 기능은 환자의 실시간 의료 정보, 수술 시야 내 출혈 부위 시각 정보, 수술 시야 내 주요 병변 또는 조직 강조 시각 정보, 수술 가이드를 위한 참조 정보, 수술 예후 예측 정보 그리고 재수술 시 환자의 호전도 계산 및 예후 예측 정보 중 적어도 어느 하나를 포함함을 특징으로 하는 수술 로봇 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 메인 스크린에 내시경 영상을 송출하는 내시경 영상 송출모듈;
   상기 메인 스크린의 일측에 위치하는 보조 스크린에 선택되고 활성화된 수술 보조 기능을 송출하는 수술 보조 기능 송출모듈;
   상기 보조 스크린에 제공될 수 있는 복수 개의 수술 보조 기능에 대한 목록을 선택 스크린에 송출하는 수술 보조 기능 선택 송출모듈;
   사용자의 머리 위치 변화를 감지하기 위한 각속도 센서 및 자이로스코프;
   사용자의 시선 변화 및 초점 변화를 감지하기 위한 시선추적모듈; 그리고
   상기 시선추적모듈의 추적 결과에 기반하여, 상기 복수 개의 수술 보조 기능 중 선택된 특정 수술 보조 기능이 상기 보조 스크린에 제공되도록 제어하는 컨트롤러를 포함하고,
   상기 보조 스크린은 상기 메인 스크린의 좌측에 구비되는 좌측 보조 스크린과 우측에 구비되는 우측 보조 스크린을 포함하고,
   상기 컨트롤러는 상기 선택된 특정 수술 보조 기능이 상기 좌측 보조 스크린 또는 우측 보조 스크린 중에서 선택된 어느 하나의 보조 스크린에 제공되도록 제어하고,
   상기 복수 개의 수술 보조 기능 중 특정 수술 보조 기능에 대한 사용자의 선택과 상기 복수 개의 보조 스크린 중 상기 선택된 수술 보조 기능이 제공되는 특정 보조 스크린에 대한 사용자의 선택은, 소정 시간 동안 소정 횟수 사용자의 눈 깜빡임을 통해 수행되고,
   사용자에게 휴식 권장을 알리는 알람 송출모듈을 포함하고,
   상기 수술 보조 기능은 환자의 실시간 의료 정보, 수술 시야 내 출혈 부위 시각 정보, 수술 시야 내 주요 병변 또는 조직 강조 시각 정보, 수술 가이드를 위한 참조 정보, 수술 예후 예측 정보 그리고 재수술 시 환자의 호전도 계산 및 예후 예측 정보 중 적어도 어느 하나를 포함하고,
   상기 컨트롤러는, 상기 시선추적모듈의 추적 결과에 기반하여 상기 메인 스크린, 보조 스크린 그리고 선택 스크린의 깊이 방향 위치를 자동으로 조절하고,
   상기 수술 로봇 시스템의 주변기기와 데이터를 송수신하는 입출력모듈을 포함함을 특징으로 하는 수술 로봇 시스템의 헤드셋.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images