KR102846600B1

KR102846600B1 - 내시경과 연동되어 내시경 검진을 수행하는 전자장치 및 이를 이용하는 내시경 검진 수행 방법

Info

Publication number: KR102846600B1
Application number: KR1020230064668A
Authority: KR
Inventors: 이보인; 황영배; 김솔; 카릴 사드
Original assignee: 가톨릭대학교 산학협력단; 충북대학교 산학협력단
Priority date: 2023-05-18
Filing date: 2023-05-18
Publication date: 2025-08-13
Anticipated expiration: 2043-05-18
Also published as: US20240386686A1; KR20240166861A

Abstract

본 발명의 일 실시예에 따른 내시경 검진을 수행하는 방법에 있어서, 내시경 영상 및 대상 장기의 3차원 모델을 획득하는 단계; 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 3차원 모델 상 내시경의 위치 정보를 실시간으로 식별하는 단계; 상기 내시경 영상 및 상기 위치 정보를 이용하여 상기 3차원 모델을 이루는 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별하는 단계; 상기 검진 영역들 및 미검진 영역들에 기초하여 피드백 정보를 제공하는 단계;를 포함할 수 있다.

Description

내시경과 연동되어 내시경 검진을 수행하는 전자장치 및 이를 이용하는 내시경 검진 수행 방법{Electronic device interlocked with endoscope to perform endoscopic examination and method for performing endoscopic examination using the same}

본 발명은 내시경과 연동되어 내시경 검진을 수행하는 전자장치 및 이를 이용하는 내시경 검진 수행 방법에 관한 것이다.

내시경 검진은 주로 위장관에 대한 병증을 파악하기 위한 시술로, 내시경 검진을 통해 전구병변을 발견하여 제거함으로써 암의 발생율과 사망률을 감소시킬 수 있다.

다만, 내시경 검진의 경우 검사자의 숙련도, 술기, 관찰시간, 위장관 정결 상태 등에 따라 검사의 정확도가 달라질 수 있다. 뿐만 아니라 검사 중 발생하는 생리적 현상 등에 의해서도 그 검진 결과가 달라질 수 있다.

이 때문에 내시경 검진을 적절한 시기에 수행했음에도 불구하고 암의 전구병변이나 조기 암을 발견하지 못하고 간과하여 암으로 발병하게 되는 불상사가 발생할 수 있다.

따라서, 검사자의 숙련도 등 내시경 검진의 질을 저하시키는 요인들과 관계 없이 안정적이고 정밀하게 내시경 검진을 수행할 수 있는 방안 마련이 필요한 실정이다.

본 발명의 목적은 보다 안정적이고 정밀하게 내시경 검진을 수행할 수 있는 전자장치 및 이를 이용하는 내시경 검진 수행 방법을 제공하는 것이다.

상기 획득하는 단계는, 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 내시경 영상을 이용하여 실시간으로 상기 3차원 모델을 구축하는 단계를 포함할 수 있다.

상기 획득하는 단계는, SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 3차원 모델을 획득하는 단계를 포함할 수 있다.

상기 검진 영역 및 미검진 영역을 구별하는 단계는, 상기 위치 정보에 기초하여 상기 3차원 모델의 복수의 영역들 중 후보 검진 영역들을 식별하는 단계; 상기 후보 검진 영역들 각각에 대한 검진 여부를 판단하는 단계; 상기 판단 결과에 기초하여 상기 복수의 영역들을 상기 검진 영역들 및 상기 미검진 영역들로 구별하는 단계를 포함할 수 있다.

상기 검진 여부를 판단하는 단계는, 상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하는 단계를 포함할 수 있다.

상기 검진 여부를 판단하는 단계는, 상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하도록 학습된 모델을 이용하여 상기 검진 여부를 판단하는 단계를 포함할 수 있다.

상기 피드백 정보를 제공하는 단계는, 상기 내시경의 검진 경로에 관한 정보 및 상기 미검진 영역들에 관한 정보 중 적어도 하나의 피드백 정보를 제공하는 단계를 포함할 수 있다.

상기 획득하는 단계는, 상기 동시적 위치 추정 및 지도 구축을 기반으로 상기 내시경 영상을 이용하여 실시간으로 제1 3차원 모델을 구축하는 단계; 상기 SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 제2 3차원 모델을 상기 제1 3차원 모델과 정합하여 상기 3차원 모델을 획득하는 단계;를 포함할 수 있다.

상기 정합하는 단계는, 상기 제1 3차원 모델 및 상기 제2 3차원 모델의 특징을 추출하는 단계; 상기 추출된 특징들을 일치시켜 상기 제1 3차원 모델과 상기 제2 3차원 모델을 정합하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 따른 내시경과 연동되어 내시경 검진을 수행하는 전자장치에 있어서, 내시경 영상 및 대상 장기의 3차원 모델을 획득하고, 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 3차원 모델 상 내시경의 위치 정보를 실시간으로 식별하고, 상기 내시경 영상 및 상기 위치 정보를 이용하여 상기 3차원 모델을 이루는 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별하고, 상기 검진 영역들 및 미검진 영역들에 기초하여 피드백 정보를 제공하는 프로세서를 포함할 수 있다.

상기 프로세서는, 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 내시경 영상을 이용하여 실시간으로 상기 3차원 모델을 구축할 수 있다.

상기 프로세서는, SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 3차원 모델을 획득할 수 있다.

상기 프로세서는, 상기 위치 정보에 기초하여 상기 3차원 모델의 복수의 영역들 중 후보 검진 영역들을 식별하고, 상기 후보 검진 영역들 각각에 대한 검진 여부를 판단하고, 상기 판단 결과에 기초하여 상기 복수의 영역들을 상기 검진 영역들 및 상기 미검진 영역들로 구별할 수 있다.

상기 프로세서는, 상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단할 수 있다.

상기 프로세서는, 상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하도록 학습된 모델을 이용하여 상기 검진 여부를 판단할 수 있다.

상기 프로세서는, 상기 내시경의 검진 경로에 관한 정보 및 상기 미검진 영역들에 관한 정보 중 적어도 하나의 피드백 정보를 제공할 수 있다.

상기 프로세서는, 상기 동시적 위치 추정 및 지도 구축을 기반으로 상기 내시경 영상을 이용하여 실시간으로 제1 3차원 모델을 구축하고, 상기 SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 제2 3차원 모델을 상기 제1 3차원 모델과 정합하여 상기 3차원 모델을 획득할 수 있다.

상기 프로세서는, 상기 제1 3차원 모델 및 상기 제2 3차원 모델의 특징을 추출하고, 상기 추출된 특징들을 일치시켜 상기 제1 3차원 모델과 상기 제2 3차원 모델을 정합할 수 있다.

본 발명의 일 실시예에 따르면, 전체 영역 대비 내시경 검진 영역/미검진 영역을 파악하여, 내시경 검진의 병변 발견율을 높이고, 병변 간과율을 최소화할 수 있다.

본 발명의 일 실시예에 따르면, 검사자의 숙련도에 관계없이 신뢰도 높은 내시경 정밀 검진 서비스를 제공할 수 있다.

본 발명의 일 실시예에 따르면, 검사자는 피드백 정보를 참고하여 전체 영역 대비 검진 영역의 비율이 낮거나, 중요도가 높은 영역을 간과한 경우에는 다시 검사를 진행하는 등 후속 조치를 취하게 함으로써 내시경 검진을 통한 종양 발견율을 상승시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 내시경 검진 시스템을 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 도시한 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 동시적 위치 추정 및 지도 구축을 위한 모델을 학습하는 동작 흐름도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 피드백 정보를 제공하는 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 검진 영역 및 미검진 영역을 식별하는 동작 흐름도를 도시한 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 내시경 검진 시스템을 도시한 개략도이다.

도 1의 내시경 검진 시스템(1)은 전자장치(100) 및 내시경(200)을 포함한다. 본 발명의 일 실시예에 따르면, 전자장치(100)는 내시경(200)에 의해 획득되는 내시경 영상(10)을 이용하여 내시경 검진을 수행하고, 내시경 검진에 대한 피드백 정보(30)를 제공하는 장치로써, 컴퓨터, 서버, 스마트 폰, 태블릿 PC, 스마트 패드, 노트북 등으로 구현될 수 있다.

본 발명의 일 실시예에 따르면, 내시경(200)은 피검사자의 위장관에 삽입되어 위, 대장 등 대상 장기를 촬영하고, 조직을 채취/제거할 수 있는 장치로써, 내시경(200)의 종류에 따라 카메라, 라이다 등을 장착할 수 있다. 본 발명의 내시경(200)은 전자장치(100)와 유무선 통신 연결되어 내시경 영상(10)을 제공할 수 있는 것이면 족하고, 그 종류는 어느 하나에 한정되지 않는다.

한편, 앞서 서술한 바와 같이, 내시경 검진의 경우 검사자의 숙련도, 내시경 검진 중 발생하는 생리적인 현상, 진동 등에 의해 그 검진 결과가 달라질 수 있다.

본 발명에서는, 전자장치(100)는 대상 장기를 3차원으로 복원한 모델(20)(이하 3차원 모델(20)이라 하며, 데이터 형태로 제공될 수 있다.)을 이용하여 3차원 모델(20) 상 내시경(200)의 위치 정보를 실시간으로 식별하고, 3차원 모델(20)의 검진 영역들/미검진 영역들을 구별하여 피드백하는 방안에 대해 제안한다.

본 발명의 일 실시예에 따르면, 검사자는 실시간으로 혹은 사후적으로 피드백 정보(30)를 토대로 내시경 검진의 검진 품질을 확인하여 적절한 조치를 취할 수 있다.

이하, 도면들을 참조하여 본 발명의 일 실시예에 따른 전자장치의 구성 및 동작에 대해 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 도시한 블럭도이다.

본 발명의 일 실시예에 따른 전자장치(100)는 입력부(110), 통신부(120), 표시부(130), 저장부(140) 및 프로세서(150)를 포함한다.

입력부(110)는 전자장치(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 예를 들어, 사용자 입력은 전자장치(100)의 동작을 시작하게 하는 사용자 입력, 검진 여부를 판단하는 과정에서 필요한 임계값들을 설정하기 위한 사용자 입력 등일 수 있으며, 이 외에도 내시경 검진을 수행하기 위해 필요한 사용자 입력인 경우 제한하지 않고 적용 가능하다.

입력부(110)는 적어도 하나의 입력수단을 포함한다. 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.

통신부(120)는 내시경 영상(10), 3차원 모델(20), 피드백 정보(30) 등을 송수신하기 위해 내시경(200), 서버 등 외부장치와의 통신을 수행한다.

이를 위해, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity), Bluetooth 등의 무선 통신, 혹은 LAN(local area network), WAN(Wide Area Network), 전력선 통신 등의 유선 통신을 수행할 수 있다.

표시부(130)는 전자장치(100)의 동작에 따른 표시 데이터를 표시한다. 표시부(130)는 내시경 영상(10)을 표시하는 화면, 3차원 모델(20) 상 내시경(200)의 실시간 위치 정보를 표시하는 화면, 검진 영역들 및 미검진 영역들이 표시된 3차원 모델(20) 등 피드백 정보(30)를 표시하는 화면, 사용자 입력을 수신하는 화면 등을 표시할 수 있다.

표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 표시부(130)는 입력부(110)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.

저장부(140)는 전자장치(100)의 동작 프로그램들을 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터(정보)를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(150)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.

저장부(140)는 내시경 영상(10), 3차원 모델(20), 피드백 정보(30) 등을 저장할 수 있다. 저장부(140)는 3차원 모델(20) 구축, 내시경(200)의 위치 정보 식별, 검진 영역/후보 검진 영역/미검진 영역을 구별 등을 수행하는 과정에서 필요한 연산 프로그램 등을 저장할 수 있다.

프로세서(150)는 프로그램 등 소프트웨어를 실행하여 전자장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.

본 발명의 일 실시예에 따른 프로세서(150)는 내시경 영상(10) 및 대상 장기의 3차원 모델(20)을 획득하고, 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 3차원 모델(20) 상 내시경의 위치 정보를 실시간으로 식별하고, 내시경 영상(10) 및 상기 위치 정보를 이용하여 3차원 모델(20)을 이루는 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별하고, 검진 영역들 및 미검진 영역들에 기초하여 피드백 정보(30)를 제공할 수 있다.

본 발명의 일 실시예에 따른 프로세서(150)는 3차원 모델(20)을 이루는 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별하는 과정에서, 검진 여부를 판단하도록 학습된 모델을 이용할 수 있다.

이때, 프로세서(150)가 동시적 위치 추정 및 지도 구축 알고리즘 및/또는 검진 여부를 판단하는 모델을 학습하거나, 기 학습되어 생성된 모델을 외부로부터 수신 및 저장하여 이용할 수 있으며 어느 하나에 한정되는 것은 아니다.

한편, 프로세서(150)는 상기 동작들을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network)과 같은 모델을 포함할 수 있다.

도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.

본 발명의 일 실시예에 따르면, 프로세서(150)는 내시경 영상(10) 및 대상 장기의 3차원 모델(20)을 획득할 수 있다(S10).

본 발명의 일 실시예에 따르면, 내시경 검진의 정밀도를 확인하기 위해 대상 장기에 대한 3차원 모델 데이터가 필요하며, 3차원 모델은 다양한 방법을 통해 획득될 수 있다.

예를 들어, 프로세서(150)는 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 내시경 영상(10)을 이용하여 실시간으로 3차원 모델(20)을 구축할 수 있다.

동시적 위치 추정 및 지도 구축은 내시경(200)의 위치를 측정하면서 내시경(200)의 주변 환경의 지도를 작성하는 알고리즘이다. 본 발명의 일 실시예에 따른 프로세서(150)가 동시적 위치 추정 및 지도 구축을 위한 학습 모델을 생성하는 과정은 도 4를 참조하여 설명한다.

한편, 프로세서(150)는 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM) 외에도, SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 3차원 모델(20)을 획득하거나 구축할 수 있다. 한편, SfM, MvS, CT 및 3차원 센서에 의한 복원은 비실시간 복원이나, 기 구축된 피검사자들에 대한 데이터를 통해 보다 정밀한 복원이 가능하다.

본 발명의 일 실시예에 따르면, 프로세서(150)는 동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 3차원 모델 상 내시경(200)의 위치 정보를 실시간으로 식별할 수 있다(S20).

본 발명의 일 실시예에 따르면, 프로세서(150)는 내시경 영상(10)에서 특징을 추출하여 실시간으로 내시경(200)(카메라)의 움직임을 계산하고, 이를 이용하여 위치 정보를 실시간으로 식별할 수 있다.

이때, 프로세서(150)가 동시적 위치 추정 및 지도 구축을 기반으로 구축한 3차원 모델(이하, 3차원 모델(1)이라 한다.)을 이용하는 경우, 다시 동시적 위치 추정 및 지도 구축을 기반으로 3차원 모델(1) 상 내시경(200)의 위치 정보를 식별하는 것은 용이하다. 3차원 모델 생성 및 위치 정보 식별이 동일한 기술을 기반으로 수행되는 바, 데이터 형식이나 그 데이터 처리 방법이 동일하기 때문이다.

반면, 프로세서(150)가 SfM, MvS, CT 및 3차원 센서에 의해 복원된 3차원 모델(이하, 3차원 모델(2)이라 한다.)을 이용하는 경우, 3차원 모델(2)을 동시적 위치 추정 및 지도 구축 알고리즘에 맞게 일치시킬 필요가 있다.

따라서, 프로세서(150)는 3차원 모델(1)을 실시간으로 생성하고, 3차원 모델(1)과 3차원 모델(2) 간 정합 과정(registration)을 수행할 수 있다. 이때, 프로세서(150)는 3차원 모델(1)의 적어도 일부를 생성할 수 있으며, 2차원 이미지(2차원 이미지(1)이라 한다.)로 구성될 수 있다. 이하, 설명의 편의를 위해 3차원 모델(1)인 경우로 설명하나, 3차원 모델(1)-3차원 모델(2)간 뿐 아니라, 2차원 이미지(1)-3차원 모델(2) 간에 적용될 수 있음은 당연하다.

구체적으로, 프로세서(150)는 3차원 모델(1)과 3차원 모델(2)을 정합하기 위해, 프로세서(150)는 3차원 모델(1)과 3차원 모델(2) 각각의 특징을 추출할 수 있다. 이때, 프로세서(150)는 모델들의 특징을 추출하는 알고리즘, 예를 들어, 척도 불변 기능 변환(Scale-Invariant-Feature Transform, SIFT) 알고리즘, SURF(Speeded Up Robust Features) 알고리즘 등을 이용할 수 있다. 다만, 이에 한정되지 않으며, 모델들의 특징을 추출할 수 있는 알고리즘이라면 제한되지 않고 채용 가능할 것이다.

그 다음, 프로세서(150)는 식별한 3차원 모델(1)과 3차원 모델(2)의 특징들을 일치시켜 3차원 모델(1)과 3차원 모델(2)을 정렬(align)하는 최적의 변환을 찾을 수 있다. 이를 위해, 프로세서(150)는 반복적 최근접점(Iterative Closest Point, ICP), 랜덤 샘플 합의 (RANdom SAmple consensus, RANSAC)와 같은 방법을 사용할 수 있다.

추가적으로, 보다 품질 높은 정합을 위해, 프로세서(150)는 3차원 모델(1)과 3차원 모델(2)의 특징 차이를 최소화하는 알고리즘을 이용할 수 있다. 예를 들어, 프로세서(150)는 경사하강법 또는 레벤버그 마쿼트(Levenberg Marquardt) 알고리즘을 이용하여 3차원 모델(1)과 3차원 모델(2)의 특징 차이를 최소화할 수 있다.

프로세서(150)는 정합이 완료되면, 실시간으로 그 결과를 가시화(visualization)할 수 있으며, 3차원 모델(1)은 3차원 모델(2)에 오버레이(overlay)되어 누락된 영역을 표시함으로써 완전한 커버리지를 보장할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(150)는 내시경 영상(10) 및 위치 정보를 이용하여 3차원 모델(20)을 이루는 복수의 영역들을 검진이 완료된 영역들(이하, 검진 영역들이라 한다.) 및 미검진 영역들로 구별할 수 있다(S30).

구체적으로, 프로세서(150)는 위치 정보에 기초하여 3차원 모델(20)의 복수의 영역들 중 후보 검진 영역들을 식별할 수 있다.

본 발명의 일 실시예에 따르면, 3차원 모델(20)은 복수의 영역들로 이루어질 수 있다. 이때, 복수의 영역들은 3차원 모델(20)을 일정 부피로 복셀화한 복셀(voxel)들이거나, 대상 장기의 내부 점막을 일정 크기로 나눈 영역들(2차원)일 수 있으며, 어느 하나에 한정되지 않는다.

다만, 내시경(200)이 촬영한 영역이라고 하더라도, 다양한 요인에 의해 제대로 검진이 이루어지지 않은 영역들이 있을 수 있다. 따라서, 본 발명의 일 실시예에 따른 프로세서(150)는 내시경(200)이 촬영한 영역을 후보 검진 영역으로 보고, 후보 검진 영역들 각각에 대해 검진 여부를 판단하여 실제로 검진이 이루어졌는지 확인한다.

본 발명의 일 실시예에 따르면, 검진 여부는 검진 여부에 대해 기 설정된 기준 정보를 이용하여 판단할 수 있다. 기준 정보는 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 내시경 영상의 품질 등을 포함할 수 있다.

그리고, 프로세서(150)는 판단 결과에 기초하여 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별할 수 있다.

예를 들어, 프로세서(150)는 3차원 모델(20)의 영역별 중요도를 고려하여 검진 여부를 판단할 수 있다. 대상 장기들은 이미 도출된 연구 결과들을 통해 병변의 주요 발생 위치 등이 공지되어 있을 수 있다. 프로세서(150)는 사용자 입력을 통해 영역별 중요도에 대한 가중치를 설정하거나, 알려진 연구 결과를 토대로 설정된 영역별 중요도에 대한 정보를 수신할 수 있다. 또한, 이에 한정되지 않고, 프로세서(150)는 3차원 모델의 영역에 따른 가중치를 학습한 인공지능 모델을 이용하여 가중치를 설정할 수 있다.

또한, 프로세서(150)는 각 영역에 대한 관찰 시간을 고려하여 검진 여부를 판단할 수 있다. 내시경(200)의 위치 정보에 기초하여 특정 영역이 후보 검진 영역으로 식별되었더라도, 해당 영역을 아주 짧은 시간에 지나간 경우, 정밀한 검진이 이루어졌다고 보기 어렵다.

따라서, 프로세서(150)는 각 후보 검진 영역에 대한 관찰 시간이 임계값을 초과하는지 여부에 따라 초과하는 경우 검진 영역으로, 초과하지 않는 경우 미검진 영역으로 식별할 수 있다. 이때, 관찰 시간에 대한 임계값은 마찬가지로 사용자에 의해 설정될 수 있고, 이를 학습한 모델을 통해 설정될 수 있다. 혹은 동일 영역에 대한 영상 프레임 수에 기초하여 결정되는 등 그 방식에 대해서는 제한이 없다.

또한, 프로세서(150)는 내시경 영상(10)의 품질을 고려하여 검진 여부를 판단할 수 있다. 만일 후보 검진 영역으로 식별되었더라도, 해당 영역을 촬영 시 내시경(200)이 흔들리는 등 내시경 영상의 선명도, 왜곡 등에 의해 품질이 낮은 경우, 마찬가지로 정밀한 검진이 이루어졌다고 보기 어렵다. 또한, 내시경 영상(10)에 용종 등 병변이 발견되었으나, 용종과의 거리가 멀어 정확한 판별이 어려운 경우 해당 영역을 미검진 영역으로 판단할 수 있다.

이와 같이, 프로세서(150)는 각 영상에 대한 품질을 평가하여 그 기준이 임계치보다 낮은 경우, 해당 후보 검진 영역을 검진 영역 혹은 미검진 영역으로 판단할 수 있다.

한편, 프로세서(150)는 상기 기준 정보 중 2 이상의 정보들을 조합하여 각 후보 검진 영역의 검진 여부를 판별할 수 있다. 예를 들어, 특정 후보 검진 영역의 관찰 시간이 임계값보다 낮더라도, 대상 장기에서 병변이 발견될 가능성이 극히 낮은 영역인 경우(해당 영역에 대한 가중치가 낮은 경우), 프로세서(150)는 검진 영역으로 판별할 수 있다. 다른 예로, 특정 후보 검진 영역의 관찰 시간이 임계값보다 낮더라도, 영상의 품질이 높아 병변 유무를 판별할 수 있다고 판단되는 경우 프로세서(150)는 검진 영역으로 판별할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(150)는 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 내시경 영상의 품질 중 적어도 하나에 기초하여 검진 여부를 판단하도록 학습된 모델을 이용하여 검진 여부를 판단할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(150)는 검진 영역들 및 미검진 영역들에 기초하여 피드백 정보를 제공할 수 있다(S40).

피드백 정보는 검사자가 내시경 검진의 적절성을 판단할 수 있는 정보로, 검진 시간, 현재 내시경(200)의 위치 정보, 검진 진행률에 관한 정보, 검진 영역/미검진 영역을 구별하여 표시한 3차원 모델, 미검진 영역을 확인할 수 있는 정보, 실시간으로 미검진 영역으로 이동하기 위한 내시경 경로에 관한 정보 등을 포함할 수 있다. 피드백 정보에 대한 일 예는 도 5에 도시되어 있다.

도 4는 본 발명의 일 실시예에 따른 동시적 위치 추정 및 지도 구축을 위한 모델을 학습하는 동작 흐름도를 도시한 도면이다.

먼저, 프로세서(150)는 내시경(200)으로부터 수신한 내시경 영상(410)의 원시 데이터(raw data)에서 대상 장기에 대한 영상 프레임들(Region of Interest, ROI)을 추출할 수 있다(S410). 이때, 프로세서(150)는 원시 데이터(raw data)에서 RGB 프레임을 추출한 후 대상 장기에 대한 영상 프레임들을 추출할 수 있다.

이후, 프로세서(150)는 대상 장기에 대한 영상 프레임들 중 연속된 프레임 간 이동이 없는 등 중복된 영상 프레임들 및 특징이 없는 영상 프레임들은 제거할 수 있다(S420).

본 발명의 일 실시예에 따르면, 프로세서(150)는 특징이 없는 영상 프레임들을 구별하기 위해, 영상 프레임들의 특징을 추출하는 알고리즘, 예를 들어, 척도 불변 기능 변환(Scale-Invariant-Feature Transform, SIFT) 알고리즘을 이용할 수 있다. 다만, 이에 한정되지 않으며, 대상 장기에 대한 특징을 학습하여 영상 프레임을 구별 가능한 알고리즘이라면 제한되지 않고 채용 가능할 것이다.

그 다음, 프로세서(150)는 전처리된 영상(42)(pre-processed data)을 보정할 수 있다(S430). 프로세서(150)는 내시경(200)의 카메라 센서에서 기록되는 체커보드 패턴(checkerboard pattern)을 사용하여 보정 파라미터를 식별하고, 이를 이용하여 영상의 왜곡을 보정할 수 있다. 이 외에도, 프로세서(150)는 전처리 영상(42)의 선명도를 보정하는 등 영상의 품질을 높일 수 있는 다양한 보정 방법을 통해 영상을 보정할 수 있다.

그 다음, 프로세서(150)는 실측 데이터(ground-truth)를 생성할 수 있다(S440). 실측 데이터는 다양한 방식으로 생성될 수 있으며, 예를 들어, 밀집 디스크립터(Dense Descriptor) 학습 방식을 통해 SfM을 이용하여 생성될 수 있다.

마지막으로, 프로세서(150)는 실측 데이터를 이용하여 동시적 위치 추정 및 지도 구축 모델을 학습할 수 있다(S450).

동시적 위치 추정 및 지도 구축 모델은 형상(geometry) 및 모양(appearance) 표현을 학습하기 위해 두 개의 개별 네트워크가 사용될 수 있다.

형상의 경우, 깊이 네트워크는 평균 깊이 추정치를 생성하고, 모양의 경우, 특징 네트워크는 디스트립터 맵과 특징 맵을 생성한다.

도 5는 본 발명의 일 실시예에 따른 피드백 정보를 제공하는 모습을 도시한 도면이다.

도 5는 내시경 영상을 표시하는 화면(510) 및 3차원 모델을 표시하는 화면(520) 및 피드백 정보를 표시하는 화면(530)으로 구성된다. 이때, 화면들의 디자인이나 표시되는 정보들은 도 5에 도시된 예시에 한정되지 않는다.

피드백 정보를 표시하는 화면(530)을 구체적으로 살펴보면, 3차원 모델(혹은 그에 대응하는 2차원 모델)에 검진 영역(covered area)과 미검진 영역(uncovered area)이 구별되게 표시되고, 검진 시간(elapsed time), 검진률(Coverage), 내시경의 현재 위치(Capsule posision), 내시경의 이동 경로(Capsule Trajectory)를 포함하는 정보들이 표시된다.

이때, 프로세서(150)는 실시간으로 내시경 영상이나 피드백 정보를 표시할 수 있고, 혹은 녹화되거나 이미 기록(저장)해둔 정보들을 사후적으로 표시하는 것일 수 있다.

본 발명의 일 실시예에 따르면, 피드백 정보를 시각적으로 제공함으로써 검사자가 후속 조치를 용이하게 수행할 수 있고, 이를 통해 병변 간과율을 효과적으로 낮출 수 있다.

도 6은 본 발명의 일 실시예에 따른 전자장치의 검진 영역 및 미검진 영역을 식별하는 동작 흐름도를 도시한 도면이다.

도 6은 도 3의 S30과 관련하여 서술한 바와 같이, 검진 여부에 따라 복수의 영역을 검진 영역 및 미검진 영역으로 구별하는 과정에 대해 구체적으로 설명한다. 따라서, 중복되는 부분은 도 3을 참조하여 서술한 내용을 차용하고, 구체적인 내용은 생략한다.

본 발명의 일 실시예에 따르면, 프로세서(150)는 복수의 영역들 각각에 대해 내시경(200)의 촬영 여부를 식별할 수 있다(S31). 프로세서(150)는 동시적 위치 추정 및 지도 구축 기반으로 획득한 내시경(200)의 위치 정보에 기초하여 촬영 여부를 결정할 수 있다.

내시경(200)이 해당 영역을 촬영한 것으로 식별되는 경우(S31의 Yes), 프로세서(150)는 해당 영역을 후보 검진 영역으로 식별할 수 있다(S32). 내시경(200)이 해당 영역을 촬영한 것으로 식별되지 않는 경우(S31의 No), 해당 영역을 미검진 영역으로 식별할 수 있다(S35).

본 발명의 일 실시예에 따르면, 프로세서(150)는 후보 검진 영역들 각각에 대해 검진 여부를 식별할 수 있다(S33).

검진 여부를 판단하는 방법에 대해서는 도 3의 내용을 참조한다.

프로세서(150)가 해당 후보 검진 영역을 검진한 것으로 식별되는 경우(S33의 Yes), 프로세서(150)는 해당 영역을 검진 영역으로 식별할 수 있다(S34). 만일, 프로세서(150)가 해당 후보 검진 영역을 검진하지 않은 것으로 식별되는 경우(S33의 No), 해당 영역을 미검진 영역으로 식별할 수 있다(S35).

본 발명의 일 실시예에 따르면, 검진 여부를 영역별로 세밀하게 판단함으로써 병변 간과율을 더욱 낮출 수 있다.

본 발명은 하기 과제 정보에 따른 연구과제의 결과물이다.

[연구과제번호] ZC22RISI0962

[연구과제명] 소화기내시경 검사 질 향상을 위한 내시경 영상 기반 실시간 3차원 복원

[연구지원사업] 2022 서울성모병원 창의연구지원사업

[연구책임자] 이보인

[소속] 서울성모병원 소화기내과

[연구지원기관] 가톨릭대학교-성의

[사업기간] 2022. 11. 01. ~ 2023. 10. 31.

100: 전자장치
110: 입력부
120: 통신부
130: 표시부
140: 저장부
150: 프로세서
200: 내시경

Claims

내시경 검진을 수행하는 방법에 있어서,
내시경 영상 및 대상 장기의 3차원 모델을 획득하는 단계;
동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 3차원 모델 상 내시경의 위치 정보를 실시간으로 식별하는 단계;
상기 내시경 영상 및 상기 위치 정보를 이용하여 상기 3차원 모델을 이루는 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별하여 구별된 상기 검진 영역들 및 미검진 영역들을 상기 3차원 모델에 표시하는 단계; 및
상기 검진 영역들 및 미검진 영역들에 기초하여 피드백 정보를 제공하는 단계;를 포함하는 방법.
제1항에 있어서,
상기 획득하는 단계는,
동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 내시경 영상을 이용하여 실시간으로 상기 3차원 모델을 구축하는 단계를 포함하는 방법.
제1항에 있어서,
상기 획득하는 단계는,
SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 3차원 모델을 획득하는 단계를 포함하는 방법.
제1항에 있어서,
상기 검진 영역 및 미검진 영역을 구별하는 단계는,
상기 위치 정보에 기초하여 상기 3차원 모델의 복수의 영역들 중 후보 검진 영역들을 식별하는 단계;
상기 후보 검진 영역들 각각에 대한 검진 여부를 판단하는 단계;
상기 판단 결과에 기초하여 상기 복수의 영역들을 상기 검진 영역들 및 상기 미검진 영역들로 구별하는 단계를 포함하는 방법.
제4항에 있어서,
상기 검진 여부를 판단하는 단계는,
상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하는 단계를 포함하는 방법.
제5항에 있어서,
상기 검진 여부를 판단하는 단계는,
상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하도록 학습된 모델을 이용하여 상기 검진 여부를 판단하는 단계를 포함하는 방법.
제1항에 있어서,
상기 피드백 정보를 제공하는 단계는,
상기 내시경의 검진 경로에 관한 정보 및 상기 미검진 영역들에 관한 정보 중 적어도 하나의 피드백 정보를 제공하는 단계를 포함하는 방법.
제3항에 있어서,
상기 획득하는 단계는,
상기 동시적 위치 추정 및 지도 구축을 기반으로 상기 내시경 영상을 이용하여 실시간으로 제1 3차원 모델을 구축하는 단계;
상기 SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 제2 3차원 모델을 상기 제1 3차원 모델과 정합하여 상기 3차원 모델을 획득하는 단계;를 포함하는 방법.
제8항에 있어서,
상기 정합하는 단계는,
상기 제1 3차원 모델 및 상기 제2 3차원 모델의 특징을 추출하는 단계;
상기 추출된 특징들을 일치시켜 상기 제1 3차원 모델과 상기 제2 3차원 모델을 정합하는 단계;를 포함하는 방법.
내시경과 연동되어 내시경 검진을 수행하는 전자장치에 있어서,
내시경 영상 및 대상 장기의 3차원 모델을 획득하고,
동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 3차원 모델 상 내시경의 위치 정보를 실시간으로 식별하고,
상기 내시경 영상 및 상기 위치 정보를 이용하여 상기 3차원 모델을 이루는 복수의 영역들을 검진 영역들 및 미검진 영역들로 구별하여 구별된 상기 검진 영역들 및 미검진 영역들을 상기 3차원 모델에 표시하고,
상기 검진 영역들 및 미검진 영역들에 기초하여 피드백 정보를 제공하는 프로세서를 포함하는 전자장치.
제10항에 있어서,
상기 프로세서는,
동시적 위치 추정 및 지도 구축(Simultaneous localization and mapping, SLAM)을 기반으로 상기 내시경 영상을 이용하여 실시간으로 상기 3차원 모델을 구축하는 전자장치.
제10항에 있어서,
상기 프로세서는,
SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 3차원 모델을 획득하는 전자장치.
제10항에 있어서,
상기 프로세서는,
상기 위치 정보에 기초하여 상기 3차원 모델의 복수의 영역들 중 후보 검진 영역들을 식별하고,
상기 후보 검진 영역들 각각에 대한 검진 여부를 판단하고,
상기 판단 결과에 기초하여 상기 복수의 영역들을 상기 검진 영역들 및 상기 미검진 영역들로 구별하는 전자장치.
제13항에 있어서,
상기 프로세서는,
상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하는 전자장치.
제14항에 있어서,
상기 프로세서는,
상기 3차원 모델의 영역별 중요도, 각 영역에 대한 관찰 시간 및 상기 내시경 영상의 품질 중 적어도 하나에 기초하여 상기 검진 여부를 판단하도록 학습된 모델을 이용하여 상기 검진 여부를 판단하는 전자장치.
제10항에 있어서,
상기 프로세서는,
상기 내시경의 검진 경로에 관한 정보 및 상기 미검진 영역들에 관한 정보 중 적어도 하나의 피드백 정보를 제공하는 전자장치.
제12항에 있어서,
상기 프로세서는,
상기 동시적 위치 추정 및 지도 구축을 기반으로 상기 내시경 영상을 이용하여 실시간으로 제1 3차원 모델을 구축하고,
상기 SfM(Structure from Motion), MvS(Multi-view Stereo), CT(Computed Tomography) 및 3차원 센서 중 어느 하나에 기초하여 생성된 제2 3차원 모델을 상기 제1 3차원 모델과 정합하여 상기 3차원 모델을 획득하는 전자장치.
제17항에 있어서,
상기 프로세서는,
상기 제1 3차원 모델 및 상기 제2 3차원 모델의 특징을 추출하고,
상기 추출된 특징들을 일치시켜 상기 제1 3차원 모델과 상기 제2 3차원 모델을 정합하는 전자장치.