[go: up one dir, main page]

KR102129168B1 - 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치 - Google Patents

직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치 Download PDF

Info

Publication number
KR102129168B1
KR102129168B1 KR1020180062438A KR20180062438A KR102129168B1 KR 102129168 B1 KR102129168 B1 KR 102129168B1 KR 1020180062438 A KR1020180062438 A KR 1020180062438A KR 20180062438 A KR20180062438 A KR 20180062438A KR 102129168 B1 KR102129168 B1 KR 102129168B1
Authority
KR
South Korea
Prior art keywords
image
depth
pixel
stereo
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180062438A
Other languages
English (en)
Other versions
KR20190136560A (ko
Inventor
박민규
황영배
윤주홍
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180062438A priority Critical patent/KR102129168B1/ko
Priority to US16/424,546 priority patent/US10966599B2/en
Publication of KR20190136560A publication Critical patent/KR20190136560A/ko
Application granted granted Critical
Publication of KR102129168B1 publication Critical patent/KR102129168B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)

Abstract

직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 깊이 영상 생성 방법은, 스테레오 영상을 생성하고, 스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로 스테레오 영상으로부터 깊이 영상을 추정한다. 이에 의해, 캡슐 내시경에서 획득한 영상을 이용하여 정교한 깊이 영상을 획득할 수 있어, 위장관 내부의 기하학적 구조를 추정할 수 있게 된다.

Description

직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치{Endoscopic Stereo Matching Method and Apparatus using Direct Attenuation Model}
본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 캡슐 내시경을 통해 소화기관(십이지장, 위, 소장, 대장 등) 안에서 획득한 양안 영상을 이용한 깊이 추정 방법에 관한 것이다.
무선 캡슐 내시경(wireless capsule endoscope:WCE)은 스크리닝, 진단 및 치료 내시경을 위해 위장(gastrointestinal:GI) 관의 이미지들을 수집하는 유용한 장치이다. WCE는 유선 내시경 장치가 도달할 수 없는 소장의 이미지를 캡처할 수 있다.
내시경 영상의 깊이를 인식하기 위해, 스테레오 매칭(tereo matching), 셰이프 쉐이딩(shape-from-shading:SfS), shape-from-focus(SfF), shape-from-motion (SfM)와 같은 다양한 컴퓨터 비전 기술이 활용된다. 이들은 삼각화된 특징 점들을 이용하여 Delaunay triangulation을 통해 3D 메쉬를 생성한다.
이들 중 스테레오 매칭은 이미지에서 깊이 영상을 추정하는 기법으로, 능동적 접근법과 수동적 접근법으로 구분될 수 있다. 이미지들 간의 대응 검색에 활용하기 위해, 구조화된 조명을 이용하는 스테레오 매칭을 장면에 가시적광 또는 IR 패턴을 투영하는 능동적인 접근법에 적용할 수 있다.
하지만, 현재 상용화된 WCE 제품으로는 깊이 정보를 예측할 수 없어, WCE에서 캡처한 위장관 내부의 기하학적 구조를 추정할 수 없다. 이에 따라, 캡슐 내시경 영상에서 병증의 크기나 생김새에 대한 진단은 의사의 경험에만 의존해 오고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 병증의 형태와 크기를 실제 측정을 통해 정확하게 알 수 있도록 하기 위한 방안으로, 캡슐 내시경에서 획득한 영상에 대한 깊이 정보를 추정하기 위한 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 깊이 영상 생성 방법은, 스테레오 영상을 생성하는 단계; 및 스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로, 스테레오 영상으로부터 깊이 영상을 추정하는 단계;를 포함한다.
그리고, 생성 단계는, 외부 광이 없는 환경에서, 스테레오 영상을 생성할 수 있다.
또한, 깊이 영상 추정 단계는, 다음의 식을 이용하여 깊이 영상을 추정하고,
Figure 112018053611166-pat00001
여기서, d(p)는 픽셀 p의 깊이, J(p)는 픽셀 p의 영상 광도, I(p)는 픽셀 p의 관측 강도,
Figure 112018053611166-pat00002
는 빛의 감쇄 계수일 수 있다.
그리고,
Figure 112018053611166-pat00003
는, 빛의 흡수 계수와 산란 계수의 합일 수 있다.
또한, 생성단계는, 균질한 물질로 채워진 내부의 스테레오 영상을 생성할 수 있다.
그리고,
Figure 112018053611166-pat00004
는, 일정한 상수인
Figure 112018053611166-pat00005
로 근사화될 수 있다.
또한, J(p)는, 모든 픽셀 값의 평균으로 근사화될 수 있다.
그리고, 깊이 영상 추정 단계는, 다음의 식을 이용하여 깊이 영상을 추정하고,
Figure 112018053611166-pat00006
여기서,
Figure 112018053611166-pat00007
는 픽셀 p에 대한 스케일 팩터
Figure 112018053611166-pat00008
까지의 깊이 영상이고,
Figure 112018053611166-pat00009
는 모든 픽셀 값의 평균이며, I(p)는 픽셀 p의 관측 강도일 수 있다.
또한, 스케일 팩터
Figure 112018053611166-pat00010
는, 다음의 식에 따라 결정되고,
Figure 112018053611166-pat00011
Figure 112018053611166-pat00012
여기서,
Figure 112018053611166-pat00013
와
Figure 112018053611166-pat00014
는 좌측 영상과 우측 영상의의 x축에 따른 매칭 포인트들의 위치들이고, f는 카메라의 초점 거리이며, B는 카메라들 간의 거리일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 영상 시스템은, 스테레오 영상을 생성하는 스테레오 카메라; 및 스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로, 깊이 영상을 추정하는 컴퓨팅 시스템;을 포함한다.
한편, 본 발명의 다른 실시예에 따른, 깊이 영상 생성 방법은, 스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로, 스테레오 영상으로부터 깊이 영상을 추정하는 단계; 및 추정된 깊이 영상을 출력하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 영상 시스템은, 스테레오 영상을 수신하는 수신기; 및 수신된 스테레오 영상을 생성하는데 이용한 조명의 빛이 감쇄되는 경향성을 기초로, 깊이 영상을 추정하는 컴퓨팅 시스템;을 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 캡슐 내시경에서 획득한 영상을 이용하여 정교한 깊이 영상을 획득할 수 있어, 위장관 내부의 기하학적 구조를 추정할 수 있게 된다. 이에 따라, 위장관 병증의 형태와 크기를 실제 측정을 통해 정확하게 알 수 있도록 하여 정확한 진단 및 치료를 가능하게 한다.
도 1은 본 발명의 실시예가 적용가능한 무선 내시경 캡슐 장치를 촬영한 사진,
도 2는, 도 1에 제시된 무선 내시경 캡슐 장치로 촬영한 소화기관 내부의 이미지들,
도 3과 도 4는, 본 발명의 실시예에 따라 추정한 깊이 영상들을 예시한 이미지들,
도 5 내지 도 7에는, 본 발명의 실시예에 따른 내시경 영상 스테레오 정합 결과를 나타낸 이미지들, 그리고,
도 8은 본 발명의 다른 실시예에 따른 내시경 검사 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 스테레오 카메라 기반 무선 캡슐 내시경 검사을 통해 소화기관(십이지장, 위, 소장, 대장) 안에서 획득한 양안 영상을 이용한 깊이 추정 방법을 제시한다.
구체적으로, 본 발명의 실시예에서는, 내시경에 장착된 조명 외에 다른 외부 광원이 없다는 점을 고려하여, 내시경에 장착된 조명의 빛이 감쇄되는 경향성을 이용하여 소화기관의 구조를 파악하고, 해당 정보를 스테레오 정합에 이용하여 정교한 깊이 영상을 추정한다.
또한, 본 발명의 실시예에서는, SFC(Sparse Feature Correspondences)를 이용하여 스케일 팩터를 추정하고, 추정된 깊이 영상을 사용하여 캡처된 영상의 세부 구조를 복원하기 위한 스테레오 매칭을 가이드한다.
1. 무선 내시경 캡슐 장치
도 1은 본 발명의 실시예가 적용가능한 무선 내시경 캡슐 장치를 촬영한 사진이다. 도 1의 좌측은 스테레오 타입의 무선 내시경 캡슐이고, 우측은 무선 수신기이다.
도 1에 도시된 바와 같이, 무선 내시경 캡슐은, 2대의 카메라, 4개의 LED 조명, 무선 송신기 및 배터리를 포함한다. 4개의 LED가 카메라 주변에 부착되어 있고, LED 조명은 카메라와 동기화되어 배터리 사용을 최소화한다.
무선 내시경 캡슐 장치는, 위장으로부터 대장에 이르는 전체 위장관을 이동하면서, 도 2에 제시된 바와 같은 소화기관 내부의 이미지를 생성한다. 무선 내시경 캡슐에는 내부 저장 장치가 없으므로, 캡처된 이미지는 무선 수신기로 전송된다.
2. 직접 감쇄 모델을 이용한 깊이 추정
위장관 내에서는 무선 내시경 캡슐에 부착된 조명들을 제외하고 외부 광원이 없기 때문에, 생성된 이미지에서 멀리있는 물체는 가까운 물체 보다 더 어둡게 보인다. 그러므로, 위장관 내부의 매질이 동종이라는 가정하에 깊이 영상을 추정하기 위해 빛의 감쇄 경향을 고려한다.
이에 따라, 본 발명의 실시예에서는, 스테레오 이미지를 생성한 후, 직접 감쇄 모델(Direct Attenuation Model)을 이용하여 높은 스케일의 아주 조밀한 깊이 영상을 추정한다. 다음, SFC를 이용하여 scale ambiguity를 해결하고, SGM(Semi-Global Matching)을 가이드 하기 위해, 재스케일링된 깊이 영상을 이용한다.
직접 감쇄 모델을 이용한 깊이 추정 방법에 대해, 이하에서 상세히 설명한다.
생성된 이미지가 잘 보이지 않기 때문에, 각 픽셀 p에 대한 이미지는 다음과 같이 모델링될 수 있다.
Figure 112018053611166-pat00015
여기서, J는 영상 광도(scene radiance), I는 관측 강도(observed intensity), t는 트랜스미션 맵(transmission map), A는 대기 광(atmospheric light)이다. 햇빛과 같은 자연 조명이 없기 때문에, A는 식 (1)에서 제거 가능하다.
그러면, t는 다음과 같이 정의할 수 있다.
Figure 112018053611166-pat00016
또한, 트랜스미션 맵은 다음과 같다.
Figure 112018053611166-pat00017
여기서, 감쇄 계수
Figure 112018053611166-pat00018
는 흡수 계수와 산란 계수의 합인
Figure 112018053611166-pat00019
로 표현할 수 있다.
식 (2)와 (3)을 결합하면, 픽셀 p의 깊이는 다음과 같이 추정될 수 있다.
Figure 112018053611166-pat00020
식 (4)를 단순화하기 위해, 위장관의 특성을 고려하여
Figure 112018053611166-pat00021
와
Figure 112018053611166-pat00022
를 근사화한다. 먼저, 위장관이 물과 같은 균질 물질로 채워져 있다고 가정하면, 감쇄 계수
Figure 112018053611166-pat00023
는 모든 픽셀에 대해 일정한 값으로 근사화된다(
Figure 112018053611166-pat00024
).
두 번째로, 대부분의 픽셀이 위장관의 부분적인 영역에서 비슷한 색을 갖는다는 가정을 기초로, 모든 픽셀 값의 평균으로 장면 밝기를 근사화한다(
Figure 112018053611166-pat00025
). 두 번째 가정에 기초하여, 스케일 팩터
Figure 112018053611166-pat00026
까지의 깊이 영상을 쉽게 얻을 수 있다.
Figure 112018053611166-pat00027
여기서, 깊이 영상
Figure 112018053611166-pat00028
은 스케일 팩터까지의 깊이 영상을 나타낸다. 도 3과 도 4는 입력 영상과 식 (5)에 따라 계산된 깊이 영상을 나타낸 것이다. 여기서, 밝은 픽셀은 어두운 픽셀보다 더 먼 픽셀을 나타낸다.
3.
Figure 112018053611166-pat00029
의 scale ambiguity 해결
Figure 112018053611166-pat00030
의 scale ambiguity를 해결하기 위해, SFC(Sparse Feature Correspondences)을 이용하여
Figure 112018053611166-pat00031
를 계산한다. 이를 위해, 먼저 코너 포인트를 찾아 내고 매칭시킨다. 다음,
Figure 112018053611166-pat00032
의 깊이를 계산한다.
Figure 112018053611166-pat00033
여기서,
Figure 112018053611166-pat00034
와
Figure 112018053611166-pat00035
는 좌측 이미지와 우측 이미지의 x축에 따른 매칭 포인트들의 위치들이고, f는 좌측 카메라의 초점 거리이며, B는 두 카메라들 간의 기준선 거리이다. 각 코너 포인트에는 대응하는
Figure 112018053611166-pat00036
가 있으므로,
Figure 112018053611166-pat00037
는 다음의 수학식으로 계산될 수 있다.
Figure 112018053611166-pat00038
Figure 112018053611166-pat00039
가 모든 픽셀에 대해 일정하다고 가정하면, 차이가 임계 값
Figure 112018053611166-pat00040
보다 작은 인라이어 포인트(inlier point)의 개수를 최대화하는 최적의
Figure 112018053611166-pat00041
와
Figure 112018053611166-pat00042
를 찾는다.
Figure 112018053611166-pat00043
여기서,
Figure 112018053611166-pat00044
는 모든 특징 대응들로부터 계산된
Figure 112018053611166-pat00045
값들의 세트이고,
Figure 112018053611166-pat00046
는 이미지 좌표 내에서 대응 위치들의 세트이다. 함수
Figure 112018053611166-pat00047
는,
Figure 112018053611166-pat00048
와 재스케일링된
Figure 112018053611166-pat00049
간의 차이가, 작으면 1을 반환하고, 그렇지 않으면 0을 반환한다. 따라서, 추정된
Figure 112018053611166-pat00050
는
Figure 112018053611166-pat00051
와
Figure 112018053611166-pat00052
간의 차이를 최소화한다. 이에 따라,
Figure 112018053611166-pat00053
를 재스케일링하고, 그에 대응하는 디스패리티 맵(disparity map)을 다음과 같이 계산한다.
Figure 112018053611166-pat00054
스테레오 매칭을 활용하기 위해 재스케링된 디스패리티 맵
Figure 112018053611166-pat00055
를 사용한다.
4. 가이던스 깊이 영상을 이용한 강건한 스테레오 매칭
다음의 에너지 함수를 최소화하는 디스패리티 맵
Figure 112018053611166-pat00056
을 계산하기 위해, SGM 알고리즘을 변형한다.
Figure 112018053611166-pat00057
첫 번째 항에서,
Figure 112018053611166-pat00058
함수는 센서스 기반 해밍 거리(Census-based hamming distance) 및 그의 절대 차(AD-CENSUS)를 사용하여 계산되는 픽셀 단위 매칭 비용이다. 또한,
Figure 112018053611166-pat00059
함수는
Figure 112018053611166-pat00060
를 이용하여 계산된 픽셀 단위의 매칭 비용이다.
Figure 112018053611166-pat00061
두 번째 항은 이웃 픽셀들(
Figure 112018053611166-pat00062
)과의 디스패리티 차이가 작은 픽셀에 대해 페널티
Figure 112018053611166-pat00063
를 부여한다. 즉, 디스패리티 값들의 차이가 1이면,
Figure 112018053611166-pat00064
는 1을 반환한다. 유사하게, 세 번째 항은 이웃 픽셀들과 디스패리티 차이가 1 보다 큰 픽셀들에 대해 큰 페널티
Figure 112018053611166-pat00065
(
Figure 112018053611166-pat00066
)를 부여한다. SGM 기법을 사용하여 식 (10)을 최소화한다.
후처리로, weighted median filter를 적용한다. 끝으로,
Figure 112018053611166-pat00067
에 의해 디스패리티 맵으로부터 깊이 영상을 얻는다.
5. 실험 결과
도 5 내지 도 7에는, 본 발명의 실시예에 따른 내시경 영상 스테레오 정합 결과를 나타내었다. 구체적으로, 도 5에는 소장에서의 실험 결과, 도 6에는 위에서의 실험 결과, 도 7에는 대장 팬텀 모델에서의 실험 결과를, 각각 나타내었다.
도시된 바와 같이, 본 발명의 실시예에 따른 내시경 영상 스테레오 정합 방법에 의해 조밀한 뎁스 영상을 생성할 수 있으며, 소화기관의 3차원 구조를 정확하게 복원할 수 있음을 확인할 수 있다.
6. 내시경 검사 시스템
도 8은 본 발명의 다른 실시예에 따른 내시경 검사 시스템의 블럭도이다. 도시된 바와 같이, 본 발명의 실시예에 따른 내시경 검사 시스템은, 무선 내시경 캡슐(110), 무선 수신기(120) 및 컴퓨팅 시스템(130)을 포함하여 구축된다.
무선 내시경 캡슐(110)은 2대의 카메라, 4개의 LED 조명, 무선 송신기 및 배터리를 포함하고 있으며, 위장으로부터 대장에 이르는 전체 위장관을 이동하면서 스테레오 영상을 생성한다.
무선 수신기(120)는 무선 내시경 캡슐(110)이 생성한 스테레오 영상을 수신한다.
컴퓨팅 시스템(130)은 무선 수신기(120)를 통해 수신된 스테레오 영상에 대해, 전술한 바에 따라 직접 감쇄 모델을 이용하여 깊이 영상을 생성하고 스테레오 매칭을 수행한다.
7. 변형예
지금까지, 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, 내시경 환경의 경우 외부 광원이 없다는 점에서 착안하여 직접 감쇄 모델을 이용한 깊이 추정 방법을 제시하였다. 캡슐 내시경 환경에서 유일한 광원이 내시경에 부착된 광원이기 때문에 거리가 멀어짐에 따라 빛이 감쇄하는데 이를 물리적으로 모델링하여 거리 정보를 추정하는 것이다.
또한, 직접 감쇄 모델을 통해 추정된 깊이 영상은 상대적인 거리 정보만을 주기 때문에, 본 발명의 실시예에서는 이를 바로 깊이 정보로 사용하는 대신 양안 영상을 이용한 스테레오 매칭을 돕기 위해 사용하였다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 무선 내시경 캡슐
120 : 무선 수신기
130 : 컴퓨팅 시스템

Claims (12)

  1. 스테레오 영상을 생성하는 단계; 및
    스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로, 스테레오 영상으로부터 깊이 영상을 추정하는 단계;를 포함하고,
    생성 단계는,
    외부 광이 없는 환경에서, 스테레오 영상을 생성하며,
    깊이 영상 추정 단계는,
    다음의 식을 이용하여 깊이 영상을 추정하고,
    Figure 112020029723818-pat00090

    여기서, d(p)는 픽셀 p의 깊이, J(p)는 픽셀 p의 영상 광도, I(p)는 픽셀 p의 관측 강도,
    Figure 112020029723818-pat00091
    는 빛의 감쇄 계수인 것을 특징으로 하는 깊이 영상 생성 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    Figure 112020029723818-pat00070
    는,
    빛의 흡수 계수와 산란 계수의 합인 것을 특징으로 하는 깊이 영상 생성 방법.
  5. 청구항 1에 있어서,
    생성단계는,
    균질한 물질로 채워진 내부의 스테레오 영상을 생성하는 것을 특징으로 하는 깊이 영상 생성 방법.
  6. 청구항 5에 있어서,
    Figure 112018053611166-pat00071
    는,
    일정한 상수인
    Figure 112018053611166-pat00072
    로 근사화되는 것을 특징으로 하는 깊이 영상 생성 방법.
  7. 청구항 6에 있어서,
    J(p)는,
    모든 픽셀 값의 평균으로 근사화되는 것을 특징으로 하는 깊이 영상 생성 방법.
  8. 청구항 7에 있어서,
    깊이 영상 추정 단계는,
    다음의 식을 이용하여 깊이 영상을 추정하고,
    Figure 112018053611166-pat00073

    여기서,
    Figure 112018053611166-pat00074
    는 픽셀 p에 대한 스케일 팩터
    Figure 112018053611166-pat00075
    까지의 깊이 영상이고,
    Figure 112018053611166-pat00076
    는 모든 픽셀 값의 평균이며, I(p)는 픽셀 p의 관측 강도인 것을 특징으로 하는 깊이 영상 생성 방법.
  9. 청구항 8에 있어서,
    스케일 팩터
    Figure 112018053611166-pat00077
    는,
    다음의 식에 따라 결정되고,
    Figure 112018053611166-pat00078

    Figure 112018053611166-pat00079

    여기서,
    Figure 112018053611166-pat00080
    와
    Figure 112018053611166-pat00081
    는 좌측 영상과 우측 영상의의 x축에 따른 매칭 포인트들의 위치들이고, f는 카메라의 초점 거리이며, B는 카메라들 간의 거리인 것을 특징으로 하는 깊이 영상 생성 방법.
  10. 스테레오 영상을 생성하는 스테레오 카메라; 및
    스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로, 깊이 영상을 추정하는 컴퓨팅 시스템;을 포함하고,
    스테레오 카메라는,
    외부 광이 없는 환경에서, 스테레오 영상을 생성하며,
    컴퓨팅 시스템은,
    다음의 식을 이용하여 깊이 영상을 추정하고,
    Figure 112020029723818-pat00092

    여기서, d(p)는 픽셀 p의 깊이, J(p)는 픽셀 p의 영상 광도, I(p)는 픽셀 p의 관측 강도,
    Figure 112020029723818-pat00093
    는 빛의 감쇄 계수인 것을 특징으로 하는 영상 시스템.

  11. 스테레오 영상을 생성하는데 이용되는 조명의 빛이 감쇄되는 경향성을 기초로, 스테레오 영상으로부터 깊이 영상을 추정하는 단계; 및
    추정된 깊이 영상을 출력하는 단계;를 포함하고,
    스테레오 영상은,
    외부 광이 없는 환경에서 생성되며,
    깊이 영상 추정 단계는,
    다음의 식을 이용하여 깊이 영상을 추정하고,
    Figure 112020029723818-pat00094

    여기서, d(p)는 픽셀 p의 깊이, J(p)는 픽셀 p의 영상 광도, I(p)는 픽셀 p의 관측 강도,
    Figure 112020029723818-pat00095
    는 빛의 감쇄 계수인 것을 특징으로 하는 깊이 영상 생성 방법.
  12. 스테레오 영상을 수신하는 수신기; 및
    수신된 스테레오 영상을 생성하는데 이용한 조명의 빛이 감쇄되는 경향성을 기초로, 깊이 영상을 추정하는 컴퓨팅 시스템;을 포함하고,
    스테레오 영상은,
    외부 광이 없는 환경에서 생성되며,
    컴퓨팅 시스템은,
    다음의 식을 이용하여 깊이 영상을 추정하고,
    Figure 112020029723818-pat00096

    여기서, d(p)는 픽셀 p의 깊이, J(p)는 픽셀 p의 영상 광도, I(p)는 픽셀 p의 관측 강도,
    Figure 112020029723818-pat00097
    는 빛의 감쇄 계수인 것을 특징으로 하는 영상 시스템.
KR1020180062438A 2018-05-31 2018-05-31 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치 Active KR102129168B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180062438A KR102129168B1 (ko) 2018-05-31 2018-05-31 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치
US16/424,546 US10966599B2 (en) 2018-05-31 2019-05-29 Endoscopic stereo matching method and apparatus using direct attenuation model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180062438A KR102129168B1 (ko) 2018-05-31 2018-05-31 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190136560A KR20190136560A (ko) 2019-12-10
KR102129168B1 true KR102129168B1 (ko) 2020-07-01

Family

ID=68694827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180062438A Active KR102129168B1 (ko) 2018-05-31 2018-05-31 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치

Country Status (2)

Country Link
US (1) US10966599B2 (ko)
KR (1) KR102129168B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
CN110327046B (zh) * 2019-04-28 2022-03-25 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
CN110335318B (zh) * 2019-04-28 2022-02-11 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
KR102306432B1 (ko) * 2019-12-02 2021-09-30 한국전자기술연구원 내시경 영상에 대한 깊이 추정 방법 및 장치
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN111314686B (zh) * 2020-03-20 2021-06-25 深圳市博盛医疗科技有限公司 一种自动优化3d立体感的方法、系统及介质
USD1051380S1 (en) 2020-11-17 2024-11-12 Adaptivendo Llc Endoscope handle
CN112261399B (zh) * 2020-12-18 2021-03-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
US12254673B1 (en) * 2021-01-19 2025-03-18 Given Imaging Ltd Systems and methods for classifying or selecting images based on image segmentation
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
USD1070082S1 (en) 2021-04-29 2025-04-08 Adaptivendo Llc Endoscope handle
USD1066659S1 (en) 2021-09-24 2025-03-11 Adaptivendo Llc Endoscope handle
CN116109687B (zh) * 2023-01-10 2025-10-10 北京理工大学 内窥镜图像深度估计方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022413A (ja) 2000-07-10 2002-01-23 Toyota Motor Corp 凹凸形状計測装置および凹凸形状計測方法
JP2008089593A (ja) 2006-09-29 2008-04-17 Mitsutoyo Corp 測距装置および測距方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5466004B2 (ja) * 2006-06-22 2014-04-09 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ 磁気的連結可能ロボット装置および関連する方法
KR100996050B1 (ko) * 2008-11-07 2010-11-22 주식회사 인트로메딕 캡슐 내시경 영상을 이용한 Ｕ－Ｈｅａｌｔｈ 기반의 자동병변 검출 시스템
KR20120117165A (ko) * 2011-04-14 2012-10-24 삼성전자주식회사 3차원 영상의 생성 방법 및 이를 이용하는 내시경 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022413A (ja) 2000-07-10 2002-01-23 Toyota Motor Corp 凹凸形状計測装置および凹凸形状計測方法
JP2008089593A (ja) 2006-09-29 2008-04-17 Mitsutoyo Corp 測距装置および測距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. Wang et al., "A parametric modeling approach for wireless capsule endoscopy hazy image restoration", IEEE, 2015.04.
박민규 외 2명, "내시경 스테레오 영상을 이용한 깊이 추정 방법", 제어로봇시스템학회 국내학술대회 논문집, 2018.5.*

Also Published As

Publication number Publication date
US10966599B2 (en) 2021-04-06
US20190365213A1 (en) 2019-12-05
KR20190136560A (ko) 2019-12-10

Similar Documents

Publication Publication Date Title
KR102129168B1 (ko) 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치
CN110998669B (zh) 图像处理装置和方法
ES2894728T3 (es) Sistemas y métodos para la regularización de profundidad híbrida
US20150374210A1 (en) Photometric stereo endoscopy
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
JP4168125B2 (ja) データ処理システムおよび方法
US12062145B2 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications
US8687044B2 (en) Depth camera compatibility
Sedlazeck et al. 3d reconstruction based on underwater video from rov kiel 6000 considering underwater imaging conditions
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US20110187820A1 (en) Depth camera compatibility
Karargyris et al. Three-dimensional reconstruction of the digestive wall in capsule endoscopy videos using elastic video interpolation
CN107025635A (zh) 基于景深的图像饱和度的处理方法、处理装置和电子装置
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
KR102306432B1 (ko) 내시경 영상에 대한 깊이 추정 방법 및 장치
Totz et al. Dense surface reconstruction for enhanced navigation in MIS
US20150373320A1 (en) Visual cognition system
Hernández et al. Self-calibrating a real-time monocular 3d facial capture system
Lin et al. Dense surface reconstruction with shadows in mis
Park et al. Stereo matching for wireless capsule endoscopy using direct attenuation model
Ahmad et al. 3D reconstruction of gastrointestinal regions using shape-from-focus
JP6044702B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、画像処理システム
JP5861881B2 (ja) 画像合成装置、画像合成方法、プログラム、及び、画像合成システム
Park et al. Stereo Matching for Wireless Capsule Endoscopy Using Direct Attenuation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180531

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180717

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180531

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190722

Patent event code: PE09021S01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200129

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200622

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200625

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200625

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240326

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250324

Start annual number: 6

End annual number: 6