[go: up one dir, main page]

KR20120026662A - 폐색 영역 복원 장치 및 방법 - Google Patents

폐색 영역 복원 장치 및 방법 Download PDF

Info

Publication number
KR20120026662A
KR20120026662A KR1020100088678A KR20100088678A KR20120026662A KR 20120026662 A KR20120026662 A KR 20120026662A KR 1020100088678 A KR1020100088678 A KR 1020100088678A KR 20100088678 A KR20100088678 A KR 20100088678A KR 20120026662 A KR20120026662 A KR 20120026662A
Authority
KR
South Korea
Prior art keywords
boundary
area
region
restoration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100088678A
Other languages
English (en)
Other versions
KR101683164B1 (ko
Inventor
이승규
임화섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100088678A priority Critical patent/KR101683164B1/ko
Publication of KR20120026662A publication Critical patent/KR20120026662A/ko
Application granted granted Critical
Publication of KR101683164B1 publication Critical patent/KR101683164B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

가상시점 영상을 생성하는 과정에서 발생하는 폐색 영역을 복원하는 장치 및 방법을 제공한다. 폐색 영역 복원 방법은 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하고, 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하며, 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하고, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하며, 상기 복원된 영역들을 상기 가상시점 영상들에 워핑한다.

Description

폐색 영역 복원 장치 및 방법{APPARATUS AND METHOD FOR INPAINTING IN OCCLUSION}
기술분야는 가상시점 영상을 생성하는 과정에서 발생하는 폐색 영역을 복원하는 장치 및 방법에 관한 것이다.
깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이다. 이러한 깊이 영상은 깊이 정보와 카메라 파라미터를 통하여 3차원 복원기술 또는 3차원 워핑(warping) 기술에 많이 이용된다.
기준시점에서 촬영되는 객체를 통한 깊이 영상 및 컬러 영상은 가상시점에서 촬영되는 객체를 통한 깊이 영상 및 컬러 영상과 서로 다르다. 왜냐하면 객체를 촬영하는 카메라가 이동할 때, 즉 객체를 바라보는 시점이 변화할 때, 시점이 변화하기 전에는 보이지 않던 부분이 시점이 변화한 후에는 보이게 되기 때문이다. 이때 기준시점 영상에서는 보이지 않지만 가상시점 영상에서 보이는 영역을 폐색 영역(occlusion)이라고 한다.
그런데, 가상시점 영상이 복수 개인 경우, 폐색 영역도 복수 개로 발생할 수 있다. 기존의 폐색 영역을 복원하는 방식은 각 가상시점 영상 별로 폐색 영역을 독립적으로 복원한다. 이 경우 각 가상시점 영상에서는 주관적 및 객관적으로 고화질의 영상 복원이 가능하지만, 다양한 시점이 반영된 전체 영상에서는 주관적 및 객관적으로 고화질을 보장할 수 없다. 왜냐하면, 각 가상시점 영상에서 복원되는 영역 간에 컬러 및 깊이 정보가 불일치 하는 경우가 많기 때문이다.
일 측면에 있어서, 폐색 영역 복원 방법은 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하는 단계, 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 단계, 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 단계, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 단계 및 상기 복원된 영역들을 상기 가상시점 영상들에 워핑하는 단계를 포함한다.
상기 폐색 영역들의 경계를 추출하는 단계는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 단계 및 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 단계를 포함할 수 있다.
상기 복원 대상 영역들을 추출하는 단계는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 단계 및 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 단계를 포함할 수 있다.
상기 복원 대상 영역들을 복원(Inpainting)하는 단계는 상기 복원 대상 영역들의 깊이 값과 주변 영역들의 깊이 값이 유사한 경우의 패치를 이용하여 상기 복원 대상 영역들을 복원할 수 있다.
다른 일 측면에 있어서, 폐색 영역 복원 방법은 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 단계를 더 포함하고, 상기 공통 폐색 영역이 존재하면 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다.
일 측면에 있어서, 폐색 영역 복원 장치는 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하는 가상시점 영상 생성부, 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 경계 추출부, 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 영역 추출부, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 영역 복원부 및 상기 복원된 영역들을 상기 가상시점 영상들에 워핑하는 워핑부를 포함한다.
상기 경계 추출부는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 경계 검출부 및 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링부를 포함할 수 있다.
상기 영역 추출부는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 배경영역 경계 추출부 및 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 깊이 값 복원부를 포함할 수 있다.
다른 일 측면에 있어서, 폐색 영역 복원 장치는 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 판단부를 더 포함하고, 상기 공통 폐색 영역이 존재하면, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다.
상기 판단부는 상기 복원 대상 영역들 중에서 배경 영역 경계에 해당하는 영역이 중복되는 지 여부로 상기 공통 폐색 영역 존부를 판단할 수 있다.
스테레오 영상 또는 다시점 영상에서 발생한 공통 폐색 영역에 대응하는 기준시점 영상 영역을 추출하고, 추출된 기준시점 영상 영역에서 복원과정을 수행하여 다시 스테레오 영상 또는 다시점 영상으로 워핑함으로써, 스테레오 영상 또는 다시점 영상에서 발생한 아티팩트(artifact)를 제거하고, 주관적 화질을 향상시킬 수 있다.
또한, 가상시점 영상에서 발생한 공통 폐색 영역에 대응하는 기준시점 영상 영역을 추출 및 복원함으로써, 복원된 영상 간에 발생하는 컬러 및 깊이 정보의 불일치를 줄일 수 있다.
또한, 가상시점 영상에서 발생한 공통 폐색 영역에 대응하는 기준시점 영상 영역을 추출 및 복원함으로써, 복원 과정에서 요구되는 연산량을 줄일 수 있다. 따라서, 영상 처리 속도가 빨라질 수 있다.
도 1은 기준시점 영상에서 각 영상 별로 복원한 경우를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 폐색 영역 복원 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상시점 영상 생성부의 구체적 일 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 경계 추출부의 구체적 일 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영역 추출부의 구체적 일 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영역 복원부의 구체적 일 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 워핑부의 구체적 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 폐색 영역 복원 방법을 설명하기 위한 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 기준시점 영상에서 각 영상 별로 복원한 경우를 나타낸 도면이다.
깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이고, 컬러 영상은 객체의 컬러에 대한 정보를 픽셀마다 나타내는 영상이다. 원영상의 시점에서 획득한 깊이 영상 및 컬러 영상을 가지고 새로운 시점에서 3차원 영상을 생성하는 경우, 원영상에서는 보이지 않던 영역이 새로운 시점에서는 보일 수 있다. 이러한 영역을 폐색 영역(occlusion)이라고 한다. 원 영상을 기준 시점 영상으로, 새로운 시점의 영상을 가상 시점 영상이라고 할 수 있다.
도 1을 참조하면, 기준 시점 영상을 기초로 하여 스테레오 영상이 생성되었다. 스테레오 영상은 사람 눈의 왼쪽과 오른쪽으로 보이는 시점에서의 영상을 의미한다. 여기서 (A)는 (B)를 기초로 하여 좌안 시점에서 생성된 영상이고, (C)는 (B)를 기초로 하여 우안 시점에서 생성된 영상이다. 또한, (A) 및 (C)는 가상시점에서 생성된 폐색 영역을 각 영상 별로 복원한 경우이다. (A) 및 (C)에서 타원 영역(110,120)은 기준 시점 영상의 배경에서 공통된 영역에 해당한다. (A) 및 (C)의 영상으로 생성되는 과정에서 발생한 폐색 영역은 각각 복원되는 과정에서, 기준 시점에서 공통된 영역임에도, 서로 다른 컬러 값을 가진다. 이러한 결과는 컬러 및 깊이 정보의 불일치로 심각한 아티팩트(artifact)를 초래하고, 사용자의 시각에 피로를 유발하는 원인이 된다. 아티팩트(artifact)란 영상에서 물체의 이미지가 뭉개지거나, 모자이크 현상이 발생함에 따라 화질이 저화되는 경우를 의미한다. 따라서, 각 가상시점 영상의 폐색 영역 중 기준시점 영상에서 공통된 영역을 추출하고, 공통된 영역을 복원하여 복원 결과를 일치시켜주어야 한다.
도 2는 본 발명의 일 실시예에 따른 폐색 영역 복원 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 폐색 영역 복원 장치는 가상시점 영상 생성부(210), 경계 추출부(220), 영역 추출부(230), 영역 복원부(240) 및 워핑부(250)를 포함한다.
가상시점 영상 생성부(210)는 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성한다. 가상시점 영상 생성부(210)는 기준 시점에서 획득된 깊이 영상의 깊이 정보 및 컬러 영상의 컬러 정보에 기초하여 워핑(warping)을 수행하면 가상 시점에서 가상시점 영상을 생성할 수 있다. 워핑(warping)을 간략히 설명하면, 기준 시점(view point)에서 생성된 영상을 가상 시점영상으로 변환하는 영상처리 기법을 말한다. 워핑에 대해서는 이 기술이 속한 분야에서 통상의 지식을 가진 자들에게 널리 알려진 사실이어서 구체적인 설명은 생략한다. 또한, 가상시점 영상 생성부(210)는 기준 시점에서 획득된 여러 장의 컬러 영상에 기초하여 가상시점 영상들을 생성할 수 있다. 또한, 가상시점 영상 생성부(210)는 기준 시점에서 획득된 컬러 영상 및 여러 장의 깊이 영성에 기초하여 가상시점 영상들을 생성할 수 있다.
가상시점 영상에는 기준시점 영상에서 보이지 않던 폐색 영역이 포함될 수 있다. 왜냐하면, 기준시점 영상에 기초하여 가상 시점에서 영상을 생성하기 때문이다. 또한, 폐색 영역은 가상 시점에서 상대적으로 전경에 해당하는 경계선과 상대적으로 배경에 해당하는 경계선으로 구별될 수 있다. 기준시점 영상의 깊이 정보, 즉 3차원 좌표 값과 기준 시점에서 가상 시점으로 이동(shift)하는 방향을 고려하여 상대적으로 폐색 영역보다 작은 깊이 값을 가지는 영역을 전경 영역으로, 상대적으로 폐색 영역보다 큰 깊이 값을 가지는 영역을 배경 영역으로 구별될 수 있다.
경계 추출부(220)는 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출한다. 경계 추출부(220)는 경계 검출부(221) 및 경계 라벨링부(223)를 포함할 수 있다.
경계 검출부(221)는 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출할 수 있다. 경계 검출부(221)는 종래의 Morphological Operation 방법이나, Chain Code 기법을 이용하여 폐색 영역의 경계를 검출할 수 있다.
Morphological Operation 방법은 워핑된 칼라 영상의 각 픽셀의 칼라 값의 그래디언트(gradient)를 고려하여, 칼라 값이 존재하지 않는 폐색 영역의 경계를 일정한 마진(margin)으로 설정하는 방법이고, Chain Code 기법은, 특정 방향으로 샘플링된 경계 부분의 픽셀을 체인으로 연결해 나아가는 방식으로 확장함으로써 영역의 경계를 검출하는 기법으로서, 모두 영상 처리 분야에서 통상의 지식을 가지는 자에게 잘 알려져 있다.
경계 라벨링부(223)는 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다. 경계 라벨링부(223)는 검출된 경계의 각 부분에 대해, 전경 영역과의 경계인지, 아니면 배경 영역과의 경계인지 여부를 판단하여, 이를 식별할 수 있는 라벨링(labeling)을 수행한다.
경계 라벨링부(223)는, 깊이 영상을 이용하여, 경계 검출부(221)에서 검출된 경계의 각 부분에 대해 깊이 값의 그래디언트 벡터(gradient vector)를 계산한다. 이러한 깊이 값의 그래디언트 벡터는 깊이 영상의 전체에 대해 일괄적으로 계산된 후, 검출된 경계의 각 부분에서 선택적으로 사용될 수 있으며, 또는 경계 라벨링 과정에서 경계 부분에 대해서만 선별적으로 계산될 수도 있다.
또한, 경계 라벨링부(223)는 폐색 영역의 경계의 안쪽을 향하는 폐색 방향 벡터(occlusion direction vector)를 계산할 수 있다. 전경 영역과 접하는 경계 부분에서는, 계산된 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 서로 반대 방향을 향할 수 있다. 반면, 배경 영역과 접하는 경계 부분에서는, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 유사한 방향을 향할 수 있다.
또한, 경계 라벨링부(223)는, 검출된 경계의 각 부분에 대해, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터 사이의 내적(inner product)를 계산할 수 있다. 이렇게 계산된 내적이 음수(negative value)인 부분에서는, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 이루는 각은 90도 이상이므로, 경계 라벨링부(223)는 해당 부분의 경계를 전경 영역과 접하는 것으로 라벨링 한다. 한편, 계산된 내적이 양수(positive value)인 부분에서는, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 이루는 각은 90도 이하이므로, 경계 라벨링부(223)는 해당 부분의 경계를 배경 영역과 접하는 것으로 라벨링 한다.
상기 내적 계산 시, 벡터 값이 클수록 더 신뢰할 수 있는 계산으로 인정한다. 즉, 내적 값의 절대치(norm)가 클수록 결과를 신뢰할 수 있다.
영역 추출부(230)는 기준 시점에서 획득된 깊이 영상에서, 경계 추출부(220)에서 추출된 폐색 영역들의 경계에 기초하여, 폐색 영역들에 대응하는 복원 대상 영역들을 추출한다. 영역 추출부(230)는 기준 시점에서 획득된 깊이 영상에서, 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값이 복원 된 복원 대상 영역들을 추출할 수 있다. 영역 추출부(230)는 배경영역 경계 추출부(231) 및 깊이 값 복원부(233)를 포함할 수 있다.
배경영역 경계 추출부(231)는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경영역 경계에 해당하는 영역을 추출할 수 있다. 배경영역 경계 추출부(231)는 경계 추출부(220)에서 추출된 배경영역 경계의 깊이 값에 기초하여 기준 시점에서 획득된 깊이 영상에서, 상기 배경영역 경계에 해당하는 영역을 추출할 수 있다. 폐색 영역 내부에는 깊이 값이 존재하지 않으므로, 배경영역 경계 추출부(231)는 폐색 영역의 경계 중에서 배경영역 경계에 해당하는 부분을, 기준 시점에서 획득된 깊이 영상에서 추출할 수 있다. 가상시점 영상의 폐색 영역으로부터 기준시점 영상의 해당 영역을 추출해야 하므로, 배경영역 경계 추출부(231)는 각 가상시점 영상들로부터 백워핑(back warping)을 통해 기준시점 영상에서 배경영역 경계에 해당하는 영역을 추출할 수 있다.
또한, 영역 추출부(230)는 전경영역 경계 추출부(도시되지 않음)를 포함할 수 있다. 전경영역 경계 추출부(도시되지 않음)는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 전경영역 경계에 해당하는 영역을 추출할 수 있다.
깊이 값 복원부(233)는 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)할 수 있다. 깊이 값 복원부(233)는 배경영역 경계 추출부(231)에 의해 추출된 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값을 복원할 수 있다. 가상시점 영상에 포함된 폐색 영역에는 깊이 값이 없으므로, 기준시점 영상에서 상기 폐색 영역에 대응하는 부분에도 깊이 값이 존재하지 않는다. 따라서, 깊이 값 복원부(233)는 기준시점 영상에서 배경영역 경계에 해당하는 영역을 기준으로 하여 전경영역 경계에 해당하는 영역까지 깊이 값을 복원할 수 있다.
이때, 깊이 값 복원부(233)는 배경영역 경계에 해당하는 영역의 깊이 값과 주변 깊이 값의 유사도를 비교하고, 유사한 주변 깊이 값을 샘플링하여 복원 대상 영역들의 깊이 값을 복원할 수 있다. 비교 및 샘플링 방식은 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식으로 구분될 수 있다. 포인트(point) 기반 방식은 복원하고자 하는 픽셀의 주변 픽셀과 유사도를 비교하고, 유사도가 인정되는 주변 픽셀을 샘플링하여 복원 대상 영역의 깊이 값을 복원한다. 지역(region) 기반 방식은 복원하고자 하는 영역을 블록 단위로 나누어 블록 단위로 유사도를 비교하고, 유사도가 인정되는 블록을 샘플링하여 복원 대상 영역의 깊이 값을 복원한다. 여기서 블록은 일정한 크기를 가진 패치를 포함할 수 있다. NLM(Non Local Mean) 방식은 복원하고자 하는 영역을 블록 단위로 나누어 블록 단위로 유사도를 비교하지만, 유사도가 인정되는 경우 픽셀 단위로 샘플링하여 복원 대상 영역의 깊이 값을 복원한다. 여기서 유사도는 기울기(Gradient) 및 깊이 값의 유사도를 포함할 수 있다.
영역 복원부(240)는 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 동시에 복원(Inpainting)한다. 영역 복원부(240)는 깊이 값 복원부(233)에서 복원된 깊이 값을 기초로 하여 복원 대상 영역들의 컬러 값을 동시에 복원한다. 영역 복원부(240)는 복원 대상 영역의 주변 영역의 깊이 정보를 이용하여 깊이 값이 유사하도록 컬러 값을 복원할 수 있다. 또한, 영역 복원부(240)는 주변 영역 및 복원 대상 영역의 깊이 정보를 이용하여 깊이 값이 유사하도록 컬러 값을 복원할 수 있다.
영역 복원부(240)는 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식의 깊이 값 비교 및 샘플링 방식으로 복원 대상 영역의 컬러 값을 복원할 수 있다.
워핑부(250)는 상기 복원된 영역들을 상기 가상시점 영상들에 워핑한다. 워핑부(250)는 영역 복원부(240)에서 복원된 영역들만을 각 가상시점 영상들로 워핑한다. 가상시점 영상 생성시 발생하는 폐색 영역을 기준시점 영상에서 일괄적으로 복원하므로 각 가상시점에서 복원되는 폐색영역의 일관성이 유지된다. 또한, 복원된 영역만을 가상시점에 영상에 워핑함으로써, 각 가상시점 영상의 폐색영역이 복원되므로, 각각의 가상시점 영상에 포함된 폐색 영역을 각각 복원하는 경우보다 연산량이 줄어든다.
또한, 본 발명의 일 실시예에 따른 폐색 영역 복원 장치는 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 판단부(도시되지 않음)를 더 포함하고, 상기 공통 폐색 영역이 존재하면, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다. 이때, 판단부(도시되지 않음)는 상기 복원 대상 영역들 중에서 배경 영역 경계에 해당하는 영역이 중복되는 지 여부로 상기 공통 폐색 영역 존부를 판단할 수 있다. 폐색 영역 복원 장치는 가상시점 영상에 포함된 폐색 영역에 대응하는 기준시점 영상의 복원대상 영역에서, 복수개의 가상시점 영상 들간에 복원대상 영역에서 공통되는 폐색 영역이 존재하는 경우에만 상기 복원대상 영역을 복원할 수 있다. 가상시점 영상들에 포함된 폐색 영역이 기준시점 영상에서 공통되지 않는다면, 각각 가상시점 영상에 포함된 폐색 영역을 복원하는 것이 더 효율적이기 때문이다.
도 3은 본 발명의 일 실시예에 따른 가상시점 영상 생성부(210)의 구체적 일 예를 나타낸 도면이다.
도 3을 참조하면, (A1)은 기준시점에서 촬영된 컬러 영상이고, (A2)는 기준시점에서 촬영된 깊이 영상이다. (B1)은 기준시점 영상에 기초하여 생성된 좌안시점 컬러 영상이고, (B2)는 좌안시점 깊이 영상이다. (C1)은 기준시점 영상에 기초하여 생성된 우안시점 컬러 영상이고, (C2)는 우안시점 깊이 영상이다. 가상시점 영상 생성부(210)를 통하여 생성된 가상시점 영상에는 폐색 영역이 발생한다. 왜냐하면, 기준시점에서는 보이지 않지만, 가상시점에서는 보이는 영역이 생겨나기 때문이다. 가상시점 영상 생성부(210)는 기준시점 영상을 기초로 하여 생성되므로, 기준시점에서 보이지 않는 영역에 대해서는 별도의 복원과정이 필요하다. (B1) 및 (B2)에서 좌안시점 영상은 폐색 영역(310)을 포함하고 있다. 또한, (C1) 및 (C2)에서 우안시점 영상은 폐색 영역(320)을 포함하고 있다.
도 4는 본 발명의 일 실시예에 따른 경계 추출부(220)의 구체적 일 예를 나타낸 도면이다.
도 4를 참조하면, (A)는 좌안시점 컬러 영상을 나타내고, (B)는 우안시점 컬러 영상을 나타낸다. 경계 추출부(220)는 좌안시점 영상의 폐색 영역(410)을 추출한다. 또한, 경계 추출부(220)는 우안시점 영상의 폐색 영역(420)을 추출한다. 이때, 경계 추출부(220)는 좌안시점 영상의 폐색 영역(410) 경계를 검출하고, 전경 영역에 가까운 전경영역 경계인지, 배경 영역에 가까운 배경영역 경계인지를 라벨링할 수 있다. 따라서, 좌안시점 영상의 폐색 영역은 전경영역 경계와 배경영역 경계로 둘러 쌓인 영역이 될 수 있다. 또한, 경계 추출부(220)는 우안시점 영상의 폐색 영역(420) 경계를 검출하고, 전경 영역에 가까운 전경영역 경계인지, 배경 영역에 가까운 배경영역 경계인지를 라벨링할 수 있다. 마찬가지로, 우안시점 영상의 폐색 영역도 전경영역 경계와 배경영역 경계로 둘러 쌓인 영역이 될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영역 추출부(230)의 구체적 일 예를 나타낸 도면이다.
도 5를 참조하면, (A)는 좌안시점 컬러 영상을 나타내고, (B)는 우안시점 컬러 영상을 나타낸다. (C)는 기준시점 컬러 영상에서 좌안시점 영상 및 우안시점 영상의 폐색영역에 대응하는 영역을 나타낸다. (D)는 기준시점 깊이 영상에서 좌안시점 영상 및 우안시점 영상의 폐색영역에 대응하는 영역을 나타낸다. (E)는 기준시점 영상에서 복원 대상 영역을 나타낸다.
영역 추출부(230)는 경계 추출부(220)에서 추출된 좌안시점 컬러 영상의 폐색 영역(410)에 기초하여 기준시점 영상에서 상기 폐색 영역(410)에 대응하는 복원 대상 영역(510,530)을 추출할 수 있다. 영역 추출부(230)는 폐색 영역(410) 중에서 배경영역 경계로 라벨링된 영역을 기준시점 영상으로 백워핑시키고, 상기 백워핑된 영역을 기준으로 전경영역 경계로 라벨링되어 백워핑된 영역까지 깊이 값을 복원할 수 있다. 백워핑은 워핑과 반대되는 영상처리 기법으로 가상시점 영상에서 기준시점 영상으로 처리하는 것을 의미한다. 또한, 영역 추출부(230)는 경계 추출부(220)에서 추출된 우안시점 컬러 영상의 폐색 영역(420)에 기초하여 기준시점 영상에서 상기 폐색 영역(420)에 대응하는 복원 대상 영역(520,540)을 추출할 수 있다. 영역 추출부(230)는 폐색 영역(420) 중에서 배경영역 경계로 라벨링된 영역을 기준시점 영상으로 백워핑시키고, 상기 백워핑된 영역을 기준으로 전경영역 경계로 라벨링되어 백워핑된 영역까지 깊이 값을 복원할 수 있다. 복원 대상 영역(530)은 영역 추출부(230)에 의하여 화살표 방향과 같이 좌안시점 컬러 영상의 폐색 영역(410) 중 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값을 복원하여, 추출될 수 있다. 또한, 복원 대상 영역(540)은 영역 추출부(230)에 의하여 화살표 방향과 같이 우안시점 컬러 영상의 폐색 영역(420) 중 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값을 복원하여, 추출될 수 있다.
(D)에서 하얀색 영역은 좌안시점 영상의 폐색영역과 우안시점 영상의 폐색영역이 공통된 폐색 영역이다. (E)는 복원 대상 영역에 해당하는 부분에 대하여 전경 영역이 제거된 영상이다. 복원 대상 영역은 배경 영역으로부터 복원되어야 하므로 하얀색 영역에서 전경 영역은 제거 되었다.
도 6은 본 발명의 일 실시예에 따른 영역 복원부(240)의 구체적 일 예를 나타낸 도면이다.
도 6을 참조하면, (A)는 기준시점 영상에서 복원 대상 영역을 나타내고, (B)는 기준시점 영상에서 복원 대상 영역의 컬러 값이 복원된 영상(610,620)을 나타낸다. 영역 복원부(240)는 영역 추출부(230)에서 추출된 복원 대상 영역을 기준 시점에서 획득된 컬러 영상에 기초하여 복원한다. 영역 복원부(240)는 복원 대상 영역의 주변 영역의 깊이 정보를 이용하여 깊이 값이 최대한 유사하도록 복원을 수행할 수 있다. 또한, 영역 복원부(240)는 복원 대상 영역의 주변 영역 및 복원 대상 영역의 깊이 정보를 이용하여 복원을 수행할 수 있다. 영역 복원부(240)는 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식 중 어느 하나의 방식으로 복원 대상 영역의 컬러 값을 복원할 수 있다. 영역 복원부(240)는 복원 대상 영역의 주변 배경 영역으로부터, 복원 대상 영역의 깊이 값과 유사한 배경 영역의 컬러 값으로 복원 될 수 있다.
도 7은 본 발명의 일 실시예에 따른 워핑부(250)의 구체적 일 예를 나타낸 도면이다.
도 7을 참조하면, (A)는 기준시점 영상에서 복원 대상 영역(610,620)이 복원된 영상, (B)는 가상시점 영상으로 복원 대상 영역(610)이 워핑되어, 폐색 영역(710)이 복원된 좌안시점 영상, (C)는 가상시점 영상으로 복원 대상 영역이 워핑되어, 폐색 영역(720)이 복원된 우안시점 영상을 나타낸다. 워핑부(250)는 기준시점 영상에서 영역 복원부(240)에 의해 복원 대상 영역의 컬러 값이 복원되면, 복원 대상 영역을 좌안시점 영상의 폐색영역에 해당하는 영역 및 우안시점 영상의 폐색영역에 해당하는 영역으로 워핑한다. 좌안시점 영상 및 우안시점 영상 각각에서 폐색 영역을 복원하지 않고, 기준시점 영상에서 복원된 영역을 좌안시점 영상 및 우안시점 영상으로 워핑함으로써, 좌안시점 영상 및 우안시점 영상은 기준시점 영상과 일치하는 컬러 값 및 깊이 값을 가질 수 있다. 또한, 좌안시점 영상 및 우안시점 영상 각각에서 폐색 영역을 복원하지 않고, 기준시점 영상에서 한 번 폐색 영역을 복원함으로써, 복원과정에 소요되는 연산량을 줄일 수 있다.
도 8은 본 발명의 일 실시예에 따른 폐색 영역 복원 방법을 설명하기 위한 흐름도이다.
810단계에서 폐색 영역 복원 장치는 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성한다.
820단계에서 폐색 영역 복원 장치는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출한다. 또한, 폐색 영역 복원 장치는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출할 수 있다. 또한, 폐색 영역 복원 장치는 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다.
830단계에서 폐색 영역 복원 장치는 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출한다. 또한, 폐색 영역 복원 장치는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출할 수 있다. 또한, 폐색 영역 복원 장치는 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)할 수 있다.
840단계에서 폐색 영역 복원 장치는 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)한다. 폐색 영역 복원 장치는 상기 복원 대상 영역들의 깊이 값과 주변 영역들의 깊이 값이 유사한 경우의 패치를 이용하여 상기 복원 대상 영역들을 동시에 복원할 수 있다.
850단계에서 폐색 영역 복원 장치는 상기 복원된 영역들을 상기 가상시점 영상들에 워핑한다.
또한, 본 발명의 일실시예에 따른 폐색 영역 복원 장치는 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 단계를 더 포함하고, 상기 공통 폐색 영역이 존재하면 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하는 단계;
    상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 단계;
    상기 기준 시점에서 획득된 깊이 영상에서, 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 단계;
    상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 단계; 및
    상기 복원된 영역들을 상기 가상시점 영상들에 워핑하는 단계
    를 포함하는 폐색 영역 복원 방법.
  2. 제1항에 있어서,
    상기 폐색 영역들의 경계를 추출하는 단계는
    상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 단계; 및
    상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 단계
    를 포함하는 폐색 영역 복원 방법.
  3. 제1항에 있어서,
    상기 복원 대상 영역들을 추출하는 단계는
    상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 단계; 및
    상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 단계
    를 포함하는 폐색 영역 복원 방법.
  4. 제1항에 있어서,
    상기 복원 대상 영역들을 복원(Inpainting)하는 단계는
    상기 복원 대상 영역들의 깊이 값과 주변 영역들의 깊이 값이 유사한 경우의 패치를 이용하여 상기 복원 대상 영역들을 복원하는 폐색 영역 복원 방법.
  5. 제1항에 있어서,
    상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 단계를 더 포함하고,
    상기 공통 폐색 영역이 존재하면, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는
    폐색 영역 복원 방법.
  6. 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하는 가상시점 영상 생성부;
    상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 경계 추출부;
    상기 기준 시점에서 획득된 깊이 영상에서, 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 영역 추출부;
    상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 영역 복원부; 및
    상기 복원된 영역들을 상기 가상시점 영상들에 워핑하는 워핑부
    를 포함하는 폐색 영역 복원 장치.
  7. 제6항에 있어서,
    상기 경계 추출부는
    상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 경계 검출부; 및
    상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링부
    를 포함하는 폐색 영역 복원 장치.
  8. 제6항에 있어서,
    상기 영역 추출부는
    상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 배경영역 경계 추출부; 및
    상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 깊이 값 복원부
    를 포함하는 폐색 영역 복원 장치.
  9. 제6항에 있어서,
    상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 판단부를 더 포함하고,
    상기 공통 폐색 영역이 존재하면, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는
    폐색 영역 복원 장치.
  10. 제9항에 있어서,
    상기 판단부는
    상기 복원 대상 영역들 중에서 배경 영역 경계에 해당하는 영역이 중복되는 지 여부로 상기 공통 폐색 영역 존부를 판단하는
    폐색 영역 복원 장치.
KR1020100088678A 2010-09-10 2010-09-10 폐색 영역 복원 장치 및 방법 Active KR101683164B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100088678A KR101683164B1 (ko) 2010-09-10 2010-09-10 폐색 영역 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100088678A KR101683164B1 (ko) 2010-09-10 2010-09-10 폐색 영역 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120026662A true KR20120026662A (ko) 2012-03-20
KR101683164B1 KR101683164B1 (ko) 2016-12-05

Family

ID=46132377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088678A Active KR101683164B1 (ko) 2010-09-10 2010-09-10 폐색 영역 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101683164B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) * 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
EP2869262A1 (en) * 2013-11-05 2015-05-06 Samsung Electronics Co., Ltd Method and apparatus for processing a light field image
US9916694B2 (en) 2016-03-08 2018-03-13 Foundation Of Soongsil University-Industry Cooperation Method for hole filling in 3D model, and recording medium and apparatus for performing the same
KR20180061803A (ko) * 2016-11-30 2018-06-08 현대엠엔소프트 주식회사 도로면 폐색 영역 복원 장치 및 방법
US10074209B2 (en) 2013-07-31 2018-09-11 Thomson Licensing Method for processing a current image of an image sequence, and corresponding computer program and processing device
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
KR20210001254A (ko) * 2019-06-27 2021-01-06 한국전자통신연구원 가상 시점 영상 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100019927A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
JP2010045776A (ja) * 2008-07-31 2010-02-25 Stmicroelectronics Srl 映像レンダリングの方法およびシステム、そのためのコンピュータプログラム製品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045776A (ja) * 2008-07-31 2010-02-25 Stmicroelectronics Srl 映像レンダリングの方法およびシステム、そのためのコンピュータプログラム製品
KR20100019927A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:방송공학회논문지 *
논문2:IEEE *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) * 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
US10074209B2 (en) 2013-07-31 2018-09-11 Thomson Licensing Method for processing a current image of an image sequence, and corresponding computer program and processing device
EP2869262A1 (en) * 2013-11-05 2015-05-06 Samsung Electronics Co., Ltd Method and apparatus for processing a light field image
US9646399B2 (en) 2013-11-05 2017-05-09 Samsung Electronics Co., Ltd. Method and apparatus for image processing
US9916694B2 (en) 2016-03-08 2018-03-13 Foundation Of Soongsil University-Industry Cooperation Method for hole filling in 3D model, and recording medium and apparatus for performing the same
KR20180061803A (ko) * 2016-11-30 2018-06-08 현대엠엔소프트 주식회사 도로면 폐색 영역 복원 장치 및 방법
WO2018101746A3 (ko) * 2016-11-30 2018-08-16 현대엠엔소프트 주식회사 도로면 폐색 영역 복원 장치 및 방법
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
KR20210001254A (ko) * 2019-06-27 2021-01-06 한국전자통신연구원 가상 시점 영상 생성 방법 및 장치

Also Published As

Publication number Publication date
KR101683164B1 (ko) 2016-12-05

Similar Documents

Publication Publication Date Title
Le et al. Physics-based shadow image decomposition for shadow removal
Dekel et al. On the effectiveness of visible watermarks
Shor et al. The shadow meets the mask: Pyramid‐based shadow removal
Lu et al. Depth enhancement via low-rank matrix completion
AU2022203854A1 (en) Methods and systems for large-scale determination of RGBD camera poses
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
Ahn et al. A novel depth-based virtual view synthesis method for free viewpoint video
US20120114225A1 (en) Image processing apparatus and method of generating a multi-view image
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
US20180300937A1 (en) System and a method of restoring an occluded background region
KR101683164B1 (ko) 폐색 영역 복원 장치 및 방법
Arbel et al. Texture-preserving shadow removal in color images containing curved surfaces
US20100079453A1 (en) 3D Depth Generation by Vanishing Line Detection
KR20120003232A (ko) 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN103905813A (zh) 基于背景提取与分区修复的dibr空洞填补方法
JP5908844B2 (ja) 画像処理装置および画像処理方法
Luo et al. Foreground removal approach for hole filling in 3D video and FVV synthesis
KR20120082336A (ko) 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
Nguyen et al. New hole-filling method using extrapolated spatio-temporal background information for a synthesized free-view
Ling et al. Image quality assessment for DIBR synthesized views using elastic metric
US11528465B2 (en) Image processing apparatus, image processing method, and storage medium
Calagari et al. Data driven 2-D-to-3-D video conversion for soccer
Lim et al. Bi-layer inpainting for novel view synthesis
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10