KR20090086964A

KR20090086964A - 3ｄ 이미지의 컬러 보정을 위한 방법 및 시스템

Info

Publication number: KR20090086964A
Application number: KR1020097008645A
Authority: KR
Inventors: 아나 비. 베니테즈; 똥-칭 장; 제임스 에이. 팬쳐
Original assignee: 톰슨 라이센싱
Priority date: 2006-11-21
Filing date: 2006-11-21
Publication date: 2009-08-14
Anticipated expiration: 2026-11-21
Also published as: WO2008063167A1; JP4945642B2; CN101542537A; EP2089852A1; JP2010510571A; US20100290697A1; US8538144B2; CN101542537B; KR101342987B1

Abstract

동일한 장면에 대하여 캡처되는 적어도 2개의 별도 이미지 스트림을 포함하는 3D 이미지의 컬러 보정을 위한 시스템 및 방법은 선택된 이미지 스트림의 적어도 일부분에 대한 3차원 특성을 결정하는 단계를 포함하되, 3차원 특성은 광 및 표면 반사율 특성, 표면 컬러, 반사율 특성, 장면의 기하학적 형태 등을 포함한다. 선택된 이미지 스트림의 일부분에 대한 모습(look)은 이후 결정된 3 차원 특성 중 적어도 하나의 값을 변경함으로써, 그리고 일실시예에서, 이미지 형성 이론을 적용함으로써 수정된다. 이후, 수정이 자동적으로 및/또는 사용자 입력에 따라 출력 3D 화상에서 렌더링된다. 다양한 실시예에서, 적어도 2개의 이미지 스트림 중 선택된 하나에 이루어진 보정이 자동적으로 이미지 스트림 중 다른 하나에 적용될 수 있다.

캡처, 보정, 3D, 컬러, 이미지

Description

3Ｄ 이미지의 컬러 보정을 위한 방법 및 시스템{METHODS AND SYSTEMS FOR COLOR CORRECTION OF 3D IMAGES}

본 발명은 일반적으로는 컬러 보정 시스템 및 방법에 관한 것으로, 더 상세하게는, 이미지 정보 이론이 사용되어 동화상 또는 비디오 장면과 같은 이미지 콘텐츠에서의 3 차원 이미지의 컬러 보정을 향상 및 가능하게 하는 시스템 및 방법에 대한 것이다.

종래의 컬러 보정은 2D 이미지에서 픽셀값만을 다루는 순수하게 2차원(2D) 기술이다. 모든 종래의 컬러 보정은 탈색(lift), 이득 감마와 같은 주 컬러 연산, 및 한 이미지 내의 모든 픽셀에 광역적으로 적용되는 동작자에 의해 지정되는 미국 촬영자 협회 컬러 결정 리스트(ASC CDL: American Society of Cinematographers Color Decision List) 기능을 지원한다. 그러나, 더 최근에는, 컬러 보정은 또한 한 이미지 내의 일부 선택 픽셀에만 적용되는 부 연산을 지원한다.

그러나, 종래의 컬러 보정은 동시적인 이미지 채널과 스테레오 카메라 등을 이용한 캡처로부터 유래하는 관련된 정보 사이의 관계를 이용하는데 실패하고 있다. 덧붙여, 현재 컬러 보정 프로세스는 장면 내의 객체에 대한 실제 조명 조건, 광 반사율 성질 또는 3 차원(3D) 기하학적 형태의 정보를 고려하거나 수정하지 않 는다. 그러므로, 종래 컬러 보정 프로세스는 3D 이미지를 컬러 보정하기에 충분하지 못하다.

본 발명은 입체(stereoscopic) 이미지와 같은 3차원(3D) 이미지의 컬러 보정을 위한 방법, 장치 및 시스템을 제공함으로써 종래 기술의 결함을 해소한다. 본 발명의 다양한 실시예에 있어서, 가령 입체 이미지와 같은 3D 이미지의 컬러 보정은 주 컬러 연산(primary color operation)을 이용하는 좌측 채널에 있는 사용자 컬러 보정 이미지를 이용하여 시작한다. 그 후, 이들 컬러 연산이 우측 채널에 있는 이미지에 복사된다. 마지막으로, 사용자는 우측 채널에 있는 이미지에 대하여 컬러 보정을 검토하고 수동적으로 정하여 정확하게 좌측 채널에 있는 이미지를 매칭할 수 있다.

본 발명의 일실시예에서, 동일한 장면에 대하여 캡처된 적어도 2개의 별도 이미지 스트림을 포함하는 3D 이미지의 컬러 보정을 위한 방법은, 3차원 이미지의 선택된 이미지 스트림의 적어도 일부에 대한 적어도 하나의 3차원 특성을 결정하는 단계와, 적어도 하나의 결정된 3차원 특성의 값을 변경함으로써 상기 선택된 이미지 스트림의 적어도 상기 일부분의 외관을 수정하는 단계를 포함한다. 이 3차원 특성은 기하학적 형태, 광, 표면 반사율 특성 등에 대한 정보를 포함할 수 있다. 이후, 선택된 이미지 스트림의 일부분의 외관은 적어도 하나의 결정된 3차원 특성을 변경함으로써, 그리고 예를 들면, 이미지 형성 이론을 적용함으로써 수정될 수 있다. 따라서, 이 수정은 이후 3D 이미지(예를 들면 2개의 별도 이미지 스트림)에서 렌더링될 수 있다. 다양한 실시예에서, 적어도 2개의 이미지 스트림 중 선택된 하나에 이루어진 보정이 이미지 스트림 중 다른 하나에 자동적으로 적용될 수 있다.

본 발명의 대안적인 실시예에서, 3차원 이미지를 컬러 보정하기 위한 시스템은 컬러 보정을 위한 이미지를 디스플레이하도록 구성된 기준 디스플레이 디바이스 및 컬러 보정 디바이스를 포함한다. 본 발명의 실시예의 컬러 보정 디바이스는 3차원 이미지의 선택된 이미지 스트림의 적어도 일부분에 대한 적어도 하나의 3차원 특성을 결정하고, 적어도 하나의 결정된 3차원 특성의 값을 변경함으로써 선택된 이미지 스트림의 적어도 일부분의 외관을 수정하도록 구성된다. 본 발명의 시스템은 적어도 2개의 캡처 디바이스를 추가로 포함하거나, 대안적으로는 적어도 2개의 이미지 스트림을 캡처하는 스테레오 카메라를 추가로 포함할 수 있다.

본 발명의 교지는 첨부된 도면과 결합하는 이하의 상세한 설명을 고려함으로써 쉽게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 입체 이미지와 같은 3차원(3D) 이미지의 컬러 보정을 위한 컬러 보정 시스템(100)의 하이 레벨 블럭도.

도 2는 본 발명에서의 도 1의 컬러 보정 시스템에서의 사용에 적합한 컬러 보정 디바이스의 실시예에 대한 하이 레벨 블럭도.

도 3은 본 발명의 실시예에 따른 도 1의 컬러 보정 시스템에서의 사용에 적합한 유저 인터페이스의 하이 레벨 블럭도.

도 4는 본 발명의 실시예에 따른 표면 렌더링의 원리를 예시하는 도면.

도 5는 본 발명의 실시예에 따른 3차원 정보를 결정하는 방법의 흐름도.

도 6은 본 발명의 실시예에 따른 3차원 정보를 이용하여 3D 이미지를 컬러 보정하는 방법의 흐름도.

도면은 본 발명의 개념을 예시하기 위한 의도이고 반드시 본 발명을 예시하기 위한 유일하게 가능한 구성이 아님을 이해해야 한다. 이해를 돕기위해, 동일한 참조 번호가 가능하면 도면에 공통인 동일한 구성요소를 지시하기 위해 사용된다.

본 발명은 유리하게는 입체 이미지와 같은 3차원(3D) 이미지의 컬러 보정을 위한 방법, 장치 및 시스템을 제공한다. 비록 본 발명이 가령 비디오 기록 및/또는 편집 시스템과 같은 후처리 환경의 맥락 내에서 주로 기술될지라도, 본 발명의 특정 실시예는 본 발명의 범위를 제한하는 것으로 취급되지 않아야 한다. 본 발명의 개념이 유리하게는 가령 임의 디지털 멀티미디어 시스템과 같은 캡처된 이미지 또는 이미지의 부분의 컬러 보정 및/또는 컬러 조정을 위한 임의 환경에서 적용될 수 있음이 당업자에 의해 이해되고 본 발명의 가르침에 의해 알게 될 것이며, 이 디지털 멀티미디어 시스템은 카메라, 비디오 레코더, 휴대폰, 무비 카메라와 같이 이미지를 캡처 및/또는 편집할 수 있으며, 본 발명의 개념은 네트워크 상에서도 적용될 수 있다. 덧붙여, 본 발명의 개념은 예를 들면 3D 장면 캡처 디바이스를 이용하여 스테레오 또는 이중 이미지 캡처를 할 수 있는 임의 기록 방법에 적용될 수 있다.

본 발명의 다양한 실시예에서, 이미지의 2개의 동시 채널(예를 들면, 스테레오 이미지 쌍에서 임의 추가적인 메타데이터를 갖는 좌측 및 우측 이미지)이 수신 된다. 각 채널은 추출된 3차원 기하학적 형태 및 조명 모델에 따라 처리된다. 이 모델은 예를 들면 사용자 입력으로부터의 명령어에 따라 2개의 이미지 스트림 사이의 차이를 고려하고 각 스트림을 수정한다. 본 발명의 실시예는 각 채널에 대하여 미국 촬영자 협회 컬러 결정 리스트(ASC CDL) 연산과 같은 표준 주 컬러 보정뿐만 아니라 수신된 이미지의 특정 영역에 관한 연산과 같은 부보정을 제공한다.

본 발명의 실시예에서, 2개 스트림 및/또는 3D 데이터베이스로부터 추출된 정보를 이용하는 객체 한정 및 추적은 광 반사율 등과 같은 객체의 속성에 대한 특정 타입의 변경에 대하여 화상 구성요소를 분리할 때 사용자를 돕도록 구현된다. 본 발명에 따른 3D 이미지 모델링은 제 1 채널의 이미지에서의 변화가 제 2 채널의 이미지에서 쉽고 자동적으로 변환 및 구현되는 것을 가능하게 한다.

본 도면에 도시된 다양한 구성요소의 기능은 적당한 소프트웨어와 결합하는 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통하여 제공될 수 있다. 프로세서에 의해 제공되는 경우, 이 기능은 단일의 전용 프로세서, 단일의 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명백한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 언급하는 것으로 이해되지 않아야 하며, 암시적으로는 제한없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 스토리지를 포함할 수 있다.

도 1은 본 발명의 실시예에 따른 입체 이미지와 같은 3차원(3D) 이미지의 컬 러 보정을 위한 컬러 보정 시스템(100)의 하이 레벨 블럭도를 묘사한다. 도 1의 컬러 보정 시스템(100)은 예시적으로는 이미지 캡처 디바이스(105), 컬러 보정 디바이스(110) 및 기준 디스플레이(120)를 포함한다. 도 1의 컬러 보정 시스템(100)에서, 이미지 콘텐츠는 이미지 캡처 디바이스(105)에 의해 캡처된다. 이미지 캡처 디바이스(105)는 2개의 별도 채널(16 및 18) 형태로 동일한 캡처된 이미지(또는 이미지 장면)의 2개 이미지 스트림을 생성한다. 예를 들면, 본 발명의 일실시예에서, 이미지 캡처 디바이스(105)는 동일한 캡처된 이미지의 2개 이미지 스트림(예를 들면, 3D 이미지를 만들기 위한 좌측 및 우측 이미지 스트림/채널)을 생성할 수 있는 스테레오 카메라를 포함할 수 있다. 본 발명의 대안적인 실시예에서, 이미지 캡처 디바이스(105)는 캡처된 이미지의 2개 동시 채널(16 및 18)을 제공하기 위해 2개의 별도 이미지 캡처 디바이스(112 및 114)를 포함할 수 있다.

이 2개 이미지 스트림(16 및 18)은 컬러 보정 디바이스(110)에 전달된다. 따라서, 컬러 보정 디바이스(110)에서, 각 채널(16 및 18)은 3차원 조명 및 기하학적 모델을 제공하기 위해 처리되며, 이 모델은 생성되어 컬러 보정 디바이스(110) 내에 저장된다. 이 모델은 2개 이미지 스트림(16 및 18) 사이의 차이를 고려한다. 각 스트림은 이후 예를 들면 동작자로부터의 명령어에 따라 수정될 수 있다. 본 발명의 일실시예에서, 컬러 보정 디바이스(110)는 각 채널(16 및 18)에 대하여 가령 ASC CDL 연산과 같은 표준 주 컬러 보정뿐만 아니라 이미지 스트림의 특정 영역에 관한 연산과 같은 부보정을 제공한다. 도 1의 실시예가 3D 이미징에 대하여 2개의 별도 스트림을 생성하고 제공하는 맥락 내에서 기술되었을 지라도, 본 발명의 대안 적인 실시예에서, 대응하는 깊이 맵을 갖는 2D 이미지가 또한 3D 이미징을 위해 사용될 수 있다.

도 2는 본 발명에 따른 도 1의 컬러 보정 시스템(100)에서의 사용에 적합한 컬러 보정 디바이스의 실시예에 대한 하이 레벨 블럭도를 묘사한다. 도 2의 컬러 보정 디바이스(110)는 프로세서(210)뿐만 아니라 제어 프로그램, 기하학적 형태 및 조명 정보 및 모델, 객체 데이터베이스 등을 저장하는 메모리(220)를 포함한다. 프로세서(210)는 파워 서플라이, 클럭 회로, 캐시 메모리 등뿐만 아니라 메모리(220) 내에 저장되는 소프트웨어 루틴을 실행할 때 도울 수 있는 회로와 같은 종래 지원 회로(230)와 협력한다. 위와 같이, 소프트웨어 프로세스로서 여기에 논의된 프로세스 단계의 일부는 예를 들면 다양한 단계를 실행하도록 프로세서(210)와 협력하는 회로로서 하드웨어 내에서 구현될 수 있음이 예측된다. 컬러 보정 디바이스(110)는 또한 컬러 보정 디바이스(110)와 통신하는 다양한 각 기능 구성요소 사이에서 인터페이스를 형성하는 입력-출력 회로(240)를 포함한다.

비록 도 2의 컬러 보정 디바이스(110)가 본 발명에 따른 다양한 제어 기능을 실행하도록 프로그래밍되는 범용 컴퓨터로서 묘사되었을 지라도, 본 발명은 예를 들면 응용 주문형 반도체(ASIC: Application Specified Integrated Circuit)로서 하드웨어 내에 구현될 수 있다. 위와 같이, 여기에 기술되는 프로세스 단계는 소프트웨어, 하드웨어, 또는 이들의 조합에 의해 등가적으로 실행되는 것으로 넓게 해석되는 것으로 의도된다.

본 발명의 일실시예에서, 본 발명의 컬러 보정 시스템(100)은 사용자가 환경 정보 및 컬러 보정 파라메터에 관한 정보를 컬러 보정 디바이스(110)내로 입력하는 것을 가능하게 하는 유저 인터페이스(125)를 추가로 포함할 수 있다. 도 1의 컬러 보정 디바이스(110)의 유저 인터페이스(125)는 무선 원격 제어, 마우스 또는 트랙볼과 같은 포인팅 디바이스, 음성 인식 시스템, 터치 스크린, 온 스트린 메뉴, 버튼, 노브(knob) 등을 포함할 수 있다. 덧붙여, 유저 인터페이스(125)는 컬러 보정 디바이스(110) 또는 원격 패널 또는 디바이스 상에 직접 제공될 수 있다.

예를 들면, 도 3은 본 발명의 실시예에 따른 도 1의 컬러 보정 시스템에서의 사용에 적합한 유저 인터페이스의 하이 레벨 블럭도를 묘사한다. 도 3의 유저 인터페이스(125)는 스크린 또는 디스플레이(302)를 포함하는 독립형 워크스테이션을 포함할 수 있거나, 프로세서 또는 제어기가 구비되는 컴퓨터 상의 그래픽 유저 인터페이스로서 소프트웨어로 구현될 수 있다. 제어(310-326)는 유저 인터페이스(125)의 구현에 따라 실제 노브/스틱(310), 키패드/키보드(324), 버튼(318-322), 가상 노브/스틱 및/또는 버튼(314), 및 마우스(326)를 포함할 수 있다.

스크린(302)은 이미지 내에서 컬러 보정 및 기하학적 형태 또는 광 소스 수정을 허용하도록 이미지(들) 성분을 볼 수 있는 영역을 포함한다. 사용자가 제어하는 커서(미도시)가 스크린상에 사용되어 제어를 활성화시키고 스크린(302)의 부분을 하이라이트하거나 활성화할 수 있다. 커서는 마우스(326), 키패드(324), 조이스틱 또는 다른 선택/포인팅 디바이스(330)를 이용하여 구현되고 이동될 수 있으며, 이들은 유저 인터페이스(125)의 일부로 유지되거나 또는 이 유저 인터페이스로부터 분리될 수 있다.

일실시예에서, 이미지(들)의 영역(304)이 처리를 위해 선택된다. 이 영역은 기하학적 형태의 데이터, 광 소스 데이터, 반사율 데이터 및 임의 다른 특징이 취합되고 저장되어 있을 수 있는 객체(305)를 포함할 수 있다. 이 객체(305)는 바람직하게는 일정한 특성(예를 들면 반사율(비방출 표면) 등)을 포함하기 위해 선택되고 광 소스 위치, 기하학적 형태의 특성 또는 둘 다를 결정 또는 추론하는 방법으로서 사용될 수 있다. 이미지의 렌더링이 스크린(302) 상에 디스플레이될 수 있다(대안적으로는, 이미지의 렌더링은 기준 디스플레이(120) 상에 디스플레이될 수 있다).이미지의 캡처 동안 취합되거나 추론에 의해 이미지의 객체에 속하는 특성의 세트에 기초하여 이미지에 수정이 이루어질 수 있다(이하에서 더 상세하게 기술됨). 이는 캡처 디바이스(들)의 사용을 통하여 취합된 3D 정보를 포함한다. 여기에 기술된 편집 툴 및 한정은 소프트웨어 기반 툴, 수동 조작 또는 이 둘의 조합을 이용하여 자동적으로 실행될 수 있다. 이는 기하학적 형태의 모델에 기초하여 자동적으로 채널쌍의 이미지 중 하나 사이의 갱신된 이미지 정보를 다른 하나에 전송하는 것을 포함할 수 있다.

도 1을 다시 참조하면, 컬러 보정 디바이스(110)에서, 3D 화상(예를 들면 좌측 및 우측 이미지 스트림)이 분석되어 캡처된 장면의 조명, 표면 반사율, 및 3D 기하학적 형태의 모델을 구성한다. 이러한 프로세스는 유저 인터페이스(125)를 통하여 사용자로부터의 입력(들)을 포함하는 대화형 프로세스일 수 있다. 3D 기하학적 형태의 모델은 예를 들면 이미지의 캡처 동안 취합된 3D 정보를 이용하여 생성될 수 있다. 예를 들면, 본 발명의 일실시예에서, 본 시스템의 컬러 보정 디바이스 는 이미지 캡처의 영역 내에 위치될 수 있으며, 이미지 캡쳐에 수반된 환경 상황을 결정하기 위한 다양한 센서(미도시)를 포함할 수 있다. 예를 들면, 본 발명의 컬러 보정 디바이스는 이미지가 캡처되는 환경의 조명 조건을 결정하기 위한 광 센서를 포함할 수 있다.

컬러 보정 디바이스(110)에 의해 결정된 조명, 반사율 및 3D 기하학적 모델에 기초하여, 이 장면 내의 객체의 조명, 표면 반사율 특성, 및 표면 기하학적 형태가 수정될 수 있다. 특정된 연산이 이미지 스트림 둘 다에 적용될 것이다. 본 발명의 다양한 실시예에서, 본 발명자는 캡처된 이미지의 측면(aspect)을 결정하기 위한 이미지 형성 이론을 구현한다. 예를 들면, 이미지의 형성은 적어도 다음 4가지 인자인 카메라, 장면 기하학적 형태, 광 소스 및 소스 반사율 특성에 의존한다. 반사된 복사 휘도(radiance)(이는 카메라 투사 이후 캡처된 2D 이미지 중 하나에서의 최종 관찰된 픽셀값에 비례함)와 확산 및 거울(specular) 성분을 분해하고 거울 반사율에 대한 퐁(Phong) 모델을 이용한 이후 위 4가지 인자 사이의 관계는 다음 수학식 1에 따라 근사화될 수 있다:

여기서,

는 반사된 복사 휘도를 나타내며, 이는 카메라 투사 이후 관찰된 픽셀값에 비례하며, x 는 반사 각도를 나타내는 장면 표면(

_r)의 점이고, λ는 광선의 파장을 나타내며,

는 표면에 의해 방출된 복사 휘도를 나타내며,

은 입사 복사 휘도를 나타내며,

_i는 입사각을 나타내고,

_s는 거울 반사 방향(specular direction)의 각도를 나타내며, 이는 표면 수직 및 입사선에 의해 결정되며, L_s는 거울 반사 방향을 따라 복사 휘도를 나타내고, ρ_d 및 ρ_s는 각각 확산 및 거울 알베도(반사율)를 나타내고, cosθ _s =

이고, n은 거울 현상(specularity)의 민감도(sharpness)를 결정하는 파라메터를 나타내며, cosθ _i =

이고, 여기서 N은 표면 수직이다. 이들 구성요소간의 관계가 도 4에 예시적으로 도시된다.

더 상세하게는, 도 4는 표면 렌더링에 대한 기본 원리의 도면을 묘사한다. 도 4에서, 광 소스(410)는 입사각(

_i)으로 광을 제공하며, 이 입사각은 수직선(N(x))과 각도(θ _i)를 형성한다. 수직선(N(x))은 소스(410)로부터의 광을 반사하는 표면(412)에 수직이다. 도 4의 도면에서,

_r는 예를 들면 제 1 캡처 위치로부터의 반사율 각도를 나타내고,

_s는 거울 반사 방향의 각도를 나타내며, θ _s는 이들 사이의 각도를 나타낸다. 더욱이, 도 4의 도면에서,

_r'는 예를 들면 제 2 캡처 위 치로부터의 반사율 각도를 나타내고, θ _s'는 제 2 캡처 위치로부터의 반사율 각도와 거울 반사 방향의 각도인

_s사이의 각도를 나타낸다.

본 발명에서, 좌측 및 우측 채널(16 및 18)에 대하여 캡처된 3D 장면 정보가 고려된다. 따라서, 채널 각각에 대한 수학식 1은 수학식 2와 수학식 3에 따라 특징화될 수 있으며, 이들 수학식은 다음과 같다.

구별을 목적으로, 본 발명의 일실시예에서 수학식2는 우안 채널(right eye channel)을 묘사할 수 있고 수학식3은 좌안 채널을 묘사할 수 있다. 두 수학식2와 수학식3에서 두 번째 항

은 동일하다는 것을 주목하자.

수학식2 및 수학식3은 수학식2 및 수학식3의 비방출 표면(예를 들면, 첫번째 항

= 0) 및/또는 람베르트 표면(수학식2 및 수학식3의 세번째 항(

= 0)에 대하여 더 단순화될 수 있다.

또한, 3D 이미지로부터의 조명, 표면 반사율, 및 3D 기하학적 모델의 추출이 2개의 스테레오 채널에서의 2D 이미지로부터 획득될 수 있다.

본 발명의 실시예에서, 도 5를 참조하여 기술되는 바와 같이, 대화형 프로세스는 인간의 입력뿐만 아니라 3D 장면 정보(예를 들면, 좌측 및 우측 이미지 스트림) 및 조명 정보(예를 들면 이 장면을 위한 거울 구면의 화상)를 고려하여 이들 모델을 추출하고 한정한다. 예를 들면 그리고 위에 기술된 바와 같이, 3D 환경에서 컬러 보정 능력을 실현하기 위해, 광 소스 및 표면 기하학적 형태뿐만 아니라 표면 반사율 특성의 정보가 처리 이전에 필요하게 될 수 있다. 예를 들면, 외부 소스로부터 또는 처리중인 이미지로부터 추론되는 것을 포함하여 이미지로부터 3D 정보를 획득하는 수개의 방법이 있다. 외부 소스의 경우에, 3D 기하학적 형태는 예를 들면 레이저 스캐너 또는 다른 디바이스 및/또는 사용자 입력과 같은 기하학적 형태 캡처 디바이스에 의해 획득될 수 있다. 광 정보는 거울 볼(mirror ball)과 같은 광 센서 및/또는 조명 캡처 디바이스로부터 결정될 수 있다. 이미지로부터 환경적 특성을 추론하기 위해, 단일의 이미지로부터 동시에 장면 기하학적 형태, 광 및 표면 반사율 특성을 복구하려는 시도는 어려운데, 왜냐하면 다수의 미지의 변수가 존재하기 때문이다. 그러나, 컬러 보정 프로세스에서, 사용자는 원하는 효과를 달성하기 위해 시스템과 상호 작용할 수 있다.

그러므로, 사용자 컴퓨터 상호작용 및 3D 이미지가 장면 기하학적 형태의 재 구성을 촉진하고 향상시키기 위해 이용될 수 있다. 예를 들면, 사용자는 시스템이 광 소스를 추론하기 위해 "양호" 영역을 선택할 수 있다. 이후, 추론된 광 소스가 더 복잡한 영역을 위해 사용될 수 있다. 또한, 사용자는 광 소스의 위치를 추정하고 시스템이 상호작용적으로 이 장면의 광 소스 및 3D 기하학적 형태를 한정하는 것을 도울 수 있다. 마찬가지로, 기하학적 형태가 약간 다른 위치를 가지며 동시에 이미지 데이터를 캡처하는 2개의 카메라 또는 다른 3D 화상 캡처 디바이스에 기초하여 한 장면 내에 있는 객체로부터 획득될 수 있다. 이러한 방식으로, 이 2개 이미지는 예를 들면 3차원으로 기하학적 형태의 특징을 결정하고 모델을 생성하기 위한 컴퓨터 비전 소프트웨어 툴을 이용하여 비교될 수 있다. 3D 이미지가 3차원을 위한 기하학적 형태의 정보를 포함하는 것을 주목하자.

예를 들면, 도 5는 본 발명의 실시예에 따라 한 장면의 3차원 정보를 결정하기 위한 방법(500)의 흐름도를 묘사한다. 도 5의 방법(500)은 단계(501)에서 시작하고, 이 단계에서 이미지 정보(예를 들면 장면 정보)가 적어도 2개의 채널(예를 들면, 이미지 스트림)을 통하여 수신된다. 각 채널은 예를 들면 스테레오 카메라 또는 2개의 별도 카메라를 이용하여 약간 다른 각도로부터 찍힌 동일한 장면의 정보 스트림을 수반할 수 있다. 방법(500)은 단계(502)로 진행한다.

단계(502)에서, 사용자는 특정 특성(예를 들면 람베르트 표면)을 갖는 수신된 이미지의 영역을 선택한다. 더 상세하게는, 단계(502)에서, 이 수신된 이미지의 특정 영역이 선택되어 표면 또는 3D 모델의 구성에 도움을 줄 수 있다. 예를 들면, 만일 거울 반사 알베도에 대하여, 거울 반사 방향을 따르는 복사 휘도, 및 카메라 위치(심지어 근사값)이 알려진다면, 표면 수직선은 수학식4 및 수학식5를 이용하여 결정될 수 있으며, 이 수학식은 다음과 같다:

덧붙여, 만일 유한 개수의 알려진 조명 소스가 있고 표면이 람베르트 표면이라면, 이 표면이 선택되어 3D 모델을 생성하는 것을 도울 수 있다. 사용자는 가령 거울 반사 알베도, 거울 반사 방향을 따르는 복사 휘도, 및 카메라 위치와 같은 특정 알려진 특성을 갖는 이미지의 영역 또는 이의 일부 및/또는 람베르트 표면을 선택한다. 이후, 방법(500)은 단계(504)로 진행한다.

단계(504)에서, 사용자는 이미지 콘텐츠에 따라 본 명세서에서는 한 장면내의 광 위치인 3차원 특성의 결정 또는 추정을 제공한다. 그러나, 본 발명의 대안적인 실시예에서, 3차원 특성이 이전에 수신된 이미지로부터 추론될 수 있다. 이후, 이 방법(500)은 단계(506)로 진행한다.

단계(506)에서, 3D 기하학적 형태 모델이 컴퓨터 비전 기술을 이용하여 장면 기하학적 형태 정보의 2개의 동시적인 채널(예를 들면, 좌측 및 우측 이미지 스트림)로부터 만들어질 수 있다. 좌측 및 우측 이미지 쌍이 먼저 등록되어 공통 좌표계를 공유한다. 예를 들면, 본 발명의 일실시예에서, 이미지 차이와 카메라 위치에 기초하여 모든 픽셀에 대하여 깊이가 계산되고, 이후 3D 표면 모델이 깊이 측정에 맞추어진다. 덧붙여, 좌측 및 우측 이미지의 스트림이 이용가능하므로(단지 좌측 및 우측 이미지쌍만이 아님), 또한 3D 기하학적 형태 정보가 시간상으로 이전의 좌측 및 우측 이미지쌍으로부터 추정될 수 있다. 이는 객체 또는 카메라가 이동하면 구성된 3D 기하학적 형태 모델의 정교성을 향상시키는 것을 상당히 도울 수 있다. 더욱이, 추가적인 3D 기하학적 형태 정보는 예를 들면 비방출 표면을 가정함으로써 위 수학식2 내지 수학식5를 이용하여 추출될 수 있다. 이후, 방법(500)은 단계(508)로 진행한다.

단계(508)에서, 선택된 영역은 재렌더링된다. 이러한 재렌더링은 현재의 광선 추적 알고리즘을 이용하여 실현될 수 있다. 이후, 방법(500)은 단계(510)로 진행한다.

단계(510)에서, 원래의 선택된 영역과 재렌더링된 영역의 외관이 비교된다. 만일 재렌더링된 영역 및 원래의 영역이 잘 매칭되지 않으면, 이 방법은 예를 들면 광 위치를 재추정함으로서 더 좋은 매치를 달성하기 위한 시도로 단계(504)로 되돌아간다. 만일 재렌더링된 영역 및 원래의 영역이 잘 매칭되면, 이 방법은 끝난다. 매치는 객체 기준 또는 이미지 사양에 기초될 수 있으며, 이 기준 또는 사양은 이 이미지가 개선되는지를 결정하기 위해 사용될 수 있다. 본 발명에 따르면, 일단 한 장면의 3차원 정보(예를 들면, 3차원 특성)가 위에 기술된 바와 같이 결정되면, 3차원 특성(예를 들면, 광 소스 위치 및 세기, 표면 반사율 등)이 수정되어 이미지를 위한 원하는 "외관(look)"을 달성할 수 있다(이하에서 더 상세하게 기술됨). 본 발명의 실시예에서, 이 매치는 광 소스로부터의 정보 및 2개 이미지 채널로부터의 기하학적 형태를 포함할 수 있다. 이후, 최종 광 정보는 동일한 이미지 내에서의 다른 영역을 위해 사용될 수 있다.

선택적으로는, 단계(512)에서, 2D 스트림 중 선택된 하나에 대한 본 발명의 프로세스에 의해 구현된 임의 변경이 자동적으로 또는 사용자 입력을 통해 기본 3차원 모델을 이용하여 다른 스트림에 적용될 수 있다.

하나의 2D 이미지를 위한 광 소스가 주어진 장면 기하학적 형태의 복구에 대하여 본 발명의 방법의 실시예가 이제 더 상세하게 기술될 것이다. 선택된 영역이 일정한 알베도 또는 다른 일정한 특성을 가지는 람베르트 표면 패치인 것을 가정하면, 이 알베도 맵은 구분적 일정할(piece-wise constant) 수 있고, 그러므로 알베도 맵 상에서 일정한 알베도를 갖는 영역을 발견하기가 어렵지않을 것이다. 람베르트 표면에 대하여, 광, 기하학적 형태 및 알베도가 수학식6에 의해 제한되며, 이 수학식은 다음과 같다:

만일 이 알베도가 선택된 컬러 보정 영역에서 일정하면, 광 또는 기하학적 형태 중 하나를 아는 것이 다른 인자를 복구하는 것을 도울 수 있다. 많은 경우에서, 장면 표면은 람베르트 표면으로서 근사될 수 있으며, 여기서 반사율 특성은 모든 방향을 따라 일정하고, 이는 또한 수학식1에서 거울 반사항이 없어지는 것을 나타낸다. 만일 표면 방출이 또한 무시될 수 있다면(이는 모든 표면 타입에 대하여 사실임), 이하의 단순화된 폼이 제공될 수 있는데, 즉,

이며,

이 식은 전통적으로 조명 이미지로 불리며, 장면 알베도의 영향을 배제하면서 광 및 표면 기하학적 형태의 상호작용을 인코딩한다. 이 알베도 맵은 수학식7에 따라 관찰된 이미지 및 조명 이미지로부터 복구될 수 있음이 명백하며, 이 수학식은 다음과 같다:

알베도 맵(이 영역에서 일정) 및 광 위치(유한 개수의 점광 소스(point light source))가 주어진다면, 이 기하학적 형태는 수학식8에 따라 표면 수직선(N(x))을 먼저 획득함으로써 복구될 수 있으며, 이 수학식은 다음과 같다:

여기서, L_i는 점광 소스(i)의 복사 휘도를 묘사하고, N(x)는 표면 수직선을 묘사하고, ω_i는 광 소스(i)의 입사광선을 묘사한다. 그러나, 수학식8을 풀기는 어려울 수 있는데, 왜냐하면 수학식8은 무한 개수의 솔루션을 가질 수 있기 때문이다. 이 문제 풀이를 더 잘 한정되도록 만들기 위해, 본 발명자는 정규의 맵이 이 영역 내에서 연속적이고 유연(smooth)하다는 제약을 가한다. 그러므로, 잘 한정된 함수는 수학식9에 따라 특징화될 수 있으며, 이 수학식은 다음과 같다:

수학식9에서 함수의 첫 번째 항(첫 번째 적분)은 수학식8을 만족시키려 시도하는 반면에, 두 번째 항(두 번째 적분)은 유연한 제한을 가하기 위한 통제 화(regularization) 항이다. 수학식9의 함수를 최소화함으로써, 근사의 정규 맵(N(x))은 수학식10에 따라 특징화될 수 있으며, 이 수학식은 다음과 같다:

수학식6의 함수와 유사한 함수는 광 흐름 추정과 같은 다른 산업계에서 상황을 결정하기 위해 이용되고 있다. 이 솔루션은 일반적으로 기울기 하강에 의해 또는 오일러-라그랑지 미분 방정식을 풀기 위해 함수 최소화를 변환함으로써 발견될 수 있으며, 이후 이 방정식은 알려진 수치 방법에 의해 풀린다. 일단 정규 맵이 복구되면, 이 영역 내의 기하학적 형태는 초기 조건으로서 영역 경계를 갖는 2차 미분방정식을 푸는 것에 의해 복구될 수 있다. 정규 맵으로부터 3D 표면을 계산하는 접근 방식은 표준 컴퓨터 비전 텍스트북에서 발견될 수 있다.

본 발명에 따른 이미지 형성 이론 및 3D 정보 이용 이미지 형성을 이용한 컬러 보정이 이제 기술될 것이다. 본 발명은 사용자(예를 들면, 컬러리스트(colorist))로 하여금 적어도 광 컬러, 표면 컬러 및 반사율 특성, 광 위치 및 표면 기하학적 형태를 수정함으로써 이미지의 "외관(look)"을 변경하는 것을 가능하게 한다. 덧붙여, 다른 변경이 이용될 수 있다. 예를 들면, 이들 인자의 임의 조합이 수정되어 원하는 "외관"을 생성할 수 있다. 이러한 변경은 바람직하게는 위에 기술된 바와 같이 도 5의 방법의 단계(504 및 508)에서 구현된다. 이 변경은 따라 서 동작자에 의해 제공된 명령어에 기초하여 3D 화상으로 렌더링될 수 있다. 예를 들면, 스테레오쌍의 경우에서, 보정은 2개 채널 사이의 3D 기하학적 정보 및 기하학적 대응에 기초하여 좌측 및 우측 채널에서의 이미지에 대하여 자동적으로 렌더링될 것이다.

본 발명의 일실시예에서, 입사광의 컬러만을 수정하는 것이 바람직한 것으로 가정하자. 이후, 광의 컬러는 스케일링될 필요가 있다. 특별하게는, 입사광 복사 휘도에 인자(S(λ))를 곱하는 것은 입사광의 컬러 성분의 구성을 변경시킨다. 이는 컬러 온도, 휘도 등을 변경하기 위해 사용될 수 있다. 이후, 장면의 반사된 광은 수학식11에 따라 특징화될 수 있는데, 이 수학식은 다음과 같다:

수학식11은 광 컬러를 스케일링하는 것이 최종 관찰된 컬러를 스케일링하는과 같음을 예시한다. 그러므로, 광 컬러의 수정은 전통적인 컬러 보정 프로세스에 등가인것으로 고려될 수 있다.

장면 표면이 람베르트 표면인 것으로 가정되고 물질 방출이 무시되는 표면 반사율을 수정하는 가장 단순한 케이스를 고려하면, 이 표면 반사율은 수학식12에 따라 특징화될 수 있으며, 이 수학식은 다음과 같다:

위에 기술된 수정과 같이, S(λ)를 가지고 확산 알베도

의 스케일링은 최종 관찰된 값의 스케일링과 등가이다.

방출 및 거울 반사 특성 둘 다가 무시할 수 없을 정도인 더 많은 일반적인 경우에 대하여, 3D 기하학적 형태 및 광 정보가 렌더링을 위해 요구된다. 외부 소스로부터(즉, 광 캡처 디바이스 및/또는 3D 스캐너로부터) 3D 기하학적 형태 및 광 소스 정보에 대하여 기술된 프로세스를 이용함으로써, 사용자는 방출 성분(

)을 변경시키고, 확산 알베도(

), 거울 반사 알베도(

) 및 거울 반사힘(n)을 변경시킬 수 있다. 이후, 선택된 영역은 위에 기술된 수학식2 및 수학식3을 이용하여 재렌더링될 수 있다. 이러한 재렌더링은 현재의 광선 추적 알고리즘을 이용하여 구현될 수 있다.

광 위치 및 방향만을 수정하기 위한 실시예에서, 사용자는 만일 광이 지향성이라면 광의 위치 및 방향을 변경할 수 있다. 또한, 사용자는 이 장면에 추가적인 광 소스를 더할 수 있다. 만일 표면의 3D 기하학적 형태가 이용가능하다면, 재렌더링이 위에 기술된 수학식2 및 수학식3을 이용하여 단순히 달성될 수 있다. 광 위치 를 수정함으로써, 일부 특수 효과가 달성될 수 있는데, 이는 예를 들면 표면의 거울 반사성(specularity)을 변경하는 것이다.

장면 기하학적 형태만을 수정하기 위한 실시예에서, 사용자는 선택된 영역의 기하학적 형태를 변경할 수 있다. 표면의 기하학적 형태를 변경하는 것은 B-Spline 유사 편집 도구에 의해 구현될 수 있으며, 이들 툴은 일부 현재의 소프트웨어 패키지로 구현될 수 있다. 일단 이 기하학적 형태가 수정된다면, 수학식2 및 수학식3은 광선 추적 알고리즘을 이용하여 선택된 표면을 재렌더링하기 위해 사용될 수 있다.

위에 기술된 단일 인자 보정 방법에 더하여, 위에 기술된 방법이 결합되어 본 발명에 따른 이미지의 개체 외관(object look)의 상이한 측면을 변경할 수 있다. 예를 들면, 이미지 형성 이론에서 기술된 바와 같이, 이미지의 기하학적 형태(예를 들면, 표면 반사율) 및 광 둘 다를 수정하는 경우에서, 장면 렌더링이 수학식13에 따라 기술될 수 있으며, 이는 다음식과 같다:

여기서,

는 조명 이미지를 묘사하고,

에 유사한 거울 반사의 조명 이미지는 수학식14에 따라 특징화될 수 있으며, 이는 다음식과 같다:

조명 이미지 및 거울 반사 조명 이미지 둘 다는 3D 환경의 광 및 기하학적 정보를 인코딩한다. 조명 이미지를 이용함으로써, 광 및 기하학적 획득 프로세스는 기하학적 형태 및 광 정보를 추정하는 대신에 조명 이미지 그 자신만을 편집함으로써 회피될 수 있다. 조명 이미지 및 거울 반사 조명 이미지가 매트 페인팅(matte painting)에 의해 획득될 수 있거나 이용가능한 3D 기하학적 형태를 이용하여 별도의 렌더링 프로세스를 통하여 렌더링될 수 있다. 일단 이것이 완료되면, 수학식13이 사용되어 조명 이미지를 선택된 영역으로 병합할 수 있다.

본 발명의 원리의 실시예에 따른 컬러 보정 방법은 조명, 표면 반사율, 및 3D 기하학적 형태를 수정하여 장면의 3D 기하학적 형태 정보로부터 생성된 조명, 표면 반사율, 및 3D 기하학적 형태 모델을 수정함으로써 장면 내에 원하는 효과를 제공할 수 있다. 본 발명의 다양한 실시예에 따라, 컬러 보정 연산이 사용자가 채널 중 하나만에서 작업하는 때라도 2D 이미지의 2개의 동기 채널에 대하여 렌더링된다. 이는 장면 및 카메라 위치의 3D 기하학적 형태를 앎으로써 자동적으로 이루어질 수 있다(단계(520)).

본 발명의 방법의 실시예는 전체 장면(또는 3D 화상) 또는 이의 일부에 적용될 수 있다. 예를 들면, 특정 객체가 이미지의 나머지와 무관하게 수정되는 3D 화 상과 그 표면 반사율 및 기하학적 형태로부터 단편화되고 추적될 수 있다(이러한 프로세스는 3D 기하학적 형태 모델을 이용하여 촉진됨).

도 6은 본 발명의 실시예에 따른 장면의 3차원 정보를 이용하여 이미지를 컬러 보정하는 방법의 흐름도를 묘사한다. 도 6의 방법은 단계(602)에서 시작하며, 이 단계에서 수신된 이미지에서 렌더링될 장면 내의 객체의 특징에 관한 정보가 이 장면 내의 객체에 대한 반사율, 광 소스 정보 및 기하학적 정보 중 적어도 하나를 포함하는 3차원 특성에 관한 외부 소스 정보를 취합함으로써 컬러 보정에 대하여 제공된다. 위에 기술된 바와 같이, 이러한 정보는 외부 센서 또는 사용자 입력을 이용하여 취합될 수 있다. 본 발명의 실시예에 따라, 반사율, 광 소스 정보 및 기하학적 정보 중 적어도 하나가 스테레오 카메라 또는 이중 이미지 캡처 디바이스 또는 다른 3D 이미지 캡처 디바이스로부터 취합된 정보의 좌측 및 우측 채널을 이용하여 획득된다. 이후, 이 방법은 단계(608)로 진행한다.

대안적으로는, 도 6의 방법(600)은 단계(604)에서 시작할 수 있으며, 이 단계에서 광 소스 위치 및/또는 객체 기하학적 형태는 수신된 이미지로부터 추론될 수 있다. 예를 들면, 도 6에 묘사된 바와 같이, 광 소스 위치 및/또는 객체 기하학적 형태의 추론은 단계(605)와 단계(606)를 포함할 수 있으며, 단계(605)에서 일정한 특성(들)(예를 들면, 알베도, 반사율 등)을 갖는 영역이 이 영역 내의 광 소스 위치 및/또는 객체 기하학적 형태가 더 쉽게 결정될 수 있도록 선택되며, 단계(606)에서 함수(예를 들면 수학식9)이 결정되어 객체 기하학적 형태에 대한 표면을 한정/제약한다. 이후 이 방법은 단계(608)로 진행한다.

객체 기하학적 형태 및 이 기하학적 형태 정보 중 적어도 하나를 이용하는 단계(608)에서, 선택된 영영 내의 픽셀값은 일실시예에서, 2개 채널의 이미지 스트림 사이에서의 차이를 검사함으로써 기하학적 형태 및 광 추정에 대하여 계산된다. 본 발명의 대안적인 실시예에서, 선택된 영역 내의 픽셀값은 광 소스를 변경하고/하거나 선택된 영역의 기하학적 형태를 변경함으로써 기하학적 형태 및 광 추정에 대하여 계산된다.

단계(610)에서, 이 영역에 대한 추정된 픽셀값이 원래의 이미지에서의 픽셀값과 비교되어 매치가 존재하는 지를 결정한다. 만일 매치가 존재한다면, 이 방법은 단계(612)로 진행한다. 만일 매치가 존재하지 않으면, 이 방법은 단계(614)로 점프한다.

단계(612)에서, 표면의 컬러, 기하학적 형태, 광의 컬러 및 방향 등이 원하는 "외관"이 달성될 때까지 수정된다. 이후, 이 방법은 다음 이미지로 진행하고, 만일 다음 이미지가 존재하지 않으면, 이 방법이 끝나고 결과적인 3D 이미지가 예를 들면 도 1의 기준 디스플레이(120) 상에 디스플레이될 수 있다.

단계(614)에서, 추가 편집 또는 한정이 더 근접한 매치를 달성하기 위해 광 소스의 값을 한정하고/하거나 이미지의 일부의 기하학적 형태의 값을 한정함으로써 실행된다. 이 광 소스 및 기하학적 형태는 3 차원 환경에 대하여 광 및 기하학적 정보를 가지고 인코딩된 조명 이미지 및 거울 반사 이미지를 이용하여 한정될 수 있다. 이후, 이 방법은 단계(610)로 복귀한다.

선택적 단계(미도시)에서, 단계(612) 및 적어도 2개의 이미지 스트림의 선택 된 제 1 스트림의 수정 이후, 선택된 제 1 이미지 스트림에 적용된 변경이 제 2 이미지 스트림에 적용될 수 있다(만일 적용가능하다면).

본 발명의 방법은 다른 이미지 또는 동일한 이미지의 다른 영역에 대하여 반복될 수 있다. 다시 단계(612)를 참조하면, 표면의 컬러, 기하학적 형태 및 광의 컬러, 방향은 원하는 "외관"이 달성될 때까지 변경된다. 원하는 "외관"은 특정 컬러의 보정 단계, 기하학적 형태의 결함의 고정 단계, 또는 그 밖에 객관적 또는 주관적 표준에 따른 원하는 시각적 효과의 달성 단계를 포함할 수 있다. 이 보정은 2개 채널 사이의 3D 장면 기학적 형태 및 기하학적 형태 대응에 기초하여 출력 3D 이미지(즉, 스테레오쌍)에 매핑된다. 이는 이 쌍의 하나 이미지로부터 다른 하나의 이미지로 변경을 자동적으로 또는 사용자에 의한 어플리케이션에 의해 전달하는 단계를 포함한다.

3D 이미지의 컬러 보정을 위한 방법 및 시스템에 대하여 선호적인 실시예를 기술하고 있지만(이는 예시적인 것으로 의도되고 제한하고자 의도된 것이 아님), 수정 및 변형이 위 가르침에 비추어 당업자에 의해 이루어질 수 있음이 주목된다. 그러므로, 변경이 첨부된 청구항에 의해 개괄된 바와 같이 본 발명의 범위 및 기술 사상내에 있는 공개된 본 발명의 특정 실시예에서 만들어질 수 있음을 이해해야 한다. 따라서, 특허법에 의해 요구되는 세부사항 및 상세한 내용을 가지고 본 발명을 기술하였을지라도, 특허권에 의해 보호받고자 하는 특허청구범위는 첨부된 청구항에 기술된다.

본 발명은 일반적으로는 컬러 보정 시스템 및 방법에 이용가능하며, 더 상세하게는, 이미지 정보 이론이 사용되어 동화상 또는 비디오 장면과 같은 이미지 콘텐츠에서의 3 차원 이미지의 컬러 보정을 향상 및 가능하게 하는 시스템 및 방법에 이용가능하다.

이 방법은, 3차원 이미지의 선택된 이미지 스트림의 적어도 일부에 대한 적어도 하나의 3차원 특성을 결정하는 단계와, 적어도 하나의 결정된 3차원 특성의 값을 변경함으로써 선택된 이미지 스트림의 적어도 일부분의 외관을 수정하는 단계를 포함한다.

Claims

동일한 장면에 대해 캡처된 적어도 2개의 별도 이미지 스트림을 포함하는 3차원 이미지를 컬러 보정하는 방법으로서,

상기 3차원 이미지의 선택된 이미지 스트림의 적어도 일부에 대한 적어도 하나의 3차원 특성을 결정하는 단계; 및

적어도 하나의 결정된 3차원 특성의 값을 변경함으로써 상기 선택된 이미지 스트림의 적어도 상기 일부의 외관을 수정하는 단계

를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 적어도 하나의 3차원 특성은 광 특성, 표면 컬러, 반사율 특성, 및 상기 3차원 이미지의 적어도 하나의 일부의 장면 기하학적 형태 중 적어도 하나를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 적어도 하나의 3차원 특성을 결정하기 위해 상기 선택된 이미지 스트림 내에서의 일영역을 선택하는 단계를 추가로 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 3 항에 있어서,

상기 이미지 스트림 내에서의 일영역을 선택하는 단계는 반사 방향에 따른 복사 휘도(radiance)가 알려지고 이미지 캡처 디바이스의 위치가 알려진 일정한 알베도의 영역을 선택하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 결정하는 단계는,

상기 2개의 캡처된 이미지 사이의 차이에 기초하여 깊이값을 계산하는 단계;

상기 계산된 값을 이용하여 상기 선택된 이미지 스트림의 적어도 일부를 렌더링하는 단계; 및

매치가 그 사이에 존재하는 지를 결정하기 위해 상기 선택된 이미지 스트림의 상기 렌더링된 일부분과 상기 원래 이미지 스트림의 대응하는 일부분을 비교하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 적어도 하나의 3차원 특성은 사용자 입력으로부터 결정되는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 결정하는 단계는 상기 선택된 이미지 스트림의 상기 적어도 일부 내의 표면에 기초하여 광 소스 위치와 객체의 기하학적 형태 중 적어도 하나를 추론하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 7 항에 있어서,

상기 추론하는 단계는 이미지 형성 이론을 사용하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 적어도 하나의 3차원 특성이 적어도 하나의 센싱 디바이스를 이용하여 결정되는, 3차원 이미지를 컬러 보정하는 방법.
제 9 항에 있어서,

상기 적어도 하나의 센싱 디바이스는 이미지 캡처 동안 상기 3 차원 이미지의 캡처 환경 내에 위치되는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

상기 선택된 이미지 스트림의 적어도 상기 일부분의 모습(look)이 이미지 형성 이론을 이용하여 수정되고, 상기 선택된 이미지 스트림의 상기 적어도 하나의 일부분에 대한 표면 영역을 한정하기 위한 함수를 결정하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

적어도 2개의 이미지 스트림은 적어도 2개의 이미지 캡처 디바이스를 이용하여 캡처되는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

적어도 2개의 이미지 스트림은 스테레오 카메라를 이용하여 캡처되는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

적어도 2개의 이미지 스트림으로부터 3차원 모델을 생성하기 위해 컴퓨터 비전 기술을 구현하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

적어도 하나의 결정된 3차원 특성의 변경된 값이 선택된 이미지 스트림의 렌더링에 적용되어 선택된 이미지 스트림의 외관을 수정하는, 3차원 이미지를 컬러 보정하는 방법.
제 1 항에 있어서,

적어도 2개의 이미지 스트림 중 다른 하나에 대한 선택된 이미지 스트림에 대하여 결정된 보정을 렌더링하는 단계를 포함하는, 3차원 이미지를 컬러 보정하는 방법.
동일한 이미지에 대하여 갭처된 적어도 2개의 별도 이미지 스트림을 포함하는 3차원 이미지를 컬러 보정하는 시스템으로서,

컬러 보정에 대해 이미지를 디스플레이하도록 구성된 기준 디스플레이 디바이스; 및

상기 기준 디스플레이와 통신하는 컬러 보정 디바이스로서,

수신된 3차원 이미지의 선택된 이미지 스트림의 적어도 일부에 대한 적어도 하나의 3차원 특성을 결정하고,

적어도 하나의 결정된 3차원 특성의 값을 변경함으로써 상기 선택된 이미지 스트림의 적어도 상기 일부분의 외관을 수정하도록 구성되는, 컬러 보정 디바이스

를 포함하는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

적어도 하나의 3차원 특성을 결정하기 위한 적어도 하나의 센싱 디바이스를 포함하는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

사용자 입력을 가능하게 하기 위한 유저 인터페이스를 포함하는, 3차원 이미지를 컬러 보정하는 시스템.
제 19 항에 있어서,

상기 유저 인터페이스는 무선 원격 제어, 마우스 또는 트랙볼과 같은 포인팅 디바이스, 음성 인식 시스템, 터치 스크린, 온 스크린 메뉴, 버튼, 및 노브(knob) 중 적어도 하나를 포함하는, 3차원 이미지를 컬러 보정하는 시스템.
제 19 항에 있어서,

상기 적어도 하나의 3차원 특성은 상기 유저 인터페이스를 이용하여 상기 컬러 보정 디바이스와 통신하는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

상기 적어도 2개이 이미지 스트림을 캡처하는 적어도 2개의 이미지 캡처 디바이스를 포함하는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

상기 적어도 2개의 이미지 스트림을 캡처하는 스테레오 카메라를 포함하는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

상기 컬러 보정 디바이스는 적어도 2개의 이미지 스트림 사이의 차이를 이용하여 객체의 3차원 모델을 구성하는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

광 소스 특성과 기하학적 형태 특성의 조합은 3차원 환경을 위한 광 및 기하학적 형태의 정보를 이용하여 인코딩된 조명 이미지 및 반사 이미지를 이용하여 정해지는, 3차원 이미지를 컬러 보정하는 시스템.
제 17 항에 있어서,

상기 컬러 보정 디바이스는 적어도 2개의 이미지 스트림 중 다른 하나에 대해 선택된 이미지 스트림을 위해 결정된 보정을 렌더링하는, 3차원 이미지를 컬러 보정하는 시스템.