KR20020005005A

KR20020005005A - 별개의 광 측정 회로없이 자동으로 고체 카메라의 최종노출 설정값을 결정하는 장치 및 방법

Info

Publication number: KR20020005005A
Application number: KR1020017013367A
Authority: KR
Inventors: 벨신디아에스.; 토마스젤스키에드워드피.; 한센아미이.; 라지칸난
Original assignee: 피터 엔. 데트킨; 인텔 코오퍼레이션
Priority date: 1999-04-20
Filing date: 2000-04-13
Publication date: 2002-01-16
Anticipated expiration: 2020-04-13
Also published as: US20030122939A1; EP1171997A1; WO2000064147A1; US6486915B2; US20080260373A1; US7817206B2; US20100315531A1; US20120013762A1; US7403222B2; US8031262B2; MY123493A; AU4349300A; DE60028749T2; US9232149B2; JP4657457B2; US20140160313A1; DE60028749D1; KR100437880B1; US20020071049A1; JP2002542730A

Abstract

본 발명은 a) 카메라 영상화기를 구비한 고체 카메라에 대하여 미리 정해진 복수 개의 노출 설정값들 중에서 하나를 현재 노출 설정값으로 선택하는 단계, b) 상기 현재 노출 설정값을 이용하여 상기 카메라 영상화기로 포착된 촬영 장면을 생성하는 단계, c) 노출 부족 또는 노출 과다인 상기 포착된 촬영 장면에 응답하여 자동 탐색법으로 상기 노출 설정값들 중에서 다른 하나를 상기 현재 설정값으로 선택하는 단계, 그리고 d) 상기 포착된 촬영 장면이 노출 부족이거나 노출 과다가 되지 않을 때까지, 상기 b) 단계와 c) 단계를 반복하는 단계를 포함하고, 상기 탐색법은 상기 포착된 촬영 장면이 심한 노출 부족이거나 심한 노출 과다일 경우엔 거친 세분 탐색법(coarse granularity search)을 실행하고, 그렇지 않을 경우엔 미세 세분 탐색법(fine granularity search)을 실행하는 최종 노출 설정값 생성 방법에 관한 것이다.

Description

별개의 광 측정 회로없이 자동으로 고체 카메라의 최종 노출 설정값을 결정하는 장치 및 방법 {DETERMINING A FINAL EXPOSURE SETTING AUTOMATICALLY FOR A SOLID STATE CAMERA WITHOUT A SEPARATE LIGHT METERING CIRCUIT}

종래의 필름 카메라(film camera)와 같은 고체 카메라는 어떤 장면(scene)의 색상과 밝기의 전체 범위를 충실하게 복제하는 사진 촬영 능력에 한계가 있다. 이러한 것은 자연적인 장면에는 다양하고 넓은 범위가 존재하기 때문이다. 즉 그 장면의 일부 영역은 매우 밝은 반면에 다른 일부 영역은 매우 어둡기 때문이다. 이에 따라 종래의 고체 카메라, 특히 디지털 카메라와 비디오 카메라와 같은 소비자 제품(consumer products)은 카메라 영상화기(imager)의 감도(sensitivity)를 제어하는 조정 가능한 많은 노출 변수를 구비하고 있다. 일반적으로 촬영 장면의 광량에 따라서 이 카메라 노출 변수를 조정한 후 촬영한 사진이 최상의 사진이 된다. 예를 들면, 촬영 장면이 상대적으로 밝은 경우, 노출, 예를 들면 카메라 영상화기가 입사광을 "감지"하는 시간을 적절히 감소하여 촬영 장면의 밝기편차(variation)를 좀더 잘 잡을 수 있도록 한다. 종래의 고체 카메라에서, 별개의 광 측정 센서 및 그와 연관된 회로는 신속하게 촬영 장면의 휘도를 판독한 후 노출 변수를 조절하여 사진을 촬영할 수 있도록 한다. 그러나 카메라를 제작할 때 광 측정 회로와 카메라 영상화기 모두는 반드시 기준 광원에 맞추어 교정하여야 한다. 그렇지 않으면 이 기술은 적절한 노출 변수를 산출할 수 없다.

별개의 광 측정 회로를 이용하지 않고 적정 노출을 정하는 제한적인 종래 기술이 있다. 이 기술에서, 카메라는 소정의 노출 설정값(exposure setting)에서 포착된(captured) 촬영 장면에 대한 히스토그램(histogram)을 제공하는 수단을 구비하고 있다. 이 히스토그램은 선택된 노출 설정값에서 영상화기에 의해 얻어지는 화소값의 분포를 보여준다. 그러면 사용자(person)는 노출 설정값을 수동으로 변경하고, 그런 다음 새로운 노출 설정값을 이용하여 얻은 촬영 장면에 대한 다른 히스토그램을 시각적으로 평가할 수 있다. 이와 같은 방식으로, 최적의 화소 분포를 구할 때까지 반복적으로 노출 설정값을 조정하고, 구해진 적정 노출 설정값을 이용하여 사진을 촬영한다. 그러나 이러한 기술을 상업용 고체 카메라에 적용할 때, 바로 찍을 수 있는 자동 카메라의 이점을 좋아하는 일반적인 소비자에게는 너무 느리므로 불편함이 발생한다.

본 발명은 일반적으로 고체 카메라(solid state camera)에 관한 것으로, 더욱 상세하게는 이 고체 카메라의 노출 변수(exposure parameter)를 결정하는 기술에 관한 것이다.

도 1은 본 발명의 실시예에 따른 영상 장치의 블록도를 도시한다.

도 2는 본 발명의 실시예에 따른 적정 노출 설정값을 정하기 위한 순서도를도시한다.

도 3은 소정의 노출 설정값에 대한 테이블을 도시하고, 적정 노출 설정값을 정하기 위하여 상기 테이블을 이용한 2진 분할 탐색법(binary chop search)의 적용한 예를 도시한다.

도 4는 중심에서 벗어난(centered out) 포착된 촬영 장면의 화소 값에 대한 히스토그램을 도시한다.

도 5는 중심에 위치한(centered in) 히스토그램을 도시한다.

도 6은 최적이라고 생각되는 히스토그램을 도시한다.

도 7은 식별되는 노이즈와 신호의 상대적인 양으로 화소 "버킷(bucket)"을 도시한다.

도 8은 고체 카메라의 노이즈와 노출 변수 사이의 관계를 정하기 위한 예시적인 노출 변수 집합을 도시한다.

도 9는 상이한 적분 시간 동안 측정된 노이즈 값과 상기 값에 가장 적합한 직선을 도시한다.

본 발명의 실시예에 따르면, 카메라 영상화기와 분리된 광 측정 회로를 이용하지 않고, 상기 카메라 영상화기를 구비한 고체 카메라의 노출 변수에 대한 최종 설정값을 자동으로 생성하는 방법을 기재하고 있다. 초기 노출 설정값에서 노출변수에 대한 최종 설정값에 도달하도록 반복적이고 자동적인 탐색법을 이용하고, 시행 노출 설정값(trial exposure setting) 각각에서 촬영 장면의 포착 샘플(sample capture)을 평가한다.

특정 실시예에서, 최종 노출 설정값을 생성하는 방법은 고체 카메라에 대한 현재 노출 설정값으로서 많은 설정된 노출 설정값들 중에서 하나를 선택하는 단계를 포함한다. 그런 다음 현재 노출 설정값을 이용하여 카메라 영상화기로 촬영 장면을 포착한다. 노출이 부족하거나 노출이 과다인 포착된 촬영 장면에 응답하여, 자동 탐색법으로 다른 하나의 노출 설정값이 현재 설정값으로 선택된다. 후자의 두 단계는 포착된 촬영 장면이 노출 부족이나 노출 과다로 되지 않을 때까지 반복된다. 탐색법은 포착된 촬영 장면이 심한 노출 과다이거나 심한 노출 부족일 때는 거친 세분 탐색법(coarse granularity search)을 실행하고, 그렇지 않으면 미세 세분 탐색법(fine granularity search)을 실행한다.

본 발명의 다른 특징과 효과는 첨부한 도면과 다음에 기술한 상세한 설명에 의해서 자명해질 것이다.

다음의 도면은 본 발명을 예를 들어 설명하기 위한 것이지 본 발명을 한정하고자 하는 것은 아니며, 도면에서 동일하 부분에는 동일한 도면 부호를 부여하였다.

본 발명의 실시예는 고체 카메라를 이용하여 각각의 사진을 촬영하기 전에 적정 노출 설정값을 자동으로 정하는 방법에 관한 것이다. 이 방법은 사용자가 카메라 셔터 버튼을 적어도 반 정도 눌러 초기화하였을 때 적정 노출 설정값을 정하는 데 이용된다. 다층 자동 탐색법(multi-tiered automated search methodology)을 이용하여 미리 정해진 많은 노출 변수들 중에서 최종 설정값을 선택한다. 이들변수는 어떤 특정 카메라를 위한 특수한 것이 아니라 일반적인 것일 수도 있고, 특정 카메라용으로 맞춰진 것일 수도 있다. 해당 분야의 당업자는 종래의 노출 계산법을 이용하여 노출 변수 각각을 정할 수 있다. 본 실시예에서, 각 선택된 노출 설정값을 이용한 촬영 장면의 포착 샘플에 대한 통계 해석(statistical analysis)에 기초하여, 이들 선택된 노출 설정값의 유효성을 평가하기 위한 여러 가지 테스트를 제시한다. 카메라에 전원이 인가될 때마다 정해진 노이즈와 노출 변수 간의 관계에 기초하여, 다양한 노출 설정값에 대한 예상 노이즈 레벨을 계산하는 기술을 제시한다. 이 예상 노이즈 레벨을 이용하면 신속하고 정확하게 적정 노출을 정할 수 있다.

이들 실시예에서, 본 발명은 카메라 영상화기와 별개의 광 측정 회로를 없앴으므로 카메라의 제조 비용을 줄이는 추가적인 효과가 있다. 또한 최종 사진을 포착하고 적정 노출을 정하는 카메라 영상화기를 이용하면 카메라를 제작할 때 광 측정 회로와 카메라 영상화기를 특정하기 위하여 일반적으로 필요한 교정 단계(calibration step)가 없어진다. 이것은 부분적으로 노출 설정값을 정하는 데 이용되는 포착된 샘플 촬영 장면이 최종 사진에 해당하는 동일한 영상 데이터의 경로를 통하여 얻어지기 때문이다. 그래서 최종 사진의 신호 레벨은 포착된 샘플 촬영 장면의 신호 레벨과 동일하므로, 적정 노출 설정값을 정할 때 적절히 고려된다. 본 발명의 소정 실시예에 대한 추가적인 장점은 대기 온도 상태에 대하여 최적화 되도록 최종 피사체의 S/N비(signal to noise ratio)를 인에이블하여, 전체 카메라의 성능을 실현한다.

도 1은 본 발명에 대한 하나 이상의 실시예에 따른 영상 장치(100)를 보여준다. 영상 장치(100)(imaging apparatus)는 통상적인 조리개, 필터, 그리고 카메라와 영상화기(108)(imager)로 입사광을 안내하는 렌즈 시스템을 구비한 광학부(104)를 포함한다. 영상화기(108)는 일반적으로 센서 어레이(sensor array)로서 정렬되고 광학부(104)의 초점면(focal plane)에 위치한 많은 포토 셀(112)을 갖고 있다. 각 포토 셀(112)은 일반적으로 아날로그 형태의 화소 밝기 값(pixel intensity value)을 출력한다. 그런 다음 이들 화소 값은 아날로그 처리부(116)로 입력되어 아날로그 처리된 후 아날로그-디지털(A/D) 변환기(120)로 입력된다. 그런 다음 아날로그 화소 값은 A/D 변환기(120)에 의해 디지털화되고 디지털 처리부(124)에서 디지털 처리된 후, 비디오 데이터 스트림(video data stream)이나 정지 영상(still image)으로서 공급되어 전자 영상 파일 포맷(electronic image file format)으로 기억된다. 물론, 영상화기(108)를 이루는 이러한 장치는 상이한 여러 가지 방식으로 구현될 수 있다. 예를 들면 포토 셀(112)과 아날로그 처리부(116)는 동일한 집적 회로 다이의 일부분일 수 있다. 다이를 제작하는 공정 중에 가능하다면, A/D 변환기(120)와 디지털 처리부(124) 또한 동일한 다이 내에 집적할 수 있다. 이것은 영상화기(108) 전체가 상보형 금속 산화물 반도체(complementary metal oxide semiconductor, CMOS) 제조 공정을 이용하여 제작될 경우 특히 바람직하다. 이와 달리, 디지털 처리부(124)는 예를 들면, 전하 결합 소자(charge coupled device, CCD) 기술에 기초한 포토 셀(112)과는 별개로 구현될 수 있다. 일반적으로, 본 실시예에서 설명하는 노출 제어 기술은 영상화기(108)와 관련된 넓은 범위의 기술을이용하여 구현될 수 있다.

영상화기(108)와 광학부(104)는 자동 노출 제어부(128)의 제어를 받는다. 이 자동 노출 제어부(128)는 포착된 하나 이상의 샘플 촬영 장면에 대한 디지털화된 화소 값을 평가하고, 그 응답으로 해당 노출 설정값을 정한다. 각 노출 설정값은 많은 노출 변수로 정해진다. 이들 변수는 광학부(104)의 조리개 크기(aperture size), 포토 셀(112)에 인가된 하나 이상의 적분 시간, 이득 값[일반적으로 아날로그 처리부(116)에 제공되는 아날로그 이득 값], 촬영 장면을 좀더 밝게 하는 데 이용되는 스트로브(strobe)(132)에 인가되는 플래시 신호를 포함한다. 해당 분야의 당업자가 인정하는 것처럼, 노출 설정값은 이러한 하나 이상의 변수와 최상의 화질을 갖는 사진을 공급하기 위하여 제어될 필요가 있는 부가적인 변수의 조합일 수 있다.

적분 시간은 포토 셀(112)이 입사 광을 검출할 수 있는 시간의 양을 규정한다. 포토 셀에 이용되는 특정 기술에 따라서, 적분 시간은 상이한 여러 방식으로 구현될 수 있다. 예로서, CMOS 능동 화소 센서(active pixel sensor)의 일부분으로 구현된 포토 셀(112)에서, 적분 시간은 포토 다이오드가 절연되어 포토 다이오드의 전압이 입사 광에 응답하여 감소할 때 그리고 포토 다이오드 전압이 외부 회로에 의해 판독되는 시점 사이의 간격이다.

이득 변수는 A/D 변환부(120)에 의해 디지털화되기 전에 화소 값에 인가되는 아날로그 전압 및/또는 전류 이득을 설정한다. 아날로그 이득에 더하여 또는 아날로그 이득 대신에, 디지털 처리부(124)에 의해 인가된 디지털 이득은 이득 변수로제어될 수 있다.

조리개 변수(aperture parameter)는 광학부(104)로 입사하는 입사 광의 양을 제어한다. 원하는 범위의 F-스톱(F-stops)을 얻기 위하여 넓은 범위의 상이한 자동 조리개 메커니즘들을 이용할 수 있다. 이와 달리, 소정의 소비자용 저가 카메라에서처럼 조리개는 고정될 수 있다.

아날로그 처리부(116)는 A/D 변환부(120)가 요구한 적절한 입력값으로 아날로그 화소값을 변환할 때 필요한 소정의 이득 및 필터링 회로뿐만 아니라 상관 이중 샘플링 회로(correlated double sampling circuitry)를 포함할 수 있다. A/D 변환부(120)의 출력 범위는 일반적으로 고정되어 예를 들면, 8 비트 변환부일 때 0 내지 255이며, 전체 범위의 아날로그 화소 값이 이 범위 내의 디지털화된 화소 값으로 매핑된다. 디지털 처리부(124)를 이용하여 자동 노출 제어부(128)가 받아들 수 있는 형식으로 디지털화된 화소 값을 포맷팅할 수 있다. 일반적으로, 본 발명의 노출 제어 기술, 특히 예상 노이즈 값을 계산하는 기술은 암 전류 노이즈 감소 알고리즘(dark current noise reduction algorithm)이나 소정의 영상 처리 알고리즘이 아직 적용되지 않은 원래의 화소 값(raw pixel value)에 적용된다. 그러나 휘도나 다른 컬러 필터 어레이 보간 포맷(luminance or other color filter array interpolated format)으로 변환된 화소 데이터도 또한 이용할 수 있다.

자동 노출 제어부(128)는 반도체 메모리 따위의 기례롤 판독 가능한 매체 상의 프로세서 명령, 실행 속도가 좀더 빠른 전용 고정 배선 로직(dedicated hardwired logic), 또는 이들 두 개의 조합으로서 구현될 수 있다. 본 발명의 특정 실시예에서, 영상화기와 광학부는 디지털 카메라 등의 전자 카메라를 이루는 반면에, 노출 제어부(128)는 개인용 컴퓨터 등 독립형 카메라가 아닌 별개의 데이터 처리 장치 내에 장착된 소프트웨어로 구현될 수 있다. 이와는 달리, 노출 제어부(128)는 전자 카메라 내에 집적될 수 있다.

노출 제어부(128)에 의해 실행되는 특정 방법이 도 2의 순서도에 도시되어 있다. 도 2는 도 3과 함께, 적정 노출을 정하는 방법을 제공하는 본 발명의 실시예를 도시한다. 도 3은 테이블 기반 거친 세분 탐색법과 미세 세분 탐색법을 도시한다. 이 실시예에서, 룩업 테이블(lookup table)은 노출 설정값 각각에 대하여 미리 정해진 많은 노출 변수를 포함하고 있으며, 여기에서 노출 설정값은 소정의 휘도 레벨(illumination level)에 대응할 수 있다. 이 실시예에서, 미리 정해진 50개의 노출 설정값이 존재하고, 이들 노출 설정값은 도시한 것처럼 노출이 줄어드는 순서로 배열되어 있다. 각 노출 설정값은 색인값(index value), 이득 값(gain value), 적분 시간, 조리개 크기를 포함할 수 있다. 카메라에 전원이 인가되면 도 2의 단계 (301)에서 동작이 시작한다. 단계 (302)에서, 포착된 원래 화소 값에 포함된 노이즈는 적분 시간(T_int)과 영상 데이터 경로의 이득에 대한 함수로서 특정된다. 이 노이즈를 정하기 위한 기술에 대하여 다음에 설명한다. 지금은 각 포착된 영상(capture)이 노출 부족이나 노출 과다인지를 분석하기 전에, 다음 포착 영상에 대한 기대값과 노출 목표 값을 설정하기 위하여 이 노이즈를 이용한다는 것을 인식하면 충분하다.

단계 (303)에서, 원하는 촬영 장면을 촬영하고자 사용자가 카메라를 조준하고 셔터 버튼을 누르기 시작하면, 동작은 카메라 시스템 확정 위치(camera system-defined position) 및 크기를 갖는 화소의 샘플 창(sample window)을 정하는 단계 (304)로 이어진다. 초기에 이 샘플 창은 촬영 장면 전체를 둘러 쌀 수 있다(encompass). 그런 다음 동작은 기본 노출 설정값/휘도 레벨과 연관된 노출 변수로 촬영 장면의 초기 포착이 이루어지는 단계 (308)로 넘어간다. 그런 다음 이 포착된 샘플 창에서 얻어진 영상을 히스토그램으로 나타낸다. 그 후, 동작은 단계 (312), 단계 (320), 단계 (336) 중 어느 한 단계로 이어진다. 예를 들면, 동작은 히스토그램 데이터가 "중심에서 벗어남(centered out)"인지를 판정하는 단계 (312)로 넘어간다. 중심에서 벗어난 것을 의미하는 예를 도 4에 도시한다. 도 4에서, 화소 값은 전체 영역에 걸쳐 분포되어 있지만, 최소치[노이즈 플로어(noise floor)]나 최대치(2^N, 여기서 N은 A/D 변환부의 출력에 의해 공급된 비트 수이다)에서 "클립핑(clipping)"되어 있다. 클립핑 동작은 샘플 창의 전체 화소 수 중 예를 들면 5%가 최대값 또는 최소값을 가질 때 이루어진다. 샘플 창이 이미 허락된 최소 크기에 도달해도 단계 (312)는 실패(fail)할 것이다.

단계 (312)의 판정 결과가 "예"이면, 영상화기의 동적 영역이 전체 촬영 장면의 동적 영역을 포착하기에는 너무 작다는 것을 의미한다. 그래서 현재 샘플 창은 이러한 특정 촬영 장면에 대한 적정 노출 설정값을 정하는 최상의 창이 아닐 수 있다. 이 경우에, 동작은 아마도 촬영 장면의 중심에 위치하는 주 피사체에 대한 최종 노출을 좀더 집중적으로 정할 수 있도록 샘플 창을 감소하는 단계 (316)으로넘어간다. 이러한 변경은 촬영 장면 중에서 예를 들면 하늘의 태양과 같이 사소하여 다소 덜 중요한 어떤 주변 요소(element)를 배제할 수 있는 이점이 있을 수 있다. 예를 들면, 좀더 작은 샘플 창을 만들고 포착된 촬영 장면에 걸쳐서 이 샘플 창을 중심에 위치시키는 것은 피사체를 촬영할 때 소비자는 관심 있는 피사체(subject)를 중앙에 위치시키는 경향이 있기 때문에, 대부분의 소비자 애플리케이션용으로는 일반적으로 적합하다. 창 크기가 미리 정해져 있는 최소 크기에 도달할 때까지 창 크기를 줄일 수 있다. 창을 변경한 후에, 동작은 새로운 창에 대한 히스토그램을 구하기 위한 단계 (308)로 되돌아가고, 단계 (312)의 동작이 반복된다.

단계 (312)가 "예"가 아닐 경우, 다음 동작은 도 5에 도시한 것처럼 히스토그램 데이터가 "중심에 위치함(centered in)"인지를 판정하는 단계 (320)으로 넘어간다. "중심에 위치함"이란 A/D 변환부 전체 영역의 중요 부분에 걸쳐 화소들이 분포되어 있고 극치(extreme)에서 클리핑도 보여지지 않으며, 만약 있더라도 심한 클리핑이 나타나지 않는 히스토그램을 개략적으로(loosely) 기술한다. 히스토그램이 중심에 위치하지 않으면, 다음 노출 설정값이 거친 세분 탐색법으로 유효 테이블 탐색법(efficient table search strategy)에 기초하여 선택된다(도 3 참조). 예를 들면, 매우 유효한 거친 세분 탐색법으로서는 2진 분할법(binary chop)이 알려져 있다. 이 경우에, 동작은 현재 노출 설정값이 노출 부족인 포착된 영상, 즉 너무 어두운 영상을 발생시켰는지를 판정하기 위하여 포착된 촬영 장면에서 발생된 데이터, 이 특정 실시예에서는 바로 샘플 창에서 발생된 데이터를 평가하는 단계(324)로 넘어간다. 노출이 부족한 촬영 장면은 히스토그램이 거의 보여지지 않고, 만약 있을 경우 중간 톤이거나 밝은 톤을 나타낸다는 것을 의미한다. 이러한 것은, 예를 들면 히스토그램의 최대 값이 히스토그램의 목표 평균값(aim mean value)보다 작을 경우 발생한다. 그럴 경우, 다음의 노출은 좀더 증가한다, 즉 적분 시간이 좀더 길어지고, 이득 및/또는 조리개 크기가 증가한다. 노출이 부족할 경우, 동작은 좀더 큰 노출 설정값을 선택하기 위한 탐색 알고리즘이 적용되는 단계 (328)로 넘어간다.

단계 (324)로 되돌아가면, 히스토그램의 최소값이 목표 평균값보다 작을 때와 같이, 포착된 화소가 거의 없고 만약 있다면 중간 톤이나 어두운 톤을 가질 경우, 영상은 노출이 과다인 상태로 된다. 본 발명의 특정 실시예에서, 이 목표 평균값은 디지털화된 최대 신호 영역의 18%이다, 즉 노이즈 값 ＋ (2^N- 1 - 노이즈 값) * 0.18이다. 이것은 촬영 장면이 포착될 때와 동일한 밝기 하에서, 촬영 장면에 대한 적정 노출 설정값이 동일한 (equvalent) 18% 회색판(灰色板, gray card)을 적절히 노출하는 데 필요한 설정값과 동일하다는 가정에 기초한다. 노출이 과다일 경우, 동작은 테이블 404A처럼 현재 색인 영역(상단 및 하단 사이)에 대한 2진 분할법을 수행하고, 테이블 404B에 도시한 것처럼(도 3에 도시함) 이 현재 색인 영역을 재설정하는 단계 (332)로 넘어간다.

판정 단계 (320)으로 되돌아가, 히스토그램 데이터가 중심에 위치할 경우, 현재 노출 설정값은 심하게 노출이 과다이거나 심하게 노출이 부족한 포착된 영상을 초래한다. 또한 "중심에서 벗어남"을 판정하기 위한 단계 (312)는 히스토그램의 바깥 경계에서 어떤 클리핑도 문제되지 않거나 최상의 시스템 성능으로 어드레싱되어 있다는 것을 의미한다. 결과적으로 다음 노출 설정값의 탐색법은 단계 (336)의 동작을 시작함으로써 거친 세분 탐색법에서 미세 세분 탐색법으로 변경된다.

단계 (336)에서, 히스토그램은 또한 히스토그램 평균값이 목표 평균값의 허용 가능한 허용 오차(tolerance)내에 존재하는지를 판정하기 위하여 테스팅된다. 단계 (336)의 테스팅 결과가 "예"일 경우, 최적 노출 설정값이 탐색되어, 이 노출 설정값을 이용하여 최종 사진을 촬영할 수 있다. 그러나 단계 (336)의 결과가 "아니오"일 때, 동작은 현재 히스토그램의 평균값과 이전에 포착된 영상의 히스토그램에 대한 평균값을 목표 평균값과 비교하는 단계 (340)으로 넘어간다. 목표 평균값이 현재 포착된 영상의 평균값과 이전에 포착된 영상의 평균 값 사이에 존재할 경우(straddle), 동작은 목표 평균값에 가장 근접한 히스토그램의 평균값을 발생시키는 노출 설정값을 최적 설정값으로 선택하는 단계 (344)로 넘어간다. 목표 평균값의 스트래딩(straddling)은 포착된 촬영 장면, 특히 샘플 창이 과도하게 높은 콘트라스트(contrast)를 갖고 있을 경우에 발생한다. 18%의 목표 평균값 근처의 허용 오차는 노출 허용 오차 대역을 결정하기 위하여 에러 버짓 해석(error budget analysis)을 수행하는 당업자에 의하여 선택될 수 있다. 금속 산화물 반도체(metal oxide semiconductor, MOS) 제조 공정을 이용하여 내장한 영상화기와 디지털화된 8비트의 화소 값을 갖고, 1/4의 노출값(EV) 에러보다 작은 것을 목표로하며, 54개의 A/D 유닛들에 대한 블랙 레벨(노이즈 플로어)이 주어진 디지털 카메라를 위하여, 90개의 유닛에 대한 목표 평균값은 +/-6개의 A/D 유닛들에 대한 허용 오차로 선택될 수 있다.

단계 (340)에서 이루어진 스트래딩 테스트의 결과가 "아니오"일 경우, 현재 노출 설정값을 이용하는 히스토그램 평균값은 히스토그램의 목표 평균값과 비교된다. 히스토그램 평균값이 목표 평균값보다 클 경우, 즉 노출 과다일 경우, 노출 설정값의 색인값은 추정된 휘도 레벨과 이것에 대응하는 노출 설정값에 인접한 다음(좀더 큰) 설정값으로 증가된다. 히스토그램 평균값이 목표 평균값보다 적을 경우, 즉 노출이 부족할 경우, 노출 설정값의 색인값은 추정된 휘도 레벨과 이것에 대응하는 노출 설정값에 인접한 다음(좀더 작은) 설정값으로 감소된다(도 3의 테이블 404C 참조). 그런 다음, 동작은 촬영 장면의 다른 포착된 영상이 새로운 노출 설정값을 이용하여 이루어지는 단계 (308)로 되돌아간다.

도 3은 최적 노출을 결정하기 위하여 노출 설정값 목록에 거친 세분 탐색법과 미세 세분 탐색법을 이용하는 것을 도시한다. 본 실시예에서, 각 노출 설정값에 대한 많은 노출 변수를 포함하는 룩업 테이블을 생성한다. 이 예에서는 미리 설정되어 있고 도시한 것처럼 노출이 감소하도록 정렬된 50개의 노출 설정값이 존재한다. 각 설정값은 이득 값, 적분 시간, 조리개 크기로 정해질 수 있다. 플래시를 이용하는 것과 같은 다른 노출 속성도 또한 포함할 수 있다. 색인 위치 10에서 현재 노출 설정값을 선택함에 따라 동작이 시작된다. 그런 다음 카메라는 룩업 테이블에서 색인 위치 10과 연관된 이득, 적분 시간, 조리개 크기를 취득한다. 이현재 노출 설정값을 이용하여 촬영 장면이 포착되고 평가된다. 테이블의 상단 및 하단 사이의 중간점으로 초기 노출 설정값을 설정하기보다는, 테이블의 위쪽 절반에 대한 적분 시간이 테이블의 아래쪽 절반에 대한 적분 시간보다 길기 때문에, 상단에 약간 더 가깝게 초기 설정값을 선택한다. 그러므로 초기 노출 설정값을 이용하여 테이블 상단 근처에서 완료되는 탐색은 어느 가능한 휘도 레벨에 대하여 좀더 균일한 시간 동안 이루어질 것이다.

그래서 노출이 과다인 촬영 장면을 발생시키는 색인 위치 10의 현재 설정값으로 2진 분할법이 수행되어, 현재 설정값과 테이블 하단 사이의 중간점인 색인 위치 30에서 다음 설정값을 선택한다. 그런 다음 색인 위치 30에서 구한 새로운 현재 설정값으로 촬영 장면을 다시 포착한다. 현재 테이블 404B에서 노출 설정값 영역에 대한 상단의 경계는 색인 위치 10이라는 것을 주목해라. 색인 위치 30에 해당하는 현재 노출 설정값이 노출이 부족한 촬영 장면을 발생시킬 경우, 2진 분할법은 색인 위치 10과 색인 위치 30 사이의 중간점, 즉 색인 위치 20을 선택할 것이다. 테이블 404C에서, 현재 설정값은 색인 위치 20에 해당하는 값이다. 현재, 색인 위치 20에 해당하는 현재 설정값이, 자신의 히스토그램으로 결정되는 것처럼 중심에 위치하는 그런 특성을 갖는 촬영 장면을 포착한다고 가정하자. 이것은 포착된 촬영 장면이 단지 약간 노출이 과다이거나 노출이 부족하다는 것을 의미하므로, 인접한 다음 노출 설정값으로 증가하는 증가 단계를 위하여 2진 분할법 알고리즘을 포기한다. 그래서 히스토그램 데이터가 현재 포착된 촬영 장면을 여전히 노출이 부족한 상태로 나타낼 경우, 테이블 404D의 포인터로 도시한 것처럼 노출 설정값에대한 색인 위치를 20에서 19로 감소시킨다. 색인 위치 19에 해당하는 현재 설정값을 이용하여 포착된 촬영 장면이 여전히 노출이 부족한 생태일 경우, 다시 한번 설정값에 대한 색인 위치를 18로 감소한다. 최종적으로, 색인 위치 18에 해당하는 현재 설정값을 이용하여 얻어진 포착된 촬영 장면의 히스토그램 평균값이 목표 평균값 근처의 허용 오차 내에 존재할 경우, 테이블 404E에 도시한 것처럼 적정 노출 설정값을 찾는다.

발명자들은 포착된 촬영 장면의 현재 영상이 상대적으로 낮은(mild) 레벨에서 노출이 부족하거나 노출이 과다로 될 때, 미리 정해진 많은 노출 설정값들 중에서 최종 노출 설정값을 탐색하는 동안에, 거친 세분 탐색법에서 미세 세분 탐색법으로 절환하는 것이 유용하다는 것을 발견했다. 그렇지 않고, 다른 노출 설정값을 선택하기 위하여 계속 거친 세분 탐색법을 이용하면 최종 설정값으로 수렴하지 않을 수 있다. 상이한 노출 레벨로 인해 각 포착된 영상의 평균 화소값이 시프트되기 때문에, 2진 분할법과 같은 거친 세분 탐색법은 실패한다. 촬영 장면의 동적 영역이 카메라가 포착할 수 있는 영역을 초과할 경우, 화소는 최대 A/D 경계 및 최소 A/D 경계에서 클리핑(clipping)된다. 노출이 변하면 입사 광량도 변하기 때문에, 하나의 A/D의 극치에서 클리핑된 소정 화소는 더 이상 클리핑되지 않는다. 이것은 2진 분할 기술의 입력 변수인 히스토그램의 평균값에 차례로 영향을 미친다. 이 입력 변수가 상이한 노출로 인하여 부정확하고 예측 불가능한 방식으로 변하기 때문에, 2진 분할법은 소정의 촬영 장면에 대한 수렴을 실패한다.

이상 기술한 본 발명의 실시예는 탐색법이 거친 세분 탐색법에서 미세 세분탐색법으로 절환하고 또한 포착된 촬영 장면이 노출 과다이거나 노출 부족일 경우, 노출 설정값을 좀더 용이하게 정할 수 있게 히스토그램 평균값과 비교되는 목표 평균값의 개념을 이용한다. 본 발명의 특정 실시예에서, 목표 평균값은 각 노출 설정값의 함수로서 산출되는 "동적" 목표 평균값으로 대체된다. 본 명세서에서 정의된 것처럼 이 동적 목표 평균값은 현재의 노출 설정값에 기초하여, 각 포착된 촬영 장면에 대해 산출된 노이즈 종속 변수(noise-dependent variable)이다. 동적 목표 평균값을 정할 때 고려할 수 있는 가능한 노이즈 소스를 도 7에 도시한다. 도 7은 종래 디지털 카메라를 이용하여 포착한 상이한 형태의 노이즈에 대한 상대적인 양을 보여주는 화소 "버킷"을 나타낸다. 이들 노이즈 형태는 이미 언급한 노이즈 플로어에 기여하고, 노이즈 플로어에 대한 공식을 산출할 때 고려할 수 있다. 본 발명의 특정 실시예에서, 동적 목표 평균값은 다음과 같이 정의된다.

동적 목표 평균값 △ (18%)(2^N-1-동적 평균 노이즈) ＋ (동적 평균 노이즈)

여기서, 동적 평균 노이즈는 노이즈 플로어의 예상 평균값(다음에 보여지는 것처럼, 적분 시간과 이득의 함수)으로 정의된다. 본 명세서의 일 예에서, N = 8 비트이다.

본 발명자는 히스토그램 평균값이 소정의 각 노출 설정값에 대하여 산출된 동적 목표 평균값과 비교될 때 디지털 카메라를 이용하여 사진을 촬영하기 위한 최종 노출 설정값이 이미 기술한 자동 탐색법을 이용하여 상대적으로 신속하게 탐색된다고 판정했다. 동적 목표 평균값을 이용하는 본 발명의 다른 실시예에서, 상이한 노출 변수 변수의 함수로서 노이즈 변수를 정의하는 수리 관계를 결정했다. 이 산출 관계는 직선(y = ax ＋ b, 여기에서 y는 노이즈이고 x는 노출 변수임)이거나 필요할 경우 대안적으로 이 산출 관계를 좀더 정확하게 기술할 수 있는 좀더 큰 차수(order)로 표현될 수 있다. 도 8 및 도 9의 예에 도시한 것처럼, 이들 산출 관계는 측정된 테스트 데이터에 곡선이나 직선을 맞춰 정할 수 있다. 도 8은 현재 온도에서 카메라의 노이즈 레벨을 평가하기 위하여 닫혀진 상태의 셔터에 의하여 포착되는 노출 집합을 도시한다. 도 8에 도시한 일련의 노출 변수는 고정된 이득에서의 적분 시간 열과 고정된 적분 시간에서의 이득 열을 포함한다. 이 시간 열은 노이즈 대 적분 시간에 대한 일반적인 관계를 유도하기 위하여 이용된다. 이 관계는 도 9에 예시한 것처럼 직선으로 또는 필요에 따라 좀더 큰 차수의 회귀(regression)로서 이루어질 수 있다. 이 테스트 데이터는 최종 사진이 촬영될 때의 대기 온도에서 셔터가 닫혀짐에 따라 얻어지는 포착된 영상(어두운 프레임) 집합으로부터 수집될 수 있다. 이 닫혀진 셔터로 인해 포착된 영상은 도 2의 단계 (302)에 예시한 것처럼 카메라에 전원이 인가될 때 또는 일반적으로 사진을 촬영하기 위하여 이용자가 셔터 버튼을 누르기 전의 편리한 소정 시간에 얻을 수 있다. 노이즈 플로어와 다양한 노출 변수간의 이러한 미리 정의된 산술 관계를 이용함으로써, 새롭고 상이한 촬영 장면이 촬영될 때마다 어떤 어두운 프레임을 포착하고 처리할 필요가 없고, 그로 인해 최종 노출을 신속하게 정할 수 있다. 본 발명의 실시예에 대한 산술 관계는 노이즈 대 화소 적분 시간[N(Tint)], 디지털화하기 전 영상 데이터 경로의 노이즈 대 이득[N(G)]을 포함한다. 예를 들면, N(Tint) 라인이 직선 맞춤(linear fit), 즉 N(Tint) ＝ a₃* T ＋ b₁으로 기술되고, N(G) 라인이 N(G) = a₅* G ＋ b₂로 기술되면 동적 평균 노이즈는 다음과 같이 정의될 수 있다.

동적 평균 노이즈 ∝ a₃* T_int＋ a₅* 이득 ＋ b₅

여기서 b₅= b₁＋b₂이고 비례 상수는 생략했다. 각 시행 노출 설정값의 함수로서 노이즈 플로어, 동적 평균 노이즈 동적 목표 평균값을 정하기 위하여 이러한 미리 정해진 산술식을 이용함에 따라, 보다 정확하게 노출 설정값을 정할 수 있다. 또한 이러한 기술은 촬영 장면의 동적 영역이 이용 가능한 카메라의 동적 영역에 매핑될 수 있도록 한다.

요약하면, 별개의 광 측정 회로를 구비하지 않는 고체 카메라를 위하여 자동으로 최종 노출 설정값을 정하기 위한 방법으로서 본 발명의 다양한 실시예를 기술하였다. 이미 기술한 명세서에서, 본 발명은 본 발명의 특정 실시예를 참조하여 기술하였다. 그러나 첨부한 명세서에 기술한 것처럼 본 발명의 넓은 본질과 범위를 벗어나지 않고 다양한 변형과 변경이 이루어질 수 있다는 것은 자명하다. 예를 들면, 이미 기술한 노출 측정 기술은 비디오 카메라를 포함하는 넓은 범위의 고체 카메라에 적용될 수 있다. 또한 본 발명은 이미 기술한 중심에 위치한 것을 판정하는 테스트(centered in test)나 중심에서 벗어난 것을 판정하는 테스트(centered out test)에 한정되지 않는다. 본 명세서를 판독한 후 당업자는 심하게 노출이 과다이거나 노출이 부족인 상태에서 약간 노출이 과다로 되거나 노출이 부족인 상태로 일련의 포착된 영상을 변경시킬 시기를 결정하기 위한 대안적인 테스트를 개발할 수 있다. 따라서 명세서와 도면은 본 발명을 한정하기 위한 것이 아니라 예시하기 위한 것이다.

Claims

카메라 영상화기(imager)를 구비한 고체 카메라에서 상기 카메라 영상화기와 분리된 광 측정 회로를 이용하지 않고 최종 노출 변수 집합을 자동으로 생성하는 방법으로서,

반복 자동 탐색법을 이용하여 초기 노출 설정값에서 최종 노출 변수 집합에 도달하고 각 시행 노출 설정값(trial exposure setting)에서 촬영 장면의 포착 샘플(sample capture)을 평가하는 최종 노출 변수 집합 자동 생성 방법.
a) 카메라 영상화기를 구비한 고체 카메라에 대하여 미리 정해진 복수 개의 노출 설정값들 중에서 하나를 현재 노출 설정값으로 선택하는 단계,

b) 상기 현재 노출 설정값을 이용하여 상기 카메라 영상화기로 포착된 촬영 장면을 생성하는 단계,

c) 노출 부족 또는 노출 과다인 상기 포착된 촬영 장면에 응답하여 자동 탐색법으로 상기 노출 설정값들 중에서 다른 하나를 상기 현재 설정값으로 선택하는 단계, 그리고

d) 상기 포착된 촬영 장면이 노출 부족이거나 노출 과다가 되지 않을 때까지, 상기 b) 단계와 c) 단계를 반복하는 단계

를 포함하고,

상기 탐색법은 상기 포착된 촬영 장면이 심한 노출 부족이거나 심한 노출 과다일 경우엔 거친 세분 탐색법(coarse granularity search)을 실행하고, 그렇지 않을 경우엔 미세 세분 탐색법(fine granularity search)을 실행하는

최종 노출 설정값 생성 방법.
제2항에서,

상기 포착된 촬영 장면이 심한 노출 부족이나 노출 과다인 경우는,

(1) 상기 현재 노출 설정값을 이용하여 상기 포착된 촬영 장면 안에 적어도 하나의 노이즈 값을 갖는 화소가 거의 없을 경우나, (2) 상기 포착된 촬영 장면 안에 최대값을 갖는 화소가 많이 존재하는 경우인

최종 노출 설정값 생성 방법.
제2항에서,

상기 포착된 촬영 장면은 상기 포착된 촬영 장면의 일부분에 해당하는 히스토그램의 평균 화소값이 목표 평균값(aim mean value) 이상일 경우 노출 과다인 최종 노출 설정값 생성 방법.
제4항에서,

상기 목표 평균값은 상기 카메라 영상화기의 영상 데이터 경로(imaging data path)에 존재하는 노이즈를 의미하는 노이즈 값을 포함하는 최종 노출 설정값 생성 방법.
제5항에서,

상기 노이즈 값은 현재 노출 설정값을 정의하는 하나 이상의 노출 변수의 함수로서 계산되고,

상기 함수는 상이한 노출 설정값으로 상기 고체 카메라에 의해 포착된 복수 개의 어두운 프레임 부분들의 화소값을 분석하여 노이즈 변수(noise variable)와 하나 이상의 노출 변수 변수들 간의 수리 관계를 결정함으로써 정해지는 최종 노출 설정값 생성 방법.
제6항에서,

상기 함수는 카메라에 전원이 공급될 때 정해지고, 다음에 포착된 촬영 장면의 노이즈 값을 계산하는 데 이용되는 최종 노출 설정값 생성 방법.
제2항에서,

상기 복수 개의 노출 설정값은 단조 수열(monotonic sequence)로 배열되고,

상기 거친 세분 탐색법을 실행할 때의 탐색법은 복수 개의 노출 설정값에 대한 2진 분할법을 실행하는

최종 노출 설정값 생성 방법.
제8항에서,

상기 탐색법은 (1) 상기 현재 노출 설정값을 이용하여 상기 포착된 촬영 장면 안에 적어도 하나의 노이즈 값을 갖는 화소가 거의 없거나 (2) 상기 포착된 촬영 장면 안에 최대값을 갖는 화소가 많이 존재하는 경우에는 상기 2진 분할법을 실행하고, 그렇지 않으면 상기 노출 설정값들 중 다른 하나를 선택할 때 상기 현재 노출 설정값에서 인접한 설정값으로 넘어가는 단계를 수행하는 최종 노출 설정값 생성 방법.
제2항에서,

상기 노출 설정값 각각은 상기 카메라에 해당하는 노출 변수 집합으로 일부 정해지고, 상기 노출 변수는 상기 영상 데이터 경로에 적용되는 이득을 포함하는 최종 노출 설정값 생성 방법.
제10항에서,

상기 이득은 디지털화되기 전의 아날로그 화소 신호에 적용되는 최종 노출 설정값 생성 방법.
제2항에서,

상기 노출 설정값 각각은 상기 카메라에 대한 노출 변수 집합으로 일부 정해지고, 상기 노출 변수는 화소 적분 시간을 포함하는 최종 노출 설정값 생성 방법.
제2항에서,

상기 d) 단계에서 상기 포착된 촬영 장면의 평균 화소값이 평균 화소의 노이즈에 대한 기대값보다 작으며, 상기 기대값이 더해지는 A/D 변환기의 최대 디지털 출력값의 1%일 경우 노출 부족이거나 노출 과다는 아닌 최종 노출 설정값 생성 방법.
노출 설정값을 이용하여 포착된 촬영 장면을 정하는 화소값을 공급하는 카메라 영상화기, 그리고

상기 카메라 영상화기와 별개인 광 검출 회로를 이용하지 않고 최종 노출 설정값을 자동으로 생성하는 처리기

를 포함하는 전자 카메라.
제14항에서,

미리 정해진 복수 개의 노출 설정값으로부터 선택된 현재 노출 설정값에 대항,

a) 상기 카메라 영상화기는 상기 현재 설정값을 이용하여 포착된 촬영 장면을 정하는 화소값을 공급하고,

b) 상기 처리기는 노출 부족 또는 노출 과다인 상기 포착된 촬영 장면에 응답하여 자동 탐색법으로 복수개의 노출 설정값들 중에서 다른 하나를 현재 설정값으로 선택하고,

상기 현재 노출 설정값이 상기 포착된 촬영 장면을 정하는 화소값을 이용하여 결정된 적정값일 때까지 상기 a)와 b)를 반복하고,

상기 자동 탐색법은 상기 포착된 촬영 장면이 심한 노출 부족이거나 심한 노출 과다일 경우엔 거친 세분 탐색법을 실행하고, 그렇지 않을 경우엔 미세 세분 탐색법을 실행하는

전자 카메라.
제15항에서,

상기 처리기는 상기 포착된 촬영 장면이 심한 노출 부족이나 심한 노출 과다인 경우는,

(1) 상기 현재 노출 설정값을 이용하여 상기 포착된 촬영 장면 안에 실제 값(substantial value)을 갖는 화소가 거의 없을 경우나, (2) 상기 포착된 촬영 장면 안에 최대값을 갖는 화소가 많이 존재하는 경우에 거친 세분 탐색법으로 상기 노출 설정값들 중에서 다른 하나를 초기에 선택하고, 상기 포착된 촬영 장면이 상기 화소값을 이용하여 결정된 노출 부족이거나 노출 과다가 아닐 때까지 미세 세분 탐색법으로 상기 노출 설정값들 중에서 다른 하나를 선택하는

전자 카메라.
복수 개의 명령어를 갖고 있는 기계 판독 가능한 매체를 포함하며,

상기 명령어는 프로세서에 의해 실행될 때 전자 시스템으로 하여금,

a) 카메라 영상화기를 구비한 고체 카메라에 대하여 복수 개의 노출 설정값들 중에서 하나를 현재 노출 설정값으로 선택하고,

b) 상기 현재 노출 설정값을 이용하여 상기 카메라 영상화기로 획득한 포착 촬영 장면을 수신하고,

c) 노출 부족이거나 노출 과다인 상기 포착 촬영 장면에 응답하여 자동 탐색법으로 상기 노출 설정값들 중에서 다른 하나를 상기 현재 설정값으로 선택하며,

d) 상기 포착된 촬영 장면이 노출 부족이거나 노출 과다가 아닐 때까지, 상기 b) 및 c)를 반복하게 하며,

상기 탐색법은 상기 포착된 촬영 장면이 심한 노출 부족이거나 심한 노출 과다일 경우엔 거친 세분 탐색법을 실행하고, 그렇지 않을 경우엔 미세 세분 탐색법을 실행하는

제조 물품.
제17항에서,

상기 거친 세분 탐색법은 복수 개의 노출 설정값에 대한 2진 분할법을 포함하고, 상기 미세 세분 탐색법은 현재 노출 설정값으로부터 한 단계(step)를 포함하는 제조 물품.
제17항에서,

상기 포착된 촬영 장면이 심한 노출 부족이나 심한 노출 과다인 경우는,

(1) 상기 현재 노출 설정값을 이용하여 상기 포착된 촬영 장면 안에 적어도 하나의 노이즈 값을 갖는 화소가 거의 없을 경우나, (2) 상기 포착된 촬영 장면 안에 최대값을 갖는 화소가 많이 존재하는 경우인 제조 물품.