[go: up one dir, main page]

KR20120060202A - 2가지 동작 모드를 갖는 이미지 캡처 시스템 및 방법 - Google Patents

2가지 동작 모드를 갖는 이미지 캡처 시스템 및 방법 Download PDF

Info

Publication number
KR20120060202A
KR20120060202A KR1020127003526A KR20127003526A KR20120060202A KR 20120060202 A KR20120060202 A KR 20120060202A KR 1020127003526 A KR1020127003526 A KR 1020127003526A KR 20127003526 A KR20127003526 A KR 20127003526A KR 20120060202 A KR20120060202 A KR 20120060202A
Authority
KR
South Korea
Prior art keywords
image
mode
sharpness
focus
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020127003526A
Other languages
English (en)
Other versions
KR101770843B1 (ko
Inventor
기슬랭 드보
프레데릭 기샤르
에띠엔느 노에르
브뤼노 리에쥬
황-피 엔귀옌
레지스 떼씨에르
Original Assignee
디엑스오 랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디엑스오 랩스 filed Critical 디엑스오 랩스
Publication of KR20120060202A publication Critical patent/KR20120060202A/ko
Application granted granted Critical
Publication of KR101770843B1 publication Critical patent/KR101770843B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

본 발명은 장면의 적어도 하나의 이미지를 캡처하도록 의도된 이미지 캡처 시스템(1)에 관한 것으로, 이 시스템은 광학 시스템(2), 센서(3), 시스템의 포커스를 조절하기 위한 오토포커스 모듈(4), 및 디지털 프로세싱 수단(5)을 포함한다. 이 시스템은 장면의 적어도 하나의 초기 캡처된 이미지의 적어도 하나의 영역에서 선명도를 나타내는 적어도 하나의 값을 추정하도록 설계된다. 오토포커스 모듈은 미리 정의된 포커스로 초기 이미지를 캡처하도록 배치된다. 추정된 선명도를 나타내는 값에 적어도 기초하여, 상기 시스템은 제1 모드와 제2 모드 사이에서 동작 모드를 선택할 수 있고, 제1 모드에서, 오토포커스 모듈(4)은 장면의 더 선명한 이미지를 캡처하기 위해서 시스템의 포커스를 제어하는데 이용되고, 제2 모드에서, 초기 캡처된 이미지 또는 다른 캡처된 이미지는 디지털 프로세싱 수단(5)에 의해 처리되고, 다른 이미지는 전술한 미리 정의된 포커스로 캡처된다.

Description

2가지 동작 모드를 갖는 이미지 캡처 시스템 및 방법{IMAGE-CAPTURE SYSTEM AND METHOD WITH TWO OPERATING MODES}
본 발명은 사진 촬영 디바이스들(picture-taking devices), 카메라들, 카메라 폰들(사진을 찍을 수 있는 모바일 전화기들), 스캐너들, 팩스들, 내시경들(endoscopes), 감시 카메라들, 장난감들, 퍼스널 어시스턴트들(personal assistants), 컴퓨터들, 열 카메라들(heat cameras), 초음파 장치들(ultrasound apparatuses), MRI(magnetic resonance imaging) 장치들 및 X 레이 장치들 등에 포함되는 것들과 같은 (정지 또는 동영상의) 디지털 이미지 캡처 시스템들의 분야에 관한 것이다.
그것은 고전적으로 수신된 광의 양을 디지털 값들로 변환하는, 픽셀들로 알려진, 복수의 광 민감 요소들을 갖는 센서, 및 센서를 향해 광을 포커싱하는 광학 시스템을 포함한다.
센서는 예를 들어 CCD(Charged Coupled Device), CMOS(Complementary Metal Oxide Semiconductor), CID(Charge Induced Device), IRCCD(Infra-Red CCD), ICCD(Intensified CCD), EBCCD(Electron Bombarded CCD), MIS(Metal Insulator Semiconductor), APS(Active Pixel Sensor), QWIP(Quantum Well Infrared Photo detector), MQW(Multiple Quantum Well), 광 스펙트럼에 민감한 센서 및/또는 다른 전자기 스펙트럼 대역들 또는 다른 디바이스일 수 있다. 그것은 컬러 이미지를 획득하기 위해 베이어(Bayer) 필터와 연관될 수 있다. 이들 센서들 중 일부는 수백만 픽셀들을 카운트(count)할 수 있다는 것을 고려하면, 센서의 픽셀들을 카운트하기 위해 현재 이용되는 단위는 메가픽셀(Megapixel)이다.
더 정확히 말하면, 본 발명은 이들 이미지 캡처 시스템들에 의해 선명한(sharp) 이미지들을 획득하는 문제에 관한 것이다.
이미지 캡처 시스템들은 광학 시스템, 디지털 이미지 센서 및 오토포커스(autofocus) 모듈을 포함하는 것으로 알려져 있다.
광학 시스템은 특히 렌즈들, 거울들 및/또는 회절 요소들(diffractive elements)을 포함하는 하나 또는 몇 개의 요소들을 포함하는 광학 시스템을 가리킨다.
오토포커스 모듈은 선명한 이미지를 획득하기 위해서 시스템의 포커스를 조절하기 위한 자동 조절 기능을 포함한다.
포커싱 동작은 이미지 센서에서 광학 시스템을 나가는 광선을 수렴(converging)하는 것에 있다. 수렴(converge)이라는 용어는 이미지 센서에서 획득된 점상 강도 분포 함수(point spread function)의 사이즈를 최소화하는 것을 수반한다.
이 포커스는 일반적으로 오토포커스 모듈과 액세스가능한 상이한 구성들을 브라우징함으로써 그리고 예를 들어 이것이 컬러 이미지일 때 그린 컬러 성분에 대한, 이들 구성들 각각의 선명도(sharpness)를 측정함으로써, 연속적인 반복들에 의해 결정된다.
이 문서에서, "컬러 성분" 및 "컬러"라는 용어들은 동일한 개념에 대응한다는 것에 주목해야 한다.
그러나, 오토포커스 모듈의 이용은 2가지 주요 단점들을 제공한다: 최적 구성을 결정하는데 걸리는 시간이 길 수 있고(이 시간은 오토포커스 레이턴시라고 함), 특히 이동들(movements)을 생성하는데 소비되는 전기의 양이 높다.
도 5는 종래 기술로부터의 오토포커스 모듈을 갖는 이미지 캡처 시스템의 전기 소비를 보여준다: 포인트들 J1 및 K1 사이의 곡선 L1은 무한대의 포커스 거리에 배치된 물체와 근접한 물체 사이에 포커싱하는 시스템의 경우에 디포커스(defocus) 값들에 따른 전기 세기 값들을 나타낸다. 포인트 J1는 제로 디포커스(무한대의 거리에 있는 물체)에 대응하고, 포인트 K1은 최대 디포커스(근접한 물체)에 대응한다.
이 도면은 이용되는 오토포커스 모듈의 타입에 따라 변할 수 있는 디포커스에 요구되는 전기 소비의 레벨에 대한 예시 목적으로 제공된다.
또한, 이것은, 사용자가 프리뷰 모드로 카메라 폰을 이용할 때(즉, 더 높은 해상도에서 트루 이미지 캡처(true image capture)가 사용자에 의해 행해지기 전에, 이미지가 저해상도, 예를 들어 많아야 320 픽셀들 * 400 픽셀들에서만 캡처될 때(해상도는 이미지에 포함되는 픽셀들의 수를 가리킨다)) 대부분의 카메라 폰들에서 오토포커스 모듈이 활성화되지 않는 이유이다(그것은 무한대의 거리에 있는 물체에 대해 설정된다). 오토포커스 모드는 사용자가 사진을 찍을 때에만 활성화된다. 따라서, 후자는 이 경우에 찍힌 이미지가 선명할지 흐릿할지를 선험적으로(a priori) 알지 못한다.
따라서 에너지 소비 및 오토포커스 레이턴시를 최소화하면서 선명한 이미지들을 얻기 위한 해결책이 요구된다.
이를 위해 그리고 제1 양태에 따르면, 본 발명은 장면의 적어도 하나의 이미지를 캡처하도록 의도된 디지털 이미지 캡처 시스템을 제안하고, 상기 시스템은 광학 시스템, 센서, 시스템의 포커스를 조절하기 위한 오토포커스 모듈 및 디지털 프로세싱 수단을 포함한다.
이 시스템은 장면의 적어도 하나의 초기 캡처된 이미지의 적어도 하나의 영역에서의 선명도를 나타내는 값을 추정하도록 설계되고, 오토포커스 모듈은 미리 정의된 포커스로 초기 이미지를 캡처하도록 배치된다. 추정된 선명도를 나타내는 값에 적어도 기초하여, 시스템은 제1 모드와 제2 모드 사이에서 동작 모드를 선택할 수 있다. 제1 모드에서, 오토포커스 모듈은 장면의 더 선명한 이미지를 캡처하기 위해 시스템의 포커스를 제어하는데 이용되고, 제2 모드에서, 초기 캡처된 이미지 또는 다른 캡처된 이미지는 디지털 프로세싱 수단에 의해 처리되고, 다른 이미지는 미리 정의된 포커스로 캡처된다.
이러한 시스템은 적절한 경우 디지털 프로세싱 동작들을 이용함으로써 그리고 선명도를 향상시키는 것이 필수적인 경우들을 위해 오토포커스 모듈의 이용을 보류함으로써, 요구되는 레이턴시 및 에너지 소비를 줄이면서 이미지 캡처 시스템에 의해 제공되는 이미지들의 선명도를 향상시킨다.
포커스 조절은 일반적으로 광학 시스템 및/또는 센서를 이동시키기 위해, 또는 심지어 광학 시스템 내의 요소들을 이동시키기 위해 액추에이터(보이스 코일 기술(voice coil technology), 스테퍼 모터(stepper motor), 압전 디바이스, MEMS(Microelectromechanical Systems), USM(Ultra Sonic Motor) 또는 임의의 다른 수단)를 이용하여, 또는 센서가 캡처되는 장면의 이미지의 포커스의 면에 있도록, 광학 시스템을 구성하는 요소들의 모양들 및/또는 위치들을 수정하는 액체 렌즈들 또는 임의의 다른 전기, 기계 및/또는 자기 수단을 이용함으로써 수행된다.
액정 페이즈 변조기 디바이스(liquid crystal phase modulator device)(PDLC)의 이용은 포커스를 조절하기 위해 광학 시스템의 특성들을 수정하는 다른 예이다.
본 발명은 미리 정의된 포커스로 이미지를 캡처하도록 오토포커스 모듈을 배치하는 단계를 포함한다. 미리 정의된 포커스는 오토포커스 모듈이 활성화되지 않을 때 획득된 포커스 및 유리하게는 전기를 소비하지 않거나 가능한 한 적게 소비함으로써 포커스가 안정된 상태를 유지하는 임의의 위치로서 이해될 수 있다. 미리 정의된 포커스는 오토포커스 모듈의 위치가 움직이지 않거나 포커스를 조절한 후에 획득된 위치에 있을 때 획득될 수 있다.
미리 정의된 포커스는 유리하게는 최대 피사계 심도(depth of field)로 무한대의 거리에서 선명한 이미지들을 획득하기 위한 과초점 포커싱(hyperfocal focusing), 또는 예를 들어 제2 모드의 피사계 심도를 최대화하기 위해 결정되는 다른 포커스를 수반할 수 있다. 미리 정의된 포커스는 또한, 예를 들어 광학 시스템의 초점 거리를 개방하거나 변경하는, 사용자에 의해 행해진 조절 또는 자동화된 조절에 의존할 수 있다. 미리 정의된 포커스는 또한 시스템을 턴온(turn on)한 후에 획득되거나 시스템 동작 중에 특히 제1 모드를 구현한 후에 획득된 임의의 위치를 기술할 수 있다.
본 발명은 이미지 프로세싱 수단을 구현한다. 이미지 프로세싱 수단은 센서 및 광학 시스템 내로 통합될 수 있거나 전송 수단에 의해 이미지 캡처 시스템에 접속된 별개의 장치에 배치될 수 있다.
이미지 프로세싱 수단은 하나 또는 몇개의 이미지들을 수신하고 이들 이미지들에 대해 프로세싱 동작들을 수행하는 소프트웨어를 가리킨다.
이들 프로세싱 동작들은 특히,
- 보정된 이미지를 계산하는 것,
- 측정들을 수행하는 것,
- 몇개의 이미지들을 결합하는 것,
- 이미지들의 정확도를 향상시키는 것,
- 이미지들의 주관적인 품질(subjective quality)을 향상시키는 것,
- 장면에서 물체들 또는 사람들을 검출하는 것,
- 장면에 물체들 또는 사람들을 추가하는 것,
- 장면에서 물체들 또는 사람들을 대체 또는 수정하는 것,
- 장면에서 그림자들을 제거하는 것,
- 장면에 그림자들을 부가하는 것 및/또는
- 이미지 베이스에서 물체들을 재탐색하는 것
을 포함할 수 있다.
일 실시예에서, 다른 이미지는 예를 들어 초기 이미지 캡처에 후속하여 캡처된다.
일 실시예에서, 시스템은 이미지들의 시퀀스를 캡처하도록 의도되고, 또한 적어도 하나의 후속 이미지가 미리 정의된 포커스 또는 다른 포커스로 캡처될 때 그리고 후속 이미지로부터 추정된 선명도를 나타내는 적어도 하나의 값에 기초하여, 제1 모드와 제2 모드 사이에서 동작 모드를 선택할 수 있는 디바이스를 포함하고, 제2 모드에서, 후속 이미지 또는 캡처된 다른 이미지는 디지털 프로세싱 수단에 의해 처리되고, 다른 이미지는 후속 이미지와 동일한 포커스로 캡처된다.
일 실시예에서, 제2 동작 모드에서, 디지털 프로세싱 수단은 오토포커스 모듈을 구현하지 않고 초기 이미지, 후속 이미지 또는 캡처된 다른 이미지의 선명도를 향상시키도록 의도된 디지털 이미지 프로세싱 동작을 적용할 수 있다. 이러한 실시예에서, 제1 및 제2 동작 모드들은 장면의 더 선명한 이미지를 획득하도록 설계된다.
일 실시예에서, 이 다른 이미지는 예를 들어 초기 이미지 캡처에 후속하여 캡처된다.
본 발명에 따른 이미지 캡처 시스템의 일 실시예에서, 선명도를 나타내는 값은,
- 초기 이미지의 적어도 2개의 각각의 컬러 성분들의 선명도의 레벨들 사이의 관계; 및/또는
- 초기 이미지의 적어도 2개의 컬러 성분들의 선명도의 각각의 레벨들 사이의 비교에 따라 결정된다.
이들 조항들은 동작 모드가 초기 이미지에서만 수행되는 측정들에 따라 선택될 수 있게 한다.
일 실시예에서, 이미지 캡처 시스템은 또한, 제1 동작 모드를 선택한 후에,
- 초기 이미지에 따라 결정되는 적어도 2개의 각각의 컬러의 선명도의 레벨들 사이의 관계; 및/또는
- 초기 이미지의 적어도 하나의 영역에서 적어도 하나의 컬러에 대한 비점수차(astigmatism) 측정에 따라 포커스 조절을 선택할 수 있다.
따라서 이 조항은 오토포커스 기능에 의해 구현되는 요구되는 반복들의 수를 줄이고, 이에 따라 요구되는 레이턴시 및 에너지 소비를 줄인다.
일 실시예에서, 이미지 캡처 시스템은 또한, 제2 동작 모드를 선택한 후에, 디지털 프로세싱 수단에 의해 처리된 이미지의 적어도 하나의 영역에서, 더 선명한 컬러 성분 및 더 흐릿한 컬러 성분을 식별하고, 더 선명한 컬러에 대한 이미지의 픽셀 강도(pixel intensity)에 따라 더 흐릿한 컬러에 대해 처리된 이미지의 픽셀 강도를 수정할 수 있다.
따라서 이 조항은 디지털 프로세싱을 통해 처리되는 이미지의 선명도를 쉽게 향상시킨다.
제2 양태에 따르면, 본 발명은 광학 시스템, 센서, 시스템의 포커스를 조절하기 위한 오토포커스 모듈, 및 디지털 프로세싱 수단을 포함하는 시스템을 위해 의도된 이미지 캡처 방법에 관한 것으로, 이 방법은,
- 장면의 적어도 하나의 초기 캡처된 이미지의 적어도 하나의 영역에서 선명도를 나타내는 값을 추정하는 단계 - 상기 오토포커스 모듈은 초기 이미지를 미리 정의된 포커스로 캡처하도록 배치됨 - ; 및 추정된 선명도를 나타내는 값에 적어도 기초하여, 제1 모드와 제2 모드 사이에서 동작 모드를 선택하는 단계를 포함하고,
제1 모드에서, 오토포커스 모듈은 장면의 더 선명한 이미지를 캡처하기 위해서 시스템의 포커스를 제어하는데 이용되고;
제2 모드에서, 초기 캡처된 이미지는 디지털 프로세싱 수단에 의해 처리되고, 다른 이미지는 미리 정의된 포커스로 캡처된다.
제3 양태에 따르면, 본 발명은 장면의 적어도 하나의 이미지를 캡처하도록 의도된 이미지 캡처 시스템의 프로세싱 모듈 내에 설치될 컴퓨터 프로그램 및/또는 전자 컴포넌트에 관한 것으로, 이미지 캡처 시스템은 광학 시스템, 센서, 및 시스템의 포커스를 조절하기 위한 오토포커스 모듈을 포함하고, 프로그램은 명령어들을 포함하고 및/또는 컴포넌트는 프로세싱 모듈에 의한 컴포넌트의 활성화 및/또는 프로그램의 실행시에 본 발명의 제2 양태에 따른 방법의 단계들을 구현하기 위한 회로들을 포함한다.
본 발명의 다른 특징들 및 이점들은 다음의 설명을 읽은 후에 발견될 것이다. 이것은 순전히 예시적인 목적들을 위한 것이고, 첨부된 도면들을 이용하여 읽어야 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 캡처 시스템(1)을 도시한다.
도 2는 본 발명에 따른 방법의 단계들을 도시한다.
도 3은 상이한 컬러 성분들에 따른 그리고 물체와 카메라를 분리하는 거리에 따른 물체의 이미지의 선명도의 변형들을 예시한다.
도 4는 이미지 디포커스에 따른 이미지의 2개의 컬러 성분들 사이의 상대 선명도(relative sharpness)를 도시한다.
도 5는 디포커스에 따른 표준 오토포커스 모듈을 갖는, 종래 기술의 이미지 캡처 시스템의 전기 소비를 예시한다.
도 6은 디포커스에 따른 본 발명의 이미지 캡처 시스템의 전기 소비를 예시한다.
도 1은 본 발명의 일 실시예에 따른 이미지 캡처 시스템(1), 예를 들어, 카메라를 도시한다.
카메라(1)는 광학 시스템(2), 센서(3), 오토포커스 모듈(4) 및 프로세싱 유닛(5)을 포함한다.
오토포커스 모듈(4)은, 이 경우 예를 들어 모터를 이용하여 광학 시스템(2)과 센서(3) 사이의 거리를 변화시킴으로써, 장면의 이미지에 따라 자동으로 포커스를 조절할 수 있다(그러나 이전에 언급한 것들과 같은 다른 타입의 포커스도 본 발명에서 구현될 수 있다).
센서(3)는 광자들의 흐름을 전기 신호로 변환하기 위한 감응성 요소들(sensitive elements)을 구비한다. 고려되는 실시예에서, 감응성 요소들은 3개의 컬러에 감응한다. 따라서 캡처되는 디지털 이미지는 3개의 각각의 컬러 성분을 포함하는 컬러 이미지이다.
본 발명은 2 이상의 컬러로 구현될 수 있다는 것에 주목해야 한다.
본 실시예에서, 캡처된 이미지는 하나의 블루 컬러 성분 C1(실질적으로 400 내지 500 nm의 파장), 하나의 그린 컬러 성분 C2(실질적으로 500 내지 600 nm의 파장), 및 하나의 레드 컬러 성분 C3(실질적으로 600 내지 700 nm의 파장)을 포함하도록 고려된다.
다른 실시예들에서, 본 발명을 구현할 때 다른 성분들(예를 들어, 적외선, 자외선 등) 및/또는 2보다 많거나 같은 임의의 수의 성분들이 고려될 수 있다.
2개의 주요 포인트들이 생각되어야 한다.
- 첫째, 하나의 컬러 C1에 특정한 포커스 포인트 O1는 다른 컬러 C2의 포커스 포인트 O2와 상이하도록, 광학 시스템(2)의 포커스 포인트는 각각의 컬러에 특정하다. 따라서, 센서에서 제2 컬러에 의해 형성되는 이미지는 제1 컬러에 의해 형성되는 이미지보다 더 선명하거나 또는 더 흐릿하고, 이것은 센서에 의해 형성되는 전체 이미지의 선명도를 감소시킨다.
- 둘째, 주어진 파장에 대한 광학 시스템(2)의 포커스 포인트는 이미지에 나타난 장면이 배치되는 거리에 따라 변한다.
도 3은 광학 시스템(2)과 캡처되는 물체 사이의 거리 d에 따라 캡처되는 물체의 컬러 성분들 C1, C2 및 C3의 선명도의 변형들을 예시한다. 컬러 성분들 C1, C2 및 C3은 예를 들어 블루, 그린 및 레드 성분들에 각각 대응한다. 가로 좌표는 거리 d를 나타내고 세로 좌표는 점상 강도 분포 함수(point spread function)의 지름 T를 나타낸다.
거리들 d의 범위는 3 부분으로 세분된다: 블루 성분이 가장 선명한 부분이 "매크로(macro)" 부분(통상적으로 60cm보다 작음)이라고 하는 부분 PI이고, 그린 컬러 성분이 블루 성분 및 레드 성분보다 더 선명한 부분 PII는 "포트레이트(portrait)" 부분(통상적으로 60cm 내지 4m)이라고 하고, 레드 성분이 블루 성분 및 그린 성분보다 더 선명한 부분 PIII이 "랜드스케이프(landscape)" 부분(통상적으로 4m보다 큼)이라고 한다.
컬러들 사이의 포커스의 이러한 특정 순서는 오직 예시의 목적으로 제공된다는 것에 주목해야 한다. 본 발명은 컬러들 사이의 포커스의 임의의 순서에 대해, 특히 (예를 들어 회절성 물체를 이용하여 생성되는) 크로매틱 인버젼(chromatic inversion)을 갖는 시스템들에서 구현될 수 있다.
카메라(1)에 의해 캡처된 장면의 초기 컬러 이미지 I를 고려할 때, 오토포커스 모듈(4)은 무한대 이상의 거리에 있는 물체에 대해 설정된다(사실상, 오토포커스 모듈들은 종종 디포커스를 일으키는 열 차이들 및 배치 오류(positioning error)들에도 불구하고 무한대의 거리에서 선명도를 보장하기 위해 무한대를 넘는 거리들로 조절된다).
카메라(1)는 도 2를 참조하여 설명된, 다음의 단계들을 구현하도록 설계된다.
단계(101)에서, 프로세싱 유닛(5)은 이미지 I에서의 결정된 영역 Z에 대한 적어도 하나의 선명도 측정을 수행하고, 오토포커스 모듈(4)은 미리 정의된 포커스로 초기 이미지를 캡처하기 위해서 배치된다.
일 실시예에서, 이 측정을 위해, 광학 시스템은 원래 제2 모드(M2)에서 더 큰 피사계 심도로부터 이득을 얻기 위해서 하이퍼포커스(hyperfocus)로 설정된다.
일 실시예에서, 영역 Z는 전체 이미지 I로 이루어지고, 다른 실시예들에서, 영역 Z는 픽셀들의 선택된 그룹에 대응한다.
측정된 선명도 및 특히 측정된 선명도에 따라 정의된 선택 규칙 R에 따라, 프로세싱 유닛(5)은 모드 M1과 모드 M2 사이에서 동작 모드를 선택한다.
단계(101)에서 선택된 동작 모드가 모드 M1이면, 단계(102)에서, 오토포커스 모듈(4)은 선명도가 향상된 장면의 이미지를 획득하기 위해 활성화된다. 따라서 반복적인 포커스 조절 프로세스, 예를 들어, 최적 선명도(또는 적어도 결정된 최소 임계값보다 더 큰 선명도 레벨)에 대응하는, 광학 시스템(2)과 센서(3) 사이의 최적 거리가, 센서(3)로부터 광학 시스템(2)을 분리하는 거리의 각각의 수정을 위해, 센서(3)로부터 광학 시스템(2)을 분리하는 고려된 거리에 대해 캡처된 장면의 이미지의 선명도를 나타내는 각각의 측정값을 계산함으로써, 구현된다.
단계(101)에서 선택된 동작 모드가 모드 M2이면, 단계(103)에서, 예를 들어, 오토포커스 기능을 구현하지 않고, 선명도가 향상된 장면의 이미지를 획득하기 위해, 캡처된 장면의 초기 이미지에 대해(또는 잠재적으로 다른 이미지에 대해) 프로세싱 유닛(5)에 의해 디지털 프로세싱 동작들이 적용된다.
상이한 단계들의 내용이 더 상세하게 아래에 제공된다.
단계 101:
단계(101)에서 프로세싱 유닛(5)에 의해 수행되는 이미지 I의 영역 Z에서의 선명도 측정은 이미지에 대한 전체 측정일 수 있거나, 다른 한편으로, 개별적으로 고려되는 컬러 성분들에 따라 변할 수 있다.
단계(101)의 일 실시예에서, 전체 선명도 측정이 수행되고, 선택 규칙 R은 예를 들어, 측정된 선명도와 결정된 임계값 사이의 비교에 대응한다. 측정된 선명도가 결정된 임계값 아래에 있으면, 동작 모드 M1이 선택된다. 그렇지 않으면, 동작 모드 M2가 선택된다.
단계(101)의 다른 실시예에서, 프로세싱 유닛(5)은 컬러 성분에 대한 선명도 측정을 수행하고, 선명도 측정값을 결정된 임계값과 비교함으로써 모드들 M1과 M2 사이에서 동작 모드를 선택한다.
단계(101)의 다른 실시예에서, 프로세싱 유닛(5)은 몇개의 컬러 성분들에 대한 선명도 측정을 수행하고, 선명도 측정값들을 각각의 결정된 임계값들과 비교함으로써 모드들 M1과 M2 사이에서 동작 모드를 선택한다. 단계(101)의 다른 실시예에서, 프로세싱 유닛(5)은 2개의 상이한 방향들 각각에 따라 선명도 측정을 수행하고, 선명도 측정값들을 비교함으로써 모드들 M1과 M2 사이에서 동작 모드를 선택한다.
단계(101)의 다른 실시예에서, 프로세싱 유닛(5)은 적어도 2개의 컬러 성분 사이의 상대 선명도 측정을 수행한다. 예를 들어, 그것은 이미지 I에서 블루 성분과 그린 성분 사이에서 어느 컬러 성분이 가장 선명한지를 결정한다. 그 다음, 블루 성분이 2개의 블루 및 그린 성분들 중에서 가장 선명하다면, 프로세싱 유닛(5)은 동작 모드 M1를 선택한다. 그렇지 않으면, 동작 모드 M2가 선택된다.
단계(101)에 대한 이러한 전술한 실시예는, "매크로" PI 부분에 배치된 캡처된 장면에 대해 오토포커스 모듈(4)을 이용하는 것과, "포트레이트" PII 및 "랜드스케이프" PIII 부분들에 배치된 캡처된 장면들에 대해 오토포커스 모듈(4)을 구현하지 않고 고유 디지털 프로세싱 동작을 이용하는 것으로 재분류하고, 2개의 모드 M1과 M2 사이의 선택은 2개의 컬러 성분의 선명도의 레벨들 사이의 비교에 기초하여 간단하게 행해진다.
다른 실시예들에서, 예를 들어 "매크로" 및 "포트레이트" 부분들에 대해 모드 M1이 선택될 수 있고, "랜드스케이프" 부분에 대해 모드 M2가 선택될 수 있다.
일 실시예에서, 동작 모드 M1은 2개의 다음의 조건들 Cond1 및 Cond2가 충족될 때 선택된다.
Cond1: 장면이 매크로 영역에 배치된다(즉, 블루 성분이 그린 성분보다 더 선명하다);
Cond2: 블루 성분의 선명도가 또한 결정된 임계값 아래에 있다.
대안적으로, 조건 Cond2는 2개 이상의 컬러 성분들의 상대 선명도를 고려하고, 따라서 몇개의 컬러 성분들의 선명도의 레벨들 사이의 관계에 따라 변한다.
다른 실시예에서, 선택된 동작 모드는 예를 들어, 임계값과 상이한 컬러 성분들의 선명도의 레벨들의 함수, 예를 들어, 성분 C2의 선명도에 의해 나누어지는 성분들 C1 및 C3 사이의 선명도의 차이 사이에 행해지는 비교에 따라 변한다.
상대 선명도 측정은 컬러 성분에 대한 선명도 측정과 다른 컬러 성분에 대한 선명도 측정 사이의 몫(quotient) 또는 차이에 따라 변할 수 있다.
다른 것과 비교되는 하나의 컬러 성분의 상대 선명도 측정은 이미지에 대한 절대 선명도 측정과 관련하여 유리하며, 그 이유는 전자가 더 정확하고 관측되는 장면의 내용에 의존하지 않기 때문이다. 사실상, 절대 측정은 일부 경우들에서 어느 모드 M1 또는 M2가 선택되어야 하는지를 결정하기에 충분한 신뢰성이 있지 않다. 예를 들어, 절대 선명도 측정은 테스트 차트와 같은 높은 콘트라스트를 갖는 장면에 대해 완벽하게 동작할 수 있지만, 그것은 장면의 내용(content)이 고른(smooth) 경우 신뢰성이 있지 않을 것이다.
따라서, 광학 시스템의 이용은, 다른 것과 비교되는 컬러 성분의 상대 선명도 측정을 수행하고 관측되는 장면에 의존하지 않는 더 안정된 측정을 갖기 위해서 세로 색수차(longitudinal chromatic aberration)를 활용하여 유리하다(예를 들어, 렌즈).
다른 선택 규칙들이 예를 들어, 이하 제공되는 규칙들을 결합하거나 다른 규칙들을 구현하여 정의될 수 있다.
또한, 본 발명은 컬러 성분당 또는 전체적으로, 다양한 알려진 선명도 측정들을 적용한다. 선명도 측정은 스칼라 값 또는 벡터에 대응할 수 있다.
예를 들어, 컬러의 선명도는 Jerome BUZZI 및 Frederic GUICHARD에 의한 명칭 "Uniqueness of Blur Measure"인 "Proceedings of IEEE, International Conference of Image Processing, Singapore 2004"에 공개된 글에 설명된 바와 같이 블러 경험 측정(blur experience measurement)인 BXU라고 하는 값의 측정에 대응할 수 있다.
선명도는 점상 강도 분포 함수의 분산(variance)에 따라 또는 심지어 점상 강도 분포 함수의 푸리에 변환인, MTF(Modulation Transfer Function)를 이용하여 표시될 수 있다.
이러한 선명도를 측정하기 위한 다양한 측정 방법들이 예를 들어, "Handbook of Image & Video processing" edited by Al Bovik and published by Academic press, pages 415 to 430과 같은 공보들 및 매뉴얼들에 설명된다.
일 실시예에서, 컬러 성분의 선명도는 기울기(gradient)를 계산함으로써 획득된다.
예를 들어, 선명도 값은 픽셀들 P의 각각 또는 일부에 대해, 주어진 컬러 성분 C에 대해, P의 이웃에서 C의 변화 기울기에 대응하는, 픽셀 P에서의 측정 M을 수행함으로써 디지털 이미지의 영역 Z의 픽셀들에 대해 추정된다. 이것은 다음의 계산에 의해 획득된다.
주어진 컬러 C에 대해, 픽셀 P의 이웃을 나타내기 위해 V(P)가 고려된다.
이웃 V(P)의 기울기들의 중간 크기를 나타내는 GM이 언급되고, SM은 이웃 V(P)에서의 기울기들과 GM 사이의 차이들의 중간 크기를 나타낸다.
동일한 컬러의 2개의 픽셀 사이의 세기들의 차이의 크기에 의해 기울기가 계산된다. 이웃 V(P)에서의 기울기들은 이웃 V(P)에서의 미리 결정된 수의 픽셀 쌍들을 수반하는 기울기들에 대응한다.
컬러 C를 갖는 픽셀 P의 선명도를 나타내는 측정 M은 SM과 GM 사이의 관계에 의해 정의될 수 있다. 따라서 값 M(P, C)가 획득된다.
표준 오토포커스 모듈을 갖는 이미지 캡처 장치에서, 오토포커스 모듈은, 그들의 선명도 레벨을 비교하기 위해 적어도 2개의 이미지들의 취득을 수반하는, 이미지가 선명한지를 결정하기 위해 활성화되어야 하는 반면, 본 발명에 따른 이미지 캡처 장치는, 오토포커스 모듈의 활성화가 요구되든지 요구되지 않든지, 단일 이미지의 캡처에 의해, 정의한다.
단계 102:
일 실시예에서, 동작 모드 M1가 선택될 때, 프로세싱 유닛(5)은 포커스 조절 명령어, 예를 들어, 오토포커스 기능을 구현하기 위해 광학 시스템(2)과 센서(3) 사이에 적용될 거리를 계산하고, 이것을 오토포커스 모듈(4)에 제공한다. 이 포커스 조절 명령어는 예를 들어, 오토포커스 모듈을 이용하기 전에 수행되는 하나 또는 몇개의 선명도 측정들, 예를 들어, 단계(101)에서 수행되는 선명도 측정에 따라 계산된다.
예를 들어, 도 4에 예시된 바와 같이, 2개의 컬러 성분들 사이의 상대 선명도에 기초하여(이 경우, 컬러 C2의 선명도에 의해 나누어진 컬러 C1의 선명도와 컬러 C3의 선명도 사이의 차이 및 반대 차이(opposite difference)의 값 Δ을 나타내는 카메라(1)에 대해 그려진 그래프), 이미지 디포커스 값이 추론될 수 있고, 이 디포커스는 구현될 포커스 조절(이 경우, 센서(3)와 광학 시스템(2) 사이에 적용될 거리 변동)을 나타낸다.
이 조항은 오토포커스 모듈(4)에 의해 구현되는 반복 프로세스의 수렴을 가속화하고, 따라서 요구되는 레이턴시 및 에너지 소비를 줄인다.
다른 실시예에서, 비점수차의 의존도는 더욱 구체적으로 값 Δ이 더 이상 디포커스와 선형이 아닐 때 레이턴시를 더 줄이기 위해 포커스와 이용될 수 있다.
광학 시스템의 비점수차의 존재시, 점상 강도 분포 함수의 모양은 포커스에 의존한다. 점상 강도 분포 함수가 대칭적인 포커스 포인트의 어느 한 측에서, 한 방향은 다른 방향과 비교될 때 바람직할 것이고, 이것은 한 방향에서 선명한 이미지가 생기게 하고 수직 방향에서 흐릿한 이미지가 생기게 할 것이다. 따라서, 이미지의 선명도의 방향에 따르면, 이것은 디포커스에 접속될 수 있다. 완전히 정정되지 않은 비점수차를 갖는 대칭적 시스템의 경우(대다수의 광학 시스템들과 관련됨), 이것은 필드에 나타날 것이다. 광학 시스템을 위한 설계 단계 동안, 광학 시스템의 디포커스를 갖는 비점수차 측정 및/또는 그의 방향 사이에 상관표가 그려질 수 있다. 또한, 고레벨들의 오정렬된 광학 요소들을 포함하는 광학 시스템들의 경우, 광학 축(이미지의 중심) 상의 비점수차 측정 및/또는 그의 방향을 디포커스와 접속하는, 캘리브레이션 단계가 고려될 수 있다. 이것은, 시스템이 서로에 대하여 오정렬된 요소들로 이루어질 때, 비점수차가 이미지의 중심에 존재하기 때문에 가능하다.
또한, 광학 시스템 및 그에 따른 디포커스의 특성으로부터 유래하는 비점수차와 컬러 성분에 의존하지 않는, 장면으로부터 유래하는 비점수차 사이를 구별하는, 고려되는 컬러 성분에 따라 비점수차가 상이하기 때문에, 비점수차를 이용하는 이러한 디포커스 측정은 장면의 내용들에 비교적 민감하지 않다.
단계 103:
일 실시예에서, 동작 모드(M2)가 선택될 때, 프로세싱 유닛(5)은 초기 이미지 I에 대한 디지털 프로세싱 동작들을 구현하고 오토포커스 기능을 구현하지 않는다.
수행되는 디지털 프로세싱 동작들은 다를 수 있다: 예를 들어 모양 인식(shape recognition), 화이트 밸런스 조절(white balance adjustment), 색조 곡선 조절(tone curve adjustment), 디매트릭싱(dematrixing) 등.
일 실시예에서, 디지털 프로세싱 동작들은 이미지의 컬러들로부터 "선명한 컬러"라고 하는 적어도 하나의 컬러 성분을 선택함으로써 그리고 선명한 컬러 성분의 선명도를 적어도 하나의 다른 더 흐릿한 컬러 성분에 반영함으로써 적어도 하나의 컬러 성분의 선명도를 향상시키도록 적응되는, 문헌 PCT/FR2006/050197에 설명된 프로세싱 동작들에 대응한다.
따라서, 실시예에 대한 전술한 예를 고려함으로써, 블루 컬러 성분 C1의 선명도가 그린 컬러 성분 C2의 선명도보다 낮다고 결정한 후에 동작 모드(M2)가 선택되었다.
다음 단계에서, 가장 선명한 컬러 성분은 컬러 성분 C2 및 컬러 성분 C3 사이에서 결정된다. 가장 선명한 것으로서 결정된 컬러 성분은 이하 선명한 컬러라고 하고, 2개의 다른 컬러 성분들은 이하 향상을 요하는 성분들이라고 한다.
이 예에서, CA, CO 및 CN은 그레이 레벨들(grey levels)에 의해 특징화되고, 향상된 컬러 성분, 향상을 요하는 컬러 성분 및 선명한 컬러 성분을 각각 나타내는, 픽셀의 각각의 세기들이다.
선명한 컬러 성분의 선명도는 아래와 같은 공식에 따른 필터 F를 이용하여 향상을 요하는 컬러 성분에 반영된다.
CA = CN + F (CO - CN)
이것은 향상을 요하는 컬러 성분의 고주파수들을 제거하고 이것들을 선명한 컬러 성분의 고주파수들로 대체한다.
통상적으로, 필터 F는 그것이 적용되는 이미지의 디테일들(details)을 제거하는 특정 기능을 가질 것이다. 이것을 실현하기 위해서, 선형 로우 패스(또는 메디안(median)) 필터가 이용될 수 있다. 메디안 필터의 것과 유사한 방식으로 디테일들을 제거하는 특정 기능을 갖는 많은 알려진 비선형 필터들도 이용될 수 있다.
이 단계에서, 인간의 망막은 광학 시스템들의 조절이 일반적으로 특정 조절 범위에 걸쳐서 이 컬러에 대한 고레벨의 선명도를 획득하는 것을 목적으로 하도록 그린 컬러에 대하여, 이미지의 디테일들과 관련하여, 특히 고레벨의 민감도를 갖는다는 것을 상기해야 한다(예를 들어, pages 30 to 33 of the works "Color appearance models" by Mark D. Fairchild edited by Addison Wesley 참조).
따라서, 본 발명에 특정한 관측에 따르면, 그 선명도가 인간의 눈에 대해 만족스럽지 않은, 이미지들을 생성하는 광학 디바이스가 디테일들을 고려할 때 눈이 덜 민감한 컬러 블루 또는 레드와 같은 그의 컬러들 중 하나에 대한 선명도의 만족스러운 레벨을 제공할 수 있다.
통상적으로, 과초점 거리에서 포커싱되는 광학 시스템에 대해, 가까운 물체 및 멀리 있는 물체를 갖는 이미지를 고려하면, 멀리 있는 물체의 선명도는 일반적으로 그린 컬러를 이용하여 흔히 결정되는 반면, 가까운 물체의 선명도는 블루 컬러를 고려하여 향상된다.
따라서, 이미지의 영역들은 2개의 컬러 사이의 상대 선명도에 따른 상이한 선명한 컬러들에 의해 향상될 수 있다는 것이 중요하다.
따라서, 본 발명의 일 실시예에서, 이미지 I는 영역들로 쪼개진다. 그 다음, 각각의 영역을 연속적으로 고려함으로써, 그 영역에 대한 가장 선명한 컬러가 식별된다. 일 실시예에서, 가장 선명한 컬러의 선명도가 고려되는 영역의 다른 컬러 성분들에 반영된다. 다른 실시예에서, 가중치 인자(weight factor)는 연관된 선명한 컬러가 영역들에서 식별된 횟수를 나타내기 때문에, 가중치 인자들을 이용하여 계산되는, 전체 정정이 이미지에 적용된다.
이미지의 상이한 영역들의 특성에 따라 수행되는 이러한 프로세싱 동작은 종래 기술의 이미지 캡처 시스템 내의 오토포커스 모듈의 이용과 비교할 때 유리하다. 사실상, 상이한 거리들에 배치되는 물체들을 갖는 장면의 예에서, 종래 기술의 이미지 캡처 시스템은 이들 물체들 중 하나에 단독으로 포커싱할 것이지만, 본 발명에 따르면, 고려되는 모든 물체들에 대해 선명한 이미지가 획득된다.
일 실시예에서, 단계들 101, 102 및 103에서 설명된 프로세싱 동작들은 프로세싱 유닛(5)의 계산 수단에 의한 프로그램의 실행 중에 프로세싱 유닛(5)에 의무로서 지워진 단계들을 구현하기 위한 명령어들을 포함하는 프로그램의 실행 후에 프로세싱 유닛(5)에 의해 구현된다.
전술한 실시예에서, 선명도 향상 단계(103)는 동작 모드 M2를 선택한 후에 캡처되는 초기 이미지 I에 대해 수행되었다.
다른 실시예에서, 단계(103)의 향상 프로세스는 예를 들어, 미리 정의된 포커스로 캡처되는 다른 이미지를 갖는 비디오 이미지들의 경우에, 하나 또는 몇 개의 다른 이미지들, 예를 들어, 초기 이미지 후에 캡처되는 이미지들에 대해 수행된다.
본 발명의 구현은 비디오 이미지들을 캡처할 때 특히 유리한 결과들이 생기게 한다.
사실상, 오토포커스 모듈의 반복적인 기능에 의해 야기되는 레이턴시는, 조절된 이미지들을 볼 때 포커스에 대하여 진동 현상(oscillation phenomena)을 일으키는, 비디오 이미지들을 캡처할 때, 그 중에서도 캡처된 물체가 동영상일 때, 매우 불리하였다.
이 발명은 비디오 이미지들을 캡처할 때 선명한 이미지를 획득하는데 요구되는 레이턴시 시간 및 겪게 되는 진동 현상을 상당히 줄인다. 사실상, 그것은 특히 이동하는 물체들에 대하여 유익한, 동작 모드 M2가 선택될 수 있을 때 오토포커스 모듈의 이용을 상당히 줄인다. 이것은 이미지를 안정화하는 특정 방식을 가져온다.
안정화는 단계(102)를 위한 전술한 설명에 표시된 바와 같이, 수행되는 선명도 측정에 따라 결정되는 종래의 포커스 조절이 사전에 오토포커스 모듈에 적용될 때 더욱 증가한다.
본 발명은 또한, (예를 들어 렌즈들을 이동함으로써) 디지털 및/또는 광학 정정 프로세스를 이용하여, 장면 그 자체가 아닌 광학 시스템/센서의 이동에 의해 야기되는 흐릿함의 레벨을 보상하도록 의도된, 이미지 안정화 동작의 신뢰성의 레벨을 증가시킨다.
모드 M1에서 훨씬 더 빨리 수렴함으로써, 선명한 이미지에 대해 수행된 안정화 측정은 더 신뢰성 있다. 모드 M2에서, 오토포커스 모듈을 이용하지 않고, 이미지는 선명하고 이미지 안정화에 이용되는 측정은 더 신뢰성 있다.
따라서, 레이턴시가 감소됨에 따라, 선명한 이미지가 더 빨리 획득되고, 따라서 안정화 측정은 더 신뢰성 있다. 종래 기술의 오토포커스 모듈과 관련하여, 그 자체를 정확한 구성으로 이동할 때 이분법(dichotomy)에 의해 야기되는 진동들은 이미지 안정화 측정을 어렵게 만든다.
도 6은 본 발명에 따른 이미지 캡처 시스템의 전기 소비를 보여준다: 포인트들 J1 및 K1 사이의 곡선 L2는 무한대의 포커스 거리와 주어진 가까운 거리 사이에 포커싱하는 광학 시스템의 경우에 디포커스 값들(Def)에 따른 전기 세기 값들을 나타낸다. 포인트 J1은 제로 디포커스(무한대의 거리에 있는 물체)에 대응하고 포인트 K1은 최대 디포커스(가까운 물체)에 대응한다.
화살표에 의해 표시된 수직 점선은 동작 모드 M2로부터(이 수직선의 좌측으로) 동작 모드 M1로의(이 수직선의 우측으로) 통과(passage)를 표시한다.
따라서, 동작 모드 M1에서, 본 발명에 따른 이미지 캡처 시스템 내의 전기 소비는 동일한 레벨의 디포커스에 대한 종래 기술의 시스템의 것과 같다(도 5 참조). 그러나, 동작 모드 M1에서, 포커스 명령어의 이전의 공급 때문에, 곡선 L1은 종래 기술에서와 같은 포커스 위치를 결정하기 위하여 반복적인 이분법 프로세스의 범위 내에서 몇 번 지나가지 않는다.
모든 디포커스 값들에 대해 동작 모드 M2에서, 본 발명에 따른 이미지 캡처 시스템 내의 전기 소비는 제로 디포커스, 즉 최소 소비에서 종래 기술의 시스템의 것과 같다.
예를 들어, 동작 모드 M2가 포트레이트 및 랜드스케이프 부분들에 대응하고 동작 모드 M1이 매크로 부분에 대응하는 하나의 전술한 실시예에서, 이러한 최소 소비는 이미지 캡처 시스템들로 이루어지는 대부분의 이용에 대응하는, 무한대의 거리와 대략 60㎝ 사이의 시스템으로부터의 거리에 배치된 장면들에 대해 발생한다.
따라서 본 발명은 선명도 향상이 디지털 프로세싱 동작에 의해 수행될 때 충분하지 않거나 적절하지 않을 때, 제한된 수의 경우들로 오토포커스 모듈의 이용을 제한하고, 이로써 더 선명한 컬러의 선명도가 하나 또는 몇 개의 더 흐릿한 컬러들로 이전될 수 있게 한다. 따라서 본 발명은 에너지 소비 및 오토포커스 레이턴시를 제한하면서 캡처되는 이미지들의 선명도를 향상시킨다.
따라서 오토포커스 조절은 프리뷰 모드에서도, 카메라 폰들에서 수행될 수 있다. 또한, 비디오들을 촬영할 때, (이미지들의 빠른 연속으로 인해 가능하지 않은 각각의 비디오 이미지에 대해 오토포커스 모듈에 의해 수행되는 조절 동작을 갖는, 사전에 가능하지 않았던) 캡처되는 연속 이미지들을 선명하게 만들 수도 있다.

Claims (13)

  1. 장면(scene)의 적어도 하나의 이미지를 캡처(capture)하도록 의도된 이미지캡처 시스템(1)으로서,
    상기 시스템은 광학 시스템(2), 센서(3), 상기 시스템의 포커스를 조절하기 위한 오토포커스 모듈(autofocus module: 4) 및 디지털 프로세싱 수단(5)을 포함하고,
    상기 시스템은 장면의 적어도 하나의 초기 캡처된 이미지의 적어도 하나의 영역에서 선명도(sharpness)를 나타내는 적어도 하나의 값을 추정하도록 설계되고, 상기 오토포커스 모듈은 미리 정의된 포커스로 초기 이미지를 캡처하도록 배치되고,
    상기 추정된 선명도를 나타내는 값에 적어도 기초하여, 상기 시스템은 제1 모드(M1)와 제2 모드(M2) 사이에서 동작 모드를 선택할 수 있고,
    상기 제1 모드(M1)에서, 상기 오토포커스 모듈(4)은 상기 장면의 더 선명한 이미지를 캡처하기 위해서 상기 시스템의 포커스를 제어하는데 이용되고,
    상기 제2 모드(M2)에서, 상기 초기 캡처된 이미지 또는 다른 캡처된 이미지는 상기 디지털 프로세싱 수단(5)에 의해 처리되고, 상기 다른 이미지는 상기 미리 정의된 포커스로 캡처되는
    이미지 캡처 시스템.
  2. 제1항에 있어서, 이미지들의 시퀀스를 캡처하도록 의도되고, 적어도 하나의 후속 이미지가 상기 미리 정의된 포커스 또는 다른 포커스로 캡처될 때, 상기 후속 이미지로부터 추정된 선명도를 나타내는 적어도 하나의 값에 기초하여 상기 제1 모드(M1)와 상기 제2 모드(M2) 사이에서 동작 모드를 선택할 수 있는 디바이스를 또한 포함하고,
    상기 제2 모드(M2)에서, 상기 후속 이미지 또는 캡처된 다른 이미지는 상기 디지털 프로세싱 수단(5)에 의해 처리되고, 상기 다른 이미지는 상기 후속 이미지와 동일한 포커스로 캡처되는
    이미지 캡처 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 제2 동작 모드(M2)에서, 상기 디지털 프로세싱 수단(5)은, 상기 오토포커스 모듈을 구현하지 않고, 상기 초기 이미지, 상기 후속 이미지 또는 캡처된 다른 이미지의 선명도를 향상시키도록 의도된 디지털 이미지 프로세싱 동작을 적용할 수 있는
    이미지 캡처 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 선명도를 나타내는 값은,
    상기 초기 이미지에서의 적어도 2개의 각각의 컬러 성분들(C1, C2, C3)의 선명도의 레벨들 사이의 관계; 및/또는
    상기 초기 이미지에서의 적어도 2개의 각각의 컬러 성분들(C1, C2, C3)의 선명도의 각각의 레벨들 사이의 비교에 따라 결정되는
    이미지 캡처 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 동작 모드(M1)를 선택한 후에,
    상기 초기 이미지에 따라 결정되는 적어도 2개의 각각의 컬러 성분들(C1, C2, C3)의 선명도의 레벨들 사이의 관계; 및/또는
    상기 초기 이미지의 적어도 하나의 영역에서 적어도 하나의 컬러에 대한 비점수차(astigmatism) 측정에 따라 포커스 조절을 선택할 수 있는 이미지 캡처 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제2 동작 모드(M2)를 선택한 후에, 상기 디지털 프로세싱 수단에 의해 처리된 이미지의 적어도 하나의 영역에서, 더 선명한 컬러 성분 및 더 흐릿한 컬러 성분을 식별하고, 상기 더 선명한 컬러 성분에 대한 이미지의 픽셀 강도(pixel intensity)에 따라 상기 더 흐릿한 컬러 성분에 대해 처리된 이미지의 픽셀 강도를 수정할 수 있는 이미지 캡처 시스템.
  7. 이미지 캡처 시스템(1)을 위해 의도된 이미지 캡처 방법으로서,
    상기 이미지 캡처 시스템(1)은 광학 시스템(2), 센서(3), 상기 시스템의 포커스를 조절하기 위한 오토포커스 모듈(4) 및 디지털 프로세싱 수단(5)을 포함하고, 상기 방법은,
    장면의 적어도 하나의 초기 캡처된 이미지의 적어도 하나의 영역에서 선명도를 나타내는 적어도 하나의 값을 추정하는 단계 - 상기 오토포커스 모듈은 미리 정의된 포커스로 초기 이미지를 캡처하도록 배치됨 -;
    상기 추정된 선명도를 나타내는 값에 적어도 기초하여, 제1 모드(M1)와 제2 모드(M2) 사이에서 동작 모드를 선택하는 단계
    를 포함하고,
    상기 제1 모드(M1)에서, 상기 오토포커스 모듈(4)은 상기 장면의 더 선명한 이미지를 캡처하기 위해서 상기 시스템(3)의 포커스를 제어하는데 이용되고,
    상기 제2 모드(M2)에서, 상기 초기 이미지 또는 다른 캡처된 이미지는 상기 디지털 프로세싱 수단(5)에 의해 처리되고, 상기 다른 이미지는 상기 미리 정의된 포커스로 캡처되는
    이미지 캡처 방법.
  8. 제7항에 있어서, 이미지들의 시퀀스를 캡처하도록 의도되고, 적어도 하나의 후속 이미지가 상기 미리 정의된 포커스 또는 다른 포커스로 캡처될 때, 상기 후속 이미지로부터 추정된 선명도를 나타내는 적어도 하나의 값에 기초하여 상기 제1 모드(M1)와 상기 제2 모드(M2) 사이에서 동작 모드를 선택할 수 있는 디바이스를 또한 포함하고, 상기 제2 모드(M2)에서, 상기 후속 이미지 또는 캡처된 다른 이미지는 상기 디지털 프로세싱 수단(5)에 의해 처리되고, 상기 다른 이미지는 상기 후속 이미지와 동일한 포커스로 캡처되는
    이미지 캡처 방법.
  9. 제7항 또는 제8항에 있어서, 상기 제2 동작 모드(M2)에서, 상기 디지털 프로세싱 수단(5)은, 상기 오토포커스 모듈을 구현하지 않고, 상기 초기 이미지, 상기 후속 이미지 또는 캡처된 다른 이미지의 선명도를 향상시키도록 의도된 디지털 이미지 프로세싱 동작을 적용하는
    이미지 캡처 방법.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 선명도를 나타내는 값은,
    상기 초기 이미지에서의 적어도 2개의 각각의 컬러 성분들(C1, C2, C3)의 선명도의 레벨들 사이의 관계; 및/또는
    상기 초기 이미지에서의 적어도 2개의 각각의 컬러 성분들(C1, C2, C3)의 선명도의 각각의 레벨들 사이의 비교에 따라 결정되는
    이미지 캡처 방법.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서, 상기 제1 동작 모드(M1)를 선택한 후에,
    상기 초기 이미지에서의 적어도 2개의 각각의 컬러 성분들(C1, C2, C3)의 선명도의 레벨들 사이의 관계; 및/또는
    상기 초기 이미지의 적어도 하나의 영역에서 적어도 하나의 컬러에 대한 비점수차 측정에 따라 포커스 조절을 선택할 수 있는 이미지 캡처 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서, 상기 제2 동작 모드(M2)를 선택한 후에, 상기 디지털 프로세싱 수단에 의해 처리된 이미지의 적어도 하나의 영역에서, 더 선명한 컬러 성분 및 더 흐릿한 컬러 성분이 식별되고, 상기 더 흐릿한 컬러 성분에 대해 처리된 이미지의 픽셀 강도는 상기 더 선명한 컬러 성분에 대한 이미지의 픽셀 강도에 따라 수정되는
    이미지 캡처 방법.
  13. 장면의 적어도 하나의 이미지를 캡처하도록 의도된 이미지 캡처 시스템(1)의 프로세싱 모듈(5) 내의 컴퓨터 프로그램 및/또는 전자 컴포넌트로서,
    상기 이미지 캡처 시스템(1)은 광학 시스템(2), 센서(3), 및 상기 시스템의 포커스를 조절하기 위한 오토포커스 모듈(4)을 포함하고,
    상기 프로그램은 명령어들을 포함하고 및/또는 상기 컴포넌트는 상기 프로세싱 모듈에 의한 상기 컴포넌트의 활성화 및/또는 상기 프로그램의 실행시에 제7항 내지 제12항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한 회로들을 포함하는
    컴퓨터 프로그램 및/또는 전자 컴포넌트.
KR1020127003526A 2009-08-10 2010-08-06 2가지 동작 모드를 갖는 이미지 캡처 시스템 및 방법 Expired - Fee Related KR101770843B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0955593A FR2949003B1 (fr) 2009-08-10 2009-08-10 Systeme et procede de capture d'images avec deux modes de fonctionnement
FR0955593 2009-08-10
PCT/FR2010/051671 WO2011018575A1 (fr) 2009-08-10 2010-08-06 Système et procédé de capture d'images avec deux modes de fonctionnement

Publications (2)

Publication Number Publication Date
KR20120060202A true KR20120060202A (ko) 2012-06-11
KR101770843B1 KR101770843B1 (ko) 2017-08-23

Family

ID=41683363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127003526A Expired - Fee Related KR101770843B1 (ko) 2009-08-10 2010-08-06 2가지 동작 모드를 갖는 이미지 캡처 시스템 및 방법

Country Status (7)

Country Link
US (1) US8994873B2 (ko)
EP (1) EP2465255B1 (ko)
JP (2) JP2013501955A (ko)
KR (1) KR101770843B1 (ko)
CN (1) CN102550010B (ko)
FR (1) FR2949003B1 (ko)
WO (1) WO2011018575A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257822B (zh) * 2009-10-27 2014-01-08 松下电器产业株式会社 摄像装置和使用它的测距装置
TWI495335B (zh) * 2010-04-21 2015-08-01 Hon Hai Prec Ind Co Ltd 取像模組及其運作方法
JP5406383B2 (ja) * 2011-06-23 2014-02-05 パナソニック株式会社 撮像装置
JP2013046209A (ja) * 2011-08-24 2013-03-04 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
FR2982678B1 (fr) 2011-11-14 2014-01-03 Dxo Labs Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
WO2013108074A1 (en) * 2012-01-17 2013-07-25 Nokia Corporation Focusing control method using colour channel analysis
US20150116552A1 (en) * 2013-10-30 2015-04-30 Jan kåhre Digital camera system and a method for controlling the digital camera system
US12093453B2 (en) * 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9648236B2 (en) 2015-02-19 2017-05-09 Blackberry Limited Device with a front facing camera having discrete focus positions
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
CN105472248B (zh) * 2015-12-24 2019-05-10 北京奇虎科技有限公司 基于拍摄场景的聚焦方法及摄像设备
WO2017145788A1 (ja) * 2016-02-26 2017-08-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
CN106101555B (zh) * 2016-07-29 2018-05-29 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
US10349087B2 (en) * 2017-07-13 2019-07-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for reconstructing images using blurring and noise-enhanced pixel intensity resampling
CN109451244B (zh) * 2018-12-21 2020-12-04 广州医软智能科技有限公司 一种基于液体镜头的自动调焦方法及系统
CN111458991A (zh) * 2020-04-14 2020-07-28 湖南印之明智能制造有限公司 一种适用于光刻机的焦距调整方法
CN111638583B (zh) * 2020-06-15 2022-09-27 广州医软智能科技有限公司 一种自动对焦方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115553A (en) * 1996-09-17 2000-09-05 Asahi Kogaku Kogyo Kabushiki Kaisha Multipoint autofocus system
US6151415A (en) * 1998-12-14 2000-11-21 Intel Corporation Auto-focusing algorithm using discrete wavelet transform
JP2000224458A (ja) * 1999-02-04 2000-08-11 Olympus Optical Co Ltd 電子カメラ
JP2004251984A (ja) * 2003-02-18 2004-09-09 Jasco Corp オートフォーカス装置
JP4042710B2 (ja) * 2004-02-25 2008-02-06 カシオ計算機株式会社 オートフォーカス装置及びそのプログラム
CA2834963C (fr) * 2005-03-07 2017-04-18 Dxo Labs Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
CN100543576C (zh) * 2006-08-24 2009-09-23 宁波大学 基于Contourlet变换的数码成像自动对焦方法
CN100451808C (zh) * 2006-08-24 2009-01-14 宁波大学 基于Contourlet变换的数码成像自动对焦方法
CN100549799C (zh) * 2006-09-29 2009-10-14 北京中星微电子有限公司 一种数字影像撷取装置自动对焦的启动方法
CN100561326C (zh) * 2007-07-06 2009-11-18 鸿富锦精密工业(深圳)有限公司 自动对焦系统及自动对焦方法
JP2009042556A (ja) * 2007-08-09 2009-02-26 Nikon Corp 電子カメラ
JP5332160B2 (ja) * 2007-09-18 2013-11-06 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP2009103800A (ja) 2007-10-22 2009-05-14 Sony Corp オートフォーカス装置および方法、並びにプログラム
US8577216B2 (en) * 2008-02-13 2013-11-05 Qualcomm Incorporated Auto-focus calibration for image capture device
US8049811B2 (en) * 2009-01-28 2011-11-01 Board Of Regents, The University Of Texas System Automatic focusing apparatus and method for digital images using automatic filter switching

Also Published As

Publication number Publication date
JP2016036141A (ja) 2016-03-17
KR101770843B1 (ko) 2017-08-23
EP2465255B1 (fr) 2013-06-05
CN102550010B (zh) 2014-12-17
FR2949003B1 (fr) 2017-09-08
JP2013501955A (ja) 2013-01-17
WO2011018575A1 (fr) 2011-02-17
CN102550010A (zh) 2012-07-04
EP2465255A1 (fr) 2012-06-20
US20120127360A1 (en) 2012-05-24
US8994873B2 (en) 2015-03-31
FR2949003A1 (fr) 2011-02-11
JP6309922B2 (ja) 2018-04-11

Similar Documents

Publication Publication Date Title
KR101770843B1 (ko) 2가지 동작 모드를 갖는 이미지 캡처 시스템 및 방법
CN103384998B (zh) 摄像装置、及摄像方法
RU2531632C2 (ru) Устройство захвата изображения, способ управления для устройства захвата изображения и носитель информации
US20140028839A1 (en) Image processing method, storage medium, image processing apparatus and image pickup apparatus
US9407827B2 (en) Method and system for capturing sequences of images with compensation for variations in magnification
US8164675B2 (en) Apparatus and method for removing moire pattern of digital imaging device
US20120307009A1 (en) Method and apparatus for generating image with shallow depth of field
JP2012049773A (ja) 撮像装置および方法、並びにプログラム
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
US9319599B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing an image processing program
US10810714B2 (en) Image restoration processing utilizing settings for image correction
CN108429873B9 (zh) 焦点检测设备和摄像设备
JP6075835B2 (ja) 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム
JP5880121B2 (ja) 画像処理装置
US10382710B2 (en) Image processing apparatus, image capturing apparatus, and non-transitory computer-readable storage medium
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20100271536A1 (en) Blended autofocus using mechanical and softlens technologies
CN106464783B (zh) 图像拾取控制设备、图像拾取设备和图像拾取控制方法
KR20230050011A (ko) 카메라 테스트 장치, 및 카메라의 포커싱 특성을 테스트 하는 방법
JP2012191539A (ja) 撮像装置、画像処理プログラムおよび撮像方法
JP2017224923A (ja) オートフォーカス装置及びオートフォーカス用プログラム
CN120219694A (zh) 图像处理方法、图像处理装置、摄像装置和存储介质
JP2025035240A (ja) 画像処理装置
JP2016126232A (ja) 撮像装置、その制御方法、および制御プログラム
JP2010050657A (ja) 映像信号処理装置及び撮像装置

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200818

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200818

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000