[go: up one dir, main page]

KR101896666B1 - 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 - Google Patents

이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 Download PDF

Info

Publication number
KR101896666B1
KR101896666B1 KR1020120073439A KR20120073439A KR101896666B1 KR 101896666 B1 KR101896666 B1 KR 101896666B1 KR 1020120073439 A KR1020120073439 A KR 1020120073439A KR 20120073439 A KR20120073439 A KR 20120073439A KR 101896666 B1 KR101896666 B1 KR 101896666B1
Authority
KR
South Korea
Prior art keywords
pixel
motion sensor
signal
sensor pixel
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120073439A
Other languages
English (en)
Other versions
KR20140006465A (ko
Inventor
김태찬
공해경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120073439A priority Critical patent/KR101896666B1/ko
Priority to US13/835,497 priority patent/US9055242B2/en
Priority to DE102013106685.2A priority patent/DE102013106685A1/de
Priority to CN201310280692.5A priority patent/CN103533234B/zh
Publication of KR20140006465A publication Critical patent/KR20140006465A/ko
Application granted granted Critical
Publication of KR101896666B1 publication Critical patent/KR101896666B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

깊이 센서 픽셀과 대상의 동작을 감지할 수 있는 모션 센서 픽셀을 포함하는 이미지 센서 칩의 동작 방법은 모드 선택 신호에 따라, 상기 깊이 센서 픽셀과 상기 모션 센서 픽셀 중에서 어느 하나를 활성화시키는 단계, 및 활성화된 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함한다.

Description

이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템{IMAGE SENSOR CHIP, OPERATION METHOD THEREOF, AND SYSTEM HAVING THE SAME}
본 발명의 개념에 따른 실시 예는 이미지 센서 칩(image sensor chip)에 관한 것으로, 특히 상기 이미지 센서 칩에 포함된 깊이(depth) 센서 픽셀과 모션 (motion) 센서 픽셀 중의 어느 하나로부터 출력된 픽셀 신호에 기초하여 이미지 데이터를 얻기 위한 방법과 이를 이용하는 장치들에 관한 것이다.
CMOS 이미지 센서는 상보형 금속산화반도체(complementary metal-oxide semiconductor(CMOS))를 이용한 고체 촬상 소자(solid-state image sensing device)이다.
CMOS 이미지 센서는 고전압 아날로그 회로를 포함하는 CCD(charge coupled device) 이미지 센서에 비해 제조 단가가 낮으며, 상기 센서의 크기가 작기 때문에 소비 전력이 적다. 최근에는 CMOS 이미지 센서의 성능이 향상되면서 스마트폰 (smart phone)과 디지털 카메라(digital camera) 등과 같은 휴대용 기기(portable device) 이외의 다양한 가전 제품에도 상기 CMOS 이미지 센서가 널리 사용되고 있다.
전력 소모를 최대한 줄여야 하는 모바일(mobile) 장치 분야에서, CMOS 이미지 센서의 전력 소모를 줄이기 위한 연구가 활발히 진행되고 있다. 전력 소모와 성능은 서로 상반 관계(trade-off)에 있으므로, CMOS 이미지 센서의 성능을 저해하지 않는 범위에서 전력 소모를 최대한 줄일 것이 필요하다.
본 발명이 이루고자 하는 기술적인 과제는, 이미지 센서 칩에 포함된 깊이 센서 픽셀과 모션 센서 픽셀 중의 어느 하나로부터 출력된 픽셀 신호에 기초하여 데이터를 얻음으로써, 효율적으로 동작할 수 있는 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 깊이 센서 픽셀과 대상의 동작을 감지할 수 있는 모션 센서 픽셀을 포함하는 이미지 센서 칩의 동작 방법은 모드 선택 신호에 따라 상기 깊이 센서 픽셀과 상기 모션 센서 픽셀 중에서 어느 하나를 활성화시키는 단계, 및 활성화된 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 동작 방법은 상기 활성화시키는 단계 이전에 상기 모션 센서 픽셀을 디폴트로 활성화시키는 단계와, 디폴트로 활성화된 모션 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 상기 모드 선택 신호의 레벨을 변경하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 모드 선택 신호의 레벨을 변경하는 단계는 상기 디폴트로 활성화된 상기 모션 센서 픽셀로부터 출력된 상기 픽셀 신호의 처리 결과에 따라 생성된 데이터가 기준 데이터와 서로 일치할 때 상기 모드 선택 신호의 상기 레벨을 변경할 수 있다.
다른 실시 예에 따라, 상기 동작 방법은 상기 활성화시키는 단계 이전에 사용자 입력을 분석하는 단계와, 상기 분석의 결과에 따라 상기 모드 선택 신호를 생성하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 모션 센서 픽셀은 DVS(dynamic vision sensor) 픽셀이고, 상기 깊이 센서 픽셀은 TOF(time-of-flight) 방법으로 상기 대상과 상기 이미지 센서 칩 사이의 깊이 정보를 얻을 수 있는 TOF 픽셀 센서이다.
본 발명의 다른 실시 예에 따른 깊이 센서 픽셀과 대상의 동작을 감지할 수 있는 모션 센서 픽셀을 포함하는 이미지 센서 칩의 동작 방법은 상기 모션 센서 픽셀을 활성화시키는 단계와, 모드 선택 신호에 따라 상기 깊이 센서 픽셀의 활성화 여부를 결정하는 단계와, 상기 결정의 결과와 상기 모드 선택 신호에 기초하여 상기 모션 센서 픽셀과 상기 깊이 센서 픽셀 중에서 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 픽셀 신호를 처리하는 단계는 상기 깊이 센서 픽셀이 활성화될 때 상기 깊이 센서 픽셀로부터 출력된 픽셀 신호를 처리하고, 상기 깊이 센서 픽셀이 활성화되지 않을 때 상기 모션 센서 픽셀로부터 출력된 픽셀 신호를 처리할 수 있다.
실시 예에 따라, 상기 모션 센서 픽셀은 DVS(dynamic vision sensor) 픽셀이고, 상기 깊이 센서 픽셀은 TOF(time-of-flight) 방법으로 상기 대상과 상기 이미지 센서 칩 사이의 깊이 정보를 얻을 수 있는 TOF 픽셀 센서이다.
본 발명의 또 다른 실시 예에 따른 이미지 센서 칩은 복수의 깊이 센서 픽셀들을 포함하는 깊이 센서 픽셀 그룹과 각각이 대상의 동작을 감지할 수 있는 복수의 모션 센서 픽셀들을 포함하는 모션 센서 픽셀 그룹을 포함하는 픽셀 어레이와, 모드 선택 신호에 따라 상기 깊이 센서 픽셀 그룹과 상기 모션 센서 픽셀 그룹 중에서 어느 하나의 그룹을 활성화시키기 위한 컨트롤 회로와, 활성화된 어느 하나의 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 픽셀 신호 처리 회로를 포함할 수 있다.
실시 예에 따라, 상기 이미지 센서 칩은 상기 컨트롤 회로의 제어에 따라 상기 모션 센서 픽셀 그룹으로 공급되는 전원을 제어하기 위한 모션 센서 픽셀 활성화 컨트롤러를 더 포함할 수 있다.
실시 예에 따라, 상기 복수의 모션 센서 픽셀들 각각은 DVS 픽셀이고, 상기 픽셀 신호 처리 회로는 상기 복수의 모션 센서 픽셀들로부터 생성된 복수의 이벤트 신호들 중에서 적어도 어느 하나를 처리할 수 있는 로우 AER(address event representation)와, 상기 복수의 모션 센서 픽셀들로부터 생성된 복수의 이벤트 신호들 중에서 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고, 상기 로우 AER은 상기 복수의 깊이 센서 픽셀들을 활성화시키기 위한 로우 드라이버의 반대 쪽에 배치될 수 있다.
실시 예에 따라, 상기 로우 AER은 상기 복수의 깊이 센서 픽셀들을 활성화시키기 위한 로우 드라이버와 같은 쪽에 배치될 수 있다.
실시 예에 따라, 상기 모션 센서 픽셀 그룹과 상기 깊이 센서 픽셀 그룹은 서로 분리되어 배치될 수 있다.
다른 실시 예에 따라, 상기 복수의 모션 센서 픽셀들 각각은 상기 깊이 센서 픽셀들 사이에 배치될 수 있다.
또 다른 실시 예에 따라, 상기 복수의 모션 센서 픽셀들은 상기 깊이 센서 픽셀 그룹의 가장 자리들에 배치될 수 있다.
또 다른 실시 예에 따라, 상기 복수의 모션 센서 픽셀들과 상기 복수의 깊이 센서 픽셀들은 로우 방향을 따라 번갈아(alternatively) 배치될 수 있다.
또 다른 실시 예에 따라, 상기 복수의 모션 센서 픽셀들과 상기 복수의 깊이 센서 픽셀들은 컬럼 방향을 따라 번갈아 배치될 수 있다.
실시 예에 따라, 상기 복수의 모션 센서 픽셀들 각각과 상기 복수의 깊이 센서 픽셀들 각각은 서로 크기가 다를 수 있다.
실시 예에 따라, 상기 복수의 모션 센서 픽셀들과 상기 복수의 깊이 센서 픽셀들 중에서 동일한 컬럼 어드레스를 가지는 모션 센서 픽셀과 깊이 센서 픽셀은 적어도 하나의 컬럼 라인을 공유할 수 있다.
실시 예에 따라, 상기 픽셀 신호 처리 회로는 상기 모션 센서 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 모션 센서 픽셀 신호 처리 회로와, 상기 깊이 센서 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 깊이 센서 픽셀 신호 처리 회로를 포함할 수 있다.
실시 예에 따라, 상기 모션 센서 픽셀 신호 처리 회로의 출력과 상기 깊이 센서 픽셀 신호 처리 회로의 출력 중의 어느 하나를 선택하기 위한 출력 선택 회로를 더 포함할 수 있다.
본 발명의 또 다른 실시 예에 따른 SoC(system on chip)는 상기 이미지 센서 칩과, 상기 이미지 센서로부터 출력된 이미지 데이터를 처리하기 위한 ISP(image signal processor)와, 처리된 이미지 데이터를 상기 ISP로부터 수신하고, 상기 처리된 이미지 데이터에 기초하여 모드 선택 신호를 생성하기 위한 CPU를 포함할 수 있다.
본 발명의 또 다른 실시 예에 따른 이미지 센서 칩은 깊이 센서 픽셀과 모션 센서 픽셀을 포함하는 픽셀 어레이와, 모드 선택 신호에 따라 상기 깊이 센서 픽셀로부터 전송된 신호와 상기 모션 센서 픽셀로부터 전송된 신호 중의 어느 하나를 선택하고, 선택된 신호를 출력하기 위한 출력 선택 회로를 포함할 수 있다.
실시 예에 따라, 상기 모션 센서 픽셀은 DVS 픽셀이고 상기 깊이 센서 픽셀은 TOF(time-of-flight) 센서 픽셀일 수 있다. 실시 예에 따라, 상기 출력 선택 회로는 멀티플렉서(multiplexer)를 포함할 수 있다.
본 발명의 실시 예에 따른 방법과 장치는 사용 환경에 따라 깊이 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 데이터를 얻음으로써 대상의 동작을 정밀하게 인식할 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 방법과 장치는, 사용 환경에 따라 모션 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 데이터를 얻음으로써 전력 소모를 줄일 수 있는 효과가 있다.
본 발명의 실시 예에 따른 방법과 장치는, 사용 환경에 따라 대상(object)의 이미지를 정밀하게 인식할지 또는 전력 소모를 줄일지를 선택할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 2는 도 1에 도시된 이미지 센서의 일 실시 예에 따른 블록도이다.
도 3은 도 2에 도시된 픽셀 신호 처리 회로의 일 실시 예를 포함하는 이미지 센서의 블록도이다.
도 4는 도 2에 도시된 픽셀 어레이의 일 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 5는 도 2에 도시된 픽셀 어레이의 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 6은 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 7은 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 8은 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 9는 도 4에 도시된 픽셀 어레이의 배선의 일 실시 예를 나타내는 도면이다.
도 10은 도 4에 도시된 픽셀 어레이의 배선의 다른 실시 예를 나타내는 도면이다.
도 11은 도 9 또는 도 10에 도시된 모션 센서 픽셀의 일 실시 예에 따른 회로도이다.
도 12a는 도 9 또는 도 10에 도시된 깊이 센서 픽셀의 일 실시 예에 따른 회로도이다.
도 12b는 도 9 또는 도 10에 도시된 깊이 센서 픽셀의 다른 실시 예에 따른 회로도이다.
도 13은 도 1에 도시된 이미지 센서의 다른 실시 예에 따른 블록도이다.
도 14는 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다.
도 15는 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다.
도 16은 도 2에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 17은 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 18은 도 17에 도시된 픽셀 신호 처리 회로의 변형 예의 블록도이다.
도 19는 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 20은 도 14에 도시된 픽셀 신호 처리 회로의 일 실시 예를 포함하는 이미지 센서의 블록도이다.
도 21은 도 14에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 22는 도 14에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 23은 도 14에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 24는 본 발명의 일 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 25는 본 발명의 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 26은 본 발명의 또 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 27은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 전자 시스템의 블록도이다.
도 28은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 1을 참조하면, 이미지 처리 시스템(image processing system; 10)은 이미지 센서(image sensor; 100), 이미지 신호 프로세서(image signal processor(ISP); 200), 디스플레이 유닛(display unit; 205), CPU(central processing unit; 210), 및 주변 회로(peripheral circuit; 220)를 포함할 수 있다.
이미지 처리 시스템(10)은 시스템 온 칩(system on chip; SoC)으로 구현될 수 있다.
이미지 처리 시스템(10)은 대상(object)의 깊이(depth) 정보를 획득할 수 있는 깊이 센서(depth sensor)의 기능과 상기 대상의 동작을 감지하여 모션(motion) 정보를 획득할 수 있는 모션 센서(motion sensor)의 기능을 포함할 수 있다.
실시 예에 따라, 모션 센서는 대상에 대해 프레임(frame) 별로 감지(또는 캡쳐 (captured))되는 이미지를 분석하고, 분석의 결과에 따라 상기 프레임에 대한 음영 정보를 디지털 코드로 프레임 메모리(미도시)에 저장할 수 있다. 상기 모션 센서는 상기 프레임 메모리에 저장된 이전 프레임(previous frame)에 대한 음영 정보와 현재 프레임 (current frame)에 대한 음영 정보를 서로 비교하고, 비교의 결과에 따라 상기 대상의 동작을 감지할 수 있다.
상기 모션 센서는, 하나의 픽셀(pixel)에 대한 음영 정보를 획득할 때, 상기 픽셀의 인접 픽셀들(예컨대, 상, 하, 좌, 및 우의 4개 픽셀들)에 대한 음영 정보를 함께 처리하고, 처리의 결과에 따라 상기 음영 정보에 대응하는 음영의 이동 방향을 계산할 수 있다.
다른 실시 예에 따라, 모션 센서는 픽셀의 내부에 신호 저장 소자(예컨대, 커패시터(capacitor))를 포함할 수 있다. 상기 모션 센서는 대상에 대한 이전 프레임의 픽셀 신호에 해당하는 전압 값을 저장하고, 저장된 전압 값과 상기 대상에 대한 현재 프레임의 픽셀 신호에 해당하는 전압 값을 서로 비교하고, 비교의 결과에 따라 상기 대상의 동작을 감지할 수 있다.
이미지 센서(100)는 적어도 하나의 깊이 센서 픽셀(미도시)로부터 출력되는 깊이 정보 및/또는 적어도 하나의 모션 센서 픽셀(미도시)로부터 출력되는 모션 정보를 생성하고, 생성된 깊이 정보 또는 생성된 모션 정보에 대응되는 디지털 정보, 예컨대 이미지 데이터(IDATA)를 ISP(200)로 전송할 수 있다.
이미지 센서(100)는, CPU(210)로부터 출력된 모드 선택 신호(MSEL)에 따라, 깊이 정보(또는 깊이 이미지) 또는 모션 정보(또는 모션 이미지)에 대응되는 이미지 데이터(IDATA)를 출력할 수 있다. CPU(210)는 모드 선택 신호(MSEL)를 생성할 수 있는 로직, 또는 하드웨어의 일 예이다.
예컨대, 이미지 센서(100)는 모드 선택 신호(MSEL)가 제1레벨, 예컨대 로우 레벨(low level)일 때 모션 이미지에 해당하는 이미지 데이터(IDATA)를 출력할 수 있고, 모드 선택 신호(MSEL)가 제2레벨, 예컨대 하이 레벨 (high level)일 때 깊이 이미지에 해당하는 이미지 데이터(IDATA)를 출력할 수 있으나 이에 한정되는 것은 아니다.
이미지 센서(100)는 별개의 칩으로 구현될 수 있다. 이미지 센서(100)는 CMOS 이미지 센서 칩으로 구현될 수 있다.
ISP(200)는 이미지 데이터(IDATA)를 수신하고, 수신된 이미지 데이터(IDATA)를 처리하고, 처리된 이미지 데이터(IDATA')를 생성할 수 있다. 예컨대, ISP(200)는 이미지 데이터(IDATA)를 프레임 단위로 처리 또는 구성할 수 있다.
또한, ISP(200)는 이미지 데이터(IDATA)의 명암(light and shade), 대비 (contrast), 채도(chroma) 등을 보정할 수 있다.
실시 예에 따라, ISP(200)는 프레임 메모리를 포함하고, 상기 프레임 메모리를 이용하여 이전 프레임의 음영 정보와 현재 프레임의 음영 정보를 서로 비교하고, 비교의 결과에 기초하여 모션 정보 또는 모션 이미지를 생성할 수 있다.
다른 실시 예에 따라, ISP(200)는 하나의 픽셀에 대한 음영 정보와 상기 픽셀의 인접 픽셀들에 대한 음영 정보를 함께 처리하고, 처리의 결과에 따라 상기 응영 정보에 해당하는 음영의 이동 방향을 계산할 수 있다.
ISP(200)는 처리된 이미지 데이터(IDATA')를 디스플레이 유닛(205) 및/또는 CPU(210)로 전송할 수 있다.
실시 예에 따라, ISP(200)는, 이미지 센서(100)에 포함된 컨트롤 레지스터 블록(contorl register block; 미도시)을 제어하여, 이미지 센서(100)의 전반적인 동작을 제어할 수 있다.
실시 예에 따라, ISP(200)가 이미지 센서(100)의 외부에 구현되는 것으로 도시되었으나, ISP(200)는 이미지 센서(100)의 내부에 구현될 수도 있다.
디스플레이 유닛(205)은 처리된 이미지 데이터(IDATA')를 디스플레이할 수 있는 장치를 의미한다.
CPU(210)는 ISP(200)로부터 처리된 이미지 데이터(IDATA')를 수신하고, 처리된 이미지 데이터(IDATA')를 분석하고 분석의 결과에 기초하여 모드 선택 신호 (MSEL)를 생성할 수 있다. CPU(210)는 생성된 모드 선택 신호(MSEL)를 이미지 센서 (100)로 전송할 수 있다.
예컨대, 이미지 처리 시스템(10)으로 전원이 인가될 때 또는 부팅(booting)될 때, CPU(210)는 디폴트(default)로 정해진 레벨, 예컨대 로우 레벨을 갖는 모드 선택 신호(MSEL)를 이미지 센서(100)로 출력할 수 있다. CPU(210)는 처리된 이미지 데이터(IDATA')를 분석하고, 분석의 결과에 기초하여 모드 변경이 필요하다고 판단되면, 상기 레벨을 로우 레벨로부터 하이 레벨로 변경하고, 하이 레벨을 갖는 모드 선택 신호(MSEL)를 출력할 수 있다.
실시 예에 따라, CPU(210)는 처리된 이미지 데이터(IDATA')와 기준 데이터 (REF)를 서로 비교하고, 비교의 결과에 따라 모드 선택 신호(MSEL)를 생성할 수 있다. 비교의 결과, 처리된 이미지 데이터(IDATA')와 기준 데이터(REF)가 서로 일치할 때, CPU(210)는 모드 선택 신호(MSEL)의 레벨을 변경할 수 있다.
예컨대, 기준 데이터(REF)는 사람의 지문, 또는 얼굴 등과 같이 특정한 2차원 이미지, 거리 정보를 포함하는 3차원 이미지, 또는 신체, 예컨대 손의 제스쳐 (gesture) 등과 같이 연속적인 동작을 나타내는 기준 모션 데이터일 수 있다. 기준 데이터(REF)는 프로그램가능하다. 기준 데이터(REF)는 레지스터에 저장될 수 있다.
실시 예에 따라, 기준 데이터(REF)는 대상, 예컨대 사람이 손가락을 이용하여 동그라미를 그리는 형태에 대한 모션 데이터일 수 있다. 이 경우, CPU(210)는 처리된 이미지 데이터(IDATA')와 상기 모션 데이터(REF)를 서로 비교하고 비교의 결과에 따라 제1레벨 또는 제2레벨을 갖는 모드 선택 신호(MSEL)를 생성할 수 있다.
다른 실시 예에 따라 모션 센서 픽셀(미도시)은 디폴트(default)로 활성화되고, 깊이 센서 픽셀(미도시)은 비활성화, 예컨대 슬립 모드(sleep mode) 상태일 수 있다. 예컨대, 사람의 동작이 이미지 데이터(IDATA')로써 입력되고, 입력된 이미지 데이터(IDATA')가 기준 데이터(REF)와 일치하면, CPU(210)는 상기 깊이 센서 픽셀(미도시)을 활성화, 예컨대 웨이크 업(wake-up)시키거나, 이미지 처리 시스템(10)과 연결된 다른 시스템, 예컨대 전원 시스템, 음향 시스템, 또는 특정 어플리케이션을 활성화시킬 수 있다.
기준 데이터(REF)는 유저(user)의 요청에 따라 변할 수 있다. 또한 기준 데이터(REF)는 디폴트(default) 값으로 설정될 수 있다.
CPU(210)는 주변 회로(220)로부터 전송된 데이터를 해석하고 해석의 결과에 기초하여 모드 선택 신호(MSEL)를 생성하고, 생성된 모드 선택 신호(MSEL)를 이미지 센서(100)로 전송할 수 있다.
이미지 센서(100)는 수신된 모드 선택 신호(MSEL)에 따라 깊이 센서를 이용하여 깊이 정보를 생성하거나 또는 모션 센서를 이용하여 모션 정보를 생성하고, 생성된 정보에 상응하는 이미지 데이터(IDATA)를 출력할 수 있다.
주변 회로(220)는 시스템(10)의 상태 또는 다양한 입력들에 따라 발생한 데이터를 CPU(210)로 제공할 수 있다.
실시 예에 따라, 주변 회로(220)는 입력 인터페이스로 구현될 수 있다. 이 경우, 상기 입력 인터페이스의 기능을 수행하는 주변 회로(220)는 유저의 입력에 따라 발생한 데이터를 CPU(210)로 제공할 수 있다. 상기 입력 인터페이스는 버튼, 터치 스크린, 또는 마우스 등과 같은 입력 장치일 수 있다. CPU(210)는 상기 데이터에 기초하여 모드 선택 신호(MSEL)를 생성할 수 있다.
다른 실시 예에 따라, 주변 회로(220)는 전원 감시 모듈(power monitoring module)로 구현될 수 있다. 이 경우, 전원 감시 모듈로 구현된 주변 회로(220)는 시스템(10)의 전원이 부족하다고 판단되면, 판단의 결과에 따라 생성된 데이터를 CPU(210)로 전달할 수 있다. CPU(210)는 상기 데이터에 기초하여 모드 선택 신호(MSEL)를 생성할 수 있다.
또 다른 실시 예에 따라, 주변 회로(220)는 애플리케이션 실행 모듈로 구현될 수 있다. 이 경우, 애플리케이션 실행 모듈로 구현된 주변 회로(220)는 특정 애플리케이션의 실행을 감시하고, 감시의 결과에 따라 생성된 데이터를 CPU(210)로 전달할 수 있다. CPU(210)는 상기 데이터에 기초하여 모드 선택 신호(MSEL)를 생성할 수 있다. 상기 특정 애플리케이션은 카메라 구동 애플리케이션 또는 증강 현실 애플리케이션일 수 있으나 이에 한정되는 것은 아니다.
도 2는 도 1에 도시된 이미지 센서의 일 실시 예에 따른 블록도이다.
도 2를 참조하면, 도 1에 도시된 이미지 센서(100)의 일 실시 예에 따른 이미지 센서(100A)는 픽셀 (센서) 어레이(110), 컨트롤 로직(control logic; 또는 컨트롤 회로; 120), 로우 드라이버(row driver; 130), 모션 센서 픽셀 인에이블 컨트롤러(motion pixel enable controller; 140), 픽셀 신호 처리 회로(pixel signal processing circuit; 150)를 포함할 수 있다.
픽셀 (센서) 어레이(110)는 대상의 깊이 정보(depth information)를 얻기 위한 복수의 깊이 센서 픽셀들(depth sensor pixels; D)과 상기 대상의 동작을 감지할 수 있는 복수의 모션 센서 픽셀들(motion sensor pixels; M)을 포함한다.
실시 예에 따라, 픽셀 어레이(110)에 포함된 깊이 센서 픽셀(D)이 TOF(time-of-flight) 방법으로 동작하는 TOF 센서 픽셀일 때, 이미지 센서(100A)는 제어 로직(120)에 의해 제어되는 광원(예컨대, 적외선 광원, 미도시)과 상기 광원으로부터 출력된 후 대상으로부터 반사된 반사광 이외의 광을 필터링하기 위한 적외선 통과 필터(미도시)를 더 포함할 수 있다.
실시 예에 따라, 복수의 모션 센서 픽셀들 각각은 DVS(dynamic vision sensor) 픽셀로 구현될 수 있으니 이에 한정되는 것은 아니다.
제어 로직(120)은, 모드 선택 신호(MSEL)에 기초하여, 이미지 센서(100A)의 전반적인 동작을 제어할 수 있다.
제어 로직(120)은 로우 드라이버(130), 모션 센서 픽셀 인에이블 컨트롤러 (140), 및 픽셀 신호 처리 회로(150) 각각을 제어할 수 있다.
로우 드라이버(130)는, 제어 로직(120)의 제어에 따라, 복수의 깊이 센서 픽셀들(D)을 로우(row) 단위로 활성화시킬 수 있다.
모션 센서 픽셀 인에이블 컨트롤러(140)는, 제어 로직(120)의 제어에 따라, 복수의 모션 센서 픽셀들(M)을 활성화시킬 수 있다. 실시 예에 따라, 모션 센서 픽셀 인에이블 컨트롤러(140)는, 제어 로직(120)의 제어에 따라, 복수의 모션 센서 픽셀들(M)로 공급되는 전원을 제어할 수 있다.
실시 예에 따라, 제어 로직(120)은, 모드 선택 신호(MSEL)에 기초하여, 복수의 깊이 센서 픽셀들(D)을 포함하는 깊이 센서 픽셀 그룹과, 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹 중에서 어느 하나가 활성화되도록 로우 드라이버(130)와 모션 센서 픽셀 인에이블 컨트롤러(140)를 제어할 수 있다.
이 경우, 픽셀 신호 처리 회로(150)는 픽셀 어레이(110)로부터 출력된 픽셀 신호(예컨대, 모션 센서 픽셀(M)로부터 출력된 픽셀 신호 또는 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호)를 처리하고, 처리의 결과에 대응되는 이미지 데이터 (IDATA)를 생성할 수 있다.
다른 실시 예에 따라, 제어 로직(120)은, 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹이 활성화되어 있는 상태에서, 모드 선택 신호(MSEL)에 따라 복수의 깊이 센서 픽셀들(D)을 포함하는 깊이 센서 픽셀 그룹의 인에이블 여부만을 제어할 수 있다.
이 경우, 픽셀 신호 처리 회로(150)는, 제어 로직(120)의 제어에 따라, 모션 센서 픽셀(M)로부터 출력된 픽셀 신호와 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호 중에서 어느 하나만을 선택하고, 선택의 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.
실시 예에 따라, 복수의 모션 센서 픽셀들(M) 각각이 DVS 픽셀로 구현되는 경우, 픽셀 신호 처리 회로(150)는 AER(address event representation; 미도시)을 포함할 수 있다.
상기 AER은 광량의 변화가 감지됨에 따라 복수의 모션 센서 픽셀들(M) 각각으로부터 출력되는 이벤트 신호(event signal)를 처리하고, 상기 이벤트 신호가 발생된 모션 센서 픽셀을 리셋시키기 위한 신호를 상기 모션 센서 픽셀로 전송할 수 있다. 상기 AER의 동작 및 배치는 도 3, 도 16, 도 17, 및 도 19를 참조하여 상세히 설명될 것이다.
도 3은 도 2에 도시된 픽셀 신호 처리 회로(150A)의 일 실시 예를 포함하는 이미지 센서의 블록도이다.
도 3은 복수의 모션 픽셀들(M) 각각이 DVS 픽셀로 구현될 때 상기 DVS 픽셀들을 포함하는 이미지 센서(100A-1)를 나타낸다.
도 2와 도 3을 참조하면, 도 2에 도시된 픽셀 신호 처리 회로(150)의 일 실시 예에 따른 픽셀 신호 처리 회로(150A)는 컬럼 AER(column AER(address event representation); 154)과 리드아웃 회로(read-out circuit; 156), 로우 AER(row AER; 158), 및 출력 선택 회로(output selection circuit; 160)를 포함할 수 있다.
픽셀 어레이(110)에 포함된 복수의 모션 센서 픽셀들(M) 각각은 광량의 변화에 따라 이벤트 신호를 출력할 수 있다. 이 경우, 컬럼 AER(154)은 상기 이벤트 신호를 수신하고, 수신된 이벤트 신호에 기초하여 상기 이벤트 신호가 생성된 모션 센서 픽셀의 컬럼 어드레스 값을 출력할 수 있다.
상기 이벤트 신호는 도 11을 참조하여 상세히 설명될 것이다.
리드아웃 회로(156)는 픽셀 어레이(110)에 포함된 복수의 깊이 센서 픽셀들 (D) 각각으로부터 출력된 픽셀 신호를 수신하고, 수신된 픽셀 신호를 처리할 수 있다.
실시 예에 따라, 리드아웃 회로(156)는 도시되지 않은 컬럼 디코더(column decoder), 컬럼 드라이버(column driver), 출력 버퍼(output buffer) 등을 포함할 수 있다.
컬럼 AER(154)과 리드아웃 회로(156) 각각은 별개의 회로로 구현될 수 있다.
로우 AER(158)은 모션 센서 픽셀들(M) 각각으로부터 출력된 이벤트 신호를 수신하고, 수신된 이벤트 신호에 기초하여 상기 이벤트 신호가 생성된 모션 센서 픽셀의 로우 어드레스 값을 출력할 수 있다. 상기 로우 어드레스 값은 출력 선택 회로(160)로 전송될 수 있다.
로우 AER(158)은 로우 드라이버(130)의 반대 쪽에 구현될 수 있다.
출력 선택 회로(160)는 제어 로직(120)의 제어에 따라 컬럼 AER(154)의 출력 신호, 로우 AER(158)의 출력 신호, 및 리드아웃 회로(156)의 출력 신호 중에서 적어도 하나를 선택하고, 선택의 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.
실시 예에 따라, 출력 선택 회로(160)는 제어 로직(120)의 제어에 따라 컬럼 AER(154)의 출력 신호와 로우 AER(158)의 출력 신호 중에서 하나를 선택하고, 선택의 결과에 기초하여 이미지 데이터(IDATA)로서 출력할 수 있다.
다른 실시 예에 따라, 출력 선택 회로(160)는 제어 로직(120)의 제어에 따라 리드아웃 회로(156)의 출력 신호를 선택하고, 선택의 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.
출력 선택 회로(160)는 복수의 입력 신호들 중에서 어느 하나를 선택하기 위한 회로, 예컨대 멀티 플렉서(muiltiplexer)로 구현될 수 있으나 이에 한정되는 것은 아니다.
실시 예에 따라, 복수의 깊이 센서 픽셀들(D)을 포함하는 깊이 센서 픽셀 그룹과, 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹 중에서 어느 하나로부터 적어도 하나의 신호가 출력되는 경우, 출력 선택 회로(160)는 상기 적어도 하나의 신호를 바이패스(bypass)할 수 있다.
도 4부터 도 8은 도 2에 도시된 픽셀 어레이의 실시 예에 따른 픽셀 배열들 (110-1~110-5, 집합적으로(collectively) 110)을 나타낸다.
도 4부터 도 7에서는 설명의 편의를 위해, 픽셀 어레이(110)가 5×5 매트릭스 형태로 구현된 예들을 도시하나 이에 한정되는 것은 아니다.
도 2, 및 도 4부터 도 8을 참조하면, 픽셀 어레이(110)는 복수의 깊이 센서 픽셀들(D)을 포함하는 깊이 센서 픽셀 그룹과, 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹을 포함한다.
실시 예에 따라, 상기 깊이 센서 픽셀 그룹과 상기 모션 센서 픽셀 그룹은, 모드 선택 신호(MSEL)에 따라, 선택적으로 또는 동시에 인에이블될 수 있다.
도 4에 도시된 픽셀 배열(110-1)에 포함된 깊이 센서 픽셀들(D) 각각은 모션 센서 픽셀들(M) 사이에 배치될 수 있다.
실시 예에 따라, 서로 인접하는 깊이 센서 픽셀들(D) 사이에 복수의 모션 센서 픽셀들(M)이 배치될 수 있으나 이에 한정되는 것은 아니다.
다른 실시 예에 따라, 깊이 센서 픽셀들(D)과 모션 센서 픽셀들(M)은 일정하지 않은 간격으로 배치될 수 있다.
도 5에 도시된 픽셀 배열(110-2)은 가운데(center)에 형성되는 깊이 센서 픽셀 그룹과, 상기 깊이 센서 픽셀 그룹의 가장 자리들(edges)에 형성되는 모션 센서 픽셀들(M)을 포함할 수 있다.
즉, 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹은 깊이 센서 픽셀들(D)을 포함하는 깊이 센서 픽셀 그룹의 가장 자리들에 배치될 수 있다.
실시 예에 따라, 깊이 센서 픽셀들(D)이 모션 센서 픽셀들(M)의 가장 자리들에 배치될 수 있다.
도 6에 도시된 픽셀 배열(110-3)은 복수의 깊이 센서 픽셀들(D)과 복수의 모션 센서 픽셀들(M)을 포함한다. 이때, 컬럼 방향(column direction)을 따라 복수의 모션 센서 픽셀들(M)과 복수의 깊이 센서 픽셀들(D)은 번갈아(alternatively) 배치된다.
컬럼 방향을 따라, 복수의 모션 센서 픽셀들(M)이 동일한 간격으로 배치될 수도 있고 동일하지 않은 간격으로 배치될 수 있다. 즉, 컬럼 방향을 따라, 대응되는 두 개의 모션 센서 픽셀들(M) 사이에는 적어도 하나의 깊이 센서 픽셀(D)이 배치될 수 있다. 또한, 컬럼 방향을 따라, 대응되는 두 개의 깊이 센서 픽셀들(D) 사이에는 적어도 하나의 모션 센서 픽셀(M)이 배치될 수 있다.
도 7에 도시된 픽셀 배열(110-4)은 복수의 깊이 센서 픽셀들(D)과 복수의 모션 센서 픽셀들(M)을 포함한다. 이때, 로우 방향(row direction)을 따라 복수의 모션 센서 픽셀들(M)과 복수의 깊이 센서 픽셀들(D)은 번갈아 배치된다.
로우 방향을 따라, 복수의 모션 센서 픽셀들(M)이 동일한 간격으로 배치될 수도 있고 동일하지 않은 간격으로 배치될 수 있다. 즉, 로우 방향을 따라, 대응되는 두 개의 모션 센서 픽셀들(M) 사이에는 적어도 하나의 깊이 센서 픽셀(D)이 배치될 수 있다. 또한, 로우 방향을 따라, 대응되는 두 개의 깊이 센서 픽셀들(D) 사이에는 적어도 하나의 모션 센서 픽셀(M)이 배치될 수 있다.
실시 예에 따라, 깊이 센서 픽셀들(D)을 포함하는 로우와 모션 센서 픽셀들 (M)을 포함하는 로우는 로우 노이즈(row noise)를 제거하기 위한 L-OB(Line-Optical Black) 픽셀들이 함께 형성될 수 있다.
도 8에 도시된 바와 같이, 픽셀 배열(110-5)은 서로 다른 크기는 갖는 모션 센서 픽셀(M)과 깊이 센서 픽셀(D)을 포함한다.
실시 예에 따라, 도 4부터 도 7에 도시된 각 픽셀 배열(110-1~110-4)에 포함된 모션 센서 픽셀(M)의 크기와 깊이 센서 픽셀(D)의 크기가 서로 다르게 구현될 수 있다.
도 9는 도 4에 도시된 픽셀 어레이(112)의 배선의 일 실시 예를 나타내는 도면이다.
도 4 및 도 9를 참조하면, 도 9에는 도 4의 픽셀 어레이(110-1)의 일부 (112), 컬럼 AER(154), 및 리드아웃 회로(156)가 도시되어 있다. 컬럼 AER(154), 및 리드아웃 회로(156)는 별개의 회로로 구현될 수 있다.
픽셀 어레이(110-1)의 일부(112)는 깊이 센서 픽셀(D)과 모션 센서 픽셀들 (112-1과 112-2)을 포함한다. 모션 센서 픽셀들(112-1과 112-2) 각각의 구조와 동작은 동일하다. 모션 센서 픽셀들(112-1과 112-2) 각각의 배선들은 동일하다.
로우 방향의 배선들은 리셋 신호 라인(RS), 전송 제어 신호 라인(TG), 선택 신호 라인(SEL), 로우 AER 이벤트 신호 라인(REQY), 및 로우 AER 리셋 신호 라인 (ACKY)을 포함할 수 있다.
각 신호 라인(RS, TG, 및 SEL)은 로우 드라이버(130)와 깊이 센서 픽셀(D)에 접속될 수 있다.
로우 드라이버(130)는 리셋 신호 라인(RS), 전송 제어 신호 라인(TG), 및 선택 신호 라인(SEL) 각각을 통하여 리셋 신호, 전송 제어 신호, 및 선택 신호 각각을 깊이 센서 픽셀(D)로 전송할 수 있다.
로우 AER 이벤트 신호 라인(REQY)은 로우 AER(158)과 모션 센서 픽셀(112-1)에 접속될 수 있다. 모션 센서 픽셀(112-1)은 로우 AER 이벤트 신호 라인(REQY)을 통해 온/오프 이벤트(on/off event) 신호를 로우 AER(158)로 전송할 수 있다.
로우 AER 리셋 신호 라인(ACKY)은 로우 AER(158)과 모션 센서 픽셀(112-1)에 접속될 수 있다. 로우 AER(158)은 로우 AER 이벤트 신호 라인(REQY)을 통해 제1DVS리셋 신호를 모션 센서 픽셀(112-1)로 전송할 수 있다.
컬럼 방향의 배선들은 픽셀 신호 라인(PIXEL), 컬럼 AER 온(on) 이벤트 신호 라인(REQX_ON), 컬럼 AER 오프(off) 이벤트 신호 라인(REQX_OFF), 및 컬럼 AER 리셋 신호 라인(ACKX)를 포함할 수 있다.
픽셀 신호 라인(PIXEL)은 리드 아웃 회로(156)와 깊이 센서 픽셀(D)에 접속될 수 있다. 깊이 센서 픽셀(D)은 픽셀 신호 라인(PIXEL)을 통해 픽셀 신호를 리드 아웃 회로(156)로 전송할 수 있다.
컬럼 AER 온 이벤트 신호 라인(REQX_ON)은 컬럼 AER(154)과 모션 센서 픽셀 (112-2)에 접속될 수 있다. 모션 센서 픽셀(112-2)은 컬럼 AER 온 이벤트 신호 라인(REQX_ON)을 통해 온 이벤트 신호를 컬럼 AER(154)로 전송할 수 있다.
컬럼 AER 오프 이벤트 신호 라인(REQX_OFF)은 컬럼 AER(154)과 모션 센서 픽셀(112-2)에 접속될 수 있다. 모션 센서 픽셀(112-2)은 컬럼 AER 온 이벤트 신호 라인(REQX_ON)을 통해 오프 이벤트 신호를 컬럼 AER(154)로 전송할 수 있다.
컬럼 AER 리셋 신호 라인(ACKX)은 컬럼 AER(154)과 모션 센서 픽셀(112-2)에 접속될 수 있다. 컬럼 AER(154)은 컬럼 AER 리셋 신호 라인(ACKX)을 통해 제2DVS 리셋 신호를 모션 센서 픽셀(112-2)로 전송할 수 있다.
도 9에 도시된 신호 라인들 각각을 통해 전송되는 신호들 각각은 도 11부터 도 12b를 참조하여 상세히 설명된다.
도 10은 도 4에 도시된 픽셀 어레이의 배선의 다른 실시 예를 나타내는 도면이다.
도 4, 도 9, 및 도 10을 참조하면, 도 4의 픽셀 어레이(110-1)의 일부(112)에 대한 컬럼 방향의 배선들을 참조하면, 도 10에서는 도 9의 픽셀 신호 라인 (PIXEL)과 컬럼 AER 리셋 신호 라인(ACKX)이 하나의 공유 신호 라인(ACKX&PIXEL)으로 대체된다.
즉, 공유 신호 라인(ACKX&PIXEL)은 깊이 센서 픽셀(D), 모션 센서 픽셀(122-2), 및 신호 경로 선택 회로(170)에 접속된다.
신호 경로 선택 회로(170)는, 제어 로직(120)의 제어에 따라, 공유 신호 라인(ACKX&PIXEL)을 리드 아웃 회로(156)에 접속시키거나 컬럼 AER(154)에 접속시킬 수 있다. 예컨대, 신호 경로 선택 회로(170)는 스위치 또는 디멀티플렉서 (demultiplexer)로 구현될 수 있다.
실시 예에 따라, 모드 선택 신호(MSEL)가 제1레벨, 예컨대 로우 레벨일 경우 신호 경로 선택 회로(170)는 제어 로직(120)의 제어에 따라 공유 신호 라인 (ACKX&PIXEL)을 컬럼 AER(154)를 접속시킬 수 있다. 따라서, 공유 신호 라인 (ACKX&PIXEL)은 컬럼 AER 리셋 신호 라인(ACKX)으로 동작할 수 있다.
그러나, 모드 선택 신호(MSEL)가 제2레벨, 예컨대 하이 레벨일 경우 신호 경로 선택 회로(170)는 제어 로직(120)의 제어에 따라 공유 신호 라인(ACKX&PIXEL)을 리드 아웃 회로(156)에 접속시킬 수 있다. 따라서, 공유 신호 라인(ACKX&PIXEL)은 픽셀 신호 라인(PIXEL)으로 동작할 수 있다.
도 11은 도 9 또는 도 10에 도시된 모션 센서 픽셀의 일 실시 예에 따른 회로도이다. 도 9부터 도 11을 참조하면, 도 9 또는 도 10에 도시된 각 모션 센서 픽셀(112-1과 112-2)은 DVS 픽셀일 수 있다. 즉, 구성 요소(112-1, 112-2, 및 117)의 구조와 동작은 실질적으로 동일하다.
DVS 픽셀(117)은 포토 다이오드(117-1), 전류/전압 변환기(I/V converter; 117-2), 증폭 회로(117-3), 비교 회로(comparator circuit; 117-4) 및 디지털 로직 (digital logic; 117-5)을 포함할 수 있다.
포토 다이오드(117-1)는 광전 변환 소자의 일 예로서, 포토트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토다이오드(pinned photo diode (PPD)), 또는 이들의 조합으로 구현될 수 있다. 포토 다이오드(PD)는 입사광의 세기에 따라 광 전류(I)를 생성할 수 있다.
전류/전압 변환기(117-2)는 변환 트랜지스터(converting transistor; Cx) 및 인버터(INV)를 포함할 수 있다. 변환 트랜지스터(Cx)는 모션 센서 픽셀 인에이블 컨트롤러(140)로부터 전원을 공급받을 수 있다.
예컨대, 모션 센서 픽셀 그룹이 디스에이블 또는 비활성화(de-activation)될 경우, 모션 센서 픽셀 인에이블 컨트롤러(140)는, 변환 트랜지스터(Cx)로 일정한 레벨 이하의 전압을 공급함으로써, 변환 트랜지스터(Cx)를 디스에이블시킬 수 있다. 인버터(INV)는 포토 다이오드(117-1) 제1단자의 전압을 반전시켜 제1전압(Vin)을 출력할 수 있다.
전류/전압 변환기(117-2)는 포토 다이오드(PD)를 흐르는 광 전류(I)를 감지하고 감지의 결과에 따라 광 전류(I)를 제1전압(Vin)으로 변환할 수 있다.
증폭 회로(117-3)는 제1커패시터(C1), 제2커패시터(C2), 증폭기(AMP), 및 리셋 스위치(SW)를 포함할 수 있다. 증폭 회로(117-3)는, 제1전압(Vin)에 기초하여, 제1전압(Vin)의 시간에 따른 변화량에 관련된 제2전압(Vout)을 출력할 수 있다.
리셋 스위치(SW)는, 디지털 로직(117-5)의 제어에 따라, 제2 전압(Vout)을 리셋 전압으로 리셋할 수 있다.
비교 회로(117-4)는 제1비교기(COMP1)와 제2 비교기(COMP2)를 포함할 수 있다. 제1비교기(COMP1)는 제2전압(Vout)과 온-임계 전압(on-threshold voltage)을 비교하고 비교의 결과에 따라서 온(on) 이벤트 신호를 생성할 수 있다. 제2비교기 (COMP2)는 제2전압(Vout)과 오프-임계 전압(off-threshold voltage)을 비교하고 비교의 결과에 따라서 오프 이벤트 신호를 생성할 수 있다.
비교 회로(117-4)는, DVS 픽셀(117)에 의해 감지된 음영의 변화 속도가 일정한 값 이상일 때, 온 이벤트 신호 또는 오프 이벤트 신호를 생성할 수 있다.
예컨대, 온 이벤트 신호는, DVS 픽셀(117)에 의해 감지된 음영이 급격하게 밝아질 때, 하이 레벨로 될 수 있다. 오프 이벤트 신호는, DVS 픽셀(117)에 의해 감지된 음영이 급격히 어두워질 때, 하이 레벨로 될 수 있다. 상기 온 이벤트 신호 및/또는 상기 오프 이벤트 신호는 디지털 로직(117-5)으로 전송될 수 있다.
디지털 로직(117-5)은 비교 회로(117-4)로부터 출력된 온 이벤트 신호와 오프 이벤트 신호에 따라 이벤트 신호를 생성할 수 있다.
예컨대, 디지털 로직(117-5)은 OR 게이트 회로로 구현될 수 있고, 상기 OR 게이트 회로는 온 이벤트 신호와 오프 이벤트 신호를 OR 연산하고, 상기 온 이벤트 신호 또는 상기 오프 이벤트 신호가 하이 레벨일 때, 상기 OR 게이트 회로는 이벤트 신호를 생성할 수 있다. 상기 이벤트 신호는 로우 AER 이벤트 신호 라인(REQY)을 통해 로우 AER(158)로 전송될 수 있다.
실시 예에 따라, 상기 OR 게이트는 DVS 픽셀(112-1, 112-2, 또는 117)의 외부, 또는 로우 AER(158)의 내부에 구현될 수 있다.
디지털 로직(117-5)은 수신된 온 이벤트 신호를 컬럼 AER 온 이벤트 신호 라인(REQX_ON)을 통해 컬럼 AER(154)로 전송할 수 있다. 디지털 로직(117-5)은 수신된 오프 이벤트 신호를 컬럼 AER 오프 이벤트 신호 라인(REQX_OFF)을 통해 컬럼 AER(154)로 전송할 수 있다.
디지털 로직(117-5)은 비교 회로(117-4)로부터 출력된 온 이벤트 신호와 오프 이벤트 신호에 기초하여 리셋 스위치 신호(RS_SW)를 생성할 수 있다.
예컨대, 디지털 로직(117-5)이 OR 게이트 회로로 구현될 때, 상기 OR 게이트 회로는, 온 이벤트 신호와 오프 이벤트 신호 중에서 어느 하나가 하이 레벨일 때, 리셋 스위치 신호(RS_SW)를 생성할 수 있다. 리셋 스위치(SW)는 리셋 스위치 신호 (RS_SW)에 따라 제2 전압(Vout)을 리셋할 수 있다. 실시 예에 따라, 상기 OR 게이트 회로는 DVS 픽셀(112-1, 112-2, 또는 117)의 외부, 또는 로우 AER(158)의 내부에 구현될 수 있다.
다른 실시 예에 따라,이벤트 신호를 생성하는 OR 게이트와 리셋 스위치 신호 RS_SW)를 생성하는 OR 게이트는 동일한 OR 게이트로 구현될 수 있다.
디지털 로직(117-5)은 로우 AER 리셋 신호 라인(ACKY)과 컬럼 AER 리셋 신호 라인(ACKX) 각각을 통해 제1DVS 리셋 신호와 제2DVS 리셋 신호 각각을 수신할 수 있다. 디지털 로직(117-5)은 로우 AER(158)으로부터 전송된 제1DVS 리셋 신호와 컬럼 AER(154)으로부터 전송된 제2DVS 리셋 신호에 따라 리셋 스위치 신호(RS_SW)를 생성할 수 있다.
예컨대, 디지털 로직(117-5)은 AND 게이트 회로로 구현될 수 있다. 상기 AND 게이트 회로는, 로우 AER(158)으로부터 전송된 제1DVS 리셋 신호와 컬럼 AER(154)으로부터 전송된 제2DVS 리셋 신호가 모두 하이 레벨일 때, 하이 레벨을 갖는 리셋 스위치 신호(RS_SW)를 생성할 수 있다. 실시 예에 따라, 상기 AND 게이트는 DVS 픽셀(112-1, 112-2, 또는 117)의 외부에 구현될 수 있다.
디지털 로직(117-5)은 부울리언 함수(Boolean function)를 수행할 수 있는 하드웨어로 구현될 수 있다.
도 12a는 도 9 또는 도 10에 도시된 깊이 센서 픽셀의 일 실시 예에 따른 회로도이다.
도 9, 도 10, 및 도 12a를 참조하면, TOF 방법(time of flight method)을 이용한 TOF 센서 픽셀, 예컨대 깊이 센서 픽셀 센서(D)는 4-트랜지스터들을 포함하는 1-탭(1-tap) 구조로 구현될 수 있다.
깊이 센서 픽셀 센서(D)는 포토 다이오드(PD)와 4개의 트랜지스터들(TX, RX, DX, 및 SX)을 포함한다.
포토 다이오드(PD)는 입사된 빛에 따라 광 전하들을 생성한다. 포토 다이오드(PD)는 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 또는 핀드포토다이오드(pinned photo diode(PPD)) 등으로 구현될 수 있다.
전송 트랜지스터(transfer transistor; TX)는 전송 제어 신호 라인(TG)을 통하여 전송된 전송 제어 신호에 응답하여 포토 다이오드(PD)에서 생성된 광 전하들을 플로팅 확산 영역(floating diffusion region(FD))으로 전송한다.
리셋 트랜지스터(reset transistor; RX)는 리셋 신호 라인(RS)을 통하여 전송된 리셋 신호에 응답하여 플로팅 확산 영역(FD)을 리셋시킨다.
드라이브 트랜지스터(drive transistor; DX)는 플로팅 확산 영역(FD)의 전압에 응답하여 동작하는 소오스 팔로워 버퍼 증폭기(source follower buffer amplifier)의 기능을 수행한다.
선택 트랜지스터(select transistor; SX)는 선택 신호 라인(SEL)을 통하여 전송된 선택 신호에 응답하여 포토 다이오드(PD)에서 생성된 광 전하들에 대응되는 픽셀 신호를 픽셀 신호 라인(PIXEL)으로 전송한다.
도 12a에는 설명의 편의를 위해 포토 다이오드(PD)와 4-트랜지스터들(TX, RX, DX, 및 SX)을 포함하는 깊이 센서 픽셀(D)이 도시되었으나, 깊이 센서 픽셀(D)은 포트 다이오드와 3-트랜지스터들을 포함하는 깊이 센서 픽셀, 또는 포트 다이오드와 5-트랜지스터들을 포함할 수 있다.
도 12b는 도 9 또는 도 10에 도시된 깊이 센서 픽셀의 다른 실시 예에 따른 회로도이다.
도 2, 도 9, 도 10, 도 12a, 및 도 12b를 참조하면, 도 9 또는 도 10에 도시된 깊이 센서 픽셀(D)의 다른 실시 예에 따른 TOF 방법을 이용한 깊이 센서 픽셀 (D')은 제1깊이 센서 픽셀(D1)과 제2깊이 센서 픽셀(D2)을 포함하는 2-탭 구조로 구현될 수 있다.
제1깊이 센서 픽셀(D1)과 제2깊이 센서 픽셀(D2)은 실질적으로 동일한 구조를 갖는다.
각 포토 게이트(PG1과 PG2)를 제외하면, 도 12a에 도시된 깊이 센서 픽셀(D)의 구조와 동작은 각 깊이 센서 픽셀(D1과 D2)의 구조와 동작과 실질적으로 동일하다.
제1게이트 신호(Pa)의 위상과 제2게이트 신호(Pb)의 위상 차이는 180°일 수 있다. 제1포토 게이트(PG1)는 제1게이트 신호(Pa)에 따라 게이팅(gating)되고, 제2포토 게이트(PG2)는 제2게이트 신호(Pb)에 따라 게이팅된다.
도 2와 도 12b를 참조하면, 픽셀 어레이(110)에 포함된 깊이 센서 픽셀(D)이 2-탭 구조를 갖는 깊인 센서 픽셀(D')로 구현될 때, 컨트롤 로직(120)은 제1게이트 신호(Pa)와 제2게이트 신호(Pb) 각각을 픽셀 어레이(110)에 포함된 복수의 깊이 센서 픽셀들(D) 각각으로 공급하기 위한 회로를 포함할 수 있다.
도 2, 도 9, 도 10, 및 도 12b를 참조하면, 픽셀 어레이(110)에 포함된 깊이 센서 픽셀(D)이 2-탭 구조를 갖는 깊이 센서 픽셀(D')로 구현될 때, 픽셀 어레이는 선택 신호 라인(SEL), 2개의 픽셀 신호 라인들(PIXEL1과 PIXEL2), 2개의 전송 제어 신호 라인들(TG1과 TG2), 2개의 포토 게이트 신호(Pa와 Pb)를 전송하기 위한 신호 라인들, 및 리셋 신호 라인(RS)을 포함할 수 있으나 이에 한정되는 것은 아니다.
예컨대, 도 9에 도시된 배선 중에서, 픽셀 신호 라인(PIXEL) 대신에 픽셀 신호 라인들(PIXEL1 및 PIXEL2)이 배치될 수 있으며, 이 경우 픽셀 신호 라인(PIXEL1 또는 PIXEL2)과 컬럼 AER 리셋 신호 라인(ACKX)이 공유될 수 있다.
도 13은 도 1에 도시된 이미지 센서의 다른 실시 예에 따른 블록도이다.
도 1과 도 13을 참조하면, 도 1에 도시된 이미지 센서(100)의 다른 실시 예에 따른 이미지 센서(100B)는 깊이 센서 픽셀 어레이(110A)와 모션 센서 픽셀 어레이(110B)를 포함한다. 깊이 센서 픽셀 어레이(110A)는 깊이 센서 픽셀들(D)만을 포함하고 모션 센서 픽셀 어레이(110B)는 모션 센서 픽셀들(M)만을 포함한다.
로우 드라이버(130)는, 컨트롤 로직(120)의 제어에 따라, 깊이 센서 픽셀 어레이(110A)에 포함된 깊이 센서 픽셀들(D)을 활성화시킬 수 있다.
모션 센서 픽셀 인에이블 컨트롤러(140)는, 컨트롤 로직(120)의 제어에 따라, 모션 센서 픽셀 어레이(110B)에 포함된 모션 센서 픽셀들(M) 각각의 활성화 여부를 제어할 수 있다.
도 14는 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이고, 도 15는 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다.
도 1, 도 14, 및 도 15를 참조하면, 도 1에 도시된 이미지 센서(100)의 또 다른 실시 예에 따른 이미지 센서(100C 또는 100D)는, 모션 센서 픽셀 인에이블 컨트롤러(140)를 포함하지 않을 수 있다.
픽셀 신호 처리 회로(150)는, 제어 로직(120)의 제어에 따라, 복수의 모션 센서 픽셀들(M) 각각의 출력을 제어할 수 있다.
즉, 복수의 모션 센서 픽셀들(M)이 인에이블되어 있는 상태에서, 픽셀 신호 처리 회로(150)는 깊이 센서 픽셀(D)과 모션 센서 픽셀(M) 각각의 출력을 제어할 수 있다.
실시 예에 따라, 복수의 모션 센서 픽셀들(M) 각각이 DVS 픽셀로 구현될 때, 복수의 모션 센서 픽셀들(M) 각각은, 픽셀 신호 처리 회로(150)로부터 전송된 신호에 따라, 이벤트 신호를 출력하지 않을 수 있다.
도 16은 도 2에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이고, 도 17은 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 2, 도 16, 및 도 17을 참조하면, 도 2에 도시된 이미지 센서(100A)의 다른 실시 예에 따른 이미지 센서(100A-2 또는 100A-3)는 각각이 DVS 픽셀로 구현된 모션 픽셀 센서를 포함한다.
도 16을 참조하면, 도 2에 도시된 픽셀 신호 처리 회로(150)의 다른 실시 예에 따른 픽셀 신호 처리 회로(150B)에 포함된 컬럼 AER(154)과 리드아웃 회로(156) 각각은 별개의 회로로 구현될 수 있다. 또한, 픽셀 신호 처리 회로(150B)에 포함된 로우 AER(158)은 로우 드라이버(130)와 같은 쪽에 구현될 수 있다.
로우 AER & 로우 드라이버 블록(132)은 로우 드라이버(130)와 로우 AER(158)을 포함할 수 있다.
로우 AER & 로우 드라이버 블록(132)은 기능적으로 논리적으로 로우 AER (158)과 로우 드라이버(130) 각각으로 분리될 수도 있음을 나타내며, 반드시 별도의 회로를 의미하는 것은 아니다.
도 17을 참조하면, 도 2에 도시된 픽셀 신호 처리 회로(150)의 다른 실시 예에 따른 픽셀 신호 처리 회로(150C)는 컬럼 AER & 리드아웃 회로 블록(column address event representation(AER) & read-out circuit block; 152)과 로우 AER (158)를 포함할 수 있다.
컬럼 AER & 리드아웃 회로 블록(152)은 컬럼 AER(154)과 리드아웃 회로(156)를 포함할 수 있다.
컬럼 AER & 리드아웃 회로 블록(152)은 기능적으로 논리적으로 컬럼 AER (154)과 리드아웃 회로(156) 각각으로 분리될 수도 있음을 나타내며, 반드시 별도의 회로를 의미하는 것은 아니다.
실시 예에 따라, 컬럼 AER & 리드아웃 회로 블록(152)은 모션 센서 픽셀(M)로부터 출력된 이벤트 신호와, 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호를 하나의 방법 또는 로직으로 처리할 수 있다. 이 경우, 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호를 아날로그-디지털 변환(analoge-digital converting)하기 위한 별도의 블록이 컬럼 AER & 리드아웃 회로 블록(152)의 내부 또는 외부에 구현될 수 있다.
로우 AER(158)은 로우 드라이버(130)의 반대 쪽에 구현될 수 있다.
광량의 변화에 따라 이벤트 신호를 출력한 모션 센서 픽셀의 로우 어드레스 값은 로우 AER(158)로부터 컬럼 AER & 리드아웃 회로 블록(152)으로 전송될 수 있다.
도 18은 도 17에 도시된 픽셀 신호 처리 회로의 변형 예의 블록도이다.
도 17과 도 18을 참조하면, 도 17에 도시된 픽셀 신호 처리 회로(150C)의 변형 예에 따른 픽셀 신호 처리 회로(150C')는 컬럼 AER & AFE 회로 블록(columnn AER & analog front end(AFE) circuit block; 152'), 로우 AER(158), 출력 선택 회로(160'), 및 ADC 블록(analog-digital converter(ADC) block; 172)을 포함할 수 있다.
컬럼 AER & AFE 회로 블록(152')은 컬럼 AER(154)와 AFE 회로(170)를 포함할 수 있다.
AFE 회로(170)는 리드아웃 회로(156)에 포함된 구성들 중에서 아날로그-디지털 변환을 수행하기 이전 단계의 구성들을 포함하는 회로를 의미할 수 있다.
컬럼 AER & AFE 회로 블록(152')은 기능적으로 논리적으로 컬럼 AER(154)과 AFE 회로(170) 각각으로 분리될 수도 있음을 나타내며, 반드시 별도의 회로를 의미하는 것은 아니다.
실시 예에 따라, 컬럼 AER & AFE 회로 블록(152')은 모션 센서 픽셀(M)로부터 출력된 이벤트 신호와, 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호를 하나의 방법 또는 로직으로 처리할 수 있다.
컬럼 AER & AFE 회로 블록(152')은 모션 센서 픽셀(M)로부터 출력된 이벤트 신호와 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호를 처리할 수 있다.
컬럼 AER & AFE 회로 블록(152')은, 처리 결과에 따라, 아날로그-디지털 변환을 필요로 하는 처리 결과(예컨대, 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호의 처리 결과)를 ADC 블록(172)으로 전송하고, 아날로그-디지털 변환을 필요로 하지 않는 처리 결과(예컨대, 모션 센서 픽셀(M)로부터 출력된 이벤트 신호의 처리 결과)를 출력 선택 회로(160')로 전송할 수 있다.
ADC 블록(172)은 컬럼 AER & AFE 회로 블록(152')으로부터 전송된 처리 결과 (예컨대, 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호의 처리 결과)를 아날로그-디지털 변환하고, 변환된 디지털 신호를 출력 선택 회로(160')로 전송할 수 있다.
실시 예에 따라, ADC 블록(172)은, 도시되지 않은, 상관 이중 샘플링 회로 (correlated double sampling (CDS) circuit), 램프 신호 생성기(ramp signal generator), 비교기(comparator), 및 카운터(counter) 등을 포함할 수 있다.
출력 선택 회로(160')는 컬럼 AER & AFE 회로 블록(152')으로부터 전송된 신호와 ADC 블록(172)으로부터 전송된 신호를 컨트롤 로직(120)의 제어에 따라 선택 및 처리하고 처리의 결과로서 이미지 데이터(IDATA)를 출력할 수 있다.
도 19는 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 19를 참조하면, 도 2에는 도시된 픽셀 신호 처리 회로(150)의 다른 실시 예에 따른 픽셀 신호 처리 회로(150D)를 포함하는 이미지 센서(100A-4)가 도시된다. 픽셀 신호 처리 회로(150D)에 포함된 로우 AER(158)는 로우 드라이버(130)와 같은 쪽에 구현될 수 있다.
로우 AER & 로우 드라이버 블록(132)은 로우 드라이버(130)와 로우 AER(158)을 포함할 수 있다.
로우 AER & 로우 드라이버 블록(132)은 기능적으로 논리적으로 로우 AER (158)과 로우 드라이버(130) 각각으로 분리될 수도 있음을 나타내며, 반드시 별도의 회로를 의미하는 것은 아니다.
도 20부터 도 23은 도 14에 도시된 픽셀 신호 처리 회로의 실시 예들을 포함하는 이미지 센서들의 블록도이다.
도 14, 및 도 20부터 도 23을 참조하면, 도 14에 도시된 이미지 센서(100C)의 각 실시 예에 따른 이미지 센서(100C-1 내지 100C-4)는 각각이 DVS 픽셀로 구현된 모션 센서 픽셀(M)을 포함하고, 별도의 모션 센서 픽셀 인에이블 컨트롤러(도 2의 140)를 포함하지 않는다.
각 이미지 센서(100C-1~100C-4)의 픽셀 어레이(110)에 포함된 복수의 모션 센서 픽셀들(M) 각각이 인에이블되면, 컬럼 AER(154) 및 로우 AER(158)에 의해 출력이 제어될 수 있다.
도 11, 및 도 20부터 도 23을 참조하면, 컬럼 AER(154)와 로우 AER(158)은, 컨트롤 로직(120)의 제어에 따라, 각 이벤트 신호를 발생시키기 위한 기준으로 사용되는 각 모션 센서 픽셀(M)의 노드의 전압(Vout)을 초기 상태(예컨대, 리셋 상태)로 유지시킨다. 따라서 각 모션 센서 픽셀(M)은 이벤트 신호를 발생하지 않는다.
예컨대, 모드 선택 신호(MSEL)에 따라, 깊이 센서 픽셀들(D)이 인에이블된 경우, 컬럼 AER(154)와 로우 AER(158)은, 컨트롤 로직(120)의 제어에 따라, 각 모션 센서 픽셀(M)이 이벤트 신호를 출력하지 않도록 각 모션 센서 픽셀(M)을 제어할 수 있다.
도 24는 본 발명의 일 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 1부터 도 3, 및 도 13부터 도 24를 참조하면, 제어 로직(120)은 모드 선택 신호(MSEL)에 기초하여 깊이 센서 픽셀(D)과 모션 센서 픽셀(M) 중에서 어느 하나를 활성화시킬 수 있다(S10).
실시 예에 따라, 모드 선택 신호(MSEL)는 주변 회로(220)에 의해서 검출된 사용자 입력에 대한 분석의 결과에 따라 CPU(210)에서 생성될 수 있다.
실시 예에 따라, 제어 로직(120)은 로우 드라이버(130)를 이용하여 깊이 센서 픽셀(D)을 활성화시키고, 제어 로직(120)은 모션 센서 픽셀 인에이블 컨트롤러 (140)를 이용하여 모션 센서 픽셀(M)을 활성화시킬 수 있다.
픽셀 신호 처리 회로(150)는 깊이 센서 픽셀(D)과 모션 센서 픽셀(M) 중에서 활성화된 어느 하나로부터 출력된 픽셀 신호를 처리할 수 있다(S12).
도 25는 본 발명의 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 1부터 도 3, 및 도 13부터 도 25를 참조하면, 이미지 처리 시스템(10)으로 전원이 인가될 때, CPU(210)는 디폴트로 정해진 레벨을 갖는 모드 선택 신호 (MSEL)를 출력할 수 있다. 예컨대, 컨트롤 로직(120)은 모드 선택 신호(MSEL)에 기초하여 모션 센서 픽셀(M)을 디폴트로 활성화시킬 수 있다(S20).
활성화된 모션 센서 픽셀(M)로부터 출력된 픽셀 신호는 픽셀 신호 처리 회로 (150)에 의해서 처리되고, 처리된 신호는 이미지 데이터(IDATA)로서 ISP(200)로 공급될 수 있다. ISP(200)는 이미지 데이터(IDATA)를 처리하고 처리된 이미지 데이터 (IDATA')를 CPU(210)로 전송할 수 있다. CPU(210)는 처리된 이미지 데이터(IDATA')에 기초하여 모드 선택 신호(MSEL)의 레벨을 변경할 수 있다(S22).
즉, CPU(210)는 모션 센서 픽셀(M)로부터 출력된 픽셀 신호에 기초하여 모드 선택 신호(MSEL)의 레벨을 변경할 수 있다.
도 25의 S24 단계와 S26 단계는 도 24의 S10 단계와 S12 단계와 실질적으로 동일하므로 이에 대한 상세한 설명은 생략한다.
도 26은 본 발명의 또 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 2, 도 3, 도 13부터 도 23, 및 도 26을 참조하면, 모션 센서 픽셀 인에이블 컨트롤러(140)는 모션 센서 픽셀(M)을 활성화시킬 수 있다(S30).
제어 로직(120)은, 모드 선택 신호(MSEL)에 기초하여, 깊이 센서 픽셀(D)의 활성화 여부를 결정할 수 있다(S32).
픽셀 신호 처리 회로(150)는 모션 센서 픽셀(M)과 깊이 센서 픽셀(D) 중의 어느 하나로부터 출력된 픽셀 신호를 처리할 수 있다(S34).
실시 예에 따라, 깊이 센서 픽셀(D)이 활성화될 때 픽셀 신호 처리 회로 (150)는 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호를 처리하고, 깊이 센서 픽셀 (D)이 활성화되지 않을 때 픽셀 신호 처리 회로(150)는 모션 센서 픽셀(D)로부터 출력된 픽셀 신호를 처리할 수 있다.
다른 실시 예에 따라, 깊이 센서 픽셀(D)이 활성화될 때, 출력 선택 회로 (160)는 모션 센서 픽셀(M)로부터 출력된 픽셀 신호와 깊이 센서 픽셀(D)로부터 출력된 픽셀 신호 중에서 어느 하나를 선택 및 처리하여 이미지 데이터(IDATA)로서 출력할 수 있다.
도 27은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 전자 시스템의 블록도이다.
도 1과 도 27을 참조하면, 전자 시스템(1000)은 MIPI등록상표(mobile industry processor interface)를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대, PDA (personal digital assistants), PMP(portable multimedia player), IPTV(internet protocol television) 또는 스마트 폰(smart phone)으로 구현될 수 있다.
전자 시스템(1000)은 이미지 센서(100), 애플리케이션 프로세서(application processor; 1010), 및 디스플레이(1050)를 포함한다.
애플리케이션 프로세서(1010)에 구현된 CSI 호스트(camera serial interface(CSI) host; 1012)는 카메라 시리얼 인터페이스를 통하여 이미지 센서 (100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, 예컨대, CSI 호스트 (1012)는 디시리얼라이저(deserializer(DES))를 포함할 수 있고, CSI 장치(1041)는 시리얼라이저(serializer(SER))를 포함할 수 있다.
애플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1051)는 디시리얼라이저(DES)를 포함할 수 있다.
실시 예에 따라, 전자 시스템(1000)은 애플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 애플리케이션 프로세서(1010)에 포함된 PHY(PHYsical layer; 1013)와 RF 칩(1060)에 포함된 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
실시 예에 따라, 전자 시스템(1000)은 GPS(1020), 스토리지(storage; 1070), 마이크로폰(microphone(MIC); 1080), DRAM(dynamic random access memory; 1085) 및 스피커(speaker; 1090)를 더 포함할 수 있다.
전자 시스템(1000)은 Wimax(world interoperability for microwave access; 1030), WLAN(wireless lan; 1100) 및/또는 UWB(ultra wideband; 1110) 등을 이용하여 통신할 수 있다.
도 28은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 시스템의 블록도이다.
도 1과 도 28을 참조하면, 이미지 처리 시스템(1100)은 이미지 센서(100), 프로세서(1110), 메모리(1120), 디스플레이 유닛(1130) 및 인터페이스(1140)를 포함할 수 있다.
프로세서(1110)는 이미지 센서(100)의 동작을 제어할 수 있다. 예컨대, 프로세서(1110)는 이미지 센서(100)로부터 깊이 정보와 모션 정보에 기초하여 2차원 또는 3차원 이미지를 생성할 수 있다.
메모리(1120)는 프로세서(1110)의 제어에 따라 버스(1150)를 통하여 이미지 센서(100)의 동작을 제어하기 위한 프로그램과 프로세서(1110)에서 생성된 이미지를 저장할 수 있고, 프로세서(1110)는 저장된 정보를 액세스하여 상기 프로그램을 실행시킬 수 있다. 메모리(1120)는 예컨대, 불휘발성 메모리(non-volatile memory)로 구현될 수 있다.
이미지 센서(100)는 프로세서(1110)의 제어 하에 각 디지털 픽셀 신호, 예컨대, 깊이 센서 픽셀로부터 출력된 정보 및/또는 모션 센서 픽셀로부터 출력된 모션 정보에 기초하여 2차원 또는 3차원 이미지 정보를 생성할 수 있다.
디스플레이 유닛(1130)은 이미지를 프로세서(1110) 또는 메모리 (1120)로부터 수신하여 디스플레이, 예컨대, LCD(Liquid Crystal Display), LED 디스플레이, OLED 디스플레이, AMOLED(Active Matrix Organic Light Emitting Diodes) 디스플레이, 또는 플렉시블 디스플레이(flexible display)를 통하여 디스플레이할 수 있다.
인터페이스(1140)는 2차원 또는 3차원 이미지를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(1140)는 무선 인터페이스로 구현될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 이미지 처리 시스템
100, 100A~100D, 100A-1~100A-4, 100C-1~100C-4 : 이미지 센서
110, 110A, 110B : 픽셀 어레이(pixel array)
120 : 제어 로직
130 : 로우 드라이버
140 : 모션 센서 픽셀 활성화 컨트롤러
150, 150A : 픽셀 신호 처리 회로
200 : ISP(Image Signal Processor)
205 : 디스플레이 유닛(display unit)
210 : CPU(Central Processing Unit)
220 : 주변회로

Claims (20)

  1. 깊이 센서 픽셀과 대상의 동작을 감지할 수 있는 모션 센서 픽셀을 포함하는 이미지 센서 칩의 동작 방법에 있어서,
    모드 선택 신호에 따라, 상기 깊이 센서 픽셀과 상기 모션 센서 픽셀 중에서 어느 하나를 활성화시키는 단계; 및
    활성화된 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함하는 이미지 센서 칩의 동작 방법.
  2. 제1항에 있어서, 상기 활성화시키는 단계 이전에,
    상기 모션 센서 픽셀을 디폴트로 활성화시키는 단계; 및
    디폴트로 활성화된 모션 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 상기 모드 선택 신호의 레벨을 변경하는 단계를 더 포함하는 이미지 센서 칩의 동작 방법.
  3. 제2항에 있어서, 상기 모드 선택 신호의 레벨을 변경하는 단계는,
    디폴트로 활성화된 상기 모션 센서 픽셀로부터 출력된 상기 픽셀 신호의 처리 결과에 따라 생성된 데이터가 기준 데이터와 서로 일치할 때, 상기 모드 선택 신호의 상기 레벨을 변경하는 이미지 센서 칩의 동작 방법.
  4. 제1항에 있어서, 상기 활성화시키는 단계 이전에,
    사용자 입력을 분석하는 단계; 및
    분석의 결과에 따라 상기 모드 선택 신호를 생성하는 단계를 더 포함하는 이미지 센서 칩의 동작 방법.
  5. 제1항에 있어서,
    상기 모션 센서 픽셀은 DVS(dynamic vision sensor) 픽셀이고,
    상기 깊이 센서 픽셀은 TOF(time-of-flight) 방법으로 상기 대상과 상기 이미지 센서 칩 사이의 깊이 정보를 얻을 수 있는 TOF 센서 픽셀인 이미지 센서 칩의 동작 방법.
  6. 깊이 센서 픽셀과 대상의 동작을 감지할 수 있는 모션 센서 픽셀을 포함하는 이미지 센서 칩의 동작 방법에 있어서,
    상기 모션 센서 픽셀을 활성화시키는 단계;
    모드 선택 신호에 따라, 상기 깊이 센서 픽셀의 활성화 여부를 결정하는 단계; 및
    결정의 결과와 상기 모드 선택 신호에 기초하여, 상기 모션 센서 픽셀과 상기 깊이 센서 픽셀 중에 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함하는 이미지 센서 칩의 동작 방법.
  7. 제6항에 있어서, 상기 픽셀 신호를 처리하는 단계는,
    상기 깊이 센서 픽셀이 활성화될 때 상기 깊이 센서 픽셀로부터 출력된 픽셀 신호를 처리하고,
    상기 깊이 센서 픽셀이 활성화되지 않을 때 상기 모션 센서 픽셀로부터 출력된 픽셀 신호를 처리하는 이미지 센서 칩의 동작 방법.
  8. 제6항에 있어서,
    상기 모션 센서 픽셀은 DVS(dynamic vision sensor) 픽셀이고,
    상기 깊이 센서 픽셀은 TOF(time-of-flight) 방법으로 상기 대상과 상기 이미지 센서 칩 사이의 깊이 정보를 얻을 수 있는 TOF 센서 픽셀인 이미지 센서 칩의 동작 방법.
  9. 복수의 깊이 센서 픽셀들을 포함하는 깊이 센서 픽셀 그룹과 각각이 대상의 동작을 감지할 수 있는 복수의 모션 센서 픽셀들을 포함하는 모션 센서 픽셀 그룹을 포함하는 픽셀 어레이;
    모드 선택 신호에 따라, 상기 깊이 센서 픽셀 그룹과 상기 모션 센서 픽셀 그룹 중에서 어느 하나의 그룹을 활성화시키기 위한 컨트롤 회로; 및
    활성화된 어느 하나의 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 픽셀 신호 처리 회로를 포함하는 이미지 센서 칩.
  10. 제9항에 있어서,
    상기 컨트롤 회로의 제어에 따라, 상기 모션 센서 픽셀 그룹으로 공급되는 전원을 제어하기 위한 모션 센서 픽셀 인에이블 컨트롤러를 더 포함하는 이미지 센서 칩.
  11. 제9항에 있어서,
    상기 복수의 모션 센서 픽셀들 각각은 DVS(dynamic vision sensor) 픽셀이고,
    상기 픽셀 신호 처리 회로는,
    상기 복수의 모션 센서 픽셀들로부터 생성된 복수의 이벤트 신호들 중에서 적어도 어느 하나를 처리할 수 있는 로우 AER(address event representation)); 및
    상기 복수의 모션 센서 픽셀들로부터 생성된 복수의 이벤트 신호들 중에서 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고,
    상기 로우 AER은 상기 복수의 깊이 센서 픽셀들을 활성화시키기 위한 로우 드라이버의 반대 쪽에 배치되는 이미지 센서 칩.
  12. 제9항에 있어서,
    상기 복수의 모션 센서 픽셀들 각각은 DVS 픽셀이고,
    상기 픽셀 신호 처리 회로는,
    상기 복수의 모션 센서 픽셀들로부터 생성된 복수의 이벤트 신호들 중에서 적어도 어느 하나를 처리할 수 있는 로우 AER; 및
    상기 복수의 모션 센서 픽셀들로부터 생성된 복수의 이벤트 신호들 중에서 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고,
    상기 로우 AER은 상기 복수의 깊이 센서 픽셀들을 활성화시키기 위한 로우 드라이버와 같은 쪽에 배치되는 이미지 센서 칩.
  13. 제9항에 있어서,
    상기 모션 센서 픽셀 그룹과 상기 깊이 센서 픽셀 그룹은 서로 분리되어 배치되는 이미지 센서 칩.
  14. 제9항에 있어서,
    상기 복수의 모션 센서 픽셀들 각각은 상기 깊이 센서 픽셀들 사이에 배치되는 이미지 센서 칩.
  15. 제9항에 있어서,
    상기 복수의 모션 센서 픽셀들은 상기 깊이 센서 픽셀 그룹의 가장 자리들 (edges)에 배치되는 이미지 센서 칩.
  16. 제9항에 있어서,
    상기 복수의 모션 센서 픽셀들과 상기 복수의 깊이 센서 픽셀들 중에서 동일한 컬럼 어드레스를 가지는 모션 센서 픽셀과 깊이 센서 픽셀은 적어도 하나의 신호 라인을 공유하는 이미지 센서 칩.
  17. 제9항에 있어서, 상기 픽셀 신호 처리 회로는
    상기 모션 센서 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 모션 센서 픽셀 신호 처리 회로; 및
    상기 깊이 센서 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 깊이 센서 픽셀 신호 처리 회로를 포함하는 이미지 센서 칩.
  18. 제17항에 있어서,
    상기 모션 센서 픽셀 신호 처리 회로의 출력과 상기 깊이 센서 픽셀 신호 처리 회로의 출력 중의 어느 하나를 선택하기 위한 출력 선택 회로를 더 포함하는 이미지 센서 칩.
  19. 제9항의 이미지 센서 칩;
    상기 이미지 센서로부터 출력된 이미지 데이터를 처리하기 위한 ISP(image signal processor); 및
    처리된 이미지 데이터를 상기 ISP로부터 수신하고, 상기 처리된 이미지 데이터에 기초하여 모드 선택 신호를 생성하기 위한 CPU를 포함하는 SoC(system on chip).
  20. 깊이 센서 픽셀과 모션 센서 픽셀을 포함하는 픽셀 어레이;
    모드 선택 신호에 따라, 상기 깊이 센서 픽셀로부터 전송된 신호와 상기 모션 센서 픽셀로부터 전송된 신호 중의 어느 하나를 선택하고, 선택된 신호를 출력하기 위한 출력 선택 회로를 포함하는 이미지 센서 칩.
KR1020120073439A 2012-07-05 2012-07-05 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 Active KR101896666B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120073439A KR101896666B1 (ko) 2012-07-05 2012-07-05 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US13/835,497 US9055242B2 (en) 2012-07-05 2013-03-15 Image sensor chip, method of operating the same, and system including the image sensor chip
DE102013106685.2A DE102013106685A1 (de) 2012-07-05 2013-06-26 Bildsensorchip, Verfahren zum Betreiben desselben und System mit dem Bildsensorchip
CN201310280692.5A CN103533234B (zh) 2012-07-05 2013-07-05 图像传感器芯片、操作方法和包括图像传感器芯片的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120073439A KR101896666B1 (ko) 2012-07-05 2012-07-05 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템

Publications (2)

Publication Number Publication Date
KR20140006465A KR20140006465A (ko) 2014-01-16
KR101896666B1 true KR101896666B1 (ko) 2018-09-07

Family

ID=49780784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120073439A Active KR101896666B1 (ko) 2012-07-05 2012-07-05 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템

Country Status (4)

Country Link
US (1) US9055242B2 (ko)
KR (1) KR101896666B1 (ko)
CN (1) CN103533234B (ko)
DE (1) DE102013106685A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
KR102061699B1 (ko) * 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
US10079019B2 (en) 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device
KR102307610B1 (ko) * 2014-01-29 2021-10-05 엘지이노텍 주식회사 깊이 정보 추출 장치
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9544520B2 (en) 2014-04-28 2017-01-10 Samsung Electronics Co., Ltd. Analog signal generation circuit
US9619377B2 (en) 2014-05-29 2017-04-11 Apple Inc. System on a chip with always-on processor which reconfigures SOC and supports memory-only communication mode
US10031000B2 (en) 2014-05-29 2018-07-24 Apple Inc. System on a chip with always-on processor
US9778728B2 (en) 2014-05-29 2017-10-03 Apple Inc. System on a chip with fast wake from sleep
KR102251374B1 (ko) 2014-08-18 2021-05-12 삼성전자주식회사 이미지 센싱 장치 및 그 장치의 동작 방법
US9479331B2 (en) 2014-08-20 2016-10-25 Apple Inc. Managing security in a system on a chip (SOC) that powers down a secure processor
US9967500B2 (en) * 2014-09-29 2018-05-08 Samsung Electronics Co., Ltd. Systems and methods of selective output for reducing power
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US10822076B2 (en) 2014-10-01 2020-11-03 Sikorsky Aircraft Corporation Dual rotor, rotary wing aircraft
US20170267338A1 (en) 2014-10-01 2017-09-21 Sikorsky Aircraft Corporation Acoustic signature variation of aircraft utilizing a clutch
KR102347249B1 (ko) 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105844128B (zh) * 2015-01-15 2021-03-02 北京三星通信技术研究有限公司 身份识别方法和装置
FR3033973A1 (fr) * 2015-03-16 2016-09-23 Univ Pierre Et Marie Curie Paris 6 Procede de reconstruction 3d d'une scene
US20160290790A1 (en) * 2015-03-31 2016-10-06 Google Inc. Method and apparatus for increasing the frame rate of a time of flight measurement
CN105049750A (zh) * 2015-07-02 2015-11-11 上海念瞳半导体科技有限公司 像素电路及其控制方法以及全局对比度探测图像传感器
KR102523136B1 (ko) 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102457724B1 (ko) 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
KR102421141B1 (ko) * 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
KR102381862B1 (ko) 2015-12-10 2022-04-01 삼성전자주식회사 데이터 통신 장치
US10229502B2 (en) 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
KR102621725B1 (ko) 2016-09-01 2024-01-05 삼성전자주식회사 데이터 출력 장치
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
US10909928B2 (en) 2017-06-23 2021-02-02 Huawei Technologies Co., Ltd. Image display apparatus and control method thereof
US20180373380A1 (en) * 2017-06-27 2018-12-27 Pixart Imaging Inc. Optical control key, operating method thereof, and image sensor
CN108833812B (zh) * 2018-06-25 2020-08-11 广东工业大学 一种图像传感器及图像动态信息处理方法
KR102606240B1 (ko) 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
EP3595295B1 (en) * 2018-07-11 2024-04-17 IniVation AG Array of cells for detecting time-dependent image data
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
US11521998B2 (en) 2018-09-18 2022-12-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device
WO2020100663A1 (ja) * 2018-11-16 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
US11798960B2 (en) 2019-03-13 2023-10-24 Sony Semiconductor Solutions Corporation Processing circuit and method for time-of-flight image sensor
CN110072040A (zh) * 2019-04-22 2019-07-30 东华大学 一种基于树莓派的图像采集装置
CN110177199A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 图像传感器芯片、摄像头模组、电子设备以及影像拍摄方法
KR102739422B1 (ko) * 2019-07-08 2024-12-06 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
US20210185284A1 (en) * 2019-12-13 2021-06-17 Sony Semiconductor Solutions Corporation EBS/ToF/RGB CAMERA FOR SMART SURVEILLANCE AND INTRUDER DETECTION
JP2021097312A (ja) * 2019-12-17 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び測距装置
KR20210083983A (ko) 2019-12-27 2021-07-07 에스케이하이닉스 주식회사 이미지 센싱 장치
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11108957B1 (en) 2020-06-17 2021-08-31 Microsoft Technology Licensing, Llc Low power operation of differential image sensor pixels
WO2021256290A1 (ja) * 2020-06-19 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置
ES2962472T3 (es) * 2020-06-26 2024-03-19 Alpsentek Gmbh Sensor de imagen delta con almacenamiento de píxeles digital
KR20220010192A (ko) 2020-07-17 2022-01-25 삼성전자주식회사 다기능 비행 거리 센서 및 그 동작 방법
TWI766329B (zh) * 2020-08-04 2022-06-01 新唐科技股份有限公司 資料接收電路及其資料接收方法
CN112505661B (zh) * 2020-11-23 2024-09-17 Oppo（重庆）智能科技有限公司 像素控制方法、像素模组、装置、终端及存储介质
CN112383715B (zh) * 2020-12-07 2022-05-17 Oppo（重庆）智能科技有限公司 图像获取装置、终端和图像获取方法
CN112714301B (zh) * 2020-12-21 2023-07-21 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器
CN114791295B (zh) * 2021-01-25 2025-08-08 群创光电股份有限公司 电子装置及该电子装置中传感器的制造方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066378A (ja) 2008-09-09 2010-03-25 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
US20100182468A1 (en) 2006-11-23 2010-07-22 Austrian Research Centers Gmbh-Arc Method for the generation of an image in electronic form, picture element (pixel) for an image sensor for the generation of an image as well as image sensor
US20100284565A1 (en) 2006-09-11 2010-11-11 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US20130037815A1 (en) 2010-04-16 2013-02-14 Nami Okajima Semiconductor device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988661B2 (en) * 2009-05-29 2015-03-24 Microsoft Technology Licensing, Llc Method and system to maximize space-time resolution in a time-of-flight (TOF) system
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101187471B1 (ko) 2010-12-27 2012-10-02 구기승 두루마리 부직행주
US9076706B2 (en) * 2011-01-07 2015-07-07 Samsung Electronics Co., Ltd. Image sensor based on depth pixel structure
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
US8878969B2 (en) * 2011-07-27 2014-11-04 Aptina Imaging Corporation Imaging systems with color filter barriers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284565A1 (en) 2006-09-11 2010-11-11 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US20100182468A1 (en) 2006-11-23 2010-07-22 Austrian Research Centers Gmbh-Arc Method for the generation of an image in electronic form, picture element (pixel) for an image sensor for the generation of an image as well as image sensor
JP2010066378A (ja) 2008-09-09 2010-03-25 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
US20130037815A1 (en) 2010-04-16 2013-02-14 Nami Okajima Semiconductor device

Also Published As

Publication number Publication date
DE102013106685A1 (de) 2014-01-09
KR20140006465A (ko) 2014-01-16
CN103533234A (zh) 2014-01-22
CN103533234B (zh) 2018-08-24
US20140009650A1 (en) 2014-01-09
US9055242B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
KR101896666B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR101887988B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US9693001B2 (en) Image sensor, operating method thereof, and system including same
US9257461B2 (en) Image device including dynamic vision sensor, ambient light sensor and proximity sensor function
KR102739422B1 (ko) 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
US9277146B2 (en) Image sensor, method of operating the same, and system including the image sensor
US9204143B2 (en) Image sensor, operation method thereof, and system including the same
US20140125994A1 (en) Motion sensor array device and depth sensing system and methods of using the same
US9973682B2 (en) Image sensor including auto-focusing pixel and image processing system including the same
KR101977711B1 (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
CN114035717B (zh) 使用tof传感器的动作识别设备及其操作方法
US20180048838A1 (en) Solid-state image pickup device, method for controlling the same, and electronic apparatus
US12279058B2 (en) Image sensor including a capacitor having a boosting control signal transitioned from a first level to a lower second level
CN107710745B (zh) 成像装置和控制方法
US20200029045A1 (en) Solid-state imaging device and electronic apparatus
HK1199999B (en) Image sensor with integrated ambient light detection
HK1199999A1 (en) Image sensor with integrated ambient light detection

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 8