[go: up one dir, main page]

KR101502372B1 - 영상 획득 장치 및 방법 - Google Patents

영상 획득 장치 및 방법 Download PDF

Info

Publication number
KR101502372B1
KR101502372B1 KR1020080118107A KR20080118107A KR101502372B1 KR 101502372 B1 KR101502372 B1 KR 101502372B1 KR 1020080118107 A KR1020080118107 A KR 1020080118107A KR 20080118107 A KR20080118107 A KR 20080118107A KR 101502372 B1 KR101502372 B1 KR 101502372B1
Authority
KR
South Korea
Prior art keywords
filter unit
unit
light
filter
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080118107A
Other languages
English (en)
Other versions
KR20100059361A (ko
Inventor
김성진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080118107A priority Critical patent/KR101502372B1/ko
Priority to US12/588,917 priority patent/US8345103B2/en
Publication of KR20100059361A publication Critical patent/KR20100059361A/ko
Application granted granted Critical
Publication of KR101502372B1 publication Critical patent/KR101502372B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

깊이 영상 및 칼라 영상을 획득하기 위한 영상 획득 장치가 제공된다. 상기 영상 획득 장치의 제1 필터부는 가시광선에 대응하는 제1 파장 대역의 빛을 통과시키도록 구성된다. 그리고 제2 필터부는 적외선에 대응하는 제2 파장 대역의 빛을 통과시키도록 구성된다. 한편, 상기 영상 획득 장치의 센서부는 상기 제1 파장 대역의 빛 및 상기 제2 파장 대역의 빛을 감지할 수 있으며, 상기 제1 필터부 및 상기 제2 필터부 중 적어도 하나는 구동부에 의해 구동될 수 있다.
Figure R1020080118107
깊이 영상, 3D 영상, Depth Image.

Description

영상 획득 장치 및 방법{APPARATUS AND METHOD FOR OBTAINING AN IMAGE}
본 발명은 깊이 영상과 칼라 영상을 획득하기 위한 영상 획득 장치 및 방법에 관한 것으로서, 보다 특정하게는 시분할 통합 센싱 구조(unified sensing architecture based on time-multiplexing readout)에 관한 것이다.
디지털 카메라나 캠코더의 경우 칼라 및 광량(color and intensity) 정보를 획득하여 영상을 생성하는데, 이를 2D 카메라 시스템이다. 한편 칼라 정보뿐만 아니라 깊이(depth) 정보를 함께 획득하여 3D(3-Dimensional) 영상을 생성하는 것이 3D 카메라 시스템이다. 통상적으로 깊이 영상을 획득하기 위해서, 적외선(Infra Red; IR)이 조사되고, 상기 조사된 적외선이 반사되어 센서에 감지되는 시간(Time Of Flight; TOF)을 이용하여 3D 카메라와 객체 사이의 거리(이하에서는 "깊이"라고 한다)가 계산된다. 한편, 칼라 정보 및 깊이 정보를 모두 획득할 수 있는 센서가 통합 센서인데, 이 통합 센서의 구조는 크게 두 가지로 나눌 수 있다.
첫째는 공간 분할 기반 통합 센싱 구조이다. 이 구조에서, 센서는 칼라 정보를 감지하는 복수 개의 픽셀과 깊이 정보를 감지하는 복수 개의 픽셀을 포함한다. 그리고 상기 칼라 정보를 감지하는 픽셀과 깊이 정보를 감지하는 픽셀들은, 센서 내의 어레이 구조에서 일정 패턴을 가지고 분포한다.
둘째는 시분할 기반 통합 센싱 구조이다. 이 구조에서는 센서 내의 동일한 픽셀이 칼라 정보 및 깊이 정보 모두를 감지할 수 있다. 그리고 센서의 각 픽셀은 시간 차이를 두고 칼라 정보와 깊이 정보를 획득한다. 최근 이러한 시분할 기반 통합 센싱 구조에 대한 연구가 주목을 받고 있다.
한편, 상기 시분할 기반 통합 센싱 구조에서는 동일한 픽셀이 칼라 정보와 깊이 정보 모두를 획득해야 하기 때문에 통상의 2D 카메라 시스템에서 사용되는 필터와는 다른 필터 구조가 요구된다.
본 발명의 일부 실시예는, 시분할 기반 통합 센싱 구조에서 칼라 정보를 획득하기 위한 프레임에서 센서에 의해 적외선이 감지되는 것을 방지하고, 반대로 깊이 정보를 획득하기 위한 프레임에서 센서에 의해 가시광선이 감지되는 것을 방지하는 영상 획득 장치 및 방법을 제공하기 위한 것이다.
본 발명의 다른 일부 실시예는, 칼라 색감의 열화를 줄이고, 깊이 영상의 품질을 향상시키는 영상 획득 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따르면, 가시광선에 대응하는 제1 파장 대역의 빛을 통과시키는 제1 필터부, 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부, 상기 제1 파장 대역의 빛 및 상기 제2 파장 대역의 빛을 감지하는 적어도 하나의 픽셀을 포함하는 센서부, 및 상기 센서부가 감지하는 빛을 필터링하기 위해 상기 제1 필터부 및 상기 제2 필터부 중 적어도 하나를 구동하는 구동부를 포함하는 영상 획득 장치가 제공된다.
상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 제1 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하고, 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 제2 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제1 필터부 및 상기 제2 필터부는 동일 한 회전축을 갖는다. 그리고, 상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 회전축을 중심으로 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하고, 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 회전축을 중심으로 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정한다.
한편, 상기 회전축은 상기 센서부에 빛이 입사되는 방향과 직교할 수 있다. 그러나, 다른 실시예에서 상기 회전축은 상기 센서부에 빛이 입사되는 방향과 평행할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제1 필터부의 회전축인 제1 회전축 및 상기 제2 필터부의 회전축인 제2 회전축은 서로 평행하다. 그리고, 상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하고, 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정한다.
본 발명의 다른 일 실시예에 따르면, 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부, 가시광선에 대응하는 제1 파장 대역의 빛 및 적외선에 대응하는 상기 제2 파장 대역의 빛을 통과시키는 제3 필터부, 상기 제1 파장 대역의 빛 및 상기 제2 파장 대역의 빛을 감지하는 적어도 하나의 픽셀을 포함하는 센 서부, 및 상기 센서부가 감지하는 빛을 필터링하기 위해 상기 제2 필터부를 구동하는 구동부를 포함하는 영상 획득 장치가 제공된다.
상기 제3 필터부는 상기 센서부가 감지하는 빛을 통과시키도록 고정될 수 있다.
한편, 상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 제2 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하지 않도록 조정하고, 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 제2 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정할 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 칼라 영상을 획득하기 위한 제1 구동 모드에서, 가시광선에 대응하는 제1 파장 대역의 빛을 통과시키는 제1 필터부를 구동하여, 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하는 단계, 및 깊이 영상을 획득하기 위한 제2 구동 모드에서, 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부를 구동하여, 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정하는 단계를 포함하는 영상 획득 방법이 제공된다.
본 발명의 또 다른 일 실시예에 따르면, 칼라 영상을 획득하기 위한 제1 구동 모드에서, 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부를 제거하여, 센서부가 감지하는 빛이 가시광선에 대응하는 제1 파장 대역의 빛 및 적외선에 대응하는 상기 제2 파장 대역의 빛을 통과시키는 제3 필터부를 통과하도록 조정하는 단계, 및 깊이 영상을 획득하기 위한 제2 구동 모드에서, 상기 제2 필터 부가 센서부에 근접하도록 구동하여, 상기 센서부가 감지하는 빛이 상기 제2 필터부 및 제3 필터부를 통과하도록 조정하는 단계를 포함하는 영상 획득 방법이 제공된다.
본 발명의 일부 실시예에 따르면, 칼라 정보를 획득하기 위한 프레임에서 적외선 감지가 감소하면서, 깊이 정보를 획득하기 위한 프레임에서 가시광선이 감지는 감소된다.
본 발명의 다른 일부 실시예에 따르면, 칼라 정보 또는 깊이 정보 내에서 노이즈의 영향이 감소될 수 있으며, 따라서 칼라 색감이 향상되고 3D 모델의 품질이 향상된다.
이하에서, 본 발명의 일 실시예에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치를 도시한다.
영상 획득 장치(100)는 가시 광선(visible light) 및 적외선(IR)을 수신하여, 칼라 영상 및 깊이 영상을 생성한다.
광 조사부(이를 테면, 적외선 LED)(101)은 제어 모듈(103)에 의해 제어되어, 조사 광(Emitted IR)을 조사한다. 상기 조사 광은 객체(object)에 반사되어 렌 즈(102)를 통해 영상 획득 장치(100)에 입사될 수 있다.
한편, 영상 획득 장치(100)는 적어도 두 가지 구동 모드(operation mode)를 갖는다. 제1 구동 모드는 칼라 영상을 획득하기 위한 것이다.
본 발명의 일 실시예에 따르면, 상기 제1 구동 모드에서, 필터 세트(filter set)(110)는 가시광선에 해당하는 빛만을 통과시킨다. 따라서, 이 경우 센서부(120)는 상기 제어 모듈(103)에 의해 제어되어 상기 필터 세트(110)를 통과한 빛을 감지하고, 전기적 신호(electric signal)를 프로세서(104)에 제공한다. 그리고, 상기 프로세서(104)는 상기 전기적 신호를 이용하여 칼라 영상을 생성한다.
한편, 상기 제2 구동 모드에서, 필터 세트(120)는 반사되어 돌아온 조사광(Reflected IR which was emitted by IR LED(101))을 통과시킨다. 따라서, 이 경우 센서부(120)는 상기 제어 모듈(103)에 의해 제어되어 상기 필터 세트(110)를 통과한 빛을 감지하여 전기적 신호를 프로세서(104)에 제공한다. 그리고, 상기 프로세서(104)는 상기 전기적 신호를 이용하여 깊이 영상을 생성한다.
필터 세트(110)는 구동부(130)에 의해 기계적(또는 전기적)으로 구동된다. 상기 필터 세트(110)의 상세한 구성 및 구동 특징은 도 2 내지 도 8을 참조하여 후술된다.
도 2는 본 명의 일 실시예에 따라 제1 필터부 및 제2 필터부가 구동되는 방법을 도시하는 개념도이다.
본 발명의 일 실시예에 따르면, 칼라 영상을 획득하는 프레임인 제1 구동 모드(201)에서, 도 1의 구동부(130)는, 광학 렌즈(102)를 통해 영상 획득 장치(100) 로 입사된 빛이 제1 필터부(210)를 통과하도록 제1 필터부(210)를 구동한다.
이 경우, 제2 필터(220)는 구동되지 않는다.
상기 제1 필터부(210)는 가시 광선에 대응하는 파장 영역의 빛을 통과시키는 특성을 갖는다. 예를 들어, 제1 필터부(210)는 400~700nm의 파장을 가진 빛을 통과시키고, 그 외의 파장을 가진 빛은 차단하는 특성을 갖는다. 다만, 상기 통과 하는 빛의 파장 대역은 예시적인 것이며, 본 발명은 이에 한정되지 않는다.
광학 렌즈(102)를 통해 입사된 빛은 다양한 파장의 스펙트럼을 갖는데, 상기 제1 필터를 통과함으로써 가시 광선에 대응하는 빛만이 센서부(230)에 도달한다. 따라서, 제1 구동 모드(201)에서 센서(230)에 의해 감지되는 빛은 가시 광선이다.
한편, 영상 획득 장치(100)는 소정의 시간(이를테면, 50분의 1초, 100분의 1초, 또는 500분의 1초 등) 이내에 상기 제1 구동 모드(201)에서 제2 구동 모드(202)로 전환한다.
이 경우, 상기 구동부(130)는 제1 필터부(210)의 회전축(211)을 중심으로 상기 제1 필터부(210)를 회전시켜, 상기 광학 렌즈(102)를 통해 입사된 빛이 제1 필터부(210)를 통과하지 않도록 한다.
깊이 영상을 획득하는 프레임인 제2 구동 모드(202)에서, 구동부(130)는, 광학 렌즈(102)를 통해 영상 획득 장치(100)로 입사된 빛이 제2 필터부(220)를 통과하도록 제2 필터부(220)를 구동한다.
상기 제2 필터부(220)는 적외선 중 특정 영역에 대응하는 파장 영역의 빛을 통과시키는 특성을 갖는다. 예를 들어, 도 1에서 광 조사부(101)에 의해 조사된 적외선(Emitted IR)이 800~900nm의 파장을 가지는 경우, 제2 필터부(220)는 상기 800~900nm의 파장을 갖는 빛을 통과시키고, 그 외의 파장을 가진 빛은 차단하는 특성을 갖는다. 다만, 상기 통과 하는 빛의 파장 대역은 예시적인 것이며, 상기 조사되는 적외선의 파장에 따라 다양한 변형이 가능하다.
광학 렌즈(102)를 통해 입사된 빛은 다양한 파장의 스펙트럼을 갖는데, 상기 제2 필터를 통과함으로써 상기 대역에 대응하는 적외선만이 센서부(230)에 도달한다. 따라서, 제2 구동 모드(202)에서 센서(230)에 의해 감지되는 빛은 적외선이다.
이러한 구성에 의해, 칼라 영상을 획득하기 위한 제1 구동 모드에서, 적외선의 영향으로 인한 칼라 색감 저하가 방지될 수 있고, 깊이 영상을 획득하기 위한 제2 구동 모드에서, 가시 광선의 영향으로 인한 깊이 정밀도 저하가 방지될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
본 발명의 일 실시예에 따르면, 가시 광선에 대응하는 파장을 갖는 빛을 통과시키는 제1 필터부(310)의 회전축(311)과 적외선에 대응하는 파장을 갖는 빛을 통과시키는 제2 필터부(320)의 회전축(321)은 평행하다.
칼라 영상을 획득하는 제1 구동 모드에서, 제1 필터부(310)가 도 1의 구동부(130)에 의해 구동된다. 그리고 제2 필터부(320)는 구동되지 않는다. 상기 제1 구동 모드에서, 광학 렌즈(102)를 통해 입사된 빛은 상기 제1 필터부(310)만을 통 과하고, 상기 제2 필터부(320)는 통과하지 않도록 조정된다.
한편 깊이 영상을 획득하는 제2 구동 모드에서, 제2 필터부(320)가 구동부(130)에 의해 구동된다. 제1 구동 모드에서 구동되지 않았던 상기 제2 필터부는 구동부(130)에 의해 상기 회전축(321)을 중심으로 시계 방향으로 회전된다. 그리고 제1 필터부(320)는 상기 회전축(311)을 중심으로 시계 방향으로 회전되어, 제거된다. 따라서 제1 필터부(310)는 빛을 통과시키지 않는다. 상기 제2 구동 모드에서, 광학 렌즈(102)를 통해 입사된 빛은 상기 제2 필터부(320)만을 통과하고, 상기 제1 필터부(310)는 통과하지 않도록 조정된다.
따라서, 센서부(330)가 제1 구동 모드 동안 감지한 빛은 가시 광선으로서, 칼라 영상을 생성하는 데에 이용되고, 상기 센서부(330)가 제2 구동 모드 동안 감지한 빛은 상기 조사된 IR 조사광으로서, 깊이 영상을 생성하는 데에 이용된다.
도 4는 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
본 발명의 일 실시예에 따르면, 제1 필터부(410)와 제2 필터부(420)는 동일한 회전축(411)을 가질 수 있다. 그리고, 상기 제1 필터부(410)와 제2 필터부(420)가 이루는 각도는 일정하게(이를 테면, 90도) 고정된다.
이 경우 상기 제1 필터부(410)와 제2 필터부(420)의 자유도는 낮아지지만, 회전축(411)을 공유하므로 구조는 간단해 질 수 있다. 또한, 구동에 소모되는 전력이 감소될 수 있다.
제1 구동 모드에서는 제1 필터부(410)가 센서부(430)와 평행하게 위치된다. 한편, 영상 획득 장치(100)가 제1 모드로부터 제2 모드로 전환하는 경우 상기 제1 필터부(410) 및 상기 제2 필터부(420)가 시계 방향으로 90도 회전하고, 이 경우 제2 필터(420)가 상기 센서부(430)와 평행하게 위치된다.
한편, 제1 필터부(410) 및 제2 필터부(420) 각각의 필터링 특성(characteristic)은 상기한 바와 같다.
도 5는 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
본 발명의 일 실시예에 따르면, 제1 필터부(510)와 제2 필터부(520)는 동일한 회전축(511)을 가질 수 있다. 그리고, 상기 제1 필터부(510)와 제2 필터부(520)가 이루는 각도는 일정하게 고정된다. 다만, 도 4의 실시예에서와 달리 상기 각도는 180도일 수 있다.
칼라 영상을 획득하기 위한 제1 구동 모드에서는 가시 광선을 통과시키는 제1 필터부(510)가 센서부(530)와 평행하게 위치된다. 한편, 영상 획득 장치(100)가 제1 모드로부터 제2 모드로 전환하는 경우 상기 제1 필터부(510) 및 상기 제2 필터부(520)가 시계 방향(또는 반시계 방향)으로 180도 회전한다. 그러면 적외선을 통과시키는 제2 필터(520)가 상기 센서부(530)와 평행하게 위치된다.
비록 상기 각도가 90도 또는 180도인 경우가 본 명세서에서 도면을 참조하여 설명되지만, 본 발명은 이에 한정되지 않는다. 본 기술 분야의 통상의 지식을 가진 자라면, 상기 각도나 회전 축의 위치 등은, 기계적 디자인에 따라 변경될 수 있음을 명확히 예상할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부를 도시한다.
상술한 도 4 또는 도 5의 실시예에서, 회전축(411 또는 511)의 방향은 센서부(430 또는 530) 표면의 방향과 평행하다. 그러나, 본 실시예에서는 회전축(611)의 방향이 센서부(630) 표면의 방향과 직교한다.
구동부(130)에 의해 제1 필터부(610)와 제2 필터부(620)가 회전한다. 칼라 영상을 획득하기 위한 제1 구동 모드에서는, 가시 광선 대역의 빛을 통과시키는 제1 필터부(610)가 센서부(630)의 앞에 위치하도록 조정된다. 한편, 깊이 영상을 획득하기 위한 제2 구동 모드에서는, 적외선을 통과시키는 제2 필터부(620)가 센서부(630)의 앞에 위치하도록 조정된다.
한편 도 6에서 도시되는 제1 필터부(610) 및 제2 필터부(620)의 상세한 구조는 본 발명의 사상을 벗어나지 않는 범위에서 다양하게 변경될 수 있으며, 본 발명은 특정 실시예에 의해 제한 해석되지 않는다.
도 7은 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 정면도(701)와 측면도(702)를 도시한다.
본 실시예에서 가시 광선을 통과시키는 제1 필터부(710)와 적외선을 통과시키는 제2 필터부(720)는 레일(rail)(711)을 통해 움직인다.
정면도(701)를 참조하면, 깊이 영상을 획득하기 위한 제2 구동 모드에서, 제2 필터부(720)가 센서부(730)의 앞으로 이동하고, 제1 필터부(710)은 센싱 범위(sensing area) 밖으로 이동된다. 한편, 칼라 영상을 획득하기 위한 제1 구동 모드에서는 상기 제2 필터부(720)와 제1 필터부(710)의 위치가 서로 바뀐다.
이 경우, 구동부(130)는 모터를 통해, 레일(711) 위에서의 상기 제2 필터부(710)와 제1 필터부(710)의 위치를 변경할 수 있다.
도 8은 본 발명의 또 다른 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
제3 필터부(820)는 가시광선 대역의 빛(이를 테면 파장이 400~700nm인 빛) 및 적외선 대역의 빛(이를 테면 파장이 800~900nm인 빛)을 모두 통과시키고, 나머지 대역의 빛은 차단하는 특성을 갖는다.
상기 제3 필터부(820)는 센서부(801)와 도 1의 렌즈(102) 사이에 고정될 수 있다. 이 경우, 상기 렌즈(102)를 통해 영상 획득 장치(100)로 입사되는 빛 중 파장이 400~700nm인 빛과 파장이 800~900nm인 빛만이 제3 필터를 통과한다.
한편, 칼라 영상을 획득하기 위한 제1 구동 모드(801)에서, 적외선(파장이 800~900nm인 빛)만을 통과시키는 제2 필터부(810)는 구동되지 않는다. 따라서, 상기 제3 필터를 통과한 빛은 센서부(830)에서 감지된다. 그리고 센서부(830)의 각 픽셀(이를 테면 포토 다이오드)이 빛을 감지하여 방출하는 전하량에 기초하여, 칼라 영상이 생성된다.
그리고, 깊이 영상을 획득하기 위한 제2 구동 모드(802)에서, 상기 제2 필터부(810) 는 회전축(811)을 중심으로 회전하여 상기 제3 필터부(820)와 센서부(830) 사이에 위치된다.
이 경우, 상기 제3 필터부(820)를 통과한 빛이 상기 제2 필터부(810)를 통과 하면서, 파장이 800~900nm인 적외선만 센서부(830)에서 감지된다.
이 경우, 센서부(830)의 각 픽셀이 적외선을 감지하여 방출하는 전하량에 기초하여, 깊이 영상이 생성된다.
한편, 도 8의 실시예는 센서부(830)의 각 픽셀에 조사광 이외의 근적외선이 감지되는 현상이 방지될 수 있다.
예를 들어, 도 1의 광 조사부(101)에서 조사된 조사광(적외선)의 파장이 800~900nm이라 가정하면, 상기 파장 대역 이외 파장을 갖는 적외선이 영상 획득 장치(100)에 입사된다고 하더라도 이것은 조사광이 객체(object)에 반사되어 돌아온 것이 아니다. 통상적으로 상기 조사광의 파장 대역이 아닌 파장을 갖는 적외선은, 객체(object)가 복사하는(radiate) 것일 수 있다.
칼라 영상을 획득하기 위한 제1 구동 모드와 깊이 영상을 획득하기 위한 제2 구동 모드 사이에서, 센서부(120)의 픽셀을 구성하는 포토 다이오드 중 일부가 이러한 원하지 않는 적외선에 노출되는 경우, 포화 현상(saturation)이 발생될 수 있다. 따라서, 랜덤한(random) 특성을 갖는 샷 노이즈(shot noise)가 생성되며, 이는 깊이 영상을 획득하기 위한 제2 구동 모드에서의 깊이 영상 획득에 원하지 않는 영향을 미칠 수 있다. 결국 깊이 영상의 정밀도가 저하된다.
그러나, 도 8의 실시예에서는, 조사광의 파장(800~900nm) 이외의 파장을 갖는 적외선(원치 않는 적외선)은 고정되는(fixed) 제3 필터부(820)에 의해 차단(cut)되므로, 상기 포화 현상이 방지되고, 깊이 영상의 정밀도가 향상될 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해 져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치를 도시한다.
도 2는 본 명의 일 실시예에 따라 제1 필터부 및 제2 필터부가 구동되는 방법을 도시하는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
도 4는 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
도 5는 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 측면을 도시한다.
도 6은 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부를 도시한다.
도 7은 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부의 정면 및 측면을 도시한다.
도 8은 본 발명의 일 실시예에 따른 영상 획득 장치 내의 제1 필터부와 제2 필터부를 도시한다.

Claims (16)

  1. 가시광선에 대응하는 제1 파장 대역의 빛을 통과시키는 제1 필터부;
    적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부;
    상기 제1 파장 대역의 빛 및 상기 제2 파장 대역의 빛을 감지하는 적어도 하나의 픽셀을 포함하는 센서부; 및
    상기 센서부가 감지하는 빛을 필터링하기 위해 상기 제1 필터부 및 상기 제2 필터부 중 적어도 하나를 구동하는 구동부
    를 포함하며,
    상기 제1 필터부는, 상기 센서부에 의해 감지된 빛이 상기 센서부에 입사되는 방향과 직교하는 제1 회전축으로 회전하고,
    상기 제2 필터부는, 상기 센서부에 의해 감지된 빛이 상기 센서부에 입사되는 방향과 직교하는 제2 회전축으로 회전하는 영상 획득 장치.
  2. 제1항에 있어서,
    상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 제1 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하고, 상기 구동부는 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 제2 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정하는 것을 특징으로 하는 영상 획득 장치.
  3. 제1항에 있어서,
    상기 제1 필터부 및 상기 제2 필터부는 동일한 회전축을 갖고, 상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 회전축을 중심으로 상기 제 1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하고, 상기 구동부는 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 회전축을 중심으로 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정하는 것을 특징으로 하는 영상 획득 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 제1 회전축 및 상기 제2 회전축은 서로 평행하고, 상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하고, 상기 구동부는 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 제1 필터부 및 상기 제2 필터부를 회전시켜 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정하는 것을 특징으로 하는 영상 획득 장치.
  7. 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부;
    가시광선에 대응하는 제1 파장 대역의 빛 및 적외선에 대응하는 상기 제2 파장 대역의 빛을 통과시키는 제3 필터부;
    상기 제1 파장 대역의 빛 및 상기 제2 파장 대역의 빛을 감지하는 적어도 하나의 픽셀을 포함하는 센서부; 및
    상기 센서부가 감지하는 빛을 필터링하기 위해 상기 제2 필터부를 구동하는 구동부
    를 포함하며,
    상기 제2 필터부는, 상기 센서부에 의해 감지된 빛이 상기 센서부에 의해 입사되는 방향과 직교하는 제2 회전축으로 회전하는 영상 획득 장치.
  8. 제7항에 있어서,
    상기 제3 필터부는 상기 센서부가 감지하는 빛을 통과시키도록 고정되는 것을 특징으로 하는 영상 획득 장치.
  9. 제8항에 있어서,
    상기 제3 필터부는 상기 센서부에 코팅되는 필름인 것을 특징으로 하는 영상 획득 장치.
  10. 제7항에 있어서,
    상기 구동부는 칼라 영상을 획득하기 위한 제1 구동 모드에서 상기 제2 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하지 않도록 조정하고, 상기 구동부는 깊이 영상을 획득하기 위한 제2 구동 모드에서 상기 제2 필터부를 구동하여 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정하는 것을 특징으로 하는 영상 획득 장치.
  11. 삭제
  12. 삭제
  13. 칼라 영상을 획득하기 위한 제1 구동 모드에서, 가시광선에 대응하는 제1 파장 대역의 빛을 통과시키는 제1 필터부를 구동하여, 센서부가 감지하는 빛이 상기 제1 필터부를 통과하도록 조정하는 단계; 및
    깊이 영상을 획득하기 위한 제2 구동 모드에서, 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부를 구동하여, 상기 센서부가 감지하는 빛이 상기 제2 필터부를 통과하도록 조정하는 단계
    를 포함하며,
    상기 제1 필터부는, 상기 센서부에 의해 감지된 빛이 상기 센서부에 입사되는 방향과 직교하는 제1 회전축으로 회전하고,
    상기 제2 필터부는, 상기 센서부에 의해 감지된 빛이 상기 센서부에 입사되는 방향과 직교하는 제2 회전축으로 회전하는 영상 획득 방법.
  14. 제13항에 있어서,
    상기 제1 필터부와 상기 제2 필터부의 회전축은 동일하고,
    상기 제1 필터부를 구동하는 단계는 상기 회전축을 중심으로 상기 제1 필터부 및 상기 제2 필터부를 회전시켜서 상기 제1 필터부가 상기 센서부에 근접하도록 조정하고,
    상기 제2 필터부를 구동하는 단계는 상기 회전축을 중심으로 상기 제1 필터부 및 상기 제2 필터부를 회전시켜서 상기 제2 필터부가 상기 센서부에 근접하도록 조정하는 것을 특징으로 하는 영상 획득 방법.
  15. 제13항에 있어서,
    상기 제1 필터부를 구동하는 단계는 상기 제1 회전축을 중심으로 상기 제1 필터부를 회전시켜서 상기 제1 필터부가 상기 센서부에 근접하도록 조정하고,
    상기 제2 필터부를 구동하는 단계는 상기 제2 회전축을 중심으로 상기 제2 필터부를 회전시켜서 상기 제2 필터부가 상기 센서부에 근접하도록 조정하는 것을 특징으로 하는 영상 획득 방법.
  16. 칼라 영상을 획득하기 위한 제1 구동 모드에서, 적외선에 대응하는 제2 파장 대역의 빛을 통과시키는 제2 필터부를 제거하여, 센서부가 감지하는 빛이 가시광선에 대응하는 제1 파장 대역의 빛 및 적외선에 대응하는 상기 제2 파장 대역의 빛을 통과시키는 제3 필터부를 통과하도록 조정하는 단계 및
    깊이 영상을 획득하기 위한 제2 구동 모드에서, 상기 제2 필터부가 센서부에 근접하도록 구동하여, 상기 센서부가 감지하는 빛이 상기 제2 필터부 및 제3 필터부를 통과하도록 조정하는 단계
    를 포함하며,
    상기 제2 필터부는, 상기 센서부에 의해 감지된 빛이 상기 센서부에 입사되는 방향과 직교하는 제2 회전축으로 회전하는 영상 획득 방법.
KR1020080118107A 2008-11-26 2008-11-26 영상 획득 장치 및 방법 Active KR101502372B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080118107A KR101502372B1 (ko) 2008-11-26 2008-11-26 영상 획득 장치 및 방법
US12/588,917 US8345103B2 (en) 2008-11-26 2009-11-02 Apparatus and method of obtaining 3D image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080118107A KR101502372B1 (ko) 2008-11-26 2008-11-26 영상 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100059361A KR20100059361A (ko) 2010-06-04
KR101502372B1 true KR101502372B1 (ko) 2015-03-16

Family

ID=42195880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080118107A Active KR101502372B1 (ko) 2008-11-26 2008-11-26 영상 획득 장치 및 방법

Country Status (2)

Country Link
US (1) US8345103B2 (ko)
KR (1) KR101502372B1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US8381976B2 (en) * 2010-08-10 2013-02-26 Honeywell International Inc. System and method for object metrology
WO2012057558A2 (ko) * 2010-10-29 2012-05-03 삼성전자주식회사 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
KR101925137B1 (ko) 2010-10-29 2018-12-06 삼성전자주식회사 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
KR101686079B1 (ko) 2010-12-27 2016-12-13 삼성전자주식회사 깊이 영상 생성 장치 및 방법
KR101204096B1 (ko) * 2011-01-28 2012-11-22 삼성테크윈 주식회사 이미지 센서 모듈 및 이를 구비한 카메라 모듈
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
KR101904718B1 (ko) 2012-08-27 2018-10-05 삼성전자주식회사 컬러 영상 및 깊이 영상 촬영 장치 및 방법
KR101966975B1 (ko) 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
KR101966976B1 (ko) 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
KR102086509B1 (ko) 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US9405104B2 (en) * 2012-12-26 2016-08-02 GM Global Technology Operations LLC Split sub-pixel imaging chip with IR-pass filter coating applied on selected sub-pixels
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102112298B1 (ko) 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
KR102277309B1 (ko) 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
US10074011B2 (en) * 2015-01-20 2018-09-11 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
CN106170086B (zh) * 2016-08-19 2019-03-15 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、系统
EP3627815B1 (en) * 2018-09-19 2021-10-06 Canon Kabushiki Kaisha Image pickup device
US12055704B2 (en) 2018-10-18 2024-08-06 Corning Incorporated Electrowetting optical device
KR102756818B1 (ko) * 2019-02-01 2025-01-20 삼성전자주식회사 밀리미터 웨이브를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
CN111866313A (zh) * 2019-04-26 2020-10-30 致伸科技股份有限公司 摄像模块
DE102020127996A1 (de) * 2020-10-23 2022-04-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Auswerten von Bilddaten in einem Kraftfahrzeug
CN112887577A (zh) * 2021-02-08 2021-06-01 革点科技(深圳)有限公司 一种抗环境光的rgb-d三维相机
KR102460762B1 (ko) * 2021-03-25 2022-10-31 삼성전기주식회사 이종 영상 일체형 카메라 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020030755A1 (en) * 2000-09-11 2002-03-14 Fumiko Uchino Digital image sensing apparatus, image processing system, and digital image sensing method
US20030012277A1 (en) * 2001-07-04 2003-01-16 Matsushita Electric Industrial Co., Ltd. Image signal coding method, image signal coding apparatus and storage medium
KR100822053B1 (ko) * 2006-11-17 2008-04-15 주식회사 엠씨넥스 영상획득장치와 영상획득방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147002A1 (en) 2002-02-06 2003-08-07 Eastman Kodak Company Method and apparatus for a color sequential scannerless range imaging system
JP4723362B2 (ja) * 2005-11-29 2011-07-13 株式会社日立ハイテクノロジーズ 光学式検査装置及びその方法
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
JP4939901B2 (ja) 2006-11-02 2012-05-30 富士フイルム株式会社 距離画像生成方法及びその装置
JP4452951B2 (ja) 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
JP2007071891A (ja) 2006-12-01 2007-03-22 Konica Minolta Sensing Inc ３次元計測装置
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
US7915652B2 (en) * 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020030755A1 (en) * 2000-09-11 2002-03-14 Fumiko Uchino Digital image sensing apparatus, image processing system, and digital image sensing method
US20030012277A1 (en) * 2001-07-04 2003-01-16 Matsushita Electric Industrial Co., Ltd. Image signal coding method, image signal coding apparatus and storage medium
KR100822053B1 (ko) * 2006-11-17 2008-04-15 주식회사 엠씨넥스 영상획득장치와 영상획득방법

Also Published As

Publication number Publication date
US20100128129A1 (en) 2010-05-27
KR20100059361A (ko) 2010-06-04
US8345103B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
KR101502372B1 (ko) 영상 획득 장치 및 방법
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
WO2011102025A1 (ja) 物体検出装置および情報取得装置
US10183541B2 (en) Surround sensing system with telecentric optics
JP6784295B2 (ja) 距離測定システム、距離測定方法およびプログラム
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
JP6387407B2 (ja) 周辺検知システム
JP5665159B2 (ja) 距離画像センサ
US9622663B2 (en) Rotation type optical tomography scanner
JP7240466B2 (ja) ３次元測量装置
KR101840116B1 (ko) 고속 감지 회전형 라이더 센서 시스템
JP5944254B2 (ja) 放射線画像取得装置
EP3045935A1 (en) Surround sensing system with dome-filter assembly
CN112558090B (zh) 距离测量设备和通过使用距离测量设备测量距离的方法
US11675064B2 (en) Optical radar apparatus
US20120162370A1 (en) Apparatus and method for generating depth image
JP2020057869A (ja) 撮像装置
JP2017003284A (ja) ３次元測量装置及び３次元測量方法
JP2018077088A (ja) 距離計測装置、及び距離計測方法
JP2014514554A (ja) イメージング検出器
JP2015025727A (ja) 路面撮像装置
KR20120056441A (ko) 적외선 레이저 프로젝션 디스플레이를 이용한 3차원 깊이 카메라
KR20140007814A (ko) 조합 컴퓨터 및 직접 방사선 촬영 시스템 및 방법
JPH10268067A (ja) 積雪深計測装置
JP2010008093A (ja) 赤外線撮像装置および赤外線撮像方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20081126

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130827

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20081126

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140822

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150309

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150310

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180220

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190221

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200225

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210222

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220216

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230214

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240219

Start annual number: 10

End annual number: 10