[go: up one dir, main page]

KR20160031900A - 이미지 촬영 방법 및 이미지 촬영 장치 - Google Patents

이미지 촬영 방법 및 이미지 촬영 장치 Download PDF

Info

Publication number
KR20160031900A
KR20160031900A KR1020140122251A KR20140122251A KR20160031900A KR 20160031900 A KR20160031900 A KR 20160031900A KR 1020140122251 A KR1020140122251 A KR 1020140122251A KR 20140122251 A KR20140122251 A KR 20140122251A KR 20160031900 A KR20160031900 A KR 20160031900A
Authority
KR
South Korea
Prior art keywords
image
reference position
moving object
live view
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140122251A
Other languages
English (en)
Other versions
KR102232517B1 (ko
Inventor
홍현석
한희철
김경영
박상규
정진구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140122251A priority Critical patent/KR102232517B1/ko
Priority to PCT/KR2015/007629 priority patent/WO2016043423A1/en
Priority to AU2015319023A priority patent/AU2015319023B2/en
Priority to EP15842908.4A priority patent/EP3195589B1/en
Priority to CN201580047720.6A priority patent/CN106605236B/zh
Priority to US14/826,579 priority patent/US10477093B2/en
Publication of KR20160031900A publication Critical patent/KR20160031900A/ko
Application granted granted Critical
Publication of KR102232517B1 publication Critical patent/KR102232517B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

이미지 촬영 방법을 개시한다. 본 발명의 일 실시 예에 따른 이미지 촬영 방법은, 라이브 뷰 이미지의 기준 위치를 설정하는 단계와, 상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)하는 단계와, 상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 단계와, 상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때 정지 이미지를 캡쳐하는 단계를 포함한다.

Description

이미지 촬영 방법 및 이미지 촬영 장치{METHOD FOR CAPTURING IMAGE AND IMAGE CAPTURING APPARATUS}
본 발명은 이미지 촬영 장치에 관한 것으로 좀더 상세하게는 카메라의 사용자가 쉽게 사용자가 원하는 시점에서의 피사체의 정지 이미지를 촬영할 수 있는 이미지 촬영 장치 및 이미지 촬영 방법에 관한 것이다.
역동적인 스포츠 경기나 빠르게 움직이는 동물을 촬영하는 경우 빠르게 순간을 포착할 수 있는 촬영 기술이 요청된다. 근래의 디지털 카메라는 고속 프레임 레이트에서 빠르게 이미지 센서의 데이터를 리드아웃하는 기술을 제공함으로써, 움직이는 피사체의 어느 순간의 모습을 빠르게 촬영할 수 있는 기술을 제공한다.
그러나, 셔터 신호가 있고 최종적으로 이미지 데이터가 리드아웃되기까지 최소한의 카메라가 동작하는 시간이 필요하므로 야구공처럼 빠르게 움직이는 피사체에 대해 정확히 사용자가 원하는 시점(예를 들어, 타자가 야구공을 타격하는 순간)의 모습을 촬영하는 것은 전문적인 카메라 사용자에게도 쉬운 일이 아니다.
따라서, 카메라의 사용자가 쉽게 사용자가 원하는 시점에서의 피사체의 정지 이미지를 촬영할 수 있는 기술방안이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 카메라의 사용자가 쉽게 사용자가 원하는 시점에서의 피사체의 정지 이미지를 촬영할 수 있는 기술방안을 제공하기 위함이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 촬영 방법은, 라이브 뷰 이미지의 기준 위치를 설정하는 단계와, 상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)하는 단계와, 상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 단계와, 상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때 정지 이미지를 캡쳐하는 단계를 포함한다.
이때, 상기 기준 위치를 설정하는 단계는, 상기 라이브 뷰 이미지의 기 설정된 오브젝트를 검출하여 상기 검출된 오브젝트를 기준으로 상기 기준 위치를 설정할 수 있다.
또한, 상기 기준 위치를 설정하는 단계는, 사용자 입력에 의해 설정된 위치를 상기 기준 위치로 설정할 수 있다.
또한, 상기 기준 위치를 설정하는 단계는, 이미지 촬영 장치에 의해 검출된 위치 정보에 기초하여 상기 기준 위치를 설정할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 기준 위치를 나타내는 가이드 라인을 표시하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 라이브 뷰 이미지에 포함된 사람을 식별하는 단계를 더 포함하고, 상기 식별된 사람에 대응되는 정보에 기초하여 상기 기준 위치를 나타내는 가이드 라인을 표시할 수 있다.
또한, 상기 사람을 식별하는 단계는, 상기 라이브 뷰 이미지에 포함된 사람의 얼굴을 인식하거나 등번호를 식별하여 상기 사람을 식별할 수 있다.
이때, 상기 식별된 사람에 대응되는 정보는, 타자의 타율 및 타자의 타격 지점 중 적어도 하나일 수 있다.
또한, 상기 기준 위치를 설정하는 단계는, 상기 기준 위치를 반전(reverse)시키기 위한 사용자 명령이 수신되면, 상기 기준 위치를 수직 방향을 중심으로 반전시켜 상기 기준 위치를 재설정할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 기준 위치를 나타내는 가이드 박스(box)를 표시하는 단계와, 상기 라이브 뷰 이미지에 포함된 사람이 상기 가이드 박스를 채우도록 이미지 촬영 장치의 렌즈를 줌 인 또는 줌 아웃하는 단계를 더 포함할 수 있다.
또한, 사용자의 드래그 입력에 의해 상기 가이드 박스의 크기를 조절할 수 있다.
또한, 상기 움직이는 오브젝트를 트래킹하는 단계는, 상기 움직이는 오브젝트의 실제 크기, 상기 움직이는 오브젝트의 상기 라이브 뷰 이미지에서의 크기, 과거에 촬영된 라이브 뷰 이미지에서 상기 움직이는 오브젝트의 변위, 및 이미지 촬영 장치의 프레임 레이트 중 적어도 하나를 이용하여 상기 움직이는 오브젝트를 트래킹할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 캡쳐된 정지 이미지에 상기 움직이는 오브젝트의 속도 정보를 삽입하는 단계를 더 포함하고, 상기 움직이는 오브젝트의 속도 정보는 아래와 같은 수식으로 계산할 수 있다.
상기 움직이는 오브젝트의 속도(km/h) = 상기 움직이는 오브젝트의 실제지름(mm) / 움직이는 오브젝트의 측정지름(pixel) * 이미지 프레임 간 움직이는 오브젝트의 위치변위(pixel) * 이미지 프레임의 촬영속도 (frame/sec) * 3600/1000/1000.
또한, 상기 이미지 촬영 방법은, 상기 움직이는 오브젝트에 대한 타격 위치를 계산하는 단계와, 상기 계산된 타격 위치를 화면에 표시하는 단계를 더 포함하고, 상기 타격 위치는 아래의 수식으로 계산할 수 있다.
타격 위치(pixel) = 상기 움직이는 오브젝트의 속도(km/h) * 1000*1000/3600 * 1/이미지 프레임 촬영 속도(sec/frame) * Height_pixel(pixel)/Height_guide_box(meter) * 최소소요시간(frame). 이때, Height_pixel는 상기 라이브 뷰에 포함된 가이드 박스의 측정 높이, Height_guide_box는 상기 라이브 뷰에 포함된 가이드 박스의 실제 높이.
또한, 상기 움직이는 오브젝트에 이미지 촬영 장치의 초점을 맞추어 상기 정지 이미지를 캡쳐할 수 있다.
또한, 상기 움직이는 오브젝트의 움직이는 방향과 수직 방향의 콘트라스트 또는 위상차 픽셀값에 가중치를 두어 상기 이미지 촬영 장치의 초점을 맞출 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 캡쳐된 정지 이미지에 상기 트래킹된 움직이는 오브젝트의 궤적을 표시해주는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 정지 이미지와 관련된 정보를 서버로부터 수신하는 단계와, 상기 수신된 상기 정지 이미지와 관련된 정보에 기초하여 상기 정지 이미지에 대한 메타 데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 기준 위치에 위치하는데 필요한 시간을 판단하는 단계와, 상기 판단된 시간이 이미지 촬영 장치의 셔터 랙 시간(shutter lag time)보다 짧으면, 경고 메시지를 표시하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 연속되는 라이브 뷰 이미지 프레임들에 포함된 상기 움직이는 오브젝트의 예측된 궤적 상호 간의 간격 정보에 기초하여 이미지 촬영 장치의 프레임 레이트를 조정하는 단계를 더 포함할 수 있다.
또한, 상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 촬영 장치는, 라이브 뷰 이미지를 디스플레이 하는 디스플레이부와, 상기 라이브 뷰 이미지의 기준 위치를 설정하는 기준 위치 설정부와, 상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)하는 트래킹부와, 상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 예측부와, 상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때 정지 이미지를 캡쳐하는 촬영부를 포함한다.
또한, 상기 이미지 촬영 장치는 포커스 렌즈와, 상기 포커스 렌즈를 동작시키는 모터 드라이브와, 상기 포커스 렌즈에 의한 포커싱을 위해 상기 모터 드라이브를 제어하는 제어부를 더 포함하고, 상기 제어부는, 메뉴얼 포커싱 입력이 수신되면, 상기 포커스 렌즈의 포커싱 범위를 기 설정된 범위 내로 제한하고, 그 후 반셔터 입력이 수신되면, 상기 기 설정된 범위 내에서 오토 포커싱을 수행하도록 상기 모터 드라이버를 제어할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 카메라의 사용자가 쉽게 사용자가 원하는 시점에서의 피사체의 정지 이미지를 촬영할 수 있는 이미지 촬영 장치 및 이미지 촬영 방법을 제공한다.
도 1 내지 2는 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치의 블록도,
도 3은 본 발명의 일 실시 예에 따른 기준 위치 설정 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 가이드 라인을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 가이드 박스를 도시한 도면,
도 6은 본 발명의 다른 실시 예에 따른 가이드 박스를 도시한 도면,
도 7은 움직이는 오브젝트인 공의 실제 속도를 구하는데 필요한 정보를 나타낸 도면,
도 8은 공속도 기준으로 타격 위치를 가이드 해주는 실시 예를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따라 촬영 대기 시간을 표시하는 실시 예를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 포커싱 방법을 설명하기 위한 도면,
도 11은 움직이는 오브젝트에서의 AF를 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른 움직이는 오브젝트인 공의 속도에 따른 프레임 레이트를 나타낸 도면,
도 13 및 14는 이미지 상에 움직이는 오브젝트의 궤적을 표시한 실시 예를 도시한 도면,
도 15 내지 16은 본 발명의 당양한 실시 예에 따른 특수 효과를 설명하기 위한 도면,
도 17은 라이브 뷰 이미지의 영역별로 프레임 레이트를 달리하여 리드아웃을 수행하는 실시 예를 도시한 도면,
도 18은 본 발명의 일 실시 예에 따른 메타 데이터 생성 방법을 도시한 도면,
도 19 및 20은 본 발명의 일 실시 예에 따른 피사체 포커싱 기술을 설명하기 위한 도면,
도 21은 본 발명의 일 실시 예에 따른 이미지 촬영 시스템의 구성을 도시한 블록도, 그리고,
도 22는 본 발명의 일 실시 예에 따른 이미지 촬영 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
도 1 내지 2는 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100)의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는, 디스플레이부(190), 기준 위치 설정부(170), 트래킹부(180), 예측부(185), 촬영부(110)를 포함한다.
본 명세서에 설명하는 이미지 촬영 장치(100, 100-1, 100-2)는 다양한 전자 장치가 될 수 있다. 예를 들어, 디지털 카메라, MP3 플레이어, PMP, 스마트폰, 셀룰러폰, 스마트 안경, 태블릿 PC, 스마트 워치 등 카메라 기능을 갖춘 다양한 전자 장치로 구현 가능하다.
디스플레이부(190)는 오브젝트를 디스플레이 하는 구성이다. 특히, 디스플레이부(190)는 촬영부(110)에서 촬영된 라이브 뷰 이미지를 실시간으로 디스플레이 한다. 디스플레이부(190)는, 이 밖에도 문자, 아이콘 등으로 구성된 사용자 인터페이스, 전자기기 정보, 동적 이미지 및 정지 이미지 중 적어도 하나를 디스플레이할 수 있다. 디스플레이부(190)가 촬영부(110)에 의해 촬영된 라이브 뷰 이미지를 디스플레이 하는 경우 디스플레이부(190)는 전자 뷰 파인더 기능을 수행한다.
디스플레이부(190)는 다양한 디스플레이 패널로 설계될 수 있다. 즉, 디스플레이부(190)는 유기발광 다이오드 OLED(Organic Light Emitting Diodes), 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display)등 다양한 디스플레이 기술로 구현될 수 있다. 디스플레이 패널은 주로 발광형으로 이루어질 것이지만, 반사형 디스플레이(E-ink, P-ink, Photonic Crystal)를 배제하는 것은 아니다. 또한, 플렉서블 디스플레이(flexible display), 투명 디스플레이(transparent display) 등으로 구현 가능할 것이다.
또한, 디스플레이부(190)는 터치 스크린을 포함할 수 있다. 사용자가 디스플레이부(190)의 터치 스크린 화면에 표시된 오브젝트에 터치를 수행하면, 터치 스크린은 신호를 처리하여 제어부(130)로 전달함으로써 입출력을 수행할 수 있다.
기준 위치 설정부(170)는 라이브 뷰 이미지의 기준 위치를 설정하는 구성이다. 기준 위치란, 라이브 뷰 이미지에서 움직이는 오브젝트가 상기 기준 위치에 위치하는 때의 정지 이미지를 촬영하기 위해 설정한 위치를 말한다. 기준 위치는 사용자의 설정 입력에 의해 설정할 수도 있고, 기준 위치 설정부(170)가 라이브 뷰 이미지에서 기 설정된 오브젝트를 검출하면, 상기 검출된 오브젝트를 기준으로 상기 기준 위치를 설정할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 기준 위치 설정 방법을 설명하기 위한 도면이다.
야구 경기에 대한 라이브 뷰 이미지에서 타자가 투수의 공(33)을 타격하는 순간을 촬영하는 실시 예를 고려한다. 이때, 기준 위치는 투수의 공이 홈플레이트에 진입하면서 타자의 배트에 의해 타격되는 순간의 위치(30)가 될 수 있다. 이러한 기준 위치는 라이브 뷰 이미지에서 홈플레이트, 타자박스, 타자를 검출하고, 상기 검출된 오브젝트를 기준으로 설정될 수 있다. 또한, 타자의 얼굴 또는 등번호를 검출하여 타자에 따른 주요 타격 지점 정보를 통해 기준 위치를 설정할 수도 있다. 또한, 타자에 따른 배트 트래킹 정보가 있는 경우 이를 활용할 수도 있다.
사용자 입력을 통해 기준 위치를 설정하거나 설정된 기준 위치를 조정하는 것도 가능하다. 전술한 바와 같이 상기 이미지 촬영 장치(100)의 디스플레이부(190)가 터치 스크린(미도시)을 포함하는 경우, 터치 스크린상의 드래그 입력을 통해 기준 위치를 사용자가 설정할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 가이드 라인을 도시한 도면이다.
이미지 촬영 장치(100)의 디스플레이부(190)는 상기 기준 위치를 나타내는 가이드 라인(30)을 표시할 수 있다. 가이드 라인(30)은 도 3과 같이 기준 위치를 직접 나타내는 직선으로 표시될 수도 있으나, 도 4와 같이 기준 위치와 관련된 오브젝트를 나타내는 가이드 오브젝트(36)와 함께 표시될 수도 있다. 도 4에서는 타자의 위치, 타자의 크기를 가이드하는 가이드 오브젝트(36)를 표시하고 있다. 사용자는 라이브 뷰 이미지에 표시된 가이드 오브젝트(36) 내에 타자가 들어오도록 이미지 촬영 장치(100)를 설정한 후 촬영을 수행할 수 있다. 도 4의 실시 예에서는 가이드 오브젝트(36)가 타자의 모양으로 표시되었으나, 다양한 다각 도형 모양으로 설정할 수도 있다. 사용자는 줌인/아웃 명령을 통해 라이브 뷰 이미지에 표시된 가이드 오브젝트(36) 내에 타자가 들어오도록 이미지 촬영 장치(100)를 조작할 수 있다. 가이드 오브젝트의 일 실시 예로 가이드 박스에 대해서 후술하는 실시 예에서 설명할 것이다.
또한, 상기 기준 위치 설정부(170)는, 이미지 촬영 장치(100)에 의해 검출된 위치 정보에 기초하여 상기 기준 위치를 설정할 수 있다. 즉, 이미지 촬영 장치(100)는 도 2에 도시된 것처럼 위치 검출부(175)를 더 포함할 수 있고, 위치 검출부(175)를 통해 이미지 촬영 장치(100)의 지리적 위치 정보를 검출할 수 있다. 기준 위치 설정부(170)는 이미지 촬영 장치(100)의 GPS정보를 이용하여 야구장을 표시하는 라이브 뷰 이미지에서 타자의 위치를 조정할 수 있고, 타자 위치에 대응되는 타격지점을 세부적으로 조정할 수 있다. 예를 들어, 타자의 옆쪽 방향에서 촬영할 경우에 비해, 타자 앞쪽 방향에서 촬영할 경우 타격 지점을 더 뒤로 이동시킬 수 있다.
이와 달리 기준 위치 설정부(170)는 기 설정된 오브젝트(예를 들어, 홈플레이트)의 형태를 분석하여, 사용자의 촬영 위치를 판단하고 이를 기반으로도 가이드 라인을 미세하게 조정할 수 있다. 디스플레이부(190)는 조정된 가이드 라인을 표시한다.
또한, 기준 위치 설정부(170)가 타자를 식별하고, 디스플레이부(190)는 타자의 타율에 따라서 가이드 라인(30)의 색상을 진하게 또는 옅게 표시할 수 있다(이는 후술하는 제어부(130)에 의해 제어된다.). 타자는 등번호 및 얼굴을 인식하여 식별될 수 있다. 저장부(도 2의 160)는 타자의 평균적인 타격 지점을 메타데이터로 저장하고 있고 기준 위치 설정부(170)는 이를 기반으로 가이드 라인의 위치를 세부적으로 조정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 가이드 박스를 도시한 도면이다.
도 5에 도시된 것처럼 디스플레이부(190)는 제어부(130)의 제어에 의해 상기 기준 위치를 나타내는 가이드 박스(guid box : 37)를 표시할 수 있다. 가이드 박스(37)는 라이브 뷰 이미지에서 가이드 박스(37) 내부에 사람을 위치시키도록 줌을 조절하기 위한 가이드 오브젝트이다. 가이드 박스(37)가 표시되면, 사용자는 가이드 박스(37) 모서리나 변에 대해 드래그 입력을 수행하여 가이드 박스(37)의 크기를 조절할 수 있다. 즉, 가이드 박스(37)의 모서리나 변에 터치 및 드래그 입력을 수행하면, 드래그 방향으로 가이드 박스(37)의 크기가 변화된다. 기 설정된 시간 동안 가이드 박스(37)에 대한 입력이 없는 경우 또는 가이드 박스(37) 조절 명령을 더 이상 입력하지 않음을 나타내는 사용자 명령이 수신되는 경우(예를 들어, 가이드 박스의 중앙 부분을 터치) 이미지 촬영 장치(100)의 촬영부(110)는 렌즈의 줌을 조절하여 사람(36)이 가이드 박스(37)내에 위치하도록 한다. 최종적인 가이드 박스(37)의 크기가 사람(36)보다 큰 경우는 촬영부(110)는 줌 아웃하여 사람(36)이 가이드 박스(37)내에 위치하도록 렌즈의 초점거리를 조절한다. 반면, 가이드 박스(37)의 크기보다 사람(36)이 작은 경우 사람이 가이드 박스(37)를 채우도록 줌 인하여 렌즈의 초점 거리를 조절한다. 최종적인 라이브 뷰 이미지는 가이드 박스(37)에 사람(36)이 가득 채워지도록 초점 거리가 설정된다.
도 6은 본 발명의 다른 실시 예에 따른 가이드 박스를 도시한 도면이다.
사용자가 피사체를 촬영하는 위치에 따라 가이드 박스(37)의 위치가 바뀌어야 한다. 이는 사용자 입력에 의해 이루어질 수도 있고 자동으로 이루어질 수도 있다. 기준 위치 설정부(170)는, 기준 위치를 반전(reverse)시키기 위한 사용자 명령이 수신되면, 상기 기준 위치를 라이브 뷰 이미지의 중심을 지나는 수직선을 중심으로 반전시켜 상기 기준 위치를 재설정할 수 있다. 도 6의 실시 예에서 반전 아이템(35)를 선택하는 사용자 명령이 수신되면, 가이드 박스(37)를 좌우 방향의 반전시켜 거울상 위치에 표시한다. 이 경우 사용자 명령은 터치 입력으로 수행될 수 있다. 이와 달리, 가이드 박스(37)의 한쪽 변을 반대 방향으로 터치 및 드래그하여 가이드 박스(37)를 반전시킬 수도 있다.
계속해서 이미지 촬영 장치(100)의 구성을 설명하면, 트래킹부(180)는 상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)한다. 구체적으로 트래킹부(180)는 라이브 뷰 이미지에서 움직이는 오브젝트를 프레임별로 검출한다. 오브젝트 검출은 이미지 픽셀값의 비교를 통해 이루어진다.
예측부(185)는 상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 구성이다.
예측부(185)는 상기 트래킹 정보를 이용하여 라이브 뷰 이미지에서 움직이는 오브젝트의 속도(가상 속도)를 도출할 수 있다. 가상 속도는 라이브 뷰 이미지 내에서의 오브젝트의 속도로 정의될 수 있다. 즉, 라이브 뷰 이미지에서 기준 시간 동안 몇 픽셀을 움직였는지를 나타내는 정보일 수 있다. 이러한 정보를 통해 움직이는 오브젝트의 궤적을 예측할 수 있다. 즉, 움직이는 오브젝트가 라이브 뷰 이미지에 처음 나타난 후, 얼마의 시간 후에 움직이는 오브젝트가 기준 위치에 도달할지 알 수 있다. 따라서, 촬영부(110)는 움직이는 오브젝트가 라이브 뷰 이미지에 처음 나타난 시간부터 예상 시간 후에 이미지 센서(미도시)의 센싱값을 리드아웃함으로써, 움직이는 오브젝트가 정확히 기준 위치에 도달하는 순간의 정지 이미지를 얻을 수 있다.
예측부(185)는 움직이는 오브젝트의 실제 속도를 계산할 수도 있다. 도 7은 움직이는 오브젝트인 공의 실제 속도를 구하는데 필요한 정보를 나타낸 도면이다.
움직이는 오브젝트의 실제 크기와 움직이는 거리(변위)정보는 주어진 값으로 알 수 있으므로, 라이브 뷰 이미지에서 검출된 움직이는 오브젝트의 정보로부터 움직이는 오브젝트의 실제 속도를 도출할 수 있다. 즉, 움직이는 오브젝트의 실제 속도는 움직이는 오브젝트의 실제 크기 정보와 라이브 뷰 이미지에서의 크기 정보, 라이브 뷰 이미지에서의 속도(변위) 정보를 이용하여 계산할 수 있다. 예를 들어, 다음의 수식을 이용하여 움직이는 오브젝트의 실제 속도 계산이 가능하다.
움직이는 오브젝트의 속도(km/h) = 움직이는 오브젝트의 실제지름(mm) / 움직이는 오브젝트의 측정지름(pixel) * 이미지 프레임 간 움직이는 오브젝트의 위치변위(pixel) * 이미지 프레임의 촬영속도 (frame/sec) * 3600/1000/1000.
디스플레이부(190)는 계산된 움직이는 오브젝트의 실제 속도를 최종 생성된 정지 이미지에 표시해줄 수 있다. 예를 들어, 투수가 150km/h의 속도로 공을 던진 경우 최종적인 정지 이미지에는 150km/h가 표시될 수 있다.
이러한 움직이는 오브젝트의 실제 속도를 이용하여 가이드 박스(37)의 위치를 설정하는 것도 가능하다. 도 8은 공속도 기준으로 타격 위치를 가이드 해주는 실시 예를 도시한 도면이다.
예측부(185)는 예측 결과에 기초하여 움직이는 오브젝트가 상기 기준 위치에 위치하는데 필요한 시간을 판단한다. 제어부(130)는 상기 판단된 시간이 이미지 촬영 장치(100)의 셔터 랙 시간(shutter lag time)보다 짧으면, 경고 메시지를 표시하도록 제어한다. 셔터 랙 시간 정보는 셔터 입력이 있은 후 실제 픽셀 데이터의 리드아웃이 이루어질 때까지의 일련의 시간 정보를 의미한다. 움직이는 오브젝트가 기준 위치에 위치하는데 필요한 시간은 움직이는 오브젝트가 최초로 라이브 뷰 이미지에 포함되는 시간부터(공이 라이브 뷰 이미지에서 최초로 검출된 시간) 기준 위치까지 도달하는데 걸리는 시간이 될 수 있다. 상기 시간이 셔터 랙 시간 정보보다 짧으면, 움직이는 오브젝트가 최초로 검출되고 즉시, 셔터 신호가 생성되어 이미지 센서의 픽셀값의 리드아웃이 이루어지는 시간에 이미 움직이는 오브젝트는 기준 위치를 지나쳐 버리게 된다. 따라서, 이러한 경우에는 경고 메시지를 출력하여 사용자가 가이드 오브젝트의 크기를 조정할 수 있게 하는 것이다. 가이드 오브젝트를 줄이면 줌 아웃이 되어 동일한 프레임 레이트에서 움직이는 오브젝트의 궤적을 검출할 수 있는 시간이 늘어나므로 상기와 같은 문제가 해결된다.
즉, 예측부(185)는 촬영에 필요한 예측시간, 움직이는 오브젝트(공)의 검출 및 추적 시간, 그리고 판단에 필요한 시간을 고려하여, 타자의 타격지점에 가이드를 줄 수 있다. 최고 공 속도 및 타자의 키(가이드 박스에 해당하는 실제 높이 즉, 가이드 박스의 크기)를 고려했을 때, 필요시간과 타격 위치 간의 관계를 이용하여 해당 위치 범위밖에 타자 GUI(가이드 오브젝트)를 위치하는 경우 경고할 수 있다(도 8의 (b)). 또는 적절위치 범위를 추천하거나 화면상에 표시해 줄 수 있다.
도면에는 도시되지 않았으나, 이미지 촬영 장치(100)는 움직임 검출부(미도시)를 더 포함할 수 있다. 움직임 검출부는 이미지 촬영 장치(100)의 움직임을 검출하여 기준 시간 동안 기 설정된 변위 이상을 움직이는 경우나 기 설정된 가속도 이상의 가속도를 갖고 움직이는지 검출하고 이 경우 제어부(130)는 경우 경고 메시지를 표시하도록 디스플레이부(190)를 제어한다. 이처럼 움직임이 많은 경우 경고 메시지를 표시하는 이유는 이미지 촬영 장치(100)가 흔들리면 움직이는 오브젝트의 검출에 노이즈가 발생되기 때문이다.
또한, 이미지 촬영 장치(100)의 라이브 뷰 이미지의 휘도가 기 설정된 값 미만인 경우, 즉 주변이 어두워서 광 검출이 용이하지 않은 경우, 상기와 같이 제어부(130)는 경고 메시지를 출력하도록 제어할 수 있다. 이렇게 주변이 어둡거나 광원이 충분하지 않은 경우 움직이는 오브젝트를 검출하기가 어려울 수 있기 때문이다.
한편, 도 8의 실시 예에서, 타격 위치는 다음의 식으로 계산될 수 있다.
공이 좌측에서 날아온 경우 타격위치(pixel) = 공속도(km/h) * 1000*1000/3600 * 1/FPS (sec/frame) * Height_pixel(pixel)/Height_guid_box(meter) * 최소소요시간(frame).
도 9는 본 발명의 일 실시 예에 따라 촬영 대기 시간을 표시하는 실시 예를 도시한 도면이다.
사용자는 이미지 촬영 장치(100)에 최장 촬영 대기 시간을 입력할 수 있다. 최장 촬영 대기 시간이란, 사용자가 셔터를 누르고 난 후, 움직이는 오브젝트가 기준 위치에 위치하여 정지 이미지가 촬영되는 시간까지 이미지 촬영 장치(100)의 최대 대기 가능 시간을 의미한다. 사용자가 최장 촬영 대기 시간을 입력하고, 상기 최장 촬영 대기 시간 내에 촬영이 이루어지지 않으면, 이미지 촬영 장치(100)는 당해 정지 이미지 촬영을 취소한다. 이미지 촬영 장치(100)는 초기 상태로 돌아가 다시 기준 위치를 설정하거나 최장 촬영 대기 시간을 입력받을 수 있다.
디스플레이부(190)는 최장 촬영 대기 시간을 화면에 표시할 수 있다. 최장 촬영 대기 시간은 디스카운트 되어 현재 촬영 대기 시간(39)으로 화면에 표시된다. 디스플레이부(190)는 움직이는 오브젝트가 화면에 나타나면 예상 궤적 정보에 기초하여 움직이는 오브젝트를 식별할 수 있는 표지(38)를 표시할 수 있다.
한편, 트래킹부(180)는 복수의 움직이는 오브젝트를 트래킹할 수 있다. 도 9의 실시 예에서 트래킹부(180)는 움직이는 오브젝트인 공 외에도 배트를 트래킹할 수 있다. 이때, 디스플레이부(190)는 이전 단계에서 라이브 뷰 이미지에서 검출된 배트의 정보에 기초하여 예측된 프레임별 배트의 위치에 식별력있는 표시(40)를 할 수 있다. 마찬가지로 타자의 움직임 형태를 트래킹하여 움직임 형태(36)를 식별력있게 표시할 수 있다.
이미지 촬영 장치(100)의 촬영부(110)는 피사체를 촬영하는 구성이다. 피사체에 반사된 광이 렌즈(도 2의 111참조)에 입사하면, 이미지 센서(도 2의 112참조)에 피사체의 상이 결상된다. 결상된 상 즉, 이미지 센서(112)에 축적된 광전하는 이미지 데이터로 출력된다. 특히, 촬영부(110)는 이미지 센서(112)로부터 센싱값을 독출하여 라이브 뷰 이미지를 구성하여 디스플레이부(190)로 전달한다. 또한, 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때 정지 이미지를 캡쳐한다.
도 2를 참조하면, 전술한 이미지 촬영 장치(100)의 촬영부(110)는 렌즈(111), 모터 드라이버(115), 이미지 센서(112), AFE(Analog Front End 113), TG(Timing Generator 114)를 포함할 수 있다.
렌즈(111)는, 피사체에 반사된 광이 입사하는 구성으로, 초점 거리에 따라 화각이 좁아 지거나 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 중 적어도 하나의 렌즈를 포함한다. 렌즈(111)는 이미지 촬영 장치(100)의 경통에 수용되며, 모터 드라이버(115)의 구동 신호에 의해 움직여짐으로써 초점을 조정한다. 또한, 상기 경통은 셔터 및 조리개를 포함하는데, 각각은 구동모터에 의해 렌즈(111)로 입사되는 빛의 양을 조절한다.
이미지 센서(112)는 렌즈(111)를 통과한 피사체의 상이 결상되는 구성이다. 이미지 센서(112)는 매트릭스 형태로 배치된 복수의 픽셀을 포함한다. 복수의 픽셀은 베이어 패턴(Bayer Pattern)을 형성할 수 있다. 복수의 픽셀 각각은 입사광에 따른 광전하를 축적하고, 광전하에 의한 상을 전기 신호로 출력한다. 이미지 센서(112)는 CMOS(상보성 금속 산화물 반도체 : Complementary Metal Oxide Semiconductor)로 구성될 수 있으나, CCD(Chanrge Coupled Device)로 구성될 수도 있다. 본 발명의 일 실시 예에 따른 복수의 픽셀은, 복수의 위상차 픽셀을 포함할 수 있다.
이미지 센서(112)는 포토 다이오드(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로우팅 확산 노드(FD)를 포함할 수 있다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적한다. 전송 트랜지스터(TX)는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전화를 플로우팅 확산 노드(FD)로 전송한다. 리셋 트랜지스터는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출한다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, CDS 이미지 센서의 경우 CDS(Correlated Double Sampling) 처리를 수행한다. 그리고, ADC가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다.
AFE(Analog Front End, 113)는, 이미지 센서(112)로부터 출력된 피사체 상의 전기 신호를 샘플링하여 디지털화한다. AFE(Analog Front End, 113)는, 제어부(130)에 의해 제어된다.
TG(Timing Generator 114)는, 이미지 센서(112)의 픽셀 데이터를 리드아웃하기 위한 타이밍 신호를 출력한다. TG(114)는 제어부(130)에 의해 제어된다.
다만, 상기와 같이 AFE(113)와 TG(114)를 대체할 수 있는 다른 구성으로 설계될 수도 있다. 특히, 이미지 센서(112)가 CMOS 형으로 구현되는 경우, 이러한 구성을 불필요할 수 있다.
모터 드라이버(115)는, 제어부(130)의 제어에 의해 포커싱 렌즈를 구동하여 포커스를 맞춘다.
도 2에 도시된 것처럼 이미지 촬영 장치(100)는 전술한 구성 외에 이미지 처리부(140), 유선 인터페이스(150), 통신부(145), 저장부(160), 위치 검출부(175), 제어부(130)를 더 포함할 수 있다.
이미지 처리부(140)는, 제어부(130)의 제어에 의해 로우 이미지 데이터(RAW IMAGE DATA)를 이미지 처리하고, 저장부(160)에 기록한다. 그리고, 저장부(160)의 영상 처리된 데이터를 디스플레이부(190)에 전달한다.
위상차를 이용한 오토 포커싱을 하는 경우, 이미지 처리부(140)는 이미지 센서(112)에서 출력되어 AFE(113)에 의해 샘플링된 신호 중에서 이미지를 생성하기 위한 신호(일반 픽셀로부터 리드아웃된 신호)와 위상차를 계산하기 위한 신호(위상차 픽셀로부터 리드아웃된 신호)를 분리한다. 이는 위상차를 계산하기 위한 신호를 이용하여 위상차를 빠르게 계산하면서 병렬적으로 라이브 뷰와 같은 이미지를 생성하여 빠르게 오토 포커싱을 수행하기 위함이다.
다만, 전술한 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100)는 위상차 픽셀을 이용한 오토 포커싱 기술에 한정되지 않는다. 즉, 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100)는 콘트라스트 오토 포커싱을 수행할 수 있는 기술 구성을 더 포함할 수 있다.
이미지 처리부(140)는, 로우 이미지 데이터를 처리하며, YCbCr 데이터로 만든다. 로우 이미지 데이터는 우선, 보정회로(미도시)에 의해 픽셀 결함이 보정된다. 보정회로는 보정 테이블을 참조하여, 픽셀 결함을 보정하는데, 보정테이블은 결함이 있는 픽셀의 어드레스가 등록되어 있다. 이 어드레스와 일치하는 픽셀에 대해서 주위의 픽셀로부터 보정을 수행한다.
이미지 처리부(140)는 이미지의 블랙 레벨을 결정하는 OB 클램프 회로(미도시)를 포함한다. 이미지 센서(112)는 OB(Optical Black) 영역이 있으며, OB영역의 신호 평균값을 검출하여 각 픽셀값의 차이를 통해 블랙 레벨을 결정한다.
또한, 이미지 처리부(140)는 감도비 조정 회로(미도시)를 이용하여 색상별로 상이한 감도비 조정을 수행한다. 감도비 조정 회로는 표준 광원 하에서 R,G,B색의 감도를 조정한다. 통상적으로 G의 게인값을 1로 고정하고 R, B의 감도를 이에 맞춘다.
정지 이미지를 출력하는 경우 감도비 조정 후에 이미지 데이터를 출력버퍼를 통해 출력한다. 이 경우 인터레시스(interlace)방식으로 이미지를 생성하므로, 곧바로 후처리를 할 수 없는 반면, 라이브 뷰 이미지를 출력하는 경우에는 프로그래시브(progressive)방식으로 이미지를 생성하기 때문에 바로 후처리가 가능하다.
또한, 이미지 처리부(140)는 수평 스킵 리드아웃 회로(미도시)를 이용하여 일부 픽셀 라인은 리드아웃하고 나머지 픽셀 라인은 스킵하는 스킵 리드아웃을 수행하므로, 로우 이미지의 픽셀 수가 감소된다.
이미지 처리부(140)는 WB조정회로(미도시)를 이용하여 이미지 데이터에 대한 화이트 밸런스(WB : White Balance)를 조정한다. 촬영 환경에 따라 조명광의 분광 분포가 다르므로 흰 피사체를 촬영해도 희게 표시되지 않을 수 있다. R,G,B 픽셀마다 상이한 게인값을 주어 신호 레벨을 맞춘다. 통상적으로 G의 게인값을 1로 고정하고 R, B의 신호 레벨을 이에 맞춘다.
또한, 이미지 처리부(140)는 이미지 데이터에 대한 감마 보정을 수행한다. 감마 보정을 통해 디스플레이부(190)의 출력에 맞는 계조 변환이 이루어진다.
또한, 이미지 처리부(140)는 색보간 회로(미도시)를 이용하여 1픽셀당 1색의 베이어 신호에서 1픽셀당 3색으로 이루어진 통상의 컬러 이미지 신호를 생성한다.
또한, 색변환/색보정 회로(미도시)를 이용하여 출력에 맞는 색공간 변환을 하고, 색보정을 한다. 필요에 따라 LUT(Look Up Table)을 이용할 수 있다. 색변환/색보정 후에 이미지 데이터는 YCbCr 데이터가 된다.
이미지 처리부(140)는 해상도 변환 회로(미도시)를 이용하여 해상도를 변환하여 사이즈를 맞춘다.
이미지 처리부(140)는 공간 필터 회로(미도시)를 이용하여 이미지 데이터에 대한 공간 필터를 처리한다. Y신호의 엣지 강조가 이루어지고, Cb/CR 신호의 LPF(Low Pass Filter)처리를 수행한다.
또한, 이미지 처리부(140)는 CbCr스킵 리드아웃 회로(미도시)를 이용하여 Cb/Cr신호에 대해 스킵 리드아웃을 수행하여 YCbCr4:2:2의 이미지 데이터로 변환한다. 이미지 데이터는 출력버퍼를 통해 출력되고, 버스를 통해 저장부(160)에 기록된다.
정지 이미지의 경우, 인터레이스 방식으로 리드아웃이 수행될 수 있는데, 이 경우, 인접하는 픽셀 라인이 존재하지 않으므로 직접 색 보간을 처리할 수 없다. 따라서, 전처리가 끝난 후, 일단 출력버퍼를 통해 저장부(160)에 픽셀 라인 순서를 조정하여 프로그래시브 형태로 저장한다. 이러한 이미지 데이터를 다시 읽어서 입력버퍼를 통해 이미지 처리부(140)에 입력한다.
다만, 본 발명의 실시 예가 정지 이미지의 경우 인터레이스 방식에 한정하는 것은 아니며, 프로그래시브 방식으로 리드아웃하도록 구현될 수도 있다.
한편, 정지 이미지의 경우, 촬영 후에 조그맣게 보여주는 프리뷰 이미지나, 썸네일 이미지를 생성할 필요가 있다. 이는 스킵 리드아웃처럼 일부 픽셀의 데이터를 생략하여 작성한다.
이미지 처리부(140)는 AF신호 보간 회로(미도시)를 이용하여 위상차 픽셀 부분을 일반 픽셀값으로 보간한다. 위상차 픽셀이 일반 픽셀 사이에 위치하므로, 이 부분을 그대로 사용하면, 해상도 열화가 발생할 수 있다. 따라서, 주변의 일반 픽셀을 이용하여 보간을 수행한다.
한편, 분리 회로(미도시)에서 분리된 위상차 픽셀의 신호는 일단 제1버스를 통해 저장부(160)에 기록된다. 복수의 픽셀 전부에 대해 리드아웃이 이루어지고, 분리가 이루어지므로, 짧은 기간 동안 각 위상차 픽셀 신호는 저장부(160)에 축적된다.
저장된 위상차 픽셀 신호는 제1버스를 통해 위상차 연산회로(미도시)로 입력된다. 위상차 연산 회로는, 위상차 픽셀 간의 위상차를 연산하고, 포커스 렌즈의 이동 방향과 이동량을 계산한다. 계산된 이동량은 위상차 연산회로 내의 레지스터에 일시적으로 기록되며, 제어부(130 즉, CPU)가 독출한다.
JPEG 코덱은, YCbCr 데이터를 압축한다. 그리고, 압축된 이미지 데이터는 저장부(160)에 기록된다. 제어부(130)가 저장부(160)에 기록된 압축 이미지 데이터를 읽어와 메모리 카드(미도시)에 기록함으로써, 이미지 생성 절차가 종료된다.
통신부(145)는 다른 장치와 통신을 수행하기 위한 구성이다. 특히, 통신부(145)는 외부 서버(미도시)와 통신을 수행한다. 통신부(145)는 외부 서버로부터 정지 이미지와 관련된 정보를 수신하거나, 이미지 데이터를 송수신할 수 있다. 또한, 후술하는 제1 촬영 장치(100-1)와 제2 촬영 장치(100-2) 간의 데이터 송수신을 담당한다.
통신부(145)는 다양한 무선 통신 기술로 구현될 수 있다. 주로 통신부(145)는 디바이스간 중계 장치 없이 직접 통신을 수행하는 근거리 통신 모듈을 포함할 수 있다.
통신부(145)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
다른 통신 기술 수단의 적용을 배제하는 것은 아니다. 예를 들어, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 어느 하나를 포함할 수 있다.
제어부(130)는, 이미지 촬영 장치(100)의 동작 전반을 제어한다. 특히, 전술한 기준 위치 설정부(170), 트래킹부(180), 예측부(185), 디스플레이부(190)등의 동작을 제어한다. 또한, 다른 구성들의 동작을 직, 간접적으로 제어한다.
제어부(130)는 촬영부(110)를 제어하여 로우 이미지 데이터를 획득하고, 이미지 처리부(140)를 제어하여 라이브 뷰 이미지를 디스플레이부(190)에 디스플레이 시킨다.
제어부(130)는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 이미지 촬영 장치(100)의 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.
유선 인터페이스(150)은 외부 장치와의 인터페이스를 제공한다. 유선 인터페이스(150)는 외부 장치와 연결되어 이미지 데이터의 송수신을 처리하거나 펌웨어 업그레이드를 수행하기 위한 펌웨어 송수신을 처리한다.
저장부(160) 은, 이미지를 저장하거나 CPU에 의한 이미지 작업에 이용된다. 본 발명의 일 실시 예에서, 시스템 클록의 상승단과 하강단 모두에서 출력이 나오도록 하여 상승단에서만 출력이 나오는 것에 비해 출력을 2배 향상시킬 수 있는 DDR SDRAM이 사용될 수 있다.
저장부(160)가 플래시 메모리(미도시)를 포함하는 경우, 펌웨어 프로그램, 이미지 촬영 장치(100) 스팩에 맞는 다양한 조정 정보, 사용자 입력에 의한 이미지 촬영 장치(100)의 설정 정보, 촬영된 이미지 파일 등을 저장한다.
또한, 메모리 카드(미도시)를 더 포함하는 경우, 이미지 촬영 장치(100)에 착탈이 가능할 수 있다. 메모리 카드는, 촬영된 이미지 파일을 저장할 수 있다.
입력부(125)는 사용자 입력을 수신하기 위한 구성이다. 입력부(125)는 적어도 하나의 버튼(126)을 포함할 수 있다. 또한, 입력부(125)는 디스플레이부(190)에 위치하는 터치 스크린을 포함할 수 있다.
적어도 하나의 버튼(미도시)은 이미지 촬영 장치(100)의 하우징의 전면, 측면 또는 후면에 푸쉬형 혹은 터치형으로 형성될 수 있으며, 전원/잠금 버튼, 셔터 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다. 버튼이 눌러지는 경우, 대응되는 제어명령이 생성되어 제어부(130)로 전달되고, 제어부(130)는 대응되는 제어명령에 따라 이미지 촬영 장치(100)의 동작을 제어한다.
그 밖에 이미지 촬영 장치(100)는 전원부(미도시), 외부 장치와 연결을 위한 인터페이스부(미도시)를 더 포함할 수 있다. 또한, 이미지 촬영 장치(100)는 위치 검출부(175)를 더 포함할 수 있는데, 위치 검출부(175)는 위치 센서를 이용하여 이미지 촬영 장치(100)의 지리적 위치를 검출한다. 위치 검출부(175)는 GPS 센서, 각속도 센서 중 적어도 하나를 포함할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 포커싱 방법을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는 기준 위치에 움직이는 오브젝트가 위치하는 경우, 즉, 움직이는 오브젝트가 타격되는 때에 정지 이미지를 촬영하며, 이때, 포커스(1010)는 움직이는 오브젝트에 맞춰진다. 포커싱 렌즈를 이동하여 포커스를 맞추는데는 시간이 걸리므로, 포커싱 렌즈의 움직임 역시 예측되어야 한다. 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)의 제어부(130)는 라이브 뷰 이미지를 디스플레이하는 동안 모터 드라이버(115)의 구동 정보를 이용하여 촬영 예측 시간에서의 포커스값을 예측한다. 제어부(130)는 움직이는 오브젝트의 위치에 따른 포커싱 렌즈의 위치 정보를 저장 및 관리하면서 움직이는 오브젝트의 예측 위치에서의 포커싱 렌즈의 위치 정보에 따라 모터 드라이버(115)에 구동신호를 인가한다. 이때 움직이는 오브젝트는 도 10과 같이 배트나 공이 될 수 있다. 타격이 이루어지는 지점에서 포커싱(1010)이 이루어진다.
도 11은 움직이는 오브젝트에서의 AF를 설명하기 위한 도면이다.
공이나 배트 등 움직임의 방향을 계산에 의해 감지하여 오토 포커싱(AF)을 하는 경우, 움직임 방향으로는 물체의 엣지정보가 블러(blur)되는 문제가 있다. 반면, 움직임에 수직한 방향으로는 물체의 엣지특성이 유지되므로, 수직 방향의 픽셀값에 가중치를 두어 AF를 계산할 수 있다. 렌즈 포커싱은 위상차 AF 방식 또는 콘트라스트 AF방식이 사용될 수 있다. 콘트라스트 AF의 경우 물체의 이동 수직방향으로 콘트라스트를 계산한다. 위상차 AF의 경우 이동 수직방향의 위상차 픽셀에 가중치를 두어 AF를 계산한다.
라이브 뷰 이미지의 프레임 레이트(FPS) 대비 움직이는 오브젝트의 실제 속도가 느린 경우, 움직이는 오브젝트의 움직임 정보를 계산하기 어려울 수 있고, 필요 이상의 이미지 캡쳐 및 계산을 수행하므로 불필요하게 전력소모를 하게 되는 문제가 있다. 반대로 프레임 레이트 대비 움직이는 오브젝트의 실제 속도가 빠르게 되면, 움직이는 오브젝트가 기준 위치에 위치하는 순간을 정밀하게 촬영하기 어려운 문제가 있다.
따라서, 제어부(130)는 연속되는 라이브 뷰 이미지 프레임들에 포함된 상기 움직이는 오브젝트의 예측된 궤적 상호 간의 간격 정보에 기초하여 이미지 촬영 장치의 프레임 레이트를 조정할 수 있다. 즉, 제어부(130)는 연속되는 라이브 뷰 이미지 프레임들에 포함된 움직이는 오브젝트의 예측된 궤적 상호간의 간격이 지나치게 좁아서 궤적들 상호간에 겹치는 경우, 프레임 레이트를 낮춘다. 반면, 움직이는 오브젝트의 예측된 궤적 상호간의 간격이 지나치게 넓어서 정밀하게 움직이는 오브젝트를 촬영하기 어려운 경우는 프레임 레이트를 높인다. 달리 말해, 예측부(185)는 움직이는 오브젝트의 속도를 감지하고, 디스플레이부(190)는 오브젝트의 궤적이 겹치지 않는 촬영속도로 프레임 레이트를 조절할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 움직이는 오브젝트인 공의 속도에 따른 프레임 레이트를 나타낸 도면이다.
도 12에 도시된 것처럼 움직이는 오브젝트의 속도가 80km/h인 경우 프레임 레이트가 240FPS일 때, 움직이는 오브젝트의 궤적이 겹쳐지지 않음을 알 수 있다. 이때, 동일한 프레임 레이트에서 움직이는 오브젝트의 속도가 절반으로 떨어지게 되면, 움직이는 오브젝트의 궤적이 겹쳐지게 된다. 따라서, 이 경우에는 프레임 레이트를 낮춰서 움직이는 오브젝트의 궤적이 겹쳐지지 않게 할 수 있다.
도 13 및 14는 이미지 상에 움직이는 오브젝트의 궤적을 표시한 실시 예를 도시한 도면이다.
도 13에 도시된 것처럼 라이브 뷰 이미지 상에 움직이는 오브젝트의 궤적(1310)을 표시해 줄 수 있다. 즉, 도 13에 도시된 것처럼 검출된 공과 배트의 위치는 라이브 뷰 이미지를 디스플레이하는 동안에 화면에 출력할 수 있다.
이와 별개로 정지 이미지 상에 상기 움직이는 오브젝트의 궤적을 표시하는 것도 가능하다. 즉, 제어부(130)는 검출된 공과 배트의 위치들을 스틸 이미지의 메타 데이터로 저장하거나 별도로 저장할 수 있다. 제어부(130)는 정지 이미지 재생시 움직이는 오브젝트의 진행 궤적과 배트의 움직임 궤적을 함께 디스플레이하도록 디스플레이부(190)를 제어할 수 있다. 또는 상기 정보를 움직이는 화면으로 표시하는 것도 가능하다.
종래의 카메라 장치는 라이브 뷰 이미지가 디스플레이 된 후 정지 이미지의 캡쳐가 일어나기 전에 라이브 뷰 이미지 디스플레이를 종료하고, 블랙 이미지를 디스플레이하고(이 기간 동안 정지 이미지를 생성한다.) 아무런 정보를 디스플레이하지 않는다. 정지 이미지 생성이 완료되면 촬영된 정지 이미지를 디스플레이한다.
본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는 상기 블랙 이미지를 대체할 수 있는 새로운 이미지를 디스플레이할 수 있다. 새로운 이미지는 상기 라이브 뷰 이미지 디스플레이가 끝난 후, 화면에 디스플레이 되는데, 촬영된 라이브 뷰 이미지의 마지막 프레임에 상술한 움직이는 오브젝트의 궤적을 표시해주는 이미지이다. 통상적으로 라이브 뷰 이미지는 이미지 센서의 일부 픽셀만을 리드아웃하여 이루어지고, 정지 이미지는 상기 라이브 뷰 이미지보다 많은 수의 픽셀을 리드아웃하여 생성된다. 상기 새로운 이미지는 라이브 뷰 이미지 디스플레이가 끝난 후 빠르게 디스플레이가 이루어져야 하므로 라이브 뷰 이미지와 유사한 방식으로 이미지 픽셀을 리드아웃하여 만들어질 수 있다. 또한, 정지 이미지가 촬영될 때까지의 움직이는 오브젝트의 궤적뿐 아니라, 정지 이미지 촬영이 이루어진 이후의 궤적(즉, 정지 이미지가 촬영이 시작된 시점부터 기준 위치에 움직이는 오브젝트가 위치할 때까지의 궤적)을 예측하여 표시해줄 수 있다. 도 13의 경우 정지 이미지 촬영이 이루어지는 시점까지의 움직이는 오브젝트의 궤적이 표시되었다면, 도 14의 실시 예의 경우 정지 이미지 촬영이 이루어지는 시점 이후에도 움직이는 오브젝트가 기준 위치까지 움직일 때까지의 궤적이 예측되어 이미지에 표시되는 것이다. 도 14에서 궤적이 음영처리되어 있다. 상기와 같은 방식을 이용하여 블랙 이미지를 자연스러운 새로운 이미지로 대체할 수 있다.
또한, 제어부(130)는 움직이는 오브젝트가 기준 위치에 위치하는 때의 정지 이미지에 여러가지 특수 효과를 줄 수 있다.
도 15 내지 16은 본 발명의 다양한 실시 예에 따른 특수 효과를 설명하기 위한 도면이다.
도 15에 도시된 것처럼 움직이는 오브젝트의 궤적을 트래킹하여 잔상이나 특수 효과를 줄 수 있다. 도 15의 (a) 실시 예에서 움직이는 오브젝트인 공의 궤적을 표시하는 특수 효과를 주고 있다. (b) 실시 예는 골퍼가 풀 스윙으로 샷을 한 경우 날아가는 공의 궤적에 특수효과를 적용한 이미지이다.
도 16에서는 정지 이미지가 촬영되는 순간 이미지 전체를 하이라이트하여 그 순간 사진이 촬영되었음을 나타내는 특수효과가 표시되고 있다. 도 16의 (a)에서는 타자가 공을 치는 순간 이미지가 촬영되었음을 나타내는 하이라이트가 표시되고 잠시 뒤 최종 촬영된 정지 이미지가 표시되고 있다. 도 16의 (b)에서는 골퍼가 스윙을 하여 골프 공을 타격하는 순간 이미지가 촬영되었음을 나타내는 하이라이트가 이미지 전체에 적용되고 잠시 뒤 최종 촬영된 이미지가 표시되고 있다.
상기 실시 예들에서는 하이라이트를 예로 들었으나, 특수 효과는 이에 한정되지 않는다. 예를 들어, 블러 처리나 색조 변화 등 다양할 수 있다.
도 17은 라이브 뷰 이미지의 영역별로 프레임 레이트를 달리하여 리드아웃을 수행하는 실시 예를 도시한 도면이다.
본 발명에 따른 이미지 촬영 장치(100)는 움직이는 오브젝트를 트래킹해야 하므로 프레임 레이트를 고속으로 설정해야 한다. 전체 이미지 센서(112)에 대해서 고속 프레임 레이트를 적용하면 전력 소모가 커지게 될 뿐 아니라, 고속 이미지 처리가 가능하기 위해서는 일부 이미지 픽셀값만을 리드아웃해야 하므로 해상도의 열화가 수반되게 되는 문제가 생긴다. 따라서, 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)의 촬영부(110)는 라이브 뷰 이미지의 영역별로 프레임 레이트를 다르게 하여 이미지 센싱값을 리드아웃할 수 있다. 이를 위해 이미지 센서는 CMOS센서가 사용될 수 있다.
도 17에 도시된 것처럼 움직이는 오브젝트(배트, 공)를 트래킹해야 하는 영역(1710)에 대해서는 고속으로 이미지 픽셀값을 리드아웃하고 다른 영역(1720)에 대해서는 저속으로 리드아웃을 수행할 수 있다. 움직이는 오브젝트의 예상 궤적에 따라 상기 영역은 달라질 수 있다. 도 17의 위 도면과 아래 도면은 이러한 차이를 나타낸다.
도 18은 본 발명의 일 실시 예에 따른 메타 데이터 생성 방법을 도시한 도면이다.
이미지 촬영 장치(100)의 제어부(130)는 최종적인 정지 이미지를 생성하면서 메타 데이터를 함께 생성할 수 있다. 이때, 메타 데이터는 최종적인 정지 이미지와 관련된 정보를 통신부(145)를 통해 외부 서버(미도시)로부터 수신할 수 있다. 그리고, 제어부(130)는 상기 수신된 상기 정지 이미지와 관련된 정보에 기초하여 상기 정지 이미지에 대한 메타 데이터를 생성할 수 있다. 저장된 메타 데이터는 저장부(160)에 저장된다.
도 18의 실시 예에서 외부 서버로부터 타자의 타격 정보, 경기 정보 등을 수신하여 최종 정지 이미지의 메타 데이터로 생성하는 실시 예를 도시하고 있다. 이때, 촬영일자, ISO 수치 등 이미지 촬영 장치(100)의 촬영 환경 설정 정보도 메타 데이터로 함께 저장될 수 있다. 외부 서버는 경기 생중계 서버가 될 수 있다.
도 19 및 20은 본 발명의 일 실시 예에 따른 피사체 포커싱 기술을 설명하기 위한 도면이다.
도 19에 도시된 것처럼 이미지 촬영 장치(100)와 피사체(1900) 사이에 네트(net)와 같은 장애물이 있는 경우, 일반적으로 오토 포커스 환경에서 피사체에 초점을 맞추기가 어렵다. 근접 피사체인 네트에 우선적으로 초점이 맞춰지기 때문이다. 반면, 메뉴얼 포커싱 기능을 이용하면, 네트 뒤의 피사체에 포커싱은 가능하지만, 포커싱의 정밀도가 떨어진다.
이를 해결하기 위해 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는 세미 메뉴얼 포커스(semi-manual focus) 기능을 제공한다. 전술한 것처럼 이미지 촬영 장치(100)는 포커스 렌즈(미도시)와 모터 드라이브(115)를 포함한다.
이미지 촬영 장치(100)는 사용자가 메뉴얼 포커스 기능으로 대략적인 포커스를 맞추게 되면, 제어부(130)는 포커스의 범위를 기 설정된 범위로 설정한다(2010). 즉, 이미지 촬영 장치(100)에 메뉴얼 포커싱 입력이 수신되면, 제어부(130)는 상기 포커스 렌즈의 포커싱 범위를 기 설정된 범위 내로 제한한다. 이때 이미지 촬영 장치(100)에 반셔터 입력이 수신되면, 제어부(130)는 상기 기 설정된 범위 내에서 오토 포커스를 수행하도록 상기 모터 드라이버(115)를 제어한다(2020). 따라서, 피사체에 정확하게 포커싱을 수행할 수 있게 된다.
한편, 전술한 바와 같이 촬영 시점을 예측한 이미지 촬영 장치(100)가 직접 정지 이미지를 촬영할 수도 있으나, 복수의 이미지 촬영 장치를 이용하여 상술한 작업을 수행할 수도 있다. 이하에서는 이러한 실시 예를 설명한다.
도 21은 본 발명의 일 실시 예에 따른 이미지 촬영 시스템(1000)의 구성을 도시한 블록도이다.
도 21을 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 시스템(1000)은 제1 촬영 장치(100-1)와 제2 촬영 장치(100-2)를 포함한다.
제1 촬영 장치(100-1)는 정지 이미지의 촬영 시점을 예측하는 장치로 제2 촬영 장치(100-2)로부터 셔터 랙 시간 정보(shutter lag time)를 수신하고, 셔터 트리거 시작 신호(shutter trigger start signal)을 생성하여 제2 촬영 장치(100-2)로 전송한다.
셔터 랙 시간 정보는 셔터 입력이 있은 후 실제 픽셀 데이터의 리드아웃이 이루어질 때까지의 일련의 시간 정보를 의미한다. 움직이는 물체의 경우 셔터 입력이 있은 후 실제 픽셀 데이터의 리드아웃이 이루어지기 전에 라이브 뷰 이미지에서의 위치가 변경될 수 있다. 따라서, 움직이는 물체가 기준 위치에 오는 예측된 시점의 이전 시점에 셔터 입력이 이루어져야 한다. 이때, 셔터 입력이 이루어지는 시점은 셔터 랙 시간 정보가 고려된다. 예를 들어, 전술한 타자의 공 타격 시점의 정지 이미지를 촬영하는 실시 예에서 공이 타격되는 시점을 예측하고, 예측 시점부터 셔터 랙 시간 전에 셔터 입력에 대응되는 셔터 신호를 생성할 수 있다. 그런데, 셔터 랙 시간 정보는 이미지 촬영 장치의 종류에 따라 다를 수 있으므로, 제2 촬영 장치(100-2)는 제1 촬영 장치(100-1)에 이러한 정보를 제공하는 것이다.
제1 촬영 장치(100-1)는 수신된 셔터 랙 시간 정보를 고려하여 셔터 트리거 시작 신호를 생성한다. 사용자는 스틸 이미지를 캡쳐하기 전에 충분한 시간을 두고 제1 촬영 장치(100-1) 또는 제2 촬영 장치(100-2)의 셔터를 조작한다. 그러면, 제2 촬영 장치(100-2)는 제1 촬영 장치(100-1)에 셔터 랙 시간 정보를 전송하고 제1 촬영 장치(100-1)는 전술한 방법으로 움직이는 물체가 기준 위치에 위치하는 시간을 예측하여 셔터 트리거 시작 신호를 제2 촬영 장치(100-2)로 제공한다. 셔터 트리거 시작 신호는 제2 촬영 장치(100-2)가 셔터 신호를 생성할 시간에 대한 정보를 포함한다. 제2 촬영 장치(100-2)는 시간을 카운팅하여 셔터 신호를 생성할 시간이 되면, 셔터 신호를 생성하여 정지 이미지를 캡쳐한다.
이하에서는 본 발명의 다양한 실시 예에 따른 이미지 촬영 방법을 설명한다.
도 22는 본 발명의 일 실시 예에 따른 이미지 촬영 방법의 흐름도이다.
도 22를 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 방법은, 라이브 뷰 이미지의 기준 위치를 설정하는 단계(S2210), 상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)하는 단계(S2220), 상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 단계(2230), 상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때(S2240-Y) 정지 이미지를 캡쳐하는 단계(S2250)를 포함한다.
이때, 상기 기준 위치를 설정하는 단계는, 상기 라이브 뷰 이미지의 기 설정된 오브젝트를 검출하여 상기 검출된 오브젝트를 기준으로 상기 기준 위치를 설정할 수 있다.
또한, 상기 기준 위치를 설정하는 단계는, 사용자 입력에 의해 설정된 위치를 상기 기준 위치로 설정할 수 있다.
또한, 상기 기준 위치를 설정하는 단계는, 이미지 촬영 장치에 의해 검출된 위치 정보에 기초하여 상기 기준 위치를 설정할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 기준 위치를 나타내는 가이드 라인을 표시하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 라이브 뷰 이미지에 포함된 사람을 식별하는 단계를 더 포함하고, 상기 식별된 사람에 대응되는 정보에 기초하여 상기 기준 위치를 나타내는 가이드 라인을 표시할 수 있다.
또한, 상기 사람을 식별하는 단계는, 상기 라이브 뷰 이미지에 포함된 사람의 얼굴 또는 등번호를 식별하여 상기 사람을 식별할 수 있다.
이때, 상기 식별된 사람에 대응되는 정보는, 타자의 타율 및 타자의 타격 지점 중 적어도 하나일 수 있다.
또한, 상기 기준 위치를 설정하는 단계는, 상기 기준 위치를 반전(reverse)시키기 위한 사용자 명령이 수신되면, 상기 기준 위치를 수직 방향을 중심으로 반전시켜 상기 기준 위치를 재설정할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 기준 위치를 나타내는 가이드 박스(box)를 표시하는 단계와, 상기 라이브 뷰 이미지에 포함된 사람이 상기 가이드 박스를 채우도록 이미지 촬영 장치의 렌즈를 줌 인 또는 줌 아웃하는 단계를 더 포함할 수 있다.
또한, 사용자의 드래그 입력에 의해 상기 가이드 박스의 크기를 조절할 수 있다.
또한, 상기 움직이는 오브젝트를 트래킹하는 단계는, 상기 움직이는 오브젝트의 실제 크기, 상기 움직이는 오브젝트의 상기 라이브 뷰 이미지에서의 크기, 과거에 촬영된 라이브 뷰 이미지에서 상기 움직이는 오브젝트의 변위, 및 이미지 촬영 장치의 프레임 레이트 중 적어도 하나를 이용하여 상기 움직이는 오브젝트를 트래킹할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 캡쳐된 정지 이미지에 상기 움직이는 오브젝트의 속도 정보를 삽입하는 단계를 더 포함하고, 상기 움직이는 오브젝트의 속도 정보는 아래와 같은 수식으로 계산할 수 있다.
상기 움직이는 오브젝트의 속도(km/h) = 상기 움직이는 오브젝트의 실제지름(mm) / 움직이는 오브젝트의 측정지름(pixel) * 이미지 프레임 간 움직이는 오브젝트의 위치변위(pixel) * 이미지 프레임의 촬영속도 (frame/sec) * 3600/1000/1000.
또한, 상기 이미지 촬영 방법은, 상기 움직이는 오브젝트에 대한 타격 위치를 계산하는 단계와, 상기 계산된 타격 위치를 화면에 표시하는 단계를 더 포함하고, 상기 타격 위치는 아래의 수식으로 계산할 수 있다.
타격 위치(pixel) = 상기 움직이는 오브젝트의 속도(km/h) * 1000*1000/3600 * 1/이미지 프레임 촬영 속도(sec/frame) * Height_pixel(pixel)/Height_guide_box(meter) * 최소소요시간(frame). 이때, Height_pixel는 상기 라이브 뷰에 포함된 가이드 박스의 측정 높이, Height_guide_box는 상기 라이브 뷰에 포함된 가이드 박스의 실제 높이.
또한, 상기 움직이는 오브젝트에 이미지 촬영 장치의 초점을 맞추어 상기 정지 이미지를 캡쳐할 수 있다.
또한, 상기 움직이는 오브젝트의 움직이는 방향과 수직 방향의 콘트라스트 또는 위상차 픽셀값에 가중치를 두어 상기 이미지 촬영 장치의 초점을 맞출 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 캡쳐된 정지 이미지에 상기 트래킹된 움직이는 오브젝트의 궤적을 표시해주는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 정지 이미지와 관련된 정보를 서버로부터 수신하는 단계와, 상기 수신된 상기 정지 이미지와 관련된 정보에 기초하여 상기 정지 이미지에 대한 메타 데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 기준 위치에 위치하는데 필요한 시간을 판단하는 단계와, 상기 판단된 시간이 이미지 촬영 장치의 셔터 랙 시간(shutter lag time)보다 짧으면, 경고 메시지를 표시하는 단계를 더 포함할 수 있다.
또한, 상기 이미지 촬영 방법은, 연속되는 라이브 뷰 이미지 프레임들에 포함된 상기 움직이는 오브젝트의 예측된 궤적 상호 간의 간격 정보에 기초하여 이미지 촬영 장치의 프레임 레이트를 조정하는 단계를 더 포함할 수 있다.
한편, 전술한 이미지 촬영 방법은 컴퓨터 상에서 판독 가능한 비일시적 기록 매체에 프로그램의 형태로 저장될 수 있다. 여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장이 가능하며, 전자기기에 의해 판독(reading)이 가능한 매체를 의미한다. 예를 들어, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 전술한 이미지 촬영 방법은 FPGA와 같은 임베디드 소프트웨어 형태로 하드웨어 IC칩에 내장되어 제공될 수 있고, 전술한 이미지 촬영 장치(100, 100-1, 100-2) 의 일부 구성으로 포함될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100, 100-1, 100-2, 이미지 촬영 장치
110 :촬영부 125 : 입력부
130 : 제어부 140 : 이미지 처리부
145 : 통신부 150 : 유선 인터페이스
160 : 저장부 170 : 기준 위치 설정부
175 : 위치 검출부 180 : 트래킹부
185 : 예측부 190 : 디스플레이부

Claims (20)

  1. 이미지 촬영 방법에 있어서,
    라이브 뷰 이미지의 기준 위치를 설정하는 단계;
    상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)하는 단계;
    상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 단계; 및
    상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때 정지 이미지를 캡쳐하는 단계;를 포함하는 이미지 촬영 방법.
  2. 제1항에 있어서,
    상기 기준 위치를 설정하는 단계는,
    상기 라이브 뷰 이미지의 기 설정된 오브젝트를 검출하여 상기 검출된 오브젝트를 기준으로 상기 기준 위치를 설정하는 것을 특징으로 하는 이미지 촬영 방법.
  3. 제1항에 있어서,
    상기 기준 위치를 설정하는 단계는,
    사용자 입력에 의해 설정된 위치를 상기 기준 위치로 설정하는 것을 특징으로 하는 이미지 촬영 방법.
  4. 제1항에 있어서,
    상기 기준 위치를 설정하는 단계는,
    이미지 촬영 장치에 의해 검출된 상기 이미지 촬영 장치의 위치 정보에 기초하여 상기 기준 위치를 설정하는 것을 특징으로 하는 이미지 촬영 방법.
  5. 제1항에 있어서,
    상기 기준 위치를 나타내는 가이드 라인을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 촬영 방법.
  6. 제5항에 있어서,
    상기 라이브 뷰 이미지에 포함된 사람을 식별하는 단계;및
    상기 식별된 사람에 대응되는 정보에 기초하여 상기 기준 위치를 나타내는 가이드 라인을 표시하는 것을 특징으로 하는 이미지 촬영 방법.
  7. 제6항에 있어서,
    상기 사람을 식별하는 단계는,
    상기 라이브 뷰 이미지에 포함된 사람의 얼굴을 인식하거나 등번호를 식별하여 상기 사람을 식별하는 것을 특징으로 하는 이미지 촬영 방법.
  8. 제6항에 있어서,
    상기 식별된 사람에 대응되는 정보는,
    타자의 타율 및 타자의 타격 지점 중 적어도 하나인 것을 특징으로 하는 이미지 촬영 방법.
  9. 제1항에 있어서,
    상기 기준 위치를 설정하는 단계는,
    상기 기준 위치를 반전(reverse)시키기 위한 사용자 명령이 수신되면, 상기 기준 위치를 상기 라이브 뷰 이미지의 중심을 지나는 수직선을 중심으로 반전시켜 상기 기준 위치를 재설정하는 것을 특징으로 하는 이미지 촬영 방법.
  10. 제1항에 있어서,
    가이드 박스(box)를 표시하는 단계;및
    상기 라이브 뷰 이미지에 포함된 사람이 상기 가이드 박스를 채우도록 이미지 촬영 장치의 렌즈를 줌 인 또는 줌 아웃하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 촬영 방법.
  11. 제10항에 있어서,
    사용자의 드래그 입력에 의해 상기 가이드 박스의 크기를 조절할 수 있는 것을 특징으로 하는 이미지 촬영 방법.
  12. 제1항에 있어서,
    상기 움직이는 오브젝트의 위치를 예측하는 단계는,
    상기 움직이는 오브젝트의 실제 크기, 상기 움직이는 오브젝트의 상기 라이브 뷰 이미지에서의 크기, 과거에 촬영된 라이브 뷰 이미지에서 상기 움직이는 오브젝트의 변위, 및 이미지 촬영 장치의 프레임 레이트 중 적어도 하나를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 것을 특징으로 하는 이미지 촬영 방법.
  13. 제1항에 있어서,
    상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 기준 위치에 위치하는데 필요한 시간을 판단하는 단계; 및
    상기 판단된 시간이 이미지 촬영 장치의 셔터 랙 시간(shutter lag time)보다 짧으면, 경고 메시지를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 촬영 방법.
  14. 제1항에 있어서,
    연속되는 라이브 뷰 이미지 프레임들에 포함된 상기 움직이는 오브젝트의 예측된 궤적 상호 간의 간격 정보에 기초하여 이미지 촬영 장치의 프레임 레이트를 조정하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 촬영 방법.
  15. 제1항에 있어서,
    상기 움직이는 오브젝트에 이미지 촬영 장치의 초점을 맞추어 상기 정지 이미지를 캡쳐하는 것을 특징으로 하는 이미지 촬영 방법.
  16. 제15항에 있어서,
    상기 움직이는 오브젝트의 움직이는 방향과 수직 방향의 콘트라스트 또는 위상차 픽셀값에 가중치를 두어 상기 이미지 촬영 장치의 초점을 맞추는 것을 특징으로 하는 이미지 촬영 방법.
  17. 제1항에 있어서,
    상기 캡쳐된 정지 이미지에 상기 움직이는 오브젝트의 예측된 궤적을 표시해주는 단계;를 더 포함하는 것을 특징으로 하는 이미지 촬영 방법.
  18. 제1항에 있어서,
    상기 정지 이미지와 관련된 정보를 서버로부터 수신하는 단계;및
    상기 수신된 상기 정지 이미지와 관련된 정보에 기초하여 상기 정지 이미지에 대한 메타 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 촬영 방법.
  19. 이미지 촬영 장치에 있어서,
    라이브 뷰 이미지를 디스플레이 하는 디스플레이부;
    상기 라이브 뷰 이미지의 기준 위치를 설정하는 기준 위치 설정부;
    상기 라이브 뷰 이미지에서 움직이는 오브젝트를 트래킹(tracking)하는 트래킹부;
    상기 트래킹 정보를 이용하여 상기 움직이는 오브젝트의 위치를 예측하는 예측부; 및
    상기 예측 결과에 기초하여 상기 움직이는 오브젝트가 상기 라이브 뷰 이미지의 상기 기준 위치에 위치할 때 정지 이미지를 캡쳐하는 촬영부;를 포함하는 이미지 촬영 장치.
  20. 제19항에 있어서,
    포커스 렌즈;
    상기 포커스 렌즈를 동작시키는 모터 드라이브;및
    상기 포커스 렌즈에 의한 포커싱을 위해 상기 모터 드라이브를 제어하는 제어부;를 더 포함하고,
    상기 제어부는,
    메뉴얼 포커싱 입력이 수신되면, 상기 포커스 렌즈의 포커싱 범위를 기 설정된 범위 내로 제한하고, 그 후 반셔터 입력이 수신되면, 상기 기 설정된 범위 내에서 오토 포커싱을 수행하도록 상기 모터 드라이버를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
KR1020140122251A 2014-09-15 2014-09-15 이미지 촬영 방법 및 이미지 촬영 장치 Active KR102232517B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140122251A KR102232517B1 (ko) 2014-09-15 2014-09-15 이미지 촬영 방법 및 이미지 촬영 장치
PCT/KR2015/007629 WO2016043423A1 (en) 2014-09-15 2015-07-22 Method for capturing image and image capturing apparatus
AU2015319023A AU2015319023B2 (en) 2014-09-15 2015-07-22 Method for capturing image and image capturing apparatus
EP15842908.4A EP3195589B1 (en) 2014-09-15 2015-07-22 Method for capturing image and image capturing apparatus
CN201580047720.6A CN106605236B (zh) 2014-09-15 2015-07-22 用于捕捉图像的方法和图像捕捉装置
US14/826,579 US10477093B2 (en) 2014-09-15 2015-08-14 Method for capturing image and image capturing apparatus for capturing still images of an object at a desired time point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140122251A KR102232517B1 (ko) 2014-09-15 2014-09-15 이미지 촬영 방법 및 이미지 촬영 장치

Publications (2)

Publication Number Publication Date
KR20160031900A true KR20160031900A (ko) 2016-03-23
KR102232517B1 KR102232517B1 (ko) 2021-03-26

Family

ID=55456077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140122251A Active KR102232517B1 (ko) 2014-09-15 2014-09-15 이미지 촬영 방법 및 이미지 촬영 장치

Country Status (6)

Country Link
US (1) US10477093B2 (ko)
EP (1) EP3195589B1 (ko)
KR (1) KR102232517B1 (ko)
CN (1) CN106605236B (ko)
AU (1) AU2015319023B2 (ko)
WO (1) WO2016043423A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101433A1 (ko) * 2018-11-16 2020-05-22 포디리플레이코리아 주식회사 객체 속도 계산 및 표시 방법 및 장치
EP3846445A4 (en) * 2018-08-31 2021-10-27 Sony Group Corporation DATA PROCESSING APPARATUS, DATA PROCESSING PROCESS, AND DATA PROCESSING PROGRAM
US11699239B2 (en) 2020-04-21 2023-07-11 The Board of Trustees of the University of Illinois (Urbana, IL) Image processing method and apparatus

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12401911B2 (en) 2014-11-07 2025-08-26 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US12401912B2 (en) 2014-11-17 2025-08-26 Duelight Llc System and method for generating a digital image
US12445736B2 (en) 2015-05-01 2025-10-14 Duelight Llc Systems and methods for generating a digital image
US9894259B2 (en) * 2015-06-29 2018-02-13 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Movable image capture devices and methods for capture of images from behind a display screen
KR102403065B1 (ko) * 2015-07-14 2022-05-27 삼성전자주식회사 영상 촬영 장치 및 그 동작 방법
TWI584649B (zh) * 2016-05-25 2017-05-21 聚晶半導體股份有限公司 影像擷取裝置及其漸進式對焦方法
GB2558282B (en) * 2016-12-23 2021-11-10 Sony Interactive Entertainment Inc Data processing
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
CN111108743B (zh) * 2017-09-20 2021-07-20 富士胶片株式会社 摄像控制装置、摄像装置、摄像控制方法及记录介质
CN109011490B (zh) * 2018-10-24 2021-02-02 深圳市衡泰信科技有限公司 基于红外双目高速摄像的高尔夫运动地面感测装置及方法
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7267719B2 (ja) * 2018-11-28 2023-05-02 キヤノン株式会社 光電変換装置、移動体、信号処理装置
WO2020235401A1 (ja) * 2019-05-21 2020-11-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10498401B1 (en) * 2019-07-15 2019-12-03 Capital One Services, Llc System and method for guiding card positioning using phone sensors
KR102786942B1 (ko) * 2019-08-02 2025-03-27 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7451171B2 (ja) * 2019-12-24 2024-03-18 キヤノン株式会社 画像処理装置
JP7518684B2 (ja) * 2020-07-16 2024-07-18 キヤノン株式会社 撮像制御装置、その制御方法、プログラム及び記録媒体
CN111988530B (zh) * 2020-09-01 2022-07-29 青岛海信移动通信技术股份有限公司 移动终端及其拍照方法
CN113132632B (zh) * 2021-04-06 2022-08-19 蚂蚁胜信(上海)信息技术有限公司 一种针对宠物的辅助拍摄方法和装置
CN113395456B (zh) * 2021-08-17 2021-11-30 南昌龙旗信息技术有限公司 辅助拍摄方法、装置、电子设备及计算机可读存储介质
CN114299511B (zh) * 2021-12-10 2025-10-31 上海育奇科技有限公司 一种基于光学划记符号的运动辨识系统
CN114387552B (zh) * 2022-01-13 2022-08-26 电子科技大学 基于生物视觉机理的旋翼无人机红外视频跟踪方法
CN114522410B (zh) * 2022-02-14 2023-04-25 复旦大学 一种羽毛球过网高度检测方法
KR102637344B1 (ko) 2022-03-02 2024-02-16 삼성전자주식회사 객체의 인식을 수행하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192116A1 (en) * 2005-03-29 2008-08-14 Sportvu Ltd. Real-Time Objects Tracking and Motion Capture in Sports Events
US20080239104A1 (en) * 2007-04-02 2008-10-02 Samsung Techwin Co., Ltd. Method and apparatus for providing composition information in digital image processing device
WO2013133129A1 (ja) * 2012-03-06 2013-09-12 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
US20130258160A1 (en) * 2012-03-29 2013-10-03 Sony Mobile Communications Inc. Portable device, photographing method, and program
US20130329111A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Contextual help guide
US20140015966A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Imaging apparatus and imaging method

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429540B2 (ja) 1993-12-09 2003-07-22 オリンパス光学工業株式会社 水陸両用カメラの光学系
JP2974316B1 (ja) 1998-11-25 1999-11-10 有限会社 白沙堂 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
US7046292B2 (en) 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
JP2003241066A (ja) 2002-02-15 2003-08-27 Olympus Optical Co Ltd カメラ
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
JP2005176274A (ja) 2003-12-15 2005-06-30 Canon Inc 撮像装置及び撮像制御方法
JP4528369B2 (ja) 2005-12-17 2010-08-18 株式会社山口シネマ 複数のカメラの連動トラッキングシステム
US8237803B2 (en) 2007-07-09 2012-08-07 Panasonic Coporation Digital single-lens reflex camera including control section that performs camera shake correction and motion detecting section that detects speed of subject
JP2010239169A (ja) 2007-08-08 2010-10-21 Panasonic Corp 撮像装置
KR20090028329A (ko) 2007-09-14 2009-03-18 삼성테크윈 주식회사 초점이 맞지않는 원인을 알려주는 디지털 카메라의 제어방법
JP2010041299A (ja) 2008-08-04 2010-02-18 Nikon Corp 電子カメラ
US8913176B2 (en) 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101505681B1 (ko) 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
KR101689171B1 (ko) * 2010-10-11 2016-12-23 엘지전자 주식회사 이동 단말기 및 이를 이용한 이미지 촬상 방법
KR101700357B1 (ko) 2009-11-30 2017-01-26 삼성전자주식회사 점프 영상 촬영 장치 및 방법
JP5603663B2 (ja) 2010-06-02 2014-10-08 Toa株式会社 移動体軌跡表示装置および移動体軌跡表示プログラム
WO2011163454A1 (en) 2010-06-25 2011-12-29 Trimble Navigation Ltd. Method and apparatus for image-based positioning
KR101708303B1 (ko) 2010-08-18 2017-02-20 엘지전자 주식회사 정보 전송 방법 및 이를 이용하는 이동 단말기
JP2012049651A (ja) 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
JP5693094B2 (ja) 2010-08-26 2015-04-01 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
US20130017069A1 (en) * 2011-07-13 2013-01-17 General Electric Company Turbine, a turbine seal structure and a process of servicing a turbine
US20130025816A1 (en) * 2011-07-29 2013-01-31 Bochiechio Mario P Die casting system and method
JP5904773B2 (ja) 2011-12-02 2016-04-20 オリンパス株式会社 カメラシステム、交換レンズ、およびカメラ
US9240059B2 (en) * 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
JP5931464B2 (ja) * 2012-01-20 2016-06-08 オリンパス株式会社 撮影装置
US9293357B2 (en) * 2012-07-02 2016-03-22 Texas Instruments Incorporated Sinker with a reduced width
JP6045348B2 (ja) 2013-01-04 2016-12-14 オリンパス株式会社 撮像装置及び撮像装置の制御方法
JP5479636B2 (ja) 2013-05-15 2014-04-23 オリンパスイメージング株式会社 カメラ及びカメラの撮影動作方法
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192116A1 (en) * 2005-03-29 2008-08-14 Sportvu Ltd. Real-Time Objects Tracking and Motion Capture in Sports Events
US20080239104A1 (en) * 2007-04-02 2008-10-02 Samsung Techwin Co., Ltd. Method and apparatus for providing composition information in digital image processing device
WO2013133129A1 (ja) * 2012-03-06 2013-09-12 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
US20130258160A1 (en) * 2012-03-29 2013-10-03 Sony Mobile Communications Inc. Portable device, photographing method, and program
US20130329111A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Contextual help guide
US20140015966A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Imaging apparatus and imaging method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846445A4 (en) * 2018-08-31 2021-10-27 Sony Group Corporation DATA PROCESSING APPARATUS, DATA PROCESSING PROCESS, AND DATA PROCESSING PROGRAM
US11445102B2 (en) 2018-08-31 2022-09-13 Sony Corporation Information processing device and information processing method
WO2020101433A1 (ko) * 2018-11-16 2020-05-22 포디리플레이코리아 주식회사 객체 속도 계산 및 표시 방법 및 장치
KR20200057485A (ko) * 2018-11-16 2020-05-26 포디리플레이코리아 주식회사 객체 속도 계산 및 표시 방법 및 장치
US11699239B2 (en) 2020-04-21 2023-07-11 The Board of Trustees of the University of Illinois (Urbana, IL) Image processing method and apparatus

Also Published As

Publication number Publication date
KR102232517B1 (ko) 2021-03-26
US20160080633A1 (en) 2016-03-17
EP3195589A1 (en) 2017-07-26
AU2015319023A1 (en) 2017-02-02
AU2015319023B2 (en) 2018-07-26
US10477093B2 (en) 2019-11-12
CN106605236A (zh) 2017-04-26
WO2016043423A1 (en) 2016-03-24
CN106605236B (zh) 2020-05-15
EP3195589A4 (en) 2018-04-04
EP3195589B1 (en) 2020-07-22

Similar Documents

Publication Publication Date Title
KR102232517B1 (ko) 이미지 촬영 방법 및 이미지 촬영 장치
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
US7689113B2 (en) Photographing apparatus and method
US9367746B2 (en) Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images
US10382672B2 (en) Image capturing apparatus and method
CN101931752A (zh) 摄像装置、以及对焦方法
KR101605771B1 (ko) 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
JP5183441B2 (ja) 撮像装置
KR20160011533A (ko) 이미지 촬영 장치, 이미지 촬영 방법 및 비일시적 기록매체
WO2007119819A1 (ja) 画像記録再生装置
KR20150014226A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
JP2012109850A5 (ja) 撮像装置及びその制御方法、動画記録装置並びにその制御方法、プログラム、並びに記憶媒体
JP2009171362A (ja) 撮影装置、撮影方法
JP6322964B2 (ja) 撮像装置、撮像制御方法及びプログラム
CN102316256B (zh) 便携式设备及再现显示方法
WO2017071560A1 (zh) 图片处理方法及装置
KR101643614B1 (ko) 복수의 표시부들 각각에 다른 영상을 디스플레이할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
US20220159190A1 (en) Image processing device, image processing method, program, and imaging device
JP5344770B2 (ja) 撮影装置
JP6202982B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5938269B2 (ja) 撮像装置およびその制御方法
CN108200338A (zh) 实时对焦方法、成像装置和计算机可读存储介质
JP2010193106A (ja) 撮像装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140915

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190902

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140915

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200616

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20201229

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200616

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20201229

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200812

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210202

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210127

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20201229

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200812

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210322

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210323

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 4

End annual number: 4