[go: up one dir, main page]

KR102139106B1 - 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말 - Google Patents

타임 슬라이스 영상을 제공하는 장치 및 사용자 단말 Download PDF

Info

Publication number
KR102139106B1
KR102139106B1 KR1020160172699A KR20160172699A KR102139106B1 KR 102139106 B1 KR102139106 B1 KR 102139106B1 KR 1020160172699 A KR1020160172699 A KR 1020160172699A KR 20160172699 A KR20160172699 A KR 20160172699A KR 102139106 B1 KR102139106 B1 KR 102139106B1
Authority
KR
South Korea
Prior art keywords
image
images
time slice
center coordinates
slice image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160172699A
Other languages
English (en)
Other versions
KR20180070234A (ko
Inventor
신형철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160172699A priority Critical patent/KR102139106B1/ko
Publication of KR20180070234A publication Critical patent/KR20180070234A/ko
Application granted granted Critical
Publication of KR102139106B1 publication Critical patent/KR102139106B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • H04N5/232—
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

타임 슬라이스 영상을 제공하는 장치는 복수의 카메라로부터 촬영된 복수의 영상을 수신하는 영상 수신부, 상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택하는 선택부, 상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원하는 좌표 복원부 및 상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부를 포함한다.

Description

타임 슬라이스 영상을 제공하는 장치 및 사용자 단말{APPARATUS AND USER DEVICE FOR PROVIDING TIME SLICE VIDEO}
본 발명은 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말에 관한 것이다.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다.
최근에는 스포츠 경기 중계 중 타임 슬라이스 기법이 적용된 영상을 제공함으로써, 다시점으로 구성된 상세 화면을 통해 스포츠 경기에 대한 분석 또는 해설을 구체적으로 할 수 있게 되었다. 그러나 종래의 스포츠 경기의 경우, 타임 슬라이스 영상 제작자에 의해 수동으로 이벤트가 발생될 지점을 미리 선택받아야 하는 점에서 부정확한 타임 슬라이스 영상이 제작되기도 하였다. 또한, 스포츠 경기 중에는 이벤트가 랜덤으로 발생하게 되므로, 이벤트가 발생될 지점을 예측하기 어렵다는 단점을 가지고 있었다.
스포츠 경기의 경우, 이벤트 발생 지점이 랜덤으로 발생됨으로써, 이벤트 발생 지점에 대한 영역의 설정이 어려웠으나, 이를 즉각적으로 처리함으로써, 스포츠 경기에서도 적용 가능한 타임 슬라이스 영상을 제공할 수 있도록 하는 장치 및 사용자 단말을 제공하고자 한다. 종래에는 추적이 가능한 객체를 중심으로 타임 슬라이스 영상을 생성할 수 밖에 없었지만, 본 발명은 임의의 지점을 중심으로 타임 슬라이스 영상을 생성하는 것이 가능하도록 함으로써, 자유도 높게 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공하고자 한다. 사용자가 임의의 영역을 선택하면, 선택된 임의의 영역에 대한 타임 슬라이스 영상을 제공하도록 하는 인터렉티브한 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 카메라로부터 촬영된 복수의 영상을 수신하는 영상 수신부, 상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택하는 선택부, 상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원하는 좌표 복원부 및 상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부를 포함하는 것인 타임 슬라이스 영상 제공 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 복수의 카메라로부터 촬영된 복수의 영상을 사용자 단말로 전송하는 영상 전송부, 상기 사용자 단말로부터 상기 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신하는 수신부, 상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출하는 좌표 복원부, 상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부 및 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 전송부를 포함하는 것인 타임 슬라이스 영상 제공 장치를 제공할 수 있다.
본 발명의 또 다른 실시예는, 복수의 카메라로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치로부터 수신하는 영상 수신부, 상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받는 선택부 및 상기 선택된 관심 영역을 상기 타임 슬라이스 영상 제공 장치로 전송하는 전송부를 포함하고, 상기 영상 수신부는 상기 타임 슬라이스 영상 제공 장치로부터 상기 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신하고, 상기 복원된 다차원 중심 좌표를 중심으로 상기 복수의 영상으로부터 각각의 이미지가 추출되고, 상기 타임 슬라이스 영상은 상기 획득된 각각의 이미지를 이용하여 생성되는 것인 사용자 단말을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스포츠 경기의 경우, 이벤트 발생 지점이 랜덤으로 발생됨으로써, 이벤트 발생 지점에 대한 영역의 설정이 어려웠으나, 이를 즉각적으로 처리함으로써, 스포츠 경기에서도 적용 가능한 타임 슬라이스 영상을 제공할 수 있도록 하는 장치 및 사용자 단말을 제공할 수 있다. 종래에는 추적이 가능한 객체를 중심으로 타임 슬라이스 영상을 생성할 수 밖에 없었지만, 본 발명은 임의의 지점을 중심으로 타임 슬라이스 영상을 생성하는 것이 가능하도록 함으로써, 자유도 높게 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공할 수 있다. 사용자가 임의의 영역을 선택하면, 선택된 영역에 대한 타임 슬라이스 영상을 제공하도록 하는 인터렉티브한 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 영상에서 관심 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 사영 좌표를 중심으로 이미지를 추출하여 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다.
도 9는 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 11은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 시스템의 구성도이다. 도 1을 참조하면, 타임 슬라이스 영상 제공 시스템(1)은 복수의 카메라(110), 타임 슬라이스 영상 제공 장치(120) 및 사용자 단말(130)을 포함할 수 있다. 복수의 카메라(110), 타임 슬라이스 영상 제공 장치(120) 및 사용자 단말(130)은 타임 슬라이스 영상 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 타임 슬라이스 영상 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110) 및 사용자 단말(130)과 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, 3G, 4G, 5G, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등이 포함되나 이에 한정되지는 않는다.
복수의 카메라(110)는 스포츠 경기장 또는 공연장에서 스포츠 경기 영상 또는 공연 영상을 촬영하고, 촬영 영상을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. 예를 들어, 복수의 카메라(110)는 스포츠 경기장 또는 공연장에 소정의 간격을 두고 설치된 것일 수 있다.
타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 수신하고, 수신한 복수의 영상을 사용자 단말(130)로 전송할 수 있다. 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. 내부 파라미터는 복수의 카메라(110)의 초점 거리, 이미지 중심값 및 카메라 왜곡값 등을 포함하고, 외부 파라미터는 복수의 카메라(110)의 기준 좌표에 대한 상대적인 위치 정보를 포함할 수 있다.
타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 사용자 단말(130)로부터 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신함으로써, 관심 영역을 선택할 수 있다. 구체적으로, 타임 슬라이스 영상 제공 장치(120)는 사용자 단말(130)이 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하여 영상 중심 좌표로 설정하도록 함으로써 관심 영역을 선택할 수 있다.
타임 슬라이스 영상 제공 장치(120)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우, 적어도 둘의 영상 중심 좌표 및 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. 다른 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 위치 관계 정보에 기초하여 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 설정된 영상 중심 좌표를 연장한 직선 및 임의 지점을 포함하는 평면 방정식과의 접점을 다차원 중심 좌표로 복원할 수 있다. 또한, 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 위치 관계 정보에 기초하여 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 설정된 영상 중심 좌표를 연장한 직선에 임의 지점을 포함하는 배경의 깊이값을 반영하여 다차원 중심 좌표로 복원할 수 있다.
타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 복수의 영상에 사영하여 복수의 영상 각각으로부터 사영 좌표를 추출할 수 있다. 이 때, 타임 슬라이스 영상 제공 장치(120)는 추가 입력에 의해 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정할 수 있다.
타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 또한, 타임 슬라이스 영상 제공 장치(120)는 추출된 사영 좌표를 중심으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 추출된 사영 좌표를 중심으로 설정된 화각 영역을 복수의 영상에 반영하고, 복수의 영상으로부터 반영된 화각 영역에 해당하는 이미지를 추출할 수 있다. 이 때, 타임 슬라이스 영상 제공 장치(120)는 추출된 사영 좌표를 중심으로 설정된 화각 영역을 위치 관계 정보에 의해 보정하여 복수의 영상에 반영할 수 있다.
타임 슬라이스 영상 제공 장치(120)는 생성된 타임 슬라이스 영상을 사용자 단말(130)로 전송할 수 있다.
사용자 단말(130)은 복수의 카메라(110)로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치(120)로부터 수신할 수 있다.
사용자 단말(130)은 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받고, 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. 예를 들어, 사용자 단말(130)은 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택받아 영상 중심 좌표로 설정함으로써 관심 영역을 선택받고, 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다.
사용자 단말(130)은 추가 입력에 의해 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하고, 설정된 화각 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. 예를 들어, 사용자 단말(130)은 설정된 영상 중심 좌표로부터 드래그 입력에 의해 입력된 영역 및 영역이 반전된 영역으로 확장하여 화각 영역을 설정할 수 있다.
사용자 단말(130)은 타임 슬라이스 영상 제공 장치(120)로부터 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다. 도 2를 참조하면, 타임 슬라이스 영상 제공 장치(120)는 위치 관계 도출부(210), 영상 수신부(220), 선택부(230), 좌표 복원부(240), 사영 좌표 추출부(250) 및 생성부(260)를 포함할 수 있다.
위치 관계 도출부(210)는 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. 내부 파라미터는 복수의 카메라(110)의 초점 거리, 이미지 중심값 및 카메라 왜곡값 중 적어도 하나를 포함하고, 외부 파라미터는 복수의 카메라(110)의 기준 좌표에 대한 상대적인 위치 정보를 포함할 수 있다. 예를 들어, 복수의 카메라(110)가 스포츠 경기장에 설치된 경우, 위치 관계 도출부(210)는 스포츠 경기장의 코너, 터치라인 등의 실측 가능한 지형지물을 이용하여 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. 다른 예를 들어, 위치 관계 도출부(210)는 SFM(Structure From Motion) 기법을 이용하여 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. SFM 기법은 서로 다른 시점을 갖는 영상으로부터 화면 내의 3D 구조 정보와 카메라의 움직임을 찾아내는 기법을 의미한다.
복수의 카메라(110)에 대한 위치 관계 정보를 알아내는 공정은 복수의 카메라(110)가 스포츠 경기장 또는 공연장에 배치된 후 수행되며, 복수의 카메라(110)의 위치가 변경되는 경우, 복수의 카메라(110)에 대한 위치 관계 정보의 도출을 위해 재수행될 수 있다.
영상 수신부(220)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 수신할 수 있다.
선택부(230)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택할 수 있다. 선택부(230)는 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하여 영상 중심 좌표로 설정함으로써 관심 영역을 선택할 수 있다. 임의 지점은 객체가 위치한 지점일 수 있지만 객체가 위치하지 않은 지점도 해당될 수 있다. 따라서, 본원 발명은 관심 영역을 선택하기 위해 객체에 대한 추적이 불필요하다는 장점을 가지고 있다. 즉, 본원 발명의 일 실시예에 따르면, 타임 슬라이스 영상 제공 장치(120)는 사용자의 입력에 따라 직접 관심 영역을 선택할 수 있다.
관심 영역을 선택하는 과정에 대해서는 도 3을 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 복수의 영상에서 관심 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 야구 경기에 대한 타임 슬라이스 영상의 생성을 위해 복수의 영상에서 관심 영역을 선택할 수 있다.
예를 들어, 야구 경기에 대한 타임 슬라이스 영상을 생성하고자 하는 경우, 선택부(230)는 복수의 영상 중 제 1 영상(310)에서 타석에 위치한 타자에 대해 임의 지점(311)을 선택함으로써, 선택된 임의 지점을 영상 중심 좌표(X)로 설정하여 관심 영역을 선택할 수 있다. 또한, 선택부(230)는 복수의 영상 중 제 2 영상(320)에서 타석에 위치한 타자에 대해 임의 지점(321)을 선택함으로써, 선택된 임의 지점을 영상 중심 좌표(X')로 설정하여 관심 영역을 선택할 수 있다.
다시 도 2로 돌아와서, 선택부(230)는 추가 입력에 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정할 수 있다. 화각 영역은 예를 들어, 설정된 영상 중심 좌표로부터 사용자 단말(130)를 통해 입력된 드래그 입력에 의해 입력된 영역 및 영역이 반전된 영역으로 확장되어 설정되는 것일 수 있다. 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 과정에 대해서는 도 4a 및 도 4b를 통해 상세히 설명하도록 하겠다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a는 본 발명의 일 실시예에 따른 화각 영역을 설정하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a를 참조하면, 선택부(230)에서 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하면, 선택된 임의 지점에 대한 영상 중심 좌표가 설정될 수 있다. 영상 중심 좌표는 'key down'의 (xc, yc) 좌표(410)에 해당하는 것일 수 있다.
선택부(230)는 선택된 영상 중심 좌표에 기초하여 관심 영역을 선택할 수 있다. 관심 영역은 예를 들어, 'key down'의 (xc, yc) 좌표(410)로부터 'key up'의 (x, y) 좌표(402)에 해당되는 영역 및 'key up'의 (x, y) 좌표(402)가 반전된 'key up'의 (-x, -y) 좌표(401)에 해당되는 영역을 포함할 수 있다.
이 때, 사용자 단말(130)을 통해 드래그 입력이 입력된 경우, 영상 중심 좌표 및 화각 영역이 동시에 설정될 수도 있다. 예를 들어, 사용자 단말(130)을 통해 드래그 입력이 입력된 경우, 화각 영역은 'key up'의 (-x, -y) 좌표(401)로부터 'key up'의 (x, y) 좌표(402)에 해당하는 화각 영역(400)이 설정되는 동시에 영상 중심 좌표(410)가 설정될 수 있다.
도 4b는 본 발명의 일 실시예에 따른 화각 영역이 설정된 복수의 영상을 도시한 예시적인 도면이다. 도 4b를 참조하면, 제 1 영상(420)에서 선택된 제 1 임의 지점(X)에 대한 제 1 화각 영역(421)이 설정될 수 있으며, 제 2 영상(430)에서 선택된 제 2 임의 지점(X')에 대한 제 2 화각 영역(431)이 설정될 수 있다.
제 1 영상(420)은 화각 영역에 대한 가로 및 세로가 각각 'w0', 'h0'로 설정될 수 있으며, 제 2 영상(430)은 화각 영역에 대한 가로 및 세로가 각각 'wn', 'hn'으로 설정될 수 있다.
화각 영역은 원본 영상의 가로 및 세로 비율이 유지되며, 제 1 영상(420) 및 제 2 영상(430)의 사이에 위치한 중간 영상(가로: wk, 세로: hk)의 화각 영역의 크기는 수학식 1에 기초하여 선형적으로 보간될 수 있다.
Figure 112016123767030-pat00001
Figure 112016123767030-pat00002
다시 도 2로 돌아와서, 좌표 복원부(240)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. 좌표 복원부(240)는 복수의 영상 중 영상 중심 좌표가 설정된 개수에 따라 다차원 중심 좌표를 다르게 복원할 수 있다. 영상 중심 좌표가 설정된 개수에 따라 다차원 중심 좌표를 다르게 복원하는 과정에 대해서는 도 5a 및 도 5b를 통해 상세히 설명하도록 한다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a는 본 발명의 일 실시예에 따른 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우의 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다. 도 5a를 참조하면, 좌표 복원부(240)는 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우, 적어도 둘의 영상 중심 좌표 및 위치 관계 정보에 기초하여 다차원 중심 좌표를 선형적으로 복원할 수 있다.
예를 들어, 좌표 복원부(240)는 2개의 영상 중심 좌표가 설정된 경우, 위치 관계 정보에 기초하여 2개의 영상 중심 좌표의 X(510) 및 X'(511)로부터 삼각측량(triangulation)을 통해 선형적으로 다차원 중심 좌표(500)를 복원할 수 있다.
도 5b는 본 발명의 일 실시예에 따른 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우의 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다. 도 5b를 참조하면, 좌표 복원부(240)는 복수의 영상 중 하나의 영상 중심 좌표(520)가 설정된 경우, 위치 관계 정보에 기초하여 설정된 영상 중심 좌표(520)와 대응하는 카메라의 시점과 설정된 영상 중심 좌표(520)를 연장한 직선(521) 및 임의 지점(520)을 포함하는 평면 방정식과의 접점(540)을 다차원 중심 좌표로 복원할 수 있다.
예를 들어, 좌표 복원부(240)는 위치 관계 정보에 기초하여 설정된 영상 중심 좌표(520)와 대응하는 카메라의 시점과 설정된 영상 중심 좌표(520)를 연장한 직선(521)에 임의 지점을 포함하는 배경의 깊이값(530)을 반영하여 다차원 중심 좌표(540)로 복원할 수 있다. 여기서, 배경의 깊이값은 미리 계산된 것일 수 있다.
다시 도 2로 돌아와서, 사영 좌표 추출부(250)는 복원된 다차원 중심 좌표를 복수의 영상에 사영하여 복수의 영상 각각으로부터 사영 좌표를 추출할 수 있다. 사영 좌표 추출부(250)는 복원된 다차원 중심 좌표를 각각의 다른 시점을 갖는 복수의 영상에 사영하여 사영 좌표를 추출할 수 있다.
생성부(260)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 생성부(260)는 사영 좌표 추출부(250)에서 추출된 사영 좌표를 중심으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 사영 좌표를 중심으로 타임 슬라이스 영상을 생성하는 과정에 대해서는 도 6을 통해 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 사영 좌표를 중심으로 이미지를 추출하여 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 사영 좌표 추출부(250)는 복원된 다차원 중심 좌표(X, 600)를 복수의 영상(601 내지 605)에 사영하여 복수의 영상(601 내지 605) 각각으로부터 사영 좌표(611 내지 615)를 추출할 수 있다.
생성부(260)는 추출된 사영 좌표(611 내지 615)를 중심으로 설정된 화각 영역을 복수의 영상에 반영하고, 복수의 영상으로부터 반영된 화각 영역(621 내지 625)에 해당하는 이미지를 추출하여 타임 슬라이스 영상을 생성할 수 있다. 이 때, 생성부(260)는 추출된 사영 좌표(611 내지 615)를 중심으로 설정된 화각 영역(621 내지 625)을 위치 관계 정보에 의해 보정하여 복수의 영상에 반영할 수 있다.
이러한 과정을 통해 생성된 타임 슬라이스 영상은 다차원 중심 좌표를 복수의 영상에 사영시킴으로써, 흔들리지 않고, 추적이 불가능한 가려진 위치에 대해서도 사영이 가능하다는 장점을 갖는다.
도 7은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 7에 도시된 타임 슬라이스 영상 제공 장치(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 6에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 타임 슬라이스 영상 제공 장치(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다.
단계 S710에서 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 수신할 수 있다.
단계 S720에서 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택할 수 있다.
단계 S730에서 타임 슬라이스 영상 제공 장치(120)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다.
단계 S740에서 타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
상술한 설명에서, 단계 S710 내지 S740은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 8은 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다. 도 8을 참조하면, 타임 슬라이스 영상 제공 장치(120)는 영상 전송부(810), 수신부(820), 좌표 복원부(830), 생성부(840) 및 전송부(850)를 포함할 수 있다.
영상 전송부(810)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 사용자 단말(130)로 전송할 수 있다.
수신부(820)는 사용자 단말(130)로부터 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신할 수 있다. 관심 영역은 예를 들어, 설정된 영상 중심 좌표로부터 사용자 단말(130)을 통해 입력된 드래그 입력에 의해 입력된 영역일 수 있다. 즉, 본원 발명의 일 실시예에 따르면, 타임 슬라이스 영상 제공 장치(120)는 관심 영역에 대한 직접적인 선택 없이 사용자 단말(130)로부터 수신할 수 있다.
좌표 복원부(830)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출할 수 있다.
생성부(840)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
전송부(850)는 생성된 타임 슬라이스 영상을 사용자 단말(130)로 전송할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 9에 도시된 실시예에 따른 타임 슬라이스 영상 제공 장치(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 8에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 8에 도시된 실시예에 따른 영상 제공 서버(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다.
단계 S910에서 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 사용자 단말(130)로 전송할 수 있다.
단게 S920에서 타임 슬라이스 영상 제공 장치(120)는 사용자 단말(130)로부터 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신할 수 있다.
단계 S930에서 타임 슬라이스 영상 제공 장치(120)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출할 수 있다.
단계 S940에서 타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
단계 S950에서 타임 슬라이스 영상 제공 장치(120)는 생성된 타임 슬라이스 영상을 사용자 단말(130)로 전송할 수 있다.
상술한 설명에서, 단계 S910 내지 S950은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 10을 참조하면, 사용자 단말(130)은 영상 수신부(1010), 선택부(1020) 및 전송부(1030)를 포함할 수 있다.
영상 수신부(1010)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치(120)로부터 수신할 수 있다. 또한, 영상 수신부(1010)는 타임 슬라이스 영상 제공 장치(120)로부터 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신할 수 있다.
선택부(1020)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받을 수 있다. 예를 들어, 선택부(1020)는 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택받아 영상 중심 좌표로 설정함으로써 관심 영역을 선택받을 수 있다.
선택부(1020)는 추가 입력에 의해 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정할 수 있다. 예를 들어, 선택부(1020)는 설정된 영상 중심 좌표로부터 드래그 입력에 의해 입력된 영역 및 영역이 반전된 영역으로부터 확장하여 화각 영역을 설정할 수 있다.
전송부(1030)는 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다.
한편, 사용자 단말(130)은 필요에 따라 타임 슬라이스 영상 제공 장치(120)과의 연동 없이 사용자에 의해 선택받은 관심 영역에 기초하여 타임 슬라이스 영상을 생성하는 생성부를 더 포함할 수 있다.
도 11은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 11에 도시된 실시예에 따른 사용자 단말(130)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 10에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 10에 도시된 실시예에 따른 사용자 단말(130)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다.
단계 S1110에서 사용자 단말(130)은 복수의 카메라(110)로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치(120)로부터 수신할 수 있다.
단계 S1120에서 사용자 단말(130)은 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받을 수 있다.
단계 S1130에서 사용자 단말(130)은 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다.
단계 S1140에서 사용자 단말(130)은 타임 슬라이스 영상 제공 장치(120)로부터 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신할 수 있다.
상술한 설명에서, 단계 S1110 내지 S1140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 11을 통해 설명된 타임 슬라이스 영상 제공 장치 및 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 11을 통해 설명된 타임 슬라이스 영상 제공 장치 및 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 복수의 카메라
120: 타임 슬라이스 영상 제공 장치
130: 사용자 단말
210: 위치 관계 도출부
220: 영상 수신부
230: 선택부
240: 좌표 복원부
250: 사영 좌표 추출부
260: 생성부
810: 영상 전송부
820: 수신부
830: 좌표 복원부
840: 생성부
850: 전송부
1010: 영상 수신부
1020: 선택부
1030: 전송부

Claims (16)

  1. 타임 슬라이스 영상을 제공하는 장치에 있어서,
    복수의 카메라로부터 촬영된 복수의 영상을 수신하는 영상 수신부;
    상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택하는 선택부;
    상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원하는 좌표 복원부; 및
    상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부
    를 포함하되,
    상기 선택부는 상기 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하여 영상 중심 좌표로 설정함으로써 상기 관심 영역을 선택하고,
    상기 좌표 복원부는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표를 연장한 직선 및 상기 임의 지점에 기초하여 상기 다차원 중심 좌표를 복원하는 것인, 타임 슬라이스 영상 제공 장치.
  2. 제 1 항에 있어서,
    상기 복수의 카메라에 대한 내부 파라미터 및 외부 파라미터에 기초하여 상기 위치 관계 정보를 도출하는 위치 관계 도출부를 더 포함하는 것인, 타임 슬라이스 영상 제공 장치.
  3. 제 2 항에 있어서,
    상기 내부 파라미터는 상기 복수의 카메라의 초점 거리, 이미지 중심값 및 카메라 왜곡값 중 적어도 하나를 포함하고,
    상기 외부 파라미터는 상기 복수의 카메라의 기준 좌표에 대한 상대적인 위치 정보를 포함하는 것인, 타임 슬라이스 영상 제공 장치.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 좌표 복원부는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표를 연장한 직선 및 상기 임의 지점을 포함하는 평면 방정식과의 접점을 상기 다차원 중심 좌표로 복원하는 것인, 타임 슬라이스 영상 제공 장치.
  7. 제 1 항에 있어서,
    상기 좌표 복원부는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표를 연장한 직선에 상기 임의 지점을 포함하는 배경의 깊이값을 반영하여 상기 다차원 중심 좌표로 복원하는 것인, 타임 슬라이스 영상 제공 장치.
  8. 제 1 항에 있어서,
    상기 복원된 다차원 중심 좌표를 상기 복수의 영상에 사영하여 상기 복수의 영상 각각으로부터 사영 좌표를 추출하는 사영 좌표 추출부
    를 더 포함하고,
    상기 생성부는 상기 추출된 사영 좌표를 중심으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 제공 장치.
  9. 제 8 항에 있어서,
    상기 선택부는 추가 입력에 의해 상기 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 것인, 타임 슬라이스 영상 제공 장치.
  10. 제 9 항에 있어서,
    상기 생성부는 상기 추출된 사영 좌표를 중심으로 상기 설정된 화각 영역을 상기 복수의 영상에 반영하고, 상기 복수의 영상으로부터 상기 반영된 화각 영역에 해당하는 이미지를 추출하는 것인, 타임 슬라이스 영상 제공 장치.
  11. 제 10 항에 있어서,
    상기 생성부는 상기 추출된 사영 좌표를 중심으로 상기 설정된 화각 영역을 상기 위치 관계 정보에 의해 보정하여 상기 복수의 영상에 반영하는 것인, 타임 슬라이스 영상 제공 장치.
  12. 타임 슬라이스 영상을 제공하는 장치에 있어서,
    복수의 카메라로부터 촬영된 복수의 영상을 사용자 단말로 전송하는 영상 전송부;
    상기 사용자 단말로부터 상기 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신하는 수신부;
    상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출하는 좌표 복원부;
    상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부; 및
    상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 전송부
    를 포함하되,
    상기 관심 영역은 상기 복수의 영상 중 적어도 하나의 영상에서 임의 지점이 선택되어 영상 중심 좌표로 설정됨으로써 상기 관심 영역이 선택되고,
    상기 다차원 중심 좌표는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표가 연장된 직선 및 상기 임의 지점에 기초하여 복원되는 것인, 타임 슬라이스 영상 제공 장치.
  13. 타임 슬라이스 영상을 제공하는 사용자 단말에 있어서,
    복수의 카메라로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치로부터 수신하는 영상 수신부;
    상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받는 선택부; 및
    상기 선택된 관심 영역을 상기 타임 슬라이스 영상 제공 장치로 전송하는 전송부를 포함하고,
    상기 영상 수신부는 상기 타임 슬라이스 영상 제공 장치로부터 상기 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신하고,
    상기 복원된 다차원 중심 좌표를 중심으로 상기 복수의 영상으로부터 각각의 이미지가 추출되고,
    상기 타임 슬라이스 영상은 상기 추출된 각각의 이미지를 이용하여 생성되는 것이되,
    상기 선택부는 상기 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택받아 영상 중심 좌표로 설정함으로써 상기 관심 영역을 선택받고,
    상기 다차원 중심 좌표는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표가 연장된 직선 및 상기 임의 지점에 기초하여 복원되는 것인, 사용자 단말.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 선택부는 추가 입력에 의해 상기 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 것인, 사용자 단말.
  16. 제 15 항에 있어서,
    상기 선택부는 상기 설정된 영상 중심 좌표로부터 드래그 입력에 의해 입력된 영역 및 상기 영역이 반전된 영역으로 확장하여 화각 영역을 설정하는 것인, 사용자 단말.
KR1020160172699A 2016-12-16 2016-12-16 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말 Active KR102139106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160172699A KR102139106B1 (ko) 2016-12-16 2016-12-16 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160172699A KR102139106B1 (ko) 2016-12-16 2016-12-16 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말

Publications (2)

Publication Number Publication Date
KR20180070234A KR20180070234A (ko) 2018-06-26
KR102139106B1 true KR102139106B1 (ko) 2020-07-29

Family

ID=62788600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160172699A Active KR102139106B1 (ko) 2016-12-16 2016-12-16 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말

Country Status (1)

Country Link
KR (1) KR102139106B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102627285B1 (ko) * 2022-07-12 2024-01-23 주식회사 래비노 움직이는 카메라들의 영상 보정을 이용한 3d 이미지 생성 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206404A (ja) * 2009-03-02 2010-09-16 Secom Co Ltd 画像監視装置
JP2011182160A (ja) * 2010-03-01 2011-09-15 Canon Inc 映像処理装置及び映像処理方法
JP2014126906A (ja) 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1646012B1 (en) * 2003-06-20 2016-04-13 Nippon Telegraph And Telephone Corporation Virtual visual point image generating method and 3-d image display method and device
KR100924432B1 (ko) * 2007-12-06 2009-10-29 한국전자통신연구원 다시점 영상의 인식 깊이감 조절 장치 및 방법
KR102105189B1 (ko) * 2013-10-31 2020-05-29 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206404A (ja) * 2009-03-02 2010-09-16 Secom Co Ltd 画像監視装置
JP2011182160A (ja) * 2010-03-01 2011-09-15 Canon Inc 映像処理装置及び映像処理方法
JP2014126906A (ja) 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム

Also Published As

Publication number Publication date
KR20180070234A (ko) 2018-06-26

Similar Documents

Publication Publication Date Title
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
EP3550522B1 (en) Image processing device and method
CN109525831B (zh) 提供装置、提供方法和计算机可读存储介质
US11250619B2 (en) Image processing apparatus and method
JP6961612B2 (ja) 三次元モデル配信方法及び三次元モデル配信装置
US9277101B2 (en) Method and system for generating interpolations of captured video content
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
JP6385139B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102117686B1 (ko) 영상 제공 서버, 영상 제공 방법 및 사용자 단말
US11228790B2 (en) Providing time slice video
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
KR102105510B1 (ko) 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말
CN105721768A (zh) 从聚焦堆叠生成适合的切片图像的方法和装置
WO2018078986A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102139106B1 (ko) 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말
JP6572368B2 (ja) 生成装置および生成方法、プログラム
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
CN106231397A (zh) 主播类互动平台主播端场景切换方法及其装置、主播端
CN106231350A (zh) 主播类互动平台场景切换方法及其装置
US10229714B1 (en) Apparatus and user device for providing time slice video
KR102413647B1 (ko) 멀티뷰 스트리밍 서비스를 테스트하는 클라이언트 서버, 방법 및 컴퓨터 프로그램
KR101883981B1 (ko) 가상 현실 동영상 제공 장치 및 제공 방법
KR101794709B1 (ko) 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102034825B1 (ko) 양안 시야각을 고려한 가상 현실 동영상 제공 장치 및 제공 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161216

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181105

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161216

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191019

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200423

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200723

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200724

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230628

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250625

Start annual number: 6

End annual number: 6