[go: up one dir, main page]

KR20130123629A - 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법 - Google Patents

파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법 Download PDF

Info

Publication number
KR20130123629A
KR20130123629A KR1020120046897A KR20120046897A KR20130123629A KR 20130123629 A KR20130123629 A KR 20130123629A KR 1020120046897 A KR1020120046897 A KR 1020120046897A KR 20120046897 A KR20120046897 A KR 20120046897A KR 20130123629 A KR20130123629 A KR 20130123629A
Authority
KR
South Korea
Prior art keywords
interest
video
point
information
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020120046897A
Other languages
English (en)
Inventor
김현성
양지훈
정인협
황재형
박재순
Original Assignee
주식회사 어니언텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 어니언텍 filed Critical 주식회사 어니언텍
Priority to KR1020120046897A priority Critical patent/KR20130123629A/ko
Publication of KR20130123629A publication Critical patent/KR20130123629A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Instructional Devices (AREA)

Abstract

파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법이 제공된다. 사용자가 단말기를 사용하여 재생하고자 하는 파노라마 동영상을 선택하면, 단말기는 선택한 파노라마 동영상 및 상기 파노라마 동영상과 관련된 관심지점 정보를 서버로부터 다운로드 받는다. 단말기는 파노라마 동영상에서 미리 설정된 시야각 및 시선방향에 따른 화면 프레임을 추출하고, 관심지점 정보로부터 화면 프레임 내에 위치하는 관심지점들을 읽어와서 프레임 화면에 합성하여 화면에 표시한다. 본 발명에 따르면, 특정 도로 또는 특정 건물 내의 복도 등을 사용자가 이동하면서 사용자가 원하는 시선방향로 보는 효과를 제공한다. 또한, 동영상이 재생되는 도중에도 사용자가 시선방향를 변경할 수 있으므로 원하는 장소를 자세히 관찰할 수 있다.

Description

파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법 {Method for providing video frames and point of interest inside selected viewing angle using panoramic vedio}
본 발명은 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법에 관한 것으로서, 더욱 상세하게는 삼차원 파노라마 동영상과 관심지점 정보를 단말기로 제공하면 단말기에서는 사용자의 조작에 따라 파노라마 동영상 중의 원하는 시선방향의 동영상과 관심지점 정보를 제공하는 방법에 관한 것이다.
유무선 인터넷 사용자는 특정 위치를 검색하기 위하여 온라인 지도를 사용할 수 있고, 최근에는 인터넷 포털 사이트 등의 로드뷰 서비스를 통하여 특정 위치에 관한 파노라마 이미지를 얻을 수 있다. 그런데, 현재 제공되고 있는 파노라마 이미지는 특정 위치에서 360도를 둘러볼 수는 있지만 특정 도로를 이동해가면서 파노라마 동영상을 보여주지는 않는다.
한편, 특허등록 제1049416호에서는 사용자가 출발지와 도착지를 지정하면, 출발지에 상응하는 파노라마 이미지로부터 도착지에 상응하는 파노라마 이미지까지 순차적으로 각각의 파노라마 이미지를 디스플레이하도록 하고 있으나, 이는 단순히 파노라마 이미지가 촬영된 위치를 바꿔가면서 파노라마 이미지를 화면에 표시하는 것일 뿐, 파노라마 동영상을 표시하는 것은 아니다.
또한, 특허등록 제328397호에서는 파노라마 동영상을 획득하고 이를 화면에 표시하는 방법을 제시하고 있지만, 이 특허에서의 파노라마 동영상을 획득하는 방법에 촛점을 맞추고 있으며, 획득한 파노라마 동영상을 화면에 표시할 때 사용자가 보고 싶은 화면 프레임을 실시간으로 제어하거나 파노라마 동영상 상의 장소나 물체에 대한 상세한 정보를 획득할 수 있는 방법을 제시하지는 못하고 있다.
본 발명은 이러한 점을 감안하여 이루어진 것으로서, 특정 도로 또는 특정 건물 내의 복도 등을 사용자가 이동하면서 사용자가 원하는 시선방향로 볼 수 있도록 하는 동영상을 제공하는 방법을 제공하는 것을 목적으로 한다. 본 발명의 다른 목적은 동영상을 보면서 사용자가 시선방향를 변경할 수 있도록 하는 동영상 제공방법을 제공하는 것이다. 본 발명의 또 다른 목적은 도로 동영상을 보면서 그 도로에 있는 객체(관심지점, Point Of Interest)에 관한 상세한 정보(관심지점정보)를 조회할 수 있는 방법을 제공하는 것이다.
이러한 목적을 달성하기 위한 본 발명의 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법은, 사용자가 선택한 파노라마 동영상 및 상기 파노라마 동영상과 관련된 관심지점 정보를 서버로부터 다운로드 받는 제1단계와, 상기 파노라마 동영상에서 미리 설정된 시야각 및 시선방향에 따른 화면 프레임을 추출하는 제2단계와, 상기 관심지점 정보로부터 상기 화면 프레임 내에 위치하는 관심지점들을 읽어와서 상기 프레임 화면에 합성하여 화면에 표시하는 제3단계를 포함한다.
본 발명은 또한 동영상을 재생할 도로를 선택받는 단계를 더 포함할 수 있다. 이 경우에 제1단계의 사용자가 선택한 파노라마 동영상은 상기 선택받은 도로에 대한 파노라마 동영상이다. 동영상을 재생할 도로를 선택받는 단계는, 동영상을 보고자 하는 지역에 관한 정보를 서버로 전송하는 단계와, 서버로부터 상기 지역의 지도를 수신하여 화면에 표시하는 단계와, 상기 지도에서 사용자가 선택한 도로에 관한 정보를 서버로 전송하는 단계를 구비할 수 있다.
관심지점 정보에는 선택된 도로에 위치하는 각 관심지점의 위치 정보, 각 관심지점의 분류 정보, 각 관심지점의 이미지, 각 관심지점의 고유 아이디가 포함될 수 있다. 관심지점들은 지도 상의 해당 위치에 합성하여 표시될 수 있으며, 관심지점의 분류에 따라 모양 또는 색깔 등이 구분되어 표시될 수 있다. 또한, 사용자가 지도에 표시를 원하는 관심지점의 분류를 선택할 수 있도록 구성하는 것도 가능하다.
동영상의 선택은 다른 방법으로도 가능하다. 예를 들면, 선택 가능한 파노라마 동영상 들의 리스트를 화면에 표시하고, 화면에 표시된 리스트에서 하나의 파노라마 동영상을 사용자로부터 선택받아서, 선택된 파노라마 동영상에 관한 정보를 서버로 전송함으로써 동영상을 선택하도록 하는 것도 가능하다.
한편, 동영상 화면에 표시된 관심지점들 중의 하나를 사용자가 선택하면 해당 관심지점에 관한 정보를 화면에 표시할 수 있다. 이 화면에는 관심지점에 관한 정보 이외에 관심지점에 관한 상세 정보를 조회할 수 있는 버튼이 더 마련되며, 이 버튼이 선택되면 해당 관심지점의 상세 정보를 서버로 요청하고 관심지점의 상세 정보를 서버로부터 수신하여 화면에 표시한다. 상세 정보에는 해당 관심지점과 관련된 웹페이지로의 접속을 위한 링크 정보가 포함될 수 있다.
본 발명은 또한, 사용자로부터 화면에 표시할 관심지점들의 분류를 선택받는 단계를 더 포함할 수 있다. 제3단계에서 화면 프레임 내에 위치하는 관심지점들을 읽어올 때는 이 선택받은 분류에 해당하는 관심지점들만 읽어오도록 한다.
본 발명에서는 동영상의 재생 도중에 또는 동영상의 재생을 중지한 상태에서 사용자가 시선방향을 변경할 수 있다. 즉, 제3단계에서 사용자로부터 시선방향의 변경 요청을 입력받으면 단말기는 파노라마 동영상의 그 이후의 각 프레임으로부터 변경된 시선방향에 따른 화면 프레임을 추출하여 화면에 표시한다. 또는, 제3단계에서 사용자로부터 동영상 정지 요청을 입력받으면 파노라마 동영상의 현재 프레임에서 동영상 재생을 정지시키고, 이 상태에서 사용자로부터 시선방향의 변경 요청을 입력받으면 상기 파노라마 동영상의 현재 프레임에서 변경된 시선방향에 따른 화면 프레임을 추출하여 화면에 표시한다.
본 발명에 따르면, 특정 도로 또는 특정 건물 내의 복도 등을 사용자가 이동하면서 사용자가 원하는 시선방향로 보는 효과를 제공한다. 또한, 동영상이 재생되는 도중에도 사용자가 시선방향를 변경할 수 있으므로 원하는 장소를 자세히 관찰할 수 있다. 또한, 동영상을 보면서 그 도로에 있는 관심지점에 관한 상세한 정보를 조회할 수 있으므로 편리하다.
도 1은 휴대단말기를 사용하여 파노라마 동영상을 제공하는 서버에 접속하는 모습을 보여주는 개념도이다.
도 2는 파노라마 동영상 제공 서버의 내부 구성을 보여주는 블록도이다.
도 3은 단말기의 내부 구성을 보여주는 블록도이다.
도 4는 단말기에서 파노라마 동영상 제공 서버에 접속하여 파노라마 동영상을 제공받는 절차를 보여주는 흐름도이다.
도 5는 단말기에서 파노라마 동영상으로부터 화면에 표시할 프레임을 추출하여 POI 정보와 함께 화면에 표시하는 동작을 보여주는 흐름도이다.
도 6은 동영상을 재생할 도로를 선택하기 위하여 파노라마 동영상 제공 서버로부터 제공받는 지도의 일예를 보여주는 도면이다.
도 7은 동영상을 재생할 장소를 선택하기 위한 리스트의 일예를 보여주는 도면이다.
도 8은 지도 및 동영상에 표시할 관심지점의 분류를 선택하기 위한 화면예이다.
도 9는 재생되는 동영상 화면의 예이다.
도 10은 재생되는 동영상 화면에서 관심지점이 선택되었을 때 표시되는 화면예이다.
도 11은 도 10의 화면에서 Mc Info가 선택되었을 때의 화면예이다.
도 12는 도 10의 화면에서 Mc Homepage가 선택되었을 때의 화면예이다.
도 13은 도 10의 화면에서 Mc Menu가 선택되었을 때의 화면예이다.
도 14는 도 10의 화면에서 Mc Video가 선택되었을 때의 화면예이다.
도 15는 삼차원 파노라마 동영상에서 원하는 시선방향 및 시야각에 따른 화면 프레임을 추출하는 방법을 설명하기 위한 도면이다.
도 16은 단위구에서 관심지점의 이미지를 표현하는 방법을 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대해서 상세히 설명한다.
도 1은 휴대단말기를 사용하여 파노라마 동영상을 제공하는 서버에 접속하는 모습을 보여주는 개념도이다. 사용자는 스마트폰, 태블릿PC, 컴퓨터 등의 단말기(100)를 사용하여 유무선 인터넷, 이동통신망, 전용망 등의 통신망(N)을 통해 파노라마 동영상 제공 서버(200)에 접속하여 삼차원(3D) 파노라마 동영상과 관심지점 정보를 다운로드 받는다. 단말기(100)에 설치되어 있는 동영상 재생 프로그램은 삼차원(3D) 파노라마 동영상 중에서 지정된 시선방향의 시야각의 프레임 화면을 추출하여 동영상으로 재생한다.
도 2는 파노라마 동영상 제공 서버의 내부 구성을 보여주는 블록도이다. 파노라마 동영상 제공 서버(200)는, 단말기(100)가 통신망(N)을 통해 서버(200)에 접속할 수 있도록 하기 위한 망접속부(260)를 구비한다. 파노라마 동영상 제공 서버(200)에는 삼차원(3D) 파노라마 동영상 파일들이 저장되어 있는 동영상 DB(230), 관심지점에 관한 정보를 저장하고 있는 POI DB(240), 그리고 사용자가 원하는 도로를 선택할 수 있도록 하는 지도(미니맵)를 저장하고 있는 미니맵 DB(250)가 구비되며, 이들 데이터베이스를 관리하기 위한 DB 관리부(220)가 구비된다. 제어부(210)는 망접속부(260)를 통하여 수신되는 단말기(100)로부터의 요청에 따라 요청된 파노라마 동영상, 관심지점 정보, 미니맵 등을 각 데이터베이스로부터 읽어와서 망접속부(260)를 통하여 해당 단말기(100)로 전송한다.
동영상 DB(230)에 저장되는 삼차원 파노라마 동영상은 구(sphere) 형태로 촬영된 영상을 평면 형태로 변환한 영상인 것이 바람직하다. 삼차원(3D) 파노라마 카메라는 구(sphere) 형태 또는 반구(hemisphere) 형태로 촬영하는 카메라로서, 촬영된 영상은 UV 매핑을 거쳐서 평면 영상으로 변환되어 저장된다. 본 발명에서는 이렇게 평면 영상으로 변환되어 저장된 파노라마 동영상을 서버에서 단말기로 전송하면, 단말기에서 이 파노라마 동영상을 다시 UV 매핑의 역과정을 거쳐서 구 형태의 3차원 영상으로 변환하고, 변환된 파노라마 동영상에서 사용자의 시선방향 및 시야각에 따른 프레임 내의 영상을 추출하여 화면에 표시한다.
관심지점에 관한 정보에는 관심지점을 나타내는 고유한 ID, 관심지점의 분류(레스토랑, 주유소, 병원 등), 관심지점을 동영상 상에 나타내기 위한 이미지, 관심지점의 실제 좌표(위도, 경도, 고도), 관심지점을 동영상 상에 표시하기 위한 가상좌표, 관심지점의 명칭, 관심지점에 관련된 웹페이지로의 링크 정보, 관심지점과 관련된 동영상, 이미지, 이벤트 등의 마케팅 정보 등이 포함될 수 있다. 동영상과 관심정보의 동기화를 위해서 동영상에는 각 프레임의 카메라 위치정보가 포함될 수 있다. 또는, 최초 위치와 영상을 촬영하면서 이동한 속도로부터 각 프레임의 카메라 위치를 계산할 수도 있다. 또한, 관심지점 정보에도 관련된 파노라마 동영상에서 화면에 나타나야 할 시작 시간, 종료 시간 및 표시될 화면 프레임 범위를 저장해 둘 수 있다. 또한, 각 시간대별로 화면에 표시될 이미지의 크기를 지정할 수 있도록 구성하는 것도 가능하다.
도 3은 단말기의 내부 구성을 보여주는 블록도이다. 단말기(100)는 망접속부(160)를 사용하여 유무선 통신망에 접속하여 서버(100)와 통신한다. 사용자는 키패드, 키보드, 터치패널, 터치스크린, 마우스 등의 입력부(130)를 사용하여 조작 명령을 입력한다. 서버(100)로부터 망접속부(160)를 통해 수신되는 파노라마 동영상은 제어부(110)에서 미리 설정되어 있는 옵션에 따라 지정된 시선방향와 시야각에 해당되는 프레임의 영상이 추출되어 표시부(120)에 표시된다. 단말기의 메모리(150)에는 본 발명을 실시하기 위한 프로그램이 설치되어 있다. 또한, 이 프로그램의 실행에 필요한 각종 데이터도 저장된다. 실시예에 따라서는 GPS 수신부(140)가 구비되어, 단말기가 위치한 지역 부근의 파노라마 동영상을 선택하는데 사용될 수 있다.
다음으로 도 4 내지 도 14를 참조하여 파노라마 동영상을 수신하여 원하는 시선방향와 시야각에 해당되는 프레임의 동영상을 관심지점 정보와 함께 재생하는 절차를 설명한다.
도 4는 단말기에서 파노라마 동영상 제공 서버에 접속하여 파노라마 동영상을 제공받는 절차를 보여주는 흐름도이다.
사용자는 단말기에서 파노라마 동영상을 재생하기 위한 프로그램 또는 애플리케이션을 실행한다(단계 410). 그리고, 동영상을 보고 싶은 지역을 선택한다(단계 420). GPS 수신부(140)가 구비된 단말기의 경우에는 현재 위치를 자동으로 선택하도록 하는 것도 가능하다.
단말기(100)는 선택된 지역에 관한 정보를 서버(200)로 전송하고, 서버(200)는 해당 지역의 지도를 단말기(100)로 전송한다(단계 430). 서버(200)에서 단말기(100)로 전송하는 지도는 일반적인 지도일 수도 있고, 도 6에 도시된 것처럼 간략하게 표현된 미니맵(mini-map)일 수도 있다.
지도에는 파노라마 동영상이 촬영되어 저장되어 있는 도로(61a, 61b, 61c)가 표시되어 있어서, 사용자는 해당 도로를 클릭 또는 터치함으로써 해당 도로에 대한 파노라마 동영상을 선택할 수 있다. 한편, 단순히 도로를 선택하는 것이 아니라, 원하는 방향으로 이동하면서 촬영한 동영상을 선택할 수 있도록 구성하는 것도 가능하다. 예를 들면 61a 도로에 손가락을 대고 오른쪽에서 왼쪽으로 이동시킴으로써 도로의 오른쪽에서 왼쪽으로 이동하면서 촬영한 영상을 선택하는 것이다.
지도에는 또한 해당 지역의 관심지점(62)들이 표시될 수 있다. 또한, 사용자가 표시되길 원하는 관심지점의 분류를 선택할 수 있도록 구성할 수도 있다. 이를 위하여 도 6에는 관심지점 분류 선택을 위한 버튼(63)이 마련되어 있다. 사용자가 관심지점 분류 선택 버튼(63)을 누르면 도 8과 같은 화면이 나타나서 지도 및/또는 동영상에 표시되기를 원하는 관심지점을 선택할 수 있다. 또한, 관심지점들은 관심지점의 분류에 따라 서로 다른 색, 다른 모양 등으로 구분되어 표시될 수 있다.
다시 도 4로 돌아가서, 사용자가 화면에 표시된 미니맵에서 도로를 선택하면(단계 440), 단말기(100)는 선택된 도로에 관한 정보를 서버(200)로 전송한다. 그러면, 서버(200)는 데이터베이스에 저장되어 있는 해당 도로의 파노라마 동영상 파일 및 해당 도로와 관련된 관심지점 정보를 단말기(100)로 전송한다(단계 450). 관심지점 정보에는 선택된 도로에 위치하는 각 관심지점의 위치 정보, 각 관심지점의 분류 정보, 각 관심지점을 나타내는 이미지, 각 관심지점의 고유 아이디가 포함될 수 있다.
서버(200)로부터 삼차원 파노라마 동영상 파일과 관심지점 정보를 수신한 단말기(100)는 동영상을 재생한다(단계 460). 서버(200)로부터 수신한 파노라마 동영상 파일과 관심지점 정보로부터 동영상을 재생하는 절차에 대해서는 도 5를 참조하여 설명한다. 도 5는 단말기에서 파노라마 동영상으로부터 화면에 표시할 프레임을 추출하여 관심지역 정보와 함께 화면에 표시하는 동작을 보여주는 흐름도이다.
단말기(100)는 파노라마 동영상으로부터 미리 설정된 시야각 및 시선방향에 따른 화면 프레임을 추출하고, 화면 프레임 내에 위치하는 관심지점들의 이미지를 관심지점 정보로부터 읽어와서 프레임 화면의 해당 위치에 합성하여 화면에 표시하면서 동영상을 재생한다(단계 510).
단말기(100)가 서버(200)로부터 수신한 삼차원 파노라마 동영상은 UV 매핑을 거쳐서 평면 영상으로 변환되어 저장된 영상이다.
즉, 반지름의 길이가 1인 단위구(unit sphere) 표면 상의 점은 경도에 해당하는 θ(0~360도 사이의 값을 가짐)와, 위도에 해당하는 φ(-90도에서 90도 사이의 값을 가짐)로 표현 가능하다. UV 매핑은 이러한 3차원 구의 표면 상의 좌표를 2차원으로 변환하는 과정으로서, u는 가로좌표, v는 세로좌표를 나타내며 각각 0~1 사이의 값을 가지며, 다음 식에 의해 표현될 수 있다.
(u, v) = (θ/360, (sinφ+1)/2)
본 발명에서는 이렇게 평면 영상으로 변환되어 저장된 파노라마 동영상을 서버에서 단말기로 전송하면, 단말기에서 이 파노라마 동영상을 다시 UV 매핑의 역과정을 거쳐서 구 형태의 3차원 영상으로 변환하고, 도 15에서와 같이 구 형태로 변환된 파노라마 동영상(15a)에서 사용자의 시선 방향(α) 및 시야각(β)에 따른 프레임 내의 영상(15b)을 추출하여 화면에 표시한다. 도 15의 (a)와 (b)는 서로 다른 시야각에서 프레임 영상(15b)을 추출하는 모습을 보여주고 있다. 삼차원 영상을 이차원 영상으로 투영하는 방법은 종래부터 널리 알려져 있으며, 본 발명에서는 특정 투영 방법에 한정되는 것은 아니다.
본 발명에서는 파노라마 동영상 중의 원하는 시선 방향 및 시야각 내의 프레임에 위치하는 관심지점에 대해서 관심지점의 이미지를 프레임 화면을 합성하여 보여준다. 재생되는 동영상에 맞추어서 관심지점의 이미지를 3차원 파노라마 영상에 합성하기 위해서는 삼차원 파노라마 카메라의 위치 좌표와, 관심지점의 위치 좌표가 필요하다.
카메라의 위치를 Pc = (Xc, Yc, Zc)라 하고, 관심지점의 위치를 Pp = (Xp, Yp, Zp)라고 할 때, 카메라의 위치를 원점을 하여 관심지점의 상대적 위치 Pr을 계산하면,
Pr = (Xr, Yr, Zr) = Pp - Pc = (Xp-Xc, Yp-Yc, Zp-Zc)
와 같이 계산할 수 있다.
이는 카메라에서 관심지점까지 연결하는 벡터라고 볼 수 있으며, 따라서 이 벡터는 길이가 1인 단위벡터(Pn)와 거리(|Pr|)로 바꾸어서 다음과 같이 표현할 수 있다.
Figure pat00001
Pn = Pr / |Pr|
방향벡터는 길이가 1이므로 단위구 상의 한 점에 표기될 수 있다. 따라서, 도 16에서 볼 수 있는 것처럼 Pn을 사용하여 단위구 상의 표면 상에 관심지점이 출력될 위치를 지정할 수 있다.
한편, 관심지점까지의 거리는 원근법을 적용하여 표현할 수 있다. 눈에 보여지는 크기는 실제 크기에 비해 거리에 반비례하게 되므로, 관심지점을 나타내는 이미지의 원래 크기를 너비 Sw와 높이 Sh로 나타낸다면, 단위구 상에 표시할 관심지점 이미지의 크기는 너비가 Sw/|Pr|, 높이가 Sh/|Pr|이 된다.
이와 같이 파노라마 동영상의 원하는 시선방향 및 시야각에 따라 추출된 프레임 화면에 관심지점 이미지를 합성한 동영상 화면예가 도 9에 도시되어 있다. 도 9의 (a) 내지 (c)의 동영상 화면은 수신된 파노라마 동영상에서 원하는 시야각 및 시선방향에 따른 화면 프레임을 추출하고 관심지점 이미지를 합성한 영상이다. 도 9의 (a)와 (b)는 동일한 시야각 및 시선방향로 도로를 따라 전진하면서 보는 화면이고, (c)는 사용자의 조작에 따라 시선방향를 변경했을 때의 화면이다.
사용자는 보기를 원하는 방향으로 화면을 밀어서 시선방향를 변경할 수 있다. 예를 들면, (c)는 (b) 화면에서 사용자가 손가락을 화면에 대고 오른쪽으로 밀었을 때의 화면이다. 그러면 왼쪽의 영상이 화면 중앙으로 오면서 시선방향를 왼쪽으로 돌렸을 때에 볼 수 있는 화면이 화면에 나타나게 된다. 동영상이 재생되는 도중에 사용자로부터 시선방향의 변경 요청을 입력받으면 단말기의 애플리케이션은 현재의 파노라마 동영상 프레임 이후의 각 파노라마 프레임으로부터 변경된 시선방향에 따른 화면 프레임을 추출하여 화면에 표시한다. 사용자는 또한 두 손가락을 이용하여 대각선으로 서로 멀어지도록 밀거나 서로 가까워지도록 당기면서 화면의 확대 또는 축소, 즉 시야각의 변경을 할 수도 있다.
또한, 사용자는 동영상 재생을 정지시킨 다음에 시선방향나 시야각을 변경할 수도 있다. 사용자로부터 동영상 정지 요청을 입력받으면 애플리케이션은 파노라마 동영상의 현재 프레임에서 동영상 재생을 정지시키고, 이 상태에서 사용자로부터 시선방향의 변경 요청 또는 시야각의 변경 요청을 입력받으면 상기 파노라마 동영상의 현재 프레임에서 변경된 시선방향 또는 변경된 시야각에 따른 화면 프레임을 추출하여 화면에 표시한다.
동영상 재생 화면에서는 현재의 동영상이 미니맵 상의 어느 부분에 해당하는 지를 나타내는 그림이 표시될 수 있다. 도 9의 화면에서는 좌측 아래에 현재의 위치가 표시된 미니맵(92)이 표시되고 있다.
도 9의 화면에서 사용자는 화면에 표시된 관심지역 이미지를 클릭 또는 터치함으로써 해당 관심지역에 관한 상세한 정보를 조회할 수 있다. 도 10은 도 9의 화면에서 관심지점(91)이 선택되었을 때 표시되는 화면예이다.
관심지점이 선택되면(단계 520) 단말기의 애플리케이션은 해당 관심지점에 관한 정보를 도 10에서와 같이 표시한다. 도 10에서는 선택된 관심지점에 관한 연락처 등의 간략한 정보와, 그리고 보다 상세한 정보를 선택할 수 있는 선택버튼이 표시되어 있다.
도 10의 화면에서 사용자는 원하는 상세 정보를 선택하여 볼 수 있다. 특정 관심지점 정보 항목이 선택되면 단말기의 애플리케이션은 해당 관심지점 정보를 서버에 요청하여 다운로드 받아서 화면에 표시한다(단계 530).
도 11은 도 10의 화면에서 관심지점 정보 항목 Mc Info가 선택되었을 때의 화면예이고, 도 12는 도 10의 화면에서 관심지점 정보 항목 Mc Homepage가 선택되었을 때의 화면예이고, 도 13은 도 10의 화면에서 관심지점 정보 항목 Mc Menu가 선택되었을 때의 화면예이고, 도 14는 도 10의 화면에서 관심지점 정보 항목 Mc Video가 선택되었을 때의 화면예이다.
도 10의 화면에서 좀더 상세한 텍스트 정보 또는 이미지 정보에 관한 항목이 선택되면 도 11 또는 도 13에서와 같이 해당 텍스트 또는 이미지가 표시된다. 도 10의 화면에서 홈페이지 접속버튼과 같이 특정 웹사이트로의 이동에 관한 항목이 선택되면 도 12의 화면에서와 같이 해당 링크로 이동할 것인지를 확인받고, 사용자가 확인하면 웹브라우저를 호출하여 링크로 접속하게 된다. 한편, 도 10의 화면에서 동영상을 재생하기 위한 항목이 선택되면 도 14에서와 같이 서버로부터 동영상을 수신하면서 화면에 재생할 수 있다. 도 11 내지 도 14에 표시된 예 이외에도 사운드, 크로마키 영상, 예약 화면, 결제 화면 등과 같이 다양한 화면이 표시될 수 있다.
한편, 본 발명은 도로의 파노라마 동영상 중의 원하는 시선방향의 동영상을 재생하는데뿐만 아니라, 어떤 장소 또는 실내 공간을 촬영한 파노라마 동영상 중의 원하는 시선방향의 동영상을 재생하는데에도 사용될 수 있다. 예를 들면, 레스토랑의 내부 공간을 이동하면서 촬영한 파노라마 동영상에 대해서 원하는 시선방향 및 시야각의 프레임 화면을 추출하여 재생하는 것이다.
즉, 도 7에서와 같이 선택 가능한 파노라마 동영상 들의 리스트를 화면에 표시하고, 화면에 표시된 리스트에서 하나의 파노라마 동영상을 사용자로부터 선택받은 다음에 사용자가 선택한 파노라마 동영상에 관한 정보를 서버(200)로 전송하여 해당 파노라마 동영상을 수신하여 원하는 시선방향 및 시야각의 동영상을 재생한다. 이때, 해당 장소 또는 실내에 위치하는 관심지점에 관한 정보도 함께 표시된다. 파노라마 동영상 및 관심지점 정보로부터 원하는 시선방향의 동영상을 추출하여 표시하는 절차 및 방법은 도 5에서의 설명과 동일하므로 상세한 설명은 생략한다.
100 단말기, 110 제어부, 120 표시부,
130 입력부, 140 GPS 수신부, 150 메모리,
160 망접속부,
200 서버, 210 제어부, 220 DB 관리부,
230 동영상DB, 240 POI DB, 250 미니맵 DB,
260 망접속부.

Claims (14)

  1. 사용자가 선택한 파노라마 동영상 및 상기 파노라마 동영상과 관련된 관심지점 정보를 서버로부터 다운로드 받는 제1단계와,
    상기 파노라마 동영상에서 미리 설정된 시야각 및 시선방향에 따른 화면 프레임을 추출하는 제2단계와,
    상기 관심지점 정보로부터 상기 화면 프레임 내에 위치하는 관심지점들을 읽어와서 상기 프레임 화면에 합성하여 화면에 표시하는 제3단계
    를 포함하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  2. 제1항에 있어서,
    동영상을 재생할 도로를 선택받는 단계를 더 포함하며,
    상기 제1단계의 사용자가 선택한 파노라마 동영상은 상기 선택받은 도로에 대한 파노라마 동영상인 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  3. 제2항에 있어서, 동영상을 재생할 도로를 선택받는 상기 단계는
    동영상을 보고자 하는 지역에 관한 정보를 서버로 전송하는 단계와,
    서버로부터 상기 지역의 지도를 수신하여 화면에 표시하는 단계와,
    상기 지도에서 사용자가 선택한 도로에 관한 정보를 서버로 전송하는 단계를 구비하는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  4. 제3항에 있어서, 상기 관심지점 정보에는 상기 선택된 도로에 위치하는 각 관심지점의 위치 정보, 각 관심지점의 분류 정보, 각 관심지점의 이미지, 각 관심지점의 고유 아이디가 포함되는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  5. 제4항에 있어서,
    상기 화면에 표시하는 지도에는 관심지점들을 상기 지도 상의 해당 위치에 합성하여 표시하되, 관심지점의 분류에 따라 구분하여 표시하는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  6. 제5항에 있어서,
    사용자로부터 지도에 표시를 원하는 관심지점의 분류를 선택받는 단계를 더 포함하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  7. 제1항에 있어서, 제1단계는
    선택 가능한 파노라마 동영상 들의 리스트를 화면에 표시하는 단계와,
    화면에 표시된 리스트에서 하나의 파노라마 동영상을 사용자로부터 선택받는 단계와,
    사용자가 선택한 파노라마 동영상에 관한 정보를 서버로 전송하는 단계
    를 구비하는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  8. 제7항에 있어서,
    상기 관심지점 정보에는 각 관심지점의 위치 정보, 각 관심지점의 분류 정보, 각 관심지점의 이미지, 각 관심지점의 고유 아이디가 포함되는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  9. 제4항 또는 제8항에 있어서,
    화면에 표시된 관심지점들 중의 하나를 사용자가 선택하면 해당 관심지점에 관한 정보를 화면에 표시하는 단계
    를 더 포함하는 도로 동영상 및 관심지점정보 제공 방법.
  10. 제9항에 있어서,
    상기 화면에는 관심지점에 관한 정보 이외에 관심지점에 관한 상세 정보를 조회할 수 있는 버튼이 더 마련되며,
    상기 상세 정보를 조회할 수 있는 버튼이 선택되면 해당 관심지점의 상세 정보를 서버로 요청하고 관심지점의 상세 정보를 서버로부터 수신하여 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 도로 동영상 및 관심지점정보 제공 방법.
  11. 제10항에 있어서,
    상기 상세 정보에는 해당 관심지점과 관련된 웹페이지로의 접속을 위한 링크 정보가 포함되는 것을 특징으로 하는 도로 동영상 및 관심지점정보 제공 방법.
  12. 제4항 또는 제8항에 있어서,
    사용자로부터 화면에 표시할 관심지점들의 분류를 선택받는 단계를 더 포함하며,
    제3단계에서 상기 관심지점 정보로부터 상기 화면 프레임 내에 위치하는 관심지점들을 읽어올 때는 상기 선택받은 분류에 해당하는 관심지점들만 읽어오는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
  13. 제1항에 있어서,
    제3단계에서 사용자로부터 시선방향의 변경 요청을 입력받으면 상기 파노라마 동영상의 그 이후의 각 프레임으로부터 변경된 시선방향에 따른 화면 프레임을 추출하여 화면에 표시하는 것을 특징으로 하는 도로 동영상 및 관심지점 정보 제공 방법.
  14. 제1항에 있어서,
    제3단계에서 사용자로부터 동영상 정지 요청을 입력받으면 상기 파노라마 동영상의 현재 프레임에서 동영상 재생을 정지시키고, 이 상태에서 사용자로부터 시선방향의 변경 요청을 입력받으면 상기 파노라마 동영상의 현재 프레임에서 변경된 시선방향에 따른 화면 프레임을 추출하여 화면에 표시하는 것을 특징으로 하는 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법.
KR1020120046897A 2012-05-03 2012-05-03 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법 Abandoned KR20130123629A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120046897A KR20130123629A (ko) 2012-05-03 2012-05-03 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120046897A KR20130123629A (ko) 2012-05-03 2012-05-03 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법

Publications (1)

Publication Number Publication Date
KR20130123629A true KR20130123629A (ko) 2013-11-13

Family

ID=49852812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046897A Abandoned KR20130123629A (ko) 2012-05-03 2012-05-03 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법

Country Status (1)

Country Link
KR (1) KR20130123629A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150130187A (ko) * 2014-05-13 2015-11-23 삼성전자주식회사 영상 처리 장치 및 방법
CN112559884A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
KR20220001969A (ko) * 2020-06-30 2022-01-06 (주)에이에스티홀딩스 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법
US11622097B2 (en) 2017-12-22 2023-04-04 Samsung Electronics Co., Ltd. Apparatus and method for providing point of interest (POI) information in 360 video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150130187A (ko) * 2014-05-13 2015-11-23 삼성전자주식회사 영상 처리 장치 및 방법
US11622097B2 (en) 2017-12-22 2023-04-04 Samsung Electronics Co., Ltd. Apparatus and method for providing point of interest (POI) information in 360 video
KR20220001969A (ko) * 2020-06-30 2022-01-06 (주)에이에스티홀딩스 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법
CN112559884A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
CN112559884B (zh) * 2020-12-25 2023-09-26 北京百度网讯科技有限公司 全景图与兴趣点挂接的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9665986B2 (en) Systems and methods for an augmented reality platform
US9204131B2 (en) Remote control system
US9392248B2 (en) Dynamic POV composite 3D video system
KR101690955B1 (ko) 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
CN103634632B (zh) 图片信息的处理方法、装置及系统
US20150187137A1 (en) Physical object discovery
JP2019533372A (ja) パノラマ画像の表示制御方法、装置及び記憶媒体
US20210065331A1 (en) Image processing apparatus, image communication system, image processing method, and recording medium
CN110019599A (zh) 获取兴趣点poi信息的方法、系统、装置及电子设备
US12238257B2 (en) Display terminal, displaying method, and recording medium
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
KR20130123629A (ko) 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법
US20250159353A1 (en) Information processing system, communication system, and image transmission method
US20250159354A1 (en) Information processing system, communication system, and image sharing method
KR20150073573A (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치
US20230308762A1 (en) Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium
US20240316461A1 (en) Using laser to align a virtual environment in a game engine
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
US12229971B2 (en) Display terminal, communication system, and non-transitory recording medium
TWI888791B (zh) 線上互動房屋導覽系統及其處理方法
US20230308764A1 (en) Display terminal, communication system, method for displaying, method for communicating, and recording medium
US12388946B2 (en) Display terminal, communication system, and display method
US20230326001A1 (en) Display terminal, display method, and recording medium
TWM642447U (zh) 全景影像處理系統

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120503

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131011

Patent event code: PE09021S01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140306

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20131011

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20140306

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20131211

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20140424

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20140404

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20140306

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20131211

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20131011

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20140523

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20140424

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Patent event date: 20140306

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20150423

Appeal identifier: 2014101003079

Request date: 20140523

J301 Trial decision
PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20150423

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20140523

Decision date: 20150423

Appeal identifier: 2014101003079

PS0901 Examination by remand of revocation
S901 Examination by remand of revocation
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150521

Patent event code: PE09021S01D

GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

Patent event date: 20151014

Patent event code: PS07012S01D

Comment text: Decision to Grant Registration

Patent event date: 20150428

Patent event code: PS07011S01I

Comment text: Notice of Trial Decision (Remand of Revocation)

PC1904 Unpaid initial registration fee