[go: up one dir, main page]

KR101126449B1 - 증강 현실 서비스 시스템 및 방법 - Google Patents

증강 현실 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR101126449B1
KR101126449B1 KR1020110064692A KR20110064692A KR101126449B1 KR 101126449 B1 KR101126449 B1 KR 101126449B1 KR 1020110064692 A KR1020110064692 A KR 1020110064692A KR 20110064692 A KR20110064692 A KR 20110064692A KR 101126449 B1 KR101126449 B1 KR 101126449B1
Authority
KR
South Korea
Prior art keywords
information
content
terminal
virtual
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110064692A
Other languages
English (en)
Inventor
양재일
Original Assignee
양재일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양재일 filed Critical 양재일
Priority to KR1020110064692A priority Critical patent/KR101126449B1/ko
Application granted granted Critical
Publication of KR101126449B1 publication Critical patent/KR101126449B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 서비스 시스템 및 방법에 관한 것이다.
본 발명에 따른 증강 현실 서비스 시스템 및 방법은, 단말기가 단말기 위치 정보 및 단말기 상태 정보를 증강 현실 서버로 전송하면, 증강 현실 서버가 상기 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 단말기로 전송하고, 단말기는 실사 영상 정보에 기초하여 생성된 기준 마커(marker)와 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 컨텐츠 위치 보정 정보를 생성한 후, 상기 실사 영상 정보에 상응하는 실사 영상에 상기 가상 공간 정보, 상기 컨텐츠 정보, 및 상기 컨텐츠 위치 보정 정보에 기초하여 생성된 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 것을 특징으로 한다.

Description

증강 현실 서비스 시스템 및 방법 {System and method for augmented reality service}
본 발명은 증강 현실 서비스 시스템 및 방법에 관한 것으로, 보다 상세하게는 증강 현실 서비스 제공 시 3차원 가상 공간 정보를 이용하여 현실 세계와 매칭되는 컨텐츠를 제공하는 증강 현실 서비스 시스템 및 방법에 관한 것이다.
증강 현실(Augmented Reality: AR) 기술은 사용자가 눈으로 보는 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주는 기술이다. 예컨대, 휴대용 단말기로 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고, 주변의 건물 정보와 같은 객체 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술이다.
이러한 증강 현실 기술은 가상 현실(Virtual Reality: VR) 기술의 한 분야로서, 실제 환경에 가상 사물(객체)을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 이용한다. 그러나, 증강 현실 기술은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실 기술과 달리 현실 세계의 기반에 가상 객체를 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 장점이 있다. 그리고, 이러한 증강 현실 기술은 현재 휴대용 단말기인 스마트폰 등의 보급으로 인하여 더욱 다양한 분야에 활용되어 사용되고 있다.
한편, 모바일 증강 현실 기술은 크게 마커(Marker) 기반의 기술과 위치 정보 기반(Location Based Services: LBS)의 기술을 사용하고 있다. 마커 기반 기술은 소정의 마커를 사용하여 증강 현실을 구현하는 방식으로, 현실 공간에 마커를 설치해 두고 카메라로 촬영하면 마커의 크기나 경사도 등을 이용하여 사용자의 위치를 추정하고 이에 맞추어 가상 객체를 합성하는 방식이다. 그리고, 위치 정보 기반 기술은 단말기의 위치 정보에 기반하여 다양한 정보를 제공하는 방식이다.
그러나, 종래기술에 있어서, 마커 기반 기술은 현실 공간에 마커를 설치해야 하기 때문에 사용이 물리적으로 제한적인 단점이 있다. 또한, 위치 정보 기반 기술은 사용자 위치(즉, 단말기 위치)의 오차를 발생시키기 때문에 대부분 특정 텍스트나 정보 전달의 목적으로만 사용되고 있는 실정이다. 즉, 종래기술에 따른 위치 정보 기반 기술은 사용자 위치의 오차로 인하여 현실 세계의 건물이나 사물에 가상 객체(컨텐츠)를 정확히 매칭시킬 수 없는 단점이 있으며, 이에 따라 현실 세계와 가상 세계의 매칭 정확도가 떨어져 증강 현실로서의 몰입도가 낮아 주로 텍스트나 정보 전달의 목적으로만 사용되고 있는 실정이다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은 위치 정보 기반 기술을 이용하여 증강 현실을 구현할 때 현실 세계와 가상 세계의 매칭 정확도를 향상시켜 보다 현실감 있는 증강 현실 서비스를 제공할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 마커 기반 기술의 장점과 위치 기반 기술의 장점을 모두 활용하여 보다 우수한 증강 현실 서비스를 제공할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 3차원 가상 공간 정보를 이용하여 현실 세계와 매칭되는 컨텐츠를 제공하는 증강 현실 서비스 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 3차원 가상 공간 상에 존재하는 가상 객체를 2 이상의 계층(layer)을 갖는 독립된 구성체로 형성하고 각 계층별로 서로 다른 컨텐츠를 매칭시켜 증강 현실 서비스를 제공하는 시스템 및 방법을 제공하는 것이다.
상기 목적을 위하여, 본 발명의 일 형태에 따른 증강 현실 서비스 시스템은, 적어도 하나의 가상 객체를 포함하는 가상 공간에 대한 가상 공간 정보를 생성하고, 상기 적어도 하나의 가상 객체에 상응하는 컨텐츠에 대한 컨텐츠 정보를 생성하는 증강 현실 서버; 및 상기 증강 현실 서버로부터 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 수신하여, 실사 영상 정보에 상응하는 실사 영상에 상기 가상 공간 정보 및 컨텐츠 정보를 기초로 생성된 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 단말기를 포함하는 것을 특징으로 한다.
그리고, 본 발명의 다른 형태에 따른 증강 현실 서비스를 위한 단말기는, 현실 세계를 촬영하여 실사 영상 정보를 생성하는 카메라부; GPS(Global Positioning System), 자이로(gyro) 센서, 가속도 센서 중 적어도 하나를 이용하여 단말기 위치 정보 및 단말기 상태 정보를 생성하는 센서부; 증강 현실 서버로부터 상기 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 수신하는 통신부; 상기 실사 영상 정보에 기초하여 생성된 기준 마커(marker)와 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 컨텐츠 위치 보정 정보를 생성하는 위치 보정부; 상기 가상 공간 정보, 상기 컨텐츠 정보, 및 상기 컨텐츠 위치 보정 정보에 기초하여 증강 현실 서비스를 위한 컨텐츠를 생성하는 컨텐츠 생성부; 및 상기 실사 영상 정보에 상응하는 실사 영상에 상기 컨텐츠를 합성하는 영상 처리부를 포함하는 것을 특징으로 한다.
그리고, 본 발명의 또 다른 형태에 따른 증강 현실 서비스 방법은, a) 단말기 위치 정보 및 단말기 상태 정보를 증강 현실 서버로 전송하는 단계; b) 상기 증강 현실 서버로부터 상기 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 수신하는 단계; c) 실사 영상 정보에 기초하여 생성된 기준 마커(marker)와 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 컨텐츠 위치 보정 정보를 생성하는 단계; 및 d) 상기 실사 영상 정보에 상응하는 실사 영상에 상기 가상 공간 정보, 상기 컨텐츠 정보, 및 상기 컨텐츠 위치 보정 정보에 기초하여 생성된 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 3차원 가상 공간 정보를 이용하여 현실 세계와 매칭되는 컨텐츠를 제공함으로써, 위치 정보 기반 기술을 이용하여 증강 현실을 구현할 때에도 마커 기반 기술을 이용할 때와 동일한 수준의 현실감 있는 증강 현실 서비스를 제공할 수 효과를 가진다.
그리고, 본 발명에 따르면, 3차원 가상 공간 상에 존재하는 가상 객체의 계층 구조에 따라 서로 다른 컨텐츠를 매칭시킴으로써 보다 현실감 있는 다양한 컨텐츠를 제공할 수 있는 효과를 가진다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 서비스 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 서비스 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 단말기의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 서버의 구성도이다.
도 5는 현실 세계의 객체에 대해 특징점을 이용하여 가상 공간 정보를 생성하는 것을 설명하는 도면이다.
도 6은 가상 공간 정보에 기초하여 가상 객체를 포함하는 가상 공간을 생성하는 것을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 위치 보정부의 상세 구성도이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 방법의 흐름도이다.
도 9는 기준 마커와 적어도 하나의 가상 마커을 비교하여 최적 가상 마커를 선택하는 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 컨텐츠 생성부의 상세 구성도이다.
도 11은 단말기에 증강 현실 서비스가 구현된 것을 예시한 도면이다.
이하에서는 첨부 도면 및 바람직한 실시예를 참조하여 본 발명을 상세히 설명한다. 참고로, 하기 설명에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 서비스 시스템의 구성도이다.
도 1을 참조하면, 본 발명에 따른 증강 현실 서비스 시스템은 증강 현실 기술을 구현할 수 있는 적어도 하나의 단말기(100a, 100b, 100c)와 상기 적어도 하나의 단말기(100a, 100b, 100c)에 증강 현실 서비스를 제공하는 증강 현실 서버(200)를 포함한다. 그리고, 적어도 하나의 단말기(100a, 100b, 100c)와 증강 현실 서버(200)는 통신망(예, 이동통신망, 인터넷)을 통해 서로 연결된다.
그리고, 도 1과 관련하여, 도 2는 본 발명의 일 실시예에 따른 증강 현실 서비스 방법의 흐름도를 나타낸 것이다.
도 2를 참조하면, 단계 S210에서, 단말기는 단말기 위치 정보 및 단말기 상태 정보를 증강 현실 서버로 전송한다. 여기서, 단말기 위치 정보는 GPS(Global Positioning System) 등을 이용하여 측정되는 사용자 단말기의 현재 위치를 나타내는 정보로서, 이는 경도, 위도, 고도 (또는 x 좌표값, y 좌표값, z 좌표값) 등에 대한 정보를 포함한다. 그리고, 단말기 상태 정보는 자이로(gyro) 센서, 가속도 센서 등을 이용하여 단말기(이는 측정실사 영상을 촬영하는 카메라를 포함함)의 물리적 상태를 나타내는 정보로서, 이는 방위각, 경사도, 화각(畵角) 등에 대한 정보를 포함한다.
단말기로부터 단말기 위치 정보 및 단말기 상태 정보가 전송되면, 단계 S220에서, 증강 현실 서버는 상기 단말기 위치 정보 및 단말기 상태 정보에 기초하여 가상 공간 정보 및 컨텐츠 정보를 생성한다. 여기서, 가상 공간 정보는 상기 단말기의 위치 및 상태에서 바라본 3차원 가상 공간에 대한 정보(즉, 3차원 가상 공간을 형성할 수 있는 정보)로서, 이는 단말기로부터 전송된 단말기 위치 정보 및 단말기 상태 정보에 상응하여 생성된다. 그리고, 컨텐츠 정보는 가상 공간 상에 증강 현실 구현을 위한 가상 객체를 생성할 수 있는 정보로서, 이는 전술한 가상 공간 정보에 상응하여 생성된다. 예컨대, 사용자가 동일한 위치에 있더라도 바라보는 방향에 따라서 실사 영상이 다르게 되며, 이에 따라 컨텐츠 정보도 실사 영상에 맞도록, 결과적으로는 단말기의 위치 및 상태에 따른 가상 공간에 맞도록 생성된다.
단계 S240에서, 단말기는 실사 영상에 가상 객체를 정확히 매칭시키기 위해 증강 현실 구현을 위한 컨텐츠 위치를 보정한다. 이를 상술하면, 단말기에 구비된 센서를 통해 측정된 단말기 위치 정보 및 단말기 상태 정보는 가상 공간 형성의 기초가 되는 위치 및 상태 정보와는 오차가 발생하게 된다. 이는 센서의 정밀도에 의해서도 발생하지만, 가상 공간 정보 데이터베이스를 구축할 때 사용한 센서와 단말기에 구비된 센서가 다르기 때문에 또한 필연적으로 발생하게 된다. 이에 따라, 종래기술에 따른 위치 정보 기반 증강 현실 기술은 마커 기반 기술만큼 높은 정확도(매칭도)의 컨텐츠를 제공할 수 없었으며, 주로 텍스트 위주의 정보를 제공하였다. 그러나, 본 발명에서는 실사 영상 정보에 기초하여 생성된 기준 마커와 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 증강 현실 컨텐츠의 위치를 보정함으로써 높은 정확도(매칭도)의 컨텐츠를 제공할 수 있는데, 이에 대한 보다 상세한 설명은 후술하기로 한다.
마지막으로, 단계 S250에서, 단말기는 실사 영상에 위치 보정된 컨텐츠(가상 객체)를 합성하여 증강 현실 서비스를 제공한다.
이하에서는 도 3 및 도 4를 참조하여 본 발명에 따른 증강 현실 서비스 제공을 위한 단말기 및 증강 현실 서버에 대해 설명한다. 참고로, 이하에서는 단말기 및 증강 현실 서버의 구성요소들 중 본 발명의 주요 기술적 특징과 관련성이 낮은 일반적인 구성요소에 대하여는 공지의 기술을 참조할 수 있으므로 간략히 설명하도록 하고, 본 발명의 주요 기술적 특징과 관련성이 높은 구성요소를 중심으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 단말기의 구성도이다.
도 3을 참조하면, 본 발명에 따른 단말기(100)는 카메라부(110), 센서부(120), 통신부(130), 저장부(140), 위치 보정부(150), 컨텐츠 생성부(160), 영상 처리부(170), 표시부(180), 제어부(190) 등을 포함한다.
먼저, 카메라부(110)는 현실 세계를 촬영하여 실사 영상에 대한 정보(즉, 실사 영상 정보)를 생성한다.
그리고, 센서부(120)는 GPS(Global Positioning System), 자이로(gyro) 센서, 가속도 센서 등을 이용하여 단말기의 현재 위치 정보(즉, 단말기 위치 정보) 및 단말기의 현재 상태 정보(즉, 단말기 상태 정보)를 생성한다. 여기서, 단말기 위치 정보는, 전술한 바와 같이, 경도, 위도, 고도 (또는 x 좌표값, y 좌표값, z 좌표값) 등에 대한 정보를 포함하고, 단말기 상태 정보는 방위각, 경사도, 화각(畵角) 등에 대한 정보를 포함한다. 참고로, 화각(畵角) 정보는 사용자에 의해 설정되었거나 또는 제품 제조 시에 설정된 카메라 설정값을 통해 알 수 있다.
통신부(130)는 송신기와 수신기 등으로 구성되어 증강 현실 서버(200)와 정보를 송수신하는 기능을 수행한다.
그리고, 저장부(140)는 메모리 등으로 구성되어 OS(Operating System), 애플리케이션, 컨텐츠, 텍스트 등을 저장한다.
위치 보정부(150)는 카메라부(110)에서 생성된 실사 영상 정보와 증강 현실 서버(200)로부터 전송된 가상 공간 정보를 이용하여 증강 현실 구현을 위한 컨텐츠의 위치를 보정한다. 참고로, 컨텐츠 위치 보정에 대한 구체적 방식에 대하여는 도 7 내지 도 9를 참조하여 하기에서 상세 설명하기로 한다.
컨텐츠 생성부(160)는 증강 현실 서버(200)로부터 전송된 컨텐츠 정보를 이용하여 가상 세계를 구현하기 위한 컨텐츠(가상 객체)를 생성한다. 참고로, 이와 같이 생성된 컨텐츠는 가상 공간 정보에 의해 형성되는 가상 세계에 상응하는 컨텐츠이다. 예컨대, 가상 객체의 일부가 현실 세계 건물에 가려져 건물 뒤쪽에 존재하는 것처럼 보이도록 건물의 윤곽선에 맞추어 건물 뒤쪽에만 가상 객체(컨텐츠)가 생성된다.
영상 처리부(170)는 카메라부(110)에서 생성된 실사 영상 정보를 기초로 생성된 실사 영상에 컨텐츠 생성부(160)에서 생성된 컨텐츠(가상 객체)를 합성하여 증강 현실 서비스를 위한 합성 영상을 생성한다.
표시부(180)는 이와 같이 영상 처리부(170)에서 생성된 합성 영상을 디스플레이한다.
그리고, 제어부(190)는 카메라부(110), 센서부(120), 통신부(130), 저장부(140), 위치 보정부(150), 컨텐츠 생성부(160), 영상 처리부(170), 표시부(180) 등을 제어하여, 단말기(100)의 전반적인 동작 및 기능 등을 제어한다.
한편, 도 4는 본 발명의 일 실시예에 따른 증강 현실 서버의 구성도이다.
도 4를 참조하면, 본 발명에 따른 증강 현실 서버(200)는 가상 공간 정보 생성부(210), 컨텐츠 정보 생성부(220), 컨텐츠 업그레이드부(230), 가상 공간 정보 데이터베이스(240), 컨텐츠 정보 데이터베이스(250), 통신부(260), 제어부(270) 등을 포함한다.
가상 공간 정보 생성부(210)는 가상 공간 정보 데이터베이스(240)를 참조하여 단말기(100)로부터 전송된 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보를 생성한다.
컨텐츠 정보 생성부(220)는 컨텐츠 정보 데이터베이스(250)를 참조하여 상기 가상 공간 정보 생성부(210)에서 생성된 가상 공간 정보에 상응하는 컨텐츠 정보를 생성한다.
컨텐츠 업그레이드부(230)는 컨텐츠에 대한 업그레이드를 수행하고, 이를 컨텐츠 정보 데이터베이스(250)에 저장한다. 참고로, 본 실시예에서 컨텐츠 업그레이드부(230)는 증강 현실 서버(200)의 일부로 구현되었지만, 이는 물론 증강 현실 서버(200)와는 별개의 장치나 서버로 구현될 수도 있다.
가상 공간 정보 데이터베이스(240)는 단말기의 위치 및 상태에서 바라본 3차원 가상 공간을 형성할 수 있는 정보(즉, 가상 공간 정보)를 저장한다.
이와 관련하여, 도 5는 현실 세계의 객체에 대해 특징점을 이용하여 가상 공간 정보를 생성하는 것을 설명하는 도면이다. 그리고, 도 6은 가상 공간 정보에 기초하여 가상 객체(건물)를 포함하는 가상 공간을 생성하는 것을 설명하는 도면이다. 참고로, 도 5 및 도 6에서는 이해를 돕기 위해 실사 영상 위에 특징점이나 가상 객체를 나타내었다.
이하에서는, 도 5 및 도 6을 참조하여, 본 발명에서 사용되는 가상 공간 정보에 대해 설명한다.
먼저, 현실 공간과 매칭되는 3차원 가상 공간에 대한 정보를 생성하기 위해, 현실 세계의 각 객체(예, 건물)에 대해 모서리(즉, 특징점) 등의 위치를 측정하여 각 객체에 대한 위치 정보를 얻는다. 그리고, 현실 공간의 각 객체에 대해 얻어진 위치 정보를 데이터베이스화 한다. 그러면, 이를 기초로 단말기의 위치 및 상태에 상응하는 3차원 가상 공간을 형성할 수 있으며, 도 6은 이와 같이 형성된 가상 공간을 예시한 것이다. 참고로, 가상 공간 정보를 기초로 3차원 가상 공간을 형성하는 기술은 네비게이션 등에 사용되는 3차원 지도 생성 기술을 참조할 수 있다.
한편, 본 발명의 바람직한 실시예에 따르면, 가상 공간을 형성하는 가상 객체는 2 이상의 계층(layer)을 갖는 독립적인 구성체로 형성된다. 예컨대, 건물의 경우 이는 타 건물과는 독립적인 구성체로 저장되며, 이는 또한 건물의 윤곽을 생성할 수 있는 제1 계층 정보(예컨대, 건물의 각 모서리 부분의 위치 정보), 건물의 입구나 창문 등을 생성할 수 있는 제2 계층 정보(예컨대, 건물의 입구나 창문의 각 모서리 부분의 위치 정보), 건물 내부의 시설물 등을 생성할 수 있는 제3 계층 정보(예컨대, 건물 내부의 시설물에 대한 위치 정보) 등으로 계층화 되어 저장된다.
다시 도 4를 참조하면, 컨텐츠 정보 데이터베이스(250)는 단말기의 위치 및 상태에 상응하는 컨텐츠를 생성할 수 있는 정보(즉, 컨텐츠 정보)를 저장한다.
마찬가지로, 본 발명의 바람직한 실시예에 따르면, 컨텐츠 정보는 가상 객체의 계층에 상응하여 서로 다른 컨텐츠를 구현하도록 저장된다. 즉, 컨텐츠 정보는 가상 객체의 계층별로 서로 다른 컨텐츠를 구현할 수 있도록 저장되는데, 예컨대, 가상 객체의 제1 계층 정보에 상응하는 제1 컨텐츠로는 건물 전체 크기에 매칭되는 광고나 아이콘, 동영상 등을 생성할 수 있는 정보가 저장되고, 가상 객체의 제2 계층 정보에 상응하는 제2 컨텐츠로는 건물 입구의 윤곽이 표현되고 사람이 문을 열고 나오는 형태의 동영상 등을 생성할 수 있는 정보가 저장될 수 있다. 그러므로, 본 발명에 따른 컨텐츠 정보 데이터베이스는 가상 공간을 형성하는 가상 객체의 계층별로 이에 상응하는 컨텐츠 정보를 저장할 수 있다.
그리고, 통신부(260)는 송신기와 수신기 등으로 구성되어 단말기(100)와 정보를 송수신하는 기능을 수행한다.
마지막으로, 제어부(270)는 가상 공간 정보 생성부(210), 컨텐츠 정보 생성부(220), 컨텐츠 업그레이드부(230), 가상 공간 정보 데이터베이스(240), 컨텐츠 정보 데이터베이스(250), 통신부(260) 등을 제어하여, 증강 현실 서버(2100)의 전반적인 동작 및 기능 등을 제어한다.
이하에서는 도 7 내지 도 9를 참조하여 본 발명에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 방식에 대해 설명한다.
도 7은 본 발명의 일 실시예에 따른 위치 보정부(150)의 상세 구성도이고, 도 8은 본 발명의 일 실시예에 따른 증강 현실 서비스를 위한 컨텐츠 위치 보정 방법의 흐름도이다. 그리고, 도 9는 기준 마커와 적어도 하나의 가상 마커을 비교하여 최적 가상 마커를 선택하는 과정을 설명하는 도면이다.
도 7을 참조하면, 본 발명에 따른 위치 보정부(150)는 기준 마커 생성기(151), 가상 마커 생성기(152), 마커 비교기(153), 보정 정보 생성기(154) 등을 포함한다.
기준 마커 생성기(151)는 실사 영상 정보에 기초하여 기준 마커를 생성한다(단계 S180). 구체적으로, 기준 마커 생성기(151)는 실사 영상 정보에 의해 생성되는 이미지(즉, 실사 영상)(도 9의 910 참조)에 대해 색상 조절, 명도 조절, 조도 조절, 채도 조절, 대조도(contrast) 조절 등을 수행하여 기준 마커(도 9의 920 참조)를 생성한다. 그리고, 이와 같이 생성된 기준 마커는 색상 차이, 명도 차이, 조도 차이, 채도 차이 등에 의해 구분될 수 있는 특징적인 부분을 포함하게 되며, 예컨대 건물의 모서리 등과 같은 특징점, 건물의 윤곽선 등과 같은 특징선, 건물의 표면 등과 같은 특징면이 이에 해당한다.
한편, 가상 마커 생성기(152)는 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성한다(단계 S810).
여기서, 가상 공간 정보는 단말기가 증강 현실 서버로 전송한 단말기 위치 정보 및 단말기 상태 정보에 상응하여 수신된 정보이며, 이는 단말기의 현재 위치 및 상태에 기초하여 형성되는 3차원 가상 공간을 생성할 수 있는 정보이다.
구체적으로, 가상 마커 생성기(152)는 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보에 기초하여 일정 오차범위 내에서 복수개의 가상 마커를 생성한다. 예컨대, 가상 마커 생성기(152)는 단말기 위치 정보 및 단말기 상태 정보를 기초로 하여 가상 공간 상의 일정 오차범위 내의 여러 지점(도 9의 930 참조)에서 바라본 3차원 가상 이미지(도 9의 940 참조)를 생성한다. 이 경우 오차는 위치뿐만 아니라 방위각, 경사도, 화각(畵角) 등에서도 발생될 수 있으며, 가상 마커 생성기(152)는 단말기 성능이나 사용자 설정 등에 따라서 위치 오차, 방위각 오차, 경사도 오차, 화각(畵角) 오차를 반영한 복수개의 3차원 가상 이미지, 즉 복수개의 가상 마커를 생성한다. 참고로, 이 때 생성하는 가상 마커의 수는 단말기 성능, 사용자 설정, 실사 영상 변화속도 등에 기초하여 결정될 수 있다.
마커 비교기(153)는 기준 마커 생성기(151)에서 생성된 기준 마커와 가상 마커 생성기(152)에서 생성된 복수개의 가상 마커를 각각 비교하여, 복수개의 가상 마커 중 기준 마커에 가장 매칭되는 최적의 가상 마커(이하 '최적 가상 마커'라 함)를 선택한다(단계 S820). 이 경우 기준 마커와 가상 마커의 비교는 특징점, 특징선, 특징면 등을 이용하여 수행될 수 있으며, 기준 마커와 가상 마커의 유사도가 일정 수준 이하인 경우에는 매칭되는 최적 가상 마커가 없는 것으로 판단할 수도 있다.
보정 정보 생성기(154)는 기준 마커와 최적 가상 마커에 기초하여 컨텐츠 위치를 보정하기 위한 정보(즉, 컨텐츠 위치 보정 정보)를 생성한다(단계 S830).
구체적으로, 보정 정보 생성기(154)는 기준 마커의 특징점, 특징선, 특징면과 이에 상응하는 최적 가상 마커의 특징점, 특징선, 특징면을 각각 비교하여, 위치 오프셋(offset), 방위각 오프셋, 경사도 오프셋, 화각 오프셋을 계산하고, 이들 오프셋을 포함하는 컨텐츠 위치 보정 정보를 생성한다.
그러면, 단말기는 이와 같이 생성된 컨텐츠 위치 보정 정보에 기초하여 증강 현실 컨텐츠의 위치를 보정하고(단계 S840), 이를 실사 영상과 결합하여 증강 현실 서비스를 제공한다.
이하에서는 도 10을 참조하여 본 발명에 따른 증강 현실 서비스를 위한 컨텐츠 생성 방식에 대해 설명한다.
도 10은 본 발명의 일 실시예에 따른 컨텐츠 생성부(160)의 상세 구성도이다.
도 10을 참조하면, 본 발명에 따른 컨텐츠 생성부(160)는 구현 계층 결정기(161) 및 컨텐츠 생성기(162) 등을 포함한다.
먼저, 구현 계층 결정기(161)는 가상 공간 정보에 기초하여 실제 구현할 가상 객체 형성을 위한 계층을 결정한다. 전술한 바와 같이, 본 발명에 따른 가상 객체(예, 가상 공간상의 건물)는 2 이상의 계층을 갖는 독립적인 구성체로 형성될 수 있는데, 이 경우 어느 정도 수준의 계층까지 구현할 것인가에 대해 구현 계층 결정기(161)가 결정한다.
구현 계층을 결정하는 기준은 단말기 성능, 사용자 설정, 실사 영상 변화속도 등에 기초하여 다양한 방식으로 설정될 수 있다. 예컨대, 실제 구현할 가상 객체(예, 건물)의 크기나 면적이 기 설정된 제1 임계치 미만이면 제1 계층까지 구현하고(예컨대, 건물의 윤곽만 구현하고), 제1 임계치 이상이면 제2 계층까지 구현한다(예컨대, 건물의 윤곽과 입구, 창문 등을 구현한다). 마찬가지로, 가상 객체의 크기가 면적이 제1 임계치보다 큰 제2 임계치 이상이면 제3 계층까지 구현하도록 결정된다.
이와 같이, 구현 계층 결정기(161)는 각 구조체별로 계층을 결정하여 구조체 및 계층 정보를 컨텐츠 생성기(162)로 전송한다.
그러면, 컨텐츠 생성기(162)는 구현 계층 결정기(161)에서 전송된 구조체 및 계층 정보, 증강 현실 서버(200)에서 전송된 컨텐츠 정보, 위치 보정부(150)에서 전송된 컨텐츠 위치 보정 정보에 기초하여 컨텐츠를 생성한다. 참고로, 이와 같이 생성된 컨텐츠는 단말기의 현재 위치 및 상태에 정확하게 매칭되어 있는 컨텐츠(즉, 위치가 보정된 컨텐츠)이며, 또한 가상 객체의 계층에 상응하여 생성된 컨텐츠이다.
참고로, 도 11은 단말기 화면에 증강 현실 서비스가 구현된 것을 예시한 도면인데, 도시된 바와 같이 본 발명에 따른 컨텐츠 위치 보정 기술을 이용하면 사람, 무지개 등과 같은 컨텐츠(가상 객체)가 현실 세계의 건물과 보다 정확히 매칭되어 보다 현실감 있는 증강 현실 서비스를 제공할 수 있음을 알 수 있다.
지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징들을 변경하지 않고서 다른 구체적인 다양한 형태로 실시할 수 있는 것이므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 증강 현실 서비스 시스템에 있어서,
    적어도 하나의 가상 객체를 포함하는 가상 공간에 대한 가상 공간 정보를 생성하고, 상기 적어도 하나의 가상 객체에 상응하는 컨텐츠에 대한 컨텐츠 정보를 생성하는 증강 현실 서버; 및
    상기 증강 현실 서버로부터 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 수신하고, 실사 영상 정보에 기초하여 생성된 기준 마커(marker)와 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 컨텐츠 위치 보정 정보를 생성한 후, 상기 가상 공간 정보, 상기 컨텐츠 정보 및 상기 컨텐츠 위치 보정 정보에 기초하여 생성된 컨텐츠를 실사 영상에 합성하여 증강 현실 서비스를 제공하는 단말기를 포함하고, -상기 단말기 상태 정보는 단말기의 방위각, 경사도, 화각(畵角)에 대한 정보를 포함함-
    상기 컨텐츠 위치 보정 정보는, 상기 실사 영상 정보에 의해 생성된 실사 영상에 대해 색상 조절, 명도 조절, 조도 조절, 채도 조절, 대조도(contrast) 조절 중 적어도 하나를 수행하여 기준 마커(marker)를 생성하고, 상기 기준 마커를 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커와 비교한 후 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하고, 상기 기준 마커와 상기 최적 가상 마커에 기초하여 위치 오프셋, 방위각 오프셋, 경사도 오프셋, 화각 오프셋을 계산함으로써 생성되며,
    상기 적어도 하나의 가상 객체는 2 이상의 계층(layer)을 갖는 독립된 구성체이고, 상기 단말기는 단말기 위치 정보 및 단말기 상태 정보에 기초하여 상기 적어도 하나의 가상 객체의 계층 구조에 따라 서로 다른 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 것을 특징으로 하는 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 단말기는 단말기 성능, 사용자 설정, 실사 영상 변화속도 중 적어도 하나에 기초하여 상기 컨텐츠 생성의 기준이 되는 상기 적어도 하나의 가상 객체의 계층을 선택하는 것을 특징으로 하는 시스템.
  4. 제1항 또는 제3항에 있어서,
    상기 단말기는 상기 적어도 하나의 가상 객체의 특징점, 특징선, 특징면 중 적어도 하나에 기초하여 상기 컨텐츠를 생성하는 것을 특징으로 하는 시스템.
  5. 삭제
  6. 증강 현실 서비스를 위한 단말기에 있어서,
    현실 세계를 촬영하여 실사 영상 정보를 생성하는 카메라부;
    GPS(Global Positioning System), 자이로(gyro) 센서, 가속도 센서 중 적어도 하나를 이용하여 단말기 위치 정보 및 단말기 상태 정보를 생성하는 센서부; -상기 단말기 상태 정보는 단말기의 방위각, 경사도, 화각(畵角)에 대한 정보를 포함함-
    증강 현실 서버로부터 상기 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 수신하는 통신부;
    상기 실사 영상 정보에 기초하여 생성된 기준 마커(marker)와 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 컨텐츠 위치 보정 정보를 생성하는 위치 보정부;
    상기 가상 공간 정보, 상기 컨텐츠 정보, 및 상기 컨텐츠 위치 보정 정보에 기초하여 증강 현실 서비스를 위한 컨텐츠를 생성하는 컨텐츠 생성부; 및
    상기 실사 영상 정보에 상응하는 실사 영상에 상기 컨텐츠를 합성하는 영상 처리부를 포함하고,
    상기 위치 보정부는, 상기 실사 영상 정보에 의해 생성된 실사 영상에 대해 색상 조절, 명도 조절, 조도 조절, 채도 조절, 대조도(contrast) 조절 중 적어도 하나를 수행하여 기준 마커(marker)를 생성하는 기준 마커 생성기; 상기 가상 공간 정보에 기초하여 적어도 하나의 가상 마커를 생성하는 가상 마커 생성기; 상기 기준 마커와 상기 적어도 하나의 가상 마커를 비교하여, 상기 적어도 하나의 가상 마커 중 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하는 마커 비교기; 및 상기 기준 마커와 상기 최적 가상 마커에 기초하여 위치 오프셋, 방위각 오프셋, 경사도 오프셋, 화각 오프셋을 생성하는 보정 정보 생성기를 포함하며,
    상기 가상 공간 정보에 기초하여 생성되는 적어도 하나의 가상 객체는 2 이상의 계층(layer)을 갖는 독립된 구성체이고, 상기 단말기는 단말기 위치 정보 및 단말기 상태 정보에 기초하여 상기 적어도 하나의 가상 객체의 계층 구조에 따라 서로 다른 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 것을 특징으로 하는 단말기.
  7. 삭제
  8. 제6항에 있어서, 상기 컨텐츠 생성부는
    상기 가상 공간 정보에 기초하여 각 가상 객체에 대해 증강 현실을 구현할 계층을 결정하여 구조체 및 계층 정보를 생성하는 구현 계층 결정기; 및
    상기 구조체 및 계층 정보, 상기 컨텐츠 정보, 상기 컨텐츠 위치 보정 정보에 기초하여 컨텐츠를 생성하는 컨텐츠 생성기를 포함하는 것을 특징으로 하는 단말기.
  9. 제6항 또는 제8항에 있어서,
    상기 컨텐츠 생성부는 상기 적어도 하나의 가상 객체의 특징점, 특징선, 특징면 중 적어도 하나에 기초하여 상기 컨텐츠를 생성하는 것을 특징으로 하는 단말기.
  10. 삭제
  11. 증강 현실 서비스 방법에 있어서,
    a) 단말기 위치 정보 및 단말기 상태 정보를 증강 현실 서버로 전송하는 단계; -상기 단말기 상태 정보는 단말기의 방위각, 경사도, 화각(畵角)에 대한 정보를 포함함-
    b) 상기 증강 현실 서버로부터 상기 단말기 위치 정보 및 단말기 상태 정보에 상응하는 가상 공간 정보 및 컨텐츠 정보를 수신하는 단계;
    c) 실사 영상 정보에 기초하여 생성된 기준 마커(marker)와 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커를 이용하여 컨텐츠 위치 보정 정보를 생성하는 단계; 및
    d) 상기 실사 영상 정보에 상응하는 실사 영상에 상기 가상 공간 정보, 상기 컨텐츠 정보, 및 상기 컨텐츠 위치 보정 정보에 기초하여 생성된 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 단계를 포함하고,
    상기 컨텐츠 위치 보정 정보는, 상기 실사 영상 정보에 의해 생성된 실사 영상에 대해 색상 조절, 명도 조절, 조도 조절, 채도 조절, 대조도(contrast) 조절 중 적어도 하나를 수행하여 기준 마커(marker)를 생성하고, 상기 기준 마커를 상기 가상 공간 정보에 기초하여 생성된 적어도 하나의 가상 마커와 비교한 후 상기 기준 마커에 가장 매칭되는 최적 가상 마커를 선택하고, 상기 기준 마커와 상기 최적 가상 마커에 기초하여 위치 오프셋, 방위각 오프셋, 경사도 오프셋, 화각 오프셋을 계산함으로써 생성되며,
    상기 가상 공간 정보에 기초하여 생성되는 적어도 하나의 가상 객체는 2 이상의 계층(layer)을 갖는 독립된 구성체이고, 상기 단계 d)는, 상기 단말기 위치 정보 및 단말기 상태 정보에 기초하여 상기 적어도 하나의 가상 객체의 계층 구조에 따라 서로 다른 컨텐츠를 합성하여 증강 현실 서비스를 제공하는 것을 특징으로 하는 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 컨텐츠 생성의 기준이 되는 상기 적어도 하나의 가상 객체의 계층은 단말기 성능, 사용자 설정, 실사 영상 변화속도 중 적어도 하나에 기초하여 선택되는 것을 특징으로 하는 방법.
  14. 제11항 또는 제13항에 있어서,
    상기 단계 d)는, 상기 적어도 하나의 가상 객체의 특징점, 특징선, 특징면 중 적어도 하나에 기초하여 상기 컨텐츠를 생성하는 것을 특징으로 하는 방법.
  15. 삭제
KR1020110064692A 2011-06-30 2011-06-30 증강 현실 서비스 시스템 및 방법 Expired - Fee Related KR101126449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110064692A KR101126449B1 (ko) 2011-06-30 2011-06-30 증강 현실 서비스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110064692A KR101126449B1 (ko) 2011-06-30 2011-06-30 증강 현실 서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101126449B1 true KR101126449B1 (ko) 2012-03-29

Family

ID=46142229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110064692A Expired - Fee Related KR101126449B1 (ko) 2011-06-30 2011-06-30 증강 현실 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101126449B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
WO2013183817A1 (ko) * 2012-06-04 2013-12-12 Baek In Chul 관람 도우미 서비스 제공을 위한 시스템
WO2014150995A1 (en) * 2013-03-15 2014-09-25 daqri, inc. Campaign optimization for experience content dataset
KR20150026375A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
WO2015174724A1 (ko) * 2014-05-15 2015-11-19 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법
KR101680581B1 (ko) * 2012-04-16 2016-11-29 한화테크윈 주식회사 영상 관리 시스템
KR101690311B1 (ko) * 2015-12-30 2017-01-09 한국해양과학기술원 증강현실객체 배치, 공유 및 전시 시스템 및 배치, 공유 및 전시 방법
KR20170016704A (ko) 2015-08-04 2017-02-14 한국전자통신연구원 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
US9905048B2 (en) 2013-09-27 2018-02-27 Korea Institute Of Science And Technology System for authoring and providing augmented reality contents
WO2022075659A1 (ko) * 2020-10-07 2022-04-14 삼성전자 주식회사 증강 현실을 디스플레이하는 방법 및 이를 수행하는 전자 장치
US12340469B2 (en) 2020-10-07 2025-06-24 Samsung Electronics Co., Ltd. Method of displaying augmented reality and electronic device for performing same

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101680581B1 (ko) * 2012-04-16 2016-11-29 한화테크윈 주식회사 영상 관리 시스템
WO2013183817A1 (ko) * 2012-06-04 2013-12-12 Baek In Chul 관람 도우미 서비스 제공을 위한 시스템
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
US9760777B2 (en) 2013-03-15 2017-09-12 Daqri, Llc Campaign optimization for experience content dataset
WO2014150995A1 (en) * 2013-03-15 2014-09-25 daqri, inc. Campaign optimization for experience content dataset
US9240075B2 (en) 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
KR20150026375A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR102161510B1 (ko) 2013-09-02 2020-10-05 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9905048B2 (en) 2013-09-27 2018-02-27 Korea Institute Of Science And Technology System for authoring and providing augmented reality contents
WO2015174724A1 (ko) * 2014-05-15 2015-11-19 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법
KR20150131543A (ko) * 2014-05-15 2015-11-25 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법
KR102264111B1 (ko) * 2014-05-15 2021-06-10 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법
KR20170016704A (ko) 2015-08-04 2017-02-14 한국전자통신연구원 팝업 북 기반 영상 콘텐츠 표시 장치 및 방법
KR101690311B1 (ko) * 2015-12-30 2017-01-09 한국해양과학기술원 증강현실객체 배치, 공유 및 전시 시스템 및 배치, 공유 및 전시 방법
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
US10084986B2 (en) 2016-06-08 2018-09-25 Maxst Co., Ltd. System and method for video call using augmented reality
WO2022075659A1 (ko) * 2020-10-07 2022-04-14 삼성전자 주식회사 증강 현실을 디스플레이하는 방법 및 이를 수행하는 전자 장치
US12340469B2 (en) 2020-10-07 2025-06-24 Samsung Electronics Co., Ltd. Method of displaying augmented reality and electronic device for performing same

Similar Documents

Publication Publication Date Title
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
EP2625847B1 (en) Network-based real time registered augmented reality for mobile devices
US8633970B1 (en) Augmented reality with earth data
US20200364938A1 (en) Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
KR101661269B1 (ko) 휴대용 디바이스 상의 이미지 주석
EP3134870B1 (en) Electronic device localization based on imagery
EP2844009B1 (en) Method and system for determining location and position of image matching-based smartphone
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
JP5575758B2 (ja) 空間予測近似
US8654151B2 (en) Apparatus and method for providing augmented reality using synthesized environment map
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
CN109996032B (zh) 信息显示方法及装置、计算机设备及存储介质
CN107607110A (zh) 一种基于图像和惯导技术的定位方法及系统
US11902499B2 (en) Simulation sighting binoculars, and simulation system and methods
CN114185073A (zh) 一种位姿显示方法、装置及系统
IL267309B (en) Terrestrial observation device having location determination functionality
CN113820697A (zh) 一种基于城市建筑特征与三维地图的视觉定位方法
KR20130003371A (ko) 증강 현실 서비스를 위한 컨텐츠 위치 보정 장치 및 방법
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
JP2005134242A (ja) ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
KR20210049527A (ko) 지도 생성 서버로부터 지도 정보를 수신하는 방법 이를 수행하는 단말
US20190347856A1 (en) Affixing Digital Content to Physical Objects in Augmented Reality
JP7666091B2 (ja) ３次元モデル生成装置、３次元モデル生成方法およびプログラム
CN110276837B (zh) 一种信息处理方法、电子设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20150306

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20160307

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20160307