[go: up one dir, main page]

KR20120032773A - Augmented reality device using optical character reader and method thereof - Google Patents

Augmented reality device using optical character reader and method thereof Download PDF

Info

Publication number
KR20120032773A
KR20120032773A KR1020100094285A KR20100094285A KR20120032773A KR 20120032773 A KR20120032773 A KR 20120032773A KR 1020100094285 A KR1020100094285 A KR 1020100094285A KR 20100094285 A KR20100094285 A KR 20100094285A KR 20120032773 A KR20120032773 A KR 20120032773A
Authority
KR
South Korea
Prior art keywords
business card
augmented reality
optical character
character recognition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020100094285A
Other languages
Korean (ko)
Inventor
김성규
지혜진
Original Assignee
주식회사 디오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디오텍 filed Critical 주식회사 디오텍
Priority to KR1020100094285A priority Critical patent/KR20120032773A/en
Publication of KR20120032773A publication Critical patent/KR20120032773A/en
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0045—Transmission from base station to mobile station
    • G01S5/0063—Transmission from base station to mobile station of measured values, i.e. measurement on base station and position calculation on mobile
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일실시예는 광학문자인식을 이용한 증강 현실 장치 및 그 방법에 관한 것으로, 해결하고자 하는 기술적 과제는 명함 제공자의 명함 정보(예를 들면, 성명, 주소 및 전화 번호 정보)를 광학문자인식 기술을 이용하여 추출하고, 이와 같이 추출된 데이터를 스마트 폰과 같은 휴대 단말기의 카메라 동영상 화면 또는 지도 화면에 표시하는데 있다.
이를 위해 본 발명은 카메라 모듈; 상기 카메라 모듈로 촬영된 명함에서 명함 정보를 추출하는 광학문자인식부; 상기 명함 정보를 저장하는 메모리; 맵 정보에 상기 카메라 모듈로 촬영된 건물의 위치를 매칭시키고, 상기 메모리에 저장된 명함 정보를 상기 건물에 증강시켜 매칭하는 증강현실 제공부; 및 상기 증강현실 제공부로부터 맵 정보, 명함 정보, 및 건물의 영상을 함께 제공받아 표시하는 표시부로 이루어진 광학문자인식을 이용한 증강 현실 장치를 제공한다.One embodiment of the present invention relates to an augmented reality device using optical character recognition and a method thereof, the technical problem to be solved is the optical character recognition of business card information (for example, name, address and phone number information) of the business card provider It extracts using technology, and displays the extracted data on a camera video screen or a map screen of a mobile terminal such as a smart phone.
To this end, the present invention is a camera module; An optical character recognition unit extracting business card information from a business card photographed by the camera module; A memory for storing the business card information; An augmented reality providing unit for matching the location of a building photographed with the camera module with map information and augmenting and matching the business card information stored in the memory with the building; And it provides an augmented reality device using the optical character recognition consisting of a display unit for receiving and displaying the map information, business card information, and the image of the building from the augmented reality providing unit.

Description

광학문자인식을 이용한 증강 현실 장치 및 그 방법{Augmented Reality Device using optical character reader and method thereof}Augmented Reality Device using optical character reader and method

본 발명의 일실시예는 광학문자인식을 이용한 증강 현실 장치 및 그 방법에 관한 것이다.One embodiment of the present invention relates to an augmented reality device and method using optical character recognition.

증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.Augmented Reality is a field of virtual reality that is a computer graphics technique that synthesizes virtual objects in the real environment and looks like objects in the original environment.

증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리, 현실세계의 기반위에 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있다. 즉, 가상현실기술은 일반적으로 사용자로 하여금 가상의 환경에 몰입하게 하므로 사용자는 실제 환경을 볼 수 없는 반면, 증강현실기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다. Augmented reality, unlike the existing virtual reality that targets only the virtual space and objects, by combining the virtual objects on the basis of the real world can reinforce and provide additional information difficult to obtain only in the real world. In other words, VR technology generally allows users to immerse themselves in the virtual environment, while the user cannot see the real environment, whereas in AR technology, the user can see the real environment, and the real environment and the virtual objects are mixed. Takes shape.

다시 말하면, 가상현실은 현실세계를 대체하여 사용자에게 보여주지만 증강현실은 현실세계에 가상의 물체를 중첩함으로서 현실세계를 보충하여 사용자에게 보여준다는 차별성을 가지며, 가상현실에 비해 사용자에게 보다 나은 현실감을 제공한다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 기술로 각광받고 있다.In other words, virtual reality is shown to the user by replacing the real world, but augmented reality has the distinction of supplementing the real world and showing it to the user by superimposing virtual objects in the real world. to provide. Due to this feature, unlike conventional virtual reality, which can be applied only to fields such as games, the present invention can be applied to various real environments, and it is particularly popular as a next-generation technology suitable for ubiquitous environment.

본 발명의 일실시예는 명함 정보(예를 들면, 성명, 전화번호, 주소)를 광학문자인식 기술을 이용하여 추출 및 저장하고, 이와 같이 추출 및 저장된 명함 정보를 카메라의 동영상 화면 또는 지도 화면에 증강하여 함께 표시할 수 있는 스마트 폰과 같은 휴대 단말기의 광학문자인식을 이용한 증강 현실 장치 및 그 방법을 제공한다.An embodiment of the present invention extracts and stores business card information (eg, name, phone number, address) using optical character recognition technology, and the extracted business card information is extracted and stored on the video screen or map screen of the camera. Provided is an augmented reality device using optical character recognition of a portable terminal such as a smart phone that can be displayed by augmentation and a method thereof.

본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 장치는 카메라 모듈; 상기 카메라 모듈로 촬영된 명함에서 명함 정보를 추출하는 광학문자인식부; 상기 명함 정보를 저장하는 메모리; 맵 정보에 상기 카메라 모듈로 촬영된 건물의 위치를 매칭시키고, 상기 메모리에 저장된 명함 정보를 상기 건물에 증강시켜 매칭하는 증강현실 제공부; 및 상기 증강현실 제공부로부터 맵 정보, 명함 정보, 및 건물의 영상을 함께 제공받아 표시하는 표시부를 포함한다.Augmented reality device using the optical character recognition according to an embodiment of the present invention is a camera module; An optical character recognition unit extracting business card information from a business card photographed by the camera module; A memory for storing the business card information; An augmented reality providing unit for matching the location of a building photographed with the camera module with map information and augmenting and matching the business card information stored in the memory with the building; And a display unit which receives and displays map information, business card information, and an image of a building from the augmented reality providing unit.

상기 맵 정보는 유선 또는 무선으로 연결된 맵 정보 제공부로부터 다운로드받을 수 있다.The map information may be downloaded from a map information provider connected by wire or wirelessly.

상기 맵 정보는 메모리로부터 다운로드받을 수 있다.The map information may be downloaded from the memory.

상기 명함 정보를 지도에 표현하기 위한 좌표로 변환기를 더 포함하여 이루어질 수 있다.The apparatus may further include a converter to coordinate for representing the business card information on a map.

사용자의 현재 위치 및 방향 정보를 얻기 위해 GPS 센서 및 지자기 센서를 더 포함하여 이루어질 수 있다.It may further comprise a GPS sensor and a geomagnetic sensor to obtain the current location and direction information of the user.

사용자의 현재 위치 및 방향 정보는 와이파이(Wi-Fi) 또는 기지국으로부터 수신할 수 있다.The current location and direction information of the user may be received from Wi-Fi or a base station.

상기 카메라 모듈, 상기 광학문자인식부, 상기 메모리, 상기 증강현실 제공부 및 상기 표시부를 제어하는 제어부를 더 포함한다.The camera module, the optical character recognition unit, the memory, the augmented reality providing unit and the control unit for controlling the display further comprises.

본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 방법은 카메라 모듈로 촬영된 건물을 표시하는 단계; 메모리에 저장된 명함 정보를 검색하는 단계; 사용자의 현재 위치 및 방향에 대응하는 맵 정보를 다운로드받는 단계; 상기 다운로드받은 맵 정보에 건물의 위치를 매칭하고, 이어서 건물에 매칭된 명함 정보가 존재하는지 판단하는 단계; 및 상기 건물에 명함 정보를 증강하여 표시하는 단계를 포함한다.Augmented reality method using optical character recognition in accordance with an embodiment of the present invention comprises the steps of displaying the building taken by the camera module; Retrieving business card information stored in a memory; Downloading map information corresponding to a current location and a direction of a user; Matching a location of a building to the downloaded map information, and then determining whether there is business card information matching the building; And augmenting and displaying the business card information on the building.

본 발명의 일실시예는 명함 정보를 광학문자인식 기술을 통하여 추출 및 저장하고, 이 정보를 기반으로 휴대 단말기의 카메라 동영상 화면 또는 지도 화면에 명함 정보를 함께 표시함으로써, 인근에 존재하는 명함 제공자를 빠르고 쉽게 찾을 수 있다.An embodiment of the present invention extracts and stores business card information through optical character recognition technology, and displays business card information on a camera video screen or a map screen of a mobile terminal based on the information, thereby providing a business card provider in a neighborhood. It's quick and easy to find.

본 발명의 일실시예는 명함의 광학문자인식 기술과 증강 현실 기술이 결합되어, 더욱 활용도가 높은 스마트폰과 같은 휴대용 단말기의 증강 현실 장치를 제공한다.One embodiment of the present invention is combined with the optical character recognition technology and augmented reality technology of the business card, to provide augmented reality device of a portable terminal, such as a smart phone with higher utilization.

도 1은 본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 방법을 도시한 순서도이다.1 is a block diagram showing the configuration of an augmented reality device using optical character recognition according to an embodiment of the present invention.
2 is a flowchart illustrating an augmented reality method using optical character recognition according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings such that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an augmented reality device using optical character recognition according to an embodiment of the present invention.

본 발명에 따른 광학문자인식을 이용한 증강 현실 장치(100)는 카메라 모듈(110), 광학문자인식부(120), 좌표 변환기(125), 메모리(130), GPS 센서(141), 지자기 센서(142), 통신부(150), 증강현실제공부(160), 표시부(170) 및 제어부(180)를 포함한다. 더불어, 본 발명은 맵 정보 제공부(190)를 더 포함할 수도 있다.The augmented reality device 100 using the optical character recognition according to the present invention is a camera module 110, optical character recognition unit 120, coordinate converter 125, memory 130, GPS sensor 141, geomagnetic sensor ( 142, a communication unit 150, an augmented reality providing unit 160, a display unit 170, and a controller 180. In addition, the present invention may further include a map information provider 190.

상기 카메라 모듈(110)은 명함 또는 거리의 건물을 촬영하고, 이를 정지 영상 또는 동영상으로 변환한다. 예를 들어, 상기 카메라 모듈(110)은 명함을 촬영하고, 이에 대한 영상을 광학문자인식부(120)로 전송한다. 또한, 상기 카메라 모듈(110)은 거리의 건물을 촬영하고, 이를 표시부(170)로 출력한다.The camera module 110 photographs a business card or a street building and converts it to a still image or a video. For example, the camera module 110 photographs a business card and transmits an image thereof to the optical character recognition unit 120. In addition, the camera module 110 photographs a street building and outputs it to the display unit 170.

상기 광학문자인식부(120)는 상기 카메라 모듈(110)로부터 얻은 명함 영상에서 성명, 주소, 전화 번호 등을 추출하고, 이를 메모리(130)로 전송한다.The optical character recognition unit 120 extracts the name, address, telephone number, etc. from the business card image obtained from the camera module 110, and transmits it to the memory 130.

상기 좌표 변환기(125)는 상기 추출한 명함 정보 중에서 주소 또는 전화 번호와 대응되는 좌표 정보(위도 및 경도)를 추출하고, 이를 상기 명함 정보와 함께 메모리(130)로 전송하여 저장한다. 물론, 이를 위해 상기 메모리(130)에는 미리 주소 또는 전화번호와 대응되는 좌표 정보가 저장되어 있으며, 상기 좌표 변환기(125)는 이와 같이 메모리(130)에 미리 저장된 좌표 정보를 이용할 수 있다. 물론, 이러한 좌표 정보는 메모리(130)가 아닌 하기할 맵 정보 제공부(190)로부터 다운로드 받아 이용할 수도 있으며, 본 발명에서 주소 또는 전화번호와 대응되는 좌표 정보의 기억 장소를 한정하는 것은 아니다.The coordinate converter 125 extracts coordinate information (latitude and longitude) corresponding to an address or a phone number from the extracted business card information, and transmits the coordinate information to the memory 130 along with the business card information. Of course, coordinate information corresponding to an address or a phone number is stored in advance in the memory 130, and the coordinate converter 125 may use the coordinate information previously stored in the memory 130 in this way. Of course, the coordinate information may be downloaded from the map information providing unit 190 to be used instead of the memory 130, and the present invention does not limit the storage location of the coordinate information corresponding to the address or phone number.

상기 메모리(130)는 상기 광학문자인식부(120)로부터 전송된 성명, 주소 및 전화 번호 등과 같은 명함 정보를 저장한다. 더불어, 상기 좌표 변환기(125)로부터 얻은 명함 정보에 대응하는 좌표 정보도 매칭시켜 저장한다. 즉, 메모리(130)는 성명, 주소, 전화 번호 및 좌표 정보를 하나의 셋트로 정의하여 저장한다.The memory 130 stores business card information such as a name, an address, a telephone number, and the like transmitted from the optical character recognition unit 120. In addition, coordinate information corresponding to the business card information obtained from the coordinate converter 125 is also matched and stored. That is, the memory 130 defines and stores the name, address, phone number and coordinate information in one set.

상기 GPS 센서(141)는 사용자의 현재 위치를 감지한다. 좀더 구체적으로 설명하면, 상기 GPS 센서(141)는 GPS 위성으로부터 신호를 인가받아 자신의 현재 위치(위도, 경도 및 높이)를 감지하고, 이를 제어부(180)에 출력한다.The GPS sensor 141 detects the current location of the user. In more detail, the GPS sensor 141 receives a signal from a GPS satellite, detects its current location (latitude, longitude, and height), and outputs it to the controller 180.

상기 지자기 센서(142)는 사용자의 스마트 폰과 같은 휴대용 단말기가 향하고 있는 방향을 감지한다. 좀더 구체적으로 설명하면, 카메라 모듈(110)이 향하고 있는 방향을 감지하고, 이를 제어부(180)에 출력한다.The geomagnetic sensor 142 detects a direction in which a portable terminal such as a user's smart phone is facing. In more detail, the direction that the camera module 110 is facing is detected, and outputs it to the controller 180.

더불어, 본 발명에서 상기 GPS 센서(141) 및 지자기 센서(142)는 없을 수도 있다. 대신, 본 발명에서 사용자의 현재 위치 및 방향은 와이어 파이(Wi-Fi) 또는 기지국으로부터 전송된 정보를 이용하여 파악할 수 있다. 이와 같이 스마트 폰과 같은 휴대용 단말기가 GPS 센서(141), 지자기 센서(142), 와이 파이 또는 기지국으로부터 전송된 정보를 이용하여 자신의 위치 및 방향을 인식하는 기술은 이미 당업자에게 주지된 사항이므로 이에 대한 상세 설명은 생략한다.In addition, the GPS sensor 141 and the geomagnetic sensor 142 may not be present in the present invention. Instead, the current location and direction of the user in the present invention can be determined using the information transmitted from the Wi-Fi or the base station. As such, a technology for recognizing a location and a direction of a portable terminal such as a smart phone using information transmitted from the GPS sensor 141, the geomagnetic sensor 142, Wi-Fi or a base station is already well known to those skilled in the art. Detailed description thereof will be omitted.

상기 통신부(150)는 유선 또는 무선으로 연결된 맵 정보 제공부(190)로부터 맵 정보를 다운로드 받아 제어부(180)에 전송한다. 여기서 상기 맵 정보 제공부(190)는 네이버, 다음 또는 야후와 같은 인터넷 포털 사이트에서 제공하는 맵 정보일 수 있다. 그러나, 이러한 종류로 본 발명을 한정하는 것은 아니다.The communication unit 150 downloads the map information from the map information providing unit 190 connected by wire or wirelessly and transmits the map information to the control unit 180. The map information providing unit 190 may be map information provided by an Internet portal site such as Naver, Daum, or Yahoo. However, the present invention is not limited to this kind.

여기서, 상기 통신부(150)는 없을 수도 있다. 즉, 상기 맵 정보는 미리 메모리(130)에 저장된 것일 수도 있다. 예를 들면, 유, 무선 인터넷 환경이 구비되지 않은 환경에서는, 상술한 바와 같이 메모리(130)에 미리 저장된 맵 정보를 이용할 수 있다.Here, the communication unit 150 may be absent. That is, the map information may be previously stored in the memory 130. For example, in an environment without a wired or wireless Internet environment, as described above, map information stored in advance in the memory 130 may be used.

상기 증강현실제공부(160)는 상기 통신부(150) 또는 메모리(130)로부터 다운로드받은 맵 정보에 상기 카메라 모듈(110)로 촬영된 건물의 위치를 매칭시키고, 이어서 상기 메모리(130)에 저장된 명함 정보를 상기 건물에 증강시켜 매칭한다. 좀더 구체적으로 설명하면, 상기 증강현실제공부(160)는 GPS 센서(141) 및 지자기 센서(142), 또는 와이 파이, 또는 기지국으로부터 얻은 사용자의 현재 위치 및 방향에 대응하는 맵 정보에 카메라 모듈(110)로 얻은 건물의 위치를 매칭시키고, 또한 메모리(130)에 미리 저장된 명함 정보를 상기 건물에 증강시켜 매칭한다. 예를 들면, 카메라 모듈(110)이 촬영하고 있는 실제 건물에 명함에서 추출한 명함 정보를 중첩한다. 여기서, 상기 카메라 모듈(110)로 촬영한 실제 건물에 상호 등을 증강시키는 기술은 이미 당업자에게 주지된 사항이므로, 이에 대한 상세 설명은 생략한다. 또한, 상기 명함 정보는 이미 좌표로 변환되어 메모리(130)에 저장되어 있으므로, 좌표를 갖는 명함 정보를 카메라 모듈(110)로 촬영한 실제 건물에 증강시키는 기술은 본 발명의 명세서를 읽어본 당업자라면 쉽게 구현할 수 있을 것이다.The augmented reality providing unit 160 matches the map information downloaded from the communication unit 150 or the memory 130 with the location of the building photographed by the camera module 110, and then the business card stored in the memory 130. The information is augmented and matched to the building. In more detail, the augmented reality providing unit 160 may include a camera module (not shown) in map information corresponding to the current position and direction of the user obtained from the GPS sensor 141 and the geomagnetic sensor 142, Wi-Fi, or the base station. The location of the building obtained by 110 is matched, and the business card information previously stored in the memory 130 is augmented and matched with the building. For example, the card information extracted from the business card is superimposed on the actual building photographed by the camera module 110. Here, the technology for augmenting each other with the actual building photographed by the camera module 110 is already well known to those skilled in the art, so a detailed description thereof will be omitted. In addition, since the business card information is already converted to the coordinates and stored in the memory 130, a technique for augmenting the business card information having the coordinates into an actual building photographed by the camera module 110 is known to those skilled in the art after reading the specification of the present invention. It will be easy to implement.

상기 표시부(170)는 상기 증강현실제공부(160)로부터 얻은 맵 정보, 명함 정보, 및 건물의 영상을 함께 제공받아 이를 표시한다. 좀더 구체적으로 설명하면, 상기 표시부(170)는 건물의 영상에 명함 정보를 증강하여 표시한다. 따라서, 상기 표시부(170)는 건물에 입주한 식당, 커피숍, 상점 등에 대한 정보뿐만 아니라, 건물에 주소지를 갖는 명함의 주인공에 대한 정보(예를 들면, 성명, 전화번호, 주소 등)를 신속하게 표시한다.The display unit 170 receives the map information obtained from the augmented reality providing unit 160, business card information, and an image of a building together and displays it. In more detail, the display unit 170 amplifies and displays the business card information on the image of the building. Accordingly, the display unit 170 promptly displays information (for example, name, phone number, address, etc.) of the main character of the business card having an address in the building, as well as information about a restaurant, a coffee shop, a store, etc. which have entered the building. To be displayed.

상기 제어부(180)는 상기 카메라 모듈(110), 상기 광학문자인식부(120), 상기 좌표 변환기(125), 상기 메모리(130), 상기 통신부(150), 상기 증강현실제공부(160), 상기 표시부(170), 상기 GPS 센서(141) 및 상기 지자기 센서(142)를 미리 정해진 프로그램 또는 알고리즘에 따라 제어한다. 즉, 상기 제어부(180)는 마이크로 컴퓨터, 프로그램 또는 소프트웨어일 수 있으며, 이는 상기 각 장치들이 서로 충돌하지 않고 원활히 수행될 수 있도록 한다. 예를 들어, 사용자가 카메라 모듈(110)을 동작시키면 제어부(180)가 상기 카메라 모듈(110)을 제어한다. 또한, 제어부(180)는 광학문자인식부(120)가 카메라 모듈(110)로부터 얻은 명함 영상에서 명함 정보를 추출하도록 제어한다. 또한, 제어부(180)는 상기 좌표 변환기(125)를 제어하여, 명함 영상으로부터 추출한 정보를 좌표 정보로 변환하도록 한다. 또한, 제어부(180)는 메모리(130)에 접근하여 명함 정보를 얻거나, 또는 좌표 정보등 각종 데이터를 메모리(130)로부터 얻거나 저장한다. 또한, 제어부(180)는 GPS 센서(141), 지자기 센서(142), 와이 파이 또는 기지국으로부터 입력된 신호를 연산하여 현재 자신의 위치 및 방향을 계산하기도 하며, 이를 증강현실제공부(160)에 공급하기도 한다. 또한, 제어부(180)는 통신부(150)를 통하여 맵 정보를 얻거나, 또는 맵 정보 요청 신호를 출력하도록 한다. 또한, 제어부(180)는 표시부(170)를 통하여 증강현실제공부(160)로부터 증강된 화면을 표시하도록 제어한다. 더불어, 상기 제어부(180)는 통신부(150)가 없을 경우, 상기 메모리(130)로부터 맵 정보를 다운로드받을 수 있도록 제어한다. 또한, 상기 제어부(180)는 GPS 센서(141) 또는 지자기 센서(142)가 없을 경우, 상술한 바와 같이 와이 파이 또는 기지국으로부터 자신의 위치 및 방향 정보를 수신하여 인식할 수 있도록 한다. 물론, 이러한 정보는 통신부(150)를 통해 수신할 수 있음은 당연하다.The controller 180 is the camera module 110, the optical character recognition unit 120, the coordinate converter 125, the memory 130, the communication unit 150, the augmented reality providing unit 160, The display unit 170, the GPS sensor 141, and the geomagnetic sensor 142 are controlled according to a predetermined program or algorithm. That is, the controller 180 may be a microcomputer, a program, or software, which allows the devices to be performed smoothly without conflict with each other. For example, when a user operates the camera module 110, the controller 180 controls the camera module 110. In addition, the controller 180 controls the optical character recognition unit 120 to extract business card information from the business card image obtained from the camera module 110. In addition, the controller 180 controls the coordinate converter 125 to convert information extracted from the business card image into coordinate information. In addition, the controller 180 accesses the memory 130 to obtain business card information, or obtains or stores various data such as coordinate information from the memory 130. In addition, the controller 180 may calculate a current position and direction of the current by calculating a signal input from the GPS sensor 141, the geomagnetic sensor 142, the Wi-Fi or the base station, and the augmented reality providing unit 160. It is also supplied. In addition, the controller 180 obtains map information through the communication unit 150 or outputs a map information request signal. In addition, the controller 180 controls to display the augmented screen from the augmented reality providing unit 160 through the display unit 170. In addition, the controller 180 controls to download map information from the memory 130 when there is no communication unit 150. In addition, when the GPS sensor 141 or the geomagnetic sensor 142 is not present, the controller 180 can receive and recognize its location and direction information from the Wi-Fi or the base station as described above. Of course, such information can be received through the communication unit 150 is natural.

상기 맵 정보 제공부(190)는 상술한 바와 같이 맵 정보를 제공하는 인터넷 포털 사이트 또는 인터넷 서버일 수 있다. 이러한 인터넷 포털 사이트와 같은 맵 정보 제공부(190)는 실시간으로 맵 정보가 업데이트되기 때문에, 사용자가 별도로 맵 정보의 업데이트에 신경쓰지 않아도 된다. 그러나, 본 발명에서 상기 맵 정보 제공부(190)는 생략될 수 있으며, 이 경우 맵 정보는 메모리(130)에 저장될 수 있다.The map information providing unit 190 may be an internet portal site or an internet server providing map information as described above. Since the map information providing unit 190 such as the Internet portal site is updated in real time, the user does not have to worry about updating the map information separately. However, in the present invention, the map information provider 190 may be omitted, and in this case, the map information may be stored in the memory 130.

한편, 광학문자인식부(120)에서 명함 정보를 추출하기 어려운 경우가 있다. 즉, 글씨체 인식이 불가능하거나, 기타 다른 이유로 명함 정보의 추출이 안되는 경우가 있다. 이러한 경우에는 사용자가 직접 스마트폰과 같은 휴대용 단말기에 구비된 입력부(터치 스크린 또는 터치 패널)를 이용하여 직접 명함 정보 즉, 성명, 주소, 전화번호 및 상호 등을 입력할 수 있다. 물론, 이와 같이 입력된 명함 정보는 좌표 변환기를 거쳐 정확한 좌표로 변환된 후 메모리에 저장될 수 있다.
On the other hand, it may be difficult to extract the business card information from the optical character recognition unit 120. That is, there is a case in which handwriting recognition is impossible or the card information cannot be extracted for other reasons. In this case, the user may directly input business card information, name, address, telephone number, business name, etc. using an input unit (touch screen or touch panel) provided in a portable terminal such as a smartphone. Of course, the card information input in this way may be converted into correct coordinates via a coordinate converter and then stored in a memory.

도 2는 본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 방법을 도시한 순서도이다. 도 1을 함께 참조하여, 본 발명에 따른 광학문자인식을 이용한 증강 현실 방법을 설명한다. 여기서, 카메라 모듈로부터 촬영된 명함 영상으로부터 각종 정보를 추출하고, 저장하는 방법은 이미 주지된 사항이므로 이에 대한 설명은 생략한다. 또한, 이하에서 설명될 제어의 주체는 제어부(180)이다.2 is a flowchart illustrating an augmented reality method using optical character recognition according to an embodiment of the present invention. With reference to Figure 1, the augmented reality method using the optical character recognition according to the present invention will be described. Here, the method of extracting and storing various information from the business card image photographed from the camera module is already well known, and thus description thereof will be omitted. In addition, the subject of the control to be described below is the controller 180.

도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 광학문자인식을 이용한 증강 현실 방법은 증강현실제공부 동작 단계(S1), 카메라 모듈 동작 단계(S2), 명함 정보 검색 단계(S3), 자신의 위치 및 방향 감지 단계(S4), 맵 정보 수신 단계(S5), 명함 정보가 맵 정보 내에 위치하는지 판단하는 단계(S6), 카메라 영상에 명함 정보 증강하여 표시하는 단계(S7)를 포함한다.As shown in FIG. 2, the augmented reality method using optical character recognition according to an embodiment of the present invention includes an augmented reality providing unit operating step S1, a camera module operating step S2, and a business card information searching step S3. It includes the step of detecting its own position and direction (S4), the step of receiving the map information (S5), the step of determining whether the card information is located in the map information (S6), and the step of augmenting and displaying the card information on the camera image (S7) do.

상기 증강현실제공부 동작 단계(S1)에서는, 사용자가 스마트폰과 같은 휴대용 단말기를 조작하여 증강현실제공부(160)를 동작시켰는지 판단한다.In the augmented reality providing unit operation step (S1), it is determined whether the user operated the augmented reality providing unit 160 by operating a portable terminal such as a smartphone.

상기 카메라 모듈 동작 단계(S2)에서는, 사용자가 증강현실제공부(160)를 동작시키면 카메라 모듈(110)을 동작시킴으로써, 상기 카메라 모듈(110)이 외부의 영상을 촬영하도록 한다. 예를 들면, 카메라 모듈(110)이 거리의 건물을 촬영하도록 한다.In the camera module operation step (S2), when the user operates the augmented reality providing unit 160 by operating the camera module 110, the camera module 110 to take an external image. For example, the camera module 110 to photograph the street building.

상기 명함 정보를 검색하는 단계(S3)에서는, 메모리(130)에 미리 저장되어 있는 적어도 하나의 명함 정보를 검색한다.In the step of searching the business card information (S3), at least one business card information previously stored in the memory 130 is searched.

상기 자신의 위치 및 방향 감지 단계(S4)에서는, GPS 센서(141) 및 지자기 센서(142)를 이용하여, 자신의 위치 및 방향을 감지한다. 여기서, 상기 단계(S4)는 와이 파이 또는 기지국으로부터 수신된 정보를 이용하여 이루어질 수도 있다.In the own position and direction detection step (S4), the GPS sensor 141 and the geomagnetic sensor 142 are used to detect their own position and direction. Here, step S4 may be performed using information received from a Wi-Fi or a base station.

상기 맵 정보 수신 단계(S5)에서는, 유선 또는 무선을 통하여 맵 정보 제공부(190)로부터 자신의 위치 및 방향에 매칭되는 맵 정보를 다운로드받는다. 여기서, 상기 맵 정보 제공부(190)는 인터넷 포털 사이트 또는 메모리(130)에 미리 저장된 것일 수 있다. 더불어, 상기 단계(S5)는 메모리(130)로부터 다운로드받아 이루어질 수도 있다.In the map information receiving step (S5), the map information corresponding to its position and direction is downloaded from the map information provider 190 via wire or wireless. Here, the map information providing unit 190 may be previously stored in the Internet portal site or the memory 130. In addition, the step S5 may be performed by downloading from the memory 130.

한편, 상기 증강현실제공부 동작 단계(S1), 카메라 모듈 동작 단계(S2), 명함 정보 검색 단계(S3), 자신의 위치 및 방향 감지 단계(S4) 및 맵 정보 수신 단계(S5)의 순서는 고정된 것이 아니며, 그 순서도 변경될 수 있다. 예를 들면, 상기 단계(S3)와 단계(S4)의 사이에 단계(S1)가 수행될 수도 있으며, 이러한 단계의 순서는 본 발명을 구현하는 스마트폰과 같은 휴대용 단말기의 하드웨어적 특징이나 소프트웨어적 특징에 따라 얼마든지 변경될 수 있다. 물론, 상기 단계(S1 ~ S5)는 동시에 수행될 수도 있다.On the other hand, the augmented reality providing unit operation step (S1), the camera module operation step (S2), business card information search step (S3), their position and direction detection step (S4) and map information receiving step (S5) in order It is not fixed and the order may be changed. For example, step S1 may be performed between step S3 and step S4, and the order of the steps may be based on hardware features or software of a portable terminal such as a smart phone implementing the present invention. It can be changed according to the characteristics. Of course, the steps S1 to S5 may be performed at the same time.

상기 명함 정보가 맵 정보 내에 위치하는지 판단하는 단계(S6)에서는, 상기 수신된 맵의 범위 내에 메모리(130)로부터 검색된 명함 정보와 매칭되는 위치가 존재하는지 판단한다. 즉, 명함 정보와 대응되는 좌표 정보가 상기 맵 정보와 대응되는 좌표 정보의 범위 내에 있는지 판단한다.In the determining of whether the business card information is located in the map information (S6), it is determined whether a location matching the business card information retrieved from the memory 130 exists within the range of the received map. That is, it is determined whether the coordinate information corresponding to the business card information is within a range of the coordinate information corresponding to the map information.

상기 카메라 영상에 명함 정보 증강하여 표시하는 단계(S7)에서는, 증강현실제공부(160)를 제어하여 수신된 맵의 범위 내에 검색된 명함 정보가 있을 경우, 이를 카메라 모듈(110)로 촬영된 영상에 명함 정보(예를 들면, 성명, 전화번호 및 주소 등)를 함께 제공하고, 표시부(170)를 제어하여 증강 현실을 표시한다. 예를 들면, 표시부(170)를 제어하여 카메라 모듈(110)로 촬영된 건물의 일측에 명함 정보를 함께 표시되도록 함으로써, 사용자가 명함의 주인공을 신속히 검색할 수 있도록 한다.In the step S7 of displaying and displaying the business card information on the camera image, when the business card information found within the range of the received map is controlled by the augmented reality providing unit 160, it is displayed on the image captured by the camera module 110. The business card information (for example, name, phone number, address, etc.) is provided together, and the display unit 170 is controlled to display augmented reality. For example, by controlling the display unit 170 to display the business card information on one side of the building taken by the camera module 110, the user can quickly search for the main character of the business card.

이상에서 설명한 것은 본 발명에 따른 광학문자인식을 이용한 증강 현실 장치 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
What has been described above is just one embodiment for implementing the augmented reality device and method using the optical character recognition according to the present invention, the present invention is not limited to the above-described embodiment, it is claimed in the claims As will be apparent to those skilled in the art to which the present invention pertains without departing from the gist of the present invention, the technical spirit of the present invention will be described to the extent that various modifications can be made.

100; 본 발명에 따른 광학문자인식을 이용한 증강 현실 장치
110; 카메라 모듈 120; 광학문자인식부
130; 메모리 141; GPS 센서
142; 지자기 센서 150; 통신부
160; 증강현실제공부 170; 표시부
180; 제어부 190; 맵 정보 제공부100; Augmented reality device using optical character recognition according to the present invention
110; Camera module 120; Optical Character Recognition
130; Memory 141; GPS sensor
142; Geomagnetic sensor 150; Communication
160; Augmented reality providing unit 170; Display
180; Control unit 190; Map information provider

Claims (8)

카메라 모듈;
상기 카메라 모듈로 촬영된 명함에서 명함 정보를 추출하는 광학문자인식부;
상기 명함 정보를 저장하는 메모리;
맵 정보에 상기 카메라 모듈로 촬영된 건물의 위치를 매칭시키고, 상기 메모리에 저장된 명함 정보를 상기 건물에 증강시켜 매칭하는 증강현실 제공부; 및,
상기 증강현실 제공부로부터 맵 정보, 명함 정보, 및 건물의 영상을 함께 제공받아 표시하는 표시부를 포함하여 이루어진 것을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.Camera module;
An optical character recognition unit extracting business card information from a business card photographed by the camera module;
A memory for storing the business card information;
An augmented reality providing unit for matching the location of a building photographed with the camera module with map information and augmenting and matching the business card information stored in the memory with the building; And,
Augmented reality device using the optical character recognition characterized in that it comprises a display unit for receiving and displaying the map information, business card information, and the image of the building from the augmented reality providing unit. 제 1 항에 있어서,
상기 맵 정보는 유선 또는 무선으로 연결된 맵 정보 제공부로부터 다운로드받은 것을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.The method of claim 1,
The map information is augmented reality device using the optical character recognition, characterized in that downloaded from the map information provider connected by wire or wireless. 제 1 항에 있어서,
상기 맵 정보는 메모리로부터 다운로드받은 것을 특징을 하는 광학문자인식을 이용한 증강 현실 장치.The method of claim 1,
The map information is augmented reality device using optical character recognition, characterized in that downloaded from the memory. 제 1 항에 있어서,
상기 명함 정보를 지도에 표현하기 위한 좌표로 변환기를 더 포함하여 이루어진 것을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.The method of claim 1,
An augmented reality device using optical character recognition, characterized in that further comprising a converter to the coordinates for representing the business card information on the map. 제 1 항에 있어서,
사용자의 현재 위치 및 방향 정보를 얻기 위해 GPS 센서 및 지자기 센서를 더 포함하여 이루어진 것을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.The method of claim 1,
Augmented reality device using optical character recognition, characterized in that further comprises a GPS sensor and a geomagnetic sensor to obtain the current location and direction information of the user. 제 1 항에 있어서,
사용자의 현재 위치 및 방향 정보는 와이파이(Wi-Fi) 또는 기지국으로부터 수신함을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.The method of claim 1,
Augmented reality device using optical character recognition, characterized in that the user's current location and direction information is received from the Wi-Fi or the base station. 제 1 항에 있어서,
상기 카메라 모듈, 상기 광학문자인식부, 상기 메모리, 상기 증강현실 제공부 및 상기 표시부를 제어하는 제어부를 더 포함하여 이루어진 것을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.The method of claim 1,
Augmented reality device using the optical character recognition, characterized in that further comprising a control unit for controlling the camera module, the optical character recognition unit, the memory, the augmented reality providing unit and the display. 카메라 모듈로 촬영된 건물을 표시하는 단계;
메모리에 저장된 명함 정보를 검색하는 단계;
사용자의 현재 위치 및 방향에 대응하는 맵 정보를 다운로드받는 단계;
상기 다운로드받은 맵 정보에 건물의 위치를 매칭하고, 이어서 건물에 매칭된 명함 정보가 존재하는지 판단하는 단계; 및
상기 건물에 명함 정보를 증강하여 표시하는 단계를 포함하여 이루어진 것을 특징으로 하는 광학문자인식을 이용한 증강 현실 장치.Displaying a building photographed with a camera module;
Retrieving business card information stored in a memory;
Downloading map information corresponding to a current location and a direction of a user;
Matching a location of a building to the downloaded map information, and then determining whether there is business card information matching the building; And
Augmented reality device using the optical character recognition, characterized in that comprising the step of displaying the business card information on the building.
KR1020100094285A 2010-09-29 2010-09-29 Augmented reality device using optical character reader and method thereof Abandoned KR20120032773A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100094285A KR20120032773A (en) 2010-09-29 2010-09-29 Augmented reality device using optical character reader and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100094285A KR20120032773A (en) 2010-09-29 2010-09-29 Augmented reality device using optical character reader and method thereof

Publications (1)

Publication Number Publication Date
KR20120032773A true KR20120032773A (en) 2012-04-06

Family

ID=46135708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100094285A Abandoned KR20120032773A (en) 2010-09-29 2010-09-29 Augmented reality device using optical character reader and method thereof

Country Status (1)

Country Link
KR (1) KR20120032773A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106517A (en) 2017-03-20 2018-10-01 (주)광개토연구소 Device and Method on Mapping between Patent Drawings Including Figure Numbers and Descriptions of the Figure Numbers Using Machine Learning Methodology Based on Using Artificial Intelligence Technology
KR20180106546A (en) 2017-03-21 2018-10-01 (주)광개토연구소 Device and Information Processing Method on Providing Mapping and Combination Contents between Figure Numbers in Patent Drawings and Names of Figure Numbers in Patent Description Based on Artificial Intelligence Technology
KR20200013130A (en) 2018-07-12 2020-02-06 (주)광개토연구소 Device and Method on Data Processing of Descriptions of the Figure Numbers Corresponding to Figure Numbers on Patent Drawings Using Machine Learning Methodology Based on Using Artificial Intelligence Technology

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106517A (en) 2017-03-20 2018-10-01 (주)광개토연구소 Device and Method on Mapping between Patent Drawings Including Figure Numbers and Descriptions of the Figure Numbers Using Machine Learning Methodology Based on Using Artificial Intelligence Technology
KR20180106546A (en) 2017-03-21 2018-10-01 (주)광개토연구소 Device and Information Processing Method on Providing Mapping and Combination Contents between Figure Numbers in Patent Drawings and Names of Figure Numbers in Patent Description Based on Artificial Intelligence Technology
KR20220154069A (en) 2017-03-21 2022-11-21 (주)광개토연구소 Device and Information Processing Method on Providing Mapping and Combination Contents between Figure Numbers in Patent Drawings and Names of Figure Numbers in Patent Description Based on Artificial Intelligence Technology
KR20200013130A (en) 2018-07-12 2020-02-06 (주)광개토연구소 Device and Method on Data Processing of Descriptions of the Figure Numbers Corresponding to Figure Numbers on Patent Drawings Using Machine Learning Methodology Based on Using Artificial Intelligence Technology

Similar Documents

Publication Publication Date Title
US20240377217A1 (en) Method and apparatus for displaying surrounding information using augmented reality
CN105144197B (en) Applied program ignitor based on image
US8952779B2 (en) Portable terminal, method, and program of changing user interface
US9910866B2 (en) Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
CN104350736B (en) Augmented reality placement of nearby location information
US9652144B2 (en) Method and apparatus for providing POI information in portable terminal
CN111638796A (en) Virtual object display method and device, computer equipment and storage medium
JP6496671B2 (en) Information processing apparatus, terminal apparatus, information processing method, and program
KR101330805B1 (en) Apparatus and Method for Providing Augmented Reality
US20090167919A1 (en) Method, Apparatus and Computer Program Product for Displaying an Indication of an Object Within a Current Field of View
KR101363559B1 (en) Apparatus and Method for providing augment reality using additional information
JP2017146749A (en) Control program, control method, and computer
US20220076469A1 (en) Information display device and information display program
EP2589024A1 (en) Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
CN112052897B (en) Multimedia data shooting method, device, terminal, server and storage medium
JP5512378B2 (en) Object display device, object display system, and object display method
CN108319709A (en) Position information processing method, device, electronic equipment and storage medium
KR20200100274A (en) Image Pattern MARK and Image Recognition System Using Augmented Reality
CN111723843A (en) Sign-in method, device, electronic equipment and storage medium
CN110891122A (en) A wallpaper push method and electronic device
KR20120032773A (en) Augmented reality device using optical character reader and method thereof
JP2016133701A (en) Information providing system and information providing method
US20120155708A1 (en) Apparatus and method for measuring target point in video
KR101939530B1 (en) Method and apparatus for displaying augmented reality object based on geometry recognition
KR20190006584A (en) Method and apparatus for displaying augmented reality object based on geometry recognition

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100929

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20111017

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120424

NORF Unpaid initial registration fee
PC1904 Unpaid initial registration fee