[go: up one dir, main page]

KR20150130121A - System and method for coordinates calculating of target at a long distance - Google Patents

System and method for coordinates calculating of target at a long distance Download PDF

Info

Publication number
KR20150130121A
KR20150130121A KR1020140057289A KR20140057289A KR20150130121A KR 20150130121 A KR20150130121 A KR 20150130121A KR 1020140057289 A KR1020140057289 A KR 1020140057289A KR 20140057289 A KR20140057289 A KR 20140057289A KR 20150130121 A KR20150130121 A KR 20150130121A
Authority
KR
South Korea
Prior art keywords
target
information
terminal
coordinate
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020140057289A
Other languages
Korean (ko)
Inventor
신진수
성주식
최영수
이자영
Original Assignee
(주)지에스엠솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지에스엠솔루션 filed Critical (주)지에스엠솔루션
Priority to KR1020140057289A priority Critical patent/KR20150130121A/en
Publication of KR20150130121A publication Critical patent/KR20150130121A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G01C17/02Magnetic compasses
    • G01C17/28Electromagnetic compasses
    • G01C17/30Earth-inductor compasses
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02Rotary gyroscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

본 발명은 원거리 목표물의 좌표 산출 시스템 및 방법에 관한 것으로, 보다 상세하게는 GPS를 통한 위치정보, 자이로센서 및 지자기센서를 통한 단말기의 자세 정보 및 카메라를 통한 영상정보를 이용하여, 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 산출하는 시스템 및 방법에 관한 것이다.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 시스템은 위치정보 수신부, 자세 정보 수신부, 영상 정보 수신부, 정보 저장부 및 좌표 산출부를 포함한다.
The present invention relates to a system and a method for calculating coordinates of a target at a long distance, and more particularly, to a system and a method for calculating coordinates of a target located at a remote location using position information via GPS, attitude information of a terminal through a gyro sensor, To a system and method for calculating the coordinates of a target without directly accessing the target.
According to an aspect of the present invention, there is provided a coordinate calculation system for a long distance target, comprising a position information receiving unit, an attitude information receiving unit, an image information receiving unit, an information storing unit, and a coordinate calculating unit.

Description

원거리 목표물의 좌표 산출 시스템 및 방법 {SYSTEM AND METHOD FOR COORDINATES CALCULATING OF TARGET AT A LONG DISTANCE}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and a method for calculating coordinates of a remote target,

본 발명은 원거리 목표물의 좌표 산출 시스템 및 방법에 관한 것으로, 보다 상세하게는 GPS를 통한 위치정보, 자이로센서 및 지자기센서를 통한 단말기의 자세 정보 및 카메라를 통한 영상정보를 이용하여, 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 산출하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and a method for calculating coordinates of a target at a long distance, and more particularly, to a system and a method for calculating coordinates of a target located at a remote location using position information via GPS, attitude information of a terminal through a gyro sensor, To a system and method for calculating the coordinates of a target without directly accessing the target.

통상적으로, 영상 특징점의 3차원 위치를 검출하는 방식은 스테레오 카메라를 구성하는 서브 카메라 등에서 각기 입력된 2개의 휘도 데이터를 '대응점 결정' 패턴 매칭의 방법에 따라 검출하는 방식과 단일 카메라에서 삼각측량법을 이용해 검출하는 방식 등이 알려져 있다.Generally, a method of detecting three-dimensional positions of image feature points is a method of detecting two luminance data input from sub cameras constituting a stereo camera according to a method of 'matching point determination' pattern matching, and a method of detecting triangulation method And the like are known.

하지만, 전술한 스테레오 카메라를 사용해 영상 특징점의 3차원 위치를 검출하는 방식은 그에 장착된 고가의 부품들 예컨대, 소자(Sonar), 레인지 센서(Range sensor)부품 등으로 인해 비용이 많이 요구되는 문제점이 있으며, 후자의 단일 카메라에서 삼각측량법을 이용해 검출하는 방식의 경우, 종래 공지된 기술들의 대부분이 계산량이 상당히 많아 알고리즘의 실시간 구현이 용이하지 않은 문제점이 있다.However, the method of detecting the three-dimensional position of the image feature point using the above-described stereo camera is problematic in that it requires a high cost due to the expensive parts installed therein, for example, a sonar, a range sensor, In the case of a detection method using the triangulation method in the latter single camera, most of the known techniques have a problem that the amount of calculation is considerably large and real-time implementation of the algorithm is not easy.

한편, 한국등록특허 제10-0640761호 "단일카메라 기반의 영상 특징점의 3차원 위치 검출방법"은 3차원 위치 검출 기술의 한 예로 제안되었으며, 상기 선행기술은 단일카메라를 사용하므로 단가절감 및 프로세서의 처리 부담을 줄일 수 있고, 또한 특징점의 크기 계수와 공지된 '핀홀 카메라' 모델을 사용하여 영상 특징점의 3차원 위치를 용이하게 검출할 수 있는 기술을 제시하고 있다.Korean Patent No. 10-0640761, entitled " 3-dimensional position detection method of image feature points based on a single camera ", has been proposed as an example of 3-dimensional position detection technology. Since the prior art uses a single camera, A processing burden can be reduced, and a technique for easily detecting a three-dimensional position of an image feature point using a size coefficient of a feature point and a known 'pinhole camera' model is proposed.

하지만 상기 선행기술은 여전히 계산량이 많은 단점이 있으며, 두 영상 프레임 내의 특징점 정보만 이용하여 위치를 검출하므로, 정밀도가 떨어지는 문제가 있다.However, the prior art still has a disadvantage in that the amount of calculation is large, and since the position is detected using only the minutiae information in two image frames, there is a problem that accuracy is low.

한국등록특허 제10-0640761호 (등록일: 2006.10.25)Korean Registered Patent No. 10-0640761 (Registered on October 25, 2006)

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위한 것으로, 보다 효율적으로 목표물의 좌표를 산출하려는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to more efficiently calculate coordinates of a target.

본 발명은 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 산출하려는 것을 목적으로 한다.An object of the present invention is to calculate coordinates of a target without directly accessing a target located at a remote location.

이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 시스템은 위치정보 수신부, 자세 정보 수신부, 영상 정보 수신부, 정보 저장부 및 좌표 산출부를 포함한다.According to an aspect of the present invention, there is provided a coordinate calculation system for a long distance target, comprising a position information receiving unit, an attitude information receiving unit, an image information receiving unit, an information storing unit, and a coordinate calculating unit.

상기 위치정보 수신부는 단말기의 위치 정보를 실시간으로 수신한다. 상기 자세 정보 수신부는 자이로센서 및 지자기센서를 통해 상기 단말기의 자세 정보를 수신한다. 상기 영상 정보 수신부는 상기 단말기의 카메라를 통해 영상 정보를 획득한다. 상기 정보 저장부는 상기 위치정보 수신부, 상기 자세 정보 수신부 및 상기 영상 정보 수신부에서 수신된 정보를 기반으로 하여, 목표물의 일측인 제1 취득점 및 타측인 제2 취득점 각각에서 취득된 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장한다. 상기 좌표 산출부는 상기 정보 저장부에 저장된 정보를 기반으로, 삼각함수 및 삼각측량법을 이용해 원거리에 위치한 상기 목표물의 좌표를 산출한다.The location information receiver receives the location information of the terminal in real time. The attitude information receiving unit receives attitude information of the terminal through a gyro sensor and a geomagnetic sensor. The image information receiving unit obtains image information through a camera of the terminal. The information storage unit stores the coordinates of the target acquired from each of the first acquisition point as one side of the target and the second acquisition point as the other side based on the information received from the position information receiving unit, the attitude information receiving unit, Information and attitude information of the terminal. The coordinate calculation unit calculates the coordinates of the target located at a remote location based on the information stored in the information storage unit, using the trigonometric function and the triangulation method.

또한, 상기 정보 저장부는 상기 제1 취득점에서 상기 목표물과 상기 단말기의 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제1 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보와 상기 제2 취득점에서 상기 목표물과 상기 단말기의 상기 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제2 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장한다.The information storage unit may store coordinate information of the target at the first acquisition point obtained when the target and the center point of the target image acquired through the camera of the terminal correspond to each other at the first acquisition point, Position information of the target at the second acquisition point obtained when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the second acquisition point, / RTI >

한편, 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 방법은 위치정보 수신 단계, 자세 정보 수신 단계, 영상 정보 수신 단계, 정보 저장 단계 및 좌표 산출 단계를 포함한다.Meanwhile, a method for calculating coordinates of a long distance target according to an embodiment of the present invention includes a position information receiving step, an attitude information receiving step, an image information receiving step, an information storing step, and a coordinate calculating step.

상기 위치정보 수신 단계는 단말기의 위치 정보를 실시간으로 수신한다. 상기 자세 정보 수신 단계는 자이로센서 및 지자기센서를 통해 상기 단말기의 자세 정보를 수신한다. 상기 영상 정보 수신 단계는 상기 단말기의 카메라를 통해 영상 정보를 획득한다. 상기 정보 저장 단계는 상기 위치정보 수신 단계, 상기 자세 정보 수신 단계 및 상기 영상 정보 수신 단계에서 수신된 정보를 기반으로 하여, 목표물의 일측인 제1 취득점 및 타측인 제2 취득점 각각에서 취득된 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장한다. 상기 좌표 산출 단계는 상기 정보 저장 단계에 저장된 정보를 기반으로, 삼각함수 및 삼각측량법을 이용해 원거리에 위치한 상기 목표물의 좌표를 산출한다.The location information receiving step receives the location information of the terminal in real time. The attitude information receiving step receives attitude information of the terminal through a gyro sensor and a geomagnetic sensor. The image information receiving step acquires image information through a camera of the terminal. The information storing step may include a step of storing the information acquired at the first acquisition point, which is one side of the target and the second acquisition point, which is the other side, based on the information received at the position information reception step, the attitude information reception step and the image information reception step Coordinate information of the target, and attitude information of the terminal. The coordinate calculating step calculates the coordinates of the target located at a remote location based on the information stored in the information storing step, using trigonometric functions and triangulation.

또한, 상기 정보 저장 단계는 상기 제1 취득점에서 상기 목표물과 상기 단말기의 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제1 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보와 상기 제2 취득점에서 상기 목표물과 상기 단말기의 상기 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제2 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장한다.The information storage step stores the coordinate information of the target at the first acquisition point acquired when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the first acquisition point, The coordinate information of the target at the second acquisition point obtained when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the second acquisition point, Store information.

본 발명은 원거리 목표물의 좌표 산출 시스템 및 방법에 관한 것으로, 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 산출할 수 있는 효과가 있다.The present invention relates to a system and method for calculating coordinates of a target at a long distance, and is capable of calculating coordinates of a target without directly accessing a target located at a remote location.

본 발명은 이동형 단말기에 부착할 수 있는 형태로 구현 가능하므로, 휴대가 용이한 효과가 있다.Since the present invention can be implemented in a form that can be attached to a mobile terminal, it is easy to carry.

본 발명은 GPS를 통한 위치정보, 자이로센서 및 지자기센서를 통한 단말기의 자세 정보 및 카메라를 통한 영상정보를 기반으로 목표물의 좌표를 산출하므로, 목표물의 좌표를 보다 정확하게 산출할 수 있는 효과가 있다.Since the coordinates of the target are calculated based on the position information through GPS, the attitude information of the terminal through the gyro sensor and the geomagnetic sensor, and the image information through the camera, the coordinates of the target can be more accurately calculated.

도 1은 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 시스템 및 방법의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 좌표 산출 방법의 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 좌표 산출 방법에 대한 다른 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 방법에 대한 흐름도이다.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating a coordinate system for calculating coordinates of a long distance target according to an embodiment of the present invention; FIG.
2 is a conceptual diagram of a system and method for calculating coordinates of a long distance target according to an embodiment of the present invention.
3 is a diagram illustrating an example of a coordinate calculation method according to an embodiment of the present invention.
4 is a view showing another example of a coordinate calculation method according to an embodiment of the present invention.
5 is a flowchart illustrating a method of calculating coordinates of a long distance target according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the following description of the embodiments of the present invention, specific values are only examples.

본 발명은 원거리 목표물의 좌표 산출 시스템 및 방법에 관한 것으로, 보다 상세하게는 GPS를 통한 위치정보, 자이로센서 및 지자기센서를 통한 단말기의 자세 정보 및 카메라를 통한 영상정보를 이용하여, 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 산출하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and a method for calculating coordinates of a target at a long distance, and more particularly, to a system and a method for calculating coordinates of a target located at a remote location using position information via GPS, attitude information of a terminal through a gyro sensor, To a system and method for calculating the coordinates of a target without directly accessing the target.

본 발명은 실제로 자이로센서, 지자기센서, GPS로 구성된 AR(Augmented Reality)용 하드웨어를 이용해 구현되는 것이 바람직하며, 또한, 단말기의 경우, 스마트폰이나 태블릿 PC를 포함하는 휴대 단말기, 랩탑 장치, 노트북 PC 등일 수 있으며, 특히, 본 발명에서의 단말기는 휴대가 가능한 형태로 마련되는 것이 바람직하다. 그러나 본 발명은 이에 한정되는 것이 아니며, 단말기는 앞서 언급한 바와 같이 다양한 타입의 컴퓨팅 장치로 구성될 수 있다. 또한, 본 발명은 이동형 PC에 부착하여 사용하는 방식으로 구현될 수 있다.The present invention is preferably implemented using hardware for AR (Augmented Reality) consisting of a gyro sensor, a geomagnetic sensor and GPS. In addition, in the case of a terminal, a portable terminal including a smart phone or a tablet PC, In particular, the terminal of the present invention is preferably provided in a portable form. However, the present invention is not limited thereto, and the terminal may be configured as various types of computing devices as mentioned above. In addition, the present invention can be implemented in a manner of being attached to a mobile PC.

우선, 도 2을 참조하여 본 발명의 개념을 간단히 설명하기로 한다.First, the concept of the present invention will be briefly described with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 시스템 및 방법의 개념도이다.2 is a conceptual diagram of a system and method for calculating coordinates of a long distance target according to an embodiment of the present invention.

도 2를 참조하면, 본 발명은 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 산출하는 시스템 및 방법에 관한 것으로, 제1 취득점(30)과 제2 취득점(40) 각각에서 목표물(10)의 좌표 정보 및 단말기(20)의 자세 정보를 취득함으로써, 원거리에 위치한 목표물(10)의 좌표를 산출할 수 있다. 이때, 목표물(10)의 좌표를 산출하기 위한 보다 자세한 과정은 이후에 설명하기로 한다.2, the present invention relates to a system and a method for calculating coordinates of a target without directly accessing a target located at a remote location, in which a target (target) is calculated at each of a first acquisition point 30 and a second acquisition point 40 10 and attitude information of the terminal 20, it is possible to calculate the coordinates of the target 10 located at a long distance. Hereinafter, a more detailed process for calculating the coordinates of the target 10 will be described.

도 1은 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 시스템을 나타낸 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating a coordinate system for calculating coordinates of a long distance target according to an embodiment of the present invention; FIG.

도 1을 참조하면, 본 발명의 원거리 목표물의 좌표 산출 시스템(100)은 위치정보 수신부(110), 자세 정보 수신부(120), 영상 정보 수신부(130), 정보 저장부(140) 및 좌표 산출부(150)를 포함한다.1, the remote target coordinate calculation system 100 of the present invention includes a position information receiving unit 110, an attitude information receiving unit 120, an image information receiving unit 130, an information storage unit 140, (150).

위치정보 수신부(110)는 단말기(20)의 위치 정보를 실시간으로 수신한다. 위치 정보는 GPS 안테나 및 GPS 수신기를 통해 수신 가능하다.The position information receiving unit 110 receives position information of the terminal 20 in real time. The position information is receivable through a GPS antenna and a GPS receiver.

자세 정보 수신부(120)는 자이로센서 및 지자기센서를 통해 단말기(20)의 자세 정보 및 방향 정보를 수신한다. 본 발명은 단말기(20)의 위치정보 뿐만 아니라 자이로 센서, 지자기센서를 이용하므로, 원거리에 위치한 목표물(10)을 어떠한 위치, 어떠한 방향, 어떠한 각도에서 영상을 획득하든지 간에 목표물(10)의 좌표를 보다 정확하게 산출하는 것이 가능하다.The attitude information receiving unit 120 receives attitude information and direction information of the terminal 20 through the gyro sensor and the geomagnetic sensor. The present invention uses the gyro sensor and the geomagnetic sensor as well as the position information of the terminal 20 so that the coordinates of the target 10 can be obtained regardless of the position at which the target 10 is located at a certain distance, It is possible to calculate more accurately.

영상 정보 수신부(130)는 단말기(20)의 카메라를 통해 목표물(10)의 영상 정보를 획득한다.The image information receiving unit 130 acquires image information of the target 10 through the camera of the terminal 20.

정보 저장부(140)는 위치정보 수신부(110)에서 수신된 단말기(20)의 실시간 위치 정보, 자세 정보 수신부(120)에서 수신된 단말기(20)의 자세 정보 및 방향 정보, 영상 정보 수신부(130)에서 수신된 목표물(10)의 영상 정보를 기반으로 하여, 목표물(10)의 일측인 제1 취득점(30) 및 타측인 제2 취득점(40) 각각에서 취득된 목표물(10)의 좌표 정보 및 단말기(20)의 자세 정보를 저장한다.The information storage unit 140 stores real-time position information of the terminal 20 received from the position information receiving unit 110, attitude information and direction information of the terminal 20 received from the attitude information receiving unit 120, The coordinates of the target 10 acquired from each of the first acquisition point 30 as one side of the target 10 and the second acquisition point 40 as the other side based on the image information of the target 10 received by the target 10 Information and the attitude information of the terminal 20 are stored.

이때, 정보 저장부(140)는 제1 취득점(30)에서 목표물(10)과 단말기(20)의 카메라를 통해 획득한 목표물 영상의 중심점이 대응됐을 때 취득된 제1 취득점(30) 에서의 목표물(10)의 좌표 정보와 이때 단말기의 자세 정보를 저장한다. 또한, 제2 취득점(40)에서 목표물(10)과 단말기(20)의 카메라를 통해 획득한 목표물 영상의 중심점이 대응됐을 때 취득된 제2 취득점(40)에서의 목표물(10)의 좌표 정보와 이때 단말기의 자세 정보를 저장한다.At this time, the information storage unit 140 stores the information acquired from the first acquisition point 30 acquired when the center 10 of the target image acquired through the camera of the terminal 20 corresponds to the target 10 at the first acquisition point 30 Coordinate information of the target 10 and attitude information of the terminal. The coordinates of the target 10 at the second acquisition point 40 acquired when the center 10 of the target image acquired through the camera of the terminal 20 correspond to the target 10 at the second acquisition point 40 Information and the attitude information of the terminal at this time.

좌표 산출부(150)는 정보 저장부(140)에 저장된 정보를 기반으로, 삼각함수 및 삼각측량법을 이용해 원거리에 위치한 목표물(10)의 좌표를 산출한다.The coordinate calculation unit 150 calculates the coordinates of the target 10 located at a remote location based on the information stored in the information storage unit 140 using the trigonometric function and the triangulation method.

설명에 앞서, 편의상 제1 취득점(30)의 위치는 A, 제2 취득점(40)의 위치는 B, 목표물(10)의 위치는 C라고 한다. 또한, 목표물 C(10)의 좌표는 (x', y', z')이고, 제1 취득점 A(30)에서의 목표물 C(10)의 좌표는 (xA, yA, zA), 이때 단말기(20)의 자세 정보는 (

Figure pat00001
A,
Figure pat00002
A,
Figure pat00003
A)라고 한다. 또한, 제2 취득점 B(40)에서의 목표물 C(10)의 좌표는 (xB, yB, zB), 이때 단말기(20)의 자세 정보는 (
Figure pat00004
B,
Figure pat00005
B,
Figure pat00006
B)라고 한다.The position of the first acquisition point 30 is A, the position of the second acquisition point 40 is B, and the position of the target 10 is C for the sake of convenience. The coordinates of the target C 10 are (x ', y', z ') and the coordinates of the target C 10 at the first acquisition point A 30 are (x A , y A , z A ) At this time, the attitude information of the terminal 20 is (
Figure pat00001
A,
Figure pat00002
A,
Figure pat00003
A ). The coordinates of the target C 10 in the second acquisition point B 40 are (x B , y B , z B ), and the attitude information of the terminal 20 is
Figure pat00004
B,
Figure pat00005
B,
Figure pat00006
B ).

이하에서는 원거리에 위치한 목표물(10)의 좌표를 산출하기 위한 과정을 도 3 내지 도 4를 참조하여 설명한다.Hereinafter, a process for calculating the coordinates of the target 10 located at a long distance will be described with reference to FIGS. 3 to 4. FIG.

도 3은 본 발명의 일 실시예에 따른 좌표 산출 방법의 예를 나타낸 도면이다.3 is a diagram illustrating an example of a coordinate calculation method according to an embodiment of the present invention.

도 3을 참조하면, 좌표 산출부(150)는 삼각함수와 삼각측량법을 이용하여 미지점 C의 x', y'의 좌표를 산출한다.Referring to FIG. 3, the coordinate calculation unit 150 calculates the coordinates of x 'and y' of the unknown point C using the trigonometric function and the triangulation method.

미지점 C의 x', y' 좌표는, 기지점 A의 좌표 xA, yA와 미지점 C로의 방향

Figure pat00007
A로 벡터 AC를 결정하고, 기지점 B의 좌표 xB, yB와 미지점 C로의 방향
Figure pat00008
B로 벡터 BC를 결정했을 때, 벡터 AC와 벡터 BC의 교차점으로 산출할 수 있다.The x ', y' coordinates of the point C are the coordinates x A , y A of the known point A and the direction
Figure pat00007
The vector AC is determined as A , and the coordinates x B , y B of the known point B and the direction
Figure pat00008
When the vector BC is determined as B , it can be calculated as the intersection of the vector AC and the vector BC.

즉, 미지점 x'는 식 1과 같이 표현할 수 있으며, 미지점 y'는 식 2와 같이 표현할 수 있다.That is, the unknown point x 'can be expressed as in Equation 1 and the unknown point y' can be expressed as in Equation 2.

[식 1][Formula 1]

Figure pat00009
Figure pat00009

[식 2][Formula 2]

Figure pat00010
Figure pat00010

이때,

Figure pat00011
이고,
Figure pat00012
이고,
Figure pat00013
이다.At this time,
Figure pat00011
ego,
Figure pat00012
ego,
Figure pat00013
to be.

한편, 미지점 C의 z'의 좌표는 도 4를 참조하여 설명할 수 있으며, 좌표 산출부(150)는 삼각함수와 삼각측량법을 이용하여 미지점 C의 z'의 좌표를 산출한다.On the other hand, the coordinates of z 'of the unsprung portion C can be described with reference to FIG. 4, and the coordinate calculation portion 150 calculates the coordinates of z' of the unsprung portion C using the trigonometric function and the triangulation method.

도 4는 본 발명의 일 실시예에 따른 좌표 산출 방법에 대한 다른 예를 나타낸 도면이다.4 is a view showing another example of a coordinate calculation method according to an embodiment of the present invention.

미지점 C의 z' 좌표는, 기지점 A의 좌표 zA와 미지점 C로의 방향

Figure pat00014
A로 벡터 AC를 결정하고, 기지점 B의 좌표 zB와 미지점 C로의 방향
Figure pat00015
B로 벡터 BC를 결정했을 때, 벡터 AC와 벡터 BC의 교차점으로 산출할 수 있다.The z 'coordinate of the point C is the coordinate z A of the known point A and the direction z'
Figure pat00014
The vector AC is determined as A , and the coordinate z B of the known point B and the direction z
Figure pat00015
When the vector BC is determined as B , it can be calculated as the intersection of the vector AC and the vector BC.

즉, 미지점 z'는 식 3과 같이 표현할 수 있다.In other words, the point z 'can be expressed as Equation 3.

[식 3][Formula 3]

Figure pat00016
Figure pat00016

따라서, 원거리 목표물의 좌표 산출 시스템(100)은 상기에 기술된 식 1 내지 식 3을 통해, 목표물 C(10)의 좌표 (x', y', z')를 산출할 수 있으며, 이를 통하여 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 보다 정확하게 산출하는 것이 가능하다.Therefore, the coordinate calculation system 100 of the long distance target can calculate the coordinates (x ', y', z ') of the target C 10 through the above-described Equations 1 to 3, It is possible to calculate the coordinates of the target more accurately without directly accessing the target located in the vicinity of the target.

이하 설명은 상기에 기술한 내용을 바탕으로, 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 방법을 간단히 설명한다.The following description briefly describes a method for calculating coordinates of a long distance target according to an embodiment of the present invention, based on the above description.

도 5는 본 발명의 일 실시예에 따른 원거리 목표물의 좌표 산출 방법에 대한 흐름도이다.5 is a flowchart illustrating a method of calculating coordinates of a long distance target according to an embodiment of the present invention.

도 5를 참조하면, 본 발명은 원거리에 위치한 목표물의 좌표를 산출하기 위하여, 위치정보 수신부(110)에서는 단말기(20)의 위치 정보를 실시간으로 수신(S510)하고, 자세 정보 수신부(120)에서는 자이로센서 및 지자기센서를 통해 단말기(20)의 자세 정보 및 방향 정보를 수신(S520)하며, 영상 정보 수신부(130)에서는 단말기(20)의 카메라를 통해 목표물(10)의 영상 정보를 획득(S530)한다.5, in order to calculate coordinates of a target located at a remote location, the position information receiving unit 110 receives position information of the terminal 20 in real time (S510), and the attitude information receiving unit 120 The image information receiving unit 130 receives the image information of the target 10 through the camera of the terminal 20 in step S530 )do.

이때, 위치정보 수신부(110)는 GPS 안테나 및 GPS 수신기를 통해 위치 정보를 수신하는 것이 가능하며, 자세 정보 수신부(120)는 자이로센서 및 지자기센서를 통해 단말기(20)의 자세 정보 및 방향 정보를 수신함으로써, 원거리에 위치한 목표물(10)의 영상을 어떠한 위치, 어떠한 방향, 어떠한 각도에서 획득하든지 간에, 목표물(10)의 좌표를 보다 정확하게 산출하는 것이 가능하다.At this time, the position information receiving unit 110 can receive the position information through the GPS antenna and the GPS receiver, and the attitude information receiving unit 120 can receive the attitude information and the direction information of the terminal 20 through the gyro sensor and the geomagnetic sensor It is possible to calculate the coordinates of the target 10 more accurately regardless of the position, the direction, and the angle of the image of the target 10 located at a remote location.

다음으로, 정보 저장부(140)는 위치정보 수신부(110)에서 수신된 단말기(20)의 실시간 위치 정보, 자세 정보 수신부(120)에서 수신된 단말기(20)의 자세 정보 및 방향 정보, 영상 정보 수신부(130)에서 수신된 목표물(10)의 영상 정보를 기반으로 하여, 목표물(10)의 일측인 제1 취득점(30) 및 타측인 제2 취득점(40) 각각에서 취득된 목표물(10)의 좌표 정보 및 단말기(20)의 자세 정보를 저장(S540)한다.Next, the information storage unit 140 stores real-time position information of the terminal 20 received from the position information receiving unit 110, attitude information and direction information of the terminal 20 received from the attitude information receiving unit 120, (10) acquired from each of the first acquisition point (30) as one side of the target (10) and the second acquisition point (40) as the other side based on the image information of the target (10) And the posture information of the terminal 20 (S540).

이때, 정보 저장부(140)는 제1 취득점(30)에서 목표물(10)과 단말기(20)의 카메라를 통해 획득한 목표물 영상의 중심점이 대응됐을 때 취득된 제1 취득점(30) 에서의 목표물(10)의 좌표 정보와 이때 단말기의 자세 정보를 저장한다. 또한, 제2 취득점(40)에서 목표물(10)과 단말기(20)의 카메라를 통해 획득한 목표물 영상의 중심점이 대응됐을 때 취득된 제2 취득점(40)에서의 목표물(10)의 좌표 정보와 이때 단말기의 자세 정보를 저장한다.At this time, the information storage unit 140 stores the information acquired from the first acquisition point 30 acquired when the center 10 of the target image acquired through the camera of the terminal 20 corresponds to the target 10 at the first acquisition point 30 Coordinate information of the target 10 and attitude information of the terminal. The coordinates of the target 10 at the second acquisition point 40 acquired when the center 10 of the target image acquired through the camera of the terminal 20 correspond to the target 10 at the second acquisition point 40 Information and the attitude information of the terminal at this time.

다음으로, 좌표 산출부(150)는 정보 저장부(140)에 저장된 정보를 기반으로, 삼각함수 및 삼각측량법을 이용해 원거리에 위치한 목표물(10)의 좌표를 산출(S550)한다.Next, the coordinate calculation unit 150 calculates the coordinates of the target 10 located at a remote location based on the information stored in the information storage unit 140 using the trigonometric function and the triangulation method (S550).

이때 목표물(10)의 좌표를 산출하는 과정은 상기에 도 3 내지 도 4를 통해 자세히 기술되어 있으므로, 이하 생략하기로 한다.The process of calculating the coordinates of the target 10 at this time is described in detail with reference to FIG. 3 to FIG. 4, and will not be described below.

따라서, 원거리에 위치한 목표물의 좌표 (x', y', z')는 상기 도3 내지 도 4를 통해 기술된 식 1 내지 식 3으로부터 산출할 수 있으며, 이에 본 발명은 원거리에 위치한 목표물에 직접 접근하지 않고 목표물의 좌표를 보다 정확하게 산출하는 것이 가능하다.
Therefore, the coordinates (x ', y', z ') of the target located at a long distance can be calculated from Equations 1 to 3 described above with reference to FIGS. 3 to 4, It is possible to calculate the coordinates of the target more accurately without approaching.

본 발명의 일 실시 예에 따른 원거리 목표물의 좌표 산출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The coordinate calculation method of the long distance target according to an embodiment of the present invention may be implemented in the form of a program command which can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

10: 목표물 C 20: 단말기
30: 제1 취득점 A 40: 제2 취득점 B
100: 원거리 목표물의 좌표 산출 시스템
110: 위치정보 수신부 120: 자세 정보 수신부
130: 영상 정보 수신부 140: 정보 저장부
150: 좌표 산출부
10: Target C 20: Terminal
30: first acquisition point A 40: second acquisition point B
100: Coordinate calculation system for long distance targets
110: position information reception unit 120: attitude information reception unit
130: image information receiving unit 140:
150: Coordinate calculation unit

Claims (5)

단말기의 위치 정보를 실시간으로 수신하는 위치정보 수신부;
자이로센서 및 지자기센서를 통해 상기 단말기의 자세 정보를 수신하는 자세 정보 수신부;
상기 단말기의 카메라를 통해 영상 정보를 획득하는 영상 정보 수신부;
상기 위치정보 수신부, 상기 자세 정보 수신부 및 상기 영상 정보 수신부에서 수신된 정보를 기반으로 하여, 목표물의 일측인 제1 취득점 및 타측인 제2 취득점 각각에서 취득된 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장하는 정보 저장부; 및
상기 정보 저장부에 저장된 정보를 기반으로, 삼각함수 및 삼각측량법을 이용해 원거리에 위치한 상기 목표물의 좌표를 산출하는 좌표 산출부;
를 포함하는 원거리 목표물의 좌표 산출 시스템.
A position information receiver for receiving position information of a terminal in real time;
An attitude information receiving unit for receiving attitude information of the terminal through a gyro sensor and a geomagnetic sensor;
An image information receiver for acquiring image information through a camera of the terminal;
Based on the information received from the position information receiving unit, the attitude information receiving unit, and the image information receiving unit, coordinate information of the target acquired at each of the first acquisition point as one side of the target and the second acquisition point as the other side, An information storage unit for storing attitude information of the mobile terminal; And
A coordinate calculating unit for calculating the coordinates of the target located at a remote location based on the information stored in the information storage unit using a trigonometric function and a triangulation method;
And a distance calculation unit for calculating coordinates of a target at a long distance.
제1항에 있어서,
상기 정보 저장부는
상기 제1 취득점에서 상기 목표물과 상기 단말기의 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제1 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보와
상기 제2 취득점에서 상기 목표물과 상기 단말기의 상기 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제2 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장하는 원거리 목표물의 좌표 산출 시스템.
The method according to claim 1,
The information storage unit
The coordinate information of the target at the first acquisition point acquired when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the first acquisition point,
The coordinate information of the target at the second acquisition point obtained when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the second acquisition point and the attitude information of the terminal Coordinate calculation system for long distance targets.
단말기의 위치 정보를 실시간으로 수신하는 위치정보 수신 단계;
자이로센서 및 지자기센서를 통해 상기 단말기의 자세 정보를 수신하는 자세 정보 수신 단계;
상기 단말기의 카메라를 통해 영상 정보를 획득하는 영상 정보 수신 단계;
상기 위치정보 수신 단계, 상기 자세 정보 수신 단계 및 상기 영상 정보 수신 단계에서 수신된 정보를 기반으로 하여, 목표물의 일측인 제1 취득점 및 타측인 제2 취득점 각각에서 취득된 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장하는 정보 저장 단계; 및
상기 정보 저장 단계에서 저장된 정보를 기반으로, 삼각함수 및 삼각측량법을 이용해 원거리에 위치한 상기 목표물의 좌표를 산출하는 좌표 산출 단계;
를 포함하는 원거리 목표물의 좌표 산출 방법.
A position information receiving step of receiving position information of a terminal in real time;
An attitude information receiving step of receiving attitude information of the terminal through a gyro sensor and a geomagnetic sensor;
An image information receiving step of acquiring image information through a camera of the terminal;
Based on the information received in the position information receiving step, the attitude information receiving step, and the image information receiving step, the coordinate information of the target acquired from each of the first obtaining point as one side of the target and the second obtaining point as the other side And an information storage step of storing attitude information of the terminal; And
A coordinate calculating step of calculating coordinates of the target located at a remote location based on the information stored in the information storing step using a trigonometric function and a triangulation method;
Of the target.
제3항에 있어서,
상기 정보 저장 단계는
상기 제1 취득점에서 상기 목표물과 상기 단말기의 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제1 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보와
상기 제2 취득점에서 상기 목표물과 상기 단말기의 상기 카메라를 통해 획득한 상기 목표물 영상의 중심점이 대응됐을 때 취득된 상기 제2 취득점에서의 상기 목표물의 좌표 정보 및 상기 단말기의 자세 정보를 저장하는 원거리 목표물의 좌표 산출 방법.
The method of claim 3,
The information storage step
The coordinate information of the target at the first acquisition point acquired when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the first acquisition point,
The coordinate information of the target at the second acquisition point obtained when the target and the center point of the target image obtained through the camera of the terminal correspond to each other at the second acquisition point and the attitude information of the terminal A method for calculating coordinates of a long distance target.
제3항 내지 제4항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method according to any one of claims 3 to 4.
KR1020140057289A 2014-05-13 2014-05-13 System and method for coordinates calculating of target at a long distance Ceased KR20150130121A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140057289A KR20150130121A (en) 2014-05-13 2014-05-13 System and method for coordinates calculating of target at a long distance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057289A KR20150130121A (en) 2014-05-13 2014-05-13 System and method for coordinates calculating of target at a long distance

Publications (1)

Publication Number Publication Date
KR20150130121A true KR20150130121A (en) 2015-11-23

Family

ID=54844636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057289A Ceased KR20150130121A (en) 2014-05-13 2014-05-13 System and method for coordinates calculating of target at a long distance

Country Status (1)

Country Link
KR (1) KR20150130121A (en)

Similar Documents

Publication Publication Date Title
JP6100380B2 (en) Image processing method used for vision-based positioning, particularly for apparatus
KR20240078650A (en) Method and apparatus for generating road surface, method and apparatus for processing point cloud data, computer program and computer readable recording medium
US10636168B2 (en) Image processing apparatus, method, and program
US9400941B2 (en) Method of matching image features with reference features
JP5660648B2 (en) Online reference generation and tracking in multi-user augmented reality
US9600933B2 (en) Mobile augmented reality system
US20110261187A1 (en) Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
KR101329111B1 (en) System and method for indoor navigation
CN104428817A (en) Sensor-aided wide-area localization on mobile devices
US8723987B2 (en) Uncertainty estimation of planar features
KR20110080097A (en) Feature registration apparatus and method for image based location recognition
JP2016157197A (en) Self-position estimation apparatus, self-position estimation method and program
JP6698430B2 (en) Measuring device, measuring method and program
CN107607110A (en) A kind of localization method and system based on image and inertial navigation technique
KR101253644B1 (en) Apparatus and method for displaying augmented reality content using geographic information
US12254041B2 (en) Position recognition method and system based on visual information processing
JPWO2017199369A1 (en) Feature recognition apparatus, feature recognition method and program
JP2020035226A (en) Judgment device, control method, program, and storage medium
US12154291B2 (en) Method and apparatus for improving localization of a device
TW201621273A (en) Mobile positioning apparatus and positioning method thereof
JP6393000B2 (en) Hypothetical line mapping and validation for 3D maps
CN106705950A (en) Method for determining geographic position of target object, and electronic device
KR20150130121A (en) System and method for coordinates calculating of target at a long distance
JP2017146907A (en) Target detector, processing method, and program
US12205326B2 (en) Neural network-based method and apparatus for improving localization of a device

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140513

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150722

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160105

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150722

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I