KR101634878B1 - Apparatus and method for matching aviation image using swarm filght of unmanned vehicle - Google Patents
Apparatus and method for matching aviation image using swarm filght of unmanned vehicle Download PDFInfo
- Publication number
- KR101634878B1 KR101634878B1 KR1020140177224A KR20140177224A KR101634878B1 KR 101634878 B1 KR101634878 B1 KR 101634878B1 KR 1020140177224 A KR1020140177224 A KR 1020140177224A KR 20140177224 A KR20140177224 A KR 20140177224A KR 101634878 B1 KR101634878 B1 KR 101634878B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- aerial
- unmanned aerial
- vehicles
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법이 개시된다.
항공 영상 정합 장치는 군집 비행(Swarm Flight)하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계; 상기 무인 비행체들의 위치 정보를 식별하는 단계; 및 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 단계를 포함할 수 있다.Disclosed is an apparatus and method for matching an aviation image using a cluster flight of an unmanned aerial vehicle.
The aviation image matching apparatus includes: a step of receiving aerial images taken by a plurality of unmanned aerial vehicles swarming in a swarm flight; Identifying location information of the unmanned aerial vehicles; And generating the matching image by matching the aerial images based on the position information of the unmanned aerial vehicles.
Description
본 발명은 항공 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 복수의 무인 비행체들이 촬영한 항공 영상을 정합하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for matching an aviation image, and more particularly, to an apparatus and method for matching aerial images captured by a plurality of unmanned aerial vehicles.
최근 들어 무인 비행체를 이용하여 지상을 촬영한 항공 영상을 제공하는 기술이 개발되고 있다.In recent years, technologies for providing aerial images of the ground using an unmanned aerial vehicle have been developed.
무인 비행체를 이용한 항공 영상은 종래의 비행기 또는 헬기를 이용한 항공 영상보다 비용이 저렴하므로, 방송이나 지도 제작, 또는 특정 객체 추적에 사용되고 있다. 이때, 무인 비행체가 촬영할 수 있는 범위에는 한계가 있다. 따라서, 마라톤 대회와 같이 넓은 지역에서 수행되는 행사의 경우, 복수의 무인 비행체를 이용하여 지상을 촬영한다. Aerial images using unmanned aerial vehicles are lower in cost than aerial images using conventional airplanes or helicopters, and thus are used for broadcasting, mapping, or tracking specific objects. At this time, there is a limit to the range that the unmanned aerial vehicle can shoot. Therefore, in the case of an event held in a large area such as a marathon, the ground is photographed using plural unmanned aerial vehicles.
그러나, 무인 비행체들이 각각 촬영하는 영상이 중복되는 경우, 추적하는 대상의 숫자가 위치가 혼동될 수 있다. 또한, 무인 비행체들이 일정 거리 이상 간격을 유지하며 영상을 촬영하는 경우, 촬영하는 영상들 사이에 촬영이 안 되는 영역이 존재할 수 있다. However, if images taken by unmanned aerial vehicles overlap each other, the number of tracked objects may be confused with the location. Also, when an unmanned aerial vehicle captures an image while maintaining an interval of a predetermined distance or more, there may be an area where shooting can not be performed between images.
따라서, 무인 비행체들이 촬영하는 영상을 정합하여 중복이나 촬영이 안 되는 영역 없는 영상을 생성, 및 제공하는 방법이 요청되고 있다.Accordingly, there is a demand for a method of generating and providing an image without overlapping regions or images that are not photographed by matching images captured by unmanned aerial vehicles.
본 발명은 복수의 무인 비행체들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체들이 각각 촬영할 수 있는 영역보다 넓거나 긴 영역이 포함된 영상을 생성하는 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for generating an image including a region that is wider or longer than an area that each of the unmanned aerial vehicles can photograph, by generating a matching image by matching the aerial images photographed by the plurality of unmanned aerial vehicles .
또한, 본 발명은 무인 비행체들이 각각 촬영하는 영역에서 중복되는 영역을 추출하고, 추출한 영역에서 중복에 의한 이상점을 검색함으로써, 이상점 검색 속도를 향상시키는 장치 및 방법을 제공할 수 있다.In addition, the present invention can provide an apparatus and method for improving an abnormal point retrieval speed by extracting overlapping regions in an area taken by each of the unmanned aerial vehicles and searching for an abnormal point due to redundancy in the extracted region.
본 발명의 일실시예에 따른 항공 영상 정합 방법은 군집 비행(Swarm Flight)하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계; 상기 무인 비행체들의 위치 정보를 식별하는 단계; 및 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an aviation image matching method comprising: receiving aviation images taken by a plurality of swarm-flying unmanned aerial vehicles; Identifying location information of the unmanned aerial vehicles; And generating the matching image by matching the aerial images based on the position information of the unmanned aerial vehicles.
본 발명의 일실시예에 따른 항공 영상 정합 방법의 정합 영상을 생성하는 단계는, 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 상기 항공 영상들에서 중복되는 중복 영역을 추출하는 단계; 및 상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 단계를 포함할 수 있다.The step of generating the matching image of the aviation image matching method according to an embodiment of the present invention may include a step of generating a matching image by using the position information of the aviation images received from the different unmanned aerial vehicles and the different unmanned aerial vehicles Extracting redundant regions; And matching the aerial images by processing the overlapping area.
본 발명의 일실시예에 따른 항공 영상 정합 방법의 중복 영역을 추출하는 단계는, 상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별하는 단계; 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하는 단계; 및 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하는 단계를 포함할 수 있다.The step of extracting the overlapping area of the aviation image matching method according to an embodiment of the present invention may include extracting an overlap area of the aviation image based on the altitude of the unmanned air vehicles and the angle of view of the camera Identifying an area of the included area; Identifying a location of an area included in the aerial image by applying an area of the identified area to the location information of the unmanned aerial vehicles; And comparing the positions of the regions included in the aerial images received from the different unmanned aerial vehicles to extract the overlapped region from the plurality of aerial images.
본 발명의 일실시예에 따른 항공 영상 정합 방법의 위치 정보를 식별하는 단계는, RTK(Real-Time Kinematic) GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하는 단계; 및 상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별하는 단계를 포함할 수 있다.The step of identifying the location information of the aviation image matching method according to an embodiment of the present invention includes: identifying a horizontal position of the unmanned air vehicles using RTK (Real-Time Kinematic) GPS; And identifying altitudes of the unmanned aerial vehicles using altimeters or RTKs of the unmanned aerial vehicles.
본 발명의 일실시예에 따른 항공 영상 정합 방법의 무인 비행체들은 카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicle of the present invention extracts feature points from an image captured by a camera, generates an aerial image by minimizing the size of the captured image using the camera, Feature points can be transmitted.
본 발명의 일실시예에 따른 항공 영상 정합 방법의 무인 비행체들은 기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicles of the airborne image matching method can fly at predetermined altitudes, and can photograph aerial images by photographing the ground with a camera.
본 발명의 일실시예에 따른 항공 영상 정합 방법은 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 단계를 더 포함할 수 있다.The aerial image matching method according to an embodiment of the present invention may further include changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.
본 발명의 일실시예에 따른 항공 영상 정합 방법은 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계; 상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계; 상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및 상기 확대 영상을 사용자 단말기에게 전송하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided an aviation image matching method including the steps of: identifying an unmanned aerial vehicle corresponding to a specific area when receiving an enlargement request of a specific area of the matching image from the user terminal; Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area; Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And transmitting the enlarged image to the user terminal.
본 발명의 일실시예에 따른 정합 영상 전송 방법은 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계; 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 단계; 및 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of transmitting a registered image, the method comprising: receiving aerial images taken by a plurality of unmanned aerial vehicles; Generating a matching image by matching the aerial images based on the position information of the unmanned aerial vehicles; And changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.
본 발명의 일실시예에 따른 정합 영상 전송 방법의 정합 영상을 생성하는 단계는, 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 상기 항공 영상들에서 중복되는 중복 영역을 추출하는 단계; 및 상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 단계를 포함할 수 있다.The step of generating the matching image of the matching image transmission method according to an embodiment of the present invention may include a step of generating a matching image by using the position information of the unmanned aerial vehicles and the aerial images received from the different unmanned aerial vehicles, Extracting redundant regions; And matching the aerial images by processing the overlapping area.
본 발명의 일실시예에 따른 정합 영상 전송 방법의 무인 비행체들은, 카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicles of the matching image transmission method extract feature points from an image captured by a camera, generate an aerial image by minimizing the size of the captured image using the camera, And feature points can be transmitted.
본 발명의 일실시예에 따른 정합 영상 전송 방법의 무인 비행체들은 기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicles of the matching image transmission method can fly at predetermined altitudes, and can photograph aerial images by photographing the ground with a camera.
본 발명의 일실시예에 따른 정합 영상 전송 방법은 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계; 상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계; 상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및 상기 확대 영상을 사용자 단말기에게 전송하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of transmitting a registered image, the method comprising: identifying an unmanned aerial vehicle corresponding to a specific area when receiving a request for enlarging a specific area of the matching image from the user terminal; Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area; Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And transmitting the enlarged image to the user terminal.
본 발명의 일실시예에 따른 항공 영상 정합 장치는 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 수신기; 및 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 프로세서를 포함할 수 있다.According to another aspect of the present invention, there is provided an aircraft image matching apparatus including: a receiver for receiving aerial images taken by a plurality of unmanned aerial vehicles; And a processor for matching the aerial images based on the position information of the unmanned aerial vehicles to generate a matching image.
본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는, 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 상기 항공 영상들에서 중복되는 중복 영역을 추출하고, 상기 중복 영역을 처리하여 상기 항공 영상들을 정합할 수 있다.The processor of the aviation image matching apparatus according to an embodiment of the present invention extracts overlapping overlapping regions in the aerial images using the aerial images received from different unmanned aerial vehicles and the location information of different unmanned aerial vehicles , And the overlapping region may be processed to match the aerial images.
본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는, 상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각을 기초로 항공 영상에 포함된 영역의 넓이를 식별하고, 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하며, 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출할 수 있다.The processor of the aviation image matching apparatus according to an embodiment of the present invention identifies the area of the area included in the aerial image on the basis of the altitude of the unmanned aerial vehicles and the angle of view of the camera, The position of the area included in the aerial image is identified by applying the width of the identified area to the position information of the unmanned aerial vehicle, the positions of the areas included in the aerial images received from the different unmanned aerial vehicles are compared, It is possible to extract redundant regions from the aerial image.
본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는, RTK GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하고, 상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별할 수 있다.The processor of the aviation image matching apparatus according to an embodiment of the present invention identifies the horizontal position of the unmanned aerial vehicles using the RTK GPS and identifies the altitude of the unmanned aerial vehicles using the altimeter or the RTK of the unmanned aerial vehicles .
본 발명의 일실시예에 따른 항공 영상 정합 장치의 무인 비행체들은 카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송할 수 있다.The unmanned aerial vehicles of the aviation image matching device according to the embodiment of the present invention extracts feature points from the images taken using the cameras, generates the aerial images by minimizing the sizes of the images taken using the cameras, Feature points can be transmitted.
본 발명의 일실시예에 따른 항공 영상 정합 장치의 무인 비행체들은, 기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성할 수 있다.The unmanned aerial vehicles of the aviation image matching apparatus according to the embodiment of the present invention can fly the predetermined altitude and shoot the ground with the camera to generate the aerial image.
본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는,The processor of the aviation image matching apparatus according to an embodiment of the present invention includes:
본 발명의 일실시예에 따른 항공 영상 정합 장치는, 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 전송기를 더 포함할 수 있다.The aviation image matching apparatus according to an embodiment of the present invention may further include a transmitter for changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.
본 발명의 일실시예에 따른 항공 영상 정합 장치의 전송기는 상기 수신기가 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하고, 상기 특정 영역에 대응하는 무인 비행체로부터 수신한 확대 영상을 사용자 단말기에게 전송할 수 있다.The transmitter of the aviation image matching apparatus according to an exemplary embodiment of the present invention transmits an enlarged image having an increased size to an unmanned aerial vehicle corresponding to a specific area when the receiver receives a request for enlarging a specific area of the matching image from the user terminal And may transmit an enlarged image received from the unmanned aerial vehicle corresponding to the specific area to the user terminal.
본 발명의 일실시예에 따른 항공 영상 정합 장치는 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 수신기; 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 프로세서; 및 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 전송기를 포함할 수 있다.According to another aspect of the present invention, there is provided an aircraft image matching apparatus including: a receiver for receiving aerial images taken by a plurality of unmanned aerial vehicles; A processor for matching the aerial images based on position information of the unmanned aerial vehicles to generate a matching image; And a transmitter for changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.
본 발명의 일실시예에 의하면, 복수의 무인 비행체들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체들이 각각 촬영할 수 있는 영역보다 넓거나 긴 영역이 포함된 영상을 생성할 수 있다.According to an embodiment of the present invention, the plurality of unmanned aerial vehicles can generate an image including a region that is wider or longer than an area that each of the unmanned aerial vehicles can shoot by matching the aerial images respectively captured by the plurality of unmanned aerial vehicles .
또한, 본 발명의 일실시예에 의하면, 무인 비행체들이 각각 촬영하는 영역에서 중복되는 영역을 추출하고, 추출한 영역에서 중복에 의한 이상점을 검색함으로써, 이상점 검색 속도를 향상시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve an abnormal point searching speed by extracting overlapping regions in an area to be photographed by the unmanned aerial vehicles and searching for abnormal points due to overlapping in the extracted area.
도 1은 본 발명의 일실시예에 따른 항공 영상 정합 장치와 무인 비행체 간의 관계를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 항공 영상 정합 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 추출하는 과정의 일례이다.
도 4는 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 처리하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따른 정합 영상 전송 방법을 도시한 플로우차트이다.
도 6은 본 발명의 일실시예에 따른 항공 영상 정합 방법을 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 위치 정보 식별 과정을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 정합 영상 생성 과정을 도시한 플로우차트이다.1 is a view showing a relationship between an aviation image matching device and an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a view showing an aerial image matching apparatus according to an embodiment of the present invention.
FIG. 3 is an example of a process of extracting overlapping regions by the aviation image matching apparatus according to an embodiment of the present invention.
FIG. 4 is an example of a process of processing an overlapping area by the aviation image matching apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a method of transmitting a registered image according to an exemplary embodiment of the present invention.
6 is a flowchart showing an aerial image matching method according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating a process of identifying a location information of an aerial image matching method according to an exemplary embodiment of the present invention.
FIG. 8 is a flowchart illustrating a matching image generation process of the aerial image matching method according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 항공 영상 정합 방법은 항공 영상 정합 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. An aerial image matching method according to an embodiment of the present invention may be performed by an aerial image matching apparatus.
도 1은 본 발명의 일실시예에 따른 항공 영상 정합 장치와 무인 비행체 간의 관계를 나타내는 도면이다. 1 is a view showing a relationship between an aviation image matching device and an unmanned aerial vehicle according to an embodiment of the present invention.
본 발명의 일실시예에 따른 복수의 무인 비행체(unmanned vehicle)(110)들은 도 1에 도시된 바와 같이 군집 비행(Swarm Flight)하며 지상(100)을 촬영할 수 있다. 그리고, 무인 비행체(110)들은 각각 지상(100)을 촬영한 영상을 기초로 항공 영상을 생성하여 지상국(121)로 전송할 수 있다. 예를 들어, 무인 비행체(110)들은 무인비행체(UAV: Unmanned Aerial Vehicle), 또는 드론(drone)일 수 있다.A plurality of
이때, 무인 비행체(110)들은 하부에 지상(100)을 촬영하기 위한 카메라와, 항공 영상을 지상국(121)로 전송하기 위한 송신기 및 무인 비행체(110)의 위치를 식별하기 위한 GPS를 포함할 수 있다. 그리고, 무인 비행체(110)들은 관성 측정 장치(IMU: inertial measurement unit)의 정보를 이용하여 수평 상태를 유지하며, 카메라로 지상(100)을 촬영하여 항공 영상을 생성할 수 있다. 이때, 무인 비행체(110)들은, 기 설정된 고도를 비행할 수 있다. 구체적으로, 무인 비행체(110)들은 각각 고도계를 이용하여 자신들의 고도를 측정할 수 있다. 그리고, 무인 비행체(110)들은 각각 측정한 고도에 따라 비행 고도를 변경함으로써, 무인 비행체(110)들이 비행하는 고도를 일정하게 유지할 수 있다. 그리고, 기 설정된 고도는 모든 무인 비행체(110)들에 동일하게 적용함으로써, 무인 비행체(110)들이 동일한 고도에서 지면(100)을 촬영하도록 할 수 있다.At this time, the
또한, 무인 비행체(110)들은 카메라를 이용하여 지상(110)을 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 지상국(121)의 항공 영상 정합 장치(120)에 항공 영상과 특징점을 전송할 수 있다.In addition, the
지상국(121)에 포함된 항공 영상 정합 장치(120)는 무인 비행체(110)들로부터 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다. The aerial
예를 들어, 제1 무인 비행체(111)는 지상(100)의 영역(112)를 촬영하여 제1 항공 영상을 생성할 수 있다. 또한, 제2 무인 비행체(113)는 지상(100)의 영역(114)를 촬영하여 제2 항공 영상을 생성할 수 있다. 이때, 제1 항공 영상과 제2 항공 영상은 영역(115)가 중복될 수 있다. 따라서, 항공 영상 정합 장치(120)는 제1 항공 영상과 제2 항공 영상을 정합하여 영역(115)를 처리함으로써, 영역(112)와 영역(114)를 포함하는 정합 영상을 생성할 수 있다.For example, the first unmanned
이때, 정합 영상은 항공 영상보다 넓은 영역을 포함하고 있으므로, 정합 영상에서 각각의 영역이 표시되는 크기는 작을 수 있다. 즉, 항공 영상의 사이즈가 작아도 항공 영상을 정합하여 생성한 정합 영상의 크기는 작지 않을 수 있다. 그리고, 무인 비행체(110)들이 동시에 항공 영상을 항공 영상 정합 장치(120)로 전송하는 경우, 높은 대역폭이 필요할 수 있다. 따라서, 무인 비행체(110)들은 지상을 촬영한 영상의 사이즈를 최소화한 항공 영상을 항공 영상 정합 장치(120)로 전송함으로써, 항공 영상 전송에 필요한 대역폭을 최소화할 수 있다. At this time, since the matching image includes a larger area than the aerial image, the size of each area displayed in the matching image may be small. That is, although the size of the aerial image is small, the size of the matched image generated by matching the aerial image may not be small. When the
또한, 정합 영상을 제공받은 사용자가 사용자 단말기를 통하여 정합 영상에서 특정 영역의 확대를 요청할 수 있다. 이때, 항공 영상 정합 장치(120)는 특정 영역에 대응하는 적어도 하나의 무인 비행체(110)에게 사이즈가 증가된 확대 영상을 요청할 수 있다. 그리고, 항공 영상 정합 장치(120)의 요청을 수신한 무인 비행체(110)는 지상을 촬영한 영상을 사이즈 최소화하지 않고, 확대 영상으로 항공 영상 정합 장치(120)에 전송할 수 있다. 또한, 항공 영상 정합 장치(120)가 요청하는 확대 영상의 사이즈가 지상을 촬영한 영상보다 큰 경우, 무인 비행체(110)는 지상을 촬영한 영상을 확대하거나, 카메라의 줌 기능을 이용하여 지상을 촬영한 영상을 확대 영상으로 항공 영상 정합 장치(120)에 전송할 수 있다.In addition, a user who is provided with the matching image can request enlargement of a specific region in the matching image through the user terminal. At this time, the aviation
다음으로, 항공 영상 정합 장치(120)는 무인 비행체(110)로부터 수신한 영상을 사용자 단말기에게 제공함으로써, 정합 영상에서 특정 영역이 확대된 영상을 사용자에게 제공할 수 있다.Next, the aviation
그리고, 항공 영상 정합 장치(120)는 지상국(121)과 사용자 단말기 간의 네트워크의 대역 폭에 따라 정합 영상의 사이즈를 변경하여 사용자 단말기로 전송할 수 있다.The aviation
항공 영상 정합 장치(120)는 복수의 무인 비행체(110)들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체(110)들이 각각 촬영할 수 있는 영역보다 넓은 영역이 포함된 영상을 생성할 수 있다.The aviation
도 2는 본 발명의 일실시예에 따른 항공 영상 정합 장치를 나타내는 도면이다. 2 is a view showing an aerial image matching apparatus according to an embodiment of the present invention.
도 2를 참고하면, 본 발명의 일실시예에 따른 항공 영상 정합 장치(100)는 수신기(210), 프로세서(220), 및 전송기(230)를 포함할 수 있다.Referring to FIG. 2, an aerial
수신기(210)는 무인 비행체(110)들이 각각 촬영한 항공 영상들을 수신할 수 있다.The
프로세서(220)는 무인 비행체(110)들의 위치 정보를 식별하고, 무인 비행체(110)들의 위치 정보를 기초로 수신기(210)가 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다.The
구체적으로, 프로세서(220)는 수신기(210)가 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 항공 영상들에서 중복되는 중복 영역을 추출할 수 있다. 그리고, 프로세서(220)는 추출한 중복 영역을 처리하여 항공 영상들을 정합할 수 있다.Specifically, the
이때, 프로세서(220)는 무인 비행체(110)들의 고도와 무인 비행체(110)들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별할 수 있다. 그리고, 프로세서(220)는 무인 비행체(110)들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 항공 영상에 포함된 영역의 위치를 식별할 수 있다. 또한, 프로세서(220)는 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출할 수 있다.At this time, the
그리고, 프로세서(220)는 RTK(Real-Time Kinematic) GPS를 이용하여 무인 비행체(110)들의 수평 위치를 식별할 수 있다. 또한, 프로세서(220)는 무인 비행체(110)들의 기압계, 무인 비행체(110)들의 고도계, 또는 RTK 중 적어도 하나를 이용하여 무인 비행체(110)들의 고도를 식별할 수 있다.Then, the
전송기(230)는 지상국(121)과 사용자 단말기 간의 네트워크의 대역 폭에 따라 프로세서(220)가 생성한 정합 영상의 사이즈를 변경하여 사용자 단말기로 전송할 수 있다. 예를 들어, 전송기(230)는 적응형 스트리밍 전송 용량 변경 기술과 같은 비디오 사이즈 변경 기술을 이용하여 프로세서(220)가 생성한 정합 영상을 사용자의 단말기에 실시간 비디오 스트리밍할 수 있다.The
전송기(230)가 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 프로세서(220)는 특정 영역에 대응하는 무인 비행체(110)를 식별할 수 있다. 그리고, 전송기(230)는 특정 영역에 대응하는 무인 비행체(110)에게 사이즈가 증가된 확대 영상을 요청하는 신호를 송신할 수 있다. 이때, 무인 비행체(110)는 요청에 따라 사이즈가 증가된 확대 영상을 전송할 수 있다. When the
그리고, 전송기(230)는 수신기(210)가 특정 영역에 대응하는 무인 비행체(110)로부터 수신한 확대 영상을 사용자 단말기로 전송할 수 있다.The
도 3은 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 추출하는 과정의 일례이다.FIG. 3 is an example of a process of extracting overlapping regions by the aviation image matching apparatus according to an embodiment of the present invention.
제1 무인 비행체(310)가 촬영할 수 있는 영역(311)은 제1 무인 비행체(310)에 설치된 카메라의 화각 θ 및 제1 무인 비행체(310)의 고도에 따라 결정될 수 있다. 예를 들어, 제1 무인 비행체(310)의 고도가 높아지는 경우, 영역(311)을 나타내는 삼각형의 높이가 높이지고, 각도는 고정되므로, 삼각형의 밑변이 길어질 수 있다. 따라서, 영역(311)이 넓어질 수 있다. 또한, 제1 무인 비행체(310)에 장착된 화각 θ가 넓어지는 경우, 카메라로 촬영할 수 있는 영역(311)이 넓어질 수 있다.The
즉, 항공 영상 정합 장치(120)는 제1 무인 비행체(310)에 설치된 카메라의 화각 θ 및 제1 무인 비행체(310)의 고도에 따라 영역(311)의 넓이를 추정할 수 있다.That is, the aviation
또한, 제2 무인 비행체(320)가 촬영할 수 있는 영역(321)도 제2 무인 비행체(320)에 설치된 카메라의 화각 θ' 및 제2 무인 비행체(320)의 고도에 따라 결정될 수 있다. 이때, 제2 무인 비행체(320)의 고도는 제1 무인 비행체(310)의 고도와 동일하거나, 기 설정된 오차 범위 이하의 차이가 있을 수 있다. 또한, 제2 무인 비행체(320)에 설치된 카메라의 화각 θ'는 제1 무인 비행체(310)에 설치된 카메라의 화각 θ과 동일할 수 있다.The
그리고, 항공 영상 정합 장치(120)는 제2 무인 비행체(320)에 설치된 카메라의 화각 θ' 및 제2 무인 비행체(320)의 고도에 따라 영역(321)의 넓이를 추정할 수 있다.The aviation
다음으로, 항공 영상 정합 장치(120)는 도 3에 도시된 바와 같이 제1 무인 비행체(310)의 수평 위치와 제2 무인 비행체(320)의 수평 위치를 기준으로 영역(311)과 영역(321)의 위치를 지상에 맵핑함으로써, 영역(311)과 영역(321)에서 중복되는 영역(330)을 추출할 수 있다.3, the aviation
도 4는 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 처리하는 과정의 일례이다.FIG. 4 is an example of a process of processing an overlapping area by the aviation image matching apparatus according to an embodiment of the present invention.
제1 무인 비행체(310)가 카메라로 영역(311)을 촬영하여 생성한 제1 항공 영상은 영역(410)을 포함할 수 있다. 또한, 제2 무인 비행체(320)가 카메라로 영역(321)을 촬영하여 생성한 제2 항공 영상은 영역(420)을 포함할 수 있다.The first aerial image generated by the
이때, 항공 영상 정합 장치(120)는 도 4에 도시된 바와 같이 제1 무인 비행체(310)의 수평 위치를 기준으로 제1 항공 영상에 포함된 영역(410)의 위치를 식별할 수 있다. 또한, 항공 영상 정합 장치(120)는 도 4에 도시된 바와 같이 제2 무인 비행체(320)의 수평 위치를 기준으로 제2 항공 영상에 포함된 영역(420)의 위치를 식별할 수 있다.At this time, the aviation
그리고, 항공 영상 정합 장치(120)는 도 3에서 추출한 중복되는 영역(330)에서 영역(410)과 영역(420)이 겹쳐진 영역(430)을 검색할 수 있다.The aviation
이때, 항공 영상 정합 장치(120)는 검색한 영역(430)을 제1 항공 영상과 제2 항공 영상 간의 중복 영역으로 추출할 수 있다. At this time, the aviation
그리고, 항공 영상 정합 장치(120)는 ICP(Iterative Closest Point) 알고리즘으로 영역(430)을 처리하여 특징점이 잘못 매칭된 이상점(outlier)을 제거함으로써, 영역(410)과 영역(420)을 포함하는 정합 영상을 생성할 수 있다.The aviation
항공 영상 정합 장치(120)는 도 3에 도시된 바와 같이 제1 무인 비행체(310)과 제2 무인 비행체(320)가 촬영하는 영역에서 중복되는 영역(330)을 먼저 추출할 수 있다. 그리고, 항공 영상 정합 장치(120)는 도 4에 도시된 바와 같이 추출한 영역(330)에서 중복에 의한 이상점이 포함된 영역(430)을 검색할 수 있다. 따라서, 항공 영상 정합 장치(120)는 제1 항공 영상에 포함된 영역(410)과 제2 항공 영상에 포함된 영역(420)에서 이상점을 검색하는 종래의 기술보다 이상점 검색 속도를 향상시킬 수 있다.As shown in FIG. 3, the aviation
도 5는 본 발명의 일실시예에 따른 정합 영상 전송 방법을 도시한 플로우차트이다.5 is a flowchart illustrating a method of transmitting a registered image according to an exemplary embodiment of the present invention.
단계(510)에서 수신기(210)는 무인 비행체(110)들이 각각 촬영한 항공 영상들을 수신할 수 있다.In
단계(520)에서 프로세서(220)는 무인 비행체(110)들의 위치 정보를 식별하고, 무인 비행체(110)들의 위치 정보를 기초로 단계(510)에서 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다.In
구체적으로, 프로세서(220)는 수신기(210)가 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 항공 영상들에서 중복되는 중복 영역을 추출할 수 있다. 그리고, 프로세서(220)는 추출한 중복 영역을 처리하여 항공 영상들을 정합할 수 있다.Specifically, the
단계(530)에서 전송기(230)는 지상국(121)과 사용자 단말기 간의 네트워크의 대역 폭에 따라 단계(520)에서 생성한 정합 영상의 사이즈를 변경하여 사용자 단말기로 전송할 수 있다.In
단계(540)에서 수신기(210)는 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하였는지 여부를 확인할 수 있다. 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하지 않는 경우, 수신기(210)는 단계(540)을 반복할 수 있다. 또한, 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 수신기(210)는 단계(550)을 수행할 수 있다.In
단계(550)에서 전송기(230)는 단계(540)에서 수신한 확대 요청에 따라 사이즈가 증가된 확대 영상을 사용자 단말기로 전송할 수 있다. 구체적으로, 프로세서(220)는 단계(540)에서 수신한 특정 영역에 대응하는 무인 비행체를 식별할 수 있다. 그리고, 프로세서(220)는 전송기(230)를 통하여 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청할 수 있다. 다음으로, 수신기(210)는 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신할 수 있다. 마지막으로, 전송기(230)는 수신기(210)가 수신한 확대 영상을 사용자 단말기에게 전송할 수 있다.In
도 6은 본 발명의 일실시예에 따른 항공 영상 정합 방법을 도시한 플로우차트이다. 이때, 도 6의 단계(620) 및 단계(630)는 도 5의 단계(520)에 포함될 수 있다.6 is a flowchart showing an aerial image matching method according to an embodiment of the present invention. At this time, steps 620 and 630 of FIG. 6 may be included in
단계(610)에서 수신기(210)는 무인 비행체(110)들이 각각 촬영한 항공 영상들을 수신할 수 있다.In
단계(620)에서 프로세서(220)는 단계(610)에서 항공 영상들을 전송한 무인 비행체(110)들의 위치 정보를 식별할 수 있다.In
단계(630)에서 프로세서(220)는 단계(620)에서 식별한 무인 비행체(110)들의 위치 정보를 기초로 단계(610)에서 가 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다. 구체적으로, 프로세서(220)는 수신기(210)가 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 항공 영상들에서 중복되는 중복 영역을 추출할 수 있다. 그리고, 프로세서(220)는 추출한 중복 영역을 처리하여 항공 영상들을 정합할 수 있다.In
도 7은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 위치 정보 식별 과정을 도시한 플로우차트이다. 이때, 도 7의 단계(710) 및 단계(720)는 도 6의 단계(620)에 포함될 수 있다.FIG. 7 is a flowchart illustrating a process of identifying a location information of an aerial image matching method according to an exemplary embodiment of the present invention. At this time, steps 710 and 720 of FIG. 7 may be included in
단계(710)에서 프로세서(220)는 RTK(Real-Time Kinematic) GPS를 이용하여 무인 비행체(110)들의 수평 위치를 식별할 수 있다. In
단계(720)에서 프로세서(220)는 무인 비행체(110)들의 기압계, 무인 비행체(110)들의 고도계, 또는 RTK 중 적어도 하나를 이용하여 무인 비행체(110)들의 고도를 식별할 수 있다.The
이때, 단계(710) 및 단계(720)는 수행 순서가 반대일 수도 있고, 병렬적으로 동시에 수행될 수도 있다.In this case, steps 710 and 720 may be performed in reverse order or simultaneously in parallel.
도 8은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 정합 영상 생성 과정을 도시한 플로우차트이다. 이때, 도 8의 단계(810) 및 단계(840)는 도 6의 단계(630)에 포함될 수 있다.FIG. 8 is a flowchart illustrating a matching image generation process of the aerial image matching method according to an embodiment of the present invention. At this time, steps 810 and 840 of FIG. 8 may be included in
단계(810)에서 프로세서(220)는 무인 비행체(110)들이 항공 영상을 촬영한 카메라의 화각 및 단계(720)에서 식별한 무인 비행체(110)들의 고도를 기초로 단계(610)에서 수신한 항공 영상에 포함된 영역의 넓이를 식별할 수 있다. In
단계(820)에서 프로세서(220)는 단계(710)에서 식별한 무인 비행체(110)들의 수평 위치 정보에 단계(810)에서 식별한 영역의 넓이를 적용하여 항공 영상에 포함된 영역의 위치를 식별할 수 있다.The
단계(830)에서 프로세서(220)는 단계(610)에서 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출할 수 있다.In
단계(840)에서 프로세서(220)는 단계(830)에서 추출한 영역에서 중복에 의한 이상점을 검색할 수 있다. 그리고, 프로세서(220)는 ICP 알고리즘으로 특징점이 잘못 매칭된 이상점(outlier)을 제거함으로써, 항공 영상들을 정합한 정합 영상을 생성할 수 있다.In
본 발명은 복수의 무인 비행체들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체들이 각각 촬영할 수 있는 영역보다 넓거나 긴 영역이 포함된 영상을 생성할 수 있다.According to the present invention, the plurality of unmanned aerial vehicles are respectively matched with the aerial images photographed to generate the matched images, so that the images including the areas wider or longer than the areas that the unmanned aerial vehicles can photograph can be generated.
또한, 본 발명은 무인 비행체들이 각각 촬영하는 영역에서 중복되는 영역을 추출하고, 추출한 영역에서 중복에 의한 이상점을 검색함으로써, 이상점 검색 속도를 향상시킬 수 있다.Also, according to the present invention, it is possible to improve an abnormal point retrieval speed by extracting overlapping regions in an area to be photographed by the unmanned aerial vehicles and searching for abnormal points due to overlapping in the extracted region.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
110: 무인 비행체
120: 항공 영상 정합 장치110: unmanned aerial vehicle
120: Aerial image matching device
Claims (22)
상기 무인 비행체들의 위치 정보를 식별하는 단계;
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별하는 단계;
상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하는 단계;
서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하는 단계; 및
상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 단계
를 포함하는 항공 영상 정합 방법.Receiving aerial images taken by a plurality of unmanned aerial vehicles swarming each other;
Identifying location information of the unmanned aerial vehicles;
Identifying the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial images of the unmanned aerial vehicles;
Identifying a location of an area included in the aerial image by applying an area of the identified area to the location information of the unmanned aerial vehicles;
Extracting redundant regions from a plurality of aerial images by comparing positions of the regions included in aerial images received from different unmanned aerial vehicles; And
Processing the overlapping region to match the aerial images
And an aerial image matching method.
상기 위치 정보를 식별하는 단계는,
RTK(Real-Time Kinematic) GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하는 단계; 및
상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별하는 단계
를 포함하는 항공 영상 정합 방법.The method according to claim 1,
Wherein identifying the location information comprises:
Identifying a horizontal position of the unmanned aerial vehicle using RTK (Real-Time Kinematic) GPS; And
Identifying altitudes of the unmanned aerial vehicles using altimeters or RTKs of the unmanned aerial vehicles
And an aerial image matching method.
상기 무인 비행체들은,
카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송하는 항공 영상 정합 방법.The method according to claim 1,
The unmanned air vehicles,
An aerial image matching method for extracting feature points from a video image captured by a camera, generating an aerial image by minimizing the size of the captured image using the camera, and transmitting the aerial image and the feature point.
상기 무인 비행체들은,
기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성하는 항공 영상 정합 방법.The method according to claim 1,
The unmanned air vehicles,
A method of aerial image matching that creates an aerial image by photographing the ground with a camera by flying a predetermined altitude.
상기 항공 영상들을 정합하여 생성된 정합 영상의 사이즈를 네트워크의 대역 폭에 따라 변경하여 사용자 단말기에게 전송하는 단계
를 더 포함하는 항공 영상 정합 방법.The method according to claim 1,
Changing the size of the registered image generated by matching the aerial images according to the bandwidth of the network and transmitting the changed size to the user terminal
Further comprising the steps of:
상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계;
상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계;
상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및
상기 확대 영상을 사용자 단말기에게 전송하는 단계
를 더 포함하는 항공 영상 정합 방법.8. The method of claim 7,
Identifying an unmanned aerial vehicle corresponding to a specific area when receiving an enlargement request of a specific area of the matching image from the user terminal;
Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area;
Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And
Transmitting the enlarged image to the user terminal
Further comprising the steps of:
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별하는 단계;
상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하는 단계;
서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하는 단계; 및
상기 중복 영역을 처리하여 상기 항공 영상들이 정합된 정합 영상을 생성하는 단계; 및
네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 단계
를 포함하는 항공 영상 정합 방법.Receiving aerial images captured by a plurality of unmanned aerial vehicles in a cluster;
Identifying the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial images of the unmanned aerial vehicles;
Identifying a location of an area included in the aerial image by applying an area of the identified area to the location information of the unmanned aerial vehicles;
Extracting redundant regions from a plurality of aerial images by comparing positions of the regions included in aerial images received from different unmanned aerial vehicles; And
Processing the overlapping region to generate a matched matching image of the aerial images; And
Changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal
And an aerial image matching method.
상기 무인 비행체들은,
카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송하는 항공 영상 정합 방법.10. The method of claim 9,
The unmanned air vehicles,
An aerial image matching method for extracting feature points from a video image captured by a camera, generating an aerial image by minimizing the size of the captured image using the camera, and transmitting the aerial image and the feature point.
상기 무인 비행체들은,
기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성하는 항공 영상 정합 방법.10. The method of claim 9,
The unmanned air vehicles,
A method of aerial image matching that creates an aerial image by photographing the ground with a camera by flying a predetermined altitude.
상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계;
상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계;
상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및
상기 확대 영상을 사용자 단말기에게 전송하는 단계
를 더 포함하는 항공 영상 정합 방법.10. The method of claim 9,
Identifying an unmanned aerial vehicle corresponding to a specific area when receiving an enlargement request of a specific area of the matching image from the user terminal;
Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area;
Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And
Transmitting the enlarged image to the user terminal
Further comprising the steps of:
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각을 기초로 항공 영상에 포함된 영역의 넓이를 식별하고, 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하며, 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하고, 상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 프로세서
를 포함하는 항공 영상 정합 장치.A receiver for receiving aerial images captured by a plurality of unmanned aerial vehicles in a cluster; And
Wherein the controller identifies the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial image taken by the unmanned aerial vehicles, A method for identifying a location of an area included in an aerial image, extracting overlapping areas from a plurality of aerial images by comparing positions of the areas included in the aerial images received from different unmanned aerial vehicles, A processor that matches aerial images
And an aerial image registration device.
상기 프로세서는,
RTK GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하고, 상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별하는 항공 영상 정합 장치.15. The method of claim 14,
The processor comprising:
The aerial image registration device identifies the horizontal position of the unmanned aerial vehicles using the RTK GPS and identifies the altitude of the unmanned aerial vehicles using the altimeter of the unmanned aerial vehicles or the RTK.
상기 무인 비행체들은,
카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송하는 항공 영상 정합 장치.15. The method of claim 14,
The unmanned air vehicles,
An airborne image registration device for extracting feature points from a video image captured by a camera, generating an aerial image by minimizing the size of the captured image using the camera, and transmitting the aerial image and the feature point.
상기 무인 비행체들은,
기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성하는 항공 영상 정합 장치.15. The method of claim 14,
The unmanned air vehicles,
An aerial image registration device that creates an aerial image by photographing the ground with a camera by flying a predetermined altitude.
상기 항공 영상들을 정합하여 생성된 정합 영상의 사이즈를 네트워크의 대역 폭에 따라 변경하여 사용자 단말기에게 전송하는 전송기
를 더 포함하는 항공 영상 정합 장치.15. The method of claim 14,
A transmitter for changing the size of the registered image generated by matching the aerial images according to the bandwidth of the network,
Further comprising:
상기 전송기는,
상기 수신기가 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하고, 상기 특정 영역에 대응하는 무인 비행체로부터 수신한 확대 영상을 사용자 단말기에게 전송하는 항공 영상 정합 장치.21. The method of claim 20,
The transmitter comprises:
Wherein when the receiver receives an enlargement request of a specific region of the matching image from the user terminal, the receiver requests an enlarged image of an increased size to the unmanned aerial vehicle corresponding to the specific region, And transmits the image to the user terminal.
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각을 기초로 항공 영상에 포함된 영역의 넓이를 식별하고, 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하며, 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하고, 상기 중복 영역을 처리하여 상기 항공 영상들이 정합된 정합 영상을 생성하는 프로세서; 및
네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 전송기
를 포함하는 항공 영상 정합 장치.A receiver for receiving aerial images captured by a plurality of unmanned aerial vehicles in a cluster;
Wherein the controller identifies the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial image taken by the unmanned aerial vehicles, A method for identifying a location of an area included in an aerial image, extracting overlapping areas from a plurality of aerial images by comparing positions of the areas included in the aerial images received from different unmanned aerial vehicles, A processor for generating aerial images with matched matching images; And
A transmitter for changing the size of the matched image according to the bandwidth of the network and transmitting the size of the matched image to the user terminal
And an aerial image registration device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140177224A KR101634878B1 (en) | 2014-12-10 | 2014-12-10 | Apparatus and method for matching aviation image using swarm filght of unmanned vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140177224A KR101634878B1 (en) | 2014-12-10 | 2014-12-10 | Apparatus and method for matching aviation image using swarm filght of unmanned vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160070375A KR20160070375A (en) | 2016-06-20 |
| KR101634878B1 true KR101634878B1 (en) | 2016-06-29 |
Family
ID=56354229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140177224A Active KR101634878B1 (en) | 2014-12-10 | 2014-12-10 | Apparatus and method for matching aviation image using swarm filght of unmanned vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101634878B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200063136A (en) * | 2018-11-21 | 2020-06-04 | 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 | Planning methods for mapping sample points, devices, control terminals and storage media |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018027789A1 (en) * | 2016-08-11 | 2018-02-15 | 深圳市道通智能航空技术有限公司 | Method and system for tracking and identification, and aircraft |
| EP3535690A4 (en) * | 2016-11-03 | 2020-11-04 | Datumate Ltd. | SYSTEM AND PROCESS FOR AUTOMATIC ACQUISITION OF TWO-DIMENSIONAL IMAGES AND THREE-DIMENSIONAL POINT CLOUD DATA OF A FIELD TO BE EXAMINED |
| KR102450140B1 (en) * | 2017-12-14 | 2022-10-05 | 한국전자통신연구원 | Apparatus and method for generating multi-layer monitoring information on monitoring area |
| KR101963826B1 (en) * | 2018-06-22 | 2019-03-29 | 전북대학교 산학협력단 | System for flying safety and fault recovery in swarm flight of unmanned aerial vehicles and method thereof |
| KR101945019B1 (en) * | 2018-06-22 | 2019-02-01 | 전북대학교 산학협력단 | System for swarm flight of unmanned aerial vehicles for acquiring images of crop growing distribution and method thereof |
| KR102399879B1 (en) * | 2018-12-24 | 2022-05-19 | 농업회사법인 렛츠팜 주식회사 | Planting Status and Vegetation Index Analysis System using Clustered Drones Platform |
| KR102751592B1 (en) * | 2019-01-23 | 2025-01-10 | 한국전력공사 | Wide-angle image acquisition system |
| KR102195179B1 (en) * | 2019-03-05 | 2020-12-24 | 경북대학교 산학협력단 | Orthophoto building methods using aerial photographs |
| KR102191852B1 (en) | 2019-07-25 | 2020-12-17 | 엘아이지넥스원(주) | System for separating swarm flight of unmanned aerial vehicle |
| KR102267764B1 (en) * | 2019-12-26 | 2021-06-23 | 한국항공우주연구원 | Group drone based broadband reconnaissance and surveillance system, broadband reconnaissance and surveillance method |
| WO2021206204A1 (en) * | 2020-04-10 | 2021-10-14 | (주)아르고스다인 | Monitoring method and system using plurality of drones |
| KR102827518B1 (en) * | 2021-10-08 | 2025-07-01 | 한규준 | Security System Using Cluster Drone Flight |
| KR102472809B1 (en) | 2022-05-16 | 2022-12-01 | 고려대학교 산학협력단 | System for monitoring surveillance area using multi-UAVs |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004256020A (en) * | 2003-02-26 | 2004-09-16 | Kenzo Nonami | Autonomous control device and program for small unmanned helicopter |
| JP2007248364A (en) * | 2006-03-17 | 2007-09-27 | Pasuko:Kk | Building shape change detection method and building shape change detection system |
| JP2014089160A (en) * | 2012-10-31 | 2014-05-15 | Topcon Corp | Aviation photographic measurement method, and aviation photographic measurement system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100031217A (en) * | 2008-09-12 | 2010-03-22 | (주)아이디스 | Apparatus and method for adjusting of compression rate of image data |
-
2014
- 2014-12-10 KR KR1020140177224A patent/KR101634878B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004256020A (en) * | 2003-02-26 | 2004-09-16 | Kenzo Nonami | Autonomous control device and program for small unmanned helicopter |
| JP2007248364A (en) * | 2006-03-17 | 2007-09-27 | Pasuko:Kk | Building shape change detection method and building shape change detection system |
| JP2014089160A (en) * | 2012-10-31 | 2014-05-15 | Topcon Corp | Aviation photographic measurement method, and aviation photographic measurement system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200063136A (en) * | 2018-11-21 | 2020-06-04 | 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 | Planning methods for mapping sample points, devices, control terminals and storage media |
| KR102382868B1 (en) | 2018-11-21 | 2022-04-04 | 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 | Planning method, apparatus, control terminal and storage medium for mapping sample points |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160070375A (en) | 2016-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101634878B1 (en) | Apparatus and method for matching aviation image using swarm filght of unmanned vehicle | |
| US11073389B2 (en) | Hover control | |
| CN108323190B (en) | Obstacle avoidance method and device and unmanned aerial vehicle | |
| JP2020030204A (en) | Distance measurement method, program, distance measurement system and movable object | |
| US20100157056A1 (en) | Tracking and imaging data fusion | |
| US20160114905A1 (en) | Probabilistic safe landing area determination | |
| WO2019015158A1 (en) | UAV obstacle avoidance method and drone | |
| EP2977976A2 (en) | Context-aware landing zone classification | |
| CN104007767A (en) | Unmanned aerial vehicle space navigation method, unmanned aerial vehicle control system and unmanned aerial vehicle control device | |
| KR101600862B1 (en) | stereo vision system using a plurality of uav | |
| KR101771492B1 (en) | Method and system for mapping using UAV and multi-sensor | |
| CN107783555B (en) | Target positioning method, device and system based on unmanned aerial vehicle | |
| CN111742348B (en) | Image processing device, flight object, and program | |
| JP6364101B1 (en) | Air monitoring device, air monitoring method and program | |
| CN114034296A (en) | Navigation signal interference source detection and identification method and system | |
| EP3005238B1 (en) | Method and system for coordinating between image sensors | |
| JP2019144804A5 (en) | ||
| WO2024067133A1 (en) | 3d-map-based flight control method and system for unmanned aircraft, and medium | |
| KR101807771B1 (en) | Apparatus for acquiring image using formation flying unmanned aerial vehicle | |
| CN111402324B (en) | Target measurement method, electronic equipment and computer storage medium | |
| JP7437930B2 (en) | Mobile objects and imaging systems | |
| KR102211769B1 (en) | Method and Apparatus for correcting geometric correction of images captured by multi cameras | |
| KR101781158B1 (en) | Apparatus for image matting using multi camera, and method for generating alpha map | |
| US20240085186A1 (en) | A method, software product, and system for determining a position and orientation in a 3d reconstruction of the earth's surface | |
| CN107272732A (en) | Unmanned flight's device group system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20141210 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20151110 Patent event code: PE09021S01D |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160426 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160621 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20160623 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20160623 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20190326 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190326 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200324 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210318 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211209 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20221207 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240313 Start annual number: 9 End annual number: 9 |