KR100898757B1

KR100898757B1 - Image search method and system based on location information.

Info

Publication number: KR100898757B1
Application number: KR1020070071075A
Authority: KR
Inventors: 이용환; 이영희; 이근영
Original assignee: 이용환; 이유경; 이영희; 이근영
Priority date: 2007-07-16
Filing date: 2007-07-16
Publication date: 2009-05-25
Anticipated expiration: 2027-07-16
Also published as: KR20090007883A

Abstract

본 발명은 위치정보를 기반으로 한 이미지검색 방법 및 시스템에 관한 것으로, 네트워크로 연결된 디지털 신호처리부, 이미지 서버, 및 사용자 단말기를 포함하여 이루어지는 위치정보를 기반으로 한 이미지 검색 시스템에 있어서,The present invention relates to an image retrieval method and system based on location information. In an image retrieval system based on location information comprising a digital signal processor, an image server, and a user terminal connected via a network,

GPS 인공위성으로부터 위치정보를 수신하고, 외부 이미지를 촬영하여 위치정보를 촬영된 이미지정보에 저장하고, 상기 이미지 정보를 상기 이미지 서버로 전송하는 디지털 신호처리부와, 상기 디지털 신호처리부로부터 위치정보가 포함된 이미지 정보를 전송받아 저장하고, 상기 사용자 단말기로부터 전송된 질의 이미지정보와 매칭되는 이미지 정보를 상기 사용자 단말기로 전송하는 이미지 서버 및 상기 이미지 서버에 접속하여 질의 이미지 정보를 상기 이미지 서버에 전송하는 사용자 단말기 를 포함하여 이루어지는 것을 특징으로 하는 위치정보를 기반으로 한 이미지 검색 시스템에 관한 것이다.A digital signal processing unit for receiving location information from a GPS satellite, taking an external image, storing the location information in the captured image information, and transmitting the image information to the image server; and including the location information from the digital signal processing unit. Receives and stores the image information, and the image server for transmitting the image information matching the query image information transmitted from the user terminal to the user terminal and the user terminal connected to the image server to transmit the query image information to the image server It relates to an image retrieval system based on location information, characterized in that comprises a.

본 발명은 사용자의 이미지 검색에 활용되는 위치정보의 생성과정에 사용자의 주관이 개입되지 않고 시스템 내에서 자동적으로 처리되므로 이미지에 대한 주관적 해석이 반영되지 않을 수 있고, 또한 이미지와 검색을 위한 데이터인 메타데이터간의 분리 관리 및 저장으로 인한 오버헤드를 줄일 수 있는 효과가 있다.The present invention is automatically processed in the system without the user's subjectivity in the process of generating the location information utilized for the user's image search may not reflect the subjective interpretation of the image, the data for the image and search There is an effect of reducing the overhead due to the separation management and storage between metadata.

이미지, 위치, GPS, 이미지검색 Image, location, GPS, image search

Description

{The system and method for Image searching on the basis of location information}

도 1은 본 발명의 바람직한 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 시스템의 블럭 구성도.1 is a block diagram of an image retrieval system based on location information according to an exemplary embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 시스템의 프로그램 블럭 구성도.2 is a program block diagram of an image retrieval system based on location information according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 방법의 이미지 생성에 대한 순서도.3 is a flowchart illustrating image generation of an image retrieval method based on location information according to an embodiment of the present invention.

도 4는 본 발명의 바람직한 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 방법의 순서도.4 is a flowchart of an image retrieval method based on location information according to an exemplary embodiment of the present invention.

***도면의 주요 부분에 대한 설명****** Description of the main parts of the drawings ***

100: GPS위성 200: 디지털신호 처리부100: GPS satellite 200: digital signal processing unit

201: GPS수신부 203: 디지털 이미지 촬영부201: GPS receiver 203: digital image capture unit

205: 이미지 인코딩부 207: 메타 데이터부205: image encoding unit 207: meta data unit

300: 이미지서버 301: 이미지 스파이더부300: image server 301: image spider unit

303: 메타데이터 동기화부 305: 이미지 배포부303: metadata synchronization unit 305: image distribution unit

307: GPS 데이터부 309: 이미지 저장부307: GPS data unit 309: Image storage unit

311: 검색부 400: 네트워크311: search unit 400: network

500: 사용자 단말기 501: 사용자 인터페이스500: user terminal 501: user interface

본 발명은 위치정보를 기반으로 한 이미지 검색 및 시스템에 관한 것으로,The present invention relates to an image search and system based on location information.

더욱 상세하게는 이미지를 촬영하는 시점에서 GPS 인공위성으로 부터 생성된 이미지의 위치 정보를 기반으로 하여 이미지에 대한 검색을 수행하는 위치정보를 기반으로 한 이미지 검색 및 시스템에 관한 것이다.More specifically, the present invention relates to an image retrieval and system based on location information for searching for an image based on location information of an image generated from a GPS satellite at the time of taking an image.

기존의 이미지 검색의 유형을 살펴보면, 텍스트기반의 검색과 내용기반의 검색으로 나눌 수 있다. Looking at the existing types of image search, it can be divided into text-based search and content-based search.

텍스트기반의 검색은 현행 웹기반의 이미지검색으로 대표되며, 사용자가 질의를 위한 텍스트를 입력하면 이미지에 지정된 키워드(KEYWORD)또는 주석(Annotation)을 검색하여 유사한 이미지를 추출한다. 이러한 이미지 추출과정에서는 이미지의 주석 처리가 사용자의 주관적인 해석이 반영될 수 있는 문제점이 있으며, 대용량, 다량의 이미지 데이터 베이스에서는 수작업이 요구되는 문제점이 있었다.The text-based search is represented by the current web-based image search. When a user inputs text for a query, a similar image is extracted by searching for a keyword or annotation specified in the image. In this image extraction process, there is a problem that the annotation processing of the image can be reflected in the subjective interpretation of the user, there is a problem that a manual operation is required in a large amount, a large amount of image database.

내용 기반의 검색은 사용자 질의를 이미지 자체로 입력받으며 이미지에서 저급의 시각적 특징(Low-level Visual Feature)를 추출하고 데이터 베이스내에 저장된 특징과 유사도를 검색하여 적절한 이미지를 추출한다. 이러한 이미지 추출 과정 에서는 저장 메카니즘의 문제점을 지니고 있다. MPEG-7의 경우 하나의 이미지에서 추출한 시각적 특징을 별도의 XML 파일로 저장하고 있으며, IBM QBIC의 경우 관계형 데이터베이스(RDB)인 DB2에 저장한다. 이는 이미지 레포지토리에서 XML 화일 또는 데이터베이스화일을 추가적으로 관리해야 하는 오버헤드가 발생한다. 또한 해당 이미지와 추출한 특징 벡터간의 동기화 등에 문제점이 있었다.Content-based retrieval receives user queries as images itself, extracts low-level visual features from images, and retrieves appropriate images by searching for similarities and similarities stored in the database. The image extraction process has a problem of storage mechanism. MPEG-7 stores the visual features extracted from one image in a separate XML file, while IBM QBIC stores them in DB2, a relational database. This incurs the overhead of additional management of XML files or database files in the image repository. In addition, there was a problem in synchronization between the image and the extracted feature vector.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로,The present invention has been made to solve the above problems,

이미지 검색시 활용되는 위치정보의 생성을 시스템에서 자동적으로 처리할 수 있게 함으로써 이미지에 대한 주관적인 해석이 반영되지 않게 할 수 있으며, 또한 저장된 이미지와 이미지 검색을 위한 메타데이타가 분리되어 발생하는 오버헤드를 줄일수 있게 하는 위치 정보를 기반으로 한 이미지 검색 방법 및 시스템을 제공하는 데 그 목적이 있다.The system automatically handles the generation of location information used for image retrieval so that the subjective interpretation of the image can not be reflected, and the overhead caused by separating the stored image and metadata for image retrieval An object of the present invention is to provide an image retrieval method and system based on location information that can be reduced.

전술한 본 발명의 목적은 GPS 인공위성으로부터 위치정보를 수신하고, 외부 이미지를 촬영하여 위치정보를 촬영된 이미지정보에 저장하고, 상기 이미지 정보를 상기 이미지 서버로 전송하는 디지털 신호처리부와, 상기 디지털 신호처리부로부터 위치정보가 포함된 이미지 정보를 전송받아 저장하고, 상기 사용자 단말기로부터 전송된 질의 이미지정보와 매칭되는 이미지 정보를 상기 사용자 단말기로 전송하는 이미지 서버 및 상기 이미지 서버에 접속하여 질의 이미지 정보를 상기 이미지 서버에 전송하는 사용자 단말기 를 포함하여 이루어지는 것을 특징으로 하는 위치정보를 기반으로 한 이미지 검색 시스템을 제공함으로써 달성된다.The above-described object of the present invention is a digital signal processing unit for receiving location information from a GPS satellite, taking an external image, storing the location information in the captured image information, and transmitting the image information to the image server, and the digital signal. Receives and stores image information including location information from a processing unit, and accesses the image server and the image server for transmitting the image information matching the query image information transmitted from the user terminal to the user terminal and the query image information; It is achieved by providing an image retrieval system based on location information, characterized in that it comprises a user terminal transmitting to an image server.

본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색 시스템은, GPS 인공위성으로 부터 위치정보를 수신하는 GPS수신부와, 외부영상을 촬영하는 디지털 이미지 촬영부와, 촬영한 이미지를 압축하여 저장하는 이미지 인코딩부와, 상기 이미지 인코딩부에 의하여 생성된 이미지 정보에 상기 GPS 수신부에서 수신한 위치정보를 저장하는 메타데이터부로 이루어지는 것을 특징으로 하는 디지털 신호처리부를 포함하여 이루어진다.An image retrieval system based on location information according to a preferred feature of the present invention, GPS receiver for receiving location information from a GPS satellite, a digital image capture unit for shooting an external image, and compressing and storing the captured image And a digital signal processor comprising an image encoder and a metadata unit for storing the position information received by the GPS receiver in the image information generated by the image encoder.

또한, 본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색 시스템은, 상기 디지털 신호처리부로 부터 전송된 이미지의 위치정보 지정 여부를 감독하는 이미지 스파이더부와, 이미지헤더에 저장된 위치정보와 GPS 데이터부에 저장된 텍스트 정보의 동기화를 지원하는 메타데이터 동기화부와, 상기 사용자 단말기로 부터 질의 이미지 정보가 전송되면 검색 가능하도록 이미지를 배포하는 이미지 배포부와, 이미지의 위치정보와 텍스트 정보를 저장하는 GPS 데이터부와, 검색대상이 되는 이미지 파일들을 저장하는 이미지저장부 및 상기 사용자 단말기로 부터 질의 이미지 정보가 전송되면 상기 질의 이미지 정보를 분석하여 매칭된 이미지 정보를 제공하는 검색부로 이루어지는 것을 특징으로 하는 이미지 서버를 포함 하여 이루어진다.In addition, the image retrieval system based on the location information according to a preferred feature of the present invention, the image spider for supervising whether to specify the location information of the image transmitted from the digital signal processing unit, the location information and GPS stored in the image header A metadata synchronizing unit for synchronizing text information stored in the data unit, an image distributing unit distributing the image to be searchable when query image information is transmitted from the user terminal, and storing location information and text information of the image; A GPS data unit, an image storage unit storing image files to be searched, and a search unit analyzing the query image information and providing matching image information when query image information is transmitted from the user terminal. This is done by including an image server.

또한, 본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색시스템은, 질의 이미지 정보를 입력받아 상기 이미지 서버로 전송하고 상기 이미지 서버로 부터 검색 결과를 전송받아 화면 상에 제공하는 사용자 인터페이스부를 더 포함하여 이루어지는 것을 특징으로 하는 사용자 단말기를 포함하여 이루어진다. In addition, the image retrieval system based on the location information according to a preferred feature of the present invention, the user interface to receive the query image information to the image server and to receive the search results from the image server to provide on the screen It comprises a user terminal, characterized in that further comprises.

전술한 본 발명의 또다른 목적은, 네트워크로 연결된 디지털 신호처리부, 이미지 서버, 및 사용자 단말기를 포함하여 이루어지는 위치정보를 기반으로 한 이미지 검색 방법에 있어서, (a) 디지털 신호처리부가 GPS 인공위성으로 부터 위치정보를 수신받는 단계와, (b) 상기 디지털 신호처리부가 외부영상을 촬영하여 이미지 정보로 저장하는 단계와, (c) 상기 GPS 인공위성으로 부터 수신받은 위치정보를 상기 이미지 정보에 저장하는 단계와, (d) 상기 디지털 신호처리부가 상기 위치정보를 저장하고 있는 이미지 정보를 이미지 서버에 전송하고, 상기 이미지 서버는 상기 이미지 정보를 저장하는 단계와, (e) 사용자 단말기가 이미지 서버에 접속하여 질의 이미지 정보를 입력하는 단계와, (f) 상기 질의 이미지 정보와 상기 디지털 신호처리부로 부터 전송되어 저장된 이미지 정보를 비교하여 추출하는 단계 및 (g) 추출된 이미지 정보를 사용자 단말기로 전송하는 단계 를 포함하여 이루어지는 것을 특징으로 하는 위치정보를 기반으로 한 이미지 검색 방법을 제공함으로써 달성된다.Another object of the present invention described above is an image retrieval method based on location information including a digital signal processor, an image server, and a user terminal connected through a network, the method comprising: (a) a digital signal processor from a GPS satellite; Receiving location information, (b) capturing an external image by the digital signal processor and storing the image as image information, and (c) storing the location information received from the GPS satellite in the image information; (d) transmitting, by the digital signal processor, image information storing the location information to an image server, the image server storing the image information, and (e) a user terminal accessing and querying the image server. Inputting image information, and (f) the query image information is transmitted from the digital signal processor. Comparing and extracting the stored image information, and (g) transmitting the extracted image information to the user terminal is achieved by providing an image retrieval method based on location information.

또한, 본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색 방법은, GPS 인공위성으로 부터 수신한 위치정보를 버퍼에 저장하는 단계로 이루어지는 상기(a)단계를 포함하여 이루어진다.In addition, the image retrieval method based on the location information according to a preferred feature of the present invention comprises the step (a) consisting of the step of storing the location information received from the GPS satellites in the buffer.

또한, 본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색방법은, (d1) 상기 디지털 신호처리부로 부터 전송된 이미지 정보에 대한 위치정보 지정 여부를 체크하는 단계와, (d2) 상기 이미지 정보에 저장된 위치정보와 기저장된 텍스트 정보를 동기화하는 단계로 이루어지는 상기(d)단계를 포함하여 이루어진다.In addition, the image retrieval method based on the location information according to a preferred feature of the present invention, (d1) checking whether or not to specify the location information for the image information transmitted from the digital signal processor, (d2) the image And (d) the step of synchronizing the location information stored in the information with the pre-stored text information.

또한, 본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색 방법은, (f1) 상기 디지털 신호처리부로 부터 전송된 이미지와 상기 GPS 데이터부에 저장된 이미지를 비교하는 단계와, (f2) 매칭된 이미지를 이미지 저장부에 저장하는 단계와, (f3) 매칭된 이미지가 없다면 위치정보를 통하여 텍스트정보를 입력 받는 단계와, (f4) 상기 텍스트정보를 이미지 헤더에 저장한 후 이미지 스케일링을 하는 단계와, (f5) 상기 이미지 스케일링 된 정보를 이미지 저장부에 저장하는 단계로 이루어지는 상기(f)단계를 포함하여 이루어진다.In addition, the image retrieval method based on the location information according to a preferred feature of the present invention, (f1) comparing the image transmitted from the digital signal processing unit and the image stored in the GPS data unit, (f2) matching Storing the stored image in an image storage unit, (f3) receiving text information through location information if there is no matched image, and (f4) storing the text information in an image header and then scaling the image. And (f5) storing the image scaled information in an image storage unit.

또한, 본 발명의 바람직한 특징에 따른 위치정보를 기반으로 한 이미지 검색방법은, (f6) 이미지 검색을 위해 사용자 단말기로부터 질의 이미지 정보를 입력받 는 단계와, (f7) 상기 질의 이미지 정보의 이미지 헤더로 부터 이미지 위치정보를 읽는 단계와, (f8) 기 저장된 상기 이미지 정보와 상기 질의 이미지 정보의 유사도를 비교하는 단계 및 (f9) 검색결과에 따라 결과 이미지 정보 목록을 제공하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 상기(f)단계를 포함하여 이루어진다.In addition, the image search method based on the location information according to a preferred feature of the present invention, (f6) receiving the query image information from the user terminal for the image search, and (f7) the image header of the query image information And reading (f8) a similarity degree between the previously stored image information and the query image information, and (f9) providing a list of result image information according to a search result. It comprises the step (f) characterized in that.

이하에서, 첨부된 도면을 참조하여 본 발명에 따른 위치정보를 기반으로 한 이미지 검색 방법 및 시스템에 대한 바람직한 일 실시예를 상세하게 설명한다.Hereinafter, exemplary embodiments of an image retrieval method and system based on location information according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 일 실시예에 따른 위치정보를 기반으로 한 이미지 검색 시스템의 구성도이다.1 is a block diagram of an image retrieval system based on location information according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 위치정보를 기반으로 한 이미지 검색 시스템은 디지털 신호처리부(200), 이미지 서버(300), 네트워크(400) 및 사용자 단말기(500)를 포함하여 이루어 질수 있다.As shown in FIG. 1, an image retrieval system based on location information according to the present invention may include a digital signal processor 200, an image server 300, a network 400, and a user terminal 500. have.

디지털 신호처리부는(200)는 일반적으로 사용되는 디지털 카메라가 사용될 수 있으며, 카메라 기능이 장착되고, GPS 수신기와 인터페이스가 가능한 핸드폰등의 모바일 기기도 가능하다.The digital signal processing unit 200 may be a digital camera that is generally used, the camera is equipped with a function, it is also possible for a mobile device such as a mobile phone that can interface with the GPS receiver.

상기 디지털 신호처리부(200)는 외부영상을 촬영시 사용되며 촬영시의 사용자의 위치정보는 GPS 인공위성으로 부터 수신하여 저장한다. The digital signal processing unit 200 is used when shooting an external image, and the location information of the user at the time of shooting is received and stored from the GPS satellites.

이미지정보(촬영영상)는 상기 디지털 신호처리부(200)내에 저장되며, GPS 인공위성(100)으로 부터 수신한 위치정보를 이미지헤더에 포함시켜 저장한다.Image information (photographed image) is stored in the digital signal processing unit 200, and stores the location information received from the GPS satellite 100, including in the image header.

상기 이미지 서버(300)는 상기 디지털 신호처리부(200)로부터 촬영된 이미지 정보를 전송받아 저장하고, 상기 사용자 단말기(500)로 부터 질의 이미지 정보가 전송되면 기 저장된 이미지정보의 위치정보를 비교하여 동일 또는 유사한 위치에서 생성된 이미지를 추출하고 이를 사용자 단말기(500)로 전송한다.The image server 300 receives and stores the image information captured by the digital signal processor 200, and when query image information is transmitted from the user terminal 500, compares the position information of the stored image information with the same. Alternatively, an image generated at a similar location is extracted and transmitted to the user terminal 500.

이미지를 추출하여 전송하는 경우, 범위 검색이라면 유사한 위치에 대한 허용범위를 정하여 그 포함 여부에 따라 이미지를 추출하나, 순위 검색인 경우, 계산된 거리에 따라 검색 대상의 이미지에 순위를 부여하여 상위순위의 순서로 이미지를 반환한다. In the case of extracting and sending an image, in the case of a range search, the image is extracted according to whether or not it is included in the allowable range for similar locations, but in the case of a ranking search, the image of the search target is ranked by the calculated distance according to the calculated distance. Returns images in the order of.

사용자 단말기(500)는 사용자의 질의 이미지정보를 입력 받아 이미지 서버(300)에 전송하고 상기 이미지 서버(300)로부터 추출되어 전송된 이미지 정보를 전송받아 화면에 디스플레이 한다.The user terminal 500 receives the query image information of the user and transmits it to the image server 300, and receives and transmits the image information extracted from the image server 300 to be displayed on the screen.

사용자 단말기(500)는 통상적으로 인터넷을 통하여 이미지 서버(300)에 접속하고 이미지 서버(300)와 유무선 데이터통신을 할 수 있는 개인용 컴퓨터(Personal computer)가 사용되나, 특별히 개인용 컴퓨터에 한정되는 것은 아니며, 유무선 데이터통신이 가능한 개인용 휴대용 단말기기(PDA) 및 휴대폰 등이 사용될 수 있다.The user terminal 500 typically uses a personal computer capable of connecting to the image server 300 through the Internet and performing wired or wireless data communication with the image server 300, but is not particularly limited to a personal computer. For example, a personal digital assistant (PDA) and a mobile phone capable of wired and wireless data communication may be used.

도 2는 본 발명의 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 시스템의 프로그램 블럭 구성도이다.2 is a program block diagram of an image retrieval system based on location information according to an embodiment of the present invention.

GPS 데이터 수신부(201)은 인공위성과의 통신을 통하여 GPS 데이터를 수신하고 현재 사용자의 위치정보를 버퍼에 저장하는 기능을 수행한다. GPS 데이터는 NMEA 표준 프로토콜 형식으로 수신하며, 이에 대한 구문해석을 통하여 위도, 경도 등의 데이터를 획득한다.The GPS data receiving unit 201 receives GPS data through communication with satellites and stores a current user's location information in a buffer. GPS data is received in NMEA standard protocol format, and data such as latitude and longitude are obtained through syntax analysis.

디지털 이미지 촬영부(203)은 외부영상을 촬영하는 기능을 수행한다.The digital image capturing unit 203 performs a function of capturing an external image.

이미지 인코딩부(205)은 카메라가 장착된 모바일 기기에서 이미지를 캡쳐(Capture)하고 이를 JPEG 포맷으로 압축하여 저장하는 기능을 수행한다.The image encoder 205 captures an image in a mobile device equipped with a camera, compresses the image in a JPEG format, and stores the image.

메타데이터부(207)은 이미지 인코딩부(205)에서 생성된 디지털 이미지에 이미지 인코딩부(205)에서 얻은 위치정보를 저장하는 기능을 수행한다. 저장되는 곳은 이미지 헤더에 포함되고, 어플리케이션 마커(Application Marker)를 통하여 지정된 형식으로 저장한다.The metadata unit 207 stores the position information obtained by the image encoding unit 205 in the digital image generated by the image encoding unit 205. The place to be saved is included in the image header and stored in the format designated by the application marker.

이미지 스파이더부(301)은 모바일 기기로부터 외부포트(예;USB)를 통하여 컴퓨터로 전송되는 이미지를 감독하는 기능을 수행한다. 사용자가 촬영한 이미지를 컴퓨터로 다운로드하게 되면, 해당이미지에 대한 위치정보 지정 여부를 체크한다.The image spider unit 301 supervises an image transmitted from a mobile device to a computer through an external port (eg, USB). When the user downloads the captured image to the computer, it is checked whether the location information of the image is specified.

메타데이터 동기화부(303)는 이미지헤더에 저장된 GPS 좌표와 GPS 데이터부(307)에 저장되어 있는 텍스트 정보(예:지형이름, 건물명등)와의 동기화를 지원하는 기능을 수행한다.The metadata synchronization unit 303 performs a function of supporting synchronization between GPS coordinates stored in the image header and text information (eg, terrain name, building name, etc.) stored in the GPS data unit 307.

동기화란 작업들 사이의 수행 시기를 맞추거나 사건이 동시 또는 일정한 간격을 두고 일어나도록 시간의 간격을 조정하는 것을 말하는 것으로, 이미지 헤더에 저장되어 있는 위치정보와 GPS 데이터부에 저장되어 있는 텍스트 데이터를 통하여 이미지가 촬영된 지역이름 또는 건물명을 가져오고, 이를 상기 위치정보와 함께 이미지 헤더에 저장한다.Synchronization refers to adjusting the timing between tasks or adjusting the time intervals so that events occur at the same time or at regular intervals. It is based on the location information stored in the image header and the text data stored in the GPS data unit. The local name or the building name where the image is captured is obtained and stored in the image header together with the location information.

시간의 흐름에 따라 GPS 데이터부(307)에 변경되는 텍스트 데이터는 이미지 헤더에서 버전을 통하여 저장, 관리된다.The text data changed in the GPS data unit 307 as time passes are stored and managed through versions in the image header.

이미지 배포부(305)은 제작된 이미지를 사용자의 검색에 적절한 형태로 검색 가능하도록 이미지를 배포하는 기능을 수행한다. 플랫폼 독립적인 검색을 지원하기 위하여 썸네일 이미지 등을 관리하며, 분산 환경에서의 이미지 확인 및 검증(Image identification)을 위하여 고유번호(universal ID)를 부여한다.The image distribution unit 305 distributes the image so that the produced image can be searched in a form suitable for a user's search. It manages thumbnail images to support platform independent search and assigns a unique ID for image identification in distributed environment.

GPS 데이터부(307)는 실제 지형 측정 결과에 대하여 지형적 위치정보를 저장하고 있다. 디지털 맵 등에서 제공되는 지형이름, 건물명 등을 포함하여, 해당 텍스트 정보와 GPS 좌표를 저장하고 있다.The GPS data unit 307 stores the geographical location information with respect to the actual terrain measurement result. The text information and GPS coordinates are stored, including the terrain name and the building name provided in the digital map.

이미지 저장부(309)는 이미지 검색 기능을 제공하는 서버의 파일 시스템으로 검색 대상이 되는 이미지 파일들을 저장하고 있으며, 독립(Stand-alone)형태와 분산(distributed)형태를 모두 지원한다.The image storage unit 309 stores image files to be searched as a file system of a server providing an image search function, and supports both a stand-alone type and a distributed type.

검색부(311)은 입력되는 사용자 질의 이미지를 분석하고 검색특징(Feature)을 추출하여 적절한 이미지를 반환하는 기능을 수행한다. 검색 유형에 따라 순위검색(Ranking Retrieval)과 범위 검색(Range Retrieval)을 지원한다.The search unit 311 analyzes an input user query image, extracts a search feature, and returns an appropriate image. It supports ranking retrieval and range retrieval depending on search type.

사용자 인터페이스(501)는 이미지 검색을 원하는 사용자로부터 질의 이미지를 입력받아 검색 엔진으로 전송하고, 검색 결과를 사용자에게 보여주는 기능을 수행한다. 검색 속도를 고려하여 사용자 접속 플랫폼에 따라 질의 결과를 변형적으로 반환하는 기능을 포함한다.The user interface 501 receives a query image from a user who wants to search for an image, transmits the query image to a search engine, and displays a search result to the user. Considering the speed of search, it includes the function to return the query result variably according to the user access platform.

도 3은 본 발명의 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 방법의 이미지 생성에 대한 순서도이다.3 is a flowchart illustrating image generation of an image retrieval method based on location information according to an embodiment of the present invention.

우선 디지털 카메라 등의 모바일 기기가 GPS 인공위성과 연결되고(S301), 연결에 성공하면(S303) 사용자의 촬영장소에 대한 위치정보를 GPS 수신기를 통하여 GPS 인공위성으로 부터 수신 받아(S305) 버퍼에 저장한다(S307). First, a mobile device such as a digital camera is connected to a GPS satellite (S301), and if the connection is successful (S303), the location information of the user's shooting location is received from the GPS satellite through the GPS receiver (S305) and stored in a buffer. (S307).

또한, 외부영상을 촬영하고(S309) 이를 JPEG 포맷으로 압축하여 버퍼에 저장한다(S311). 촬영한 영상의 이미지헤더에 위치정보를 포함시켜 저장한후(S313,S315,S317,S319) 이를 개인용 PC 등으로 구성된 이미지 서버로 전송한다(S321,S323,325). 관련된 이미지 파일이 있을 경우(S327) 전송된 이미지를 이미지 저장부에 저장하고(S333), 관련된 이미지 파일이 없을 경우 상기 이미지 정보의 이미지 헤더에 텍스트 정보에 해당하는 지리정보 등을 포함하여 저장하고(S329,S331), 이미지 스케일링(S333)을 수행한후 이미지 저장부에 이미지를 저장한다.(S335)Also, an external image is captured (S309), and it is compressed into a JPEG format and stored in a buffer (S311). The location information is included in the image header of the captured image and stored (S313, S315, S317, and S319) and then transmitted to the image server configured as a personal PC (S321, S323, and 325). If there is an associated image file (S327) and stores the transmitted image in the image storage unit (S333), if there is no associated image file and stores the geographic information corresponding to the text information in the image header of the image information ( S329 and S331 and after performing image scaling (S333) stores the image in the image storage unit (S335).

사용자의 검색 질의를 입력받는 단말기의 플랫폼에 따라 검색 결과를 유연성있게 반환하기 위하여 이미지 스케일링을 수행한다. 검색 결과의 반환시 접속하는 사용자 단말기의 해상도와 네트워크 상태등을 고려하여 검색 서비스를 제공한다. 이를 위하여 원본 이미지에 대해 QCIP(Quarter Common Intermediate Format)이미지를 포함하여 이미지 스케일(Scale)과 이미지 크기(Size)를 조정한 다중 스케일이미지를 재생성(re-production)하여 이미지 저장부(309)에 저장한다.Image scaling is performed to flexibly return a search result according to a platform of a terminal receiving a user's search query. When returning a search result, the search service is provided in consideration of the resolution and network state of the accessing user terminal. To this end, re-production of multi-scale images with image scale and image resizing including the QCIP (Quarter Common Intermediate Format) image with respect to the original image is stored in the image storage unit 309. do.

도 4는 본 발명의 바람직한 일실시예에 따른 위치정보를 기반으로 한 이미지 검색 방법의 순서도이다.4 is a flowchart of an image retrieval method based on location information according to an exemplary embodiment of the present invention.

우선 사용자로부터 검색을 위한 질의 이미지 정보를 입력받는다(S401). 상기 질의 이미지 정보의 이미지 헤더로 부터 이미지 위치정보를 읽고(S403) 이미지 저장부에 저장된 이미지에 대한 위치정보와 유사도를 비교한다(S405,S415,S417).First, query image information for searching is input from the user (S401). The image position information is read from the image header of the query image information (S403), and the similarity is compared with the position information of the image stored in the image storage unit (S405, S415, S417).

상기 유사도는 저장 되어있는 이미지의 위치정보와 상기 질의 이미지 정보에서의 위치정보의 비교시 위치에 따른 거리차 등이 해당된다.The similarity corresponds to a distance difference according to a position when comparing the position information of the stored image and the position information in the query image information.

만일 허용범위내의 이미지라면(S407) 사용자 질의에 대하여 적절한 이미지로 판정하여(S409,S411) 결과에 따른 이미지 목록을 사용자 단말기를 통하여 사용자에게 제공한다.(S413)If the image is within the allowable range (S407), it is determined as an appropriate image for the user query (S409, S411), and a list of images according to the result is provided to the user through the user terminal (S413).

사용자 단말기(500)가 유선으로 연결된 일반적인 PC일 경우 또는 무선 네트워크를 통하여 접속하는 노트북을 사용할 경우와 PDA를 사용할 경우를 고려하여 검색 결과를 반환하는 유형이 달라진다.When the user terminal 500 is a general PC connected by wire or when using a laptop connected through a wireless network and using a PDA, the type of returning a search result is different.

고해상도의 단말기(예:PC)를 통하여 사용자 검색이 수행될 경우에는 원본 이미지를 검색결과 화면에 보여주며, 저해상도의 단말기 또는 PDA를 통하여 사용자 검색이 수행될 경우에는 QCIF 형식의 이미지로 표시하여 사용자 검색 결과를 보여줌으로서, 단말기의 해상도와 네트워크 연결 상태에 따라 변동적이면서 보다 효율적으로 결과화면을 제공한다.When a user search is performed through a high resolution terminal (eg PC), the original image is displayed on the search results screen. When a user search is performed through a low resolution terminal or a PDA, the user is displayed as an image in QCIF format. By showing the result, the result screen is changed more efficiently according to the resolution of the terminal and the network connection status.

허용범위내의 이미지가 아니라면 이미지 검색을 계속 수행한다.(S409) If the image is not within the allowable range, image search is continued (S409).

상술한 바와 같이 본 발명인 위치정보를 기반으로 한 이미지 검색 방법 및 시스템은 사용자의 이미지 검색에 활용되는 위치정보의 생성과정에 사용자의 주관 이 개입되지 않고 시스템 내에서 자동적으로 처리되므로 이미지에 대한 주관적 해석이 반영되지 않을 수 있고, 또한 이미지와 검색을 위한 데이터인 메타데이터간의 분리 관리 및 저장으로 인한 오버헤드를 줄일 수 있는 효과가 있다.As described above, the method and system for retrieving the image based on the present inventor's location information is automatically processed in the system without the user's subject's involvement in the process of generating the location information used for the user's image retrieval. This may not be reflected, and there is also an effect of reducing overhead due to separation management and storage between metadata, which is data for image and search.

Claims

In the image retrieval system based on the location information comprising a digital signal processor, an image server, and a user terminal connected to the network,

A digital signal processor for receiving location information from a GPS satellite, capturing an external image to store location information in the captured image information, and transmitting the image information to the image server;

An image server receiving and storing image information including location information from the digital signal processor, and transmitting image information matching the query image information transmitted from the user terminal to the user terminal; And

A user terminal accessing the image server and transmitting query image information to the image server; Including but not limited to:

The image server,

An image spider unit for supervising whether location information of an image transmitted from the digital signal processor is designated;

A metadata synchronization unit supporting synchronization of location information stored in the image header with text information stored in the GPS data unit;

An image distribution unit for distributing an image to be searchable when the query image information is transmitted from the user terminal;

GPS data unit for storing location information and text information of the image;

An image storage unit which stores image files to be searched; And

A search unit for analyzing the query image information and providing matched image information when the query image information is transmitted from the user terminal; Image retrieval system based on location information, characterized in that further comprises.

The method of claim 1, wherein the digital signal processing unit,

A GPS receiver for receiving location information from a GPS satellite;

A digital image photographing unit for photographing an external image;

An image encoding unit compressing and storing the captured image; And

A metadata unit for storing location information received by the GPS receiver in the image information generated by the image encoder; Image retrieval system based on location information, characterized in that it further comprises.

delete

The method of claim 1, wherein the user terminal,

And a user interface unit which receives query image information, transmits the query image information to the image server, and receives a search result from the image server and provides a search result on the screen.

An image retrieval method based on location information comprising a digital signal processor, an image server, and a user terminal connected through a network,

(a) receiving, by a digital signal processor, location information from a GPS satellite;

(b) capturing and storing an external image as image information by the digital signal processor;

(c) storing location information received from the GPS satellites in the image information;

(d) transmitting, by the digital signal processor, image information storing the location information and the location information to an image server, and the image server storing the transmitted location information and image information;

(e) a user terminal accessing an image server and inputting query image information;

(f) comparing and extracting the query image information and the image information transmitted and stored from the digital signal processor; And

(g) transmitting the extracted image information to the user terminal; Including but not limited to:

In step (d),

(d1) checking whether position information is designated for image information transmitted from the digital signal processor;

(d2) synchronizing location information stored in the image information with prestored text information; Image retrieval method based on location information, characterized in that further comprises.

The method of claim 5, wherein step (a) comprises:

Storing location information received from a GPS satellite in a buffer; Image retrieval method based on location information, characterized in that further comprises.

delete

The method of claim 5, wherein (f) comprises:

(f1) comparing the image transmitted from the digital signal processing unit with the image stored in the GPS data unit;

(f2) storing the matched image in the image storage unit;

(f3) if there is no matched image, receiving text information through location information;

(f4) storing the text information in an image header of the image information and then performing image scaling; And

(f5) storing the image scaled information in an image storage unit; Image retrieval method based on location information, characterized in that further comprises.

The method of claim 5, wherein (f) comprises:

(f6) receiving query image information from a user terminal to search for an image;

(f7) reading image position information from an image header of the query image information;

(f8) comparing the similarity degree between the previously stored image information and the query image information; And

(f9) providing a list of result image information according to a search result; Image retrieval method based on location information, characterized in that further comprises.