KR102816817B1 - Method for processing image and computing device for executing the method - Google Patents
Method for processing image and computing device for executing the method Download PDFInfo
- Publication number
- KR102816817B1 KR102816817B1 KR1020220012265A KR20220012265A KR102816817B1 KR 102816817 B1 KR102816817 B1 KR 102816817B1 KR 1020220012265 A KR1020220012265 A KR 1020220012265A KR 20220012265 A KR20220012265 A KR 20220012265A KR 102816817 B1 KR102816817 B1 KR 102816817B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- comparison
- target frame
- data set
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
영상 처리 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 처리 방법 및 이를 수행하기 위한 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 영상 처리 방법으로서, 카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성하는 단계, 상기 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 데이터 세트의 각 프레임 내의 객체를 탐지하고, 상기 탐지된 객체에 대한 경계 상자(bounding box)를 생성하는 단계, 상기 데이터 세트의 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 데이터 세트의 비교 프레임 내의 객체에 대한 비교 경계 상자들과 비교하여 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계 및 상기 전송이 결정된 객체에 대한 관심 영역(ROI)를 추출하고, 상기 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송하는 단계를 포함한다.An image processing method and a computing device for performing the same are disclosed. An image processing method according to one embodiment of the present invention and a computing device for performing the same are an image processing method performed in a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, the image processing method including the steps of: extracting a preset frame from a captured image input from a camera to generate a data set; detecting an object in each frame of the data set using a machine learning-based technique based on the generated data set, and generating a bounding box for the detected object; comparing candidate bounding boxes for objects in a target frame of the data set with comparison bounding boxes for objects in a comparison frame of the data set based on the candidate bounding boxes for the objects in the target frame, and determining whether or not to transmit the object in the target frame; and extracting a region of interest (ROI) for the object for which the transmission has been determined, and transmitting an image of the region of interest for the extracted object to an external server.
Description
본 발명의 실시예들은 영상 처리 기술과 관련된다.Embodiments of the present invention relate to image processing technology.
일반적으로 선박은 해양 환경에서 선박자동식별시스템(Automatic Identification System; AIS)과 GPS(global positioning system)을 사용하여 주변 선박을 인식한다. AIS는 항구 및 연안에서의 충돌방지와 해상교통 관리를 효과적으로 하기 위하여 선박이름, 종류, 위치정보, 진행속도, 진행방향 및 항해와 관련된 정보를 국제적으로 규정된 초단파주파수(VHF) 회선을 통하여 주기적으로 송수신하여 육상 및 다른 선박과 정보 및 관련 데이터를 자동으로 교환하는 장치를 말한다.In general, ships use the Automatic Identification System (AIS) and the Global Positioning System (GPS) to recognize surrounding ships in the marine environment. AIS is a device that automatically exchanges information and related data with land and other ships by periodically transmitting and receiving ship name, type, location information, speed, direction, and navigation-related information through internationally regulated very high frequency (VHF) lines to effectively prevent collisions and manage maritime traffic in ports and coastal areas.
그러나, AIS는 고가의 장비로 소정규모 이상의 선박에 한하여 의무적으로 탑재하고 있을 뿐, 그 외의 선박은 AIS를 탑재하지 않고 있으며, 또한, 야간에 몰래 어업을 하는 불법 선박은 AIS 자체를 끄고 항해하기 때문에 충돌 사고로 이어질 수 있다.However, AIS is an expensive piece of equipment and is only mandatory for vessels of a certain size or larger. Other vessels do not have AIS installed. In addition, illegal vessels that fish secretly at night turn off their AIS and sail, which can lead to collision accidents.
이에, 선박 사고의 위험성을 줄이기 위하여 선박에서 카메라를 이용하여 실시간으로 물체를 인식하고 선박 진행 방향을 추적하여 진행 방향 변경 여부를 판단하는 기술이 개발되고 있다.Accordingly, in order to reduce the risk of ship accidents, technology is being developed to use cameras on ships to recognize objects in real time, track the direction of the ship's movement, and determine whether to change direction.
그러나, 대부분의 선박은 해양에서 위성통신을 사용한다는 점에서 영상의 데이터 전송량이 증가하면 인식을 위한 데이터 전송에만 많은 시간이 소요되는 문제가 있다.However, since most ships use satellite communications at sea, there is a problem that as the amount of data transmitted for images increases, it takes a lot of time just to transmit data for recognition.
본 발명의 실시예들은 선박에 설치된 카메라로부터 촬영된 영상을 빠르게 전송하기 위한 영상 처리 방법을 제공하기 위한 것이다.Embodiments of the present invention are directed to providing an image processing method for quickly transmitting an image captured from a camera installed on a ship.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 영상 처리 방법으로서, 카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성하는 단계, 상기 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 데이터 세트의 각 프레임 내의 객체를 탐지하고, 상기 탐지된 객체에 대한 경계 상자(bounding box)를 생성하는 단계, 상기 데이터 세트의 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 데이터 세트의 비교 프레임 내의 객체에 대한 비교 경계 상자들과 비교하여 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계 및 상기 전송이 판단된 객체에 대한 관심 영역(ROI)를 추출하고, 상기 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송하는 단계를 포함하는 영상 처리 방법이 제공된다.According to an exemplary embodiment of the present invention, an image processing method performed in a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors is provided, the image processing method including the steps of: extracting preset frames from a captured image input from a camera to generate a data set; detecting an object in each frame of the data set using a machine learning-based technique based on the generated data set, and generating a bounding box for the detected object; comparing candidate bounding boxes for objects in a target frame of the data set with comparison bounding boxes for objects in a comparison frame of the data set to determine whether to transmit an object in the target frame; and extracting a region of interest (ROI) for an object for which transmission is determined to be required, and transmitting an image of the region of interest for the extracted object to an external server.
상기 데이터 세트를 생성하는 단계는 상기 촬영 영상의 연속된 프레임에서 기 설정된 간격에 따라 후보 프레임을 추출하는 단계, 상기 추출한 후보 프레임 간 유사성을 비교하여 N번째 후보 프레임과 N-1번째 후보 프레임의 유사도를 산출하는 단계, 상기 산출된 유사도가 기 설정된 값보다 낮으면 상기 N번째 후보 프레임을 최종 프레임으로 선택하는 단계 및 상기 선택된 최종 프레임을 기반으로 상기 데이터 세트를 생성하는 단계를 더 포함할 수 있다.The step of generating the above data set may further include a step of extracting candidate frames from consecutive frames of the captured image at preset intervals, a step of comparing similarities between the extracted candidate frames to calculate a similarity between an Nth candidate frame and an N-1th candidate frame, a step of selecting the Nth candidate frame as a final frame if the calculated similarity is lower than a preset value, and a step of generating the data set based on the selected final frame.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계는 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일한 것으로 확인되면, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하는 단계 및 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일하지 않은 것으로 확인되면, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하는 단계를 더 포함할 수 있다.The step of determining whether to transmit an object within the target frame may further include a step of determining not to transmit an object within the target frame if the object within the target frame is determined to be identical to an object within the comparison frame, and a step of determining to transmit an object within the target frame if the object within the target frame is determined not to be identical to an object within the comparison frame.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계는 상기 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 비교 프레임 내의 객체들에 대한 비교 경계 상자 중에서 기 설정된 기준 이상의 IOU(Intersection over Union) 값을 가지는 비교 경계 상자를 추출하는 단계 및 상기 대상 프레임 내의 객체에 대한 특징점 및 후보 경계 상자와 상기 추출된 비교 프레임 내의 객체에 대한 특징점 및 비교 경계 상자를 기반으로 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계를 더 포함할 수 있다.The step of determining whether to transmit an object in the target frame may further include a step of extracting a comparison bounding box having an IOU (Intersection over Union) value greater than a preset standard from among comparison bounding boxes for objects in the comparison frame based on candidate bounding boxes for the object in the target frame, and a step of determining whether to transmit an object in the target frame based on feature points and candidate bounding boxes for the object in the target frame and feature points and comparison bounding boxes for the object in the extracted comparison frame.
상기 비교 경계 상자를 추출하는 단계는 상기 추출된 비교 경계 상자가 1개인 경우, 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하는 단계를 더 포함할 수 있다.The step of extracting the above comparison bounding box may further include a step of, if the extracted comparison bounding box is one, confirming that the object within the target frame is identical to the object within the comparison frame and determining not to transmit the object within the target frame.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계는 상기 대상 프레임 내의 객체에 대한 특징점 및 상기 추출된 비교 프레임 내의 객체에 대한 특징점을 비교하여 제1 일치율을 산출하는 단계, 상기 대상 프레임 내의 객체에 대한 후보 경계 상자와 상기 비교 프레임 내의 객체에 대한 비교 경계 상자를 비교하여 제2 일치율을 산출하는 단계 및 상기 산출된 제1 일치율 및 제2 일치율을 기반으로 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계를 더 포함할 수 있다.The step of determining whether to transmit an object within the target frame may further include a step of calculating a first matching rate by comparing feature points of the object within the target frame with feature points of the object within the extracted comparison frame, a step of calculating a second matching rate by comparing a candidate bounding box for the object within the target frame with a comparison bounding box for the object within the comparison frame, and a step of determining whether to transmit an object within the target frame based on the calculated first matching rate and second matching rate.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계는 상기 산출된 제1 일치율 및 제2 일치율이 기 설정된 기준을 만족하는 경우, 상기 기 설정된 기준을 만족하는 비교 프레임 내의 객체와 상기 대상 프레임 내의 객체가 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하는 단계 및 상기 산출된 제1 일치율 및 제2 일치율 중 적어도 하나가 상기 기 설정된 기준을 만족하지 않는 경우, 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일하지 않는 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하는 단계를 더 포함할 수 있다.The step of determining whether to transmit an object within the target frame may further include a step of, if the calculated first matching rate and the second matching rate satisfy a preset criterion, confirming that an object within the comparison frame satisfying the preset criterion is the same as an object within the target frame and determining not to transmit the object within the target frame, and a step of, if at least one of the calculated first matching rate and the second matching rate does not satisfy the preset criterion, confirming that an object within the target frame is not the same as an object within the comparison frame and determining to transmit the object within the target frame.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성하기 위한 명령, 상기 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 데이터 세트의 각 프레임 내의 객체를 탐지하고, 상기 탐지된 객체에 대한 경계 상자(bounding box)를 생성하기 위한 명령, 상기 데이터 세트의 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 데이터 세트의 비교 프레임 내의 객체에 대한 비교 경계 상자들과 비교하여 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령 및 상기 전송이 판단된 객체에 대한 관심 영역(ROI)를 추출하고, 상기 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송하기 위한 명령을 포함하는 컴퓨팅 장치가 제공된다.According to another exemplary embodiment of the present invention, a computing device is provided, comprising: one or more processors; a memory; and one or more programs, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs include: a command for extracting a preset frame from a captured image input from a camera to generate a data set; a command for detecting an object in each frame of the data set using a machine learning-based technique based on the generated data set, and generating a bounding box for the detected object; a command for comparing candidate bounding boxes for an object in a target frame of the data set with comparison bounding boxes for an object in a comparison frame of the data set to determine whether to transmit an object in the target frame; and a command for extracting a region of interest (ROI) for an object for which transmission is determined to be required, and transmitting an image of the region of interest for the extracted object to an external server.
상기 데이터 세트를 생성하기 위한 명령은 상기 촬영 영상의 연속된 프레임에서 기 설정된 간격에 따라 후보 프레임을 추출하기 위한 명령, 상기 추출한 후보 프레임 간 유사성을 비교하여 N번째 후보 프레임과 N-1번째 후보 프레임의 유사도를 산출하기 위한 명령, 상기 산출된 유사도가 기 설정된 값보다 낮으면 상기 N번째 후보 프레임을 최종 프레임으로 선택하기 위한 명령 및 상기 선택된 최종 프레임을 기반으로 상기 데이터 세트를 생성하기 위한 명령을 더 포함할 수 있다.The command for generating the above data set may further include a command for extracting candidate frames from consecutive frames of the captured image at preset intervals, a command for comparing similarities between the extracted candidate frames to calculate a similarity between an Nth candidate frame and an N-1th candidate frame, a command for selecting the Nth candidate frame as a final frame if the calculated similarity is lower than a preset value, and a command for generating the data set based on the selected final frame.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령은 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일한 것으로 확인되면, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하기 위한 명령 및 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일하지 않은 것으로 확인되면, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하기 위한 명령을 더 포함할 수 있다.The command for determining whether to transmit an object within the target frame may further include a command for determining not to transmit an object within the target frame if the object within the target frame is determined to be identical to an object within the comparison frame, and a command for determining to transmit an object within the target frame if the object within the target frame is determined not to be identical to an object within the comparison frame.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령은 상기 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 비교 프레임 내의 객체들에 대한 비교 경계 상자 중에서 기 설정된 기준 이상의 IOU(Intersection over Union) 값을 가지는 비교 경계 상자를 추출하기 위한 명령 및 상기 대상 프레임 내의 객체에 대한 특징점 및 후보 경계 상자와 상기 추출된 비교 프레임 내의 객체에 대한 특징점 및 비교 경계 상자를 기반으로 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령을 더 포함할 수 있다.The command for determining whether to transmit an object in the target frame may further include a command for extracting a comparison bounding box having an IOU (Intersection over Union) value greater than a preset standard from among comparison bounding boxes for objects in the comparison frame based on candidate bounding boxes for the objects in the target frame, and a command for determining whether to transmit an object in the target frame based on feature points and candidate bounding boxes for the objects in the target frame and feature points and comparison bounding boxes for the objects in the extracted comparison frame.
상기 비교 경계 상자를 추출하기 위한 명령은 상기 추출된 비교 경계 상자가 1개인 경우, 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하기 위한 명령을 더 포함할 수 있다.The command for extracting the above comparison bounding box may further include a command for determining, when the extracted comparison bounding box is one, that an object within the target frame is identical to an object within the comparison frame and not to transmit the object within the target frame.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령은 상기 대상 프레임 내의 객체에 대한 특징점 및 상기 추출된 비교 프레임 내의 객체에 대한 특징점을 비교하여 제1 일치율을 산출하기 위한 명령, 상기 대상 프레임 내의 객체에 대한 후보 경계 상자와 상기 비교 프레임 내의 객체에 대한 비교 경계 상자를 비교하여 제2 일치율을 산출하기 위한 명령 및 상기 산출된 제1 일치율 및 제2 일치율을 기반으로 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령을 더 포함할 수 있다.The command for determining whether to transmit an object within the target frame may further include a command for calculating a first matching rate by comparing feature points of the object within the target frame with feature points of the object within the extracted comparison frame, a command for calculating a second matching rate by comparing a candidate bounding box for the object within the target frame with a comparison bounding box for the object within the comparison frame, and a command for determining whether to transmit an object within the target frame based on the calculated first matching rate and second matching rate.
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령은 상기 산출된 제1 일치율 및 제2 일치율이 기 설정된 기준을 만족하는 경우, 상기 기 설정된 기준을 만족하는 비교 프레임 내의 객체와 상기 대상 프레임 내의 객체가 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하기 위한 명령 및 상기 산출된 제1 일치율 및 제2 일치율 중 적어도 하나가 상기 기 설정된 기준을 만족하지 않는 경우, 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일하지 않는 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하기 위한 명령을 더 포함할 수 있다.The command for determining whether to transmit an object within the target frame may further include a command for determining, if the calculated first matching rate and the second matching rate satisfy a preset criterion, that an object within the comparison frame satisfying the preset criterion is identical to an object within the target frame and not to transmit the object within the target frame, and a command for determining, if at least one of the calculated first matching rate and the second matching rate does not satisfy the preset criterion, that an object within the target frame is not identical to an object within the comparison frame and not to transmit the object within the target frame.
본 발명의 실시예들에 따르면, 실시간 객체 탐지에 적합한 YOLO(You Only Look Once; Real-Time Object Detection)를 활용하여 촬영 영상의 프레임에서 객체를 탐지하고, 탐지된 객체의 관심영역(Region of Interest; ROI)만을 전송함으로써, 선박 추적을 위한 데이터 전송량을 감소시켜 실시간으로 선박을 탐지할 수 있다.According to embodiments of the present invention, by utilizing YOLO (You Only Look Once; Real-Time Object Detection) suitable for real-time object detection, an object is detected in a frame of a captured image, and only a region of interest (ROI) of the detected object is transmitted, thereby reducing the amount of data transmitted for vessel tracking and enabling real-time vessel detection.
도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법의 단계 230을 설명하기 위한 흐름도FIG. 1 is a block diagram illustrating a computing environment including a computing device suitable for use in exemplary embodiments.
Figure 2 is a flow chart for explaining an image processing method according to one embodiment of the present invention.
FIG. 3 is a flow chart for explaining step 230 of an image processing method according to one embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to help a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안된다.In describing embodiments of the present invention, if it is judged that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms described below are terms defined in consideration of their functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definitions should be made based on the contents throughout this specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should never be limited. Unless clearly used otherwise, the singular form includes the plural form. In this description, expressions such as "comprises" or "comprising" are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, and should not be construed to exclude the presence or possibility of one or more other features, numbers, steps, operations, elements, parts or combinations thereof other than those described.
도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.FIG. 1 is a block diagram illustrating a computing environment (10) including a computing device suitable for use in exemplary embodiments. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components other than those described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예에 따른 영상 처리를 수행하기 위한 장치일 수 있다. The illustrated computing environment (10) includes a computing device (12). In one embodiment, the computing device (12) may be a device for performing image processing according to an embodiment of the present invention.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.A computing device (12) includes at least one processor (14), a computer-readable storage medium (16), and a communication bus (18). The processor (14) may cause the computing device (12) to operate in accordance with the exemplary embodiments described above. For example, the processor (14) may execute one or more programs stored in the computer-readable storage medium (16). The one or more programs may include one or more computer-executable instructions, which, when executed by the processor (14), may be configured to cause the computing device (12) to perform operations in accordance with the exemplary embodiments.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.A computer-readable storage medium (16) is configured to store computer-executable instructions or program code, program data, and/or other suitable forms of information. A program (20) stored in the computer-readable storage medium (16) includes a set of instructions executable by the processor (14). In one embodiment, the computer-readable storage medium (16) may be a memory (volatile memory such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, any other form of storage medium that can be accessed by the computing device (12) and capable of storing desired information, or a suitable combination thereof.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.A communication bus (18) interconnects various other components of the computing device (12), including the processor (14) and computer-readable storage media (16).
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.The computing device (12) may also include one or more input/output interfaces (22) that provide interfaces for one or more input/output devices (24) and one or more network communication interfaces (26). The input/output interfaces (22) and the network communication interfaces (26) are coupled to the communication bus (18). The input/output devices (24) may be coupled to other components of the computing device (12) via the input/output interfaces (22). Exemplary input/output devices (24) may include input devices such as a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or a touchscreen), a voice or sound input device, various types of sensor devices and/or photographing devices, and/or output devices such as a display device, a printer, speakers, and/or a network card. The exemplary input/output devices (24) may be included within the computing device (12) as a component that constitutes the computing device (12), or may be coupled to the computing device (12) as a separate device distinct from the computing device (12).
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법의 구성을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 영상 처리 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다. FIG. 2 is a flow chart for explaining the configuration of an image processing method according to one embodiment of the present invention. As described above, the image processing method according to one embodiment of the present invention can be performed in a computing device (12) having one or more processors and a memory storing one or more programs executed by the one or more processors. To this end, the image processing method can be implemented in the form of a program or software including one or more computer-executable instructions and stored on the memory.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.In addition, although the method is described as being divided into a plurality of steps in the illustrated flow chart, at least some of the steps may be performed in a different order, performed together with other steps, omitted, performed by dividing into sub-steps, or performed by adding one or more steps that are not illustrated.
단계 210에서, 컴퓨팅 장치(12)는 카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성한다. 여기서, 카메라는 선박에 설치되어 선박을 포함하는 해양의 영상을 촬영할 수 있다. 구체적으로, 컴퓨팅 장치(12)는 촬영 영상의 연속된 프레임에서 일정 간격에 해당하는 후보 프레임을 추출할 수 있다. 또한, 컴퓨팅 장치(12)는 추출한 후보 프레임(일정 간격에 해당하는 프레임) 간 유사성을 비교하여 N번째 후보 프레임과 N-1번째 후보 프레임의 유사도가 기 설정된 값보다 높으면 N번째 후보 프레임을 제외하고, N번째 후보 프레임과 N-1번째 후보 프레임의 유사도가 기 설정된 값보다 낮으면 N번째 후보 프레임을 최종 프레임으로 선택할 수 있다. 컴퓨팅 장치(12)는 선택된 최종 프레임을 기반으로 데이터 세트를 생성할 수 있다. 즉, 촬영 영상의 연속된 프레임에서 유사한 프레임들을 제외하고 데이터 세트를 생성함으로써, 1차적으로 데이터 양을 줄일 수 있다.In step 210, the computing device (12) extracts preset frames from the captured image input from the camera to generate a data set. Here, the camera may be installed on a ship and may capture images of the ocean including the ship. Specifically, the computing device (12) may extract candidate frames corresponding to a predetermined interval from continuous frames of the captured image. In addition, the computing device (12) may compare the similarity between the extracted candidate frames (frames corresponding to a predetermined interval), and if the similarity between the Nth candidate frame and the N-1th candidate frame is higher than a preset value, the Nth candidate frame may be excluded, and if the similarity between the Nth candidate frame and the N-1th candidate frame is lower than a preset value, the Nth candidate frame may be selected as the final frame. The computing device (12) may generate a data set based on the selected final frame. That is, by generating a data set by excluding similar frames from continuous frames of the captured image, the amount of data may be primarily reduced.
단계 220에서, 컴퓨팅 장치(12)는 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 데이터 세트의 각 프레임 내의 객체를 탐지하고, 객체에 대한 경계 상자(bounding box)를 생성한다. 구체적으로, 컴퓨팅 장치(12)는 데이터 세트가 입력되는 경우, 이미 학습된 객체 탐지 모델을 기반으로 머신러닝(Machine Learning)을 수행하여 데이터 세트에서 객체를 탐지하고, 객체에 대한 경계 상자를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 머신러닝 기술로 YOLO(You Only Look Once: Real-Time Object Detection)를 이용할 수 있다.In step 220, the computing device (12) detects an object in each frame of the data set using a machine learning-based technology based on the generated data set, and generates a bounding box for the object. Specifically, when a data set is input, the computing device (12) can perform machine learning based on an object detection model that has already been learned to detect an object in the data set, and generate a bounding box for the object. For example, the computing device (12) can use YOLO (You Only Look Once: Real-Time Object Detection) as a machine learning technology.
단계 230에서, 컴퓨팅 장치(12)는 데이터 세트의 대상 프레임(N번째 프레임) 내의 객체에 대한 후보 경계 상자를 기반으로 데이터 세트의 비교 프레임(N-1번째 프레임) 내의 객체에 대한 비교 경계 상자들과 비교하여 해당 객체에 대한 전송 여부를 결정한다. 여기서, 대상 프레임은 전송 여부를 결정하기 위한 객체를 포함하는 데이터 세트의 프레임 중 어느 하나일 수 있다. 또한, 비교 프레임은 대상 프레임과 비교하기 위한 대상 프레임의 이전 프레임(N-1번째 프레임)일 수 있다. 이 때, 컴퓨팅 장치(12)는 대상 프레임 내의 객체가 비교 프레임 내의 객채와 동일한 것으로 판단되면, 해당 객체에 대한 전송을 하지 않는 것으로 결정할 수 있다. 또한, 컴퓨팅 장치(12)는 대상 프레임 내의 객체가 비교 프레임 내의 객채와 동일하지 않은 것으로 판단되면, 해당 객체에 대한 전송을 결정할 수 있다.In step 230, the computing device (12) determines whether to transmit the object by comparing the candidate bounding boxes for the object in the target frame (Nth frame) of the data set with the comparison bounding boxes for the object in the comparison frame (N-1th frame) of the data set based on the candidate bounding boxes for the object in the target frame (Nth frame) of the data set. Here, the target frame may be any one of the frames of the data set including the object for determining whether to transmit. In addition, the comparison frame may be a previous frame (N-1th frame) of the target frame for comparison with the target frame. In this case, if the computing device (12) determines that the object in the target frame is identical to the object in the comparison frame, it may determine not to transmit the object. In addition, if the computing device (12) determines that the object in the target frame is not identical to the object in the comparison frame, it may determine to transmit the object.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법의 단계 230을 설명하기 위한 흐름도이다.FIG. 3 is a flowchart for explaining step 230 of an image processing method according to one embodiment of the present invention.
단계 232에서, 컴퓨팅 장치(12)는 데이터 세트의 대상 프레임(N번째 프레임) 내의 객체에 대한 후보 경계 상자를 기반으로 데이터 세트의 비교 프레임(N-1번째 프레임) 내의 객체들에 대한 비교 경계 상자 중에서 기 설정된 기준 이상의 IOU(Intersection over Union) 값을 가지는 비교 경계 상자를 추출할 수 있다. 구체적으로, 컴퓨팅 장치(12)는 대상 프레임 내의 객체 중 어느 하나의 객체에 대한 후보 경계 상자와 비교 프레임 내의 객채에 비교 경계 상자들과의 IOU 값을 각각 산출하고, 산출된 IOU 값이 기 설정된 기준 이상인 비교 프레임 내의 비교 경계 상자를 추출할 수 있다. 여기서, IOU(Intersection over Union)는 후보 경계 상자와 비교 경계 상자 간의 겹치는 영역에 대한 수치(0~1의 값을 가짐)일 수 있다. 또한, 기 설정된 기준 이상의 IOU 값은 0.2이상의 값일 수 있다.In step 232, the computing device (12) can extract a comparison bounding box having an IOU (Intersection over Union) value greater than or equal to a preset criterion among the comparison bounding boxes for objects in the comparison frame (N-1th frame) of the data set based on the candidate bounding box for the object in the target frame (Nth frame) of the data set. Specifically, the computing device (12) can calculate an IOU value between the candidate bounding box for one of the objects in the target frame and the comparison bounding boxes for the objects in the comparison frame, and extract a comparison bounding box in the comparison frame whose calculated IOU value is greater than or equal to the preset criterion. Here, the IOU (Intersection over Union) can be a numerical value (having a value of 0 to 1) for an overlapping area between the candidate bounding box and the comparison bounding box. In addition, the IOU value greater than or equal to the preset criterion can be a value of 0.2 or more.
한편, 컴퓨팅 장치(12)는 단계 232에서, 추출된 비교 경계 상자가 1개인 경우에는 대상 프레임 내의 객체가 비교 프레임 내의 객체와 동일한 것으로 판단하고, 해당 객체에 대한 전송을 하지 않는 것으로 결정할 수 있다. Meanwhile, in step 232, if there is only one extracted comparison bounding box, the computing device (12) may determine that the object in the target frame is the same as the object in the comparison frame and decide not to transmit the object.
단계 234에서, 컴퓨팅 장치(12)는 대상 프레임 내의 객체에 대한 특징점 및 후보 경계 상자와 추출된 비교 프레임 내의 객체에 대한 특징점 및 비교 경계 상자를 기반으로 해당 객체에 대한 전송 여부를 결정할 수 있다. 구체적으로, 컴퓨팅 장치(12)는 대상 프레임 내의 객체에 대한 특징점 및 추출된 비교 프레임 내의 객체에 대한 특징점을 비교하여 제1 일치율를 산출할 수 있다. 또한, 컴퓨팅 장치(12)는 대상 프레임 내의 객체에 대한 후보 경계 상자와 비교 프레임 내의 객체에 대한 비교 경계 상자를 비교하여 제2 일치율을 산출할 수 있다. 컴퓨팅 장치(12)는 산출된 제1 일치율 및 산출된 제2 일치율을 기반으로 해당 객체에 대한 전송 여부를 결정할 수 있다.In step 234, the computing device (12) can determine whether to transmit the object based on the feature points and candidate bounding boxes for the object in the target frame and the feature points and comparison bounding boxes for the object in the extracted comparison frame. Specifically, the computing device (12) can compare the feature points for the object in the target frame and the feature points for the object in the extracted comparison frame to calculate a first matching rate. In addition, the computing device (12) can compare the candidate bounding boxes for the object in the target frame and the comparison bounding boxes for the object in the comparison frame to calculate a second matching rate. The computing device (12) can determine whether to transmit the object based on the calculated first matching rate and the calculated second matching rate.
예를 들어, 컴퓨팅 장치(12)는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 이용하여 대상 프레임 내의 객체에 대한 특징점 및 추출된 비교 프레임 내의 객체에 대한 특징점 간의 제1 일치율을 산출할 수 있다. 또한, 컴퓨팅 장치(12)는 매칭(size matching) 알고리즘을 이용하여 대상 프레임 내의 객체에 대한 후보 경계 상자 및 비교 프레임 내의 객체에 대한 비교 경계 상자 간의 제2 일치율을 산출할 수 있다. For example, the computing device (12) can calculate a first matching rate between feature points for an object in a target frame and feature points for an object in an extracted comparison frame using an Oriented FAST and Rotated BRIEF (ORB) algorithm. In addition, the computing device (12) can calculate a second matching rate between a candidate bounding box for an object in a target frame and a comparison bounding box for an object in a comparison frame using a matching (size matching) algorithm.
또한, 컴퓨팅 장치(12)는 산출된 제1 일치율 및 산출된 제2 일치율이 기 설정된 기준을 만족하는 경우, 기 설정된 기준을 만족하는 비교 프레임 내의 객체와 대상 프레임 내의 객체가 동일한 것으로 판단하고, 해당 객체에 대한 전송을 하지 않는 것으로 결정할 수 있다. 여기서, 기 설정된 기준은 제1 일치율이 0.3을 초과하는 값을 가지고, 제2 일치율이 0.9 이상 1.1 이하인 값을 가질 수 있다.In addition, the computing device (12) may determine that an object in a comparison frame satisfying the preset criteria and an object in a target frame are the same if the calculated first matching rate and the calculated second matching rate satisfy preset criteria, and may determine not to transmit the object. Here, the preset criteria may be a first matching rate having a value exceeding 0.3, and a second matching rate having a value of 0.9 or more and 1.1 or less.
또한, 컴퓨팅 장치(12)는 산출된 제1 일치율 및 산출된 제2 일치율 중 적어도 하나가 기 설정된 기준을 만족하지 않는 경우, 대상 프레임 내의 객체가 비교 프레임 내의 객체와 동일하지 않은 것으로 판단하고, 해당 객체에 대한 전송을 결정할 수 있다. 이 때, 컴퓨팅 장치(12)는 대상 프레임 내의 객체에 대한 탐지 정확도를 추출하여 탐지 정확도가 기 설정된 기준 이하(예를 들어, 0.6 이하)인 경우에는 오탐으로 판단할 수 있다. 여기서, 탐지 정확도는 YOLO에서 탐지한 객체 정확도일 수 있다.In addition, if at least one of the calculated first matching rate and the calculated second matching rate does not satisfy a preset criterion, the computing device (12) may determine that the object in the target frame is not identical to the object in the comparison frame and may determine transmission of the object. At this time, the computing device (12) may extract the detection accuracy for the object in the target frame and determine that it is a false detection if the detection accuracy is lower than the preset criterion (for example, lower than 0.6). Here, the detection accuracy may be the object accuracy detected by YOLO.
즉, 1차적으로 데이터 양이 줄어든 데이터 세트에서 프레임 간 객체를 비교하여 동일한 객체는 전송하지 않고, 새로 발견된 객체만 전송함으로써, 전송되는 데이터 양을 줄일 수 있다.That is, by first comparing objects between frames in a data set with a reduced amount of data and transmitting only newly discovered objects while not transmitting identical objects, the amount of data transmitted can be reduced.
단계 240에서, 컴퓨팅 장치(12)는 전송이 결정된 객체에 대한 관심 영역(ROI)를 추출하고 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송할 수 있다. 여기서, 외부 서버는 클라우드 서버, 항만관제 서버 등 관심 영역 이미지를 수신하여 선박을 추적하기 위한 서버일 수 있다. In step 240, the computing device (12) can extract a region of interest (ROI) for an object for which transmission has been determined and transmit an image of the region of interest for the extracted object to an external server. Here, the external server can be a server for receiving the image of the region of interest, such as a cloud server or a port control server, to track a ship.
따라서, 본 발명의 일 실시예에 따른 영상 처리 방법은 실시간 객체 탐지에 적합한 YOLO를 활용하여 촬영 영상의 프레임에서 객체를 탐지하고, 탐지된 객체의 관심영역만을 전송하되, 프레임 간 객체를 비교하여 동일한 객체는 전송하지 않고, 새로 발견된 객체만 전송함으로써, 선박 추적을 위한 데이터 전송량을 감소시켜 실시간으로 선박을 탐지할 수 있다.Therefore, an image processing method according to one embodiment of the present invention utilizes YOLO, which is suitable for real-time object detection, to detect an object in a frame of a captured image, transmit only a region of interest of the detected object, and compare objects between frames, do not transmit identical objects, and transmit only newly discovered objects, thereby reducing the amount of data transmitted for ship tracking, thereby enabling real-time detection of a ship.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those skilled in the art will understand that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. Therefore, the scope of the rights of the present invention should not be limited to the described embodiments, but should be determined not only by the claims described below but also by equivalents of the claims.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스10: Computing Environment
12: Computing Devices
14: Processor
16: Computer readable storage medium
18: Communication bus
20: Program
22: Input/output interface
24: Input/output devices
26: Network Communication Interface
Claims (15)
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 영상 처리 방법으로서,
카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성하는 단계;
상기 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 데이터 세트의 각 프레임 내의 객체를 탐지하고, 상기 탐지된 객체에 대한 경계 상자(bounding box)를 생성하는 단계;
상기 데이터 세트의 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 데이터 세트의 비교 프레임 내의 객체에 대한 비교 경계 상자들과 비교하여 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계; 및
상기 전송이 판단된 객체에 대한 관심 영역(ROI)를 추출하고, 상기 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송하는 단계를 포함하며,
상기 데이터 세트를 생성하는 단계는,
상기 촬영 영상의 연속된 프레임에서 기 설정된 간격에 따라 후보 프레임을 추출하는 단계;
상기 추출한 후보 프레임 간 유사성을 비교하여 N번째 후보 프레임과 N-1번째 후보 프레임의 유사도를 산출하는 단계;
상기 산출된 유사도가 기 설정된 값보다 낮으면 상기 N번째 후보 프레임을 최종 프레임으로 선택하는 단계; 및
상기 선택된 최종 프레임을 기반으로 상기 데이터 세트를 생성하는 단계를 더 포함하며,
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하는 단계는,
상기 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 비교 프레임 내의 객체들에 대한 비교 경계 상자 중에서 기 설정된 기준 이상의 IOU(Intersection over Union) 값을 가지는 비교 경계 상자를 추출하는 단계;
상기 대상 프레임 내의 객체에 대한 특징점 및 상기 추출된 비교 경계 상자 내의 객체에 대한 특징점을 비교하여 제1 일치율을 산출하는 단계;
매칭(size matching) 알고리즘을 이용하여 상기 대상 프레임 내의 객체에 대한 후보 경계 상자와 상기 추출된 비교 경계 상자를 비교하여 제2 일치율을 산출하는 단계;
상기 산출된 제1 일치율 및 제2 일치율이 기 설정된 기준을 만족하는 경우, 상기 기 설정된 기준을 만족하는 상기 추출된 비교 경계 상자 내의 객체와 상기 대상 프레임 내의 객체가 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하는 단계; 및
상기 산출된 제1 일치율 및 제2 일치율 중 적어도 하나가 상기 기 설정된 기준을 만족하지 않는 경우, 상기 대상 프레임 내의 객체가 상기 추출된 비교 경계 상자 내의 객체와 동일하지 않는 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하는 단계를 더 포함하는, 영상 처리 방법.
one or more processors, and
An image processing method performed on a computing device having a memory storing one or more programs executed by one or more processors,
A step of generating a data set by extracting preset frames from a captured image input from a camera;
A step of detecting an object within each frame of the data set using a machine learning-based technique based on the generated data set and generating a bounding box for the detected object;
A step of determining whether to transmit an object in the target frame by comparing the candidate bounding boxes for the object in the target frame of the data set with the comparison bounding boxes for the object in the comparison frame of the data set; and
The above transmission comprises a step of extracting a region of interest (ROI) for the determined object and transmitting an image of the region of interest for the extracted object to an external server.
The steps for generating the above data set are:
A step of extracting candidate frames at preset intervals from consecutive frames of the above-described captured video;
A step of calculating the similarity between the Nth candidate frame and the N-1th candidate frame by comparing the similarity between the candidate frames extracted above;
a step of selecting the Nth candidate frame as the final frame if the calculated similarity is lower than a preset value; and
Further comprising the step of generating the data set based on the selected final frame,
The step of determining whether to transmit an object within the above target frame is as follows:
A step of extracting a comparison bounding box having an IOU (Intersection over Union) value greater than a preset standard among the comparison bounding boxes for objects in the comparison frame based on the candidate bounding boxes for objects in the target frame;
A step of calculating a first matching rate by comparing feature points for an object within the target frame and feature points for an object within the extracted comparison bounding box;
A step of calculating a second matching rate by comparing the candidate bounding box for the object in the target frame with the extracted comparison bounding box using a matching (size matching) algorithm;
If the first matching rate and the second matching rate calculated above satisfy the preset criteria, a step of confirming that the object within the extracted comparison bounding box satisfying the preset criteria is the same as the object within the target frame, and determining not to transmit the object within the target frame; and
An image processing method further comprising a step of determining that an object within the target frame is not identical to an object within the extracted comparison bounding box and transmitting the object within the target frame, if at least one of the first matching rate and the second matching rate calculated above does not satisfy the preset criterion.
상기 비교 경계 상자를 추출하는 단계는,
상기 추출된 비교 경계 상자가 1개인 경우, 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하는 단계를 더 포함하는, 영상 처리 방법.
In claim 1,
The step of extracting the above comparison bounding box is:
An image processing method further comprising a step of determining that an object within the target frame is identical to an object within the comparison frame if the number of the extracted comparison bounding boxes is one, and not transmitting the object within the target frame.
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성하기 위한 명령;
상기 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 데이터 세트의 각 프레임 내의 객체를 탐지하고, 상기 탐지된 객체에 대한 경계 상자(bounding box)를 생성하기 위한 명령;
상기 데이터 세트의 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 데이터 세트의 비교 프레임 내의 객체에 대한 비교 경계 상자들과 비교하여 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령; 및
상기 전송이 판단된 객체에 대한 관심 영역(ROI)를 추출하고, 상기 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송하기 위한 명령을 포함하며,
상기 데이터 세트를 생성하기 위한 명령은,
상기 촬영 영상의 연속된 프레임에서 기 설정된 간격에 따라 후보 프레임을 추출하기 위한 명령;
상기 추출한 후보 프레임 간 유사성을 비교하여 N번째 후보 프레임과 N-1번째 후보 프레임의 유사도를 산출하기 위한 명령;
상기 산출된 유사도가 기 설정된 값보다 낮으면 상기 N번째 후보 프레임을 최종 프레임으로 선택하기 위한 명령; 및
상기 선택된 최종 프레임을 기반으로 상기 데이터 세트를 생성하기 위한 명령을 더 포함하며,
상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위한 명령은,
상기 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 비교 프레임 내의 객체들에 대한 비교 경계 상자 중에서 기 설정된 기준 이상의 IOU(Intersection over Union) 값을 가지는 비교 경계 상자를 추출하기 위한 명령;
상기 대상 프레임 내의 객체에 대한 특징점 및 상기 추출된 비교 경계 상자 내의 객체에 대한 특징점을 비교하여 제1 일치율을 산출하기 위한 명령;
매칭(size matching) 알고리즘을 이용하여 상기 대상 프레임 내의 객체에 대한 후보 경계 상자와 상기 추출된 비교 경계 상자를 비교하여 제2 일치율을 산출하기 위한 명령;
상기 산출된 제1 일치율 및 제2 일치율이 기 설정된 기준을 만족하는 경우, 상기 기 설정된 기준을 만족하는 상기 추출된 비교 경계 상자 내의 객체와 상기 대상 프레임 내의 객체가 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하기 위한 명령; 및
상기 산출된 제1 일치율 및 제2 일치율 중 적어도 하나가 상기 기 설정된 기준을 만족하지 않는 경우, 상기 대상 프레임 내의 객체가 상기 추출된 비교 경계 상자 내의 객체와 동일하지 않는 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
One or more processors;
memory; and
Contains one or more programs,
The one or more programs are stored in the memory and configured to be executed by the one or more processors,
One or more of the above programs,
A command to create a data set by extracting preset frames from a captured image received from a camera;
A command for detecting an object within each frame of the data set using a machine learning-based technique based on the generated data set and generating a bounding box for the detected object;
A command for determining whether to transmit an object in the target frame by comparing the candidate bounding boxes for the object in the target frame of the data set with the comparison bounding boxes for the object in the comparison frame of the data set; and
The above transmission includes a command for extracting a region of interest (ROI) for the judged object and transmitting an image of the region of interest for the extracted object to an external server.
The command to create the above data set is:
A command for extracting candidate frames at preset intervals from consecutive frames of the above-described captured video;
A command to compare the similarity between the candidate frames extracted above and calculate the similarity between the Nth candidate frame and the N-1th candidate frame;
A command to select the Nth candidate frame as the final frame if the calculated similarity is lower than a preset value; and
Further comprising a command for generating the data set based on the selected final frame,
The command to determine whether to transmit an object within the above target frame is:
A command for extracting a comparison bounding box having an IOU (Intersection over Union) value greater than a preset criterion among the comparison bounding boxes for objects in the comparison frame based on candidate bounding boxes for objects in the target frame;
A command for calculating a first matching rate by comparing feature points for an object within the target frame with feature points for an object within the extracted comparison bounding box;
A command to compare a candidate bounding box for an object in the target frame with the extracted comparison bounding box using a size matching algorithm to produce a second matching rate;
If the first matching rate and the second matching rate calculated above satisfy the preset criteria, a command for determining that the object within the extracted comparison bounding box satisfying the preset criteria is the same as the object within the target frame, and not to transmit the object within the target frame; and
A computing device further comprising a command for determining that an object within the target frame is not identical to an object within the extracted comparison bounding box and for determining to transmit the object within the target frame, if at least one of the first matching rate and the second matching rate calculated above does not satisfy the preset criterion.
상기 비교 경계 상자를 추출하기 위한 명령은,
상기 추출된 비교 경계 상자가 1개인 경우, 상기 대상 프레임 내의 객체가 상기 비교 프레임 내의 객체와 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
In claim 8,
The command to extract the above comparison bounding box is:
A computing device further comprising a command for determining, when the extracted comparison bounding box is one, that an object within the target frame is identical to an object within the comparison frame and not to transmit the object within the target frame.
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
카메라로부터 입력받은 촬영 영상에서 기 설정된 프레임을 추출하여 데이터 세트를 생성하고,
상기 생성된 데이터 세트를 기반으로 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 데이터 세트의 각 프레임 내의 객체를 탐지하고, 상기 탐지된 객체에 대한 경계 상자(bounding box)를 생성하고,
상기 데이터 세트의 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 데이터 세트의 비교 프레임 내의 객체에 대한 비교 경계 상자들과 비교하여 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하고, 그리고
상기 전송이 판단된 객체에 대한 관심 영역(ROI)를 추출하고, 상기 추출한 객체에 대한 관심 영역 이미지를 외부 서버로 전송하도록 하며,
상기 컴퓨터 프로그램은, 상기 데이터 세트를 생성하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 촬영 영상의 연속된 프레임에서 기 설정된 간격에 따라 후보 프레임을 추출하고,
상기 추출한 후보 프레임 간 유사성을 비교하여 N번째 후보 프레임과 N-1번째 후보 프레임의 유사도를 산출하고,
상기 산출된 유사도가 기 설정된 값보다 낮으면 상기 N번째 후보 프레임을 최종 프레임으로 선택하고, 그리고,
상기 선택된 최종 프레임을 기반으로 상기 데이터 세트를 생성하도록 하며,
상기 컴퓨터 프로그램은, 상기 대상 프레임 내의 객체에 대한 전송 여부를 판단하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 대상 프레임 내의 객체에 대한 후보 경계 상자를 기반으로 상기 비교 프레임 내의 객체들에 대한 비교 경계 상자 중에서 기 설정된 기준 이상의 IOU(Intersection over Union) 값을 가지는 비교 경계 상자를 추출하고,
상기 대상 프레임 내의 객체에 대한 특징점 및 상기 추출된 비교 경계 상자 내의 객체에 대한 특징점을 비교하여 제1 일치율을 산출하고,
매칭(size matching) 알고리즘을 이용하여 상기 대상 프레임 내의 객체에 대한 후보 경계 상자와 상기 추출된 비교 경계 상자를 비교하여 제2 일치율을 산출하고,
상기 산출된 제1 일치율 및 제2 일치율이 기 설정된 기준을 만족하는 경우, 상기 기 설정된 기준을 만족하는 상기 추출된 비교 경계 상자 내의 객체와 상기 대상 프레임 내의 객체가 동일한 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하지 않는 것으로 판단하고, 그리고,
상기 산출된 제1 일치율 및 제2 일치율 중 적어도 하나가 상기 기 설정된 기준을 만족하지 않는 경우, 상기 대상 프레임 내의 객체가 상기 추출된 비교 경계 상자 내의 객체와 동일하지 않는 것으로 확인하고, 상기 대상 프레임 내의 객체에 대한 전송을 하는 것으로 판단하도록 하는, 컴퓨터 프로그램.
A computer program stored in a non-transitory computer readable storage medium,
The computer program comprises one or more instructions, which, when executed by a computing device having one or more processors, cause the computing device to:
Create a data set by extracting preset frames from the captured video input from the camera,
Based on the above generated data set, a machine learning-based technique is used to detect objects within each frame of the data set, and a bounding box for the detected objects is generated.
Based on the candidate bounding boxes for the objects in the target frame of the above data set, comparing them with the comparison bounding boxes for the objects in the comparison frame of the above data set to determine whether to transmit the objects in the target frame, and
The above transmission extracts a region of interest (ROI) for the judged object, and transmits an image of the region of interest for the extracted object to an external server.
The above computer program causes the computing device to generate the above data set,
Extract candidate frames at preset intervals from consecutive frames of the above-mentioned captured video,
By comparing the similarity between the candidate frames extracted above, the similarity between the Nth candidate frame and the N-1th candidate frame is calculated,
If the calculated similarity is lower than the preset value, the Nth candidate frame is selected as the final frame, and then
To generate the above data set based on the above selected final frame,
The above computer program causes the computing device to determine whether to transmit an object within the target frame.
Based on the candidate bounding boxes for objects in the target frame, a comparison bounding box having an IOU (Intersection over Union) value greater than a preset standard is extracted from among the comparison bounding boxes for objects in the comparison frame.
Comparing the feature points for the object within the target frame and the feature points for the object within the extracted comparison bounding box, and calculating the first matching rate,
A second matching rate is calculated by comparing the candidate bounding box for the object in the target frame with the extracted comparison bounding box using a matching (size matching) algorithm,
If the first matching rate and the second matching rate calculated above satisfy the preset criteria, it is confirmed that the object within the extracted comparison bounding box satisfying the preset criteria is the same as the object within the target frame, and it is determined not to transmit the object within the target frame, and,
A computer program that determines that an object within the target frame is not identical to an object within the extracted comparison bounding box and determines to transmit the object within the target frame if at least one of the first matching rate and the second matching rate calculated above does not satisfy the preset criterion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220012265A KR102816817B1 (en) | 2022-01-27 | 2022-01-27 | Method for processing image and computing device for executing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220012265A KR102816817B1 (en) | 2022-01-27 | 2022-01-27 | Method for processing image and computing device for executing the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230115605A KR20230115605A (en) | 2023-08-03 |
| KR102816817B1 true KR102816817B1 (en) | 2025-06-04 |
Family
ID=87567956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220012265A Active KR102816817B1 (en) | 2022-01-27 | 2022-01-27 | Method for processing image and computing device for executing the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102816817B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102604448B1 (en) * | 2023-08-28 | 2023-11-20 | 우수연 | Unattended device for providing tarot service and method for providing tarot service using the same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110078340A (en) | 2009-12-31 | 2011-07-07 | (주)신동디지텍 | Marine Vessel Video Tracking System |
| CA3000127C (en) * | 2016-12-05 | 2020-06-02 | Richard Butt | System and method for appearance search |
| KR20210041812A (en) * | 2019-10-08 | 2021-04-16 | 한국전자통신연구원 | Method and system for generating parse tree for a video data |
| KR20210056899A (en) * | 2019-11-11 | 2021-05-20 | 삼성전자주식회사 | Methods and systems for real-time data reduction |
-
2022
- 2022-01-27 KR KR1020220012265A patent/KR102816817B1/en active Active
Non-Patent Citations (3)
| Title |
|---|
| 한국 공개특허공보 제10-2019-0099443호(2019.08.27.) 1부.* |
| 한국 공개특허공보 제10-2021-0041812호(2021.04.16.) 1부.* |
| 한국 공개특허공보 제10-2021-0056899호(2021.05.20.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230115605A (en) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10672131B2 (en) | Control method, non-transitory computer-readable storage medium, and control apparatus | |
| Yao et al. | LiDAR-based simultaneous multi-object tracking and static mapping in nearshore scenario | |
| US20200302639A1 (en) | Apparatus and method for managing feature point map | |
| CN111079570A (en) | Human body key point identification method and device and electronic equipment | |
| CN111382637B (en) | Pedestrian detection tracking method, device, terminal equipment and medium | |
| Chen et al. | Ship target detection algorithm based on improved YOLOv3 for maritime image | |
| Yu et al. | Object detection-tracking algorithm for unmanned surface vehicles based on a radar-photoelectric system | |
| CN111354022A (en) | Target tracking method and system based on kernel correlation filtering | |
| KR102816817B1 (en) | Method for processing image and computing device for executing the method | |
| US20240270359A1 (en) | Ship monitoring device, ship monitoring method and non-transitory computer-readable recording medium | |
| CN116310873A (en) | Ship target identification method, device, medium and equipment based on satellite remote sensing | |
| US11301692B2 (en) | Information processing apparatus, control method, and program | |
| Yang et al. | ShadowFPN-YOLO: A Real-Time NMS-Free Detector for Remote Sensing Ship Detection | |
| CN114881946B (en) | A virtual listing method for aircraft based on ADS-B information and time-space matching | |
| US20250277908A1 (en) | Lidar-based map generation method and device therefor | |
| Chen et al. | Target Ship Recognition and Tracking with Data Fusion Based on Bi-YOLO and OC-SORT Algorithms for Enhancing Ship Navigation Assistance | |
| CN115082811A (en) | Method for identifying and measuring distance of marine navigation ship according to image data | |
| CN114646965B (en) | Sonar control method, device and control equipment | |
| US20230196773A1 (en) | Object detection device, object detection method, and computer-readable storage medium | |
| Li et al. | An Algorithm for Ship Detection in Complex Observation Scenarios Based on Mooring Buoys. | |
| Zhang et al. | Visual perception for long-distance and small target detection in autonomous maritime navigation | |
| KR101607004B1 (en) | Ship recognition device and Ship recognition method | |
| KR102828200B1 (en) | Action segmentation method and computing device for executing the method | |
| KR20240165756A (en) | Object tracking method and apparatus for executing the method | |
| Xu et al. | An overview of robust maritime situation awareness methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220127 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20241128 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20250528 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20250530 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20250530 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |