[go: up one dir, main page]

KR102681262B1 - 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR102681262B1
KR102681262B1 KR1020210121010A KR20210121010A KR102681262B1 KR 102681262 B1 KR102681262 B1 KR 102681262B1 KR 1020210121010 A KR1020210121010 A KR 1020210121010A KR 20210121010 A KR20210121010 A KR 20210121010A KR 102681262 B1 KR102681262 B1 KR 102681262B1
Authority
KR
South Korea
Prior art keywords
target object
combined image
recognition model
images
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210121010A
Other languages
English (en)
Other versions
KR20230000390A (ko
Inventor
정중은
Original Assignee
수퍼빈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수퍼빈 주식회사 filed Critical 수퍼빈 주식회사
Publication of KR20230000390A publication Critical patent/KR20230000390A/ko
Application granted granted Critical
Publication of KR102681262B1 publication Critical patent/KR102681262B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 태양에 따르면, 객체 인식 모델의 학습을 관리하기 위한 방법으로서, 타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성하는 단계, 및 상기 결합 이미지 내의 상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 연관되는 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시키는 단계를 포함하는 방법이 제공된다.

Description

객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR MANAGING TRAINING OF MODEL FOR OBJECT DETECTION}
본 발명은 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근 인공지능을 이용한 객체 인식(object detection) 기술은 다양한 산업 분야에서 이용되고 있다. 특히, 폐기물 처리 산업 분야에서는 폐기물 중에서 재활용이 가능한 대상을 선별하기 위하여 인공지능 모델을 이용한 객체 인식 기술을 이용하고 있다.
통상적으로 폐기물 처리 산업 분야에서 사용되는 재활용 대상 선별 기기는 상부에 설치되어 바닥면을 향하는 하나의 광학 카메라를 이용하여 폐기물 중에서 재활용이 가능한 대상을 선별하고 있다. 하지만, 이 경우에 사물의 입체 정보를 획득하는 것이 어려워 정확한 선별을 하기에는 한계가 있다.
폐기물의 입체적 정보를 획득하기 위하여 복수의 카메라를 구비하고 복수의 카메라로부터 획득된 이미지를 각각 다른 인공지능 모델을 이용하여 객체 인식을 수행하고 그 수행 결과를 종합하여 재활용이 가능한 대상을 선별하는 방안을 고려해 볼 수 있으나, 복수의 카메라로부터 획득된 이미지마다 각각 다른 인공지능 모델을 이용하여 객체 인식을 수행하는 것은 재활용이 가능한 대상을 선별하기 위한 전체 과정의 복잡도 및 연산 부하를 증가시키는 문제점이 있다.
한국등록특허공보 제10-2060567호(2019.12.30)
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은, 타겟 객체를 서로 다른 각도(또는 방향)로 촬영한 복수의 이미지를 연결하여 생성되는 결합 이미지에 기초하여 객체 인식 모델을 학습시킴으로써, 객체 인식 모델의 객체 인식 정확도를 향상시키는 것을 다른 목적으로 한다.
또한, 본 발명은, 타겟 객체를 서로 다른 각도(또는 방향)로 촬영한 복수의 이미지를 연결하여 생성되는 결합 이미지에 기초하여 객체 인식 모델을 학습시킴으로써, 객체 인식 모델을 이용하여 타겟 객체에 관한 정보를 출력하기 위한 과정을 간소화하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 객체 인식 모델의 학습을 관리하기 위한 방법으로서, 타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성하는 단계, 및 상기 결합 이미지 내의 상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 연관되는 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시키는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 객체 인식 모델의 학습을 관리하기 위한 시스템으로서, 타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성하는 이미지 생성부, 및 상기 결합 이미지 내의 상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 연관되는 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시키는 학습 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 타겟 객체를 서로 다른 각도(또는 방향)로 촬영한 복수의 이미지를 연결하여 생성되는 결합 이미지에 기초하여 객체 인식 모델을 학습시킴으로써, 객체 인식 모델의 객체 인식 정확도를 향상시킬 수 있게 된다.
또한, 본 발명에 의하면, 타겟 객체를 서로 다른 각도(또는 방향)로 촬영한 복수의 이미지를 연결하여 생성되는 결합 이미지에 기초하여 객체 인식 모델을 학습시킴으로써, 객체 인식 모델을 이용하여 타겟 객체에 관한 정보를 출력하기 위한 과정을 간소화할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 객체 인식 모델의 학습을 관리하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습 관리 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 디바이스를 예시적으로 나타내는 도면이다.
도 4의 (a) 내지 도 4의 (d)는 본 발명의 일 실시예에 따른 영상 촬영부를 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 타겟 객체에 관한 정보를 출력하기 위한 과정을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 객체 인식 모델의 학습을 관리하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 학습 관리 시스템(200) 및 디바이스(300)를 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 학습 관리 시스템(200)은, 타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성하고, 위의 결합 이미지 내의 위의 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 연관되는 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시키는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 학습 관리 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 학습 관리 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 이미지로부터 인식(또는 특정)되는 타겟 객체에 관한 정보를 활용하는 기기일 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 디바이스(300)는 컨베이어 벨트를 통해 이송되는(또는 소정의 투입구를 통해 제공되어 놓여진) 폐기물의 이미지에 기초하여 해당 폐기물에 관한 정보(예를 들어, 캔, PET, 유리 등과 같은 재활용 속성 또는 유형)가 결정되면, 그 정보를 참조하여 해당 폐기물을 분류 또는 선별하는 작업을 수행하는 기기일 수 있다. 보다 구체적으로, 이러한 디바이스(300)는 종래의 재활용품 선별 기기(또는 재활용품 무인 수거 장치)와 일부 유사할 수 있다.
한편, 본 발명에 따른 디바이스(300)가 반드시 위의 설명된 기기에만 한정되는 것은 아니며, 스마트폰, 태블릿, 스마트 워치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.
한편, 디바이스(300)는, 학습 관리 시스템(200)으로부터 본 발명에 따른 학습 관리와 연관되는 기능을 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 학습 관리 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 학습 관리 시스템(200)의 이미지 생성부(210), 학습 관리부(220), 통신부(230) 및 제어부(240)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
학습 관리 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 학습 관리 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 학습 관리 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 학습 관리 시스템(200)은, 이미지 생성부(210), 학습 관리부(220), 통신부(230) 및 제어부(240)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 학습 관리 시스템(200)의 이미지 생성부(210), 학습 관리부(220), 통신부(230) 및 제어부(240)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 학습 관리 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 학습 관리 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 학습 관리 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 학습 관리 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 디바이스(300) 또는 서버(미도시됨) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
먼저, 본 발명의 일 실시예에 따른 이미지 생성부(210)는, 타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성할 수 있다.
여기서, 본 발명의 일 실시예에 따르면, 복수의 타겟 객체 이미지는 타겟 객체에 대하여 동일한 시점에 서로 다른 각도로 촬영되는 이미지일 수 있다. 예를 들어, 복수의 타겟 객체 이미지는 서로 다른 방향을 향하는(또는 타겟 객체의 서로 다른 면을 향하는) 복수의 카메라(예를 들어, RGB 카메라)로부터 촬영되는 이미지일 수 있다. 본 발명의 일 실시예에 따르면, 복수의 타겟 객체 이미지 각각에 포함되는 타겟 객체는 서로 동일한 객체이지만, 복수의 타겟 객체 이미지 각각에 포함되는 타겟 객체의 형태(또는 모양)는 위의 복수의 타겟 객체 이미지 각각을 촬영한 복수의 카메라가 향하는 방향(또는 촬영 각도)에 따라 서로 다른 형태로 형성될 수 있다.
본 발명의 일 실시예에 따른 이미지 생성부(210)는, 복수의 타겟 객체 이미지에 기초하여 객체 인식 모델의 입력 데이터로서 이용될 결합 이미지를 생성할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 객체 인식 모델은 결합 이미지로부터 타겟 객체에 관한 정보를 출력하도록 학습되는 모델로서 특정 크기(또는 입력 데이터의 허용 크기 또는 입력층의 허용 크기)의 이미지를 입력 데이터로서 이용하는 모델일 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 이미지 생성부(210)는, 복수의 타겟 객체 이미지를 서로 연결하고(concatenate) 그 연결된 복수의 타겟 객체 이미지의 크기를 위의 객체 인식 모델의 입력 데이터와 연관되는 크기로 리사이징(resizing)함으로써 위의 객체 인식 모델의 입력 데이터로서 이용될 결합 이미지를 생성할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 이미지 생성부(210)는, 복수의 타겟 객체 이미지를 소정의 배열을 이용하여 서로 연결하고(예를 들어, 복수의 타겟 객체 이미지를 가로로 나열하거나 또는 세로로 나열하여 서로 연결할 수 있다.) 그 연결된 복수의 타겟 객체 이미지의 크기를 위의 객체 인식 모델의 입력 데이터의 크기와 대응되는 크기로 리사이징함으로써 위의 객체 인식 모델의 입력 데이터로서 이용될 결합 이미지를 생성할 수 있다.
또 다른 예를 들어, 본 발명의 일 실시예에 따른 이미지 생성부(210)는, 복수의 타겟 객체 이미지의 수를 참조하여 복수의 타겟 객체 이미지를 객체 인식 모델의 입력 데이터와 연관되는 크기로 리사이징하고, 그 리사이징된 복수의 타겟 객체 이미지를 서로 연결함으로써 위의 객체 인식 모델의 입력 데이터로서 이용될 결합 이미지를 생성할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 이미지 생성부(210)는, 복수의 타겟 객체 이미지를 리사이징한 다음 서로 연결하여 생성되는 결합 이미지의 크기가 위의 객체 인식 모델의 입력 데이터의 크기와 대응될 수 있도록 복수의 타겟 객체 이미지의 수를 참조하여 복수의 타겟 객체 이미지에 대해 리사이징할 크기를 결정하고, 그 결정된 크기에 기초하여 복수의 타겟 객체 이미지를 리사이징하고, 그 리사이징된 복수의 타겟 객체 이미지를 서로 연결함으로써 위의 객체 인식 모델의 입력 데이터로서 이용될 결합 이미지를 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 학습 관리부(220)는, 결합 이미지 내의 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 연관되는 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시킬 수 있다.
여기서, 본 발명의 일 실시예에 따르면, 객체 인식 모델은 합성곱 신경망(Convolutional Neural Networks; CNN), 영역 기반 합성곱 신경망(Regions with Convolutional Neural Network; RCNN), 욜로(You Only Look Once; YOLO), 단일 샷 멀티박스 감지(Single Shot MultiBox Detector; SSD) 등의 알고리즘에 기초하여 구성될 수 있다. 한편, 본 발명에 따른 알고리즘이 반드시 앞서 열거된 것에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수도 있다.
또한, 본 발명의 일 실시예에 따르면, 결합 이미지 내의 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 연관되는 각각의 객체(이하, "결합 이미지 내의 각각의 객체"라 한다.)는, 복수의 타겟 객체 이미지에 포함되는 타겟 객체와 다른 크기로 형성되는 객체일 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 이미지 생성부(210)에 의해 생성되는 결합 이미지 내에는, 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지가 원래의 크기와 다른 크기로 포함될 수 있으며, 그 복수의 타겟 객체 이미지의 타겟 객체 또한 원래의 크기와 다른 크기로 포함될 수 있다. 한편, 본 발명의 일 실시예에 따르면, 복수의 타겟 객체 이미지의 타겟 객체는 전술한 바와 같이 서로 다른 형태로 형성되므로, 결합 이미지 내의 각각의 객체도 마찬가지로 결합 이미지 내에서 서로 다른 형태로 형성될 수 있다.
한편, 본 발명의 일 실시예에 따른 학습 관리부(220)는, 결합 이미지 내에 포함될 수 있는 객체(예를 들어, 타겟 객체 및 타겟 객체 외의 다른 객체)에 관한 적어도 하나의 클래스를 특정할 수 있다.
또한, 본 발명의 일 실시예에 따른 학습 관리부(220)는, 타겟 객체에 관하여 타겟 객체의 촬영 각도에 따라 달라지는 다양한 형태마다 그 형태에 대응하는 클래스를 각각 특정할 수 있다.
본 발명의 일 실시예에 따른 학습 관리부(220)는, 결합 이미지 내의 각각의 객체를 위의 특정된 클래스 중 어느 하나의 클래스로 분류하도록 객체 인식 모델을 학습시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 학습 관리부(220)는, 결합 이미지 내의 각각의 객체에 관한 정보로서 결합 이미지 내의 각각의 객체를 위의 특정된 클래스 중 어느 하나의 클래스로 분류한 결과에 관한 정보를 참조하여 결합 이미지로부터 타겟 객체에 관한 정보를 출력하도록 객체 인식 모델을 학습시킬 수 있다.
본 발명의 일 실시예에 따르면, 객체 인식 모델은, 결합 이미지 내의 각각의 객체가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 그 소정 연관 관계를 갖는 클래스와 연관되는 정보를 타겟 객체에 관한 정보로서 출력하도록 학습될 수 있다. 여기서, 결합 이미지 내의 각각의 객체가 소정 연관 관계를 갖는 클래스로 분류된다는 것은, 결합 이미지 내의 각각의 객체 전부가 타겟 객체의 속성(예를 들어, 타겟 객체의 유형)을 서로 공유하는 클래스로 분류되는 것을 의미할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 객체 인식 모델은, 결합 이미지 내의 각각의 객체에 대한 판별 값이 위의 객체 인식 모델에서 특정되는 클래스의 기준 값(threshold) 이상이고 그 기준 값 이상에 해당하는 복수의 클래스가 소정 연관 관계가 있는 경우에, 그 소정 연관 관계를 갖는 클래스와 연관되는 정보를 타겟 객체에 관한 정보로서 출력하도록 학습될 수 있다. 예를 들어, 결합 이미지 내의 각각의 객체로서 제1 객체 및 제2 객체가 결합 이미지 내에 포함되어 있다고 가정할 경우, 객체 인식 모델은, 제1 객체에 대한 판별 값이 제1 클래스의 기준 값 이상이고 제2 객체에 대한 판별 값이 제2 클래스의 기준 값 이상이며 제1 클래스 및 제2 클래스가 타겟 객체의 속성을 공유하는 관계에 있는 경우에, 제1 클래스 및 제2 클래스가 공유하는 타겟 객체의 속성에 관한 정보(예를 들어, 타겟 객체의 유형)를 타겟 객체에 관한 정보로서 출력하도록 학습될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 객체 인식 모델은, 결합 이미지 내의 각각의 객체 중 소정 수준 이상의 객체가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 그 소정 연관 관계를 갖는 클래스와 연관되는 정보를 타겟 객체에 관한 정보로서 출력하도록 학습될 수도 있다. 여기서, 결합 이미지 내의 각각의 객체 중 소정 수준 이상의 객체가 소정 연관 관계를 갖는 클래스로 분류된다는 것은, 결합 이미지 내의 각각의 객체 중 과반수 이상의(또는 전체) 객체가 타겟 객체의 속성(예를 들어, 타겟 객체의 유형)을 서로 공유하는 클래스로 분류되는 것을 의미할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 객체 인식 모델은, 결합 이미지 내의 각각의 객체에 대한 판별 값이 위의 객체 인식 모델에서 특정되는 클래스의 기준 값 이상인 수가 과반수 이상이고 그 기준 값 이상에 해당하는 복수의 클래스가 소정 연관 관계가 있는 경우에, 그 소정 연관 관계를 갖는 클래스와 연관되는 정보를 타겟 객체에 관한 정보로서 출력하도록 학습될 수 있다. 예를 들어, 결합 이미지 내의 각각의 객체로서 제1 객체, 제2 객체 및 제3 객체가 결합 이미지 내에 포함되어 있다고 가정할 경우, 객체 인식 모델은, 제1 객체에 대한 판별 값이 제1 클래스의 기준 값 이상이고 제2 객체에 대한 판별 값이 제2 클래스의 기준 값 이상이고 제3 객체에 대한 판별 값이 제3 클래스의 기준 값 미만이며 제1 클래스 및 제2 클래스가 타겟 객체의 속성을 공유하는 관계에 있는 경우에, 제1 클래스 및 제2 클래스가 공유하는 타겟 객체의 속성에 관한 정보(예를 들어, 타겟 객체의 유형)를 타겟 객체에 관한 정보로서 출력하도록 학습될 수 있다.
본 발명의 일 실시예에 따르면, 객체 인식 모델이 결합 이미지 내의 각각의 객체(또는 결합 이미지 내의 각각의 객체의 과반수)가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 그 결합 이미지로부터 타겟 객체에 관한 정보를 출력하도록 함으로써, 객체 인식 모델의 객체 인식의 정확도를 향상시킬 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 복수의 타겟 객체 이미지를 복수의 객체 인식 모델을 이용하여 각각 분석하는 것이 아닌, 복수의 타겟 객체 이미지에 기초하여 생성되는 결합 이미지를 단일의 객체 인식 모델을 이용하여 분석하게 함으로써, 객체 인식 모델을 이용하여 타겟 객체에 관한 정보를 출력하기 위한 과정을 간소화할 수 있게 된다.
다음으로, 본 발명의 일 실시예에 따른 통신부(230)는 이미지 생성부(210) 및 학습 관리부(220)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(240)는 이미지 생성부(210), 학습 관리부(220) 및 통신부(230) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(240)는 학습 관리 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 학습 관리 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이미지 생성부(210), 학습 관리부(220) 및 통신부(230)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디바이스(300)를 예시적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 디바이스(300)는, 재활용 대상을 선별하는 기기로서 이송부(310), 영상 촬영부(320), 재활용 대상 선별부(330) 및 제어부(340)를 포함할 수 있다.
도 4의 (a) 내지 도 4의 (d)는 본 발명의 일 실시예에 따른 영상 촬영부(320)를 예시적으로 나타내는 도면이다. 도 4의 (a) 내지 도 4의 (d)에서 왼편에 도시된 도면은 영상 촬영부(320)의 측면도를 예시적으로 나타내는 도면이고, 도 4의 (a) 내지 도 4의 (d)에서 오른편에 도시된 도면은 영상 촬영부(320)의 정면도를 예시적으로 나타내는 도면이다.
도 4의 (a) 내지 도 4의 (d)를 참조하면, 본 발명의 일 실시예에 따른 영상 촬영부(320)는 서로 다른 방향을 향하는 제1 카메라(321) 및 제2 카메라(322)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 제1 카메라(321) 및 제2 카메라(322)는 타겟 객체(PET)를 기준으로 서로 다른 방향을 향하게 되며, 타겟 객체(PET)를 서로 다른 각도로 촬영할 수 있게 된다. 다만, 영상 촬영부(320) 내에 포함되는 카메라의 개수, 카메라가 향하는 방향 등이 반드시 도 4의 (a) 내지 도 4의 (d)에 도시된 바에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 전술한 학습 관리 시스템(200)의 구성요소 또는 기능 중 적어도 일부는 디바이스(300) 내에서 실현될 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 학습 관리 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 디바이스(300)(또는 디바이스(300)의 제어부(340)) 내에서 실현되는 상황을 예시적으로 살펴본다.
도 5는 본 발명의 일 실시예에 따라 타겟 객체에 관한 정보를 출력하기 위한 과정을 예시적으로 나타내는 도면이다.
먼저, 본 발명의 일 실시예에 따른 디바이스(300)는, 제1 카메라(321)로부터 타겟 객체(PET)를 포함하는 제1 이미지(410)를 획득할 수 있고, 제2 카메라(322)로부터 타겟 객체(PET)를 포함하는 제2 이미지(420)를 획득할 수 있다. 여기서, 제1 이미지(410)에 포함되는 타겟 객체(PET) 및 제2 이미지(420)에 포함되는 타겟 객체(PET)는 이송부(310)의 상부면에 위치한 재활용 대상(예를 들어, 페트병)으로서 서로 동일한 객체이지만 각각의 이미지 내에서 서로 다른 형태로 포함되어 있을 수 있다.
다음으로, 본 발명의 일 실시예 따른 디바이스(300)는, 너비 1920[px] 및 높이 1080[px](픽셀)로 형성되는 제1 이미지(410) 및 너비 1920[px] 및 높이 1080[px]로 형성되는 제2 이미지(420)를 세로로 연결하여 너비 1920[px] 및 높이 2160[px]로 형성되는 이미지(430)를 생성하고, 그 생성된 이미지(430)의 크기를 객체 인식 모델의 입력 데이터의 크기와 대응되는 크기인 너비 608[px] 및 높이 608[px]로 리사이징함으로써 객체 인식 모델의 입력 데이터로서 이용될 결합 이미지(440)를 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는, 객체 인식 모델을 이용하여 결합 이미지(440) 내의 제1 객체(PET-A) 및 제2 객체(PET-B)를 각각 제1 클래스 및 제2 클래스로 분류할 수 있다. 여기서, 제1 클래스 및 제2 클래스가 타겟 객체(PET)의 속성을 공유하는 관계에 있는 경우에, 객체 인식 모델은, 제1 클래스 및 제2 클래스가 공유하는 타겟 객체(PET)의 속성에 관한 정보를 타겟 객체(PET)에 관한 정보로서 출력할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 디바이스(300)는, 객체 인식 모델의 출력 결과를 참조하여 결합 이미지(440) 내에 타겟 객체(PET)가 포함되어 있는지 여부에 관한 정보를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 결합 이미지(440) 내에 타겟 객체로서 포함되어 있는 것으로 결정된 객체는 재활용 대상으로 선별되어 재활용 대상 선별부(330)를 그대로 통과할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 학습 관리 시스템
210: 이미지 생성부
220: 학습 관리부
230: 통신부
240: 제어부
300: 디바이스

Claims (17)

  1. 객체 인식 모델의 학습을 관리하기 위한 방법으로서,
    타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성하는 단계, 및
    상기 결합 이미지 내의 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시키는 단계를 포함하고,
    상기 결합 이미지 내의 각각의 객체는, 서로 동일한 객체에 해당하되 상기 결합 이미지 내에서 서로 다른 형태로 형성되고, 상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 다른 크기로 형성되는
    방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지는 타겟 객체에 대하여 동일한 시점에 서로 다른 각도로 촬영되는 이미지인
    방법.
  4. 제1항에 있어서,
    상기 생성하는 단계에서, 상기 복수의 타겟 객체 이미지를 서로 연결하고 상기 연결된 복수의 타겟 객체 이미지의 크기를 상기 객체 인식 모델의 입력 데이터와 연관되는 크기로 리사이징함으로써 상기 결합 이미지를 생성하는
    방법.
  5. 제1항에 있어서,
    상기 생성하는 단계에서, 상기 복수의 타겟 객체 이미지의 수를 참조하여 상기 복수의 타겟 객체 이미지를 상기 객체 인식 모델의 입력 데이터와 연관되는 크기로 리사이징하고, 상기 리사이징된 복수의 타겟 객체 이미지를 서로 연결함으로써 상기 결합 이미지를 생성하는
    방법.
  6. 제1항에 있어서,
    상기 객체 인식 모델은, 상기 결합 이미지 내의 각각의 객체가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 상기 소정 연관 관계를 갖는 클래스와 연관되는 정보를 상기 타겟 객체에 관한 정보로서 출력하도록 학습되고,
    상기 연관 관계는, 상기 타겟 객체의 속성에 관한 것인
    방법.
  7. 제1항에 있어서,
    상기 객체 인식 모델은, 상기 결합 이미지 내의 각각의 객체 중 소정 수준 이상의 객체가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 상기 소정 연관 관계를 갖는 클래스와 연관되는 정보를 상기 타겟 객체에 관한 정보로서 출력하도록 학습되고,
    상기 연관 관계는, 상기 타겟 객체의 속성에 관한 것인
    방법.
  8. 삭제
  9. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  10. 객체 인식 모델의 학습을 관리하기 위한 시스템으로서,
    타겟 객체를 포함하는 복수의 타겟 객체 이미지에 기초하여 결합 이미지를 생성하는 이미지 생성부, 및
    상기 결합 이미지 내의 각각의 객체에 관한 정보를 참조하여 객체 인식 모델을 학습시키는 학습 관리부를 포함하고,
    상기 결합 이미지 내의 각각의 객체는, 서로 동일한 객체에 해당하되 상기 결합 이미지 내에서 서로 다른 형태로 형성되고, 상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지의 타겟 객체와 다른 크기로 형성되는
    시스템.
  11. 삭제
  12. 제10항에 있어서,
    상기 결합 이미지를 생성하기 위하여 이용되는 복수의 타겟 객체 이미지는 타겟 객체에 대하여 동일한 시점에 서로 다른 각도로 촬영되는 이미지인
    시스템.
  13. 제10항에 있어서,
    상기 이미지 생성부는, 상기 복수의 타겟 객체 이미지를 서로 연결하고 상기 연결된 복수의 타겟 객체 이미지의 크기를 상기 객체 인식 모델의 입력 데이터와 연관되는 크기로 리사이징함으로써 상기 결합 이미지를 생성하는
    시스템.
  14. 제10항에 있어서,
    상기 이미지 생성부는, 상기 복수의 타겟 객체 이미지의 수를 참조하여 상기 복수의 타겟 객체 이미지를 상기 객체 인식 모델의 입력 데이터와 연관되는 크기로 리사이징하고, 상기 리사이징된 복수의 타겟 객체 이미지를 서로 연결함으로써 상기 결합 이미지를 생성하는
    시스템.
  15. 제10항에 있어서,
    상기 객체 인식 모델은, 상기 결합 이미지 내의 각각의 객체가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 상기 소정 연관 관계를 갖는 클래스와 연관되는 정보를 상기 타겟 객체에 관한 정보로서 출력하도록 학습되고,
    상기 연관 관계는, 상기 타겟 객체의 속성에 관한 것인
    시스템.
  16. 제10항에 있어서,
    상기 객체 인식 모델은, 상기 결합 이미지 내의 각각의 객체 중 소정 수준 이상의 객체가 소정 연관 관계를 갖는 클래스로 분류되는 경우에 상기 소정 연관 관계를 갖는 클래스와 연관되는 정보를 상기 타겟 객체에 관한 정보로서 출력하도록 학습되고,
    상기 연관 관계는, 상기 타겟 객체의 속성에 관한 것인
    시스템.
  17. 삭제
KR1020210121010A 2021-06-24 2021-09-10 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Active KR102681262B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210082686 2021-06-24
KR20210082686 2021-06-24

Publications (2)

Publication Number Publication Date
KR20230000390A KR20230000390A (ko) 2023-01-02
KR102681262B1 true KR102681262B1 (ko) 2024-07-04

Family

ID=84925738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210121010A Active KR102681262B1 (ko) 2021-06-24 2021-09-10 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR102681262B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150381873A1 (en) * 2014-06-27 2015-12-31 Canon Kabushiki Kaisha Image pickup apparatus capable of reducing effect of flicker, control method therefor, and storage medium storing control program therefor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308871B1 (ko) * 2016-11-02 2021-10-05 삼성전자주식회사 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN110100252B (zh) * 2016-12-23 2023-07-25 奇跃公司 用于确定内容捕获设备的设置的技术
KR102431488B1 (ko) * 2018-03-05 2022-08-12 삼성전자주식회사 전자 장치 및 이미지 처리 방법
KR102220174B1 (ko) * 2019-03-11 2021-02-24 연세대학교 산학협력단 머신러닝 학습 데이터 증강장치 및 증강방법
KR102060567B1 (ko) 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150381873A1 (en) * 2014-06-27 2015-12-31 Canon Kabushiki Kaisha Image pickup apparatus capable of reducing effect of flicker, control method therefor, and storage medium storing control program therefor

Also Published As

Publication number Publication date
KR20230000390A (ko) 2023-01-02

Similar Documents

Publication Publication Date Title
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN107506707B (zh) 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
US20200364443A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
CN107895150B (zh) 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估
WO2020047420A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
US20180114071A1 (en) Method for analysing media content
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN107909026B (zh) 基于小规模卷积神经网络年龄和/或性别评估方法及系统
US20200097769A1 (en) Region proposal with tracker feedback
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
Sharma et al. Vehicle identification using modified region based convolution network for intelligent transportation system
US12283127B2 (en) Method for obtaining data from an image of an object of a user that has a biometric characteristic of the user
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN113095199B (zh) 一种高速行人识别方法及装置
CN117115727A (zh) 一种变电站缺陷判别方法及系统
KR20210041856A (ko) 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치
Jemilda et al. Moving object detection and tracking using genetic algorithm enabled extreme learning machine
Kim et al. Development of a Real-Time Automatic Passenger Counting System using Head Detection Based on Deep Learning.
US20230334831A1 (en) System and method for processing training dataset associated with synthetic image
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
KR102681262B1 (ko) 객체 인식 모델의 학습을 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Zhou et al. Vehicle detection in remote sensing image based on machine vision
CN113947698B (zh) 车辆运输状态检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601