[go: up one dir, main page]

KR102200161B1 - 피듀셜 마커 영상 생성 장치 및 방법 - Google Patents

피듀셜 마커 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102200161B1
KR102200161B1 KR1020180134194A KR20180134194A KR102200161B1 KR 102200161 B1 KR102200161 B1 KR 102200161B1 KR 1020180134194 A KR1020180134194 A KR 1020180134194A KR 20180134194 A KR20180134194 A KR 20180134194A KR 102200161 B1 KR102200161 B1 KR 102200161B1
Authority
KR
South Korea
Prior art keywords
information
fiducial marker
generating
cell matrix
finder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180134194A
Other languages
English (en)
Other versions
KR20200051188A (ko
Inventor
유훈
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020180134194A priority Critical patent/KR102200161B1/ko
Priority to US16/665,183 priority patent/US11157787B2/en
Publication of KR20200051188A publication Critical patent/KR20200051188A/ko
Application granted granted Critical
Publication of KR102200161B1 publication Critical patent/KR102200161B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명에 따른 피듀셜 마커 영상을 생성하는 방법은 상기 피듀셜 마커의 옵션 정보를 설정하는 단계; 상기 설정된 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하는 단계; 상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계 및 상기 생성된 셀 행렬에 색상 정보를 추가하여 피듀셜 마커 영상을 생성하는 단계를 포함한다.

Description

피듀셜 마커 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR CREATING FIDUCIAL MARKER IMAGE}
본 발명은 피듀셜 마커 영상을 생성하는 장치 및 방법에 관한 것이다.
피듀셜 마커(Fiducial Marker)는 물리적 공간의 위치 정보를 추출하기 위해 활용되는 마커로서 다양한 분야에서 활용된다. 이러한 피듀셜 마커는 전통적으로 자동화 시스템에서 기본적인 기술로 활용되어 왔다.
특히, 최근에는 자동 의료 수술 분야에서 각광을 받고 있으며, AV/VR 시스템에서 기본적인 도구로써 그 활용 범위가 점차적으로 확대되고 있다.
피듀설 마커는 3차원 공간의 특정 위치에 대한 정보를 고 신뢰성 있게 제공하기 위해 제작된 특별한 형태의 마커를 의미한다. 이러한 피듀셜 마커를 제공하기 위해, 능동 소자(active marker)에 의한 마커 및 다양한 형태의 마커들이 활용되어 왔으며, 최근에는 수동 소자(passive marker)에 의한 기술이 컴퓨터 비전 기술과 함께 발전하고 있다.
피듀셜 마커는 다양한 응용분야를 갖기 때문에 마커의 디자인에 있어서 다양한 요구사항들이 있다. 예를 들어 소?O 마커, 방향성이 있는 마커, ID 비트 정보량이 많은 마커, 인식이 간단한 마커, 시점 왜곡에 강인한 마커 등의 요구사항들이 있다.
한편, 피듀셜 마커들이 다양한 것은 각기 다른 응용분야에 맞는 방향으로 디자인되어 왔기 때문이다. 하지만 마커의 크기를 최소화하면서 ID 비트 정보량을 극대화하고, 인식이 용이하며 시점 왜곡에 강인하게 디자인된 마커는 현재 제공되고 있지 않은 실정이다.
본 발명의 실시예는 물리적인 크기를 최소화하면서 ID 비트 정보량 최대한 삽입하고 시점 왜곡에 강인하며 동시에 방향성 정보를 제공할 수 있는 피듀셜 마커 영상을 생성하는 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 피듀셜 마커 영상을 생성하는 방법은 상기 피듀셜 마커의 옵션 정보를 설정하는 단계; 상기 설정된 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하는 단계; 상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계 및 상기 생성된 셀 행렬에 색상 정보를 추가하여 피듀셜 마커 영상을 생성하는 단계를 포함한다.
상기 피듀셜 마커의 옵션 정보는 상기 피듀설 마커의 파인더측 폭, 안측 폭 및 외측 폭 정보를 포함할 수 있다.
상기 설정된 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하는 단계는, 상기 파인더측 폭과 안측 폭 정보를 이용하여 파인더측 길이 정보를 산출하고, 상기 파인더측 길이 정보와 외측 폭 정보를 이용하여 마커 길이 정보를 산출할 수 있다.
상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계는, 상기 파인더측 길이 정보를 제곱한 크기를 갖는 파인더 영역을 포함하며 상기 마커 길이 정보를 제곱한 크기를 갖는 정방행렬 형태의 상기 셀 행렬을 생성할 수 있다.
상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계는, 상기 셀 행렬의 외측 삽입 비트의 수와 내측 삽입 비트의 수의 합만큼 상기 ID 비트 정보를 상기 셀 행렬에 추가할 수 있다.
상기 피듀셜 마커의 옵션 정보를 설정하는 단계는, 상기 피듀셜 마커의 방향성 옵션을 상기 옵션 정보를 설정하는 단계를 포함하되, 상기 방향성 옵션은 상기 셀 행렬의 외곽 모퉁이에 위치하는 4개의 방향성 비트의 패턴을 통해 설정될 수 있다.
상기 방향성 옵션이 선택되는 경우, 상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계는, 상기 셀 행렬의 외측 삽입 비트의 수와 내측 삽입 비트의 수의 합에서 상기 방향성 비트의 개수를 제외한 수만큼 상기 ID 비트 정보를 상기 셀 행렬에 추가할 수 있다.
상기 생성된 셀 행렬에 색상 정보를 추가하여 통해 피듀셜 마커 영상을 생성하는 단계는, 상기 피듀셜 마커의 파인더 영역에 대한 색상 정보 및 상기 색상 정보에 대응하는 셀당 화소수 정보를 추가하여 상기 피듀셜 마커 영상을 생성할 수 있다.
상기 피듀셜 마커의 파인더 영역은 폐쇄형 고리 구조로 형성되며, 상기 셀 행렬 중 ID 비트 정보가 기재된 패턴의 내부에 배치될 수 있다.
상기 ID 비트 정보가 기재된 패턴 각각에는 흑색 및 백색 중 하나 이상으로 구성된 마진 영역이 형성될 수 있다.
상기 색상 정보는 상기 피듀셜 마커의 모드 정보에 따라 구분될 수 있다.
상기 피듀셜 마커의 파인더 영역은 폐쇄형 고리 구조로 형성되며, 상기 파인더 영역의 색상 정보를 모두 흑색으로 설정하고, 외측 삽입 비트를 모두 1로 설정함에 따라 상기 셀 행렬의 내측 삽입 비트의 수에 대응하는 AR-tag가 형성될 수 있다.
또한, 본 발명의 제 2 측면에 따른 피듀셜 마커 영상 생성 장치는 피듀셜 마커 영상을 생성하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 피듀셜 마커의 옵셩 정보를 수신하여 설정하고, 상기 설정된 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하며, 상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하고, 상기 생성된 셀 행렬에 색상 정보를 추가하여 피듀셜 마커 영상을 생성한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 피듀셜 마커의 크기를 최소화하면서 동시에 비트 정보량을 최대한 삽입할 수 있다. 이와 더불어 본 발명에 따른 피듀셜 마커는 시점 왜곡에 강인하며 방향성 정보를 함께 제공할 수 있다.
도 1은 종래 기술에 따른 광학 방식의 마커를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법의 순서도이다.
도 3은 본 발명의 일 실시예에서 최소 크기로 형성된 피듀셜 마커의 예시이다.
도 4a 내지 도 4c는 피듀셜 마커의 다양한 예시를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 장치의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
광학 마커는 컴퓨터 시스템에서 우리가 살고 있는 현실 세계와 가상 세계를 연결하는 핵심 기술이다. 광학 패시브 마커와 이를 인식하는 컴퓨터 비전 시스템은 증강 현실 또는 가상 세계에 진입하기 위한 관문으로써 매우 중요한 역할을 하고 있다. 따라서 광학 마커를 사용하는 기술은 많은 분야에서 핵심 기술이 된다.
도 1은 종래 기술에 따른 광학 방식의 마커를 설명하기 위한 도면이다.
도 1은 AR 태그 기술로써 마커의 기술의 우수성으로 증강 현실 분야와 이를 활용한 로봇 분야에 많이 활용되고 있다. AR 태그의 디자인 기술은 검은색 바운더리를 태그 영역으로 설정하고, 안쪽에 ID 비트 정보를 삽입한 후, 바운더리 인식을 위한 마진 영역을 두고 있다.
디자인 옵션 중에서는 안쪽 비트 셀의 크기가 가장 중요하다.
도 1의 예시에서 안쪽 비트 셀(P3)의 크기는 4×4로 16비트 정보를 삽입할 수 있다. 16 비트 정보의 삽입을 위해 필요한 총 셀의 개수는 비트 영역(P3), 바운더리 영역(P2) 및 마진 영역(P1)을 포함하여 8×8 크기로 총 64개의 셀이 필요하다. 이 경우 평균 셀 단위 정보 비트 수는 16/64로 25%의 공간 활용도를 보여준다.
필요한 셀의 크기는 최종적인 피듀설 마커의 물리적인 크기와 비례하므로, 셀의 크기가 적을수록 효율적이다. 이는 옵션에 따라서 정보 비트수를 증대하여 공간 활용도를 높일 수 있는 구조이다. 하지만, 마커의 위치에 대한 정보가 있거나 또는 근접 촬영하여 마커의 외곽선이 정사각형으로 인식되어야 인식이 가능하다는 제한이 있다.
도 2는 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법의 순서도이다.
효율적인 광학 마커를 설계하기 위한 본 발명의 일 실시예는 피듀셜 마커가 최소 크기에서 최대 비트 정보를 포함한다는 것이다. 즉, 마커 디자인에서 피듀셜 마커의 비트 셀 수를 최소화하는 것이 매우 중요하다. 이는 비트 정보 대비 마커 디자인에서 필요한 총 셀의 수를 줄이면 그만큼 실제 피듀셜 마커의 물리적인 크기를 작게 할 수 있기 때문이다.
이를 위해 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법은 먼저, 피듀셜 마커의 디자인을 위한 옵션 정보를 설정한다(S110). 이때, 상기 설정된 옵션 정보에 대응하는 출력에 관한 내용이 함께 정의될 수도 있다.
피듀셜 마커의 옵션 정보는 피듀셜 마커의 파인더측 폭 정보(Finder width), 안측 폭 정보(Inside width) 및 외측 폭 정보(Outside width)를 포함한다.
본 발명의 일 실시예에서 피듀셜 마커의 옵션에 따른 명명은 ‘Marker-숫자-숫자-숫자’의 형식을 갖는다. 즉, ‘Marker i-j-k’의 형식이다. 예를 들어, 정수 i, j, k가 모두 1이면 Marker 1-1-1 모드이다.
다음으로 상기 설정된 옵션 정보에 기초하여 피듀설 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출한다(S120).
이때, 본 발명의 일 실시예는 파인더측 폭 정보와 안측 폭 정보를 이용하여 파인더측 길이 정보(Finder length)를 산출하고, 파인더측 길이 정보와 외측 폭 정보를 이용하여 마커 길이 정보(Marker length)를 산출한다.
다음으로 각 변수들에 의하여 마커의 옵션들이 설정되고 사이즈 정보가 산출되면, 상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성한다(S130).
이때, 셀 행렬의 최종 크기는 마커 길이 정보의 제곱(m×m)으로 정의될 수 있다. 즉, 생성되는 셀 행렬은 파인더측 길이 정보를 제곱한 크기를 갖는 파인더 영역을 포함하며, 마커 길이 정보를 제곱한 크기를 갖는 정방행렬 형태일 수 있다.
이러한 셀 행렬에 마커의 파인더에 해당하는 부분에는 숫자 2를 삽입하고, 기타 비트 정보 부분에는 입력된 ID 데이터에 해당하는 비트를 0 또는 1로 삽입한다.
본 발명의 일 실시예에서 총 삽입 가능한 비트의 수는 셀 행렬의 외측 삽입 비트 수와 내측 삽입 비트 수의 합만큼으로, 해당 수만큼의 ID 비트 정보를 셀 행렬에 추가할 수 있다.
이때, 이전 단계인 피듀셜 마커의 옵션 정보를 설정하는 단계에서 피듀셜 마커의 방향성 옵션을 함께 설정한 경우, 본 발명의 일 실시예에서 총 삽입 가능한 비트의 수는 셀 행렬의 외측 삽입 비트의 수와 내측 삽입 비트의 수의 합에서 상기 방향성 옵션에 해당하는 방향성 비트의 개수를 제외한 수만큼 제외한 수만큼으로, 해당 수만큼의 ID 비트 정보를 셀 행렬에 추가할 수 있다.
옵션 정보에 따라 총 삽입 비트수가 결정되고 나면 ID로 활용할 수 있는 총 ID 비트 정보 수는 2^n BitID로 정의된다. 이때, 방향성 옵션은 셀 행렬의 외곽 모퉁이에 위치하는 4개의 방향성 비트의 패턴을 통해 설정될 수 있다. 예를 들어, 좌측 상단 모서리를 기준으로 반시계 방향으로 0111 패턴으로 정의하면 마커의 네 귀퉁이의 모양으로 마커의 방향성, 즉 각도를 측정할 수 있다.
이와 같은 본 발명의 일 실시예에서 정의되는 옵션 정보와 사이즈 크기 등의 변수의 정보는 다음 표 1과 같이 정리될 수 있다.
Marker i-j-k 변수(variables) 비고
파인더측 폭 정보
(Finder width)		 i 옵션 정보(Design parameter)
안측 폭 정보
(Inside width)		 j 옵션 정보(Design parameter)
외측 폭 정보
(Outside width)		 k 옵션 정보(Design parameter)
방향성 비트 정보
(Flag bit for orientation)		 f 옵션 정보(Design parameter)
파인더측 길이 정보(Finder length) n n=2i+j
마커 길이 정보(Marker length) m m=2i+j+2k=n+2k
외측 삽입 비트수(Number of outside bits) nBitOut nBitOut=m^2-n^2=4k(n+k)
내측 삽입 비트수(Number of inside bits) nBitIn nBitIn=j^2
총 ID 비트 정보 수(Number of total ID bits) nBitID nBitID=nBitOut+nBitIn-4f
셀 행렬이 정의되고 나면, 다음으로 상기 생성된 셀 행렬에 색상 정보를 추가하여 피듀셜 마커 영상을 생성한다(S140).
이때, 필요한 정보로는 피듀셜 마커의 파인더 영역에 대한 색상 정보 및 상기 색상 정보에 대응하는 셀당 화소수 정보이다. 이때 셀당 최소 화소수는 1이다.
일반적으로 화소수의 결정은 피듀셜 마커의 최종 물리적 크기에 따라 변동될 수 있다. 예를 들어, 300dpi로 출력하고자 하고 하고 마커의 셀 그림 크기를 1/3 인치로 둔다면 셀당 화소수는 100픽셀이 된다.
도 3은 본 발명의 일 실시예에서 최소 크기로 형성된 피듀셜 마커의 예시이다.
도 3에서 생성된 피듀셜 마커는 Marker 1-1-1로 설정된 것이다. 즉, 파인더측 폭이 1이고, 안측 폭이 1이며, 외측 폭도 1인 경우로 총 5×5 셀 단위로 구성된 피듀셜 마커이다.
이러한 피듀셜 마커는 총 17비트의 정보를 삽입할 수 있고, 방향성 비트인 4비트를 제외할 경우 13 비트로 총 ID의 개수는 8192개로 정의할 수 있다.
도 3에서 파인더 영역(P5)의 색상은 녹색으로 정의도어 있으나, 본 발명의 일 실시예에서 이러한 색상은 자유롭게 옵션 정보로 정의될 수 있다.
또한, 파인더 영역(P5)의 색상 정보는 피듀셜 마커의 모드 정보로 활용할 수 있다. 즉, 색상 정보는 피듀셜 마커의 모드 정보에 따라 구분되도록 사용될 수 있다. 예를 들어, Marker 1-1-1은 녹색, Marker 1-2-1은 빨간색으로 색상 정보를 정의하여 피듀셜 마커의 모드 정보를 구분할 수 있다.
한편, 피듀셜 마커을 입력 영상의 전역에서 검출하는데 가장 중요한 것은 파인더 영역(P5)의 패턴이다. 본 발명의 일 실시예에서의 파인더 영역(P5)은 폐쇄형 고리 구조로 형성되며, 폐쇄형 고리 구조로 형성된 파인더 영역(P5)은 상기 셀 행렬 중 ID 비트 정보가 기재된 패턴 영역(P4)의 내부에 배치될 수 있다.
이러한 구조는 기하학적으로 흔하지 않은 모양으로 영상의 배경 부위와 쉽게 구분이 가능하다는 장점이 있다. 또한, 고리 구조를 활용하는 QR 코드의 인식 부분을 활용할 수도 있다.
이와 더불어, 본 발명의 일 실시예에서 파인더 영역(P5)은 색상 정보를 사용함으로써 파인더 영역(P5)과 비트 정보 영역(P6)을 쉽게 구분할 수 있다. 이를 활용하면 비트 패턴이 형성된 영역(P6)을 파인더 영역(P5)의 외부에 배치가 가능하다는 의미로, 이를 활용함으로써 효율적으로 비트 데이터를 삽입할 수 있게 된다.
즉, 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법은 ID 비트 정보가 삽입된 비트 패턴 영역(P4)이 파인더 영역(P5)의 패턴 바깥쪽에 위치하는 것을 특징으로 하고 있다. 이를 활용할 경우, 파인더 영역(P5) 인식을 위한 마진 영역을 실제 ID 비트 정보가 삽입된 부분(P6)에 흑백 영상으로 추가하여도, 컬러 정보와 구분이 가능하기 때문에 실제로 비트 삽입 효율을 극대화할 수 있다. 참고로, AR 태그나 QR 코드 등과 같이 산업적으로 활성화되어 있는 거의 모든 마커들은 검출을 위해 마진 영역을 요구하고 있다.
제안된 본 발명의 일 실시예를 활용하면 다양한 형태의 피듀셜 마커를 생성할 수 있다.
일반적으로 피듀셜 마커의 디자인에 있어서 중요한 정보는 피듀설 마커를 필요로 하는 시스템의 물리적 구조에 의해 결정되는 경우가 많다. 특히, 피듀셜 마커의 물리적 크기는 매우 중요한 정보이고 피듀셜 마커의 인식 환경에 따라 파인더 영여그이 패턴에 대한 물리적 크기도 매우 중요하다.
본 발명의 일 실시예는 이러한 부분을 쉽게 해결하여 제공해줄 수 있을뿐 아니라, 생성된 피듀셜 마커는 물리적 크기 대비 비트 삽입률 측면에서 매우 효율적인 구조를 제공한다는 장점이 있다.
도 4a 내지 도 4c는 피듀셜 마커의 다양한 예시를 설명하기 위한 도면이다.
도 4a는 피듀셜 마커가 Marker 1-2-1인 경우이다. Marker 1-2-1은 안쪽 비트수를 증가하는 방향으로 옵션을 설정한 것이다. Marker 1-2-1은 파인더 영역(P5)의 크기가 4×4로 정의되어 좀 더 원거리에서 인식이 가능하지만 셀 크기는 6×6으로 최소화되었다.
도 4b는 피듀셜 마커가 Marker 1-1-2인 경우로, 파인더 영역(P5)의 크기는 최소 크기로 한정하고 외곽 영역(P4)에 비트를 많이 삽입하는 방식으로 활용될 수 있다.
도 4c는 피듀셜 마커가 Marker 2-2-1인 경우로, 파인더 영역(P5)의 크기를 ID 비트 셀(P4)보다 두배의 크기로 디자인한 것이다. 이는 파인더 영역(P5)을 더 멀리서 효율적으로 인식할 수 있는 구조를 제공함으로 해상도가 낮은 카메라를 활용할 때 사용할 수 있다.
그 외에도 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법에 따르면 Marker i-j-k 디자인 구조를 갖는 다양한 형태를 손쉽게 유추 및 활용이 가능하다는 장점이 있다.
본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법에 대하여 기술적 성능 평가를 하면 다음 표2와 같다.
# of ID bits # of Cells Bits/Cell Efficiency
AR 태그(16bit) 16 8×8 0.250 1.00
Marker 1-1-1 17 5×5 0.680 2.72
Marker 1-2-1 24 6×6 0.667 2.67
Marker 1-1-2 41 7×7 0.837 3.35
Marker 2-2-1 32 8×8 0.500 2.00
본 발명의 일 실시예에 따르면 기존 방법인 AR 태그 방법보다 도면을 통해 설명한 본 발명에 따른 피듀셜 마커들의 성능 개선 효과는 최소 2배에서 3.35배 이상임을 확인할 수 있다. 또한, 디자인 방법에 따라 더 높은 개선 효과를 기대할 수 있음은 물론이다.
추가적으로, 본 발명의 일 실시예는 제안된 방법에 따라 16비트의 AR 태그를 생성할 수 있다.
예를 들어 Marker 1-4-1로 옵션 정보를 설정해두게 되면 파인더 크기가 1이고 내측 삽입 비트가 4×4=16비트가 되며, 외곽 삽입 비트의 크기는 1이 된다. 여기에서 폐쇄형 고리 구조로 형성된 파인더 영역의 색상 정보를 모두 검은색으로 지정하고, 외측 삽입 비트를 모두 1로 설정함에 따라, 상기 셀 행렬의 내측 삽입 비트 수에 대응하는 AR 태그를 형성할 수 있다.
상술한 설명에서, 단계 S110 내지 S140는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 피듀셜 마커 영상 생성 장치(100)의 블록도이다.
한편, 본 발명명의 일 실시예에 따른 피듀셜 마커 영상 생성 방법은 피듀셜 마커 영상 생성 장치(100)에 의해 수행될 수 있으며, 이러한 피듀셜 마커 영상 생성 장치(100)는 통신 모듈(110), 메모리(120), 데이터베이스(130) 및 프로세서(140)를 포함한다.
통신 모듈(110)은 사용자 단말 또는 사용자 인터페이스를 통해 입력된 옵션 정보를 수신하며, 최종적으로 생성된 피듀셜 마커 영상을 전송한다. 이와 같은 통신 모듈(110)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
메모리(120)에는 피듀셜 마커 영상을 생성하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 4c에서의 피듀셜 마커 영상 생성 방법에 관하여 이미 기술된 내용은 도 5의 피듀셜 마커 영상 생성 장치(100)에도 적용된다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 피듀셜 마커 영상 생성 장치
110: 통신모듈
120: 메모리
130: 프로세서

Claims (13)

  1. 프로세서에 의해 수행되는 피듀셜 마커 영상을 생성하는 방법에 있어서,
    사용자 인터페이스를 통해 입력된 피듀셜 마커의 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하는 단계;
    상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계 및
    상기 생성된 셀 행렬에 색상 정보를 추가하여 피듀셜 마커 영상을 생성하는 단계를 포함하는 피듀셜 마커 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 피듀셜 마커의 옵션 정보는 상기 피듀셜 마커의 파인더측 폭, 안측 폭 및 외측 폭 정보를 포함하는 것인 피듀셜 마커 영상 생성 방법.
  3. 제 2 항에 있어서,
    상기 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하는 단계는,
    상기 파인더측 폭과 안측 폭 정보를 이용하여 파인더측 길이 정보를 산출하고, 상기 파인더측 길이 정보와 외측 폭 정보를 이용하여 마커 길이 정보를 산출하는 것인 피듀셜 마커 영상 생성 방법.
  4. 제 3 항에 있어서,
    상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계는,
    상기 파인더측 길이 정보를 제곱한 크기를 갖는 파인더 영역을 포함하며 상기 마커 길이 정보를 제곱한 크기를 갖는 정방행렬 형태의 상기 셀 행렬을 생성하는 것인 피듀셜 마커 영상 생성 방법.
  5. 제 4 항에 있어서,
    상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계는,
    상기 셀 행렬의 외측 삽입 비트의 수와 내측 삽입 비트의 수의 합만큼 상기 ID 비트 정보를 상기 셀 행렬에 추가하는 것인 피듀셜 마커 영상 생성 방법.
  6. 제 4 항에 있어서,
    상기 피듀셜 마커의 옵션 정보는 상기 피듀셜 마커의 방향성 옵션이고,
    상기 방향성 옵션은 상기 셀 행렬의 외곽 모퉁이에 위치하는 4개의 방향성 비트의 패턴을 통해 설정되는 것인 피듀셜 마커 영상 생성 방법.
  7. 제 6 항에 있어서,
    상기 방향성 옵션이 선택되는 경우,
    상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하는 단계는,
    상기 셀 행렬의 외측 삽입 비트의 수와 내측 삽입 비트의 수의 합에서 상기 방향성 비트의 개수를 제외한 수만큼 상기 ID 비트 정보를 상기 셀 행렬에 추가하는 것인 피듀셜 마커 영상 생성 방법.
  8. 제 1 항에 있어서
    상기 생성된 셀 행렬에 색상 정보를 추가하여 통해 피듀셜 마커 영상을 생성하는 단계는,
    상기 피듀셜 마커의 파인더 영역에 대한 색상 정보 및 상기 색상 정보에 대응하는 셀당 화소수 정보를 추가하여 상기 피듀셜 마커 영상을 생성하는 것인 피듀셜 마커 영상 생성 방법.
  9. 제 1 항에 있어서,
    상기 피듀셜 마커의 파인더 영역은 폐쇄형 고리 구조로 형성되며, 상기 셀 행렬 중 ID 비트 정보가 기재된 패턴의 내부에 배치되는 것인 피듀셜 마커 영상 생성 방법.
  10. 제 9 항에 있어서,
    상기 ID 비트 정보가 기재된 패턴 각각에는 흑색 및 백색 중 하나 이상으로 구성된 마진 영역이 형성되는 것인 피듀셜 마커 영상 생성 방법.
  11. 제 1 항에 있어서,
    상기 색상 정보는 상기 피듀셜 마커의 모드 정보에 따라 구분되는 것인 피듀셜 마커 영상 생성 방법.
  12. 제 1 항에 있어서,
    상기 피듀셜 마커의 파인더 영역은 폐쇄형 고리 구조로 형성되며,
    상기 파인더 영역의 색상 정보를 모두 흑색으로 설정하고, 외측 삽입 비트를 모두 1로 설정함에 따라 상기 셀 행렬의 내측 삽입 비트의 수에 대응하는 AR-tag가 형성되는 것인 피듀셜 마커 영상 생성 방법.
  13. 피듀셜 마커 영상 생성 장치에 있어서,
    피듀셜 마커 영상을 생성하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 피듀셜 마커의 옵션 정보를 수신하여 설정하고, 상기 설정된 옵션 정보에 기초하여 상기 피듀셜 마커 내의 각 파라미터들에 대한 사이즈 정보를 산출하며, 상기 산출된 사이즈 정보를 기반으로 ID 비트 정보를 추가하여 셀 행렬을 생성하고, 상기 생성된 셀 행렬에 색상 정보를 추가하여 피듀셜 마커 영상을 생성하는 것인 피듀셜 마커 영상 생성 장치.
KR1020180134194A 2018-11-05 2018-11-05 피듀셜 마커 영상 생성 장치 및 방법 Active KR102200161B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180134194A KR102200161B1 (ko) 2018-11-05 2018-11-05 피듀셜 마커 영상 생성 장치 및 방법
US16/665,183 US11157787B2 (en) 2018-11-05 2019-10-28 Apparatus and method of creating fiducial marker image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134194A KR102200161B1 (ko) 2018-11-05 2018-11-05 피듀셜 마커 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200051188A KR20200051188A (ko) 2020-05-13
KR102200161B1 true KR102200161B1 (ko) 2021-01-07

Family

ID=70458611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134194A Active KR102200161B1 (ko) 2018-11-05 2018-11-05 피듀셜 마커 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US11157787B2 (ko)
KR (1) KR102200161B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025001A1 (en) 2004-09-01 2006-03-09 Koninklijke Philips Electronics, N.V. Magnetic resonance marker based position and orientation probe

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007113713A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics, N.V. Image guided surgery system
US8050502B2 (en) * 2006-06-21 2011-11-01 Namco Bandai Games Inc. Two-Dimensional code generation method, two-dimensional code, two-dimensional code recognition method, and image recognition device
CN105074732B (zh) * 2012-12-19 2019-02-12 电装波动株式会社 信息码、信息码生成方法、信息码读取装置以及信息码应用系统
DE112014001662T5 (de) * 2013-03-27 2015-12-17 Denso Wave Incorporated Vorrichtung und Verfahren zum Erzeugen eines in einem Bild enthaltenen zweidimensionalen Codes
WO2018064203A1 (en) * 2016-09-28 2018-04-05 3M Innovative Properties Company Occlusion-resilient optical codes for machine-read articles
KR101876086B1 (ko) * 2016-12-07 2018-08-09 서울대학교산학협력단 영상인식을 통한 환자의 신장측정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025001A1 (en) 2004-09-01 2006-03-09 Koninklijke Philips Electronics, N.V. Magnetic resonance marker based position and orientation probe

Also Published As

Publication number Publication date
US20200143213A1 (en) 2020-05-07
KR20200051188A (ko) 2020-05-13
US11157787B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
US11468255B2 (en) Two-dimensional code and method, terminal, and apparatus for recognizing two-dimensional code
CN101571954B (zh) 亚像素配准
US8714456B2 (en) Two-dimensional code, two-dimensional code reader, and program
CN104657768B (zh) 一种彩色三维码生成器及彩色三维码识读方法
EP3996283B1 (en) Coding pattern, coding and reading methods for same, calibration board, and calibration method
CN112184826B (zh) 一种标定板和标定方法
CN113240656B (zh) 视觉定位方法及相关装置、设备
US12394062B2 (en) Method for processing a light field image delivering a super-rays representation of a light field image
RU2729399C1 (ru) Способ обнаружения и распознавания визуальных маркеров большой дальности и высокой плотности
CN112651258A (zh) 基于动态二维码的数据传输方法和系统
US8687068B2 (en) Pattern of color codes
CN112187284B (zh) 编码方法、编码图形、编码图形读取方法和拍摄装置
KR102200161B1 (ko) 피듀셜 마커 영상 생성 장치 및 방법
KR20190014223A (ko) 이종 코드와 결합되는 qr 코드, 및 이를 이용하는 단말기
JP2013084031A (ja) マーカー、二次元コード、およびマーカーの認識方法、二次元コードの認識方法
CN102903097B (zh) 一种图像透视校正方法及装置
CN114723821A (zh) 基于棋盘格标签的机器人室内定位方法及装置
WO2021208630A1 (zh) 标定方法、标定装置及应用其的电子设备
CN112183695A (zh) 编码方法、编码图形、编码图形读取方法和拍摄装置
CN105637560B (zh) 优化基于增强现实的定位系统的定位的方法
CN111179355A (zh) 一种结合点云和语义识别的双目摄像头标定方法
CN116128752B (zh) 一种基于鱼眼图像自适应阈值门限的鱼眼图像校正方法及系统
Soysal et al. Recognition of 3d objects from unconstrained 2d images by using local appearance and affine geometry
CN117406902A (zh) 显示屏书写方法、装置、电子设备及可读存储介质
CN117315040A (zh) 标定系统、标定方法及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181105

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200427

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201023

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210104

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210104

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231227

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241230

Start annual number: 5

End annual number: 5