[go: up one dir, main page]

KR101603281B1 - 레이저 사격 훈련 시스템 및 방법 - Google Patents

레이저 사격 훈련 시스템 및 방법 Download PDF

Info

Publication number
KR101603281B1
KR101603281B1 KR1020130153453A KR20130153453A KR101603281B1 KR 101603281 B1 KR101603281 B1 KR 101603281B1 KR 1020130153453 A KR1020130153453 A KR 1020130153453A KR 20130153453 A KR20130153453 A KR 20130153453A KR 101603281 B1 KR101603281 B1 KR 101603281B1
Authority
KR
South Korea
Prior art keywords
laser
target
coordinates
center
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130153453A
Other languages
English (en)
Other versions
KR20150067924A (ko
Inventor
김병기
최주현
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020130153453A priority Critical patent/KR101603281B1/ko
Priority to PCT/KR2014/007287 priority patent/WO2015088121A1/ko
Priority to US15/038,063 priority patent/US10323905B2/en
Publication of KR20150067924A publication Critical patent/KR20150067924A/ko
Application granted granted Critical
Publication of KR101603281B1 publication Critical patent/KR101603281B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/26—Teaching or practice apparatus for gun-aiming or gun-laying
    • F41G3/2616—Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device
    • F41G3/2622—Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device for simulating the firing of a gun or the trajectory of a projectile
    • F41G3/2655—Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device for simulating the firing of a gun or the trajectory of a projectile in which the light beam is sent from the weapon to the target
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
    • F41A33/00—Adaptations for training; Gun simulators
    • F41A33/02—Light- or radiation-emitting guns ; Light- or radiation-sensitive guns; Cartridges carrying light emitting sources, e.g. laser
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/32—Devices for testing or checking
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J5/00—Target indicating systems; Target-hit or score detecting systems
    • F41J5/02—Photo-electric hit-detector systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J5/00—Target indicating systems; Target-hit or score detecting systems
    • F41J5/08—Infrared hit-indicating systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J5/00—Target indicating systems; Target-hit or score detecting systems
    • F41J5/14—Apparatus for signalling hits or scores to the shooter, e.g. manually operated, or for communication between target and shooter; Apparatus for recording hits or scores
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Image Processing (AREA)

Abstract

레이저 사격 훈련 시스템으로서, 표적지, 그리고 상기 표적지를 촬영하는 카메라를 포함하는 타겟 장치, 그리고 상기 카메라가 촬영한 영상을 기초로 상기 표적지에 발사된 레이저좌표를 계산하고, 상기 레이저 좌표에 해당하는 탄착 위치를 사용자 표시 화면에 표시하는 분석 장치를 포함하고, 상기 분석 장치는 상기 영상에 포함된 레이저 영역의 중심 좌표를 계산하고, 상기 레이저 영역의 크기에 관계된 보정값을 기초로 상기 중심 좌표를 보정하여 상기 레이저 좌표를 계산한다.

Description

레이저 사격 훈련 시스템 및 방법{FIREARM LASER TRAINING SYSTEM AND METHOD THEREOF}
본 발명은 레이저 사격 훈련 시스템 및 방법에 관한 것이다.
사격 훈련은 군대나 경찰 등에서 사격 능력 향상을 위해 수행된다. 현재 군 장병의 사격 연습은 일정, 인원, 공간, 개인별 지급 실탄 수량 등을 포함하는 계획에 따라 이루어진다. 사격 훈련의 위험성으로 인해 개개인의 사격 능력이 차이가 있더라도, 제한적 환경에서 추가적인 사격 연습이 어렵다. 특히, 실제 총기를 이용해 사격 훈련을 하는 경우, 안전 시설이 확보된 별도의 공간이 필요하고 많은 비용이 소모된다. 따라서, 어디에서든 사격 훈련을 할 수 있는 모의 사격 훈련 시스템이 필요하다.
모의 사격 훈련 시스템은 보통 레이저를 이용하는데, 레이저의 특성상, 레이저가 표적지에서 하나의 점으로 탄착되는 것이 아니라 산란된다. 따라서, 모의 사격 훈련 시스템이 영상 분석을 통해 표적지에 탄착된 레이저의 정확한 위치를 찾는 것이 쉽지 않다. 따라서, 사격 훈련의 정확도를 높이기 위해, 레이저의 정확한 탄착 위치를 찾는 것이 필요하다.
본 발명이 해결하고자 하는 과제는 표적지에 발사된 레이저를 촬영한 영상을 분석하여, 레이저의 정확한 탄착 위치를 찾는 레이저 사격 훈련 시스템 및 방법을 제공하는 것이다.
본 발명의 한 실시예에 따른 레이저 사격 훈련 시스템으로서, 표적지, 그리고 상기 표적지를 촬영하는 카메라를 포함하는 타겟 장치, 그리고 상기 카메라가 촬영한 영상을 기초로 상기 표적지에 발사된 레이저좌표를 계산하고, 상기 레이저 좌표에 해당하는 탄착 위치를 사용자 표시 화면에 표시하는 분석 장치를 포함하고, 상기 분석 장치는 상기 영상에 포함된 레이저 영역의 중심 좌표를 계산하고, 상기 레이저 영역의 크기에 관계된 보정값을 기초로 상기 중심 좌표를 보정하여 상기 레이저 좌표를 계산한다.
상기 분석 장치는 상기 영상을 상기 레이저의 컬러로 필터링하여 상기 레이저 영역을 추출할 수 있다.
상기 분석 장치는 상기 레이저 영역에 포함된 픽셀들의 제1 평균 좌표를 구하고, 상기 레이저 영역에 포함된 픽셀들에서 상기 제1 평균 좌표로부터 특정 거리 이상인 픽셀을 제외한 픽셀들의 제2 평균 좌표를 상기 중심 좌표로 계산할 수 있다.
상기 분석 장치는 상기 레이저 영역의 크기가 일정 기준을 초과하는 경우, 상기 중심 좌표를 상기 레이저 영역의 크기에 관계된 보정값을 기초로 보정하여 상기 레이저 좌표를 추출하고, 상기 레이저 영역의 크기에 관계된 보정값은 상기 중심 좌표를 상기 표적지의 중심 방향으로 이동하는 값일 수 있다.
상기 분석 장치는 상기 레이저 영역의 크기가 일정 기준 이하인 경우, 상기 중심 좌표를 상기 레이저 좌표로 추출할 수 있다.
상기 분석 장치는 상기 카메라가 상기 표적지를 촬영하는 위치에 의해 발생한 영상 왜곡을 보정하도록 상기 표적지와 카메라의 거리 및 각도 정보를 기초로 상기 레이저 좌표를 보정할 수 있다.
상기 분석 장치는 상기 사용자 표시 화면의 표적과 상기 영상에 포함된 표적의 비율을 기초로 상기 레이저 좌표를 상기 사용자 표시 화면에 표시되는 상기 탄착 위치로 변환할 수 있다.
상기 분석 장치는 상기 탄착 위치에 해당하는 점수를 표시할 수 있다.
상기 분석 장치는 상기 영상을 분석하여 레이저의 흔들림 정보를 추출할 수 있다.
상기 분석 장치는 총 격발 횟수를 설정하고, 레이저가 발사될 때마다 격발 횟수를 세어 상기 총 격발 횟수에 도달하는지 판단하며, 상기 총 격발 횟수에 도달하면 모드를 변경할 수 있다.
본 발명의 다른 실시예에 따른 레이저 사격 훈련 시스템의 동작 방법으로서, 레이저 영역의 크기별 보정값을 저장하는 단계, 표적지를 촬영한 영상을 수신하는 단계, 상기 영상에 포함된 레이저 영역의 중심 좌표를 계산하는 단계, 상기 레이저 영역의 크기에 관계된 보정값을 기초로 상기 중심 좌표를 보정하여 레이저 좌표를 계산하는 단계, 그리고 상기 레이저 좌표에 해당하는 탄착 위치를 사용자 표시 화면에 표시하는 단계를 포함한다.
상기 레이저 영역의 중심 좌표를 계산하는 단계는 상기 영상을 상기 레이저의 컬러로 필터링하여 상기 레이저 영역을 추출할 수 있다.
상기 레이저 영역의 중심 좌표를 계산하는 단계는 상기 레이저 영역에 포함된 픽셀들의 제1 평균 좌표를 구하고, 상기 레이저 영역에 포함된 픽셀들에서 상기 제1 평균 좌표로부터 특정 거리 이상인 픽셀을 제외한 픽셀들의 제2 평균 좌표를 상기 중심 좌표로 계산할 수 있다.
상기 레이저 좌표를 계산하는 단계는 상기 레이저 영역의 크기가 일정 기준을 초과하는 경우, 상기 중심 좌표를 상기 레이저 영역의 크기에 관계된 보정값을 기초로 보정하여 상기 레이저 좌표를 추출하고, 상기 레이저 영역의 크기가 일정 기준 이하인 경우, 상기 중심 좌표를 상기 레이저 좌표로 추출할 수 있다.
상기 레이저 영역의 크기별 보정값을 저장하는 단계는 발사된 복수의 레이저 각각에 해당하는 레이저 영역의 중심 좌표를 구하고, 각 중심 좌표를 상기 표적지에 탄착된 실제 레이저 위치로 이동시키기 위한 보정값을 추출하며, 보정값을 해당 레이저 영역의 크기에 대응시켜 상기 레이저 영역의 크기별 보정값을 생성할 수 있다.
상기 사용자 표시 화면에 표시하는 단계는 상기 사용자 표시 화면의 표적과 상기 영상에 포함된 표적의 비율을 기초로 상기 레이저 좌표를 상기 사용자 표시 화면에 표시되는 상기 탄착 위치로 변환할 수 있다.
상기 방법은 상기 탄착 위치에 해당하는 점수를 표시하는 단계를 더 포함할 수 있다.
상기 점수를 표시하는 단계는 상기 탄착 위치가 상기 사용자 표시 화면의 표적을 벗어나는지 판단하여 점수를 부여할 수 있다.
본 발명의 실시예에 따르면 레이저의 정확한 탄착 위치를 검출할 수 있다. 따라서, 본 발명의 실시예에 따르면 사격 훈련의 정확도를 높이고, 미세한 탄착 위치의 차이까지 분별할 수 있다.
도 1은 본 발명의 한 실시예에 따른 레이저 사격 훈련 시스템의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 표적지의 예시이다.
도 3은 본 발명의 한 실시예에 따른 사용자 표시 화면의 예시이다.
도 4와 도 5 각각은 본 발명의 한 실시예에 따른 레이저 분석 방법의 흐름도이다.
도 6은 본 발명의 한 실시예에 따른 레이저의 컬러 영역 및 레이저 좌표 보정 방법을 설명하는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 레이저 분석 방법의 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 레이저 분석 방법의 흐름도이다.
도 9부터 도 12 각각은 본 발명의 한 실시예에 따른 사용자 인터페이스 화면의 예시이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 한 실시예에 따른 레이저 사격 훈련 시스템의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 표적지의 예시이며, 도 3은 본 발명의 한 실시예에 따른 사용자 표시 화면의 예시이다.
도 1을 참고하면, 레이저 사격 훈련 시스템(100)은 레이저 격발장치(200), 타겟 장치(300), 그리고 분석 장치(400)를 포함한다.
레이저 격발장치(200)는 레이저를 발사한다. 레이저 격발장치(200)는 총기에 거치되고, 사용자가 방아쇠를 당기면 레이저를 발사할 수 있다.
타겟 장치(300)는 표적지(310), 카메라(330), 송수신부(350)를 포함한다. 도 2를 참고하면, 표적지(310)는 표적(311)이 그려진 장치이다. 표적지(310)는 분석 장치(400)가 영상을 정렬하는데 기준이 되는 정렬점(align mark)(313), 중심점(center mark)(315), 기준원(317)을 포함한다. 표적(311)은 중심점(315)으로부터 정해진 간격마다 점수가 설정되어 있고, 표적의 모양은 다양할 수 있다.
카메라(330)는 표적지를 촬영하도록 배치된다. 카메라(330)의 위치는 다양할 수 있으며, 예를 들면 카메라(330)는 표적지(310)의 전방하단에 위치하여 표적지를 촬영할 수 있다.
송수신부(350)는 카메라(330)에서 촬영된 영상을 분석 장치(400)로 전송한다. 이때, 촬영 영상은 무선 또는 유선으로 분석 장치(400)로 전송될 수 있다.
분석 장치(400)는 타겟 장치(300)로부터 표적지를 촬영한 영상을 수신한다. 도 2를 참고하면, 분석 장치(400)는 중심점(315)을 인식하고, 중심점(315)을 영상 분석을 위한 기준점(center)으로 설정하는 영상 정렬 단계를 수행한다. 분석 장치(400)는 정렬점(313)을 이용하여 중심점(315) 및 기준원(317)을 인식할 수 있다.
분석 장치(400)는 레이저가 표적지에 탄착된 영상(레이저 영상)을 분석하여 레이저의 탄착 위치에 해당하는 레이저 좌표를 계산한다. 먼저, 분석 장치(400)는 레이저 영상에서 레이저의 컬러 영역을 인식한다. 분석 장치(400)는 레이저 영역의 중심 좌표를 추출한다.
분석 장치(400)는 레이저 영역의 크기가 일정 기준 이하인 경우, 중심 좌표를 레이저 좌표로 결정한다. 만약, 레이저 영역의 크기가 일정 기준을 넘는 경우, 분석 장치(400)는 레이저 영역의 크기에 따라 중심 좌표를 보정할 수 있다. 왜냐하면, 레이저 영역의 크기가 일정 기준을 넘는다는 것은 레이저가 표적지에서 산란된 것을 의미하기 때문에 레이저 영역의 중심과 실제 레이저가 탄착된 위치가 차이가 있다. 따라서, 레이저의 산란 정도, 즉 영역의 크기에 따라 중심 좌표를 보정해주어야 한다. 보정값은 어느 레이저 영역의 중심 좌표를, 실제 레이저의 탄착 위치(하이라이트 위치)로 이동시키는 값이다. 사격 훈련 전에 레이저 영역의 크기별 보정값이 설정된다. 분석 장치(400)는 레이저 영역의 크기별 보정값을 기초로 중심 좌표를 중심점에 가까워지도록 보정할 수 있다.
카메라(330)가 표적지(310)의 전방하단에 위치하고 있으므로, 촬영 영상은 도 2와 같이 왜곡되어 있다. 즉, 중심점(315) 상단으로 갈수록 표적 점수 간격이 좁게 보인다. 따라서, 분석 장치(400)는 표적지(310)와 카메라(330)의 위치를 기초로 중심 좌표 또는 보정된 중심 좌표의 왜곡된 정도를 보정할 수 있다.
분석 장치(400)는 도 3과 같은 사용자 표시 화면(410)을 제공할 수 있다. 사용자 표시 화면(410)은 일정 크기의 표적(411), 중심점(415), 그리고 표적 둘레원(417)을 표시한다. 영상 정렬 단계를 거쳐, 중심점(315)과 중심점(415)은 일치된다.
분석 장치(400)는 레이저 좌표를 기초로 레이저 탄착 위치를 결정한다. 분석 장치(400)는 사용자 표시 화면(410)에 레이저 탄착 위치(51, 52, 53, 54, 55)를 표시한다. 점수는 중심점으로부터의 거리에 따라 설정된다. 점수는 중심점으로부터 가깝더라도 사람 모형의 표적을 벗어나면 0점으로 설정될 수 있다.
이때, 사용자 표시 화면의 표적 스케일과 실제 영상에서 촬영된 표적 스케일은 다르다. 분석 장치(400)는 레이저 좌표 그대로 사용자 표시 화면(410)의 표적에 대응시킬 수 없다. 따라서, 분석 장치(400)는 기준원(317)에 대한 표적 둘레원(417)의 비율을 스케일링 값으로 계산한다. 분석 장치(400)는 레이저 좌표를 스케일링 값으로 스케일링하고, 스케일링한 좌표를 사용자 표시 화면(410)에 매핑한다.
또는, 분석 장치(400)는 레이저 좌표를 기초로 중심점에서의 거리와 방향을 계산할 수 있다. 사용자 표시 화면(410)의 중심점(415)에서의 거리에 따른 점수는 고정되어 있다. 분석 장치(400)는 계산한 거리를 스케일링 값으로 스케일링하여 사용자 표시 화면(410)에서의 거리로 변환한다. 분석 장치(400)는 스케일링한 거리가 사용자 표시 화면(410)에서 어느 점수대에 해당하는지 판단한다. 분석 장치(400)는 해당한 점수대의 계산한 방향, 예를 들어, 3시 방향(0도 방향)에 탄착 위치를 표시한다.
분석 장치(400)는 레이저의 흔들림 정보를 추출할 수 있다. 분석 장치(400)는 xy좌표가 0.2초간 이동한 거리를 계산하여 최초 위치와 마지막 위치간 거리와 방향을 계산하여 흔들림 정보를 제공한다. 흔들림 정보는 사용자의 사격 성향 및 사격 문제점을 분석하는 데이터로 사용한다.
분석 장치(400)는 모의 사격 훈련을 위한 각종 인터페이스를 제공한다. 분석 장치(400)는 사격자 등록 화면을 제공할 수 있다. 이를 통해 분석 장치(400)는 사용자 정보를 관리할 수 있다. 분석 장치(400)는 사격 기록을 제공하는 화면을 제공할 수 있다.
분석 장치(400)는 점수를 사용자 표시 화면에 표시하면서, 음성으로 출력할 수 있다.
분석 장치(400)는 총 격발 횟수를 설정하고, 레이저가 발사될 때마다 격발 횟수를 센다. 그리고 분석 장치(400)는 총 격발 횟수에 도달하지 않은 경우, 사격준비발사모드로 동작하고, 총 격발 횟수에 도달하면, 사격 데이터를 저장하고 분석모드로 이동할 수 있다.
도 4와 도 5 각각은 본 발명의 한 실시예에 따른 레이저 분석 방법의 흐름도이고, 도 6은 본 발명의 한 실시예에 따른 레이저의 컬러 영역 및 레이저 좌표 보정 방법을 설명하는 도면이다.
도 4를 참고하면, 분석 장치(400)는 레이저 사격 전에 영상을 정렬하고, 레이저 컬러를 설정하는 설정 모드를 실행한다.
분석 장치(400)는 타겟 장치(300)로부터 수신한 영상에서 중심점(315)을 인식한다(S110). 분석 장치(400)는 정렬점(313)을 이용하여 표적지(310)의 중심점(315)을 인식하고, 중심점(315)을 영상 분석을 위한 기준점으로 설정한다.
분석 장치(400)는 수신 영상을 기초로 타겟 장치(300) 주변의 밝기를 확인한다(S120).
분석 장치(400)는 밝기에 따라 설정된 레이저 컬러를 기초로 어느 레이저 컬러를 설정한다(S130).
도 5를 참고하면, 설정 모드를 거친 분석 장치(400)는 레이저 사격 훈련 모드를 실행한다.
분석 장치(400)는 레이저가 표적지에 탄착된 레이저 영상에서 레이저 영역(10)을 인식한다(S210). 도 6을 참고하면, 분석 장치(400)는 RGB 레이저 영상을 HSV 영상으로 변환한다. 분석 장치(400)는 HSV 영상에서 레이저 컬러에 해당하는 레드 계열 픽셀만 남기고, 나머지 픽셀을 백색으로 필터링한다. 분석 장치(400)는 레드 계열 픽셀을 필터링하여 threshold 이미지(흑백 이미지)로 변환한다. 여기서, 백색 영역의 픽셀들이 레이저 영역(10)이다.
분석 장치(400)는 레이저 영역의 중심 좌표를 계산한다(S220). 도 6을 참고하면, 분석 장치(400)는 레이저 영역(10)의 픽셀들을 기초로 레이저 영역의 중심좌표(20)를 계산한다. 레이저 영역의 중심 좌표를 계산하는 방법은 다양할 수 있는데, 분석 장치(400)는 레이저 영역 내부 또는 테두리에 위치한 픽셀들의 평균 좌표를 구하고, 평균 좌표와 특정 거리 이상인 픽셀을 제외한 픽셀들의 평균 좌표를 중심 좌표로 설정할 수 있다.
분석 장치(400)는 레이저 영역의 크기가 일정 기준 이하인지 판단한다(S230).
일정 기준 이하인 경우, 분석 장치(400)는 중심 좌표를 레이저 좌표로 결정한다(S240).
일정 기준을 넘는 경우, 분석 장치(400)는 레이저 영역의 크기별 보정값을 기초로 중심 좌표를 보정하여 레이저 좌표를 계산한다(S250). 카메라가 표적지의 전방하단에 위치한 경우, 분석 장치(400)는 중심 좌표를 중심점에 가까워지도록 보정한다. 도 6을 참고하면, 분석 장치(400)는 중심 좌표(20)를 레이저 좌표(30)로 보정한다. 분석 장치(400)는 사격 훈련 전에 레이저 영역의 크기별 보정값을 설정한다.
레이저 발사 시 카메라로 들어오는 빛은 카메라 중심을 기준으로 각 방향으로 산란된다. 그래서, 분석 장치(400)는 인식되는 레이저 영역의 크기에 따라 실제 레이저의 탄착 위치와 레이저 영역의 중심 좌표가 차이가 날 수 있다. 분석 장치(400)는 이러한 오차를 줄이기 위해, 표 1과 같은 레이저 영역의 크기별 보정값을 이용하여 중심 좌표를 보정한다. 각 레이저 영역의 크기에 따른 보정값은 해당 레이저 영역의 중심 좌표를, 실제 레이저의 탄착 위치(영상에서 보이는 하이라이트 위치)로 이동하는데 필요한 값이다. 각 레이저 영역의 크기에 따른 보정값은 표적지를 촬영한 영상에서 중심 좌표를 실제 레이저 위치인 하이라이트 위치로 이동시키는 복수의 테스트 결과를 기초로 결정된다. 예를 들어, 중심 레이저 좌표(30)가 (x, y)인 경우, 레이저의 산란 정도를 기초로 보정한 레이저 좌표(30)는 (x*보정값, y*보정값)이다. 레이저 영역의 단위는 크기 측정 방법에 따라 다를 수 있으며, 예를 들면 픽셀수일 수 있다.
레이저 영역의 크기 보정값
300 이하 보정 안함
300 초과 0.8
400 0.75
500 0.7
600 0.6
분석 장치(400)는 표적지(310)와 카메라(330)의 거리 및 각도를 기초로 레이저 좌표를 보정한다(S260). 도 6을 참고하면, 카메라(330)가 표적지(310)의 전방하단에 위치하고 있으므로, 촬영 영상은 위로 갈수록 표적 점수 간격이 좁게 보인다. 즉, 영상을 통해 계산한 레이저 좌표와 실제 표적지에서의 좌표가 다를 수 있다. 따라서, 분석 장치(400)는 이러한 영상 왜곡이 있는 경우, 표적지(310)와 카메라(330)의 거리 및 각도를 기초로 레이저 좌표(30)를 실제 표적지에서의 좌표로 보정한다.
도 7은 본 발명의 다른 실시예에 따른 레이저 분석 방법의 흐름도이다.
도 7을 참고하면, 분석 장치(400)는 사용자 표시 화면의 표적과 촬영 영상의 표적의 비율을 기초로 레이저 좌표를 사용자 표시 화면(410)의 정보로 변환한다(S310). 사용자 표시 화면의 표적과 실제 영상에서 촬영된 표적은 스케일이 다르기 때문에, 분석 장치(400)는 레이저 좌표 그대로 사용자 표시 화면(410)의 표적에 대응시킬 수 없다. 따라서, 분석 장치(400)는 기준원(317)에 대한 표적 둘레원(417)의 비율을 스케일링 값으로 이용한다. 분석 장치(400)는 레이저 좌표를 스케일링 값으로 스케일링하고, 스케일링한 좌표를 사용자 표시 화면(410)에 매핑할 수 있다.
분석 장치(400)는 사용자 표시 화면(410)에 스케일링한 좌표를 레이저의 탄착 위치로 표시한다(S320).
분석 장치(400)는 레이저의 탄착 위치에 해당하는 점수를 표시한다(S330). 예를 들어, 표 2와 같이, 중심점으로부터의 거리에 따라 2점부터 10점이 배정되어 있는 경우, 분석 장치(400)는 레이저의 탄착 위치와 중심점과의 거리를 기초로 점수를 계산한다. 표 2의 경우, 표적 둘레원(417)의 반지름은 440이다. 분석 장치(400)는 레이저의 탄착 위치가 사람 모형의 표적을 벗어나면 0점으로 계산한다.
점수 10점 9점 8점 7점 6점 5점 4점 3점 2점
중심점과의
거리		 90 176 267 358 449 539 630 721 880
도 8은 본 발명의 또 다른 실시예에 따른 레이저 분석 방법의 흐름도이다.
도 8을 참고하면, 분석 장치(400)는 도 7과 다른 방법으로 탄착 위치를 표시하고, 점수를 계산할 수 있다.
분석 장치(400)는 기준원(317)에 대한 표적 둘레원(417)의 비율을 스케일링 값으로 계산하고, 스케일링 값을 이용하여 사용자 표시 화면(410)에서의 점수와 거리를 촬영 영상에서의 점수와 거리로 재계산한다(S410). 예를 들어, 표적 둘레원(417)의 반지름이 440이고, 기준원(317)의 반지름이 220인 경우, 촬영 영상에서 중심점(315)과의 거리에 따른 점수는 표 3과 같다.
점수 10점 9점 3점 2점
중심점과의 거리 90*0.5 176*0.5 721*0.5 880*0.5
분석 장치(400)는 중심점에서 레이저 좌표(40)에 해당하는 거리를 계산한다(S420).
분석 장치(400)는 표 3의 재계산된 점수와 거리 관계를 기초로 레이저 좌표(40)의 점수를 찾는다(S430).
분석 장치(400)는 중심점에서 레이저 좌표(40)의 방향을 계산한다(S440). 방향은 시계방식의 방향 또는 각도로 계산될 수 있다.
분석 장치(400)는 레이저 좌표(40)의 점수와 방향을 사용자 표시 화면(410)에 표시한다(S450).
도 9부터 도 12 각각은 본 발명의 한 실시예에 따른 사용자 인터페이스 화면의 예시이다.
도 9를 참고하면, 분석 장치(400)는 카메라(330), 레이저 격발장치(200)의 종류, 레이저 발사 시 소리, 음성 사운드 등을 설정하고, 상태를 확인할 수 있는 메뉴를 제공할 수 있다. 분석 장치(400)는 기준점의 좌표 정보를 제공할 수 있다.
분석 장치(400)는 사격자를 등록할 수 있는 사격자 등록 메뉴(500)를 제공할 수 있다. 사격자 등록 메뉴(500)를 선택하면, 도 10과 같은 사격자 등록 화면이 표시된다.
분석 장치(400)는 최초 카메라를 정렬하기 위한 단계에서 사용하는 카메라 정렬 메뉴, 사격을 시작하는 사격 시작 메뉴, 사격 초기화 메뉴, 프로그램 종류 메뉴 등을 표시하는 인터페이스 화면을 제공한다.
도 11을 참고하면, 분석 장치(400)는 사격 기록을 저장하고, 이를 보여주는 인터페이스 화면을 제공한다.
도 12를 참고하면, 분석 장치(400)는 레이저의 흔들림 정보를 분석할 수 있다. 분석 장치(400)는 xy좌표가 0.2초간 이동한 거리를 계산하여 최초 위치와 마지막 위치간 거리와 방향을 계산하여 흔들림 정보를 제공한다. 흔들림 정보는 사용자의 사격 성향 및 사격 문제점을 분석하는 데이터로 사용한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 레이저 사격 훈련 시스템으로서,
    표적지, 그리고 상기 표적지의 전방에 설치되어 상기 표적지를 촬영하는 카메라를 포함하는 타겟 장치, 그리고
    상기 카메라가 촬영한 영상을 기초로 상기 표적지에 레이저가 부딪혀 산란된 레이저 산란 영역을 추출하고, 상기 레이저 산란 영역을 이용하여 상기 표적지에 발사된 레이저 좌표를 계산하고, 상기 레이저 좌표에 해당하는 탄착 위치를 사용자 표시 화면에 표시하는 분석 장치를 포함하고,
    상기 분석 장치는
    상기 레이저 산란 영역에 포함된 픽셀들의 제1 평균 좌표를 구하고, 상기 레이저 산란 영역에 포함된 픽셀들에서 상기 제1 평균 좌표로부터 특정 거리 이상인 픽셀을 제외한 픽셀들의 제2 평균 좌표를 중심 좌표로 계산하고,
    상기 레이저 산란 영역의 크기가 일정 기준을 초과하는 경우, 상기 레이저 산란 영역의 크기에 관계된 보정값을 기초로 상기 중심 좌표를 상기 표적지의 중심 방향으로 이동시킨 보정 좌표를 계산하며, 상기 보정 좌표를 상기 레이저 좌표로 추출하고,
    상기 레이저 산란 영역의 크기가 일정 기준 이하인 경우, 상기 중심 좌표를 상기 레이저 좌표로 추출하며,
    상기 레이저 산란 영역의 크기에 관계된 보정값은 상기 레이저 산란 영역의 크기에 따라 상기 중심 좌표를 상기 표적지의 중심 방향으로 이동시키는 값인 레이저 사격 훈련 시스템.
  2. 제1항에서,
    상기 분석 장치는
    상기 영상을 상기 레이저의 컬러로 필터링하여 상기 레이저 산란 영역을 추출하는 레이저 사격 훈련 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에서,
    상기 분석 장치는
    상기 카메라가 상기 표적지를 촬영하는 위치에 의해 발생한 영상 왜곡을 보정하도록 상기 표적지와 카메라의 거리 및 각도 정보를 기초로 상기 레이저 좌표를 보정하는 레이저 사격 훈련 시스템.
  7. 제1항에서,
    상기 분석 장치는
    상기 사용자 표시 화면의 표적과 상기 영상에 포함된 표적의 비율을 기초로 상기 레이저 좌표를 상기 사용자 표시 화면에 표시되는 상기 탄착 위치로 변환하는 레이저 사격 훈련 시스템.
  8. 제1항에서,
    상기 분석 장치는
    상기 탄착 위치에 해당하는 점수를 표시하는 레이저 사격 훈련 시스템.
  9. 제1항에서,
    상기 분석 장치는
    상기 영상을 분석하여 레이저의 흔들림 정보를 추출하는 레이저 사격 훈련 시스템.
  10. 제1항에서,
    상기 분석 장치는
    총 격발 횟수를 설정하고, 레이저가 발사될 때마다 격발 횟수를 세어 상기 총 격발 횟수에 도달하는지 판단하며, 상기 총 격발 횟수에 도달하면 모드를 변경하는 레이저 사격 훈련 시스템.
  11. 레이저 사격 훈련 시스템의 동작 방법으로서,
    레이저 산란 영역의 크기별 보정값을 저장하는 단계,
    표적지의 전방을 촬영한 영상을 수신하는 단계,
    상기 영상에서 상기 표적지에 레이저가 부딪혀 산란된 레이저 산란 영역을 추출하는 단계,
    추출한 상기 레이저 산란 영역의 중심 좌표를 계산하는 단계,
    상기 레이저 산란 영역의 크기에 관계된 보정값을 기초로 상기 중심 좌표를 상기 표적지의 중심 방향으로 이동시킨 레이저 좌표를 계산하는 단계, 그리고
    상기 레이저 좌표에 해당하는 탄착 위치를 사용자 표시 화면에 표시하는 단계
    를 포함하고,
    상기 중심 좌표를 계산하는 단계는
    상기 레이저 산란 영역에 포함된 픽셀들의 제1 평균 좌표를 구하고, 상기 레이저 산란 영역에 포함된 픽셀들에서 상기 제1 평균 좌표로부터 특정 거리 이상인 픽셀을 제외한 픽셀들의 제2 평균 좌표를 상기 중심 좌표로 계산하며,
    상기 레이저 좌표를 계산하는 단계는
    상기 레이저 산란 영역의 크기가 일정 기준을 초과하는 경우, 상기 레이저 산란 영역의 크기에 관계된 보정값을 기초로 상기 중심 좌표를 상기 표적지의 중심 방향으로 이동하여 상기 레이저 좌표를 추출하고, 상기 레이저 산란 영역의 크기가 일정 기준 이하인 경우, 상기 중심 좌표를 상기 레이저 좌표로 추출하며,
    상기 레이저 산란 영역의 크기에 관계된 보정값은 상기 레이저 산란 영역의 크기에 따라 상기 중심 좌표를 상기 표적지의 중심 방향으로 이동시키는 값인, 방법.
  12. 제11항에서,
    상기 레이저 산란 영역의 중심 좌표를 계산하는 단계는
    상기 영상을 상기 레이저의 컬러로 필터링하여 상기 레이저 산란 영역을 추출하는 방법.
  13. 삭제
  14. 삭제
  15. 제11항에서,
    상기 레이저 산란 영역의 크기별 보정값을 저장하는 단계는
    발사된 복수의 레이저 각각에 해당하는 레이저 산란 영역의 중심 좌표를 구하고, 각 중심 좌표를 상기 표적지에 탄착된 실제 레이저 위치로 이동시키기 위한 보정값을 추출하며, 보정값을 해당 레이저 산란 영역의 크기에 대응시켜 상기 레이저 산란 영역의 크기별 보정값을 생성하는 방법.
  16. 제11항에서,
    상기 사용자 표시 화면에 표시하는 단계는
    상기 사용자 표시 화면의 표적과 상기 영상에 포함된 표적의 비율을 기초로 상기 레이저 좌표를 상기 사용자 표시 화면에 표시되는 상기 탄착 위치로 변환하는 방법.
  17. 제11항에서,
    상기 탄착 위치에 해당하는 점수를 표시하는 단계를 더 포함하는 방법.
  18. 제17항에서,
    상기 점수를 표시하는 단계는
    상기 탄착 위치가 상기 사용자 표시 화면의 표적을 벗어나는지 판단하여 점수를 부여하는 방법.
KR1020130153453A 2013-12-10 2013-12-10 레이저 사격 훈련 시스템 및 방법 Active KR101603281B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130153453A KR101603281B1 (ko) 2013-12-10 2013-12-10 레이저 사격 훈련 시스템 및 방법
PCT/KR2014/007287 WO2015088121A1 (ko) 2013-12-10 2014-08-06 레이저 사격 훈련 시스템 및 방법
US15/038,063 US10323905B2 (en) 2013-12-10 2014-08-06 Laser shooting training system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153453A KR101603281B1 (ko) 2013-12-10 2013-12-10 레이저 사격 훈련 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150067924A KR20150067924A (ko) 2015-06-19
KR101603281B1 true KR101603281B1 (ko) 2016-03-28

Family

ID=53371398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153453A Active KR101603281B1 (ko) 2013-12-10 2013-12-10 레이저 사격 훈련 시스템 및 방법

Country Status (3)

Country Link
US (1) US10323905B2 (ko)
KR (1) KR101603281B1 (ko)
WO (1) WO2015088121A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183374B1 (ko) 2020-07-13 2020-11-26 (주)피닉스스튜디오 사격술 자동분석장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102762150B1 (ko) 2024-02-02 2025-02-04 팁코리아 주식회사 총기용 스마트 발사장치 및 그 장치의 구동방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106885491A (zh) * 2017-04-10 2017-06-23 石鸿鹏 射击轨迹再现系统及方法
CN111306988B (zh) * 2018-12-12 2022-12-23 杭州海康微影传感科技有限公司 标定数据确定方法及装置
KR102195083B1 (ko) * 2019-03-26 2020-12-24 오용 레이저 사격과 시선 추적을 이용한 주의력 향상 시스템 및 방법
CN110779395A (zh) * 2019-11-06 2020-02-11 北京宏大天成防务装备科技有限公司 一种打靶校正系统及方法
CN112325705B (zh) * 2020-01-23 2022-08-19 沈阳中科智胜科技有限公司 一种全天候对人形纸靶多模式射击报靶系统及方法
CN111507987A (zh) * 2020-04-10 2020-08-07 刘盛杰 一种实弹射击靶像采集处理方法及装置
CN113159124B (zh) * 2020-04-30 2024-03-22 珠海强源体育用品有限公司 影像靶环识别及计算装置及方法
CN114322651A (zh) * 2022-02-08 2022-04-12 神州凯业(广东)科技有限公司 一种利用激光波长来模拟指向性武器的模拟训练系统
CN114858013B (zh) * 2022-04-13 2024-05-17 莆田市军源特种装备科技有限公司 一种基于智能视觉识别的弹体投远测距方法
CN115628648B (zh) * 2022-09-23 2025-08-08 中国电子科技集团公司第十一研究所 一种激光模拟射击用靶纸及利用其进行靶面图像处理方法
KR102548388B1 (ko) * 2022-11-30 2023-06-26 주식회사 케이에스엘에스 레이저 사격 시스템
CN115790281B (zh) * 2022-12-13 2024-07-12 山东欧龙电子科技有限公司 基于机器视觉的自动报靶射击训练系统及实现方法
CN115615243B (zh) * 2022-12-20 2023-03-17 江苏金鹏航天智能装备有限公司 一种应用图像处理技术的综合校靶管理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071403A (ja) * 2005-09-02 2007-03-22 Realviz:Kk 射撃模擬装置
KR100751503B1 (ko) * 2006-02-21 2007-08-22 강혜경 레이저총 사격 연습장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ771700A0 (en) * 2000-05-24 2000-06-15 Bartsch, Friedrich Karl John Integrated electronic target shooting, scoring and timing system for biathlon
ATE311586T1 (de) * 2000-06-09 2005-12-15 Beamhit Llc Feuerwaffenlaserübungssystem und -verfahren zur feuerwaffenübungserleichterung mit verschiedenen zielen und visueller rückkopplung simulierter geschossaufschlagsorten
JP3803589B2 (ja) * 2002-02-15 2006-08-02 Ｎｅｃパーソナルプロダクツ株式会社 射撃訓練システムおよび方法
JP3975215B2 (ja) * 2005-01-31 2007-09-12 株式会社野村総合研究所 射撃訓練システム
KR101008183B1 (ko) * 2008-06-27 2011-01-14 한국산업기술대학교산학협력단 상용 프레임 그래버를 이용한 영상 사격 시뮬레이션 시스템
KR101375509B1 (ko) 2011-11-21 2014-03-17 주식회사 제이디솔루션 모의총기 및 이를 포함하는 스크린 모의 사격시스템
US9195901B2 (en) * 2012-04-10 2015-11-24 Victor KAISER-PENDERGRAST System and method for detecting target rectangles in an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071403A (ja) * 2005-09-02 2007-03-22 Realviz:Kk 射撃模擬装置
KR100751503B1 (ko) * 2006-02-21 2007-08-22 강혜경 레이저총 사격 연습장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183374B1 (ko) 2020-07-13 2020-11-26 (주)피닉스스튜디오 사격술 자동분석장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102762150B1 (ko) 2024-02-02 2025-02-04 팁코리아 주식회사 총기용 스마트 발사장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
US10323905B2 (en) 2019-06-18
US20160305744A1 (en) 2016-10-20
KR20150067924A (ko) 2015-06-19
WO2015088121A1 (ko) 2015-06-18

Similar Documents

Publication Publication Date Title
KR101603281B1 (ko) 레이저 사격 훈련 시스템 및 방법
US7687751B2 (en) Enhancement of aimpoint in simulated training systems
US20070190495A1 (en) Sensing device for firearm laser training system and method of simulating firearm operation with various training scenarios
US8998085B2 (en) Optical device configured to determine a prey score of antlered prey
US20160298930A1 (en) Target practice system
JPH05322487A (ja) 射撃ゲーム装置
TWI612990B (zh) 自動計分鏢靶裝置及其飛鏢自動計分方法
US20100233660A1 (en) Pulsed Laser-Based Firearm Training System, and Method for Facilitating Firearm Training Using Detection of Laser Pulse Impingement of Projected Target Images
CN101694363A (zh) 一种基于摄像机的报靶方法及系统
CN113008076A (zh) 影像枪、影像打靶系统、影像打靶方法及存储介质
CN109876432A (zh) 一种红外激光多射击点识别系统
JP2016166731A (ja) 射撃システム、銃、及びデータ処理装置
WO1993007437A1 (en) Target acquisition training apparatus
KR101314179B1 (ko) 영상 사격 훈련 장치
EP4581326A1 (en) Camera detection of point of impact of a projectile with a physical target
KR101330060B1 (ko) 레이저를 이용한 양방향 시뮬레이터 사격술 전술훈련 시스템 및 방법
CN109999483A (zh) 一种红外激光识别系统
CN117046085A (zh) 模拟射击方法和模拟射击系统
CN115628648A (zh) 一种激光模拟射击用靶纸及利用其进行靶面图像处理方法
KR101897116B1 (ko) 양궁 표적장치
JP4614783B2 (ja) 射撃訓練システム
KR102151340B1 (ko) 비비탄용 사격 시스템의 탄착점 검출 방법
CN112989972A (zh) 一种打靶的自动识别方法、装置、系统、存储介质
KR101915197B1 (ko) 조준 정확도 분석 장치 및 방법
JP2000258122A (ja) 発光位置標定装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131210

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150330

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20150930

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150330

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20150930

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20150508

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20151221

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20151123

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20150930

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20150508

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0702 Registration of establishment of national patent

Patent event code: PR07021E01D

Comment text: Registration of Establishment of National Patent

Patent event date: 20160308

PR1002 Payment of registration fee

Payment date: 20160308

End annual number: 20

Start annual number: 1

PG1601 Publication of registration