[go: up one dir, main page]

KR20160083619A - 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법 - Google Patents

복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법 Download PDF

Info

Publication number
KR20160083619A
KR20160083619A KR1020140195939A KR20140195939A KR20160083619A KR 20160083619 A KR20160083619 A KR 20160083619A KR 1020140195939 A KR1020140195939 A KR 1020140195939A KR 20140195939 A KR20140195939 A KR 20140195939A KR 20160083619 A KR20160083619 A KR 20160083619A
Authority
KR
South Korea
Prior art keywords
roi
distance
rois
vehicle
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140195939A
Other languages
English (en)
Other versions
KR101665207B1 (ko
Inventor
김진욱
Original Assignee
(주)베라시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)베라시스 filed Critical (주)베라시스
Priority to KR1020140195939A priority Critical patent/KR101665207B1/ko
Publication of KR20160083619A publication Critical patent/KR20160083619A/ko
Application granted granted Critical
Publication of KR101665207B1 publication Critical patent/KR101665207B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 관한 것으로, 단안 카메라로부터 밝기값 영상을 입력받아 관심영역을 생성하는 복수개의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 있어서, 현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 가까운 쪽의 영역을 입력하는 제1 단계, 현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 먼 쪽의 영역을 입력하는 제2 단계, 최원거리와 최근거리를 포함한 관심영역(ROI)의 총 생성 개수 입력하는 제3 단계, 최원거리와 최근거리 ROI간의 폭과 높이에 대한 비율을 계산하는 제4 단계, 최원거리와 최근거리, ROI의 총 생성개수를 이용하여 중간 ROI들의 크기를 계산하는 제5 단계, ROI를 알고리즘에 적용하는 제6 단계를 포함한다.

Description

복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법{Vehicle Detection Method in ROI through Plural Detection Windows}
본 발명은 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 관한 것으로, 더욱 상세하게는, 종래 고정식으로 정해진 부분을 검출하는 경우에 비해 식별할 차량을 놓치는 차량 유실을 방지할 수 있고, 최근거리와 최원거리만 소지하면 자동으로 중간 ROI 화면을 생성하여(ROI 영상 부분은 특정크기로 Resizing 됨) 계산이 빠르고 차량식별을 빠르게 할 수 있는 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 관한 것이다.
종래 cctv 혹은 영상카메라와 같은 촬영장치를 통해 입력되는 입력 영상에서 객체, 예를 들면 차량을 식별하는 경우에는 관심영역(ROI)의 x(관심영역의 x좌표),y(관심영역의 y좌표),w(관심영역의 폭),h(관심영역의 높이)를 직접 설정하였다. 또는 관심영역간의 비율을 정한 상태로 ROI를 계산하였다.
따라서 종래에는 ROI의 영역이 제한적이어서 관심영역을 통해 객체인 차량을 식별하기가 어려운 문제점이 있었다.
[선행기술문헌]
대한민국 공개특허공보 제10-2011-0030938호(2011.03.24공개)(발명의 명칭: 원근 면을 이용한 객체 검출 방법 및 장치)
본 발명의 목적은 상기한 바와 같은 종래의 문제점을 해결하고자 제안한 것으로,최근거리 ROI와 최원거리 ROI를 이용하여 관심영역이 자동으로 생성되는 새로운 형태의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법을 제공하는데 있다.
본 발명의 또 다른 목적은 전체적인 ROI의 형태나 개수의 변경이 매우 용이한 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법을 제공하는데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면,
복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법은
단안 카메라로부터 밝기값 영상을 입력받아 관심영역을 생성하는 복수개의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 있어서,
현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 가까운 쪽의 영역을 입력하는 제1 단계,
현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 먼 쪽의 영역을 입력하는 제2 단계,
최원거리와 최근거리를 포함한 관심영역(ROI)의 총 생성 개수 입력하는 제3 단계,
최원거리와 최근거리 ROI간의 폭과 높이에 대한 비율을 계산하는 제4 단계,
최원거리와 최근거리, ROI의 총 생성개수를 이용하여 중간 ROI들의 크기를 계산하는 제5 단계,
ROI를 알고리즘에 적용하는 제6 단계를 포함한다.
바람직하게는,
상기 제4 단계에서 폭과 높이는 각각 수학식 1과 수학식 2에 의해 계산되는 것을 특징으로 한다.
(수학식 1)
Figure pat00001

(수학식 2)
Figure pat00002
또한 바람직하게는,
상기 제5 단계에서의 중간 ROI들의 크기는 x,y,폭, 높이로서, 각각 수학식 3, 수학식 4, 수학식 5, 및 수학식 6에 의해 계산되는 것을 특징으로 한다.
(수학식 3)
Figure pat00003
(수학식 4)
Figure pat00004
(수학식 5)
Figure pat00005
(수학식 6)
Figure pat00006
또한 바람직하게는 상기 제6 단계는
ROI를 알고리즘에 적용하는 단계로서,
원거리, 중거리, 근거리에서 식별되는 차량의 ROI가 입력영상에서의 ROI 뿐만 아니라 입력영상 일측에 표시된 복수개의 검출윈도우 중 하나의 검출윈도우에 동시에 위치되면서 표시되도록 복수개의 검출윈도우 영상 표시 과정을 제어하는 것을 특징으로 한다.
이상 설명한 바와 같이, 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 의하면, 종래 고정식으로 정해진 부분을 검출하는 경우에 비해 식별할 차량을 놓치는 차량 유실을 방지할 수 있는 효과가 있고, 최근거리와 최원거리만 소지하면 자동으로 중간 ROI 화면을 생성하여(ROI 영상 부분은 특정크기로 Resizing 됨) 계산이 빠르고 차량식별을 빠르게 할 수 있는 효과가 있다.
또한, 최근거리 ROI를 고정시키고 최원거리 ROI를 소실점에 연동시킬 경우, 소실점의 변경이 될 때 ROI 화면의 x, y 위치를 적합하게 변경시킬 수 있어 차량 식별을 용이하게 한다.
도 1은 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법을 나타내는 흐름도이다.
도 2는 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법의 과정을 설명하는 개념도이다.
도 3 내지 도 5는 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법의 결과화면의 일예를 나타낸 도면이다.
이하 본 발명에 따른 복수개의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법을 첨부도면을 참조로 상세히 설명한다.
도 1은 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법을 나타내는 흐름도이고, 도 2는 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법의 과정을 설명하는 개념도이고, 도 3 내지 도 5는 본 발명에 따른 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법의 결과화면의 일예를 나타낸 도면이다.
도 1 내지 도 3을 참조하면, 본 발명에 따른 복수개의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법은
단안 카메라로부터 밝기값 영상을 입력받아 관심영역을 생성하는 복수개의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 있어서,
영상 입력과정을 통해 영상이 입력되고(S10), 이후 입력 영상에서 위치 정보를 할당하는 과정이 진행된다(S20).
위치 정보를 할당하는 과정은 세부적으로,
최근거리 ROI 정보를 입력한다(S22). 즉, 현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 가까운 쪽의 영역을 입력한다.
이후 최원거리 ROI 정보를 입력한다(S23). 즉, 현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 먼 쪽의 영역을 입력한다.
이후, 생성할 ROI 개수를 입력한다(S24). 즉, 최원거리와 최근거리를 포함한 관심영역(ROI)의 총 생성 개수 입력한다. 총 생성 개수는 제한은 2이상 9이하가 바람직하지만 이에 제한되지는 않는다.
이후 최원거리와 최근거리 ROI간의 폭과 높이에 대한 비율을 계산한다(S26).
이후, ROI를 생성한다(S28). 즉, 최원거리와 최근거리, ROI의 총 생성개수를 이용하여 중간 ROI들의 크기를 계산한다.
이후 차량식별 알고리즘을 실행한다(S30). 즉, ROI를 알고리즘에 적용한다.
상기 최원거리와 최근거리 ROI간의 폭과 높이를 계산하는 과정에서, 폭과 높이는 각각 수학식 1과 수학식 2에 의해 계산된다.
Figure pat00007
여기서, r = 비율, w = ROI의 width, n = ROI의 전체 개수, f = 최원거리 ROI, c = 최근거리 ROI 이다.
Figure pat00008
여기서, r = 비율, h = ROI의 height, n = ROI의 전체 개수, f = 최원거리 ROI, c = 최근거리 ROI이다.
또한, 중간 ROI들의 크기는 x,y,폭, 높이로서, 각각 수학식 3, 수학식 4, 수학식 5, 및 수학식 6에 의해 계산된다.
Figure pat00009
여기서, x = ROI의 x 좌표, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율, w = ROI의 width, j=
Figure pat00010
,x와 width에 관련된 상수이다.
Figure pat00011
여기서, y = ROI의 y 좌표, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율, h = ROI의 height, k=
Figure pat00012
, y와 height에 관련된 상수이다.
Figure pat00013
여기서, w = ROI의 width, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율이다.
Figure pat00014
여기서, h = ROI의 height, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율이다.
상기 ROI를 알고리즘에 적용하는 단계는 차량 식별 알고리즘 실행단계로서,원거리, 중거리, 근거리에서 식별되는 차량의 ROI가 입력영상에서의 ROI 뿐만 아니라 입력영상 일측에 표시된 복수개의 검출윈도우 중 하나의 검출윈도우에 동시에 위치되면서 표시되도록 복수개의 검출윈도우 영상 표시 과정을 제어한다.
도 2를 참조하면, 영상화면(S-20)에서 최원거리 ROI 화면(S-11) 및 최근거리 ROI 화면(S-19)을 설정하는 과정을 볼 수있다. 자동생성된 ROI는 복수개가(S-11,S-12,S-13,S-14,S-15,S-16,S-17,S-18,S-19) 표시되었다.
도 3을 참조하면, 원거리 상태에서 식별되는 차량 영상의 결과화면을 볼 수 있다. 즉, 영상화면(S-20)내서의 S-12에 해당하는 부분의 우측 복수개의 검출윈도우에 S-12에 해당하는 위치에 표시된 차량 식별 영상을 볼 수 있다.
도 4를 참조하면, 중거리 상태에서 식별되는 차량 영상의 결과화면을 볼 수 있다. 즉, 영상화면(S-20)내의 중거리 식별영상이 해당 영역의 우측 복수개의 검출윈도우에 해당하는 위치에 표시된 차량 식별 영상을 볼 수 있다.(도 4의 중간 부분에 보임).
도 5를 참조하면, 근거리 상태에서 식별되는 차량 영상의 결과화면을 볼 수 있다. 즉, 영상화면(S-20)내서의 근거리 식별영상이 해당 영역의 우측 복수개의 검출윈도우에 해당하는 위치에 표시된 차량 식별 영상을 볼 수 있다.(도 5의 맨 아래측에 보임).
S-20: 영상화면
S-11,S-12,S-13,S-14,S-15,S-16,S-17,S-18,S-19: ROI 영상화면

Claims (4)

  1. 단안 카메라로부터 밝기값 영상을 입력받아 관심영역을 생성하는 복수개의 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법에 있어서,
    현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 가까운 쪽의 영역을 입력하는 제1 단계,
    현재 입력 영상에서 차량이 위치한다고 판단된 영역들 중 가장 먼 쪽의 영역을 입력하는 제2 단계,
    최원거리와 최근거리를 포함한 관심영역(ROI)의 총 생성 개수 입력하는 제3 단계,
    최원거리와 최근거리 ROI간의 폭과 높이에 대한 비율을 계산하는 제4 단계,
    최원거리와 최근거리, ROI의 총 생성개수를 이용하여 중간 ROI들의 크기를 계산하는 제5 단계,
    ROI를 알고리즘에 적용하는 제6 단계를 포함하는 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법.
  2. 제 1 항에 있어서,
    상기 제4 단계에서 폭과 높이는 각각 수학식 1과 수학식 2에 의해 계산되는 것을 특징으로 하는 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법.
    (수학식 1)
    Figure pat00015

    여기서, r = 비율, w = ROI의 width, n = ROI의 전체 개수, f = 최원거리 ROI, c = 최근거리 ROI 이다.
    (수학식 2)
    Figure pat00016

    여기서, r = 비율, h = ROI의 height, n = ROI의 전체 개수, f = 최원거리 ROI, c = 최근거리 ROI이다.
  3. 제 1 항에 있어서,
    상기 제5 단계에서의 중간 ROI들의 크기는 x,y,폭, 높이로서, 각각 수학식 3, 수학식 4, 수학식 5, 및 수학식 6에 의해 계산되는 것을 특징으로 하는 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법.
    (수학식 3)
    Figure pat00017

    여기서, x = ROI의 x 좌표, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율, w = ROI의 width, j=
    Figure pat00018
    ,x와 width에 관련된 상수이다.
    (수학식 4)
    Figure pat00019

    여기서, y = ROI의 y 좌표, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율, h = ROI의 height, k=
    Figure pat00020
    , y와 height에 관련된 상수이다.
    (수학식 5)
    Figure pat00021

    여기서, w = ROI의 width, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율이다.
    (수학식 6)
    Figure pat00022

    여기서, h = ROI의 height, i = i번째 최근거리 ROI , i = 1,2,…,n, n = ROI의 전체 개수, c = 최근거리 ROI, r = 비율이다.
  4. 제 1 항에 있어서,
    상기 제6 단계는
    ROI를 알고리즘에 적용하는 단계로서,
    원거리, 중거리, 근거리에서 식별되는 차량의 ROI가 입력영상에서의 ROI 뿐만 아니라 입력영상 일측에 표시된 복수개의 검출윈도우 중 하나의 검출윈도우에 동시에 위치되면서 표시되도록 복수개의 검출윈도우 영상 표시 과정을 제어하는 것을 특징으로 하는 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법.
KR1020140195939A 2014-12-31 2014-12-31 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법 Active KR101665207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140195939A KR101665207B1 (ko) 2014-12-31 2014-12-31 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140195939A KR101665207B1 (ko) 2014-12-31 2014-12-31 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법

Publications (2)

Publication Number Publication Date
KR20160083619A true KR20160083619A (ko) 2016-07-12
KR101665207B1 KR101665207B1 (ko) 2016-10-14

Family

ID=56505141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140195939A Active KR101665207B1 (ko) 2014-12-31 2014-12-31 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법

Country Status (1)

Country Link
KR (1) KR101665207B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124337A1 (ko) * 2016-12-28 2018-07-05 주식회사 에이다스원 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
CN113506264A (zh) * 2021-07-07 2021-10-15 北京航空航天大学 道路车辆数识别方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649771B2 (en) 2017-03-31 2020-05-12 Samsung Electronics Co., Ltd. Semiconductor device
KR102235803B1 (ko) 2017-03-31 2021-04-06 삼성전자주식회사 반도체 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001004368A (ja) * 1999-06-16 2001-01-12 Honda Motor Co Ltd 物体認識装置
KR20130020151A (ko) * 2011-08-19 2013-02-27 주식회사 만도 차량 검출 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001004368A (ja) * 1999-06-16 2001-01-12 Honda Motor Co Ltd 物体認識装置
KR20130020151A (ko) * 2011-08-19 2013-02-27 주식회사 만도 차량 검출 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124337A1 (ko) * 2016-12-28 2018-07-05 주식회사 에이다스원 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
CN113506264A (zh) * 2021-07-07 2021-10-15 北京航空航天大学 道路车辆数识别方法和装置
CN113506264B (zh) * 2021-07-07 2023-08-29 北京航空航天大学 道路车辆数识别方法和装置

Also Published As

Publication number Publication date
KR101665207B1 (ko) 2016-10-14

Similar Documents

Publication Publication Date Title
KR101583947B1 (ko) 영상 내 안개 제거 장치 및 그 방법
US9117295B2 (en) Refinement of depth maps by fusion of multiple estimates
US9153032B2 (en) Conversion method and apparatus with depth map generation
CN103795998B (zh) 图像处理方法和图像处理设备
CN103731651A (zh) 图像处理装置、图像处理方法和程序
US9361668B2 (en) Method and apparatus for generating disparity map
US8600112B2 (en) Crosswalk detection device, crosswalk detection method and recording medium
US20180020205A1 (en) Stereo matching system and method of operating thereof
KR101665207B1 (ko) 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법
US9779539B2 (en) Image processing apparatus and image processing method
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
JP2010147560A (ja) 目標追尾装置
CN106251348B (zh) 一种面向深度相机的自适应多线索融合背景减除方法
US20140064608A1 (en) Method of transforming stereoscopic image and recording medium storing the same
US9344712B2 (en) Image processing device, image processing method, computer program product, and image display device
US10523928B2 (en) Method and apparatus for correcting distortion
CN104637043B (zh) 支持像素选择方法、装置、视差值确定方法
KR20110015142A (ko) 스테레오 카메라를 이용한물체의 거리 측정 방법
US9936189B2 (en) Method for predicting stereoscopic depth and apparatus thereof
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
KR20160024419A (ko) Dibr 방식의 입체영상 카메라 판별 방법 및 장치
CN103955318A (zh) 光电互动模组中对双笔进行识别及双笔靠近时区分方法
EP2706748A1 (en) Stereoscopic image generation device, stereoscopic image generation method, stereoscopic image generation program
KR100851055B1 (ko) 에지투영을 이용한 스테레오 매칭방법
US12045997B2 (en) Distance estimation device and distance estimation method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20191007

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 10