[go: up one dir, main page]

KR100436049B1 - 이동 예측 시스템 - Google Patents

이동 예측 시스템 Download PDF

Info

Publication number
KR100436049B1
KR100436049B1 KR10-2001-0088665A KR20010088665A KR100436049B1 KR 100436049 B1 KR100436049 B1 KR 100436049B1 KR 20010088665 A KR20010088665 A KR 20010088665A KR 100436049 B1 KR100436049 B1 KR 100436049B1
Authority
KR
South Korea
Prior art keywords
image
predetermined time
error
prediction system
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2001-0088665A
Other languages
English (en)
Other versions
KR20030058250A (ko
Inventor
이상우
Original Assignee
주식회사 하이닉스반도체
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이닉스반도체 filed Critical 주식회사 하이닉스반도체
Priority to KR10-2001-0088665A priority Critical patent/KR100436049B1/ko
Publication of KR20030058250A publication Critical patent/KR20030058250A/ko
Application granted granted Critical
Publication of KR100436049B1 publication Critical patent/KR100436049B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Image Analysis (AREA)

Abstract

본 발명은 칼만 필터를 이용하여 시공간적 환경변화에 따라 적절히 대응가능한 이동 예측 시스템에 관한 것으로 이를 위한 본 발명은 이동하는 이미지를 추적하는 이동 예측 시스템에 있어서, 입력되는 이미지에서 원하는 특정 이미지의 관측치를 소정시간 단위로 추출하여 출력하기 위한 이미지 검출부; 상기 특정 이미지의 관측치를 토대로 일정 시간후에 생성될 이미지를 예측하고, 상기 소정시간후 상기 이미지 검출부로 피드백하기 위해 칼만필터로 구성된 위치 예측부; 상기 위치 예측부에서 예측된 일정시간후의 예측 이미지에 대응하는 가상이미지를 형성하고, 이를 상기 소정시간 만큼 지연후 출력하는 이미지 생성부; 및 상기 이미지 생성부에서 형성된 가상이미지와 상기 이미지 검출부에서 출력되는 특정 이미지의 관측치와의 오차를 측정하여 상기 이미지 검출부로 출력하기 위한 오차보정부를 구비하며, 기 이미지 검출부는 상기 가상이미지와 상기 오차보정부에서 측정된 오차에 응답하여 상기 관측치를 추출하는 것을 특징으로 하는 이동 예측 시스템을 제공한다.

Description

이동 예측 시스템{Movement prediction system}
본 발명은 이미지의 위치를 예측하는 이동 예측 시스템에 관한것으로 특히, 칼만 필터를 이용하여 시공간적 환경변화에 따라 적절히 대응가능한 이동 예측 시스템에 관한 것이다.
칼만 필터(Kalman Filter)는 이동중인 표적의 탐색 및 추적 문제에서 가장많이 응용되며 선형 시스템의 상태변수를 추정하는 기법으로 1960년 칼만에 의하여 소개된 것으로, 이동 구조가 선형인 모델을 사용하고, 수렴성과 안정성이 보장되고 알고리즘이 단순하며, 종래의 알고리즘과는 달리 스펙트럼 분석방법이 아닌 시간영역에서의 처리방법이다.
그러나 실제 위치를 예측시, 칼만필터링을 적용시 다음과 같은 문제점이 있다.
칼만필터링은 비교적 예측이 쉬운 선형 시스템에서 그 모델이 형성되었는 바, 선형 시스템에서 보장되는 최적성을 비선형 시스템에서도 유지할 수 있도록 하는 문제가 있고, 필터의 오차, 그리고 시스템이나 잡음에대한 정확한 지식이 없을 때에는 칼만 필터가 갖는 장점들을 유지 시키기 어려운 문제점이 있다.
이와 같은 문제점중 칼만 필터의 구조적 개선을 통하여 비선형 시스템의 상태변수를 추정하는 방법으로 개선된 것이 비선형 필터(Filter)이다.
이러한 비선형 필터는 비선형 시스템의 선형화에 근거를 두고 있는 것으로 초기치를 선형화 시킨 다음, 선형화된 모델에서 추정치를 구하고, 그 이후 순간 순간의 시점에서 새로이 구한 추정치를 이용하여 선형화 시켜 나가는 되먹임 필터(Recursive Filter) 알고리즘을 확장된 칼만필터(Extended Kalman Filter)라 한다.
이 때 상기 확장된 칼만필터(Extended Kalman Filter)는 상태를 추정할 때마다 새로운 선형화를 필요로 하게되며, 이동표적의 비선형성을 해석하기 위하여는 상태변수의 증가가 불가피하게 되므로 그 계산량이 증가하게 된다.
즉, 모든 경우의 수에 대한 예측을 위해 일반적인 칼만필터에 비하여 많은 변수를 필요로 하며, 만일 초기 조건의 설정이 잘못된 경우에는 오차상호 분산이 수렴하지 않고 발산하는 문제점이 있게 된다.
따라서, 상기한 칼만필터를 동영상의 물체 인식 분야에 적용시, 시간적인 환경변화에 적절히 대응하기 위해서는 칼만필터의 상태변수를 지속적으로 갱신해야 하는 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 비선형적인 물체의 움직임을 효과적으로 예측가능한 이동 예측 시스템을 제공함에 그 목적이 있다.
도 1 본 발명에 따른 이동 예측 시스템의 개념을 설명하는 개념도,
도 2는 본 발명에 따른 이동 예측 시스템의 블럭 개념도,
도 3은 본 발명에 따른 이동 예측 시스템의 동작을 개념적으로 설명한 개념도.
* 도면의 주요부분에 대한 부호의 설명
100 : 이미지 검출부 200 : 위치 예측부
300 : 이미지 생성부 400 : 오차 보정부
상기한 목적을 달성하기 위한 본 발명은 이동하는 이미지를 추적하는 이동 예측 시스템에 있어서, 입력되는 이미지에서 원하는 특정 이미지의 관측치를 소정시간 단위로 추출하여 출력하기 위한 이미지 검출부; 상기 특정 이미지의 관측치를 토대로 일정 시간후에 생성될 이미지를 예측하고, 상기 소정시간후 상기 이미지 검출부로 피드백하기 위해 칼만필터로 구성된 위치 예측부; 상기 위치 예측부에서 예측된 일정시간후의 예측 이미지에 대응하는 가상이미지를 형성하고, 이를 상기 소정시간 만큼 지연후 출력하는 이미지 생성부; 및 상기 이미지 생성부에서 형성된 가상이미지와 상기 이미지 검출부에서 출력되는 특정 이미지의 관측치와의 오차를 측정하여 상기 이미지 검출부로 출력하기 위한 오차보정부를구비하며, 기 이미지 검출부는 상기 가상이미지와 상기 오차보정부에서 측정된 오차에 응답하여 상기 관측치를 추출하는 것을 특징으로 하는 이동 예측 시스템을 구비한다.
이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명에 따른 이동 예측 시스템의 동작 개념을 설명하는 블럭 개념도이다.
도 1을 참조하여 본 발명의 개념을 설명하면 다음과 같다.
도 1a는 본 발명에 따른 이동 예측 시스템의 예측치와 실제 관측치를 도시한 것으로, 점선으로 도시된 y(k)가 실제 관측치이고 실선으로 도시된 x(k|k-1)이 예측치가 된다.
즉, y(k)가 현재 상태의 관측치라고 하면 x(k|k-1)는 과거의 어느 시점에서 현재상태를 예측한 예측치가 된다.
도 1b는 예측치 x(k|k-1)가 측정치 y(k)에 의해 보정되어 보정된 이미지(x(k|k))를 생성하는 것을 도시한 것이며, 도 1c는 상기 도 1a와 마찬가지로 다음 상태를 예측하는 과정을 도시한 것이다.
즉, 본 발명은 예측치를 관측치에 의해 갱신함으로써, 이동 예측 시스템이 상태변수의 복잡한 계산에 의하지 않고도 물체의 위치를 비교적 정확히 예측할 수 있도록 한다.
도 2는 본 발명에 따른 이동 예측 시스템의 블럭 개념도를 나타낸다.
도 2를 참조하면, 이동하는 이미지를 추적하는 이동 예측 시스템에 있어서, 입력되는 이미지에서 원하는 특정 이미지의 관측치를 소정시간 단위로 추출하여 출력하는 이미지 검출부(100)와, 상기 특정 이미지의 관측치를 토대로 일정 시간후의 위치를 예측하고, 상기 소정시간 후 상기 이미지 검출부로 피드백하기 위해 칼만필터를 구비한 위치 예측부(200)와, 상기 위치예측부에서 예측된 일정시간후의 예측이미지에 대응하는 가상이미지를 형성하고, 이를 상기 소정시간 만큼 지연후 출력하는 이미지 생성부(300) 및 상기 이미지 생성부에서 형성된 가상이미지와 상기 이미지 검출부에서 출력되는 특정 이미지의 관측치와의 오차를 측정하여 상기 이미지 검출부로 피드백하는 오차 보정부(400)를 구비한다.
이하, 도 2를 참조하여 상기한 이동 예측 시스템의 동작과정을 살펴보면 다음과 같다.
먼저, 이미지 검출부(100)에서는 이동하는 이미지중 원하는 물체를 포착하여 물체의 경계선을 구하고 그 위치를 파악한다.
이미지 검출부(100)가 물체의 이동을 예측시 물체의 경계선을 구하여 물체의 형태를 인식함으로써, 상기 도 1에서 설명한 실측치(y(k))가 생성하되, 소정시간 간격마다 물체를 포착하여 그 실측치(y(k), y(k+1), ···)를 출력한다.
이어서, 이미지 검출부(100)에서 구해진 경계선 내부를 논리 "하이", 경계선 외부를 논리 "로우"로 처리함으로써, 포착된 물체를 매우 단순한 데이터 형태로 만든다.
다음으로, 칼만필터로 구성된 위치 예측부(200)에서 포착된 물체의 경계선을 토대로 일정시간이 지난후의 다음 위치를 예측하고 이를 이미지 생성부(300)에서 예측결과에 따라 예측 이미지(Y(k+1))를 생성한다.
즉, 상기 이미지 검출부(100)에 처음 인가된 이미지가 소정시간 지난후 어떤 이미지가 될 것이라는 가정하에 예측 이미지(Y(k+1))를 생성하고 이를 소정시간 지연시켜 출력한다.
또한, 위치 예측부(200)는 예측된 위치에 대한 값(s(k))을 소정시간 지연후 이미지 검출부(100)로 피드백한다. 이미지 생성부(300)는 위치예측부(200)에서 출력되는 값(s(k))을 이용하여 예측치(y(K+1))를 출력한다.
이때, 지연부(D)에 의해 소정시간 지연 후, 이미지검출부(100)로 전달되도록 한다.
여기서, 상기 오차값은 통상적인 가우시안 분포에 따라 형성되도록 하여, 오차값이 가장 크다고 생각되는 부분의 가중치를 높이고 그 이외의 영역에 대한 가중치를 줄이도록 한다.이어서 오차보정부(400)는 실측치(y(k+1))와 예측치(Y(k+1))간의 오차값을 구하여 이미지 검출부로 출력한다. 이 때, 오차보정부(400)에 입력된 예측치와 이미지 검출부(100)에서 출력될 실측치(y(k+1))와의 입력 타이밍을 맞춘다.
이어서, 이미지 생성부(300)에서 출력되는 예측치(Y(K+1))는 소정시간 지연후 출력하도록 하여 이미지 검출부(100)에서 일정한 시간 간격으로 실측치(y(k+1), y(k+2), ···)가 출력될 때마다 실측 이미지가 예측치(Y(k+1), Y(k+2), ···)와 오차 보정부(400)에서 동일한 타이밍에 만나도록 한다.
예컨데, 오차 보정부(400)의 일측에는 실측치(y(k+1))가 인가되고 타측에는예측치(Y(k+1))이 인가되도록 한다.
따라서, 오차 보정부(400)는 실측치(y(k+1))와 예측치(Y(k+1))간의 오차를 구하여 이를 이미지 검출부(100)로 피드백 함으로써, 이미지 검출부(100)가 측정하고자 하는 물체의 근처에서 측정할 수 있도록 한다.
도 3은 본 발명에 따른 이동 예측 시스템의 동작을 개념적으로 설명한 개념도로서 원형 물체가 시간의 흐름에 따라 제1상태, 제2상태, 제3상태의 3가지 상태로 변하는것을 보여준다.
여기서, 제1상태는 제2상태의 이전 상태이며, 제2상태는 제3상태의 이전상태를 의미한다.
제1상태의 실측치(y(k))와, 제1상태의 이전상태에서 제1상태를 예측한 예측치(x(k|k-1)에 의해서 제2상태의 예측치(x(k+1|k)를 구하고 이 예측치는 실측치(y(k+1))에 의해 보정되어 제3상태의 예측치(x(k+2|k+1))를 생성한다.
이때, 제1상태의 예측치(x(k|k+1))가 실측치(y(k+1))에 의해 보정됨으로써, 다음 실측치(y(k+2))가 예측치(x(k+2|k+1))와 좀더 가까운 곳에 위치하게 됨을 볼 수 있다.
이상에서 설명한 바와 같이 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명이 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함이 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.
본 발명은 상기한 바와같이, 물체의 이동을 예측시, 실측치와 예측치와의 차이를 점차로 줄임으로써, 비선형적인 물체의 움직임을 효과적으로 예측이 가능하며, 자동화 시스템과 영상 인식분야에서 이를 다양하게 활용할 수 있다.

Claims (3)

  1. 이동하는 이미지를 추적하는 이동 예측 시스템에 있어서,
    입력되는 이미지에서 원하는 특정 이미지의 관측치를 소정시간 단위로 추출하여 출력하기 위한 이미지 검출부;
    상기 특정 이미지의 관측치를 토대로 일정 시간후에 생성될 이미지를 예측하고, 상기 소정시간후 상기 이미지 검출부로 피드백하기 위해 칼만필터로 구성된 위치 예측부;
    상기 위치 예측부에서 예측된 일정시간후의 예측 이미지에 대응하는 가상이미지를 형성하고, 이를 상기 소정시간 만큼 지연후 출력하는 이미지 생성부; 및
    상기 이미지 생성부에서 형성된 가상이미지와 상기 이미지 검출부에서 출력되는 특정 이미지의 관측치와의 오차를 측정하여 상기 이미지 검출부로 출력하기 위한 오차보정부를 구비하며,
    상기 이미지 검출부는 상기 가상이미지와 상기 오차보정부에서 측정된 오차에 응답하여 상기 관측치를 추출하는 것을 특징으로 하는 이동 예측 시스템.
  2. 제1항에 있어서,
    상기 이미지 검출부는,
    이미지의 외곽 분리선만을 추출하는 것을 특징으로 하는 이동 예측 시스템.
  3. 제1항에 있어서,
    상기 위치 예측부에서 예측된 이미지가 가지는 위치의 오차는 가우시안 분포를 가짐을 특징으로 하는 이동 예측 시스템.
KR10-2001-0088665A 2001-12-31 2001-12-31 이동 예측 시스템 Expired - Fee Related KR100436049B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0088665A KR100436049B1 (ko) 2001-12-31 2001-12-31 이동 예측 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0088665A KR100436049B1 (ko) 2001-12-31 2001-12-31 이동 예측 시스템

Publications (2)

Publication Number Publication Date
KR20030058250A KR20030058250A (ko) 2003-07-07
KR100436049B1 true KR100436049B1 (ko) 2004-06-12

Family

ID=32216163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0088665A Expired - Fee Related KR100436049B1 (ko) 2001-12-31 2001-12-31 이동 예측 시스템

Country Status (1)

Country Link
KR (1) KR100436049B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375765B1 (ko) 2012-12-14 2014-03-20 (주)오시에스티 칼만 필터를 이용한 이동 물체 추적 장치 및 방법
KR101556918B1 (ko) 2014-01-28 2015-10-02 국방과학연구소 영상 표적의 크기 추정 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084276B2 (ja) * 2018-10-24 2022-06-14 株式会社Soken 物体追跡装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056434A (ja) * 1991-06-27 1993-01-14 Matsushita Electric Ind Co Ltd 自動追尾装置
KR940007544A (ko) * 1992-09-17 1994-04-27 정용문 목표물 예측방법
JPH08237536A (ja) * 1995-02-28 1996-09-13 Sanyo Electric Co Ltd 被写体追尾装置および被写体追尾方法
KR970048614A (ko) * 1995-12-30 1997-07-29 김광호 고속푸리에 변환을 이용한 기동하는 표적 검출방법
JPH10336506A (ja) * 1997-05-29 1998-12-18 Canon Inc 画像処理システム、追尾システム,追尾方法,記憶媒体
KR20010000107A (ko) * 2000-04-28 2001-01-05 이종법 다중 이동물체 추적/감시 시스템
KR20010057768A (ko) * 1999-12-23 2001-07-05 오길록 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056434A (ja) * 1991-06-27 1993-01-14 Matsushita Electric Ind Co Ltd 自動追尾装置
KR940007544A (ko) * 1992-09-17 1994-04-27 정용문 목표물 예측방법
JPH08237536A (ja) * 1995-02-28 1996-09-13 Sanyo Electric Co Ltd 被写体追尾装置および被写体追尾方法
KR970048614A (ko) * 1995-12-30 1997-07-29 김광호 고속푸리에 변환을 이용한 기동하는 표적 검출방법
JPH10336506A (ja) * 1997-05-29 1998-12-18 Canon Inc 画像処理システム、追尾システム,追尾方法,記憶媒体
KR20010057768A (ko) * 1999-12-23 2001-07-05 오길록 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치
KR20010000107A (ko) * 2000-04-28 2001-01-05 이종법 다중 이동물체 추적/감시 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375765B1 (ko) 2012-12-14 2014-03-20 (주)오시에스티 칼만 필터를 이용한 이동 물체 추적 장치 및 방법
KR101556918B1 (ko) 2014-01-28 2015-10-02 국방과학연구소 영상 표적의 크기 추정 방법

Also Published As

Publication number Publication date
KR20030058250A (ko) 2003-07-07

Similar Documents

Publication Publication Date Title
Ragwitz et al. Markov models from data by simple nonlinear time series predictors in delay embedding spaces
Shen et al. Globally optimal distributed Kalman filtering fusion
KR20180129407A (ko) 선택적 스케일링을 이용하는 적응 무향 칼만 필터 시스템 및 방법
KR101813790B1 (ko) 특징 기반 다중 센서 정보 융합 장치 및 방법
Janczak et al. State estimation of linear dynamic system with unknown input and uncertain observation using dynamic programming
EP4325377A1 (en) Data processing device, data analyzing device, data processing system and method for processing data
Battistelli et al. Stability of consensus extended Kalman filtering for distributed state estimation
Peñarrocha et al. State estimator for multisensor systems with irregular sampling and time-varying delays
KR100436049B1 (ko) 이동 예측 시스템
Marchi et al. A framework for time-varying optimization via derivative estimation
Varghese et al. Tracking crossing targets in passive sonars using NNJPDA
RU2747199C1 (ru) Цифровой фильтр для нестационарных сигналов
Berkvens et al. Asynchronous, electromagnetic sensor fusion in RatSLAM
Dubois et al. Performance evaluation of a moving horizon estimator for multi-rate sensor fusion with time-delayed measurements
KR100322746B1 (ko) 비선형 이산 시간 시스템에서의 상태 변수 추정방법 및 그장치
JP3750855B2 (ja) 目標追尾装置
CN116859742A (zh) 非线性多智能体系统无模型自适应预测控制方法及系统
Chen et al. Networked multi-sensor fusion estimation with delays, packet losses and missing measurements
Svensson On the Bayesian Cramér-Rao bound for Markovian switching systems
Wigren Networked recursive identification of nonlinear systems
RU2440691C1 (ru) Способ слежения за объектом и цифровая телевизионная следящая система для его реализации
CN114488105B (zh) 一种基于运动特征及方向模板滤波的雷达目标检测方法
Ran et al. Self-tuning centralized fusion Kalman filter for multisensor systems with companion form and its convergence
Roopa et al. Image sensor data fusion using factorized kalman filter
Mauthner et al. Analysis of sensor and fusion schedules of a time-triggered sensor fusion system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20070604

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20070604

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000