[go: up one dir, main page]

KR19990063462A - 화상 신호 처리 장치 - Google Patents

화상 신호 처리 장치 Download PDF

Info

Publication number
KR19990063462A
KR19990063462A KR1019980058667A KR19980058667A KR19990063462A KR 19990063462 A KR19990063462 A KR 19990063462A KR 1019980058667 A KR1019980058667 A KR 1019980058667A KR 19980058667 A KR19980058667 A KR 19980058667A KR 19990063462 A KR19990063462 A KR 19990063462A
Authority
KR
South Korea
Prior art keywords
color
component
signal
circuit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1019980058667A
Other languages
English (en)
Other versions
KR100381496B1 (ko
Inventor
도시오 나까꾸끼
Original Assignee
다카노 야스아키
산요덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다카노 야스아키, 산요덴키 가부시키가이샤 filed Critical 다카노 야스아키
Publication of KR19990063462A publication Critical patent/KR19990063462A/ko
Application granted granted Critical
Publication of KR100381496B1 publication Critical patent/KR100381496B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

색 연산 처리에서 발생되는 오차를 재생 화면 상에서 눈에 띄기 어렵게 한다.
제1 색 연산 회로(22)는 Ye 성분 및 Cy 성분으로부터 각각 G 성분을 감산하여 R 성분 및 B 성분을 생성하고, G 성분을 그대로 출력한다. 제2 색 연산 회로(23)는 W 성분으로부터 Cy 성분 및 Ye 성분을 각각 감산하여 R 성분을 및 B 성분을 생성하고, Cy 성분과 Ye 성분과의 가산치로부터 W 성분을 감산함으로써 G 성분을 생성한다. 제1 색 연산 회로(22)에서 생성되는 원색 데이타 P1[R], P1[B], P1[G]로부터 제1 색차 데이타 U1, V1을 생성하고, 제2 연산 회로(23)에서 생성되는 원색 데이타 P2[R], P2[B], P2[G]로부터 제2 색차 데이타 U2, V2를 생성한 후, 합성 회로(30)에서 각 데이타를 합성한다.

Description

화상 신호 처리 장치
본 발명은 고체 촬상 소자로부터 얻어지는 복수의 색 성분을 포함하는 화상 신호에 대해 색차 신호를 합성하기 위한 연산 처리를 실시하는 화상 신호 처리 장치에 관한 것이다.
도 6은 CCD 이미지 센서를 이용한 촬상 장치의 구성을 나타낸 블럭도이다.
CCD 이미지 센서(1)는 복수의 수광 화소, 복수의 수직 전송 레지스터 및 통상 1개의 수평 시프트 레지스터를 갖고 있다. 복수의 수광 화소는 수광면에 일정한 간격으로 행렬 배치되고, 각각 수광한 피사체 화상에 대응하여 정보 전하를 발생하여 축적한다. 복수의 수직 시프트 레지스터는 수광 화소의 각열에 대응하여 배치되고, 각 수광 화소에 축적된 정보 전하를 순차 수직 방향으로 전송한다. 그리고, 수평 시프트 레지스터는 수직 시프트 레지스터의 출력측에 배치되고, 복수의 수직 시프트 레지스터로부터 전송 출력되는 정보 전하를 수취하고, 1행 단위로 전송 출력한다. 이에 따라, 각 수광 화소에 축적된 정보 전하량에 따라서 전압치를 변화시키는 화상 신호 I0이 출력된다.
아날로그 처리 회로(2)는 CCD(1)로부터 입력되는 화상 신호 I0에 대해, 샘플 홀드, 레벨 클램프 등의 처리를 실시하고, 소정의 포맷에 따른 화상 신호 I1을 생성한다. 예를 들면, 샘플 홀드 처리에 있어서는 CCD(1)의 출력 동작에 동기하여 리셋트 레벨과 신호레벨이 교대로 반복되는 화상 신호 I0으로부터, 신호 레벨만이 추출된다. 또한, 레벨 클램프 처리에 있어서는, 화상 신호 I0의 수평 주사 기간의 종단에 설정되는 흑 기준 레벨이 각 수평 주사 기간마다 소정의 레벨로 클램프된다. A/D 변환 회로(3)는 아날로그 처리 회로(2)로부터 입력되는 화상 신호 I1을 아날로그 처리 회로(2)의 동작, 즉 CCD(1)의 출력 동작에 따른 타이밍으로 양자화하여, CCD(1)의 각 수광 화소에 대응하는 정보를 디지탈 값으로 나타내는 화상 데이타 D를 생성한다.
디지탈 처리 회로(4)는 A/D 변환 회로(3)로부터 입력되는 화상 데이타 D에 대해, 색 분리, 매트릭스 연산 등의 처리를 실시하고, 휘도 데이타 Y 및 색차 데이타 U, V를 생성한다. 예를 들면, 색 분리 처리에 있어서는 CCD(1)의 각 수광면에 장착되는 컬러 필터의 색 배열에 따라서 화상 데이타 D가 분류되고, 복수의 색 성분 데이타가 생성된다. 또한, 매트릭스 연산 처리에 있어서는 분류된 각 색 성분 데이타로부터 빛의 삼원색에 대응한 원색 데이타가 생성되고, 또한, 그 원색 데이타를 소정의 비율로 합성함으로써 색차 데이타가 생성된다.
구동 회로(5)는 후술하는 타이밍 제어 회로(6)로부터의 각종 타이밍 신호에 응답하고, CCD(1)의 각 시프트 레지스터에 대해 다상(多相)의 구동 클럭을 공급한다. 예를 들면, 수직 시프트 레지스터에 대해 4상의 수직 전송 클럭 φv를 공급하고, 수평 시프트 레지스터에 대해 2상의 수평 전송 클럭 φh를 공급한다. 타이밍 제어 회로(6)는 일정 주기의 기준 클럭에 따라서, CCD(1)의 수직 주사의 타이밍을 결정하는 수직 타이밍 신호와 수평 주사의 타이밍을 결정하는 수평 타이밍 신호를 생성하고, 구동 회로(5)에 공급한다. 동시에, 아날로그 처리 회로(2), A/D 변환 회로(3) 및 디지탈 처리 회로(4)에 대해, 각 회로의 동작을 CCD(1)의 출력 동작에 동기시키기 위한 타이밍 클럭 CT를 공급한다.
그런데, 컬러 촬상을 행하는 경우 CCD(1)의 각 수광 화소를 소정의 색 성분에 대응시키기 위해, 수광면에 색 분리용의 컬러 필터가 장착된다. 이 컬러 필터는 모자이크형의 경우 스트라이프형과 비교하여 필터의 구성이 복잡하게 되지만, 수평 해상도를 높게 할 수 있다고 하는 이점을 갖고 있다. 이 때문에, 고해상도화가 요구되는 비디오 카메라 등에 있어서는 모자이크형의 컬러 필터가 채용되는 경향이 있다.
도 7은 모자이크형의 컬러 필터의 일례를 나타낸 평면도이다.
CCD(1)의 수광부의 각 화소에 대응하여 복수의 세그멘트로 분할되고, 각 세그멘트에 예를 들면, Ye(옐로우), Cy(시안), W(화이트) 및 G(그린)의 각 색 성분이 주기적으로 할당된다. 여기서는, W 및 G의 각 성분이 기수행에 교대로 배치되고, Ye 및 Cy의 각 성분이 우수행에 교대로 배치되어 있다. 이러한 컬러 필터가 장착된 CCD(1)로부터 얻어지는 화상 신호는 기수행의 판독에 의해 W 및 G의 각 성분이 반복되고, 우수행의 판독에 의해서는 Ye 및 Cy의 각 성분이 반복된다.
도 8은 화상 신호 처리 장치로서의 디지탈 신호 처리부(4)의 구성을 나타낸 블럭도이고, CCD(1)에 도 7에 도시한 컬러 필터를 장착한 경우에 대응하고 있다.
색 분리 회로(11)는 컬러 필터의 색 성분의 배열에 대응하는 순서로 연속하는 화상 데이타 D를 각 색 성분마다 분류하여 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]를 생성한다. A/D 변환 회로(3)로부터 입력되는 화상 데이타 D는 도 9에 도시한 바와 같이, 기수행의 판독 동작에 있어서는, G 성분 및 W 성분이 교대로 연속하여, 우수행의 판독에서는 Ye 성분 및 Cy 성분이 교대로 연속한다. 그래서, 색 분리 회로(11)는 화상 데이타 D를 적어도 1행만큼 유지함으로써, 각 행의 판독 시에 모든 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]의 출력을 가능하게 하고 있다. 즉, 기수행의 판독이 행해지고 있을 때에는, 그 행의 화상 데이타 D를 분류하여 색 성분 데이타 C[G], C[W]를 출력하고, 동시에, 1행 전의 화상 데이타 D를 분류하여 색 성분 데이타 C[Ye], C[Cy]를 출력하도록 구성된다. 또한, 직렬로 출력되는 화상 데이타 D의 분류에 의해 간헐적으로 이루어지는 각 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]는 동일 데이타를 연속하여 2번 출력함으로써 보간된다.
색 연산 회로(12)는 색 분리 회로(11)로부터 입력되는 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]에 대해, 예를 들면,
Ye-G = R
Cy-G = B
B= B
의 식에 따른 색 연산 처리를 실시하고, 빛의 삼원색(R: 적, B: 청, G: 녹)에 대응하는 원색 데이타 P[R], P[B], P[G]를 생성한다.
색 밸런스 제어 회로(13)는 색 연산 회로(12)로부터 입력되는 원색 데이타 P[R], P[B], P[G]에 대해 각 색마다 설정되는 고유의 게인(gain)을 제공함으로써, 각색의 밸런스를 조정한다. 즉, 색 밸런스 제어 회로(13)에서는 CCD의 수광 화소에 있어서 생기는 색 성분마다의 감도의 차를 보상하기 위해, 원색 데이타 P[R], P[B], P[G]의 게인을 색마다 개별로 설정함으로써 재생 화면의 색 재현성을 향상시키고 있다.
색차 연산 회로(14)는 색 밸런스 제어 회로(13)로부터 입력되는 원색 데이타 P[R], P[B], P[G]에 대해 색차 데이타 U, V를 생성한다. 즉, 각 원색 데이타 P[R], P[B], P[G]를 3:6:1의 비율로 합성함으로써 휘도 데이타를 생성하고, 이 휘도 데이타를 B 성분에 대응하는 원색 데이타 P[B]로부터 빼냄으로써 색차 데이타 U를 생성하고, R 성분에 대응하는 원색 데이타 P[R]로부터 빼냄으로써는 색차 데이타 V를 생성한다.
휘도 연산 회로(15)는 색 분리 회로(11)에 입력되는 화상 데이타 D에 포함되는 4개의 색 성분을 합성함으로써 휘도 데이타 Y를 생성한다. 즉, Ye, Cy, G, W의 각 성분을 합성하면,
Ye+Cy+G+W= (B+G) + (R+G) +G+ (R+G+B)
= 2R+ 4G+ 2B
로 되고, R, G 및 B의 각 성분이 1:2:1의 비율로 합성된 휘도 데이타 Y를 얻을 수 있다. 원래, 휘도 신호는 NTSC 방식의 규격에 따르면, R, G 및 B의 각 성분을 3:6:1의 비율로 합성하여 생성되는 것이지만 이것에 가까운 비율로 합성하여 생성한 것이면 실용상 문제는 없다.
애퍼츄어 회로(16)는 휘도 데이타 Y에 포함되는 특정한 주파수 성분을 강조하여 애퍼츄어 데이타를 생성하고, 이 애퍼츄어 데이타를 휘도 데이타 Y에 가산한다. 즉, 피사체 화상의 윤곽을 강조하기 위해, 화상 신호 Y로부터 화상 데이타 D를 얻을 때의 샘플링 주파수의 1/4의 주파수 성분을 강조하도록 화상 데이타 D에 대해 필터링 처리를 실시하고, 애퍼츄어 데이타를 생성하도록 구성된다. 이와 같이 하여 생성되는 휘도 데이타 Y는 색차 데이타 U, V와 같이 외부의 표시 기기 혹은 기록 기기로 공급된다.
색 연산 회로(12)의 색 연산 처리에서는 R 성분 및 B 성분의 생성의 과정과 G 성분의 생성의 과정이 다르기 때문에, 노이즈에 대한 영향이 색 성분마다 변동되고, 재생 화면의 화질을 열화시키는 요인으로 되고 있다. 예를 들면, Ye, Cy, G 및 W의 각 색 성분과 똑같이 노이즈가 포함되어 있는 경우, R 성분 및 B 성분의 생성시의 감산 처리에 있어서 노이즈 성분이 상쇄됨으로써 G 성분에는 노이즈 성분이 그대로 남겨지기 때문에, 노이즈 성분의 영향이 나타나기 쉽게 된다. 이러한 노이즈에 의한 영향은 저휘도의 피사체를 촬상하였을 때에 강조되어 재생 화면 상에서 눈에 띄기 쉽게 된다.
이러한 노이즈의 영향에 대해서는 색 연산 회로(12)의 색 연산 처리의 방법을 변경함으로써 저감시킬 수 있다. 예를 들면, W 성분을 나타내는 색 성분 데이타 C[W]로부터 Ye 성분을 나타내는 색 성분 데이타 C[Ye]와 Cy 성분을 나타내는 색 성분 데이타 C [Cy]를 각각 감산함으로써 R 성분을 나타내는 원색 데이타 P[R] 및 B 성분을 나타내는 원색 데이타 P[B]를 생성한다. 그리고, Ye 성분을 나타내는 색 성분 데이타 C[Ye]와 Cy 성분을 나타내는 색 성분 데이타 C[Cy]를 가산하고, 그 가산 데이타로부터 W 성분을 나타내는 색 성분 데이타 C[W]를 감산함으로써, G 성분을 나타내는 원색 데이타 P[G]를 생성한다. 이러한 원색 데이타 P[R], P [B], P[G]의 생성 방법에서는, 컬러 필터의 특성상, W 성분을 나타내는 색 성분 데이타 C[W]가 그 밖의 색 성분보다도 높은 레벨로 되기 쉽기 때문에, 색 성분마다의 노이즈 성분의 변동은 눈에 띄기 어렵게 된다.
그러나, 수광 감도가 높은 W 성분에 대해서는 그 밖의 색 성분에 비교하여 포화 레벨에 도달하기 쉽기 때문에, 고휘도의 피사체의 촬상에 있어서, R 성분 및 B 성분이 부족하게 된다. 즉, W 성분이 포화하면 W 성분으로부터 Ye 성분 또는 Cy 성분을 빼내어 R 성분 또는 B 성분을 얻고 있기 때문에, R 성분 및 B 성분은 실제의 레벨보다도 작아진다. 동시에, Ye 성분과 Cy 성분과의 가산치로부터 W 성분을 빼내어 G 성분을 얻고 있기 때문에, G 성분은 실제의 레벨보다도 커져서, 결과적으로 G 성분만이 강조되도록 된다. 따라서, 촬상 소자의 다이내믹 레인지가 좁아져서, 이것에 대응시키기 위해 광학계에 요구되는 제한이 엄격해진다.
따라서 본 발명은, 저휘도의 피사체의 촬상으로 노이즈의 영향을 눈에 띄기 어렵게 함과 동시에, 고휘도의 피사체의 촬상으로 색 밸런스를 유지할 수 있도록 하는 것을 목적으로 한다.
본 발명은 상술한 과제를 해결하기 위해 이루어진 것으로 그 특징으로 하는 부분은, 복수의 색 성분 신호를 합성하여 색차 신호를 생성하는 화상 신호 처리 장치에 있어서, 상기 복수의 색 성분 신호에 대해 제1 색 연산 처리를 실시하여, 빛의 삼원색에 대응한 제1 원색 신호를 생성하는 제1 색 연산 회로와, 상기 복수의 색 성분 신호에 대해 제2 색 연산 처리를 실시하여, 빛의 삼원색에 대응한 제2 원색 신호를 생성하는 제2 색 연산 회로와, 상기 제1 원색 신호에 기초하여 제1 색차 신호를 합성하는 제1 색차 연산 회로와, 상기 제2 원색 신호에 기초하여 제2 색차 신호를 합성하는 제2 색차 연산 회로와, 상기 제1 색차 신호와 상기 제2 색차 신호를 각 성분마다 소정의 비율로 합성하여 출력 휘도 신호를 생성하는 합성 회로를 구비한 것이다.
본 발명에 의하면, 상이한 색 연산으로 얻어지는 2종류의 원색 신호를 합성하도록 한 것으로, 각각의 색 연산으로 발생되는 장애가 재생하는 데 있어 직접 영향을 주기 어렵게 된다.
도 1은 본 발명의 화상 신호 처리 장치의 구성을 나타낸 블럭도.
도 2는 본 발명의 화상 신호 처리 장치에 이용하는 합성 회로의 구성을 나타낸 블럭도.
도 3은 합성 회로에서 설정되는 게인의 값의 변화를 나타낸 도면.
도 4는 컬러 필터 구성의 기타 예를 나타낸 평면도.
도 5는 도 4에 도시한 컬러 필터에 대응한 화상 데이타의 처리 과정을 설명한 타이밍도.
도 6은 고체 촬상 장치의 구성을 나타낸 블럭도.
도 7은 컬러 필터의 구성의 일례를 나타낸 평면도.
도 8은 종래의 화상 신호 처리 장치의 구성을 나타낸 블럭도.
도 9는 도 7에 도시한 컬러 필터에 대응한 화상 데이타의 처리 과정을 설명하는 타이밍도.
〈도면의 주요 부분에 대한 부호의 설명〉
1 : CCD 이미지 센서
2 : 아날로그 처리 회로
3 : A/D 변환 회로
4 : 디지탈 처리 회로
5 : 구동 회로
6 : 타이밍 제어 회로
11, 21 : 색 분리 회로
12, 22, 23 : 색 연산 회로
13, 24, 25 : 색 밸런스 제어 회로
14, 26, 27 : 색차 연산 회로
15, 31 : 휘도 연산 회로
16, 32 : 애퍼츄어 회로
28, 29 : 의사 신호 억압 회로
30 : 합성 회로
41∼44 : 승산기
45, 46 : 가산기
도 1은 본 발명의 화상 신호 처리 장치의 구성을 나타낸 블럭도이다. 또한, 본 실시예에 있어서 장치에 입력되는 화상 데이타 D는 도 8에 도시한 화상 신호 처리 장치에 입력되는 화상 데이타 D와 동일한 것이다.
색 분리 회로(21)는 화상 데이타 D를 각 색 성분마다 분류하여 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]를 생성한다. 화상 데이타 D는 기수행의 판독에서는 G 성분과 W 성분이 교대로 연속하고, 우수행의 판독에서는 Ye 성분과 Cy 성분이 교대로 연속한다. 그래서, 색 분리 회로(21)는 화상 데이타 D를 적어도 1행만큼 유지함으로써, 각 행의 판독 시에 모든 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]의 출력을 가능하게 하고 있다. 즉 기수행의 판독이 행해지고 있을 때에는, 그 행의 화상 데이타 D를 분류하여 색 성분 데이타 C[G], C[W]를 출력하고, 동시에, 1행 전의 화상 데이타 D를 분류하여 색 성분 데이타 C[Ye], C[Cy]를 출력하도록 구성된다.
제1 색 연산 회로(22)는 색 분리 회로(21)로부터 입력되는 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]에 대해 제1 색 연산 처리를 실시하고, 빛의 삼원색에 대응하는 원색 데이타 P1[R], P1[B], P1[G]를 생성한다. 제1 색 연산 처리가
Ye-G = R
Cy-G = B
G = G
로 되는 식에 따라, Ye 성분을 나타낸 색 성분 데이타 C[Ye] 및 Cy 성분을 나타내는 색 성분 데이타 C[Cy]로부터 각각 G 성분을 나타내는 색 성분 데이타 C[G]를 감산함으로써 R 성분을 나타내는 원색 데이타 P1[R] 및 B 성분을 나타내는 원색 데이타 P1[B]를 생성한다. 그리고, 색 성분 데이타 C[G]가 그대로 G 성분을 나타내는 원색 데이타 P1[G]로서 출력된다.
제2 색 연산 회로(23)는 색 분리 회로(21)로부터 입력되는 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]에 대해 제1 색 연산 처리와는 다른 제2 색 연산 처리를 실시하고, 빛의 삼원색에 대응하는 원색 데이타 P2[R], P2[B], P2[G]를 생성한다. 제2 색 연산 처리는,
W-Cy = R
W-Ye = B
Ye+Cy-W = G
로 되는 식에 따라서, W 성분을 나타내는 색 성분 데이타 C [W]로부터 Cy 성분을 나타내는 색 성분 데이타 C[Cy] 및 Ye 성분을 나타내는 색 성분 데이타 C[Ye]를 각각 감산함으로써 R 성분을 나타내는 원색 데이타 P2[R] 및 B 성분을 나타내는 원색 데이타 P2 [B]를 생성한다. 그리고, 색 성분 데이타 C[Cy] 및 색 성분 데이타 C[Ye]를 가산하고, 그 가산치로부터 색 성분 데이타 C[W]를 감산함으로써 G 성분을 나타내는 원색 데이타 P2[G]를 생성한다.
제1 및 제2 색 밸런스 제어 회로(24, 25)는, 제1 색 연산 회로(22)로부터 입력되는 원색 데이타 P1[R], P1[B], P1[G] 및 제2 색 연산 회로(23)로부터 입력되는 원색 데이타 P2[R], P2[B], P2[G]에 대해 각 색마다 설정되는 고유의 게인을 제공함으로써, 각 색의 밸런스를 각각 조정한다. 즉 제1 및 제2 색 밸런스 제어 회로(24, 25)에서는, 수광 화소에 있어서 생기는 색 성분마다의 감도의 차를 보상하기 위해, 원색 데이타 P1[R], P1[B], P1[G] 및 원색 데이타 P2[R], P2[B], P2[G]의 게인을 각각 색 성분마다 개별로 설정함으로써, 재생 화면의 색 재현성을 향상시킨다.
제1 및 제2 색차 연산 회로(26, 27)는, 제1 색 밸런스 제어 회로(24)로부터 입력되는 제1 원색 데이타 P1[R], P1[B], P1[G] 및 제2 색 밸런스 제어 회로(25)로부터 입력되는 제2 원색 데이타 P2[R], P2 [B], P2[G]를 각각 3:6:1의 비율로 합성함으로써, 휘도 데이타를 생성한다. 그리고, 그 휘도 데이타를 B 성분에 대응하는 제1 및 제2 원색 데이타 P1[B], P2[B]로부터 감산함으로써 제1 및 제2 색차 데이타 U1, U2를 생성한다. 마찬가지로, 휘도 데이타를 R 성분에 대응하는 제1 및 제2 원색 데이타 P1[R], P2[R]로부터 감산함으로써 제1 및 제2 색차 데이타 V1, V2를 생성한다.
제1 및 제2 의사 신호 억압 회로(28, 29)는 색 성분 데이타 C[Ye], C[Cy], C[G], C[W] 중 어느 하나가 포화 레벨에 도달했을(근접했을) 때, 제1 및 제2 색차 연산 회로(26, 27)로부터 각각 입력되는 제1 및 제2 색차 데이타 U1, V1, U2, V2를 감쇠시킨다. 즉, 색 성분 데이타 C[Ye], C[Cy], C[G], C[W] 중 어느 하나가 포화 레벨에 도달하여 제1 및 제2 색 연산 회로(22, 23)에서의 색 연산 처리가 정확하게 행해지지 않을 때, 피사체의 본래의 색 성분과는 다른 값을 나타내는 의사 신호가 발생한다. 그래서, 색 성분 데이타 C[Ye], C[Cy], C[G], C[W] 중 어느 하나가 포화 레벨 근처에 설정되는 억압 기준 레벨을 초과할 때에, 색차 데이타 U1, V1, U2, V2를 억압하여 의사 신호의 발생을 방지하도록 하고 있다.
합성 회로(30)는 휘도 연산 회로(31)로부터 공급되는 휘도 레벨 L에 응답하여, 제1 색차 데이타 U1, V1과 제2 색차 데이타 U2, V2를 소정의 비율로 합성하고, 출력용의 색차 데이타 U, V를 생성한다. 이 합성 회로(30)에서는, 피사체 휘도가 높을 때, 색 연산 처리에서 W 성분을 사용하고 있지 않는 제1 색차 데이타 U1, V1의 비율이 높게 설정된다. 그리고, 피사체 휘도가 낮을 때 색 연산 처리에서 노이즈 성분의 영향을 받기 어려운 제2 색차 데이타 U2, V2의 비율이 높게 설정된다.
휘도 연산 회로(31)는 색 분리 회로(21)에 입력되는 화상 데이타 D에 포함되는 4개의 색 성분을 합성함으로써, 휘도 데이타 Y를 생성한다. 이 휘도 데이타 Y의 생성에 대해서는 도 8에 도시한 휘도 연산 회로(15)와 동일하다. 또한, 휘도 연산 회로(31)는 휘도 데이타 Y를 적정 수개의 수광 화소로 이루어지는 영역 단위로 평균화하여 휘도 레벨 L을 생성하고, 그 휘도 레벨 L을 합성 회로(30)에 공급한다. 또한, 휘도 레벨 L에 대해서는 1화소마다 판정하여도 좋고, 그 경우에는, 휘도 데이타 Y의 상위 비트가 추출된다. 애퍼츄어 회로(32)는 도 8에 도시한 애퍼츄어 회로(16)와 동일한 것으로 휘도 데이타 Y에 포함되는 특정한 주파수 성분을 강조함으로써 피사체 화상의 윤곽을 강조한다.
이상과 같이 하여 얻어지는 색차 데이타 U, V는 2종류의 색 연산 처리를 거쳐 생성된 제1 및 제2 색차 데이타 U1, V1, U2, V2가 합성되어 있기 때문에 한쪽의 연산 처리로 연산 오차가 생긴 경우에서도, 그 오차의 영향이 재생 화면 상에 나타나기 어렵다. 또한, 피사체의 휘도 레벨에 따라서 연산 오차가 생기기 쉬운 색 연산에 의한 색차 데이타의 비율을 작게 설정하도록 한 것으로, 연산 오차의 영향은 더욱 작아진다.
도 2는 합성 회로(30)의 구성을 나타낸 블럭도이고, 도 3은 피사체 휘도와 색차 데이타의 합성 비율을 결정하는 게인의 값과의 관계를 나타낸 도면이다.
합성 회로(30)는 제1∼제4 승산기(41∼44) 및 제1 및 제2 가산기(45, 46)에 의해 구성된다. 제1 및 제3 승산기(41, 43)는 예를 들면, 제1 의사 신호 억압 회로(28)로부터 입력되는 제1 색차 데이타 U1, V1에 대해, 각각,
U1 * (G+8) / 32
V1 * (G+8) / 32
에 따른 승산 처리를 실시한다. 또한, 제2 및 제4 승산기(42, 44)는 예를 들면, 제2 의사 신호 억압 회로(29)로부터 입력되는 제2 색차 데이타 U2, V2에 대해, 각각,
U2 * (24 - G) / 32
V2 * (24 - G) / 32
에 따르는 연산 처리를 실시한다. 여기서, G는 휘도 레벨 L에 따라서 결정되는 게인이고, 휘도 레벨 L에 대한 게인 G의 관계는 도 3에 도시한 바와 같다.
제1 가산기(45)는 제1 승산기(41)의 출력과 제2 승산기(42)의 출력을 가산하여 색차 데이타 U를 생성한다. 마찬가지로, 제2 가산기(46)는 제3 승산기(43)의 출력과 제4 승산기(44)의 출력을 가산하여 색차 데이타 V를 생성한다. 이에 따라, 휘도 데이타 U, V는,
U = (U1 * (G+8) + U2 * (24-G)) / 32
V = (V1 * (G+8) + V2 * (24-G)) / 32
로 되는 식에 의해 얻어지게 된다.
게인 G에 대해서는, 도 3에 도시한 바와 같이 휘도 레벨 L의 상승에 따라 감소하도록 설정되고, 휘도 레벨 L이 낮을 때에는 제1 색차 데이타 U1, V1의 비율을 크게 하고, 휘도 레벨 L이 높을 때에는 제2 색차 데이타 U2, V2의 비율을 크게 하도록 하고 있다. 예를 들면, 휘도 레벨 L이 최저 레벨 10일 때, G=16로 함으로써, 제1 색차 데이타 U1, V1과 제2 색차 데이타 U2, V2와의 합성 비율은 1:3으로 된다. 게인 G는 휘도 레벨 L의 상승에 따라 감소하도록 설정하고, 제1 색차 데이타 U1, V1과 제2 색차 데이타 U2, V2와의 합성 비율을 1:1로 근접시킨다. 휘도 레벨 L이 제1 레벨 l1로부터 제2 레벨 l2까지의 사이는 G=8로서 고정하고, 제1 색차 데이타 U1, V1과 제2 색차 데이타 U2, V2와의 합성 비율을 1:1로 한다. 그리고, 휘도 레벨 L이 제2 레벨 12를 넘으면, 휘도 레벨 L의 상승에 따라 게인 G를 더욱 감소시키고, 포화 레벨 LS에서는 G=0으로 함으로써, 최종적으로, 제1 색차 데이타 U1, V1과 제2 색차 데이타 U2, V2와의 합성 비율을 3:1로 한다. 이상과 같이 제1 색차 데이타 U1, V1과 제2 색차 데이타 U2, V2와의 합성 비율을 변경함으로써, 제1 색차 데이타 U1, V1의 문제점과 제2 색차 데이타 U2, V2의 문제점이 독립적으로 눈에 띄는 일이 없어진다.
그런데, 촬상 소자에 장착하는 컬러 필터의 구성에 대해서는, 도 7에 도시한 바와 같은 세그멘트 구성 외에, Ye(옐로우), Mg (마젠타), Cy(시안) 및 W(화이트)의 세그멘트에 의해 구성하는 것도 가능하다. 예를 들면, 도 4에 도시한 바와 같이, 기수행에 W 성분과 Ye 성분을 교대로 연속하여 배치하고, 우수행에 Cy 성분과 Mg 성분을 교대로 배치한다. 이러한 컬러 필터를 장착한 촬상 소자로부터 얻어지는 화상 데이타 D는 기수행의 판독 동작에 있어서는, W 성분 및 Ye 성분이 교대로 연속하고, 우수행의 판독에서는 Cy 성분 및 Mg 성분이 교대로 연속한다. 이러한 화상 데이타 D는 색 분리 회로(21)에 의해 각 색 성분으로 분리되어, 각 색 성분에 대응한 색 성분 데이타 C[Ye], C[Mg], C[Cy], C[W]로서 출력된다.
이러한 색 성분 데이타 C[Ye], C[Mg], C[Cy], C[W]에 대해서는, 예를 들면, 제1 색 연산 회로(22)가,
(Ye+Mg-Cy)/2 = R
(Mg+Cy-Ye)/2 = B
(Cy+Ye-Mg)/2 = B
의 식에 따른 색 연산 처리를 실시하여 제1 원색 데이타 P1[R], P1[B], P1[G]를 생성한다. 그리고, 제2 연산 회로(23)가,
W-Cy = R
W-Ye = B
W-Mg = G
의 식에 따른 색 연산 처리를 실시하여 제2 원색 데이타 P2[R], P2[B], P2[G]를 생성한다. 제1 및 제2 밸런스 제어 회로(24, 25) 이후의 처리에 대해서는, 색 성분 데이타 C[Ye], C[Cy], C[G], C[W]에 기초하여 얻어진 원색 데이타 P1[R], P1[B], P1[G], P2[R], P2[B], P2[G]에 대한 처리와 동일하다.
이러한 색 연산 처리에 의하면, R 성분, B 성분 및 G 성분이 각각 동일한 연산 처리를 거쳐 생성되기 때문에, 색 성분 데이타 C[Ye], C[Mg], C[Cy], C[W]의 포화에 의해 큰 레벨의 의사 신호가 발생하는 일은 없다.
이상의 실시예에 있어서는 컬러 필터를 Ye, Cy, G, W로 구성한 경우와 Ye, Mg, Cy, W로 구성한 경우를 예시하였지만, 그 밖의 조합을 이용하는 것도 가능하다. 또한, 색 연산 처리에 대해서는, 2종류의 방법에만 한정되지 않고, 3종류 이상의 방법을 이용하여 3종류 이상의 색차 데이타를 생성하고, 이들을 합성하도록 하여도 좋다.
본 발명에 의하면, 2종류(또는 3종류 이상)의 방법에 의해 색 연산 처리를 행하는 2종류(또는 3종류 이상)의 색차 데이타를 생성하고, 이들을 합성하여 추출하도록 한 것으로, 특정한 방법으로 발생되는 S/N 비의 열화나 연산 오차가, 재생 화면의 화질에 영향을 주기 어렵게 된다. 따라서, 화상 신호의 S/N비의 열화를 방지하면서, 촬상 장치의 다이내믹 레인지를 넓게 할 수 있다.
또한, 컬러 필터의 세그멘트를 Ye, Mg, Cy 및 W의 각 성분에 의해 구성한 경우, 삼원색(R, G, B)을 모두 동일한 연산 처리에 의해 생성할 수 있기 때문에, 연산 오차가 모든 색 성분에 거의 균등하게 생기게 된다. 따라서, 연산 오차에 의한 의사 신호가 발생되기 어렵게 되어, 의사 신호 억압 회로의 구성을 간략화할 수 있다.

Claims (5)

  1. 복수의 색 성분 신호를 합성하여 색차 신호를 생성하는 화상 신호 처리 장치에 있어서,
    상기 복수의 색 성분 신호에 대해 제1 색 연산 처리를 실시하여, 빛의 삼원색에 대응한 제1 원색 신호를 생성하는 제1 색 연산 회로;
    상기 복수의 색 성분 신호에 대해 제2 색 연산 처리를 실시하여, 빛의 삼원색에 대응한 제2 원색 신호를 생성하는 제2 색 연산 회로;
    상기 제1 원색 신호에 기초하여 제1 색차 신호를 합성하는 제1 색차 연산 회로;
    상기 제2 원색 신호에 기초하여 제2 색차 신호를 합성하는 제2 색차 연산 회로; 및
    상기 제1 색차 신호와 상기 제2 색차 신호를 각 성분마다 소정의 비율로 합성하여 출력 색차 신호를 생성하는 합성 회로
    를 포함하는 것을 특징으로 하는 화상 신호 처리 장치.
  2. 제1항에 있어서,
    상기 복수의 색 성분 신호의 레벨을 검출하는 휘도 검출 회로를 더 포함하고, 상기 합성 회로의 상기 제1 색차 신호와 상기 제2 색차 신호와의 합성 비율을 상기 검출 회로의 검출 레벨에 따라 변경하는 것을 특징으로 하는 화상 신호 처리 장치.
  3. 제1항에 있어서,
    상기 제1 원색 신호에 대해 색 밸런스를 조정하고, 밸런스 조정된 상기 제1 원색 신호를 상기 제1 색 연산 회로에 공급하는 제1 색 밸런스 제어 회로와, 상기 제2 원색 신호에 대해 색 밸런스를 조정하고, 밸런스 조정된 상기 제2 원색 신호를 상기 제2 색 연산 회로에 공급하는 제2 색 밸런스 제어 회로를 더 포함하는 것을 특징으로 하는 화상 신호 처리 장치.
  4. 제1항에 있어서,
    상기 복수의 색 성분 신호 또는 상기 제1 원색 신호 중 어느 하나가 소정의 레벨을 초과했을 때에 상기 제1 색차 신호를 감쇠시켜 상기 합성 회로에 공급하는 제1 의사 신호 억압 회로와, 상기 복수의 색 성분 신호 또는 상기 제2 원색 신호 중 어느 하나가 소정의 레벨을 초과했을 때에 상기 제2 색차 신호를 감쇠시켜 상기 합성 회로에 공급하는 제2 의사 신호 억압 회로를 더 포함하는 것을 특징으로 하는 화상 신호 처리 장치.
  5. 복수의 색 성분 신호를 합성하여 색차 신호를 생성하는 화상 신호 처리 장치에 있어서,
    상기 복수의 색 성분 신호에 대해 각각 다른 색 연산 처리를 실시하여, 빛의 삼원색에 대응한 복수조(複數組)의 원색 신호를 생성하는 복수의 색 연산 회로;
    상기 복수조의 원색 신호에 기초하여 복수조의 색차 신호를 각각 합성하는 복수의 색차 연산 회로; 및
    상기 복수조의 색차 신호를 각 성분마다 소정의 비율로 합성하여 출력 색차 신호를 생성하는 합성 회로
    를 포함하는 것을 특징으로 하는 화상 신호 처리 장치.
KR10-1998-0058667A 1997-12-25 1998-12-24 화상 신호 처리 장치 Expired - Fee Related KR100381496B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP97-357474 1997-12-25
JP35747497A JP4212134B2 (ja) 1997-12-25 1997-12-25 画像信号処理装置

Publications (2)

Publication Number Publication Date
KR19990063462A true KR19990063462A (ko) 1999-07-26
KR100381496B1 KR100381496B1 (ko) 2003-06-18

Family

ID=18454316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0058667A Expired - Fee Related KR100381496B1 (ko) 1997-12-25 1998-12-24 화상 신호 처리 장치

Country Status (4)

Country Link
US (1) US6160593A (ko)
JP (1) JP4212134B2 (ko)
KR (1) KR100381496B1 (ko)
TW (1) TW379496B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480624B1 (en) * 1997-09-30 2002-11-12 Minolta Co., Ltd. Color discrimination apparatus and method
JP4377976B2 (ja) * 1997-12-26 2009-12-02 キヤノン株式会社 カラー撮像装置、画像信号読み出し方法、画像処理装置、画像処理システム、及び記憶媒体
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
KR100601621B1 (ko) * 1999-10-05 2006-07-14 삼성전자주식회사 강유전성 액정디스플레이장치에서 화면의 평균밝기 유지장치
JP3717795B2 (ja) * 2000-05-26 2005-11-16 三洋電機株式会社 色分離回路及びそれを備えた色信号処理装置
JP2001350453A (ja) * 2000-06-08 2001-12-21 Hitachi Ltd 画像表示方法および画像表示装置
WO2003023340A1 (en) * 2001-09-11 2003-03-20 Lumileds Lighting U.S., Llc Color photosensor
JP3630149B2 (ja) * 2002-06-14 2005-03-16 カシオ計算機株式会社 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP4131192B2 (ja) * 2003-04-25 2008-08-13 コニカミノルタオプト株式会社 撮像装置、画像処理装置及び画像記録装置
JP4305327B2 (ja) * 2003-08-26 2009-07-29 カシオ計算機株式会社 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
TWI271683B (en) * 2004-08-18 2007-01-21 Benq Corp Method for determining frame content and electronic display device therefor
JP2006101462A (ja) * 2004-09-30 2006-04-13 Sanyo Electric Co Ltd 画像信号処理装置
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
TWI390961B (zh) * 2009-03-13 2013-03-21 Asustek Comp Inc 影像處理裝置及影像處理方法
TWI430653B (zh) * 2009-03-13 2014-03-11 Asustek Comp Inc 影像處理裝置及影像處理方法
DE202014102759U1 (de) 2014-06-13 2014-07-10 Soartec Industrial Corp. Hammerbaugruppe für Schlagwerkzeuge
CN114556907A (zh) * 2019-10-10 2022-05-27 麦克赛尔株式会社 影像显示装置以及投影仪

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4635107A (en) * 1984-08-20 1987-01-06 International Business Machines Corporation Electron beam position control for color display
AU599139B2 (en) * 1986-09-27 1990-07-12 Sony Corporation Luminance signal forming circuit
JPH0246086A (ja) * 1988-08-08 1990-02-15 Canon Inc 色補正回路
US5581298A (en) * 1988-11-09 1996-12-03 Canon Kabushiki Kaisha Color signal processing apparatus using plural luminance signals
EP0395452B1 (en) * 1989-04-28 1997-07-02 Canon Kabushiki Kaisha Image processing apparatus
US5510850A (en) * 1989-05-25 1996-04-23 Canon Kabushiki Kaisha Video signal correction device
US5012331A (en) * 1989-06-23 1991-04-30 Magni Systems, Inc. Graphics encoder video enhancement
JP2509346B2 (ja) * 1989-10-30 1996-06-19 池上通信機株式会社 カラ―テレビジョン映像処理装置
US5258826A (en) * 1991-10-02 1993-11-02 Tandy Corporation Multiple extended mode supportable multimedia palette and multimedia system incorporating same
US5504821A (en) * 1993-03-31 1996-04-02 Matsushita Electric Industrial Co., Ltd. Color converting apparatus for performing a three-dimensional color conversion of a colored picture in a color space with a small capacity of memory
JP3615778B2 (ja) * 1993-04-05 2005-02-02 日本フィリップス株式会社 カラー撮像装置
JPH07162890A (ja) * 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JP3620547B2 (ja) * 1995-02-14 2005-02-16 ソニー株式会社 高輝度圧縮装置およびそれを適用したビデオカメラ装置

Also Published As

Publication number Publication date
JPH11191892A (ja) 1999-07-13
TW379496B (en) 2000-01-11
JP4212134B2 (ja) 2009-01-21
US6160593A (en) 2000-12-12
KR100381496B1 (ko) 2003-06-18

Similar Documents

Publication Publication Date Title
US8144221B2 (en) Image sensor apparatus and methods employing unit pixel groups with overlapping green spectral content
KR100381496B1 (ko) 화상 신호 처리 장치
KR100468169B1 (ko) 위색(僞色)신호발생이억제가능한단판식컬러카메라
US6559886B1 (en) Video signal processing method and device
KR930002120B1 (ko) 촬상장치의 디지탈신호 처리장치
US6900838B1 (en) Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
JP4636895B2 (ja) 電子カメラ
US5150204A (en) Solid state image pickup having plural pixels arranged on plural lines
JP2003101815A (ja) 信号処理装置及び信号処理方法
KR100363349B1 (ko) 영상신호처리장치
US6686961B1 (en) Image pickup apparatus
JP3499985B2 (ja) 撮像装置
JP3443344B2 (ja) 画像データの処理方法及び画像データ処理装置
JP3408169B2 (ja) 画像データの処理方法及び画像データ処理装置
JPH11177996A (ja) 画像処理装置および画像処理方法、並びにカメラ
JPH09182090A (ja) 単板カラー固体撮像装置
JP2001186534A (ja) 固体撮像装置
JP2004350319A (ja) 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体
JP2007074748A (ja) 画像信号処理装置
JPH054878B2 (ko)
JP3832689B2 (ja) 映像信号処理方法及び映像信号処理装置
JP2890573B2 (ja) 撮像装置
JP3147056B2 (ja) 撮像装置
JPH08331573A (ja) 映像信号処理装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20120329

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

FPAY Annual fee payment

Payment date: 20130329

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20140411

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20140411

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000