[go: up one dir, main page]

KR20090066672A - 잡음을 고려하여 영상을 복호화하는 방법 및 장치 - Google Patents

잡음을 고려하여 영상을 복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR20090066672A
KR20090066672A KR1020070134331A KR20070134331A KR20090066672A KR 20090066672 A KR20090066672 A KR 20090066672A KR 1020070134331 A KR1020070134331 A KR 1020070134331A KR 20070134331 A KR20070134331 A KR 20070134331A KR 20090066672 A KR20090066672 A KR 20090066672A
Authority
KR
South Korea
Prior art keywords
image quality
noise ratio
signal
image
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070134331A
Other languages
English (en)
Other versions
KR101439484B1 (ko
Inventor
박영오
주영훈
최광표
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070134331A priority Critical patent/KR101439484B1/ko
Priority to US12/340,826 priority patent/US8265165B2/en
Publication of KR20090066672A publication Critical patent/KR20090066672A/ko
Application granted granted Critical
Publication of KR101439484B1 publication Critical patent/KR101439484B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 동영상 복호화 방법은 비트스트림의 대역폭을 정해진 범위로 유지하기 위한 비트변화제어기법을 적용하여 부호화된 동영상 데이터의 복호화를 수행하는 방법에 있어서, 부호화된 상기 동영상 데이터를 복호화하는 과정과, 복호된 영상 프레임의 비트스트림 크기, 영상 프레임에 포함된 분할 매크로블록의 개수 및 스킵 모드 매크로블록의 개수를 포함하는 영상화질 예측정보를 획득하는 과정과, 획득된 상기 영상화질 예측정보와 신호대 잡음비의 상관관계를 기반으로 상기 동영상 데이터의 화질을 확인하는 과정과, 상기 과정에서 확인된 상기 화질을 고려하여, 미리 정해진 수준보다 상대적으로 낮은 수준의 화질에 대해 화질 향상 알고리즘을 적용하여 출력하는 과정을 포함한다.
Figure P1020070134331
영상, 복호화, 비트제어, PSNR, 상관

Description

잡음을 고려하여 영상을 복호화하는 방법 및 장치{METHOD AND APPARATUS FOR DECORDING VIDEO CONSIDERING NOISE}
본 발명은 동영상 복호화 방법에 관한 것으로서, 특히 비트변화 제어기법을 적용하여 부호화한 데이터를 복호화하는 방법에 관한 것이다.
일반적 동영상 부호기는 비트스트림의 대역폭을 일한정 범위로 유지하기 위하여 비트변화제어(Bit rate control)기법을 사용한다. 비트변화 제어기법은 영상의 화질을 결정하는 양자화 값(Quantization value)의 크기를 상대적으로 조절하여 비트스트림의 대역폭을 일정하게 유지하는 방법이다. 하지만 양자화 값의 변화는 상대적으로 영상의 화질을 변화(fluctuation)시키는 문제점을 발생시킨다. 결국, 화질 변화는 화면 떨림(flicking)을 발생시키고, 사용자에게 낮은 품질의 동영상을 제공하는게 되는 주 요인이 된다.
부호기의 비트변화 제어로 인한 화질 변화 현상을 감소시키기 위해서는 영상의 화질 수준에 대한 정보를 복호기가 인지할 수 있으면 된다. 이를 위하여, 일반적으로 부호화 과정에서 원본 영상 정보를 이용해서 최대젼력신호대 잡음비(PSNR; Peek Sigal to Noise Ratio)를 계산하고 이 결과를 추가 채널을 통하여 복호기에 알려주는 방법이 사용된다. 그러나, 전술한 종래의 방법은 부호화 과정에서 별도로 화질 수준에 대한 정보를 지시하는 최대젼력신호대 잡음비(PSNR)를 연산해야하는 추가적 과정이 필요하다. 또한, 부호화 과정에서 연산된 화질 수준에 대한 정보를 전송하기 위한 별도의 전송 채널을 필요로한다. 결국, 전술한 종래의 방법을 이용하여 영상의 화질 수준에 대한 정보를 복호기에 제공하기 위해서는, 시스템의 수정 및 변경을 통해 최대젼력신호대 잡음비(PSNR) 연산을 위한 별도의 장치 및 화질 수준에 대한 정보를 복호화기로 전송하기 위한 별도의 전송 채널을 구비해야하는 문제가 발생한다.
본 발명은 전술한 점을 고려하여 안출된 것으로서, 별도로 생성된 화질 수준에 대한 정보없이 부호화된 비트스트림 포맷의 영상 데이터를 높은 품질의 영상 데이터로 복호화하는 방법을 제공하는데 그 목적이 있다.
또한, 영상 데이터를 복호화하는 과정에서 획득된 정보를 고려하여 화질 수준을 추정하고, 추정된 화질에 대응하여 복호화된 영상 데이터를 필터링할 수 있는 복호화하는 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 동영상 복호화 방법은 비트스트림의 대역폭을 정해진 범위로 유지하기 위한 비트변화제어기법을 적용하여 부호화된 동영상 데이터의 복호화를 수행하는 방법에 있어서, 부호화된 상기 동영상 데이터를 복호화하는 과정과, 복호된 영상 프레임의 비트스트림 크기, 영상 프레임에 포함된 분할 매크로블록의 개수 및 스킵 모드 매크로블록의 개수를 포함하는 영상화질 예측정보를 획득하는 과정과, 획득된 상기 영상화질 예측정보와 신호대 잡음비의 상관관계를 기반으로 상기 동영상 데이터의 화질을 확인하는 과정과, 상기 과정에서 확인된 상기 화질을 고려하여, 미리 정해진 수준보다 상대적으로 낮은 수준의 화질에 대해 화질 향상 알고리즘을 적용하여 출력하는 과정을 포함한다.
상기 신호대 잡음비는 최대전력 신호대 잡음비(PSNR; Peek Sigal to Noise Ratio)일 수 있다.
바람직하게, 상기 영상화질 예측정보와 신호대 잡음비의 상관관계는 하기의 수학식이 지시하는 관계일 수 있다.
<수학식>
Figure 112007091554667-PAT00001
여기서, α, β 및 γ는 가중치로서, α는 -0.5, β는 0.1, γ는 -0.4로 설정될 수 있다. 그리고, f(x)는 표준화 함수로서,
Figure 112007091554667-PAT00002
로 정의된다. X는 목표값이며 μ는 누적 평균값이다
상기 동영상 데이터의 화질을 확인하는 과정은 신호대 잡음비의 감소 정도를 연산하는 과정이다.
화질 향상 알고리즘은 최대전력 신호대 잡음비(PSNR)를 향상시키는 알고리즘이다.
본 발명의 다른 측면에 따른 동영상 복호화 장치는 비트스트림의 대역폭을 정해진 범위로 유지하기 위한 비트변화제어기법을 적용하여 부호화된 동영상 데이터의 복호화를 수행하는 장치에 있어서, 부호화된 상기 동영상 데이터를 복호화하는 복호화부와, 상기 복호화부로부터 복호된 영상 프레임의 비트스트림 크기, 영상 프레임에 포함된 분할 매크로블록의 개수 및 스킵 모드 매크로블록의 개수를 포함하는 영상화질 예측정보를 획득하고, 획득된 상기 영상화질 예측정보와 신호대 잡음비의 상관관계를 기반으로 상기 동영상 데이터의 화질을 측정하는 화질 수준 검 출부와, 상기 복호화부로부터 출력된 데이터의 화질을 향상시키는 화질 향상 필터와, 상기 화질 수준 검출부로부터 출력된 화질 수준을 확인하여 상기 동영상 데이터를 선택적으로 화질 향상 필터로 입력하거나 직접 외부로 출력하는 선택스위치를 포함한다.
상기 화질 수준 검출부는 상기 영상화질 예측정보를 이용하여 추정한 신호대 잡음비의 감소 정도를 연산하여 상기 동영상 데이터의 화질을 확인하는 것이 바람직하다. 또한, 상기 화질 향상 필터는 노이즈 리덕션 필터일 수 있다.
본 발명의 동영상 복호화 방법 및 장치에 따르면, 별도의 화질 수준을 지시하는 정보(예컨대, PSNR)없이 부호화된 영상 데이터를 복호화하는 과정에서 획득된 정보를 이용하여 영상의 화질을 추정할 수 있다.
또한, 추정한 영상 데이터의 화질에 대응하여 영상 데이터를 보정함으로써, 높은 품질의 동영상을 출력할 수 있다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 일 실시예에 따른 동영상 복호화 장치의 블록 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 동영상 복호화 장치는 일반적인 MPEG-4/AVC(Advanced Video Coding) 디코더(10)와 함께, 화질 수준 검출부(20), 선택스위치(30) 및 화질 향상 필터(40)를 구비한다.
MPEG-4/AVC 디코더(10)는 MPEG-4/AVC(Advanced Video Coding)인코더(미도시)를 통해 비트스트림 포맷으로 부호화된 데이터를 수신하여 영상 데이터에 포함된 각 화소의 색차 신호값을 출력한다.
또한, MPEG-4/AVC 디코더(10)는 비트스트림 포맷으로 입력되는 데이터를 복호화하는 과정에서 확인되는 매크로블록의 비트스트림 크기, 매크로 블록의 종류, 매크로블록의 분할 상태 등의 정보를 화질 수준 검출부(20)로 제공한다.
화질 수준 검출부(20)는 MPEG-4/AVC 디코더(10)의 복호화로부터 매크로 블록 단위로 제공받은 상기 매크로블록의 비트스트림 크기, 매크로 블록의 종류, 매크로블록의 분할 상태 등의 정보를 이용하여, 영상화질 예측정보를 획득한다. 상기 영상화질 예측정보는 현재 입력되는 영상 프레임의 비트스트림 바이트의 크기, 상기 영상 프레임에 포함된 스킵 모드 매크로블록의 수, 상기 영상 프레임에 포함된 분할 매크로블록의 수를 포함한다. 그리고, 화질 수준 검출부(20)는 신호대 잡음비와 획득한 상기 영상화질 예측정보의 상관관계에 기초하여 입력된 상기 영상의 신호대 잡음비를 추정한다. 바람직하게, 상기 신호대 잡음비는 최대전력 신호대 잡음비(PSNR; Peek Sigal to Noise Ratio)일 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 복호화 장치에 의해 복호화된 영상 프레임의 일 예시도이다. 도 2를 참조하면, a는 스킵모드의 매크로블록을 지시 하며, b는 4분할된 매크로블록을 지시한다. 화질 수준 검출부(20)는 a와 같은 매크로블록의 수를 카운트하여 영상 프레임에 포함된 스킵모드의 매크로블록의 수(Skip)를 획득하고, b와 같은 매크로블록의 수를 카운트하여 영상 프레임에 포함된 4분할된 매크로블록의 수(4MV)를 획득한다.
바람직하게, 화질 수준 검출부(20)는 신호대 잡음비와 영상화질 예측정보의 상관관계를 표준화한 하기 수학식 1에 기초하여 영상 데이터의 화질 수준을 결정할 수 있다.
Figure 112007091554667-PAT00003
여기서, α, β 및 γ는 가중치로서, α는 -0.5, β는 0.1, γ는 -0.4로 설정될 수 있다. 그리고, f(x)는 표준화 함수로서,
Figure 112007091554667-PAT00004
로 정의된다. X는 목표값이며 μ는 누적 평균값이다. 즉, X는 영상 프레임의 비트스트림의 바이트 크기(Size), 영상 프레임에 포함된 스킵모드의 매크로블록의 수(Skip), 4분할된 매크로블록의 수(4MV)를 지시하며, μ는 상기 각 값들에 대한 누적 평균 값이다. 예컨대, 첫번째 4분할된 매크로블록의 수(4MV)가 10이고, 두번째 영상 프레임의 4분할된 매크로블록의 수(4MV)가 30이고, 세번째 영상 프레임의 4분할된 매크로블록의 수(4MV)가 40임을 가정하면, 세번째 영상 프레임 4분할된 매크로블록의 수(4MV)의 X값은 40이고, μ는 첫번째와 두번째 영상 프레임의 누적 평균값인 20이 된다.
비록 본 발명의 실시예에서, 화질 수준 검출부(20)가 상기 수학식1에 기초하 여 영상 데이터의 화질 수준을 결정하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 신호대 잡음비와 영상 데이터의 복호화 과정에서 추출되는 영상화질 예측정보의 상관관계를 이용하여 다양하게 변경될 수 있음은 물론이다.
예컨대, 본 발명의 기술분야에 속한 자가 다수의 영상으로부터 신호대 잡음비와 영상화질 예측정보의 측정하고, 측정된 값을 이용하여 신호대 잡음비와 영상화질 예측정보의 일관성 및 규칙성을 분석한 후, 신호대 잡음비와 영상화질 예측정보의 상관관계를 설정할 수 있다.
선택스위치(30)는 단일의 입력단자 및 복수의 출력단자를 포함하며, 복수의 출력단자 중 어느 하나의 출력단자에 상기 입력단자를 선택적으로 연결한다. 선택스위치(30)에 구비된 복수의 출력단자는 외부 출력 장치(미도시) 또는 화질 향상 필터(40)에 각각 연결된다. 나아가, 선택스위치(30)의 출력단자 선택은 화질 수준 검출부(20)가 추정하여 제공하는 신호대 잡음비의 값에 의해 결정될 수 있다. 즉, 선택스위치(30)는 추정된 상기 신호대 잡음비를 미리 정해진 임계값과 비교하고, 상기 신호대 잡음비가 미리 정해진 임계값과 같거나 상대적으로 더 큰 값을 지시하면 상기 입력단자를 화질 향상 필터(40)에 연결된 출력단자에 연결한다. 그리고, 상기 신호대 잡음비가 미리 정해진 임계값보다 상대적으로 더 작은 값을 지시하면 상기 입력단자를 외부 출력 장치(미도시)에 연결한다. 예컨대, 상기 미리 정해진 임계값이 40임을 가정한다. 만약, 화질 수준 검출부(20)로부터 입력받은 상기 신호대 잡음비의 평균값이 40과 같거나 상대적으로 큰 값을 지시하면 선택스위치(30)는 상기 MPEG-4/AVC 디코더(10)에 연결된 입력단자를 화질 향상 필터(40)의 입력 경 로(31)에 연결된 출력단자와 연결한다. 그리고, 화질 수준 검출부(20)로부터 입력받은 상기 신호대 잡음비의 평균값이 40보다 상대적으로 작은 값을 지시하면 선택스위치(30)는 상기 MPEG-4/AVC 디코더(10)에 연결된 입력단자를 외부 출력 장치(미도시)의 입력경로(35)에 연결된 출력단자에 연결한다.
화질 향상 필터(40)는 상기 MPEG-4/AVC 디코더(10)로부터 화소 단위의 색차 신호값으로 출력되는 영상 데이터를 입력받고, 상기 영상 데이터에 포함된 노이즈를 검출하여 제거하는 필터이다.
예컨대, 화질 향상 필터(40)는 영상 프레임에 포함된 각 화소를 필터링한 후, 필터링된 값과 원래 신호 값의 차이값을 연산한다. 그리고, 화질 향상 필터(40)는 상기 차이값이 미리 정해진 임계값보다 상대적으로 작으면 해당 화소가 잡음인 것으로 결정하여 노이즈를 제거한다. 또한, 연산된 상기 차이값이 미리 정해진 임계값보다 상대적으로 크면 해당 화소가 잡음이 아니고 경계부분이라고 판단하고, 필터링된 값에 상기 차이값을 가산함으로써 원래 복호화된 값을 만들어 출력한다. 나아가, 화질 향상 필터(40)는 필터링으로 인해 감소된 경계부분의 값을 보상한다.
본 발명의 실시예에서, 화질 향상 필터(40)가 영상 프레임에 포함된 각 화소를 필터링하고, 필터링된 값과 원래 신호 값의 차이값을 이용하여 상기 영상 데이터에 포함된 노이즈를 검출 및 제거하는 것을 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니며, 본 발명에서 화질 향상 필터(40)는 부호화 과정에서 훼손된 영상의 화질을 개선할 수 있는 필터이면 충분하다. 예컨대, 화질 향상 필터(40)는 도 3에 도시된 바와 같이 최대전력 신호대 잡음비를 개선할 수 있는 필터이면 충분하다. 도 3의 A영역을 확대하여 도시한 부분에서, 점선은 개선되기 이전의 최대전력 신호대 잡음비를 지시하며 실선은 최대전력 신호대 잡음비를 개선할 수 있는 필터를 통해 개선된 최대전력 신호대 잡음비를 지시한다.
이하, 전술한 구성요소를 참조하여 본 발명의 일 실시예에 따른 동영상 복호화 장치의 동작을 설명한다.
우선, MPEG-4/AVC(Advanced Video Coding) 인코더(미도시)에서 비트스트림 포맷으로 부호화된 데이터를 입력받으면, MPEG-4/AVC 디코더(10)는 입력받은 데이터를 MPEG-4/AVC의 복호화 방법에 기초하여 각 영상 프레임에 포함된 화소들의 색차 신호값을 복원한다. 또한, MPEG-4/AVC 디코더(10)는 MPEG-4/AVC의 복호화 방법에 의해 복원하는 과정에서 상기 입력받은 데이터로부터 추출된 매크로블록의 비트스크림 크기, 매크로 블록의 종류, 매크로블록의 분할 상태 등의 정보를 화질 수준 검출부(20)에 제공한다.
그러면, 화질 수준 검출부(20)는 블록 단위로 제공받은 상기 매크로블록의 크기, 매크로 블록의 종류, 매크로블록의 분할 상태 등의 정보를 이용하여, 영상화질 예측정보를 획득한다. 그런 다음, 화질 수준 검출부(20)는 상기 수학식 1을 연산하여 상기 영상 프레임의 최대전력 신호대 잡음비를 추정한다.
추정된 상기 영상 프레임의 최대전력 신호대 잡음비(추정 PSNR)는 선택스위치(30)로 입력된다. 추정된 상기 영상 프레임의 최대전력 신호대 잡음비(추정 PSNR)를 입력받은 선택스위치(30)는 추정된 상기 최대전력 신호대 잡음비(추정 PSNR)를 미리 정해진 임계값과 비교한다.
선택스위치(30)는 화질 수준 검출부(20)로부터 제공된 상기 최대전력 신호대 잡음비(추정 PSNR)의 값과 미리 정해진 임계값을 비교한 후, MPEG-4/AVC 디코더(10)에 연결된 입력단자를 선택적으로 외부 출력 장치(미도시) 또는 화질 향상 필터(40)에 연결된 출력단자에 연결한다. 즉, 상기 미리 정해진 임계값을 36.5로 가정하면, 선택스위치(30)는 상기 최대 전력 신호대 잡음비(추정 PSNR)가 미리 정해진 임계값(36.5)과 같거나 상대적으로 더 큰 값을 지시하면 상기 입력단자를 화질 향상 필터(40)에 연결된 출력단자에 연결하고, 상기 최대전력 신호대 잡음비(추정 PSNR)가 미리 정해진 임계값(36.5)보다 상대적으로 더 작은 값을 지시하면 상기 입력단자를 외부 출력 장치(미도시)에 연결한다.
만약, 선택스위치(30)에 의해 MPEG-4/AVC 디코더(10)와 화질 향상 필터(40)가 연결되면, MPEG-4/AVC 디코더(10)로부터 출력되는 영상 데이터는 화질 향상 필터(40)에 입력된다. 그러면, 화질 향상 필터(40)는 영상 프레임에 포함된 각 화소를 필터링한 후, 필터링된 값과 원래 신호 값의 차이값을 연산한다. 그리고, 화질 향상 필터(40)는 상기 차이값이 미리 정해진 임계값보다 상대적으로 작으면 해당 화소가 잡음인 것으로 결정하여 노이즈를 제거한다. 또한, 연산된 상기 차이값이 미리 정해진 임계값보다 상대적으로 크면 해당 화소가 잡음이 아니고 경계부분이라고 판단하고, 필터링된 값에 상기 차이값을 가산함으로써 원래 복호화된 값을 만들어 출력한다. 또한, 화질 향상 필터(40)는 필터링으로 인해 감소된 경계부분의 값을 보상한다.
본 발명의 실시예에서, 화질 수준 검출부(20)가 입력된 상기 영상의 신호대 잡음비를 추정함으로써, 입력된 영상 데이터의 화질 수준을 결정하는 것을 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니며, 상기 화질 수준은 상기 신호대 잡음비의 특정 범위를 기준으로 단계적으로 설정한 크기의 값일 수 있다. 예컨대, 최대전력 신호대 잡음비가 0 이상 10미만의 범위는 제1수준, 10 이상 20만의 범위는 제2수준, 20 이상 30만의 범위는 제3수준, 40 이상 50만의 범위는 제4수준, 50 이상 60만의 범위는 제6수준 등과 같이 상기 화질 수준을 설정할 수 있다. 나아가, 선택스위치(30)의 임계값은 신호대 잡음비를 지시하는 값에 대한 대안으로써, 상기 범위를 지시하는 수준 중 어느 하나의 값으로 설정될 수 있다.
도 4는 본 발명의 일 실시예에 따른 동영상 복호화 방법의 순서를 도시한 흐름도 이다. 이하, 본 발명의 일 실시예에 따른 동영상 복호화 방법의 동작을 설명한다.
MPEG-4/AVC(Advanced Video Coding) 인코더를 통해 부호화된 영상 데이터가 통신 장치를 통해 수신됨을 가정한다. 우선, 10단계는 수신된 영상 데이터를 영상 데이터를 복호화하는 장치에 입력한다.
그러면, 11단계는 입력받은 영상 데이터로부터 MPEG-4/AVC의 복호화 방법에 기초하여 각 영상 프레임에 포함된 화소들의 색차 신호값을 복원한다.
또한, 13단계에서는 MPEG-4/AVC의 복호화 방법에 의해 복원하는 과정에서 상기 입력받은 데이터로부터 추출하고, 추출된 매크로블록의 크기, 매크로 블록의 종류, 매크로블록의 분할 상태 등의 정보를 이용하여 영상 프레임의 크기, 상기 영상 프레임에 포함된 스킵 모드 매크로블록의 수, 상기 영상 프레임에 구비되며 분할된 매크로블록의 수를 포함하는 영상화질 예측정보를 획득한다.
다음으로, 15단계에서는 영상화질 예측정보와 신호대 잡음비와의 상관관계에 기초하여 상기 영상 프레임의 신호대 잡음비를 추정한다. 예컨대, 상기 수학식 2를 연산하여 상기 영상 프레임의 최대전력 신호대 잡음비(PSNR; Peek Sigal to Noise Ratio)를 추정한다.
Figure 112007091554667-PAT00005
여기서, α, β 및 γ는 가중치로서, α는 -0.5, β는 0.1, γ는 -0.4로 설정될 수 있다. 그리고, f(x)는 표준화 함수로서,
Figure 112007091554667-PAT00006
로 정의된다. X는 목표값이며 μ는 누적 평균값이다. 즉, X는 영상 프레임의 비트스트림의 바이트 크기(Size), 영상 프레임에 포함된 스킵모드의 매크로블록의 수(Skip), 4분할된 매크로블록의 수(4MV)를 지시하며, μ는 상기 각 값들에 대한 누적 평균 값이다. 예컨대, 첫번째 4분할된 매크로블록의 수(4MV)가 10이고, 두번째 영상 프레임의 4분할된 매크로블록의 수(4MV)가 30이고, 세번째 영상 프레임의 4분할된 매크로블록의 수(4MV)가 40임을 가정하면, 세번째 영상 프레임 4분할된 매크로블록의 수(4MV)의 X값은 40이고, μ는 첫번째와 두번째 영상 프레임의 누적 평균값인 20이 된다.
그리고, 17단계에서는 추정된 상기 최대전력 신호대 잡음비(추정 PSNR)를 미리 정해진 임계값을 비교한다. 만약, 17단계의 비교 결과, 추정된 상기 최대전력 신호대 잡음비(추정 PSNR)가 미리 정해진 임계값(예컨대, 36.5)과 같거나 상대적으로 더 큰 값을 지시하면 19 및 20단계를 순차적으로 진행하고, 추정된 상기 최대전력 신호대 잡음비(추정 PSNR)가 미리 정해진 임계값(36.5)보다 상대적으로 더 작은 값을 지시하면 19단계의 진행 없이 직접 20단계를 진행한다.
19단계는 상기 11단계에서 복호화된 영상 데이터에 포함된 노이즈를 제거하는 단계이다. 예컨대, 19단계는 영상 프레임에 포함된 각 화소를 필터링한 후, 필터링된 값과 원래 신호 값의 차이값을 비교하여 영상 프레임에 포함된 각 화소에 포함된 노이즈를 제거할 수 있다. 즉, 연산된 상기 차이값이 미리 정해진 임계값보다 상대적으로 작으면 해당 화소에 노이즈가 포함된 것으로 결정하고 상기 노이즈를 제거한다. 반면, 연산된 상기 차이값이 미리 정해진 임계값보다 상대적으로 크면 해당 화소가 잡음이 아니고 경계부분이라고 판단하고, 필터링된 값에 상기 차이값을 가산함으로써 원래 복호화된 값을 출력한다.
20단계에서는 상기 11단계에서 복호화된 영상 데이터 또는 19단계를 통해 보정된 영상 데이터를 디스플레이 장치 등의 외부 출력 장치를 통해 출력한다.
본 발명의 실시예에서, 상기 15단계는 상기 영상의 최대전력 신호대 잡음비를 추정함으로써, 입력된 영상 데이터의 화질 수준을 결정하는 것을 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니며, 상기 화질 수준은 상기 신호대 잡음비의 특정 범위를 기준으로 단계적으로 설정한 크기의 값일 수 있다. 예컨대, 최대전력 신호대 잡음비가 0 이상 10미만의 범위는 제1수준, 10 이상 20만의 범위는 제2수준, 20 이상 30만의 범위는 제3수준, 40 이상 50만의 범위는 제4수준, 50 이 상 60만의 범위는 제6수준 등과 같이 상기 화질 수준을 설정할 수 있다. 나아가, 17단계의 임계값은 최대전력 신호대 잡음비를 지시하는 값에 대한 대안으로써, 상기 범위를 지시하는 수준 중 어느 하나의 값으로 설정될 수 있다.
나아가, 본 발명의 실시예에서 MPEG-4/AVC 규격을 기반으로 영상 데이터의 부호화 및 복호화가 수행되는 것을 예시하였으나 본 발명이 이를 한정하는 것은 아니며, H.263, H.264 등과 같은 동영상 부호화/복호화 방법에 다양하게 적용할 수 있다.
또한, 비록 본 발명의 실시예에서, 15단계는 상기 수학식2에 기초하여 영상 데이터의 화질 수준을 결정하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 신호대 잡음비와 영상 데이터의 복호화 과정에서 추출되는 영상화질 예측정보의 상관관계를 이용하여 다양하게 변경될 수 있음은 물론이다. 예컨대, 본 발명의 기술분야에 속한 자가 다수의 영상으로부터 신호대 잡음비와 영상화질 예측정보의 측정하고, 측정된 값을 이용하여 신호대 잡음비와 영상화질 예측정보의 일관성 및 규칙성을 분석한 후, 신호대 잡음비와 영상화질 예측정보의 상관관계를 설정할 수 있다.
이하, 실험예를 통해 신호대 잡음비와 영상화질 예측정보의 상관관계를 설정하는 방법에 대하여 예시한다.
본 발명의 실험예는 동영상 부호화 및 복호화의 실험하는데 통상적으로 사용되는 8개의 동영상(Container, Crew, Foremen, Harbor, Mobile, Soccer, Stefan)에 대하여 이미지의 크기, 프레임 률, 총 프레임수, 전송률, I-프레림 간격을 표 1과 같이 설정한다.
실험예 동영상 명칭 이미지 크기 (Size) 프레임 률 (Frame rate) 총 프레임수 전송률 (BPS) I-프레임간격
실험예1 Akiyo QVGA (320*240p) 30fps 300frames 384kbps 30frame
실험예2 Container
실험예3 Foremen
실험예4 Stefan CIF (352*288p)
실험예5 City
실험예6 Harbor
실험예7 Mobile
실험예에서, 실험예1 내지 실험예7은 이미지의 크기를 QVGA(320×240p)로 설정하였고, 실험예5 내지 실험예7은 이미지의 크기를 CIF(352×288p)로 설정하였다. 그리고, 프레임 율은 실험예1 내지 실험예7에서 모두 동일하게 30fps로 설정하였고, 총 프레임수는 실험예1 내지 실험예7에서 모두 동일하게 300프레임으로 설정하였고, 전송률은 실험예1 내지 실험예7에서 모두 동일하게 384kbps로 설정하였고, I-프레임의 간격은 실험예1 내지 실험예7에서 모두 동일하게 30frame으로 설정하였다.
그리고, MPEG-4에 기초하여 각각의 동영상을 부호화하였다. 그런 다음, 실험예는 전술한 조건에서 각 동영상에 포함된 300개의 프레임 각각에 대하여 최대 전력 신호대 잡음비(PSNR)를 측정하고, 그 평균값과 표준편차를 연산하여 표 2에 기재하였다. 그리고, 각 동영상에 포함된 300개의 프레임 각각에 대하여 영상 프레임의 비트스트림의 바이트 크기(Size), 영상 프레임에 포함된 스킵모드의 매크로블록의 수(Skip), 영상 프레임에 포함된 인트라 모드의 매크로블록의 수(Intra), 움직임 벡터 전력의 평균값(MV_PWR), 4분할된 매크로블록의 수(4MV)를 측정하였고, 그 평균값을 연산하여 표 2에 기재하였다.
실험예 동영상 명칭 PSNR
평균 (AVG) 표준편차 (STDDEV) 크기 (Size) 스킵모드 매크로블록의 수(Skip) 인트라 모드 매크로블록의 수 (Intra) 움직임 벡터 전력의 평균값 (MV_PWR) 4분할된 매크로블록의 수 (4MV)
실험예1 Container 43.575 0.707 1481.9 87.16 0.031 3.381 17.83
실험예2 Crew 36.550 0.489 1732.63 8.031 24.97 81.55 80.83
실험예3 Foremen 34.379 2.099 1634.8 13.31 0.789 119.69 72.54
실험예4 Harbor 27.794 1.948 1725.63 42.51 0.007 5.405 79.37
실험예5 Mobile 32.068 0.726 1715.9 11.16 0.076 4.114 54.04
실험예6 Soccer 28.279 1.118 1704.7 9.26 1.678 389 79.57
실험예7 Stefan 24.385 1.536 1813.2 17.18 1.284 302.95 80.99
또한, 표 2에 기재된 영상 프레임의 비트스트림의 바이트 크기(Size), 영상 프레임에 포함된 스킵모드의 매크로블록의 수(Skip), 영상 프레임에 포함된 인트라 모드의 매크로블록의 수(Intra), 움직임 벡터 전력의 평균값(MV_PWR), 4분할된 매크로블록의 수(4MV)를 하기의 수학식 3에 기초하여 상기 최대 전력 신호대 잡음비(PSNR)와의 상관계수를 연산하였고, 그 결과를 표 3에 기재하였다.
Figure 112007091554667-PAT00007
X=AVG(array1):PSNR
Y=AVG(array2):Size, Skip, Intra, MV_PWR, 4MV
실험예 동영상 명칭 PSNR 상관
평균 (AVG) 표준편차 (STDDEV) 크기 (Size) 스킵모드 매크로블록의 수(Skip) 인트라 모드 매크로블록의 수 (Intra) 움직임 벡터 전력의 평균값 (MV_PWR) 4분할된 매크로블록의 수 (4MV)
실험예1 Container 43.575 0.707 -0.480 0.151 N/A -0.214 -0.034
실험예2 Crew 36.550 0.489 -0.625 0.481 -0.108 -0.224 0.443
실험예3 Foremen 34.379 2.099 -0.254 0.131 0.097 0.312 0.709
실험예4 Harbor 27.794 1.948 -0.680 0.087 -0.154 -0.269 0.273
실험예5 Mobile 32.068 0.726 -0.776 0.159 N/A 0.307 0.564
실험예6 Soccer 28.279 1.118 -0.788 0.134 -0.041 -0.062 0.407
실험예7 Stefan 24.385 1.536 -0.905 0.200 0.002 0.230 -0.838
이와 같이, 영상 프레임의 비트스트림의 바이트 크기(Size)가 클수록 PSNR이 높은값을 나타내고, 영상 프레임에 포함된 4분할된 매크로블록의 수(4MV)가 많을수록 PSNR이 높은값을 나타내고, 영상 프레임에 포함된 스킵모드의 매크로블록의 수(Skip)가 적을수록 PSNR이 높은 값을 나타냄을 확인할 수 있다. 이와 같은 결과에 기초하여, 신호대 잡음비(PSNR)와 영상화질 예측정보의 상관관계를 수학식 4와 같이 설정할 수 있으며, 이를 이용하여 신호대 잡음비와 영상화질 예측정보의 상관관계를 다양한 방법으로 표준화 할 수 있다.
Figure 112007091554667-PAT00008
전술한 바와 같은 동영상 복호화 방법 및 장치에 따르면, 부호기로부터 생성되어 전송되는 화질의 수준정보(예컨대, PSNR)없이 부호화된 비트스트림 포맷의 영상 데이터를 이용하여 복호기에서 영상 데이터의 화질을 추정할 수 있다. 또한, 추정한 영상 데이터의 화질에 대응하여 영상 데이터를 보정함으로써, 높은 품질의 동 영상을 출력할 수 있다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 본 발명의 일 실시예에 따른 동영상 복호화 장치의 블록 구성도
도 2는 본 발명의 일 실시예에 따른 동영상 복호화 장치에 의해 복호화된 영상 프레임의 일 예시도
도 3은 본 발명의 일 실시예에 따른 동영상 복호화 장치에 구비된 화질 향상 필터를 통해 개선된 최대전력 신호대 잡음비의 일 예시도
도 4는 본 발명의 일 실시예에 따른 동영상 복호화 방법의 순서를 도시한 흐름도

Claims (10)

  1. 비트스트림의 대역폭을 정해진 범위로 유지하기 위한 비트변화제어기법을 적용하여 부호화된 동영상 데이터의 복호화를 수행하는 방법에 있어서,
    부호화된 상기 동영상 데이터를 복호화하는 과정과,
    복호된 영상 프레임의 비트스트림 크기, 영상 프레임에 포함된 분할 매크로블록의 개수 및 스킵 모드 매크로블록의 개수를 포함하는 영상화질 예측정보를 획득하는 과정과,
    획득된 상기 영상화질 예측정보와 신호대 잡음비의 상관관계를 기반으로 상기 동영상 데이터의 화질을 확인하는 과정과,
    상기 과정에서 확인된 상기 화질을 고려하여, 미리 정해진 수준보다 상대적으로 낮은 수준의 화질에 대해 화질 향상 알고리즘을 적용하여 출력하는 과정을 포함함을 특징으로 하는 동영상 복호화 방법.
  2. 제1항에 있어서, 상기 신호대 잡음비는 최대전력 신호대 잡음비(PSNR; Peek Sigal to Noise Ratio)인 것을 특징으로 하는 동영상 복호화 방법.
  3. 제1항에 있어서, 상기 영상화질 예측정보와 신호대 잡음비의 상관관계는 하기의 수학식이 지시하는 관계인 것을 특징으로 하는 동영상 복호화 방법.
    <수학식>
    Figure 112007091554667-PAT00009
    여기서, α, β 및 γ는 가중치이고, f(x)는 표준화 함수로서,
    Figure 112007091554667-PAT00010
    임. X는 목표값이며 μ는 누적 평균값임.
  4. 제1항에 있어서, 상기 동영상 데이터의 화질을 확인하는 과정은 신호대 잡음비의 감소 정도를 연산하는 과정임을 특징으로 하는 동영상 복호화 방법.
  5. 제1항에 있어서, 화질 향상 알고리즘은 최대전력 신호대 잡음비(PSNR)를 향상 시키는 알고리즘인 것을 특징으로 하는 동영상 복호화 방법.
  6. 비트스트림의 대역폭을 정해진 범위로 유지하기 위한 비트변화제어기법을 적용하여 부호화된 동영상 데이터의 복호화를 수행하는 장치에 있어서,
    부호화된 상기 동영상 데이터를 복호화하는 복호화부와,
    상기 복호화부로부터 복호된 영상 프레임의 비트스트림 크기, 영상 프레임에 포함된 분할 매크로블록의 개수 및 스킵 모드 매크로블록의 개수를 포함하는 영상화질 예측정보를 획득하고, 획득된 상기 영상화질 예측정보와 신호대 잡음비의 상관관계를 기반으로 상기 동영상 데이터의 화질을 측정하는 화질 수준 검출부와,
    상기 복호화부로부터 출력된 데이터의 화질을 향상시키는 화질 향상 필터와,
    상기 화질 수준 검출부로부터 출력된 화질 수준을 확인하여 상기 동영상 데이터를 선택적으로 화질 향상 필터로 입력하거나 직접 외부로 출력하는 선택스위치를 포함함을 특징으로 하는 동영상 복호화 장치.
  7. 제6항에 있어서, 상기 신호대 잡음비는 최대전력 신호대 잡음비(PSNR; Peek Sigal to Noise Ratio)인 것을 특징으로 하는 동영상 복호화 장치.
  8. 제6항에 있어서, 상기 영상화질 예측정보와 신호대 잡음비의 상관관계는 하기의 수학식이 지시하는 관계인 것을 특징으로 하는 동영상 복호화 장치.
    <수학식>
    Figure 112007091554667-PAT00011
    여기서, α, β 및 γ는 가중치이고, f(x)는 표준화 함수로서,
    Figure 112007091554667-PAT00012
    임. X는 목표값이며 μ는 누적 평균값임.
  9. 제6항에 있어서, 상기 화질 수준 검출부는 상기 영상화질 예측정보를 이용하여 추정한 신호대 잡음비의 감소 정도를 연산하여 상기 동영상 데이터의 화질을 확인하는 것을 특징으로 하는 동영상 복호화 장치.
  10. 제9항에 있어서, 상기 화질 향상 필터는 노이즈 리덕션 필터인 것을 특징으 로 하는 동영상 복호화 장치.
KR1020070134331A 2007-12-20 2007-12-20 잡음을 고려하여 영상을 복호화하는 방법 및 장치 Expired - Fee Related KR101439484B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070134331A KR101439484B1 (ko) 2007-12-20 2007-12-20 잡음을 고려하여 영상을 복호화하는 방법 및 장치
US12/340,826 US8265165B2 (en) 2007-12-20 2008-12-22 Method and apparatus for video decoding to improve picture quality based on picture quality estimation, in the presence of noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070134331A KR101439484B1 (ko) 2007-12-20 2007-12-20 잡음을 고려하여 영상을 복호화하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090066672A true KR20090066672A (ko) 2009-06-24
KR101439484B1 KR101439484B1 (ko) 2014-09-16

Family

ID=40788601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070134331A Expired - Fee Related KR101439484B1 (ko) 2007-12-20 2007-12-20 잡음을 고려하여 영상을 복호화하는 방법 및 장치

Country Status (2)

Country Link
US (1) US8265165B2 (ko)
KR (1) KR101439484B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114747214A (zh) * 2019-10-21 2022-07-12 弗劳恩霍夫应用研究促进协会 针对视频编码数据的加权psnr质量度量

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US10165286B2 (en) * 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US10033779B2 (en) 2009-07-08 2018-07-24 Dejero Labs Inc. Multipath data streaming over multiple wireless networks
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US20140267919A1 (en) * 2013-03-15 2014-09-18 Quanta Computer, Inc. Modifying a digital video signal to mask biological information
GB2529446A (en) * 2014-07-17 2016-02-24 British Academy Of Film And Television Arts The Measurement of video quality
CN104244004B (zh) * 2014-09-30 2017-10-10 华为技术有限公司 低功耗编码方法及装置
US10084509B2 (en) 2015-12-01 2018-09-25 Hughes Network Systems, Llc Flexible redundancy using RF switch matrix
CN105898565A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 一种视频处理方法及设备
WO2018084970A1 (en) * 2016-11-04 2018-05-11 Google Llc Restoration in video coding using filtering and subspace projection
KR102851376B1 (ko) * 2016-11-11 2025-08-26 삼성전자주식회사 계층 구조를 구성하는 프레임들에 대한 인코딩을 수행하는 비디오 처리 장치
US11178204B1 (en) * 2017-02-23 2021-11-16 Cox Communications, Inc. Video processor to enhance color space and/or bit-depth
CN112738527A (zh) * 2020-12-29 2021-04-30 深圳市天视通视觉有限公司 一种视频解码检测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810083B2 (en) * 2001-11-16 2004-10-26 Koninklijke Philips Electronics N.V. Method and system for estimating objective quality of compressed video data
US7092448B2 (en) * 2002-05-24 2006-08-15 Koninklijke Philips Electronics N.V. Method and system for estimating no-reference objective quality of video data
GB0228556D0 (en) 2002-12-06 2003-01-15 British Telecomm Video quality measurement
KR101015253B1 (ko) * 2004-12-29 2011-02-18 주식회사 케이티 압축/복원된 영상에 대한 주관적 화질 평가 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114747214A (zh) * 2019-10-21 2022-07-12 弗劳恩霍夫应用研究促进协会 针对视频编码数据的加权psnr质量度量

Also Published As

Publication number Publication date
KR101439484B1 (ko) 2014-09-16
US20090161768A1 (en) 2009-06-25
US8265165B2 (en) 2012-09-11

Similar Documents

Publication Publication Date Title
KR101439484B1 (ko) 잡음을 고려하여 영상을 복호화하는 방법 및 장치
US20200336743A1 (en) Image decoding device, image encoding device, and method thereof
EP2160903B1 (en) A buffer-based rate control exploiting frame complexity, buffer level and position of intra frames in video coding
US9819952B2 (en) Methods and apparatus for embedded quantization parameter adjustment in video encoding and decoding
US7933328B2 (en) Rate control for digital video compression processing
US9706203B2 (en) Low latency video encoder
US9317933B2 (en) Image processing device and method
KR101056096B1 (ko) 압축 및 압축복원 비디오 비트스트림 모두에 대한 움직임 보상 프레임 레이트 상향 변환을 위한 방법 및 시스템
KR101960006B1 (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
US8374236B2 (en) Method and apparatus for improving the average image refresh rate in a compressed video bitstream
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
US8891892B2 (en) Image encoding method using adaptive preprocessing scheme
US10475313B2 (en) Image processing system and image decoding apparatus
US20100183070A1 (en) Method and apparatus for improved video encoding using region of interest (roi) information
JP2013524740A (ja) ビデオ符号化におけるレート制御
US6990146B2 (en) Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US8179961B2 (en) Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
US20070076803A1 (en) Dynamic pre-filter control with subjective noise detector for video compression
US20030031377A1 (en) Apparatus and method for removing block artifacts, and displaying device having the same apparatus
KR101996775B1 (ko) 영상 전환 장치를 구비한 부호화 장치 및 영상 전환 검지 방법을 포함하는 부호화 방법
US20160212420A1 (en) Method for coding a sequence of digital images
JP3970267B2 (ja) 動画像符号化装置および動画像符号化方法
CN119420922B (zh) 视频编码方法及装置
US20070031050A1 (en) Method and apparatus for bit rate control for image encoding
KR100842545B1 (ko) 조도값을 이용한 가중요소 결정 방법 및 이를 위한 이동통신 단말기

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20190903

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20190903