[go: up one dir, main page]

KR20060131699A - 영상 데이터 처리방법 - Google Patents

영상 데이터 처리방법 Download PDF

Info

Publication number
KR20060131699A
KR20060131699A KR1020060106398A KR20060106398A KR20060131699A KR 20060131699 A KR20060131699 A KR 20060131699A KR 1020060106398 A KR1020060106398 A KR 1020060106398A KR 20060106398 A KR20060106398 A KR 20060106398A KR 20060131699 A KR20060131699 A KR 20060131699A
Authority
KR
South Korea
Prior art keywords
quantizer
region
regions
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020060106398A
Other languages
English (en)
Inventor
크리쉬나므르티 라비
세투라남 스리람
Original Assignee
엘지전자 주식회사
사노프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 사노프 코포레이션 filed Critical 엘지전자 주식회사
Publication of KR20060131699A publication Critical patent/KR20060131699A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

영상은 중요한 영역(예를 들면, 전경)과 상대적으로 가장 덜 중요한 영역(예를 들면, 배경) 사이로 한정되는 천이 영역을 가진 하나 이상의 중요 영역으로 분리된다. 개별 영역은 선택된 각각의 양자화 레벨을 사용하여 인코딩되고, 여기서 양자화기 값(quantizer value)이 다른 영역간에 달라질 수 있다. 일반적으로, 타깃 비트 할당량을 충족시킴과 동시에 화질을 최적화하려면 중요 영역에 할당된 양자화기는 그에 대응하는 천이 영역에 할당된 양자화기보다 더 낮으며, 천이 영역 양자화기는 또한 그 자체로 배경 영역에 할당된 양자화기보다 낮다. 본 발명은 프레임의 특정 비트 타깃을 만족시키기에 필요한 만큼 양자화기 값을 조정하기 위해 반복적으로 실행될 수 있다. 또한 본 발명은, 실시간으로 더욱 쉽게 실행될 수 있는 비 반복적 구성을 사용하여 실행될 수 있다. 본 발명은 프레임의 품질에서 공간적 및 시간적 평활(smoothness)을 확보하면서, 프레임 레벨 비트 타깃을 일치시키는 비디오 압축 알고리즘을 가능하게 함으로써 재생 도중 시각적 인지도를 향상시킬 수 있다.
프레임, 전겅, 배경, 비트 할당량

Description

영상 데이터 처리방법{method for processing image data}
도 1은 본 발명을 사용하여 인코딩될 수 있는 일반적인 영상의 일 예를 보여주는 도면
도 2는 도 1과 같은 영상을 본 발명의 일 실시예에 따라 실행되는 영상처리 흐름도
본 발명은 영상 처리 방법 및 컴퓨터 판독 가능한 매체 영상 데이터 처리 방법에 관한 것으로, 특히 비디오 압축 방법에 관한 것이다.
본 출원은 변리사 등록 번호 SAR 12728PROV로서 1998년 9월 18일에 출원된 미국 가출원번호 60/100,939의 출원일자에 대한 권리를 주장한다.
비디오 압축 처리의 목적은 비디오 영상 시퀀스(sequence)를 나타내기 위하여 사용되는 비트의 수를 줄임과 동시에 디코딩된 비디오 시퀀스의 품질을 적절히 유지하기 위하여 영상 데이터를 인코딩하는 것이다. 이러한 목적은 일반 기존 전화 서비스(POTS: plain old telephone service) 또는 종합 정보통신망(ISDN: integrated services digital network)회선 등을 통한 비디오폰 또는 화상 회의와 같이 한정 전송 대역폭이 존재하여 비디오 시퀀스의 개별 영상을 인코딩하기 위하여 사용되는 비트의 수인 비트 속도(bit rate)에 대한 세심한 제어가 요구되는 특정 적용분야에서 특히 중요하다. 또한, 화상회의 시스템에서의 전송 및 다른 처리 조건을 충족시키기 위하여, 때때로 인코딩된 비디오 비트스트림에서 상대적으로 안정된 비트의 흐름을 가지는 것이 바람직하다.
비교적 일정한 비트 속도를 달성하는 것은 매우 어려운 일일 수 있으며, 특히 다른 압축 기술을 사용하여 비디오 시퀀스 내의 서로 다른 영상을 인코딩하는 비디오 압축 알고리즘에 있어서는 더욱 그러하다. 비디오 압축 알고리즘에 따라, 영상은 압축 처리를 위한 다음과 같은 프레임 형태로 나타내어질 수 있다.
o 프레임내 압축 기술만을 사용하여 인코딩되는 인트라(I)프레임;
o 이전 I 또는 P 프레임에 근거한 프레임간 압축 기술을 사용하여 인코딩되며, 그 자체로서 하나 이상의 다른 프레임을 인코딩하는 프레임으로서 사용될 수 있는 예측(P)프레임;
o 이전 및 후속 I 또는 P 프레임에 근거한 양방향 프레임간 압축 기술을 사용하여 인코딩되며, 다른 프레임 인코딩에는 사용될 수 없는 양방향(B)프레임; 및
o 단일 프레임으로서 인코딩되는(H.263 비디오 압축 알고리즘에서와 같이)두 개의 영상(P 프레임과, P 프레임과 이전 I/P프레임 사이의 B 프레임)에 해당하는 PB 프레임.
인코딩될 실제 영상 데이터에 따라, 이러한 서로 다른 프레임 형태들을 인코딩할 때는 통상적으로 다른 비트수가 요구된다. 예를 들어, I 프레임은 통상 가장 많은 비트수가 필요한 반면, B 프레임에는 가장 적은 비트수가 필요하다.
통상적인 변환을 근거로 한(transform-based) 비디오 압축 알고리즘에서, 이산 코사인 변환(DCT)과 같은 구획을 근거로 한(block-based) 변환은 픽셀값 또는, 예를 들면 움직임이 보상된 프레임간 차별화 구성에 근거하여 발생된 픽셀 오차에 해당하는 영상 데이터 구획에 적용된다. 그 결과인 개별 구획의 변환 계수는 후속 인코딩(예를 들면, 가변-길이(variable-length) 인코딩에 뒤따르는 런-길이(run-length) 인코딩)을 위해 양자화된다. 변환 계수의 양자화 정도는 영상 데이터를 나타내기 위하여 사용되는 비트 수 및 그 결과로서 디코딩된 영상의 품질에 모두 직접적인 영향을 미친다. 이 양자화 정도는 또한, 변환 계수를 양자화하는 데 사용되는 특정 양자화기 값으로 표시되는 양자화 레벨(quantization level)로 언급되기도 한다. 일반적으로, 더 높은 양자화 레벨은 비트 수가 더 적고 품질이 낮음을 의미한다. 이처럼, 양자는 비트 속도와 영상의 품질간의 교환(tradeoff)을 제어하는 1차 변수로서 사용된다.
비디오의 시각적 품질은 포괄적 지수(픽셀 시그널 대 잡음비(PSNR)과 같은)뿐만 아니라 오류가 공간과 시간 속에서 어떤 방식으로 분포되는가에 따라 달라진다. 그러므로, 픽처를 가로질러 양자화기의 평활(국부 왜곡(local distortion)과 밀접하게 연관되는)을 유지하는 것이 중요하다. 사실, 많은 장면에서 이상적 양자화 선택은 장면을 가로지르는 균일값(uniform value)이다. 그러나, 그러한 구성은 비트가 덜 중요한 영역에서 중요한 영역으로 움직이는 것을 지지하지 못하며 특히, 픽처를 인코딩하는 데 사용되는 비트에 대하여 거의 제어력을 발휘하지 못한다. 그러므로, 상기 구성은 일정한(또는 거의 일정한)비트 속도 적용(POTS 또는 ISDN에 의한 비디오폰이나 화상 회의에서와 같은)에는 사용될 수 없다.
다른 가능성은 사용 중인 코딩 표준(예를 들면, H.263에서 양자화기 레벨은 양방향 최대 2까지 변화할 수 있다)의 구속 내에서 거대구획간 양자화기를 다양화하는 것이다. 그러한 구성의 예는 H.263 + TMN8(Test Model Near-Term 8) 및 TMN 9 문서(예를 들면, ITU - Telecommunications Standardization Sector 의 1997 12월 문서 Q15-C-15 "Video Codec Test Model, Near-Term, Version 9(TMN 9)" 참조)에서 제시된다. 이러한 구성들에서, 프레임 레벨 비트 타깃이 정확하게 충족될 수 있지만, 바람직하지 않은 결과물인 동영상으로 불필요하게 나타나는 공간적이며 동시에 시간적인 큰 양자화 변화가 많이 존재한다.
본 발명의 목적은 양자화기의 공간 및 시간적 평활을 유지하면서, 프레임 레벨 속도 제어와 양자화기가 중요 영역을 반영하도록 적응시킬 수 있는 영상 데이터 처리 방법 및 컴퓨터 판독 가능한 매체 영상 데이터 처리 방법에 관한 것이다.
상술한 바와 같이, H.263과 같은 몇몇 비디오 알고리즘은, 수평으로 인접한 거대 구획간의 양자화 레벨 변화(예를 들어, 최대 +/-2 레벨의 변화)의 크기를 제한하기는 하지만 양자화기가 프레임 내 거대 블록간에서 다양하게 변화되도록 한다. 한정된 대역폭을 갖는 적용에서, 프레임 내 양자화 레벨을 변화시키는 이러한 능력은 비디오 압축 처리로 하여금 프레임의 다른 영역을 다르게 인코딩하는데 필 요한 사용 가능한 수의 비트를 적절히 할당할 수 있도록 한다. 즉, 특정 중요영역(ROI)에 더 많은 비트(즉, 낮은 양자화 레벨)를 할당하는 것이다. 예를 들면, 비교적 일정한 배경과 그 가운데에 위치하는 화자의 머리로 구성되는 전경이 있는 통상적인 비디오폰이나 화상 회의 패러다임에서는, 비디오의 품질을 최적화하면서 동시에 비트 속도 요구조건을 충족시키기 위하여 덜 중요한 배경에보다는 전경 ROI에 더 낮은 양자화 레벨을 할당하는 것이 유리할 것이다.
본 발명은 하나 이상의 중요 영역을 가지고 있는 프레임을 인코딩하는 데 사용되는 양자화기를 선택하는 구성에 관한 것이다. 일 실시예에 따르면, 본 발명의 영상 데이터 처리 방법은 (a) 영상에서 중요 영역에 해당하는 하나 이상의 영상 데이터 세트(set)를 지정하는 단계와; (b) 영상에서 중요 영역과 가장 덜 중요한 영역 사이에 위치하는 영상 내 천이 영역에 해당하는 하나 이상의 영상 데이터 세트를 지정하는 단계와; (c) 중요 영역 내 개별 영상 데이터 세트에 대한 제 1 양자화 레벨을 선택하는 단계와; (d) 천이 영역 내 개별 영상 데이터 세트에 대한 제 2 양자화 레벨을 선택하는 단계와; (e) 가장 덜 중요한 영역 내 개별 영상 데이터 세트에 대한 제 3 양자화 레벨을 선택하는 단계와; (f) 선택된 제 1, 제 2 및 제 3 양자화 레벨에 근거하여 영상을 인코딩하는 과정을 포함한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
상기와 같은 특징을 갖는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명을 사용하여 인코딩될 수 있는 통상적 영상(100)의 예를 보여준다. 도 1의 영상은 배경 형상(104)의 정면에 위치하고 있는 사람(102)의 머리와 어깨로 이루어져 있는데, 여기에서 사람(102)의 머리에 해당하는 영상 데이터는 배경 형상보다 시간 내에(즉, 프레임에서 프레임간)더욱 다양하게 나타난다. 이러한 장면은 비디오폰과 화상 회의 적용에서 통상적으로 나타난다. 일반적으로, 재생 중에, 전경에 있는 사람은 영상(100)을 보는 사람들에게 있어서 배경 형상보다 더 중요하다. 본 발명에 따르면, 비트 속도가 한정되어 있을 때 영상(100)은 인코딩되어, 재생 중에, 더욱 중요한 전경 형상의 화질이 덜 중요한 배경 형상의 화질보다 더 커지게 된다. 영상 내의 재생 화질에 있어서 이러한 변화는, 비디오 압축 처리 중에 사용되는 양자화기가 영상(100)의 거대 구획이 영상 내에서 변화하도록 인코딩하는 것을 허용함으로써 달성된다. 본 발명에 따르면, 양자화기의 선택은 다음에 설명된 특정 구성을 따른다.
도 1에서 도시된 바와 같이, 영상(100)은 세 개의 다른 영역, 즉 사람(102)의 머리에 해당하는 거대 구획으로 이루어지는 전경 영역(106)(중요 영역(ROI)으로 언급됨)과, 배경 형상(104)(사람(102)의 어깨를 포함하는)에 해당하는 거대 구획으로 이루어지는 배경 영역(108)(가장 덜 중요한 영역으로 언급됨), 그리고 전경 영역과 배경 영역 사이에 위치하는 거대 구획으로 이루어지는 천이 영역(110)으로 구분된다. 본 발명에 따르면, 전경 영역(106)에 해당하는 모든 거대 구획들은 동일 양자화기 QP2를 사용하여 인코딩되고, 배경 영역(108)에 해당하는 모든 거대 구획들은 동일 양자화기 QP0를 사용하여 인코딩되고, 천이 영역(110)에 해당하는 모든 거대 구획들은 동일 양자화기 QP1을 사용하여 인코딩되는데, 여기서, 통상 QP0>=QP1>=QP2이다.
도 2는 도 1의 영상(100)과 같은 영상을 위한 본 발명의 일 실시예에 따라 실행되는 영상 처리의 흐름도를 보여준다. 본 발명은 움직임 추정, 움직임이 보상된 프레임간 차별화, 변환 적용, 양자화, 런 길이 인코딩 및 가변 길이 인코딩 등과 같은 다양한 종래의 영상 처리 루틴을 전체적 비디오 압축 알고리즘의 한 부분으로서 수행하는 비디오 처리 장치에 의해 일반적으로 실행된다. 이 모든 처리가 도 2에 다 도시된 것은 아니며, 도 2는 적절한 비트 속도 구성에 의거한 현재 영상의 비트 타깃(즉, 현재 영상을 인코딩하기 위해 사용되는 적절한 비트의 수)의 선택에서부터 시작한다(단계 202).
*비트 타깃의 선택 후에, 하나 이상의 중요 영역(예를 들어, 도 1의 영상(100)에서 사람(102)의 머리에 해당하는 전경 영역(106)부분)에 해당하는 거대 구획을 나타내기 위해 영상이 분석된다(단계 204). 이 단계(204)의 분석은 분할 분석(segmentation analysis)으로 언급되는데, 본 발명의 목적을 위해 자동 구성 및 사용자(예를 들어, 인코더나 디코더 중 하나에 위치한 화상 회의의 참가자)에 의하여 중요 영역이 명확히 표시되는 상호 구성 등을 포함하는 적절한 구성을 사용하여 실행될 수 있다.
중요 영역이 지정된 후에는, 하나 이상의 천이 영역에 해당하는 거대 구획들이 지정된다(단계 206). 일 실시예에서, 이 거대 구획은 상기 단계(204)에서 지정 된 중요 영역의 한 부분인 거대 구획의 적어도 한 면에 인접하고 있다면 천이 영역의 한 부분인 것으로 정의된다. 영상 내의 나머지 거대 구획들은 가장 덜 중요한 배경 영역의 부분인 것으로 간주된다.
도 1의 영상(100)의 예에서는 중요 영역(106), 그에 해당하는 천이 영역(110), 그리고 배경 영역(106)이 단 하나씩만 존재한다. 천이 영역이 반드시 단일의 인접 거대 구획 세트에 의해 정의될 필요는 없다는 것이 주목된다. 이는 배경 영역에서도 마찬가지이다. 특정 영상 및 적용에 따라, 영상은 둘 이상의 다른 중요 영역 및 그에 해당하는 둘 이상의 다른 천이 영역을 가질 수 있다.
다른 영역에 해당하는 거대 구획이 지정된 후에는, 각 영역에 대한 초기의 양자화 레벨이 선택된다(단계 208). 본 발명에 따르면, 개별 영역의 거대 구획들은 단일의 균일한 양자화 레벨을 사용하여 인코딩되는데, 여기에서 다른 영역에 대한양자화 레벨은 달라질 수 있다. 일반적으로, 둘 이상의 중요 영역 및/또는 천이 영역이 있을 때, 양자화 레벨은 각각의 특정 영역 내에서 일정하게 유지되는 한 다른 중요 영역 및/또는 천이 영역 사이에서 달라진다. 예를 들어, 제 1 중요 영역은 제 2 중요 영역보다 더 중요할 것이다. 이러한 경우, 제 2 중요 영역보다 제 1 중요 영역에 더 낮은 양자화기를 할당하는 것이 바람직할 것이다. 어떠한 경우에라도, 각 중요 지역은 자신의 달라질 수 있는 양자화기를 사용하여 인코딩된 해당하는 천이 영역을 가진다.
일 실시예에서, 초기 양자화 레벨은 비디오 시퀀스 내의 이전 인코딩 영상과 연관된 정보에 의거하여 선택된다. 이러한 초기 양자화기 선택은 현재의 비트 타 깃 및 현재 움직임이 보상된 왜곡과 이전 프레임의 비트 타깃 및 움직임이 보상된 왜곡의 비교는 물론, 이전 프레임의 실제 양자화기 할당과 비트 소비량에 기반할 수 있다. 예를 들어, 이전 프레임의 비트 소비량이 이전 비트 타깃보다 높았거나, 또는 현재 비트 타깃이 이전 비트 타깃보다 낮거나, 또는 현재 왜곡이 이전 왜곡보다 높다면 이전 양자화기 할당은 현재 프레임의 초기 선택을 위해 증가되어질 필요가 있다.
영역 사이의 갑작스런 품질 변화를 피하기 위하여, 천이 영역을 인코딩하기 위하여 사용된 양자화기는 해당하는 중요 전경 영역 및 가장 덜 중요한 배경 영역 모두를 인코딩하기 위하여 사용되는 양자화기와 적절히 가까워지는 것이 바람직하다. H. 263 구조에 따르는 것과 같은 몇몇 비디오 압축 알고리즘에서 수평으로 인접한 양자화기간의 차이는 이미 제약을 받는다(예를 들어, 결코 2를 넘지 않는다). 또한, 양자화기가 실제로 전경에서 천이 영역으로, 그리고 천이 영역에서 배경으로 증가함으로 인하여 중요 영역의 품질이 다른 영역의 품질과 비교했을 때 최적화될 수 있도록 하는 것이 바람직하다. 천이 영역이 종종 중요 영역(예를 들면, 화자의 머리와 같은)을 에워싸는 인공물 및 교합(occlusion)을 포함하며, 여기에서 보다 낮은 양자화기(나머지 최소 중요 영역과 비교하였을 때)를 사용함으로써 비디오/영상의 전체적인 시각적 품질을 향상시키는 것을 기대할 수 있다는 것이 주목된다.
다양한 영역의 초기 양자화 레벨이 선택된 후, 영상은 그러한 양자화기를 사용하여 인코딩된다(단계 210). 그리고 나서, 영상을 인코딩하기 위하여 사용된 비트수는 비트 타깃과 비교된다(단계 212). 사용된 비트수가 비트 타깃에 충분히 가 까울 경우(예를 들어, 특정 오차 한도 내에서), 처리 과정은 종결된다. 그렇지 않을 경우, 만약 사용된 비트수가 비트 타깃보다 너무 적거나 너무 많을 경우, 그때는 하나 이상의 양자화가 적절히 조정되고(단계 214) 처리 과정은 다시 상기 단계(210)로 복귀하여 조정된 양자화기를 사용하여 영상을 재 인코딩한다. 상기 단계들(210-214)은 비트 타깃이 충분히 충족될 때까지 반복적으로 되풀이된다.
만약, 사용된 비트수가 비트 타깃에 비하여 너무 적을 때는, 중요 영역에서 선택된 양자화 레벨(도 1의 QP2)은 바람직하게 맨 처음 감소된다. 수평으로 인접한 거대 구획들 사이의 양자화 레벨 변화의 범위와 관련된 전체 비디오 압축 알고리즘에 의해 적용된 제약들과 다른 영역들의 양자화기 간에 존재하는 차이에 따라, 천이 영역에 할당된 양자화기(QP1) 역시 감소시킬 필요가 있을 수 있으며 순차적으로 배경 영역에 할당된 양자화기(QP0)도 감소시키는 것이 필요하다. 예를 들어, 초기에 QP2=10, QP1=12, 그리고 QP0=13이며, 양자화기 변화 허용 최대치가 2라고 가정한다. 또한 이 양자화기들에 의거하여 영상을 인코딩하기 위해 사용되는 비트수가 너무 낮다고 가정한다. 할당된 비트 타깃에 대한 화질을 최적화하려면, QP2를 9로 낮추는 것이 바람직하다. 그 결과 이러한 변화는 거대 구획들 간의 양자화기 변화 허용 최대치 2를 벗어나는 것을 방지하기 위해 QP1을 11로 낮추어야 하는 필요성이 발생한다. 이러한 상황에서, QP0은 변화될 필요가 없다. 하지만, 비트수가 여전히 너무 낮다면, 세 양자화기는 다음 반복 시기에 모두 감소되어야 한다.
이와 유사하게, 사용된 비트수가 비트 타깃에 비하여 너무 클 때는, 배경 영역에서 선택된 양자화 레벨(QP0)은 바람직하게 맨 처음 증가된다. 여기서도 마찬 가지로 상황에 의거하여, 이 QP0 증가의 결과 천이 영역에 할당된 양자화기(QP1)를 증가시켜야 할 필요성이 발생하고, 순차적으로 중요 전경 영역에 할당된 양자화기(QP2) 역시 증가시킬 수 있다.
일반적으로, 너무 적은 수의 비트가 사용될 때는 먼저 중요 전경 영역에 비트를 추가하는 것이 바람직하며, 너무 많은 수의 비트가 사용될 때는 먼저 가장 덜 중요한 배경 영역에서 비트를 제거하는 것이 바람직하다. 저 활동 장면에서, 본 발명의 양자화기 선택 알고리즘은 프레임의 비트 타깃을 충분히 맞추지 못할 수 있다. 많은 경우, 특히 저 활동 상황의 경우 프레임 속도는 크게 중요하지 않을 수 있다. 그런 경우, 변화량은 프레임 레벨 비트 소비량 내에서 허용되며, 채널 요구량에의 일치는 순간적인 프레임 속도를 변화시킴으로써 달성될 수 있다.
본 발명은 지금까지 프레임 레벨 비트 타깃을 충족시키고 프레임의 품질에서 공간적 및 시간적 평활을 확보하면서 영상의 다른 영역에 다른 양자화기 단계 크기를 할당하는 멀티패스 인코딩 전략의 관점에서 설명되었다. 이 결과 시각적 품질이 향상된다. 그러나, 그 구조가 계산 집약적이므로 이것은 실시간 적용에는 사용되지 못할 수 있다.
본 발명은 또한 다른 양자화 파라미터에서의 속도 왜곡곡선 모델링에 근거한 실시간 '의사 멀티패스(pseudo-multi-pass)'구조로 실행될 수 있다. 이 구조에 따르면, 거대 구획을 인코딩하기 위하여 요구되는 비트수는 다음과 같은 방정식에 의거하여 모델링된다.
R_q=(X_q * S ^ (1 + Q/Q_d))/Q
여기서, R_q는 양자화 파라미터 Q를 사용하여 거대 구획을 코드화하는 데 요구되는 비트의 수이고, X_q는 Q에서의 모델 상수이며, S는 거대 구획의 왜곡이고, Q_d는 승수 S의 모델 계수이다.
I 프레임과 뒤따르는 P 프레임 사이의 큰 스킵은 모델을 초기화하기 위하여 사용된다. P 프레임은 이 간격에서 Q의 모든 가능한 값에서 거대 구획을 인코딩함으로써 초기 모델 파라미터를 계산하기 위하여 사용된다(그러나 코딩되지는 않는다). 이 모델은 시퀀스가 코딩됨에 따라 지속적으로 갱신된다. 이러한 경우, 모델은 장면 내용에 아주 잘 부합된다.
프레임 인코딩이 시작되었을 때, 프레임 레벨 속도 제어는 프레임 레벨 비트 타깃을 제공한다. 상기 속도 왜곡 모델에 근거하여, 다른 영역들에 대한 양자화 파라미터가 선택된다. 중요 영역은 QP-2의 양자화기를 부여받고, 천이 영역은 QP, 그리고 배경 영역은 (QP+2)의 양자화기를 부여받는다. 이것은 양자화기 파라미터의 근접 송신도(near-transmittability)(DQUANTs)를 확보한다. 프레임 레벨 비트 타깃에 가장 근접하는 QP값이 선택된다.
본 발명은, 양자화기의 공간 및 시간적 평활을 유지하면서, 프레임 레벨 속도 제어와 양자화기가 중요 영역을 반영하도록 적응시키는 능력이라는 두 가지 이점을 제공한다. 이러한 경우, 본 발명은 프레임의 품질에 있어서 공간적 및 시간적 평활을 확보하면서 비디오 압축 알고리즘이 프레임 레벨 비트 타깃과 일치되도록 함으로써 재생 과정에서 시각적 인지도가 향상되도록 한다.
비록 본 발명이 비디오폰과 화상 회의의 적용인 화자 머리 패러다임의 관점 에서 기술되었지만, 본 발명은 다른 영역들이 뚜렷하게 인접하는 다른 종류의 구조들에서도 역시 적용 가능하다.
이와 유사하게, 비록 본 발명이 양자화 레벨이 개별 변환 계수를 양자화하기 위하여 사용되는 특정 양자화기 파라미터에 해당하는 실시예의 관점에서 기술되었지만, 본 발명은 양자화 레벨이 각 구획 내의 개별 변환 계수가 자신의 고유한, 다른 양자화기 값을 할당받은 양자화 표에 해당하는 경우와 같은 대안적 실시예에서도 실행될 수 있다.
본 발명은 방법 및 그 방법을 실행하는 장치(apparatuses)의 형태로 실시될 수 있다. 본 발명은 또한, 플로피 디스크, CD-ROM, 하드 드라이브, 여타 기계 판독 가능한 저장 매체와 같은, 유형(tangible)매체들에서 실시되는 프로그램 코드의 형태로 실시될 수 있는데, 그러한 점에서 프로그램 코드가 컴퓨터와 같은 기계에 탑재되어 실행될 때, 그 기계는 본 발명을 실행하는 장치가 되는 것이다. 본 발명은 또한 프로그램 코드의 형태로도 실시될 수 있는데, 예를 들어 저장 매체에 저장되고, 기계에 탑재되어 및/또는 기계에 의해 실행되거나, 또는 전기 전선이나 케이블링을 경유하거나, 광섬유를 통하거나, 또는 전자석의 방사능을 거치거나 하는 것과 같이 전송 매체를 경유하여 전송되며 이때 프로그램 코드가 컴퓨터와 같은 기계에 탑재되고 상기 기계에 의해 실행되어지면 그 기계는 본 발명을 실행하는 장치가 되는 것이다. 일반적인 용도의 처리 장치(general-purpose processor)에서 실행되었을 때, 프로그램 코드 세그먼트(program code segments)는 특정 논리회로(logic circuit)에까지 유사하게 작용하는 특수 장치를 제공하기 위하여 처리 장치와 결합 한다.
이상 본 발명의 본질을 설명하기 위해 기술 및 묘사된 세부 항목, 자료 및 각 부분들의 배열에 있어서의 다양한 변형들은, 다음의 청구항에 나타나 있듯이 본 발명의 원리 및 영역을 벗어남 없이 해당 분야의 전문가들에 의하여 만들어질 수 있다.
상기 내용에 포함되어 있음.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (4)

  1. 부호화된 영상 데이터를 입력받는 단계; 및
    상기 영상 데이터의 픽쳐를 이루는 이미지 블록에 대해 서로 다른 양자화 값을 적용하여, 상기 이미지 블록 각각을 양자화 처리하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 처리방법.
  2. 제 1 항에 있어서, 상기 영상 데이터 처리방법은
    상기 픽쳐를 이루는 이미지 블록 각각을 위한 소정의 영역 특성 정보를 더 포함하는 것을 특징으로 하는 영상 데이터 처리방법.
  3. 제 2 항에 있어서, 상기 소정 영역의 특성정보는
    중요 영역, 천이 영역, 배경 영역 중 적어도 하나를 나타내는 것을 특징으로 하는 영상 데이터 처리방법.
  4. 제 1 항에 있어서, 상기 붓호화된 영상 데이터 입력 단계는
    상기 부호화된 영상 데이터를 일정 속도로 입력받는 것을 특징으로 하는 영상 데이터 처리방법.
KR1020060106398A 1998-09-18 2006-10-31 영상 데이터 처리방법 Ceased KR20060131699A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10093998P 1998-09-18 1998-09-18
US60/100,939 1998-12-15
US09/212,025 1998-12-15
US09/212,025 US6256423B1 (en) 1998-09-18 1998-12-15 Intra-frame quantizer selection for video compression

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019990040210A Division KR20000023278A (ko) 1998-09-18 1999-09-17 비디오 압축을 위한 인트라-프레임 양자화기 선택 방법

Publications (1)

Publication Number Publication Date
KR20060131699A true KR20060131699A (ko) 2006-12-20

Family

ID=26797722

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1019990040210A Ceased KR20000023278A (ko) 1998-09-18 1999-09-17 비디오 압축을 위한 인트라-프레임 양자화기 선택 방법
KR1020060106398A Ceased KR20060131699A (ko) 1998-09-18 2006-10-31 영상 데이터 처리방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1019990040210A Ceased KR20000023278A (ko) 1998-09-18 1999-09-17 비디오 압축을 위한 인트라-프레임 양자화기 선택 방법

Country Status (5)

Country Link
US (1) US6256423B1 (ko)
EP (1) EP1114558A1 (ko)
JP (1) JP2002525989A (ko)
KR (2) KR20000023278A (ko)
WO (1) WO2000018131A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052960A3 (ko) * 2009-10-28 2011-09-01 주식회사 인비전트 실시간 데이터 전송 제어 시스템 및 그 제어 방법

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539124B2 (en) 1999-02-03 2003-03-25 Sarnoff Corporation Quantizer selection based on region complexities derived using a rate distortion model
JP2001223941A (ja) * 1999-12-01 2001-08-17 Ricoh Co Ltd 撮像装置及び撮像方法
US6597736B1 (en) * 2000-03-29 2003-07-22 Cisco Technology, Inc. Throughput enhanced video communication
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
US8290062B1 (en) * 2000-09-27 2012-10-16 Intel Corporation Method and apparatus for manipulating MPEG video
KR20020032862A (ko) * 2000-10-27 2002-05-04 신재섭 동영상 부호화를 이용한 객체기반 멀티미디어 서비스시스템 및 서비스 방법
GB2371434A (en) * 2001-01-19 2002-07-24 Motorola Inc Encoding and transmitting video data
JP2002238060A (ja) * 2001-02-07 2002-08-23 Sony Corp 画像符号化方法、画像符号化装置、プログラムおよび記録媒体
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
JP2002300581A (ja) * 2001-03-29 2002-10-11 Matsushita Electric Ind Co Ltd 映像符号化装置、及び映像符号化プログラム
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US6968006B1 (en) 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
US6970513B1 (en) 2001-06-05 2005-11-29 At&T Corp. System for content adaptive video decoding
US7773670B1 (en) 2001-06-05 2010-08-10 At+T Intellectual Property Ii, L.P. Method of content adaptive video encoding
US6810086B1 (en) * 2001-06-05 2004-10-26 At&T Corp. System and method of filtering noise
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US6895121B2 (en) * 2001-07-03 2005-05-17 Eastman Kodak Company Method for utilizing subject content analysis for producing a compressed bit stream from a digital image
KR100643453B1 (ko) 2001-11-17 2006-11-10 엘지전자 주식회사 오브젝트 기반 비트율 제어방법
KR100643454B1 (ko) * 2001-11-17 2006-11-10 엘지전자 주식회사 영상 데이터 전송 제어방법
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
KR100624404B1 (ko) * 2002-01-05 2006-09-18 삼성전자주식회사 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
KR100528324B1 (ko) * 2002-08-30 2005-11-15 삼성전자주식회사 겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및 복호화 장치 및 방법
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
KR20030085336A (ko) * 2002-04-30 2003-11-05 삼성전자주식회사 사람의 시각적 특성을 고려한 색상 양자화를 통한 영상부호화 및 복호화 방법 및 장치
WO2004004359A1 (en) 2002-07-01 2004-01-08 E G Technology Inc. Efficient compression and transport of video over a network
EP1546994A4 (en) * 2002-07-29 2009-08-12 Qualcomm Inc DIGITAL BILDCODING
KR100488019B1 (ko) * 2002-12-12 2005-05-06 엘지전자 주식회사 이동통신 단말기 및 그 운용방법
KR100508119B1 (ko) * 2003-03-14 2005-08-10 엘지전자 주식회사 영상데이터를 처리하는 장치 및 그 방법
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
CN1655620B (zh) * 2004-02-09 2010-09-22 三洋电机株式会社 图像显示装置
KR101099884B1 (ko) 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
WO2008091483A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US20060062478A1 (en) * 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
US8693537B2 (en) * 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
US7724972B2 (en) * 2005-03-01 2010-05-25 Qualcomm Incorporated Quality metric-biased region-of-interest coding for video telephony
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
US8019175B2 (en) 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
WO2006106030A1 (en) * 2005-04-04 2006-10-12 Thomson Licensing Method for locally adjusting a quantization step
GB2425423A (en) * 2005-04-07 2006-10-25 British Broadcasting Corp Variable quantising for compression encoding
WO2006107280A1 (en) * 2005-04-08 2006-10-12 Agency For Science, Technology And Research Method for encoding a picture, computer program product and encoder
US7974193B2 (en) 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US8345768B1 (en) * 2005-07-28 2013-01-01 Teradici Corporation Progressive block encoding using region analysis
US8379721B2 (en) 2005-09-22 2013-02-19 Qualcomm Incorported Two pass rate control techniques for video coding using a min-max approach
US7876819B2 (en) * 2005-09-22 2011-01-25 Qualcomm Incorporated Two pass rate control techniques for video coding using rate-distortion characteristics
US8019170B2 (en) * 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8208758B2 (en) * 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US7577302B2 (en) * 2005-12-21 2009-08-18 Xerox Corporation Compressed image data enhancement
US20070201388A1 (en) * 2006-01-31 2007-08-30 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8792555B2 (en) * 2006-01-31 2014-07-29 Qualcomm Incorporated Methods and systems for resizing multimedia content
GB2435140B (en) * 2006-02-13 2011-04-06 Snell & Wilcox Ltd Sport action coding
CN101317458B (zh) 2006-03-16 2012-04-18 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8331436B2 (en) * 2006-05-01 2012-12-11 Georgia Tech Research Corporation Expert system and method for elastic encoding of video according to regions of interest
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US7826671B2 (en) * 2006-11-21 2010-11-02 Samsung Electronics Co., Ltd. Method and system for quantization layer reduction in digital image processing
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
US7653130B2 (en) * 2006-12-27 2010-01-26 General Instrument Corporation Method and apparatus for bit rate reduction in video telephony
CA2676023C (en) 2007-01-23 2015-11-17 Euclid Discoveries, Llc Systems and methods for providing personal video services
JP2008193410A (ja) * 2007-02-05 2008-08-21 Matsushita Electric Ind Co Ltd 画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8798148B2 (en) * 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
JP4817260B2 (ja) * 2007-07-18 2011-11-16 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN101102495B (zh) * 2007-07-26 2010-04-07 武汉大学 一种基于区域的视频图像编解码方法和装置
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
RU2518435C2 (ru) 2008-07-20 2014-06-10 Долби Лэборетериз Лайсенсинг Корпорейшн Оптимизация кодера в системах доставки стереоскопического видео
US8570359B2 (en) * 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
KR100930666B1 (ko) * 2008-08-11 2009-12-09 삼성전자주식회사 영상 복호화장치
US8325796B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
CN102170552A (zh) * 2010-02-25 2011-08-31 株式会社理光 一种视频会议系统及其中使用的处理方法
US8356114B2 (en) 2010-04-15 2013-01-15 Canon Kabushiki Kaisha Region of interest-based image transfer
US8755441B2 (en) 2010-05-10 2014-06-17 Canon Kabushiki Kaisha Region of interest-based video transfer
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
JP5727398B2 (ja) * 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US10003802B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US8873872B1 (en) 2012-04-18 2014-10-28 Matrox Graphics Inc. Division of entropy coding in codecs
US10003803B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
KR102088801B1 (ko) 2013-03-07 2020-03-13 삼성전자주식회사 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
US10230950B2 (en) * 2013-05-30 2019-03-12 Intel Corporation Bit-rate control for video coding using object-of-interest data
GB201312382D0 (en) 2013-07-10 2013-08-21 Microsoft Corp Region-of-interest aware video coding
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US20160080743A1 (en) * 2014-09-12 2016-03-17 Tmm, Inc. Systems and methods for subject-oriented compression
US9402054B2 (en) * 2014-12-08 2016-07-26 Blue Jeans Network Provision of video conference services
JP6537396B2 (ja) * 2015-08-03 2019-07-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US10360695B1 (en) 2017-06-01 2019-07-23 Matrox Graphics Inc. Method and an apparatus for enabling ultra-low latency compression of a stream of pictures
US10904528B2 (en) * 2018-09-28 2021-01-26 Tencent America LLC Techniques for QP selection for 360 image and video coding
CN112929668B (zh) * 2021-04-07 2024-04-26 百果园技术(新加坡)有限公司 一种视频编码的方法、装置、设备和存储介质
US11979449B2 (en) * 2021-10-07 2024-05-07 Google Llc QP range specification for external video rate control
CN114531599B (zh) * 2022-04-25 2022-06-21 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种用于医疗图像存储的图像压缩方法
WO2025036098A1 (zh) * 2023-08-17 2025-02-20 北京洛塔信息技术有限公司 一种视频编码处理方法、装置、设备、存储介质及产品

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3854846T2 (de) * 1987-06-25 1996-11-14 Nippon Electric Co Kodierung eines Bildsignals mit Berücksichtigung des Kontrasts in jedem Bild und Dekodierung analog zur Kodierung
JPH0256187A (ja) * 1988-08-22 1990-02-26 Matsushita Electric Ind Co Ltd 動画像符号化装置
US5512939A (en) 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
DE4433819A1 (de) 1994-09-22 1996-03-28 Philips Patentverwaltung Coder zur segmentweisen Codierung eines Eingangssignales
JP3805393B2 (ja) * 1994-11-10 2006-08-02 株式会社東芝 画像符号化装置
JPH08336135A (ja) * 1995-04-07 1996-12-17 Sony Corp 画像圧縮装置及び方法
KR100493854B1 (ko) * 1995-10-26 2005-08-04 주식회사 팬택앤큐리텔 물체중심부호화에서의양자화방법
US5650860A (en) * 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
US5745178A (en) * 1996-01-22 1998-04-28 Lucent Technologies Inc. Global rate control for model-assisted coding of low bit rate video
US5764803A (en) 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
US5969764A (en) * 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052960A3 (ko) * 2009-10-28 2011-09-01 주식회사 인비전트 실시간 데이터 전송 제어 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
WO2000018131A1 (en) 2000-03-30
KR20000023278A (ko) 2000-04-25
EP1114558A1 (en) 2001-07-11
US6256423B1 (en) 2001-07-03
JP2002525989A (ja) 2002-08-13

Similar Documents

Publication Publication Date Title
KR20060131699A (ko) 영상 데이터 처리방법
US6539124B2 (en) Quantizer selection based on region complexities derived using a rate distortion model
Ribas-Corbera et al. Rate control in DCT video coding for low-delay communications
CN1035593C (zh) 采用自适应比特分配和量化的运动视频信号压缩系统
CN101406056B (zh) 减少数字视频编码器中的内预测和模式判决处理中的计算的方法
US8023562B2 (en) Real-time video coding/decoding
US7653129B2 (en) Method and apparatus for providing intra coding frame bit budget
US7095784B2 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
US8031774B2 (en) Video encoding methods and systems with frame-layer rate control
US5974185A (en) Methods and apparatus for encoding video data using motion vectors for decoding by regular or downconverting decoders
US7373004B2 (en) Apparatus for constant quality rate control in video compression and target bit allocator thereof
JP2001510311A (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
KR20060111659A (ko) 디지털 화상 시퀀스를 위한 인코딩 방법, 디코딩 방법 및인코딩 장치
JP3703299B2 (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
CN1199468C (zh) 图像数据压缩
JP2004289796A (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
Song et al. A region-based H. 263+ codec and its rate control for low VBR video
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
KR100624404B1 (ko) 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
US7254176B2 (en) Apparatus for variable bit rate control in video compression and target bit allocator thereof
US7133448B2 (en) Method and apparatus for rate control in moving picture video compression
Nakagawa et al. Dynamic resolution conversion method for low bit rate video transmission
Chen et al. Encoder control enhancement in HEVC based on R-Lambda coefficient distribution
Wu et al. Frame-layer constant-quality rate control of regions of interest for multiple encoders with single video source
Choi et al. Adaptive image quantization using total variation classification

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20061031

Patent event code: PA01071R01D

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20070109

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20080129

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20070109

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I