[go: up one dir, main page]

KR20020064904A - 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더 - Google Patents

파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더 Download PDF

Info

Publication number
KR20020064904A
KR20020064904A KR1020027006488A KR20027006488A KR20020064904A KR 20020064904 A KR20020064904 A KR 20020064904A KR 1020027006488 A KR1020027006488 A KR 1020027006488A KR 20027006488 A KR20027006488 A KR 20027006488A KR 20020064904 A KR20020064904 A KR 20020064904A
Authority
KR
South Korea
Prior art keywords
frame data
bit rate
snr
bandwidth
scalable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020027006488A
Other languages
English (en)
Inventor
미하엘라 반데르샤아르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020064904A publication Critical patent/KR20020064904A/ko
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Peptides Or Proteins (AREA)

Abstract

가변 대역폭 네트워크 상에서 확장 계층 영상 프레임 데이터를 스트리밍하는 방법은, 베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 단계, 상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 단계, 상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기 확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 단계, 상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 단계, 상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 단계, 및 부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 단계를 포함한다.

Description

파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더{PREFERRED TRANSMISSION/STREAMING ORDER OF FINE-GRANULAR SCALABILITY}
본 출원은 2000.9.22에 출원된 U.S. Provisional Application No.60/234,606의 이익을 청구한다. 그리고 공적으로 지정된, 2000.6.9에 출원된 "Hybrid Temporal-SNR Fine Granular Scalability Video Coding"이라는 제목의 copending U.S. Application, No.09/590,825와 관련된다.
스케일러블 영상 코딩(scalable video coding)은 인터넷과 같은 변화하는 대역폭을 갖는 컴퓨터 네트워크들 상에서 전송되는 영상을 압축하기 위해 사용된다. 그러한 영상 코딩 기법중 하나로, 파인 입상 스케일러블(끼워넣어진;embedded) 영상 코딩 방법이 있다. 파인 입상 스케일러블(FGS) 영상 코딩은 ISO MPEG-4 표준에 의해 MPEG-4 스트리밍 영상 프로파일(MPEG-4 Streaming Video Profile)을 위한 핵심적인 영상 코딩 방법으로 채택되었다.
도1에 도시된 바와 같이, FGS 영상 코딩 기법은 RBL의 비트율로 I, P, 및 B 프레임들을 포함하는 넌-스케일러블 코덱(non-scalable codec)으로 부호화되는 움직임-보상 베이스 계층(10)을 포함한다. 그리고, 최대 비트율 Rmax로 퀄리티 신호-대-잡음-비(SNR) I, P, 및 B 레지듀얼 프레임들 포함하는 FGS와 같은 스케일러블 코덱(scalable codec)으로 부호화된 확장 계층(11)을 포함한다. 전송 시간에, 비트율 REL에 대응하는 확장 계층(11)의 부분은 FGS 부호화 비트스트림으로부터 “잘린다”(“cut"). 그래서 이용가능 대역폭 R=RBL+REL이다.
예를 들어, 만일 확장 계층 스트림이 클라이언트들을 100kbit/s와 1Mbit/s 사이의 비트율로 수용한다면, RBL은 100kbit/s로 세팅되고 Rmax는 1Mbit/s로 세팅될 것이다. 그래서, 100kbit/s로 코딩된 베이스 계층 I, P, 및 B 프레임들은 언제나 전송될 것이다. 그러나, 만일 그 이상의 대역폭이 필요하다면, 적어도 확장 계층 레지듀얼 I, P, 및 B 프레임들도 역시 전송될 것이다.
도2A 및 도2B는 이전에 언급된 공적으로 지정된 copending U.S. Patent Application Serial No. 09/590,825에서 설명된 것과 같이 예시 FGS 하이브리드 템포럴-SNR 비디오 코딩 기법들을 보여준다. 도2A의 영상 코딩 기법에서, 베이스 계층(12)은 I, P, 및 B 프레임들을 포함하도록 넌-스케일러블 코덱으로 부호화 된다. 그리고 확장 계층(13)은 가령 템포럴 프레임들과 같은 레지듀얼 B 프레임들(FGS 부호화가 사용될 때의 FGST 프레임들)과 퀄리티 신호-대-잡음-비(SNR) 프레임들과 같은 퀄리티 신호-대-잡음-비 레지듀얼 I 및 P 프레임들(FGS 부호화가 사용될 때의 FGS 프레임들)을 포함하기 위해 FGS와 같은 스케일러블 코덱으로 부호화된다. 도2B의 영상 코딩 기법에서, 베이스 계층(14)은 가령 베이스 계층(14)에서 B-프레임들이 부호화되지 않고 오직 I 및 P 프레임들을 포함하도록 넌-스케일러블 코덱으로 부호화된다. 확장 계층(15)은 가령 FGST 프레임들과 같은 레지듀얼 B 프레임들 및 FGS 프레임들과 같은 SNR 레지듀얼 I 및 P 프레임들을 포함하도록 FGS와 같은 스케일러블 코덱을 갖는 도2A의 코딩 기법과 비슷화게 부호화된다.
서버에 의한 전송 동안에, 베이스 계층 I, P, 및 B 프레임들(도2A의 코딩 기법) 또는 베이스 계층 I 및 P 프레임들(도2B의 코딩 기법)은 RBL까지 부호화된다. 만일 그 이상의 대역폭이 필요하다면, 도2A 및 2B의 코딩 기법들에 있어서의 확장 계층들 13, 15의 전송을 위한 현재의 접근 방법은 비율-제어 전략을 사용하는 FGS 및 FGST 프레임들 사이에서 균등하게 확장-계층 비트들을 할당해야 한다.
FGS 코덱들과 관련된 한가지 단점은 넌-스케일러블 코덱들과 비교해서 그들의 감소된 코딩 능률이다. 이러한 능률 패널티(efficiency penalty)는 확장 계층들의 끼워넣어진(embedded) 코딩이 아니라 FGS로 달성된 불충분한 템포럴 디코릴레이션(decorrelation) 때문이다.
확장 계층에서의 템포럴 코릴레이션(temporal correlation)은 베이스 계층에서의 템포럴 디코릴레이션을 개선하므로써 감소될 수 있다. 베이스 계층에 더 큰 수의 비트들을 할당함으로써 달성될 수 있다. 그러나, RBL은 언제나 클라이언트들에게 사용가능하도록 보장된 최소 대역폭에 대응하기 때문에 이것은 불가능하다. 만일 RBL이 증가된다면, 이러한 클라이언트들의 몇몇은 어떤 특정 시간들에 베이스 계층을 복호화할 수 있을 것이다. 이것은 MPEG-4 표준에 상반된다.
본 발명은 영상 코딩에 관한 것으로, 더 구체적으로는, 인터넷과 같은 가변 대역폭 컴퓨터 네트워크 상에서 확장 계층 레지듀얼 템포럴 및 퀄리티 신호-대-잡음-비(SNR) (enhancement layer residual temporal and quality signal-to-noise-ratio) 영상 프레임 데이터(video frame data)를 스트리밍하는 방법에 관한 것이다.
본 발명의 이점들, 특성, 및 다양한 부가적 특징들은, 도면들에서 동일한 요소들에는 동일한 참조 부호를 병기한 첨부 도면을 참조하여, 지금부터 설명하는 예시적인 실시예에 의해 보다 명백해 진다.
도1은 현재의 확장 계층 영상 코딩 기법을 도시하는 도면이고;
도2A 및 도2B는 본 발명에서 사용되는 예시적인 FGS 하이브리드 템포럴-SNR 영상 코딩 기법들을 도시하는 도면이며;
도3은 본 발명의 원리들에 따른 방법의 단계들을 묘사하는 플로우차트이고;
도4는 도2B의 구조에서 적용되는 방법을 그래픽적으로 도시하는 도면이며;
도5는 본 발명의 하이브리드 스케일러블 코딩 기법을 사용하는 시스템의 예시적인 실시예를 도시하는 도면이고;
도6은 본 발명에서 사용될 수 있는 또 다른 예시적인 FGS 하이브리트 템포럴-SNR 영상 코딩 기법을 도시하는 도면이다:
본 발명은 가변 대역폭 네트워크 상의 확장 계층 영상 프레임 데이터 즉, 스케일러블 부호화된 레지듀얼 템포럴 영상 프레임 및 스케일러블 부호화된 레지듀얼 퀄리티 신호-대-잡음-비(SNR) 영상 프레임 데이터를 갖는 확장 계층 영상 프레임 데이터를 스트리밍하도록 지시된다. 본 발명의 한가지 측면은, 베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 단계, 상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 단계, 상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기 확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 단계, 상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 단계, 상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 단계, 및 부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 단계를 포함하는 방법을 포함한다.
본 발명의 또 다른 측면은, 베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 수단, 상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 수단, 상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기 확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 수단, 상기 가변 대역폭 네트워크의 이용가능한 비트율을 결정하는 수단, 상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 수단, 및 부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 수단을 포함하는 시스템을 포함한다.
본 발명의 더 나아간 측면은, 상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 수단, 상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 수단, 및 부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 수단을 포함하는 영상 비율 제어기(video rate controller)를 포함한다.
본 발명의 부가적인 측면은, 베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 코드, 상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 코드, 상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기 확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 코드, 상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 코드, 상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 코드, 및 부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 코드를 포함하는 메모리 매체를 포함한다.
본 발명의 원리들에 따른, 인터넷과 같은 가변 대역폭 컴퓨터 네트워크 상에서 확장 계층 레지듀얼 템포럴 및 퀄리티 신호-대-잡음-비(SNR) 영상 프레임 데이터(FGST 및 FGS 부호화의 경우의 FSG 프레임 데이터)를 스트리밍하는 방법이 이제 설명될 것이다. 상기 방법은 상기 확장 계층에 있어서 템포럴 코릴레이션의 주목할만한 개선들을 달성하기 위해 도2B의 하이브리드 템포럴-SNR 스케일러블 영상 코딩 기법을 채용한다. 따라서, 공적으로 지정된 copending U.S. Patent Application Serial No.09/000,000의 전체 공개 사항은 여기에서 참고로서 병합된다. 도2B의 영상 코딩 기법이 SNR 프레임들 사이에서 단지 하나의 템포럴 프레임을 보여줄지라도, SNR 프레임들 사이에서 하나 또는 그이상의 템포럴 프레임들을 갖는 템포럴-SNR 스케일러블 영상 코딩 기법들이 상기 방법에서 사용될 수 있을 것이다.
도3은 본 발명의 원리들에 따른 방법의 단계들을 묘사하는 플로우 차트이다. 단계 AA-DD는 U.S. Patent Application Serial No.09/000,000에 설명된 시스템들의 인코더 쪽에서 일어나고 단계 EE-HH는 U.S. Patent Application Serial No.09/000,000에 설명된 시스템들의 서버 쪽에서 일어난다.
단계 AA에서, 부호화되지 않은 오리지날 영상 데이터는 도2B에서 묘사된 것과 같이 단지 I 및 P 프레임들을 갖는 베이스 계층(14)을 생성하기 위해 넌-스케일러블 코덱으로 부호화된다. B 프레임들은 상기 베이스 계층에서 부호화되지 않는다. 도2B의 영상 코딩 기법을 사용하는 것은 단지 I 및 P 프레임들이 템포럴 코릴레이션에 주목할 만하게 기여한다는 사실을 이용한다. 따라서, 더 많은 비트들의 RBL이 상기 I 및 P 프레임들을 코딩하는 데 사용가능하기 때문에 베이스 계층에서 B 프레임들을 코딩하지 않는 것은 더 높은 퀄리티의 베이스 계층 I 및 P 프레임들을 제공한다. 더 높은 퀄리티의 베이스 I 및 P 프레임들은 이에 대응하여 베이스 계층에서 템포럴 디코릴레이션을 개선한다.
단계 BB에서, 움직임 보상 또는 템포럴 레지듀얼 B 프레임들은 오리지날 영상 데이터와 레퍼런스 I 및 P 베이스 계층 프레임들 사이의 차이를 계산함으로써 예측된다. 2개의 시간적으로 인접한 베이스 계층 레퍼런스 프레임들은 각각의 템포럴 레지듀얼 B 프레임을 예측하기 위해 사용된다. 개선된 퀄리티 레퍼런스 베이스 계층 I 및 P 프레임들로부터 더 정확하게 예측되기 때문에, 상기 B-프레임들은 이러한 코딩 기법에 있어서 이득을 본다.
단계 CC에서, 개선된 퀄리티 또는 신호-대-잡음-비(SNR) 레지듀얼 I 및 P 프레임들은, 오리지날 영상 데이터 및 베이스 계층 레퍼런스 프레임들 사이의 차이를 계산함으로써 생성된다. 감소된 양의 템포럴 코릴레이션으로 부호화되기 때문에, SNR 레지듀얼 I 및 P 프레임들은 이러한 코딩 기법에 있어서 이득을 본다. 스케일러블 코덱으로 더 계속해서 코딩될 때, 이것은 역으로 개선된 성능에 이를 것이다.
단계 DD에서, 스케일러블 코딩된 템포럴 B 프레임들 및 스케일러블 코딩된 SNR I 및 P 프레임들로 확장 계층을 형성하기 위해 템포럴 레지듀얼 프레임들 및 SNR 레지듀얼 프레임들은 FGS와 같은 적합한 스케일러블 코덱으로 코딩된다. 도2B에 보여진 실시예에서, 레지듀얼 템포럴 및 SNR 프레임들은 FGS로 코딩되고, 그래서, FGST 프레임들로 표시된 템포럴 확장 계층 B 프레임들 및 FGS 프레임들로 표시된 SNR 확장 계층 I 및 P 프레임들을 생성한다.
단계 EE에서, RBL까지의 비트율은 더 높은 퀄리티의 I 및 P 베이스 계층 프레임들로 할당되고, RBL과 RBL+k사이의 비트율(여기서 k는 RBL이하)은 확장 계층 템포럴 프레임들로 할당되고, RBL+k와 Rmax사이의 비트율은 템포럴 프레임들과 SNR 프레임들사이에서 균일하게 할당된다.
단계 FF에서, I 및 P 베이스 계층 프레임들은 항상 대역폭 RBL로 전송된다.
단계 GG에서, 이용가능 대역폭이 RBL과 RBL+k 사이(여기서 k는 RBL이하)에 있는 것으로 결정될 때 확장 계층 템포럴 프레임들의 적어도 부분들이 전송된다. 이것은, 템포럴 프레임들의 적어도 부분을 한번에 하나씩 점차적으로 전송함으로써 바람직하게 달성된다. 어떤 템포럴 프레임 부분들이 먼저 전송될 것인가를 결정하는 전략은, 움직임 활동(motion-activity) 정보가 인코딩 동안에 인코더에 의해 미리 결정되기 때문에, 움직임-활동에 기초할 것이다. 여기에서 가장 큰 움직임 활동을 갖는 템포럴 프레임 부분들이 먼저 전송된다. 어떤 템포럴 프레임 부분들이 먼저 전송될 것인지를 결정하는 전략은, 피크 신호-대-잡음-비 또는 다른 파라미터들에 또한 기초한다.
단계 HH에서, 이용가능 대역폭이 RBL+k와 Rmax사이에 있는 것으로 결정될 때, 확장 계층 템포럴 프레임들의 나머지 부분들 및 확장 계층 SNR 프레임들의 적어도 부분들이 부가적으로 전송된다.
도4는 도2B의 구조에서 적용된 방법을 그래픽적으로 예시한다.
일찍이 언급됐다시피, 상기 방법은, 도5에 보여진 더 일찍이 언급된 U.S. Patent Application Serial No.09/000,000에서 설명된 시스템을 사용하여 수행될 수 있다. 인코더에서, 영상 소스(20)로부터의 코딩되지 않은 영상 데이터는 베이스 계층 인코더(21) 및 하이브리드 템포럴-SNR 스케일러블 영상 인코더(22) 둘 모두로입력된다. 베이스 계층 인코더(21)는 표준 프레임-예측 코딩 기술을 사용하여 오리지날 영상 데이터의 부분을 코딩한다. 베이스 계층 인코더(21)는 영상 데이터를 미리 결정된 비트율 RBL로 압축한다. RBL은, 조합된 가변 대역폭 네트워크(24)의 현재 대역폭에 기초하여, 계산 블록(23)에 의해 결정되는 것이 바람직하다. 계산 블록(23)은 최소 비트율(RMIN), 최대 비트율(RMAX), 및 네트워크(24)의 현재 이용가능 대역폭(R)을 측정한다. 그리고 나서 가장 낮은 대역폭들에서라도 네트워크(24)가 코딩된 영상 데이터를 수용할 수 있도록 확실히 하기 위해, 계산 블록(23)은 RBL을 바람직하게 RMIN으로 세팅한다.
영상 소스(20)로부터의 오리지날 영상 데이터 및 베이스 계층 인코더(21)에 의해 제공된 코딩된 영상 데이터(가령, 베이스 계층)는 잔상(residual image, RI) 계산 블록(25) 및 하이브리드 인코더(22)에 있는 움직임 보상 잔상(MCRI) 계산 블록(26) 둘 모두로 연결된다. RI 계산 블록(25) 및 MCRI 계산 블록(26)은, 잔상들(27) 및 움직임 보상(MC) 잔상들(28)을 생성하기 위해 오리지날 영상 데이터 및 코딩된 영상 데이터를 사용한다. 더 구체적으로, RI 계산 블록(25)은 코딩된 영상 데이터를 베이스 계층 인코더(21)로부터 수신한다. 그리고 그 코딩된 영상 데이터를 복호화한다. 그런 후에, 이렇게 복호화된 영상 데이터에 있는 화소들과 오리지날 영상 데이터에 있는 화소들 사이의 차이에 기초하여, 잔상들(27)이 생성된다. MCRI 계산 블록(26)은 베이스 계층 인코더(21)로부터 코딩된 영상 데이터를 수신한다. 그리고나서 그 코딩된 영상 데이터를 복호화한다. 그런 후에, 상기 복호화된영상 데이터로부터 움직임 보상 접근 방법에 기초하여 MC 잔상들(28)이 생성된다. 이러한 움직임 보상 화면은 대응하는 오리지날 화면으로부터 제거된다.
하이브리드 인코더(22)는 또한 MCRI 확장 계층 인코더(28) 및 잔상 확장 계층 인코더(30)를 포함한다. 상기 두 인코더는 모두 FGS와 같은 스케일러블 코덱을 사용한다. 동작 동안에, MCRI 확장 계층 인코더(29)와 잔상 확장 계층 인코더(30)는 각각 MC 잔상들(22) 및 잔상들(12)을 스케일러블 코덱을 사용하여 코딩한다.
MCRI 확장 계층 인코더(29)는 압축된 템포럴 프레임들의 데이터 스트림(31)을 생성하고, RI 확장 계층 인코더는 SNR 프레임들의 데이터 스트림(32)을 생성한다. 상기 데이터 스트림들 31, 32는 단일의 확장 계층 데이터 스트림을 산출하도록 합쳐지거나 2개의 별개 스트림들로 유지될 수도 있다. 어떤 경우이든, 결과적인 스트림(들)은 실시간으로 저장되고 전송될 수 있다.
서버에서, 실시간 스케일러블 영상 비율 제어기(34)는 템포럴 및 SNR 프레임 데이터 스트림들(31,32)을 수신하고(베이스 계층 인코더(21)로 생성된 베이스 계층 프레임 데이터 스트림(33)과 함께), 위에서 설명된 방법 단계들 EE-HH를 실시간으로 수행한다. 비율 제어기(34)는 전형적으로 메모리와 통신하는 프로세서를 포함한다(묘사되지는 않았지만). 프로세서는 방법 단계들 EE-HH를 수행할 수 있는 특별 목적 또는 일반 목적 프로세서가 될 수 있다. 상기 프로세서는, 실행될 때 방법 단계들 EE-HH를 수행하는 코드를 포함할 수 있다. 상기 코드는 메모리 안에 담겨질 수도 있다.
계산 블록(23), FGS 비율 제어기(35) 및 옵션 사용자 입력(36)으로부터 수신된 입력들 R, RBL및 RMAX에 기초하여, 상기 비율 제어기(34)는 상기 방법의 단계들 EE-HH를 수행한다. RBL까지의 비트율은 베이스 계층 I 및 P 프레임들로 할당되기 때문에 상기 베이스 계층 프레임들은 항상 전송되고, 이러한 입력들에 기초하여, 비율 제어기(34)는 템포럴 및 SNR 프레임들(R-RBL)을 전송하기 위해 남은 이용가능 대역폭을 결정한다. 이러한 정보에 기초하여, 비율 제어기(34)는 상기 방법의 단계 EE와 관련하여 확장 계층 스트림들 31, 32 사이에서 비트율을 할당한다.
프레임 데이터 스트림들 사이에서 비트율을 할당한 후에, 비율 제어기(34)는, 상기 방법의 단계들 FF-HH와 관련하여, 가변 대역폭 네트워크(24) 상에서 베이스 계층 스트림 및 확장 계층 스트림으로 데이터 스트림들을 전송한다.
더 좋은 템포럴 디코릴레이션 외에, 본 발명은 B-프레임들은 항상 FGST로 코딩되고 그래서 단지 1 레지듀얼(MC-레지듀얼)가 계산될 필요가 있으며, 그러므로해서 싸인(sign)이 단지 한번만 코딩될 필요가 있기 때문에 더 낮은 복잡성 및 더 좋은 효율로 귀결하게 된다. 또한, 베이스 계층은 단지 I 및 P 프레임들만을 포함하기 때문에 그것의 복잡성은 다만 적당한 정도이다. 더 계산적이고 메모리 트래픽 컴플랙스 B 프레임들은 단지 확장 계층에서 소개된다.
본 발명의 방법은, I 및 P 프레임들로 코딩된 베이스 계층(40) 및 2개의 확장 계층들, 즉, 템포럴 B-프레임들로 코딩된 템포럴 계층(41) 및 SNR I 및 P 프레임들로 코딩된 SNR 계층(42)을 포함하는 도6에 보여진 하이브리드 템포럴-SNR 스케일러블 영상 코딩 기법을 또한 채용한다. 이러한 코딩 기법의 세밀한 점들은, 이전에 언급된 U.S. Patent Application Serial No.09/000,000에서 또한 깊이 논의된다.
앞서의 발명은, 상기 실시예들에 관련하여 설명되었지만, 다양한 수정들 및 변화들이 본 발명의 정신으로부터 벗어남이 없이 만들어 질 수 있다. 따라서, 모든 그러한 수정들 및 변화들은 첨부된 청구항들의 범위 내에 있는 것으로 고려된다.

Claims (15)

  1. 가변 대역폭 네트워크 상에서 확장 계층 영상 프레임 데이터를 스트리밍하는 방법에 있어서, 상기 확장 계층 영상 프레임 데이터는 스케일러블 코딩된 레지듀얼 템포럴 영상 프레임 데이터 및 스케일러블 코딩된 레지듀얼 퀄리티 신호-대-잡음-비(SNR) 영상 프레임 데이터를 갖고,
    상기 방법은:
    베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 단계,
    상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 단계,
    상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기 확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 단계,
    상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 단계,
    상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 단계를 포함하는, 상기 방법.
  2. 제1 항에 있어서,
    부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 단계를 더 포함하는, 상기 방법.
  3. 제2 항에 있어서,
    상기 제2 비트율이 상기 가변 대역폭 네트워크의 상기 최대 이용가능 대역폭으로 확장하는, 상기 방법.
  4. 제1 항에 있어서,
    상기 베이스 계층 프레임 데이터가 단지 I 및 P 프레임들에 대한 데이터를 포함하는, 상기 방법.
  5. 제4 항에 있어서,
    상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터가 단지 B 프레임들에 대한 데이터를 포함하는, 상기 방법.
  6. 제5 항에 있어서,
    상기 스케일러블 코딩된 SNR 영상 프레임 데이터가 단지 I 및 P 프레임들에대한 데이터를 포함하는, 상기 방법.
  7. 제1 항에 있어서,
    상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터가 단지 B 프레임들에 대한 데이터를 포함하는, 상기 방법.
  8. 제1 항에 있어서,
    상기 스케일러블 코딩된 SNR 영상 프레임 데이터가 단지 I 및 P 프레임들에 대한 데이터를 포함하는, 상기 방법.
  9. 가변 대역폭 네트워크 상에서 확장 계층 영상 프레임 데이터를 스트리밍하는 시스템에 있어서, 상기 확장 계층 영상 프레임 데이터는 스케일러블 코딩된 레지듀얼 템포럴 영상 프레임 데이터 및 스케일러블 코딩된 레지듀얼 퀄리티 신호-대-잡음-비(SNR) 영상 프레임 데이터를 갖고,
    상기 시스템은:
    베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 수단,
    상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 수단,
    상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 수단,
    상기 가변 대역폭 네트워크의 이용가능한 비트율을 결정하는 수단,
    상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 수단을 포함하는, 상기 시스템.
  10. 제9 항에 있어서,
    부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 수단을 더 포함하는, 상기 시스템.
  11. 제10 항에 있어서,
    상기 제2 비트율은 상기 가변 대역폭 네트워크의 상기 최대 이용가능 대역폭으로 확장하는, 상기 시스템.
  12. 상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 수단,
    상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 수단을 포함하는, 영상 비율 제어기.
  13. 제12 항에 있어서,
    부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 수단을 더 포함하는, 영상 비율 제어기.
  14. 가변 대역폭 네트워크 상에서 확장 계층 영상 프레임 데이터를 스트리밍하는 메모리 매체에 있어서, 상기 확장 계층 영상 프레임 데이터는 스케일러블 코딩된 레지듀얼 템포럴 영상 프레임 데이터 및 스케일러블 코딩된 레지듀얼 퀄리티 신호-대-잡음-비(SNR) 영상 프레임 데이터를 갖고,
    상기 메모리 매체는:
    베이스 계층 프레임 데이터를 생성하기 위해 넌-스케일러블 코덱으로 코딩되지 않은 오리지날 영상 데이터를 코딩하는 코드,
    상기 코딩되지 않은 오리지날 영상 데이터 및 베이스 계층 프레임 데이터로부터 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 생성하는 코드,
    상기 스케일러블 코딩된 레지듀얼 템포럴 및 SNR 영상 프레임 데이터로 상기 확장 계층 영상 프레임 데이터를 생성하기 위해 스케일러블 코덱으로 상기 레지듀얼 템포럴 및 SNR 영상 프레임 데이터를 코딩하는 코드,
    상기 가변 대역폭 네트워크의 이용가능한 대역폭을 결정하는 코드,
    상기 이용가능 대역폭이 오직 베이스 계층 프레임 데이터를 전송하기 위해 할당된 최소 비트율과 상기 네트워크의 최대 비트율 이하인 미리 결정된 비트율 사이의 범위에 있는 제1 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 적어도 부분들을 전송하는 코드를 포함하는, 상기 메모리 매체.
  15. 제14 항에 있어서,
    부가적으로 상기 이용가능한 대역폭이 상기 미리 결정된 비트율과 상기 네트워크의 상기 최대 비트율 사이에서 확장하는 제2 대역폭일 때 상기 스케일러블 코딩된 레지듀얼 템포럴 프레임 데이터의 나머지 부분들 및 상기 스케일러블 코딩된 SNR 프레임 데이터의 적어도 부분들을 전송하는 코드를 더 포함하는, 상기 메모리 매체.
KR1020027006488A 2000-09-22 2001-09-24 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더 Withdrawn KR20020064904A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US23460600P 2000-09-22 2000-09-22
US60/234,606 2000-09-22
PCT/IB2001/002489 WO2002025925A2 (en) 2000-09-22 2001-09-24 Hybrid temporal-snr fine granular scalability video coding

Publications (1)

Publication Number Publication Date
KR20020064904A true KR20020064904A (ko) 2002-08-10

Family

ID=22882053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027006488A Withdrawn KR20020064904A (ko) 2000-09-22 2001-09-24 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더

Country Status (8)

Country Link
US (1) US7020193B2 (ko)
EP (1) EP1319309B1 (ko)
JP (1) JP2004509574A (ko)
KR (1) KR20020064904A (ko)
CN (1) CN1258922C (ko)
AT (1) ATE346461T1 (ko)
DE (1) DE60124746T2 (ko)
WO (1) WO2002025925A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782343B1 (ko) * 2004-07-07 2007-12-06 한국과학기술원 영상 스트리밍 방법

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
JP4404180B2 (ja) * 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
CN1324851C (zh) * 2002-06-11 2007-07-04 汤姆森许可贸易公司 适用于动态网络丢失条件的数据通信方法
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
CN100574329C (zh) * 2003-12-15 2009-12-23 皇家飞利浦电子股份有限公司 播放内容的方法及装置
US20070223564A1 (en) * 2004-05-12 2007-09-27 Koninklijke Philips Electronics, N.V. Csalable Video Coding Broadcasting
WO2006038607A1 (ja) * 2004-10-06 2006-04-13 Nippon Telegraph And Telephone Corporation スケーラブル符号化方法および装置，スケーラブル復号方法および装置，それらのプログラムおよびそれらプログラムを記録した記録媒体
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
FR2880743A1 (fr) 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
CN101171843B (zh) 2005-03-10 2010-10-13 高通股份有限公司 用于多媒体处理的内容分类
US7725799B2 (en) * 2005-03-31 2010-05-25 Qualcomm Incorporated Power savings in hierarchically coded modulation
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
WO2007038807A2 (en) * 2005-09-29 2007-04-05 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (vbr) video encoding
CA2624339C (en) * 2005-10-12 2014-12-02 Thomson Licensing Region of interest h.264 scalable video coding
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
EP2172025A1 (en) * 2007-06-27 2010-04-07 Thomson Licensing Enhancing image quality
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
US8539092B2 (en) * 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
WO2010076494A1 (fr) * 2008-12-16 2010-07-08 France Telecom Procede de transmission et procede de reception d'un contenu audiovisuel
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
WO2011097755A1 (zh) * 2010-02-11 2011-08-18 上海贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
GB201504403D0 (en) * 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
JP2017045124A (ja) * 2015-08-24 2017-03-02 株式会社日本自動車部品総合研究所 視差検出装置
US10491649B2 (en) * 2016-04-12 2019-11-26 Harmonic, Inc. Statistical multiplexing using a plurality of encoders operating upon different sets of unique and shared digital content
CN106713924B (zh) * 2017-01-24 2019-06-07 西安万像电子科技有限公司 用于文字分层压缩方法和装置
US10979744B2 (en) 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1998053613A1 (en) * 1997-05-20 1998-11-26 Motorola Inc. Apparatus, method and computer readable medium for scalable coding of video information
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
KR20020070362A (ko) * 1999-12-22 2002-09-06 제너럴 인스트루먼트 코포레이션 공간 스케일성 및 시뮬캐스트 코딩을 이용한 멀티캐스트환경의 비디오 압축

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782343B1 (ko) * 2004-07-07 2007-12-06 한국과학기술원 영상 스트리밍 방법

Also Published As

Publication number Publication date
US20020037037A1 (en) 2002-03-28
CN1436423A (zh) 2003-08-13
DE60124746D1 (de) 2007-01-04
WO2002025925A2 (en) 2002-03-28
EP1319309A2 (en) 2003-06-18
WO2002025925A3 (en) 2002-09-06
CN1258922C (zh) 2006-06-07
JP2004509574A (ja) 2004-03-25
EP1319309B1 (en) 2006-11-22
US7020193B2 (en) 2006-03-28
DE60124746T2 (de) 2007-09-13
ATE346461T1 (de) 2006-12-15

Similar Documents

Publication Publication Date Title
US7020193B2 (en) Preferred transmission/streaming order of fine-granular scalability
CN1166200C (zh) 混合式时间-信杂比精细颗粒可分级视频编码
Van Der Schaar et al. Adaptive motion-compensation fine-granular-scalability (AMC-FGS) for wireless video
US7830958B2 (en) Seamless switching of scalable video bitstreams
US6501797B1 (en) System and method for improved fine granular scalable video using base layer coding information
US7227894B2 (en) Method and apparatus for MPEG-4 FGS performance enhancement
KR20060132874A (ko) 공간 및 ｓｎｒ 미세 입도 스케일링 가능한 비디오 인코딩및 전송 방법
AU2004302413B2 (en) Scalable video coding method and apparatus using pre-decoder
EP1680922A1 (en) Bit-rate control method and apparatus for normalizing visual quality
Stockhammer et al. Progressive texture video streaming for lossy packet networks
CN1284374C (zh) 细粒度可分级视频编码系统用的频率加权矩阵的产生方法
Yip et al. Joint source and channel coding for H. 264 compliant stereoscopic video transmission
CA2557312A1 (en) Video encoding and decoding methods and systems for video streaming service
Wang et al. Optimal rate allocation for progressive fine granularity scalable video coding
JP2025541196A (ja) 動画の低メモリ符号化の方法
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
Shoaib et al. Computationally efficient fine grained scalability for low bit rate video coding

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20020521

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid