KR20050089457A - Error concealment method in decoding motion picture - Google Patents
Error concealment method in decoding motion picture Download PDFInfo
- Publication number
- KR20050089457A KR20050089457A KR1020040014880A KR20040014880A KR20050089457A KR 20050089457 A KR20050089457 A KR 20050089457A KR 1020040014880 A KR1020040014880 A KR 1020040014880A KR 20040014880 A KR20040014880 A KR 20040014880A KR 20050089457 A KR20050089457 A KR 20050089457A
- Authority
- KR
- South Korea
- Prior art keywords
- macro block
- error
- error concealment
- mode
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000002123 temporal effect Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명에 의한 동영상 복호화 시 에러 은닉 방법은, 현재 입력되는 동영상 비트 스트림의 프레임 내에 에러가 발생되었는지 탐지하는 단계와; 상기 현재 입력된 동영상 프레임의 내 특정 매크로 블록에 에러가 발생된 경우, 상기 특정 매크로 블록의 주변 매크로 블록의 소정 정보를 참조하는 단계와; 상기 참조한 주변 매크로 블록의 소정 정보를 통해 상기 에러가 발생된 매크로 블록에 대한 에러 은닉 방법을 선택하는 단계와; 상기 선택된 에러 은닉 방법에 따라 에러 은닉이 수행되는 단계가 포함되는 것을 특징으로 한다. The error concealment method when decoding a video according to the present invention includes detecting whether an error occurs in a frame of a currently input video bit stream; Referring to predetermined information of neighboring macroblocks of the particular macroblock when an error occurs in a specific macroblock in the currently input video frame; Selecting an error concealment method for the macroblock in which the error occurs based on the predetermined information of the referenced neighboring macroblock; And performing error concealment according to the selected error concealment method.
Description
본 발명은 동영상 복호화 시 에러 은닉 방법에 관한 것으로, 특히 패킷 또는 서킷 망을 통한 MPEG-4(Motion Picture Experts Group-4) 비트 스트림 전송 시, 네트워크 에러로 인한 MPEG-4 비트 스트림 에러에 대응하기 위하여, MPEG-4 복호화 시의 에러 은닉 방법을 상황에 따라 선택하도록 하여 영상 품질 저하를 방지하는 매크로 블록의 모드 정보를 이용한 MPEG-4(Motion Picture Experts Group-4) 동영상 복호화 시 에러 은닉 방법에 관한 것이다. The present invention relates to an error concealment method when decoding a video. In particular, the present invention relates to an MPEG-4 bit stream error due to a network error when transmitting a Motion Picture Experts Group-4 (MPEG-4) bit stream through a packet or circuit network. The present invention relates to an error concealment method for MPEG-4 (Motion Picture Experts Group-4) motion picture decoding using mode information of a macroblock to prevent degradation of video quality by selecting an error concealment method for MPEG-4 decoding according to a situation. .
디지털 멀티미디어 데이터를 압축 전송하고 또 부호화하는 시스템으로 예를 들면 H.263 이나 MPEG4의 경우 동영상을 압축 부호화함에 있어, 디지털 영상 데이터를 블럭(macro block) 단위로 처리하는데, 부호화(encoding)의 경우는 움직임 추정 및 보상과 이산 코사인 변환(DCT), DCT 계수의 양자화, 그리고 가변 길이 부호화(VLC) 과정을 포함하고 있으며, 복호화(decoding)의 경우는 상기 부호화의 역과정으로, 역 양자화, 역 DCT, 움직임 보상 및 추정 과정 등을 포함하고 있다. A system that compresses, transmits, and encodes digital multimedia data. For example, in H.263 or MPEG4, when compressing and encoding a video, digital image data is processed in units of macro blocks. In case of encoding, It includes motion estimation and compensation, discrete cosine transform (DCT), quantization of DCT coefficients, and variable length coding (VLC). In decoding, inverse quantization, inverse DCT, It includes motion compensation and estimation process.
이와 같이 디지털 영상신호를 송수신하는 시스템에서 채널 환경에 따른 에러 발생을 감수하고 이러한 에러 발생시에 손상된 블록의 보정을 수행해야 하는 시스템에서는 복원(수신) 영상의 화질 향상을 위해 에러의 검출과 은닉 방법을 이용하고 있다. As described above, in a system for transmitting and receiving digital video signals, an error occurrence according to channel environment is to be taken into account, and a system that needs to correct a damaged block when such an error occurs is used to detect and conceal errors in order to improve image quality of a restored (received) image. I use it.
예를 들면 블록 단위로 디지털 영상신호를 송수신하는 시스템에서 에러를 검출할 경우는 부호화 신택스(syntax) 정보를 이용해서 데이터가 신택스 정보를 벗어나는 경우를 에러로 간주하고, 에러가 발생된 블록에 대해서는 시간적 혹은 공간적 은닉 방법을 이용해서 보정을 가함으로써, 수신 영상의 화질을 높일 수 있도록 하고 있다. For example, when an error is detected in a system that transmits and receives a digital video signal in units of blocks, an error is regarded as an error when the data deviates from the syntax information by using encoded syntax information. Alternatively, the image quality of the received image can be improved by applying correction using a spatial concealment method.
상기한 바와 같은 신택스 정보를 이용한 에러의 검출은, 예를 들면 블록 단위의 디지털 영상신호 처리시 움직임 벡터가 특정 범위에서 벗어나는 경우나, 가변 길이 부호화(VLC) 테이블을 벗어나는 경우, 또는 이산 코사인 변환(DCT) 계수가 특정 범위를 벗어나는 경우, 그리고 한 블록 내의 DCT 계수의 갯수가 특정 갯수를 벗어나는 경우 등을 들 수 있다.The detection of the error using the syntax information as described above may be performed, for example, when a motion vector deviates from a specific range, a variable length coding (VLC) table, or a discrete cosine transform during block digital video signal processing. The DCT) coefficient is outside a certain range, and the number of DCT coefficients in a block is outside the specific number.
도 1은 종래의 에러 대응 MPEG-4 복호화기의 일반적인 구조를 나타내는 블록도이다.1 is a block diagram showing a general structure of a conventional error-corresponding MPEG-4 decoder.
도 1을 참조하면, 종래의 에러 대응 MPEG-4 복호화기(decoder)는 입력된 비트 스트림에 대하여 VLD(Variable Length Decoding) 시 에러 검출 및 대응 과정을 하며, 나머지 과정은 기존의 동영상 복호화기와 동일한 과정을 거친다. Referring to FIG. 1, a conventional MPEG-4 decoder corresponding to an error detects and responds to an input bit stream during VLD (Variable Length Decoding), and the rest of the process is the same as that of a conventional video decoder. Go through
일반적으로 MPEG-4 복호화기에서는 에러가 검출된 블록에 대하여 에러 은닉(error concealment)의 방법을 사용한다. In general, the MPEG-4 decoder uses an error concealment method for blocks in which an error is detected.
부호화되어 전송된 동영상 신호에 대한 복호화 시 일반적으로 사용하는 에러 은닉 방법은 크게 두 가지로 나뉘는데, 이는 공간적 유사성을 이용한 에러 은닉 방법(Spatial Error Concealment)과 시간적 상관관계를 이용한 에러 은닉 방법(Temporal Error Concealment)이다. There are two general methods of error concealment in decoding video signals that are coded and transmitted: spatial error concealment using spatial similarity and temporal error concealment using temporal correlation. )to be.
상기 두 가지 방법은 블록 단위로 디지털 영상신호를 처리하는 시스템에서 영상신호의 인접 블록 간에는 상관성이 높고, 또 인접 시간 대의 프레임 간의 상관성이 높다는 가정(특징) 아래서 이루어지는 방법이다.The above two methods are performed under the assumption that the correlation between adjacent blocks of a video signal is high and the correlation between frames in adjacent time zones is high in a system for processing digital video signals on a block basis.
도 2a 및 도 2b는 각각 Spatial Error Concealment 및 Temporal Error Concealment를 설명하는 도면이다.2A and 2B illustrate Spatial Error Concealment and Temporal Error Concealment, respectively.
먼저 도 2a는 에러가 발생되어 손상된 블록을 그 주변에 인접한 손상되지 않은 블록 들의 값을 이용해서 보간해 넣는 방법을 설명한다. 즉, spatial Error Concealment는 하나의 영상 내에서 공간적 유사성을 이용하는 방법으로, 주변의 정상적인 매크로 블록의 정보를 가져와서 에러가 발생한 매크로 블록을 은닉하는 방법이다. First, FIG. 2A illustrates a method of interpolating a damaged block due to an error by using values of adjacent undamaged blocks. In other words, spatial error concealment is a method of using spatial similarity in one image, and is a method of concealing macroblocks in which an error occurs by taking information of surrounding normal macroblocks.
여기서, 상기 매크로 블록(macro block)은 한 프레임의 16*16 화소에 해당하는 부분을 의미하는 것이다. Here, the macro block means a portion corresponding to 16 * 16 pixels of one frame.
또한, 도 2b는 에러가 발생되어 손상된 블록을 이전 프레임의 해당 위치의 블록을 가져와서 채워넣는 방법을 설명하는 것이다. 즉, 상기 Temporal Error Concealment는 이전 영상으로부터의 시간적 유사성을 이용하는 방법으로, 현재 영상에서 에러가 발생했을 경우 이를 은닉하기 위해 이전 영상으로부터 소정의 정보를 가져오는 방법이다.In addition, FIG. 2B illustrates a method in which an error is generated and a damaged block is obtained by filling in a block at a corresponding position of a previous frame. That is, the Temporal Error Concealment is a method of using temporal similarity from the previous image, and is a method of obtaining predetermined information from the previous image to conceal an error in the current image.
이 때, 상기 이전 영상으로부터 소정의 정보를 가져오기 위해 움직임 벡터(Motion Vector, MV) 값을 주위의 매크로 블록의 움직임 벡터(MV) 값을 이용하여 추정 후, 이전 영상으로부터 추정한 움직임 벡터 값에 해당하는 매크로 블록 데이터를 가져와서 에러를 은닉하게 된다.At this time, the motion vector (MV) value is estimated using the motion vector (MV) value of the surrounding macroblock to obtain predetermined information from the previous image, and then the motion vector value is estimated from the previous image. The error is concealed by importing the corresponding macroblock data.
다시 말하면, 상기 Temporal Error Concealment는 움직임 벡터(MV)를 이용하는데, 만약 현재 프레임의 소정 움직임 벡터에 에러가 있을 경우에는 이전 프레임의 같은 위치의 움직임 벡터정보를 가져오는 것이다. In other words, the Temporal Error Concealment uses a motion vector (MV). If there is an error in a predetermined motion vector of the current frame, the motion vector information of the same position of the previous frame is obtained.
여기서, 상기 Spatial Error Concealment는 주로 I-frame(Intra frame) 즉, 현재 영상에 대한 비트 스트림 내의 데이터만으로 복호화가 가능한 화면에서 에러가 발생할 때 적용되고, 상기 Temporal Error Concealment는 주로 P-frame(Predictive frame) 즉, 이전 영상을 참조하여 복호화하는 화면에서 에러 발생시 적용된다. The Spatial Error Concealment is mainly applied when an error occurs in an I-frame (Intra frame), that is, a picture that can be decoded using only data in a bit stream of a current image, and the Temporal Error Concealment is mainly a P-frame (Predictive frame). That is, it is applied when an error occurs in the screen to decode by referring to the previous image.
즉, 종래의 MPEG-4 복호화기에 적용되는 에러 은닉 방법은, 앞서 설명한 바와 같이 I-frame에서는 Spatial Error Concealment를, P-frame에서는 Temporal Error Concealment를 고정적으로 수행한다.That is, in the error concealment method applied to the conventional MPEG-4 decoder, as described above, Spatial Error Concealment is performed in I-frame and Temporal Error Concealment is fixed in P-frame.
그러나, 상기 에러 은닉을 더욱 효과적으로 수행하기 위해서는 현재 프레임(frame)의 타입(즉, I-frame 또는 P-frame)에 의존하지 않고, 상기 두 가지 에러 은닉 방법을 선택적으로 활용할 수 있는 방법이 고려되어야 할 것이다. However, in order to perform the error concealment more effectively, a method that can selectively use the two error concealment methods without considering the type of the current frame (ie, I-frame or P-frame) should be considered. something to do.
본 발명은 에러 은닉 수행 시, 에러가 발생한 매크로 블록 주변에 구비된 매크로 블록의 모드 정보를 참조하여 Spatial Error Concealment 또는 Temporal Error Concealment 중 에러 은닉이 더 효과적인 방법을 선택하고 이에 따른 에러 은닉을 수행함으로써, 결과적으로 영상 품질의 향상을 기할 수 있는 동영상 복호화 시 에러 은닉 방법을 제공함에 그 목적이 있다. According to the present invention, when error concealment is performed, by selecting a method of error concealment that is more effective among Spatial Error Concealment or Temporal Error Concealment with reference to mode information of a macroblock provided around a macroblock in which an error occurs, and performing error concealment accordingly, As a result, the object of the present invention is to provide an error concealment method for decoding a video that can improve image quality.
상기 목적을 달성하기 위하여 본 발명에 의한 동영상 복호화 시 에러 은닉 방법은, 현재 입력되는 동영상 비트 스트림의 프레임 내에 에러가 발생되었는지 탐지하는 단계와; 상기 현재 입력된 동영상 프레임의 내 특정 매크로 블록에 에러가 발생된 경우, 상기 특정 매크로 블록의 주변 매크로 블록의 소정 정보를 참조하는 단계와; 상기 참조한 주변 매크로 블록의 소정 정보를 통해 상기 에러가 발생된 매크로 블록에 대한 에러 은닉 방법을 선택하는 단계와; 상기 선택된 에러 은닉 방법에 따라 에러 은닉이 수행되는 단계가 포함되는 것을 특징으로 한다. 여기서, 상기 에러의 탐지는 한 프레임 내에서 에러가 발생한 부분 즉, 에러가 발생된 특정 매크로 블록의 위치 정보가 탐지됨을 특징으로 한다.In order to achieve the above object, an error concealment method in decoding a video according to the present invention includes: detecting whether an error occurs in a frame of a currently input video bit stream; Referring to predetermined information of neighboring macroblocks of the particular macroblock when an error occurs in a specific macroblock in the currently input video frame; Selecting an error concealment method for the macroblock in which the error occurs based on the predetermined information of the referenced neighboring macroblock; And performing error concealment according to the selected error concealment method. In this case, the detection of the error is characterized in that the position where the error occurs within one frame, that is, the location information of the specific macro block in which the error occurred.
또한, 상기 소정 정보는 주변 매크로 블록의 모드 정보이며, 상기 매크로 블록의 모드는, 현재 비트 스트림을 복호화하는 것만으로도 복원 가능한 인트라 모드(Intra mode)와, 이전 영상을 참조하여 복호화하는 인터 모드(inter mode)와, 이전 영상의 같은 위치에 해당하는 매크로 블록을 그대로 복사해오는 낫-코디드 모드(Not-Coded mode)임을 특징으로 한다. The predetermined information is mode information of a neighboring macroblock, and the macroblock mode includes an intra mode that can be restored only by decoding a current bit stream, and an inter mode that is decoded with reference to a previous image. inter mode) and a not-coded mode for copying a macro block corresponding to the same position of the previous image as it is.
또한, 상기 에러가 발생된 매크로 블록이 현재 입력된 동영상 프레임의 첫번째 매크로 블록일 때, 상기 현재 입력된 프레임이 I-frame일 경우 Spatial Error Concealment 방법을, P-frame일 경우 Temporal Error Concealment 방법을 사용함을 특징으로 한다. In addition, when the macroblock in which the error occurs is the first macroblock of the currently input video frame, a Spatial Error Concealment method is used when the currently input frame is an I-frame, and a Temporal Error Concealment method when a P-frame is used. It is characterized by.
또한, 상기 에러가 발생된 매크로 블록이 현재 입력된 동영상 프레임의 첫번째 매크로 블록을 제외한 첫째 행의 매크로 블록일 때, 상기 에러가 발생된 매크로 블록 바로 이전의 매크로 블록을 참조하여, 참조 매크로 블록의 모드가 인트라 모드인 경우에는 Spatial Error Concealment 방법을, 인터 모드 또는 낫-코디드 모드인 경우에는 Temporal Error Concealment 방법을 사용함을 특징으로 한다.Also, when the macro block in which the error occurs is a macro block of the first row except for the first macro block of the currently input video frame, the reference macro block is referred to by referring to the macro block immediately before the macro block in which the error occurs. Spatial Error Concealment method is used in case of Intra mode, and Temporal Error Concealment method is used in case of Inter mode or Not-coded mode.
또한, 상기 에러가 발생된 매크로 블록이 현재 입력된 동영상 프레임의 첫번째 매크로 블록을 제외한 첫째 열의 매크로 블록일 때, 상기 에러가 발생된 매크로 블록 바로 위의 매크로 블록을 참조하여, 참조 매크로 블록의 모드가 인트라 모드인 경우에는 Spatial Error Concealment 방법을, 인터 모드 또는 낫-코디드 모드인 경우에는 Temporal Error Concealment 방법을 사용함을 특징으로 한다.In addition, when the macro block in which the error occurs is a macro block in the first column except for the first macro block of the currently input video frame, the mode of the reference macro block is referred to by referring to the macro block immediately above the macro block in which the error occurs. In the intra mode, the Spatial Error Concealment method is used, and in the inter mode or sick-coded mode, the Temporal Error Concealment method is used.
또한, 상기 에러가 발생된 매크로 블록이 현재 입력된 동영상 프레임 내부의 매크로 블록일 때, 상기 에러가 발생된 매크로 블록 주변의 매크로 블록 모드를 참조하여, 인트라 모드가 더 많은 경우에는 Spatial Error Concealment 방법을, 인터 모드 또는 낫-코디드 모드가 더 많은 경우에는 Temporal Error Concealment 방법을 사용함을 특징으로 한다. In addition, when the macro block in which the error occurs is a macro block inside the currently inputted video frame, referring to the macro block mode around the macro block in which the error occurs, if the intra mode is more, the Spatial Error Concealment method is performed. In the case of more inter mode or better-coded mode, Temporal Error Concealment method is used.
P-frame 내 매크로 블록의 모드는, 현재 비트 스트림을 복호화하는 것만으로도 복원 가능한 인트라 모드(Intra mode)와, 이전 영상을 참조하여 복호화하는 인터 모드(inter mode), 그리고, 이전 영상의 같은 위치에 해당하는 매크로 블록을 그대로 복사해오는 낫-코디드 모드(Not-Coded mode)로 나뉘어 진다.The mode of a macroblock in a P-frame includes an intra mode that can be restored only by decoding the current bit stream, an inter mode that decodes by referring to a previous video, and the same position of the previous video. It is divided into Not-Coded mode, which directly copies the macro block corresponding to.
즉, 전송하려는 동영상 프레임에 있어 상기 프레임 내의 소정 매크로 블록이 현 영상 내에서 주위의 영상에 상관관계가 더 높을 경우에는 상기 인트라 모드로 부호화(encoding)되고, 이전 영상에 상관관계가 더 높을 경우에 상기 인터 모드 또는 낫-코디드 모드로 부호화되어 전송된다. That is, in a video frame to be transmitted, when a predetermined macroblock in the frame has a higher correlation with the surrounding video in the current video, the macro mode is encoded in the intra mode, and when the correlation with the previous video is higher. Coded and transmitted in the inter mode or better-coded mode.
따라서, 상기 P-frame에 대한 에러 은닉 수행 시, 상기 인트라 모드의 매크로 블록이 많은 경우에는 Spatial Error Concealment 방법이, 상기 인터 모드 또는 낫-코디드 모드의 매크로 블록이 많은 경우에는 Temporal Error Concealment 방법이 더 효과적일 것이다. Accordingly, when performing error concealment for the P-frame, the Spatial Error Concealment method is used when there are many macro blocks in the intra mode, and the Temporal Error Concealment method when there are many macro blocks in the inter mode or sick coded mode. Will be more effective.
그러나, 앞서 설명한 바와 같이 종래의 경우에는 상기 P-frame에 대한 에러 은닉에 대해서 항상 Temporal Error Concealment 방법을 고정적으로 수행하였다. However, as described above, in the conventional case, the Temporal Error Concealment method is always fixed to the error concealment for the P-frame.
본 발명은 상기 사항을 반영하여 동영상 복호화 시 에러 은닉을 더욱 효과적으로 수행하기 위해서 현재 프레임의 타입과 상관없이 주변의 매크로 블록의 모드에 따라서 에러 은닉을 수행하는 방법에 관한 것이다. The present invention relates to a method of performing error concealment according to a mode of a neighboring macroblock regardless of the type of a current frame in order to more effectively perform error concealment when decoding a video by reflecting the above.
즉, 본 발명은 MPEG-4 복호화기에서 에러 은닉 수행시 프레임(frame)의 타입에 상관없이, 에러가 발생한 매크로 블록의 주위에 있는 매크로 블록들의 모드 정보를 이용하여 Spatial Error Concealment 또는 Temporal Error Concealment를 선택하여 적용함으로써, 에러 은닉의 성능을 향상시키는 것을 그 목적으로 한다.That is, the present invention uses Spatial Error Concealment or Temporal Error Concealment by using mode information of macroblocks around the macroblock in which an error occurs regardless of the type of a frame when performing error concealment in the MPEG-4 decoder. The purpose is to improve the performance of error concealment by selecting and applying.
이하, 첨부된 도면을 참조하여 본 발명에 의한 실시예를 보다 상세히 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명에 의한 동영상 복호화 에러 은닉 방법을 설명하는 순서도이다.3 is a flowchart illustrating a video decoding error concealment method according to the present invention.
도 3을 참조하여 본 발명에 의한 동영상 복호화 시 에러 은닉 방법 즉, 패킷 또는 서킷 망을 통한 MPEG-4 비트 스트림 전송 시, 채널 에러로 인한 복호화 영상 품질 저하를 방지하기 위한 MPEG-4 복호화 시 에러 은닉 방법을 설명하면 다음과 같다. Referring to FIG. 3, an error concealment method for video decoding according to the present invention, that is, an error concealment during MPEG-4 decoding to prevent degradation of a decoded video quality due to a channel error when transmitting an MPEG-4 bit stream through a packet or a circuit network The method is as follows.
먼저 입력 비트 스트림에 대하여, 현재 입력되는 동영상 비트 스트림의 프레임 내에 에러가 발생되었는지 탐지한다. (ST 300)First, with respect to the input bit stream, it is detected whether an error has occurred in the frame of the currently input video bit stream. (ST 300)
즉, 부호화(encoding) 전송되어 복호화기(decoder)에 입력된 비트 스트림에 대하여, 이를 복호화하는 도중 상기 현재 입력된 동영상 비트 스트림의 프레임 내에 에러가 발생되었는지 상기 복호화기에 구비된 에러 탐지부를 통해 탐지하게 된다.That is, the bit stream encoded and input to the decoder detects whether an error occurs in a frame of the currently input video bit stream while decoding the bit stream through an error detector provided in the decoder. do.
이 때, 상기 에러의 탐지는 한 프레임 내에서 에러가 발생한 부분 즉, 에러가 발생된 특정 매크로 블록의 위치 정보 등이 탐지된다.At this time, the detection of the error is a portion in which an error occurs in one frame, that is, the location information of the specific macro block in which the error occurred.
다음으로 상기 현재 입력된 동영상 프레임의 내 특정 매크로 블록에 에러가 발생된 경우, 상기 특정 매크로 블록의 주변 매크로 블록의 소정 정보를 참조한다. (ST 310)Next, when an error occurs in a specific macro block in the currently input video frame, the predetermined information of a neighboring macro block of the specific macro block is referred to. (ST 310)
여기서, 상기 소정 정보는 주변 매크로 블록의 모드 정보를 의미하며, 상기 매크로 블록의 모드는, 앞서 설명한 바와 같이 현재 비트 스트림을 복호화하는 것만으로도 복원 가능한 인트라 모드(Intra mode)와, 이전 영상을 참조하여 복호화하는 인터 모드(inter mode), 그리고, 이전 영상의 같은 위치에 해당하는 매크로 블록을 그대로 복사해오는 낫-코디드 모드(Not-Coded mode)가 있다.Here, the predetermined information means mode information of a neighboring macroblock, and the mode of the macroblock refers to an intra mode that can be restored only by decoding the current bit stream as described above, and a previous image. And an inter mode for decoding, and a not-coded mode for copying a macroblock corresponding to the same position of a previous image as it is.
또한, 상기 주변 매크로 블록은 동일 프레임 내에서 상기 에러가 발생된 매크로 블록 이전의 매크로 블록임을 특징으로 한다. The peripheral macroblock may be a macroblock before the macroblock in which the error occurs in the same frame.
이 때, 모드를 참조하는 매크로 블록은 정상적으로 복호화된 매크로 블록으로 가정하며, 또한, 현재 프레임을 복호화하는 동안 이전에 복호화된 매크로 블록의 모드 정보는 계속 저장되어 있다고 가정한다.In this case, it is assumed that the macro block referring to the mode is a normally decoded macro block, and that mode information of a previously decoded macro block is still stored while decoding the current frame.
그 다음 상기 참조한 주변 매크로 블록의 소정 정보를 통해 상기 에러가 발생된 매크로 블록에 대한 에러 은닉 방법을 선택한다. (ST 320)Next, an error concealment method for the macroblock in which the error occurs is selected through predetermined information of the referenced neighboring macroblock. (ST 320)
즉, 상기 참조한 주변 매크로 블록에 대해서, 인트라 모드의 매크로 블록이 많은 경우에는 Spatial Error Concealment 방법을 사용하고, 인터 모드 또는 낫-코디드 모드의 매크로 블록이 많은 경우에는 Temporal Error Concealment 방법을 사용하는 것이다. 이는 이하 도 4를 통해 보다 구체적으로 설명하도록 한다.In other words, the Spatial Error Concealment method is used when there are a lot of intra mode macroblocks, and the Temporal Error Concealment method is used when there are a lot of macroblocks in inter mode or sick-coded mode. . This will be described below in more detail with reference to FIG. 4.
마지막으로 상기 선택된 에러 은닉 방법에 따라 에러 은닉이 수행되며, 이와 같이 에러가 발생한 매크로 블록 주변에 구비된 매크로 블록의 모드 정보를 참조하여 Spatial Error Concealment 또는 Temporal Error Concealment 중 에러 은닉이 더 효과적인 방법을 선택하여 수행함으로써, 수신측의 영상 품질 향상을 기할 수 있게 되는 것이다. (ST 330)Finally, error concealment is performed according to the selected error concealment method, and the method of error concealment among the Spatial Error Concealment or Temporal Error Concealment is selected by referring to the mode information of the macro block provided around the macro block in which the error has occurred. By doing so, it is possible to improve the image quality of the receiving side. (ST 330)
도 4는 본 발명에 의해 에러가 발생된 매크로 블록의 위치에 따라 어떤 매크로 블록의 모드를 참조하여 에러 은닉 방법을 결정할 것인지 설명하는 도면이다.4 is a diagram illustrating which macroblock mode is used to determine an error concealment method according to the position of a macroblock in which an error occurs according to the present invention.
단, 모드를 참조하는 매크로 블록은 정상적으로 복호화된 매크로 블록이며, 현재 프레임을 복호화하는 동안 이전에 복호화된 매크로 블록의 모드 정보는 계속 저장되어 있는 것으로 가정한다. However, it is assumed that a macroblock referring to a mode is a normally decoded macroblock, and mode information of a previously decoded macroblock is continuously stored while decoding a current frame.
먼저 도 4(a)는 한 화면 즉, 현재 입력된 동영상 프레임(400)의 첫번째 매크로 블록(410)에서 에러가 발생했을 경우 이에 대한 에러 은닉을 설명하는 것으로, 이 때에는 참조할 수 있는 매크로 블록이 현재 입력된 프레임 내에는 없으므로 상기 프레임(400)의 타입 즉, I-frame 또는 P-frame 인지 여부에 의해 에러 은닉 방법을 결정한다.First, FIG. 4 (a) illustrates error concealment when an error occurs in one screen, that is, the first macro block 410 of the currently input video frame 400. Since it is not within the currently input frame, the error concealment method is determined by the type of the frame 400, that is, whether the frame is an I-frame or a P-frame.
즉, 상기 현재 입력된 프레임(400)이 I-frame일 경우 Spatial Error Concealment 방법을, P-frame일 경우 Temporal Error Concealment 방법을 사용한다. That is, when the currently input frame 400 is an I-frame, a Spatial Error Concealment method is used, and when a P-frame is used, a Temporal Error Concealment method is used.
다음으로 도 4(b)는 현재 입력된 동영상 프레임(400)의 첫번째 매크로 블록을 제외한 첫째 행의 매크로 블록(420)에서 에러가 발생한 경우 이에 대한 에러 은닉을 설명하는 것으로, 이 때에는 에러가 발생된 매크로 블록(420) 바로 이전의 매크로 블록(422)을 참조할 수 있다. Next, FIG. 4B illustrates error concealment when an error occurs in the macroblock 420 of the first row except for the first macroblock of the currently input video frame 400. In this case, an error is generated. Reference may be made to macroblock 422 immediately preceding macroblock 420.
즉, 도시된 바와 같이 A의 위치에 해당하는 매크로 블록(A MB)(422)의 모드를 참조한다. 이 때, 상기 A 매크로 블록(422)의 모드가 인트라 모드인 경우에는 Spatial Error Concealment 방법을, 인터 모드 또는 낫-코디드 모드인 경우에는 Temporal Error Concealment 방법을 사용한다. That is, as shown, the mode of the macro block (A MB) 422 corresponding to the position of A is referred to. In this case, when the mode of the A macroblock 422 is an intra mode, the Spatial Error Concealment method is used, and when the inter mode or better-coded mode is used, the Temporal Error Concealment method is used.
다음으로 도 4(c)는 현재 입력된 동영상 프레임(400)의 첫번째 매크로 블록을 제외한 첫째 열의 매크로 블록(430)에서 에러가 발생한 경우 이에 대한 에러 은닉을 설명하는 것으로, 이 때에는 에러가 발생된 매크로 블록(430) 바로 위의 매크로 블록(432)을 참조할 수 있다. Next, FIG. 4 (c) illustrates error concealment when an error occurs in the macroblock 430 of the first column except for the first macroblock of the currently input video frame 400. In this case, an error generated macro See macroblock 432 directly above block 430.
즉, 도시된 바와 같이 B의 위치에 해당하는 매크로 블록(B MB)(432)의 모드를 참조한다. 이 때, 상기 B 매크로 블록(432)의 모드가 인트라 모드인 경우에는 Spatial Error Concealment 방법을, 인터 모드 또는 낫-코디드 모드인 경우에는 Temporal Error Concealment 방법을 사용한다. That is, as shown, reference is made to the mode of the macro block (B MB) 432 corresponding to the position of B. FIG. In this case, when the mode of the B macroblock 432 is an intra mode, the Spatial Error Concealment method is used, and when the inter mode or better-coded mode is used, the Temporal Error Concealment method is used.
마지막으로 도 4(d)는 현재 입력된 동영상 프레임(400) 내부의 매크로 블록(440)에서 에러가 발생한 경우 이에 대한 에러 은닉을 설명하는 것으로, 이 경우는 여러 매크로 블록을 참조할 수 있는 데, 일례로 이전 매크로 블록(A MB)(442)과 바로 위의 매크로 블록(B MB)(444)과 왼쪽 위의 매크로 블록(C MB)(446)을 참조할 수 있다. Finally, FIG. 4 (d) illustrates error concealment when an error occurs in the macro block 440 inside the currently input video frame 400. In this case, various macro blocks may be referred to. For example, reference may be made to the previous macro block (A MB) 442, the macro block (B MB) 444 immediately above and the macro block (C MB) 446 at the upper left.
즉, 상기 3개 매크로 블록(442, 444, 446)의 모드를 참조하여, 상기 3개 매크로 블록 모드 중 인트라 모드가 더 많은 경우에는 Spatial Error Concealment 방법을, 인터 모드 또는 낫-코디드 모드가 더 많은 경우에는 Temporal Error Concealment 방법을 사용한다. That is, with reference to the modes of the three macroblocks 442, 444, and 446, when the intra mode is more than the three macroblock modes, the Spatial Error Concealment method may be used in the inter mode or the better-coded mode. In many cases, the Temporal Error Concealment method is used.
이와 같은 본 발명에 따른 동영상 복호화 시 에러 은닉 방법에 의하면, 에러가 발생한 매크로 블록 주변에 구비된 매크로 블록의 모드 정보를 참조하여 Spatial Error Concealment 또는 Temporal Error Concealment 중 에러 은닉이 더 효과적인 방법을 선택하여 이를 수행함으로써, 수신측의 영상 품질 향상을 기할 수 있다는 장점이 있다.According to the error concealment method when decoding a video according to the present invention, the method of error concealment among Spatial Error Concealment or Temporal Error Concealment is selected by referring to the mode information of the macro block provided around the macroblock in which the error occurs. By doing so, there is an advantage that the image quality of the receiving side can be improved.
도 1은 종래의 에러 대응 MPEG-4 복호화기의 일반적인 구조를 나타내는 블록도.1 is a block diagram showing a general structure of a conventional error-corresponding MPEG-4 decoder.
도 2a 및 도 2b는 각각 Spatial Error Concealment 및 Temporal Error Concealment를 설명하는 도면.2A and 2B illustrate Spatial Error Concealment and Temporal Error Concealment, respectively.
도 3은 본 발명에 의한 동영상 복호화 에러 은닉 방법을 설명하는 순서도.3 is a flowchart illustrating a video decoding error concealment method according to the present invention.
도 4는 본 발명에 의해 에러가 발생된 매크로 블록의 위치에 따라 어떤 매크로 블록의 모드를 참조하여 에러 은닉 방법을 결정할 것인지 설명하는 도면.4 is a diagram for explaining which mode of a macroblock to determine an error concealment method according to the position of a macroblock in which an error has occurred according to the present invention;
<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
400 : 현재 입력된 동영상 프레임 410 : 첫번째 매크로 블록400: Movie frame currently input 410: First macro block
420 : 첫째 행의 매크로 블록 430 : 첫째 열의 매크로 블록420: macro block of the first row 430: macro block of the first column
440 : 내부의 매크로 블록440: macro blocks inside
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040014880A KR20050089457A (en) | 2004-03-05 | 2004-03-05 | Error concealment method in decoding motion picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040014880A KR20050089457A (en) | 2004-03-05 | 2004-03-05 | Error concealment method in decoding motion picture |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050089457A true KR20050089457A (en) | 2005-09-08 |
Family
ID=37271873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040014880A Withdrawn KR20050089457A (en) | 2004-03-05 | 2004-03-05 | Error concealment method in decoding motion picture |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050089457A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008066264A1 (en) * | 2006-11-28 | 2008-06-05 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| WO2008156968A3 (en) * | 2007-06-20 | 2009-02-19 | Microsoft Corp | Mechanisms to conceal real time video artifacts caused by frame loss |
-
2004
- 2004-03-05 KR KR1020040014880A patent/KR20050089457A/en not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008066264A1 (en) * | 2006-11-28 | 2008-06-05 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| KR100862662B1 (en) * | 2006-11-28 | 2008-10-10 | 삼성전자주식회사 | Frame error concealment method and apparatus, audio signal decoding method and apparatus using same |
| US8843798B2 (en) | 2006-11-28 | 2014-09-23 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| US9424851B2 (en) | 2006-11-28 | 2016-08-23 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| US10096323B2 (en) | 2006-11-28 | 2018-10-09 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| WO2008156968A3 (en) * | 2007-06-20 | 2009-02-19 | Microsoft Corp | Mechanisms to conceal real time video artifacts caused by frame loss |
| US8605779B2 (en) | 2007-06-20 | 2013-12-10 | Microsoft Corporation | Mechanisms to conceal real time video artifacts caused by frame loss |
| US9876986B2 (en) | 2007-06-20 | 2018-01-23 | Microsoft Technology Licensing, Llc | Mechanisms to conceal real time video artifacts caused by frame loss |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5007322B2 (en) | Video encoding method | |
| CN100394802C (en) | Video signal encoding/decoding method and device, and corresponding radio telecommunication device | |
| US6259736B1 (en) | Video encoder and video encoding method | |
| JP5536174B2 (en) | Method and apparatus for detecting and concealing reference video frames and non-reference video frames | |
| JP3923898B2 (en) | Image coding method and apparatus | |
| US8612498B2 (en) | Channel switch frame | |
| US20050002458A1 (en) | Spatial scalable compression | |
| JP3519441B2 (en) | Video transmission equipment | |
| JP4004597B2 (en) | Video signal error concealment device | |
| KR100827091B1 (en) | Loss concealment method for video decoding and decoding device using same | |
| KR100967731B1 (en) | Channel switch frame | |
| KR20040018043A (en) | Variable length coding method for moving picture | |
| KR20050089457A (en) | Error concealment method in decoding motion picture | |
| KR100454526B1 (en) | Error concealment method of Itra coded frame by spatio-temporal information | |
| WO2001008420A1 (en) | Device for encoding motion picture signals and encoding method | |
| JPH09163378A (en) | Motion-compensated interframe / intraframe encoding device, refresh control method thereof, and moving image decoding device | |
| KR20030033123A (en) | Error concealment device using samples of adjacent pixel and method thereof | |
| KR20050089454A (en) | Error concealment method in decoding motion picture | |
| CN100486338C (en) | Fault disguising method for dynamic image decoding by using multi-frame buffer | |
| KR20050099080A (en) | Video quality improvement method in moving picture decoding | |
| KR20050089453A (en) | Error concealment method in decoding motion picture by using multiple frame buffer | |
| KR20050099079A (en) | Error concealment method in decoding motion picture | |
| KR100557118B1 (en) | Video decoder and decoding method using the same | |
| KR100564967B1 (en) | Video decoder and decoding method using the same | |
| KR100590328B1 (en) | Video decoder and decoding method using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20040305 |
|
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |