RS56448B1

RS56448B1 - Metod i aparat za multipleksiranje i demultipleksiranje video podataka za identifikovanje stanja reprodukcije video podataka

Info

Publication number: RS56448B1
Application number: RS20170994A
Authority: RS
Inventors: Young-O Park; Kwang-Pyo Choi; Chan-Yul Kim; Hee-Chul Yang
Original assignee: Samsung Electronics Co Ltd
Priority date: 2011-07-02
Filing date: 2012-07-02
Publication date: 2018-01-31
Also published as: RS57976B1; TW201717639A; PH12017501055A1; CY1119757T1; KR20170094097A; LT3267681T; TWI637628B; TW201626800A; MX337077B; TWI526053B; KR101872978B1; HRP20171487T1; EP2728861B1; TWI604720B; CY1120978T1; EP2728861A4; MX2014000048A; KR101648557B1; PT3267681T; CA2840893C

Description

TEHNIČKA OBLAST

Predloženi pronalazak se odnosi na metod za dekodiranje video zapisa.

OSNOVA PRONALASKA

Video kodek, uključujući ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262(ISO/IEC MPEG-2 Visual), ITU-T H.264, ISO/IEC MPEG-4 Visual i ITU-T H.264(ISO/IEC MPEG-4 AVC) obavlja prediktivno kodiranje na makrobloku putem inter predikcije ili intra predikcije, generiše tok bitova koji sadrži kodirane podatke slike prema unapred određenom formatu definisanom svakim video kodekom i emituje tok bitova. Predlog za standardizaciju YING CHEN ET AL, "Comments on Clean Decoding Refresh Pictures", 5. JCT-VC MEETING; 96. MPEG MEETING; 16-3-2011 - 23-3-2011; GENEVA; URL:

HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/, no. JCTVC-E400 dodatno opisuje osnovu pronalaska.

DETALJAN OPIS PRONALASKA TEHNIČKI PROBLEM

Predloženi pronalazak definiše novi tip intra slike za reprodukciju nasumičnog pristupa i obezbeđuje metod i aparat za identifikovanje statusa normalne reprodukcije i status nasumične reprodukcije pomoću hardvera ili softvera povezanog sa aparatom za dekodiranje.

TEHNIČKO REŠENJE

Shodno realizacijama predloženog pronalaska, status reprodukcije intra slike može da se identifikuje putem sintakse uključene u unapred određene podatke prenosa.

POVOLJNI EFEKTI

Shodno realizacijama predloženog pronalaska, status normalne reprodukcije i status nasumične reprodukcije može da identifikuje hardver ili softver povezan sa aparatom za dekodiranje, tako da se omogući čuvanje resursa sistema koji se koristi za dekodiranje slika čije dekodiranje nije potrebno.

OPIS CRTEŽA SL. 1 predstavlja blok dijagram aparata za kodiranje video zapisa.

SL. 2 predstavlja blok dijagram aparata za dekodiranje video zapisa.

SL. 3 predstavlja dijagram za opisivanje koncepta jedinica za kodiranje.

SL. 4 predstavlja blok dijagram za koder slike na osnovu kodiranja.

SL. 5 predstavlja blok dijagram dekodera slike na osnovu jedinica za kodiranje.

SL. 6 predstavlja dijagram koji ilustruje jedinice za dublje kodiranje shodno dubinama i particijama.

SL. 7 predstavlja dijagram za opisivanje veze između jedinice za kodiranje i jedinica za transformaciju.

SL. 8 predstavlja dijagram za opisivanje informacija o kodiranju jedinica za kodiranje koje odgovaraju kodiranoj dubini.

SL. 9 predstavlja dijagram jedinice za dublje kodiranje shodno dubinama.

SL. 10 do 12 su dijagrami za opisivanje veze između jedinica za kodiranje, jedinica za predikciju i jedinica za transformaciju.

SL. 13 predstavlja dijagram za opisivanje veze između jedinice za kodiranje, jedinice za predikciju ili particije i jedinice za transformaciju, shodno informacijama o režimima kodiranja iz tabele 1.

SL. 14A i 14B ilustruju proces dekodiranja slike sa potpuno nasumičnim pristupom (CRA) u normalnoj reprodukciji i nasumičnom pristupu, shodno realizaciji predloženog pronalaska.

SL. 15 ilustruje strukturu aparata za multipleksiranje video podataka.

SL. 16 ilustruje strukturu jedinice apstrakcionog sloja mreže (NAL) za korišćenje u realizaciji predloženog pronalaska.

SL. 17A i 17B ilustruju proces dekodiranja CRA slike u normalnoj reprodukciji i nasumičnom pristupu.

SL. 18 predstavlja dijagram toka metoda multipleksiranja video podataka.

SL. 19 ilustruje strukturu aparata za inverzno multipleksiranje video podataka 1900 operativnog za obavljanje koraka u metodima shodno primeru realizacija trenutnog pronalaska.

SL. 20 predstavlja dijagram toka metoda inverznog multipleksiranja video podataka.

NAJBOLJI NAČIN

Shodno aspektu predloženog pronalaska, obezbeđen je metod, kao što je navedeno u pratećem patentnom zahtevu 1.

OPIS PRONALASKA

U daljem tekstu, predmetni pronalazak je detaljno opisan uz objašnjenje predstavljenih realizacija pronalaska i pozivanje na priložene crteže. U ovoj specifikaciji, slika može da uključi nepokretnu sliku i pokretnu sliku i može da se nazove video zapisom. Takođe, u specifikaciji, okvir slike može da se naziva slikom.

SL. 1 je blok dijagram aparata za kodiranje video zapisa 100.

Aparat za kodiranje video zapisa 100 uključuje razdelnik maksimalne jedinice za kodiranje 110, determinator jedinice za kodiranje 120 i jedinicu za izlazne informacije kodiranja 130.

Razdelnik maksimalne jedinice za kodiranje 110 može da razdeli trenutnu sliku na osnovu maksimalne jedinice za kodiranje za trenutni prikaz slike. Ukoliko je trenutna slika veća od maksimalne jedinice za kodiranje, podaci trenutne slike mogu da se podele na najmanje jednu maksimalnu jedinicu za kodiranje. Maksimalna jedinica za kodiranje može biti jedinica podataka koja ima veličinu od 32x32, 64x64, 128x128, 256x256, itd. u kojoj je oblik jedinice podataka kvadrat sa širinom i dužinom od kojih svaka predstavlja umnožak od 2 i veća je od 8. Podaci slike mogu biti izlaz determinatora jedinice za kodiranje 120 shodno najmanje jednoj maksimalnoj jedinici za kodiranje.

Jedinica za kodiranje može da se karakteriše maksimalnom veličinom i dubinom.

Dubina označava koliko puta je jedinica za kodiranje prostorno odvojena od maksimalne jedinice za kodiranje, i, kako se dubina povećava, dublje jedinice za kodiranje shodno dubinama mogu da se podele sa maksimalne jedinice za kodiranje na minimalnu jedinicu za kodiranje. Dubina maksimalne jedinice za kodiranje je najveća dubina, a dubina minimalne jedinice za kodiranje je najmanja dubina. Pošto se veličina jedinice za kodiranje koja odgovara svakoj dubini smanjuje kako se dubina maksimalne jedinice za kodiranje povećava, jedinica za kodiranje koja odgovara većoj dubini može da obuhvati veliki broj jedinica za kodiranje koje odgovaraju manjim dubinama.

Kao što je već opisano, podaci trenutne slike se dele u maksimalne jedinice za kodiranje shodno maksimalnoj veličini jedinice za kodiranje i svaka od maksimalnih jedinica za kodiranje može da uključi dublje jedinice za kodiranje koje se dele shodno njihovim dubinama. Pošto je maksimalna jedinica za kodiranje podeljena shodno dubinama, podaci slike prostornog domena uključeni u maksimalnu jedinicu za kodiranje mogu biti hijerarhijski klasifikovani shodno dubinama.

Maksimalna dubina i maksimalna veličina jedinice za kodiranje, koje ograničavaju ukupan broj puta kada su visina i širina maksimalne jedinice za kodiranje hijerarhijski podeljene, mogu se unapred odrediti.

Determinator jedinice za kodiranje 120 kodira najmanje jednu deljenu oblast dobijenu deljenjem oblasti maksimalne jedinice za kodiranje shodno dubinama i određuje dubinu izlaznog signala konačnih kodiranih podataka slike shodno najmanje jednoj deljenoj oblasti. Drugim rečima, determinator jedinice za kodiranje 120 određuje kodiranu dubinu kodiranjem podataka slike u dubljim jedinicama za kodiranje shodno dubinama, shodno maksimalnoj jedinici za kodiranje trenutne slike i izborom dubine koja ima najmanje jednu grešku kodiranja. Stoga, podaci kodirane slike jedinice za kodiranje koja odgovara određenoj dubini kodiranja predstavljaju konačne izlazne podatke. Takođe, jedinice za kodiranje koje odgovaraju kodiranoj dubini mogu da se posmatraju kao kodirane jedinice za kodiranje.

Određena kodirana dubina i podaci kodirane slike za svaku maksimalnu jedinicu za kodiranje su izlazni podaci jedinice za izlazne podatke 130.

Podaci slike u maksimalnoj jedinici za kodiranje se kodiraju na osnovu jedinica za dublje kodiranje koje odgovaraju najmanje jednoj dubini koja je jednaka ili manja od maksimalne dubine, a rezultati kodiranja podataka slike se porede na osnovu svake jedinice za dublje kodiranje. Dubina koja ima najmanju grešku kodiranja može da se izabere nakon poređenja grešaka kodiranja jedinica za dublje kodiranje. Za svaku maksimalnu jedinicu za kodiranje može da se izabere najmanje jedna kodirana dubina.

Veličina maksimalne jedinice za kodiranje se deli dok se jedinica za kodiranje hijerarhijski deli shodno dubinama, a broj jedinica za kodiranje se povećava. Takođe, čak iako jedinice za kodiranje odgovaraju istoj dubini u jednoj maksimalnoj jedinici za kodiranje, određeno je da li se svaka od jedinica za kodiranje koja odgovara istoj dubini deli na manju dubinu merenjem greške kodiranja podataka slike svake jedinice za kodiranje posebno. Shodno tome, čak i kada su podaci slike uključeni u jednu maksimalnu jedinicu za kodiranje, podaci slike se dele u regione shodno dubinama, a greške kodiranja se mogu razlikovati shodno regionima u jednoj maksimalnoj jedinici za kodiranje, i stoga se kodirane dubine mogu razlikovati shodno regionima u podacima slike. Stoga, jedna ili više kodiranih dubina mogu da se odrede u jednoj maksimalnoj jedinici za kodiranje, a podaci slike maksimalne jedinice za kodiranje mogu da se podele shodno jedinicama za kodiranje najmanje jedne kodirane dubine.

Shodno tome, determinator jedinice za kodiranje 120 može da odredi jedinice za kodiranje koje imaju strukturu stabla uključenu u maksimalnu jedinicu za kodiranje. „Jedinice za kodiranje koje imaju strukturu stabla“ uključuju jedinice za kodiranje koje odgovaraju dubini koja je utvrđena kao kodirana dubina među svim dubljim jedinicama za kodiranje uključenim u maksimalnu jedinicu za kodiranje. Jedinica za kodiranje kodirane dubine može se hijerarhijski odrediti shodno dubinama u istoj oblasti maksimalne jedinice za kodiranje i može se nezavisno odrediti u različitim oblastima. Slično, kodirana dubina u trenutnom regionu može biti nezavisno određena iz kodirane dubine drugog regiona.

Maksimalna dubina je indeks povezan sa brojem vremena podele iz maksimalne jedinice za kodiranje u minimalnu jedinicu za kodiranje. Prva maksimalna dubina može da označi ukupan broj vremena podele iz maksimalne jedinice za kodiranje u minimalnu jedinicu za kodiranje. Druga maksimalna dubina može da označi ukupan broj nivoa dubine iz maksimalne jedinice za kodiranje u minimalnu jedinicu za kodiranje. Na primer, kada je dubina maksimalne jedinice za kodiranje 0, dubina jedinice za kodiranje u kojoj je maksimalna jedinica za kodiranje podeljena jednom, može da se postavi na 1, a dubina jedinice za kodiranje u kojoj je maksimalna jedinica za kodiranje podeljena dva puta, može da se postavi na 2. Ovde, ukoliko je minimalna jedinica za kodiranje jedinica za kodiranje u kojoj je maksimalna jedinica za kodiranje podeljena četiri puta, postoji 5 nivoa dubine 0, 1, 2, 3 i 4 i stoga prva maksimalna dubina može da se postavi na 4, a druga maksimalna dubina može da se postavi na 5.

Prediktivno kodiranje i transformacija mogu da se primene shodno maksimalnoj jedinici za kodiranje. Prediktivno kodiranje i transformacija se takođe obavljaju na osnovu jedinica za dublje kodiranje shodno dubini koja je jednaka ili manja od maksimalne dubine, shodno maksimalnoj jedinici za kodiranje. Transformacija može da se primeni shodno metodu ortogonalne transformacije ili integralne transformacije.

Pošto se broj jedinica za dublje kodiranje povećava uvek kada se maksimalna jedinica za kodiranje podeli shodno dubinama, kodiranje koje uključuje prediktivno kodiranje i transformaciju se obavlja na svim jedinicama za dublje kodiranje koje se generišu dok se dubina povećava. Radi lakšeg opisa, prediktivno kodiranje i transformacija biće sada opisani na osnovu jedinice za kodiranje trenutne dubine u maksimalnoj jedinici za kodiranje.

Aparat za kodiranje video zapisa 100 može na različite načine da izabere veličinu i oblik jedinice podataka za kodiranje podataka slike. Da bi se kodirali podaci slike, obavljaju se operacije, kao što su prediktivno kodiranje, transformacija i entropijsko kodiranje, i za to vreme može da se koristi ista jedinica podataka za sve operacije ili različite jedinice podataka mogu da se koriste za svaku operaciju.

Na primer, aparat za kodiranje video zapisa 100 može da izabere ne samo jedinicu za kodiranje za kodiranje podataka slike, već i jedinicu podataka koja se razlikuje od jedinice za kodiranje da bi obavio prediktivno kodiranje podataka slike u jedinici za kodiranje.

Da bi se obavilo prediktivno kodiranje u maksimalnoj jedinici za kodiranje, prediktivno kodiranje može da se vrši na osnovu jedinice za kodiranje koja odgovara kodiranoj dubini, tj. na osnovu jedinice za kodiranje koja više nije podeljena na jedinice za kodiranje koje odgovaraju manjoj dubini. U daljem tekstu, jedinica za kodiranje koja više nije podeljena i postaje osnovna jedinica za prediktivno kodiranje će se sada nazivati „jedinica za predikciju“. Particija koja se dobija deljenjem jedinice za predikciju može da uključi jedinicu za predikciju ili jedinicu podataka koja se dobija podelom najmanje jedne visine i širine jedinice za predikciju.

Na primer, kada se jedinica za kodiranje 2Nx2N (gde je N pozitivan ceo broj) više ne deli i postaje jedinica za predikciju 2Nx2N, veličina particije može biti 2Nx2N, 2NxN, Nx2N ili NxN. Primeri tipa particije uključuju simetrične particije koje se dobijaju simetričnim deljenjem visine ili širine jedinice za predikciju, particije dobijene asimetričnim deljenjem visine ili širine jedinice za predikciju, kao što su 1:n ili n:1, particije koje se dobijaju geometrijskim deljenjem visine ili širine jedinice za predikciju i particije koje imaju proizvoljne oblike.

Režim predikcije jedinice za predikciju može biti najmanje jedan intra režim, inter režim i režim preskakanja. Na primer, intra režim ili inter režim mogu da se obave na particiji 2Nx2N, 2NxN, Nx2N ili NxN. Takođe, režim preskakanja može da se obavi samo na particiji 2Nx2N. Kodiranje se nezavisno obavlja na jednoj jedinici za predikciju u jedinici za kodiranje, čime se bira režim za predikciju koji ima najmanju grešku kodiranja.

Aparat za kodiranje video zapisa 100 takođe može da obavi transformaciju podataka slike u jedinici za kodiranje ne samo na osnovu jedinice za kodiranje za kodiranje podataka slike, već i na osnovu jedinice podataka koja se razlikuje od jedinice za kodiranje.

Da bi se obavila transformacija jedinice za kodiranje, ona može da se obavi na osnovu jedinice podataka koja je manja od ili jednaka jedinici za kodiranje. Na primer, jedinica podataka za transformaciju može da uključi jedinicu podataka za intra režim i jedinicu podataka za inter režim.

Jedinica podataka koja se koristi kao osnova transformacije će se u daljem tekstu nazivati „jedinica za transformaciju“. Dubina transformacije koja označava broj vremena podele za dostizanje jedinice za transformaciju deljenjem visine i širine jedinice za kodiranje takođe može da se podesi na jedinici za transformaciju. Na primer, u trenutnoj jedinici za kodiranje veličine 2Nx2N, transformaciona dubina može biti 0 kada je veličina jedinice za transformaciju takođe 2Nx2N, može biti 1 kada su i visina i širina trenutne jedinice za kodiranje podeljene na dva jednaka dela, ukupno podeljene u 4^1 jedinice za transformaciju, a veličina jedinice za transformaciju je stoga NxN i može biti 2 kada su i visina i širina trenutne jedinice za kodiranje podeljene na četiri jednaka dela, ukupno podeljene na 4^2 jedinice za transformaciju, a veličina jedinice za transformaciju je stoga N/2xN/2. Na primer, jedinica za transformaciju može da se podesi shodno hijerarhijskoj strukturi stabla, u kojoj je jedinica za transformaciju gornje transformacione dubine podeljena u četiri jedinice za transformaciju manje transformacione dubine shodno hijerarhijskim karakteristikama transformacione dubine.

Slično jedinici za kodiranje, jedinica za transformaciju u jedinici za kodiranje može se rekurzivno podeliti u oblasti manje veličine, tako da jedinica za transformaciju može nezavisno da se odredi u jedinicama oblasti. Stoga, preostali podaci u jedinici za kodiranje mogu da se podele shodno transformaciji koja ima strukturu stabla shodno dubinama transformacije.

Informacije o kodiranju shodno jedinicama za kodiranje koje odgovaraju kodiranoj dubini zahtevaju ne samo informacije o kodiranoj dubini, već i informacije povezane sa prediktivnim kodiranjem i transformacijom. Shodno tome, determinator jedinice za kodiranje 120 određuje ne samo kodiranu dubinu koja ima najmanju grešku kodiranja, već određuje i tip particije u jedinici za predikciju, režim predikcije shodno jedinicama za predikciju i veličinu jedinice za transformaciju za obavljanje transformacije.

Jedinice za kodiranje shodno strukturi stabla u maksimalnoj jedinici za kodiranje i metodu za određivanje particije će kasnije biti detaljno opisane kasnije uzimajući u obzir SLIKE 3 do 12.

Determinator jedinice za kodiranje 120 može da izmeri grešku kodiranja jedinica za dublje kodiranje shodno dubinama korišćenjem optimizacije brzine izobličenja na osnovu Lagrangeovih multiplikatora.

Jedinica izlaznih podataka 130 emituje podatke slike maksimalne jedinice za kodiranje koja je kodirana na osnovu najmanje jedne kodirane dubine koju je odredio determinator jedinice za kodiranje 120 i informacije o režimu kodiranja shodno kodiranoj dubini u tokovima bitova.

Podaci kodirane slike mogu da se dobiju kodiranjem preostalih podataka slike.

Informacije o režimu kodiranja shodno kodiranoj dubini mogu da uključe informacije o kodiranoj dubini, o tipu particije u jedinici za predikciju, o režimu predikcije i o veličini jedinice za transformaciju.

Informacije o kodiranoj dubini mogu da se definišu korišćenjem deljenih informacija shodno dubinama koje označavaju da li se kodiranje obavlja na jedinicama za kodiranje manje dubine umesto trenutne dubine. Ukoliko je trenutna dubina trenutne jedinice za kodiranje kodirana dubina, podaci slike u trenutnoj jedinici za kodiranje se kodiraju i emituju, čime se može definisati da deljene informacije ne dele trenutnu jedinicu za kodiranje na manje dubine. Alternativno, ukoliko trenutna dubina trenutne jedinice za kodiranje nije kodirana dubina, kodiranje se obavlja na jedinici za kodiranje manje dubine, čime se može definisati da informacije o deljenju dele trenutnu jedinicu za kodiranje da bi se dobile jedinice za kodiranje manje dubine.

Ukoliko trenutna dubina nije kodirana dubina, kodiranje se obavlja na jedinici za kodiranje koja je podeljena na jedinice za kodiranje manje dubine. Pošto najmanje jedna jedinica za kodiranje manje dubine postoji u jednoj jedinici za kodiranje trenutne dubine, kodiranje se ponavlja na svakoj jedinici za kodiranje manje dubine, i stoga kodiranje može rekurzivno da se obavi za jedinice za kodiranje koje imaju istu dubinu.

Pošto su jedinice za kodiranje koje imaju strukturu stabla određene za jednu maksimalnu jedinicu za kodiranje, a informacije o najmanje jednom režimu kodiranja određene za jedinicu za kodiranje kodirane dubine, informacije o najmanje jednom režimu kodiranja mogu da se odrede za jednu maksimalnu jedinicu za kodiranje. Takođe, kodirana dubina podataka slike maksimalne jedinice za kodiranje može da se razlikuje shodno lokacijama pošto su podaci slike hijerarhijski podeljeni shodno dubinama, i stoga, informacije o kodiranoj dubini i režimu kodiranja mogu da se podese za podatke slike.

Shodno tome, jedinica za izlazne podatke 130 može da dodeli informacije o kodiranju o odgovarajućoj kodiranoj dubini i režim kodiranja najmanje jednoj jedinici za kodiranje, jedinici za predikciju i minimalnoj jedinici uključenoj u maksimalnu jedinicu za kodiranje.

Minimalna jedinica može biti pravougaona jedinica podataka dobijena deljenjem minimalne jedinice za kodiranje koja čini najmanju dubinu sa 4, i može biti maksimalna jedinica podataka pravougaonog oblika koja može biti uključena u sve jedinice za kodiranje, jedinice za predikciju, jedinice za particionisanje i jedinice za transformaciju uključene u maksimalnu jedinicu za kodiranje.

Na primer, izlazne informacije o kodiranju putem jedinice za izlazne podatke 130 mogu da se klasifikuju u informacije o kodiranju shodno jedinicama za kodiranje, i u informacije o kodiranju shodno jedinicama za predikciju. Informacije o kodiranju shodno jedinicama za kodiranje mogu da uključe informacije o režimu predikcije i o veličini particija. Informacije o kodiranju shodno jedinicama za predikciju mogu da uključe informacije o procenjenom smeru inter režima, o indeksu referentne slike inter režima, o vektoru pokreta, o komponenti boje intra režima i o metodi interpolacije intra režima. Takođe, informacije o maksimalnoj veličini jedinice za kodiranje definisane shodno slikama, isečcima, ili grupama slika (GOP) i informacije o maksimalnoj dubini mogu da se umetnu u zaglavlje toka bitova.

Razdelnik maksimalne jedinice za kodiranje 110 i determinator jedinice za kodiranje 120 odgovaraju slojevima video kodiranja koji određuju referentni okvir svakog okvira slike formirajući sekvencu slika obavljanjem procene pokreta i kompenzacije pokreta na svakom okviru slike sekvence slike shodno jedinicama za kodiranje i kodiraju svaki okvir slike koristeći određeni referentni okvir.

Takođe, kao što će biti opisano kasnije, jedinica za izlazne podatke 130 mapira sintaksu (max_dec_frame baferovanje) jedinicom apstrakcionog sloja mreže (NAL) i na taj način generiše tok bitova, gde sintaksa označava maksimalnu veličinu bafera potrebnu da bi dekoder dekodirao okvire slike, sintaksu (num_reorder_frames) koja označava broj okvira slike kod kojih je potrebna promena rasporeda i sintaksu (max_latency_increase) koja označava informacije o kašnjenju okvira slike koji ima najveću razliku između redosleda kodiranja i redosleda prikazivanja i koji, među okvirima slika, formira sekvencu slike.

U aparatu za kodiranje video zapisa 100, jedinica za dublje kodiranje može biti jedinica za kodiranje dobijena deljenjem sa dva visine ili širine jedinice za kodiranje veće dubine, koja je jedan sloj iznad. Drugim rečima, kada je veličina jedinice za kodiranje trenutne dubine 2Nx2N, veličina jedinice za kodiranje manje dubine je NxN. Takođe, jedinica za kodiranje trenutne dubine veličine 2Nx2N može da uključi najviše 4 jedinice za kodiranje manje dubine.

Shodno tome, aparat za kodiranje video zapisa 100 može da formira jedinice za kodiranje

1

sa strukturom stabla određivanjem jedinica za kodiranje koje imaju optimalni oblik i optimalnu veličinu za svaku maksimalnu jedinicu za kodiranje na osnovu veličine maksimalne jedinice za kodiranje i maksimalne dubine određene, uzimajući u obzir karakteristike trenutne slike.

Takođe, pošto kodiranje može da se obavi na svakoj maksimalnoj jedinici za kodiranje korišćenjem bilo kog od različitih režima predikcije i transformacije, optimalni režim dekodiranja može da se odredi uzimanjem u obzir karakteristika jedinice za kodiranje različitih veličina slika.

Stoga, ukoliko slika ima visoku rezoluciju ili se velika količina podataka kodira u konvencionalni makroblok, broj makroblokova po slici izrazito raste. Shodno tome, broj komprimovanih informacija generisanih za svaki makroblok raste, što otežava prenos komprimovanih informacija i efikasnost kompresije podataka se smanjuje. Međutim, korišćenjem aparata za kodiranje video zapisa 100, efikasnost kompresije slika može da se poveća pošto se jedinica za kodiranje podešava uzimajući u obzir karakteristike slike i povećavajući maksimalnu veličinu jedinice za kodiranje s obzirom na veličinu slike.

SL. 2 predstavlja blok dijagram aparata za dekodiranje video zapisa 200.

Aparat za dekodiranje video zapisa 200 uključuje prijemnik 210, podatke slike, ekstraktor informacija o kodiranju 220 i dekoder 230. Definicije različitih termina, kao što su jedinica za kodiranje, dubina, jedinica za predikciju, jedinica za transformaciju i informacije o različitim režimima kodiranja za različite operacije aparata za dekodiranje video zapisa 200 su identične kao one opisane uzimajući u obzir sl.1 i aparat za kodiranje video zapisa 100.

Prijemnik 210 prima i raščlanjuje tok bitova kodiranog video zapisa. Ekstraktor informacija o kodiranju i podataka slike 220 izdvaja kodirane podatke slike za svaku jedinicu za kodiranje sa raščlanjenog toka bitova, gde jedinice za kodiranje imaju strukturu stabla shodno svakoj maksimalnoj jedinici za kodiranje i emituje izdvojene podatke o slici na dekoder podataka slike 230. Ekstraktor informacija o kodiranju i podataka slike 220 može da izdvoji informacije o maksimalnoj veličini jedinice za kodiranje trenutne slike iz zaglavlja o trenutnoj slici ili SPS-u.

Takođe, ekstraktor informacija o kodiranju i podataka slike 220 izdvaja informacije o kodiranoj dubini i režimu kodiranja za jedinice za kodiranje koje imaju strukturu stabla

shodno svakoj maksimalnoj jedinici za kodiranje iz raščlanjenog toka bitova. Izdvojene informacije o kodiranoj dubini i režimu kodiranja se emituju do dekodera podataka slike 230. Drugim rečima, podaci slike u toku bitova se dele na maksimalnu jedinicu za kodiranje tako da dekoder podataka slike 230 dekodira podatke slike za svaku maksimalnu jedinicu za kodiranje. Informacije o kodiranoj dubini i režimu kodiranja shodno maksimalnoj jedinici za kodiranje mogu da se podese za informacije o najmanje jednoj jedinici za kodiranje koja odgovara kodiranoj dubini, a informacije o režimu kodiranja mogu da uključe informacije o tipu particije odgovarajuće jedinice za kodiranje odgovarajuće kodirane dubine, o tipu predikcije i o veličini jedinice za transformaciju. Takođe, informacije o deljenju shodno dubinama mogu da se izdvoje kao informacije o kodiranoj dubini.

Informacije o kodiranoj dubini i režimu kodiranja shodno svakoj maksimalnoj jedinici za kodiranje izdvojene ekstraktorom informacija o kodiranju i podataka slike 220 su informacije o kodiranoj dubini i režimu kodiranja koji su određeni za generisanje minimalne greške kodiranja kada koder, kao što je aparat za kodiranje video zapisa 100, iznova obavlja kodiranje za svaku dublju jedinicu za kodiranje shodno dubinama shodno svakoj maksimalnoj jedinici za kodiranje. Shodno tome, aparat za dekodiranje video zapisa 200 može da obnovi sliku dekodiranjem podataka slike shodno kodiranoj dubini i režimu kodiranja koji generiše minimalnu grešku kodiranja.

Pošto informacije o kodiranju o kodiranoj dubini i režimu kodiranja mogu da se dodele jedinici podataka unapred određenoj od odgovarajuće jedinice za kodiranje, jedinice za predikciju i minimalne jedinice, ekstraktor informacija o kodiranju i podataka slike 220 može da izdvoji informacije o kodiranoj dubini i režimu kodiranja shodno unapred određenim jedinicama podataka. Unapred određene jedinice podataka kojima su dodeljene iste informacije o kodiranoj dubini i režimu kodiranja mogu da se izvedu da budu jedinice podataka uključene u istu maksimalnu jedinicu za kodiranje.

Dekoder podataka slike 230 obnavlja trenutnu sliku dekodiranjem podataka slike na svakoj maksimalnoj jedinici za kodiranje na osnovu informacija o kodiranoj dubini i režimu kodiranja shodno maksimalnim jedinicama za kodiranje. Drugim rečima, dekoder podataka slike 230 može da dekodira podatke kodirane slike na osnovu izdvojenih informacija o tipu particije, režimu predikcije i jedinici za transformaciju za svaku jedinicu za kodiranje među jedinicama za kodiranje koje imaju strukturu stabla koja je uključena u svaku maksimalnu jedinicu za kodiranje. Proces dekodiranja može da uključi predikciju, uključujući intra predikciju i kompenzaciju kretanja, kao i inverznu transformaciju. Inverzna transformacija može da se obavi shodno metodu inverzne ortogonalne transformacije ili inverzne integralne transformacije.

Dekoder podataka slike 230 može da obavi intra predikciju ili kompenzaciju pokreta shodno particiji i režimu predikcije svake jedinice za kodiranje, na osnovu informacija o tipu particije i režimu predikcije jedinice za predikciju u jedinici za kodiranje shodno kodiranim dubinama.

Takođe, dekoder podataka slike 230 može da obavi inverznu transformaciju shodno svakoj jedinici za transformaciju u jedinici za kodiranje, na osnovu informacija o veličini jedinice za transformaciju shodno kodiranim dubinama, da bi obavio inverznu transformaciju shodno maksimalnim jedinicama za kodiranje.

Dekoder podataka slike 230 može da odredi najmanje jednu kodiranu dubinu trenutne maksimalne jedinice za kodiranje korišćenjem deljenih informacija shodno dubinama. Ukoliko deljene informacije označavaju da podaci slike više nisu podeljeni na trenutnoj dubini, trenutna dubina je kodirana dubina. Shodno tome, dekoder podataka slike 230 može da dekodira kodirane podatke najmanje jedne jedinice za kodiranje koja odgovara svakoj kodiranoj dubini u trenutnoj maksimalnoj jedinici za kodiranje korišćenjem informacija o tipu particije jedinice za predikciju, režimu predikcije i veličini jedinice za transformaciju za svaku jedinicu za kodiranje koja odgovara kodiranoj dubini i emituje podatke slike trenutne maksimalne jedinice za kodiranje.

To jest, jedinice podataka koje sadrže informacije o kodiranju, uključujući iste deljene informacije, mogu da se sakupe posmatranjem skupa informacija o kodiranju dodeljenog za jedinicu podataka unapred određenu od jedinice za kodiranje, jedinice za predikciju i minimalne jedinice, a sakupljene jedinice podataka mogu da se smatraju jedinicom podataka koju treba dekodirati dekoderom podataka slike 230 u istom režimu kodiranja.

Takođe, prijemnik 210 i ekstraktor informacija o kodiranju i podataka slike 220 obavljaju NAL proces dekodiranja u kome se sintaksa (max_dec_frame baferovanje) koja označava maksimalnu veličinu bafera potrebnu da bi dekoder dekodirao okvire slike, sintaksa (num_reorder_frames) koja označava broj okvira slike kod kojih je potrebna promena rasporeda i sintaksu (max_latency_increase) koja označava informacije o kašnjenju okvira slike koji ima najveću razliku između redosleda kodiranja i redosleda prikazivanja i koji, među okvirima slika, formira sekvencu slike dobijaju iz toka bitova i predstavljaju izlazne podatke dekodera podataka slike 230.

Aparat za dekodiranje video zapisa 200 može da pribavi informacije o najmanje jednoj jedinici za kodiranje koja generiše minimalnu grešku kodiranja dok se kodiranje rekurzivno

1

obavlja za svaku maksimalnu jedinicu za kodiranje, i može da koristi informacije za dekodiranje trenutne slike. Drugim rečima, jedinice za kodiranje koje imaju strukturu stabla i koje su određene kao optimalne jedinice za kodiranje u svakoj maksimalnoj jedinici za kodiranje mogu da se dekodiraju. Takođe, maksimalna veličina jedinice za kodiranje je određena s obzirom na rezoluciju i količinu podataka slike.

Shodno tome, čak i ako podaci slike imaju visoku rezoluciju i veliku količinu podataka, podaci slike mogu da se efikasno dekodiraju i obnove korišćenjem veličine jedinice za kodiranje i režima kodiranja, koji su adaptivno određeni shodno karakteristikama podataka slike, korišćenjem informacija o optimalnom režimu kodiranja primljenih sa kodera.

Metod određivanja jedinica za kodiranje sa strukturom stabla, jedinice za predikciju i jedinice za transformaciju će sada biti opisan u odnosu na SLIKE 3 do 13.

SL. 3 predstavlja dijagram za opisivanje koncepta jedinica za kodiranje.

Veličina jedinice za kodiranje može da se izrazi u obliku širina x visina i može biti 64x64, 32x32, 16x16 i 8x8. Jedinica za kodiranje od 64x64 može da se podeli u particije od 64x64, 64x32, 32x64 ili 32x32, jedinica za kodiranje od 32x32 može da se podeli u particije od 32x32, 32x16, 16x32 ili 16x16, jedinica za kodiranje od 16x16 može da se podeli u particije od 16x16, 16x8, 8x16 ili 8x8, a jedinica za kodiranje od 8x8 može da se podeli u particije od 8x8, 8x4, 4x8 ili 4x4.

U video podacima 310, rezolucija je 1920x1080, maksimalna veličina jedinice za kodiranje je 64 a maksimalna dubina je 2. U video podacima 320, rezolucija je 1920x1080, maksimalna veličina jedinice za kodiranje je 64 a maksimalna dubina je 3. U video podacima 330, rezolucija je 352x288, maksimalna veličina jedinice za kodiranje je 16 a maksimalna dubina je 1. Maksimalna dubina prikazana na SL.3 označava ukupan broj podela sa maksimalne jedinice za kodiranje na minimalnu jedinicu za dekodiranje.

Ako je rezolucija visoka ili je količina podataka velika, maksimalna veličina jedinice za kodiranje može biti velika tako da ne samo da povećava efikasnost kodiranja, već i precizno oslikava karakteristike slike. Shodno tome, maksimalna veličina jedinice za kodiranje podataka video zapisa 310 i 320 koji imaju veću rezoluciju od podataka video zapisa 330 može biti 64.

Pošto maksimalna dubina podataka video zapisa 310 iznosi 2, jedinice za kodiranje 315 podataka video zapisa 310 mogu da uključe maksimalnu jedinicu za kodiranje koja ima veličinu duge ose od 64 i jedinice za kodiranje koje imaju veličine dugih osa od 32 i 16 pošto su dubine povećane za dva sloja dvostrukom podelom maksimalne jedinice za kodiranje. U međuvremenu, pošto maksimalna dubina podataka video zapisa 330 iznosi 1, jedinice za kodiranje 335 podataka video zapisa 330 mogu da uključe maksimalnu jedinicu za kodiranje koja ima veličinu duge ose od 16 i jedinice za kodiranje koje imaju veličine dugih osa od 8 pošto su dubine povećane za jedan sloj jednom podelom maksimalne jedinice za kodiranje.

Pošto maksimalna dubina podataka video zapisa 320 iznosi 3, jedinice za kodiranje 325 video podataka 320 mogu da uključe maksimalnu jedinicu za kodiranje koja ima veličinu duge ose od 64 i jedinice za kodiranje koje imaju veličine dugih osa od 32, 16 i 8 pošto su dubine povećane za 3 sloja podelom maksimalne jedinice za kodiranje tri puta. Kako se dubina povećava, detaljne informacije mogu precizno da se izraze.

SL. 4 predstavlja blok dijagram za koder slike 400 na osnovu jedinica za kodiranje. Koder slike 400 obavlja operacije determinatora jedinice za kodiranje 120 aparata za kodiranje video zapisa 100 da bi kodirao podatke slike. Drugim rečima, intra prediktor 410 obavlja intra predikciju na jedinicama za kodiranje u intra režimu, među jedinicama za kodiranje trenutnog okvira 405, estimator pokreta 420 i kompenzator pokreta 425 obavljaju inter procenu i kompenzaciju pokreta na jedinicama za kodiranje u inter režimu među jedinicama za kodiranje trenutnog okvira 405 korišćenjem trenutnog okvira 405 i referentnog okvira 495.

Izlazni podaci sa intra prediktora 410, estimatora pokreta 420 i kompenzatora pokreta 425 se šalju u obliku kvantifikovanog koeficijenta transformacije preko transformatora 430 i kvantizatora 440. Kvantifikovani koeficijent transformacije se obnavlja dok se podaci u prostornom domenu šalju putem inverznog kvantizatora 460 i inverznog transformatora 470, a obnovljeni podaci u prostornom domenu šalju u obliku referentnog okvira 495 nakon što se naknadno obrade u jedinici za deblokiranje 480 i jedinici za filtriranje petlje 490. Koeficijent za kvantifikovanu transformaciju može biti emitovan u obliku toka bitova 455 kroz entropijski koder 450. Konkretno, entropijski koder 450 može da mapira sintaksu za baferovanje maksimalnog dekodiranog okvira (max_dec_frame baferovanje) jedinicom NAL i na taj način može da generiše tok bitova, gde sintaksa za baferovanje maksimalnog dekodiranog okvira (max_dec_frame baferovanje) označava maksimalnu veličinu bafera potrebnu da bi dekoder dekodirao okvire slika, sintaksa „broj okvira sa promenjenim

rasporedom“ (num_reorder_frames) koja označava broj okvira slike kod kojih je potrebna promena rasporeda, sintaksu maksimalnog kašnjenja okvira (MaxLatencyFrame) koja označava maksimalnu vrednost razlike između redosleda kodiranja i redosleda prikazivanja okvira slike koji formira sekvencu slike ili sintaksu povećanja maksimalnog kašnjenja

1

(max_latency_increase) da bi odredio sintaksu maksimalnog kašnjenja okvira (MaxLatencyFrame). Konkretno, entropijski koder 450 može da mapira sintaksu za baferovanje maksimalnog dekodiranog okvira (max_dec_frame baferovanje) jedinicom NAL i na taj način može da generiše tok bitova, gde sintaksa za baferovanje maksimalnog dekodiranog okvira (max_dec_frame baferovanje) označava maksimalnu veličinu bafera potrebnu da bi dekoder dekodirao okvire slika, sintaksa „broj okvira sa promenjenim

rasporedom“ (num_reorder_frames) koja označava broj okvira slike kod kojih je potrebna promena rasporeda, sintaksu maksimalnog kašnjenja okvira (MaxLatencyFrame) koja označava maksimalnu vrednost razlike između redosleda kodiranja i redosleda prikazivanja okvira slike koji formira sekvencu slike ili sintaksu povećanja maksimalnog kašnjenja (max_latency_increase) da bi odredio sintaksu maksimalnog kašnjenja okvira (MaxLatencyFrame).

Da bi se koder slike 400 primenio u aparatu za dekodiranje video zapisa 100, svi elementi kodera slike 400, tj. intra prediktor 410, estimator pokreta 420, kompenzator pokreta 425, transformator 430, kvantizator 440, entropijski koder 450, inverzni kvantizator 460, inverzni transformator 470, jedinica za deblokiranje 480 i jedinica za filtriranje petlje 490 obavljaju operacije na osnovu svake jedinice za kodiranje koja ima strukturu stabla dok razmatraju maksimalnu dubinu svake maksimalne jedinice za kodiranje.

Konkretno, intra prediktor 410, estimator pokreta 420 i kompenzator pokreta 425 određuju particije i režim predikcije svake jedinice za kodiranje među jedinicama za kodiranje koje imaju strukturu stabla dok razmatraju maksimalnu veličinu i maksimalnu dubinu trenutne maksimalne jedinice za kodiranje, a transformator 430 određuje veličinu jedinice za transformaciju u svakoj jedinici za kodiranje među jedinicama za kodiranje koje imaju strukturu stabla.

SL. 5 predstavlja blok dijagram dekodera slike 500 na osnovu jedinica za kodiranje. Analizator 510 raščlanjuje kodirane podatke slike da bi se dekodirali i informacije o kodiranju potrebne za dekodiranje toka bitova 505. Konkretno, analizator 510 pribavlja za baferovanje maksimalnog dekodiranog okvira (max_dec_frame bafering) koja označava maksimalnu veličinu bafera potrebnu za dekodiranje okvira slika uključenim kao suštinski element u SPS, sintaksu „broj okvira sa promenjenim rasporedom“ (num_reorder_frames) koja označava broj okvira slike kod kojih je potrebna promena rasporeda i sintaksu povećanja maksimalnog kašnjenja (max_latency_increase) za određivanje sintakse maksimalnog kašnjenja

1

okvira (MaxLatencyFrame) iz toka bitova i emituje ih u entropijski dekoder 520. Na SL.5, analizator 510 i entropijski dekoder 520 su odvojeni elementi. Međutim, pribavljanje podataka slike i pribavljanje svake stavke informacija o sintaksi povezanih sa kodiranim podacima slike, koje obavlja analizator 510, mogu da se implementiraju tako da ih obavi entropijski dekoder 520. Međutim, pribavljanje podataka slike i pribavljanje svake stavke informacija o sintaksi povezanih sa kodiranim podacima slike, koje obavlja analizator 510, mogu da se implementiraju tako da ih obavi entropijski dekoder 520.

Kodirani podaci slike se šalju kao inverzni kvantifikovani podaci kroz entropijski dekoder 520 i inverzni kvantizator 530, a inverzni kvantifikovani podaci se obnavljaju u podatke slike u prostornom domenu kroz inverzni transformator 540.

Intra prediktor 550 obavlja intra predikciju na jedinicama za kodiranje intra režima u odnosu na podatke slike u prostornom domenu, a kompenzator pokreta 560 obavlja kompenzaciju pokreta na jedinicama za kodiranje u inter režimu korišćenjem referentnog okvira 585.

Okviri slika koji su obnovljeni prilikom prolaska kroz intra prediktor 550 i kompenzator pokreta 560 mogu biti naknadno obrađeni u jedinici za deblokiranje 570 i mogu biti emitovani u bafer dekodirane slike (BDS) 580. BDS 580 čuva referentni okvir, menja redosled prikazivanja okvira slika i čuva obnovljene okvire slika tako da emituje okvire slika. BDS 580 čuva obnovljene okvire slika i postavlja maksimalnu veličinu bafera potrebnu za normalno dekodiranje sekvence slike korišćenjem sintakse za baferovanje maksimalnog dekodiranog okvira (max_dec_frame bafering) koja označava maksimalnu veličinu bafera potrebnu za dekodiranje okvira slika koji se emituju sa analizatora 510 ili entropijskog dekodera 520.

Takođe, BDS 580 može da odredi da li da emituje okvir referentne slike koji je prethodno dekodiran i sačuvan korišćenjem sintakse „broj okvira sa promenjenim

rasporedom“ (num_reorder_frames) koja označava broj okvira slike kod kojih je potrebna promena rasporeda i sintaksu povećanja maksimalnog kašnjenja (max_latency_increase) za određivanje sintakse maksimalnog kašnjenja okvira slike (MaxLatencyFrame). Proces emitovanja okvira referentnih slika sačuvanih u BDS-u 580 će biti detaljno opisan

kasnije.

Da bi se dekodirali podaci slike u dekoderu podataka slike 230 aparata za dekodiranje video zapisa 200, dekoder slike 500 može da obavlja operacije koje su obavljene nakon

1

analizatora 510.

Da bi se dekoder slike 500 primenio u aparatu za dekodiranje video zapisa 200, svi elementi kodera slike 500, tj. analizator 510, entropijski dekoder 520, inverzni kvantizator 530, inverzni transformator 540, intra prediktor 550, kompenzator pokreta 560, jedinica za deblokiranje 570 i jedinica za filtriranje petlje 580 mogu da obave operacije dekodiranja na osnovu jedinica za kodiranje sa strukturom stabla za svaku maksimalnu jedinicu za kodiranje. Konkretno, intra prediktor 550 i kompenzator pokreta 560 mogu da odrede particije i režim predikcije za svaku od jedinica za kodiranje koja imaju strukturu stabla, a inverzni transformator 540 može da odredi veličinu jedinice za transformaciju za svaku jedinicu za kodiranje.

Aparat za kodiranje video zapisa 100 i aparat za dekodiranje video zapisa 200 koriste hijerarhijske jedinice za kodiranje da bi razmotrili karakteristike slike. Maksimalna visina, maksimalna širina i maksimalna dubina jedinica za kodiranje mogu da se prilagodljivo odrede shodno karakteristikama slike, ili korisnik može da ih postavi na različiti način. Veličine jedinica za dublje kodiranje shodno dubinama mogu da se odrede shodno unapred određenoj maksimalnoj veličini jedinice za kodiranje.

U hijerarhijskoj strukturi 600 jedinica za kodiranje, maksimalna visina i maksimalna širina jedinica za kodiranje iznose 64, a maksimalna dubina je 4. Pošto se dubina povećava duž vertikalne ose hijerarhijske strukture 600, visina i širina svake jedinice za dublje kodiranje se deli. Takođe, jedinica za predikciju i particije koje predstavljaju osnovu za predikciju kodiranja svake jedinice za dublje kodiranje, prikazane su duž horizontalne ose hijerarhijske strukture 600.

Drugim rečima, jedinica za kodiranje 610 je maksimalna jedinica za kodiranje u hijerarhijskoj strukturi 600 u kojoj dubina iznosi 0, a veličina, tj. visina puta širina iznosi 64x64. Dubina se povećava duž vertikalne ose, a postoje i jedinica za kodiranje 620 veličine 32x32 i dubine 1, jedinica za kodiranje 630 veličine 16x16 i dubine 2, jedinica za kodiranje 640 veličine 8x8 i dubine 3 i jedinica za kodiranje 650 veličine 4x4 i dubine 4. Jedinica za kodiranje 650 veličine 4x4 i dubine 4 je minimalna jedinica za kodiranje.

Jedinica za predikciju i particije jedinice za kodiranje su raspoređene duž horizontalne ose shodno svakoj dubini. Drugim rečima, ukoliko je jedinica za kodiranje 610 veličine 64x64 i dubine 0 jedinica za predikciju, jedinica za predikciju može da se podeli u particije uključene u jedinicu za kodiranje 610, tj. particiju 610 veličine 64x64, particije 612 veličine 64x32, particije

1

614 veličine 32x64 ili particije 616 veličine 32x32.

Slično, jedinica za predikciju jedinice za kodiranje 620 veličine 32x32 i dubine 1 može da se podeli u particije uključene u jedinicu za kodiranje 620, tj. particiju 620 veličine 32x32, particije 622 veličine 32x16, particije 624 veličine 16x32 i particije 626 veličine 16x16.

Slično, jedinica za predikciju jedinice za kodiranje 630 veličine16x16 i dubine 2 može da se podeli u particije uključene u jedinicu za kodiranje 630, tj. particiju veličine 16x16 uključenu u jedinicu za kodiranje 630, particije 632 veličine 16x8, particije 634 veličine 8x16 i particije 636 veličine 8x8.

Slično, jedinica za predikciju jedinice za kodiranje 640 veličine 8x8 i dubine 3 može da se podeli u particije uključene u jedinicu za kodiranje 640, tj. particiju veličine 8x8 uključenu u jedinicu za kodiranje 640, particije 642 veličine 8x4, particije 644 veličine 4x8 i particije 646 veličine 4x4.

Jedinica za kodiranje 650 veličine 4x4 i dubine 4 je minimalna jedinica za kodiranje i jedinica za kodiranje najmanje dubine. Jedinica za predikciju jedinice za kodiranje 650 je dodeljena samo particiji veličine 4x4.

Da bi se odredila najmanje jedna kodirana dubina jedinica za kodiranje koje su sastavni deo maksimalne jedinice za kodiranje 610, determinator jedinice za kodiranje 120 aparata za kodiranje video zapisa 100 obavlja kodiranje za jedinice za kodiranje koje odgovaraju svakoj dubini uključenoj u maksimalnu jedinicu za kodiranje 610.

Broj jedinica za dublje kodiranje, shodno dubinama koje uključuju podatke u istom opsegu i istoj veličini, se povećava dok dubina raste. Na primer, četiri jedinice za kodiranje koje odgovaraju dubini od 2 su potrebne da pokriju podatke koji su uključeni u jednu jedinicu za kodiranje koja odgovara dubini od 1. Shodno tome, da bi se uporedili rezultati kodiranja istih podataka shodno dubinama, kodiraju se jedinica za kodiranje koja odgovara dubini od 1 i četiri jedinice za kodiranje koje odgovaraju dubini od 2.

Da bi se obavilo kodiranje za trenutnu dubinu iz opsega dubina, najmanja greška kodiranja može da se izabere za trenutnu dubinu obavljanjem kodiranja za svaku jedinicu za predikciju u jedinicama za kodiranje koje odgovaraju trenutnoj dubini, duž horizontalne ose hijerarhijske strukture 600. Alternativno, minimalna greška kodiranja može da se potraži za poređenje najmanjih grešaka kodiranja shodno dubinama, obavljanjem kodiranja za svaku dubinu pošto se dubina povećava duž vertikalne ose hijerarhijske strukture 600. Dubina i particija koje imaju minimalnu grešku kodiranja u jedinici za kodiranje 610 mogu da se izaberu

1

kao kodirana dubina i tip particije jedinice za kodiranje 610.

SL. 7 predstavlja dijagram za opisivanje veze između jedinice za kodiranje 710 i jedinica za transformisanje 720.

Aparat za kodiranje video zapisa 100 ili 200 kodira ili dekodira sliku shodno jedinicama za kodiranje veličina manjih od ili jednakih maksimalnoj jedinici za kodiranje za svaku maksimalnu jedinicu za kodiranje. Veličine jedinica za transformaciju za obavljanje transformacije tokom kodiranja mogu da se izaberu na osnovu jedinica podataka koje nisu veće od odgovarajuće jedinice za kodiranje.

Na primer, u aparatu za kodiranje video zapisa 100 ili 200, ukoliko je veličina jedinice za kodiranje 71064x64, transformacija može da se obavi korišćenjem jedinica za transformaciju 720 veličine 32x32.

Takođe, podaci jedinice za kodiranje 710 veličine 64x64 mogu da se kodiraju obavljanjem transformacije na svakoj od jedinica za transformaciju veličina 32x32, 16x16, 8x8 i 4x4, koje su manje od 64x64, a zatim može da se izabere jedinica za transformaciju koja ima najmanju grešku kodiranja.

Izlazna jedinica 130 aparata za kodiranje video zapisa 100 može da kodira i prenese informacije 800 o tipu particije, informacije 810 o režimu predikcije i informacije 820 o veličini jedinice za transformaciju za svaku jedinicu za kodiranje koja odgovara kodiranoj dubini, kao informacije o režimu kodiranja.

Informacije 800 ukazuju na informacije o obliku particije dobijene deljenjem jedinice za predviđanje trenutne jedinice za kodiranje, gde je particija jedinica podataka za predikciju kodiranja za trenutnu jedinicu za kodiranje. Na primer, trenutna jedinica za kodiranje CU_0 dubine 0 i veličine 2Nx2N može da se podeli na bilo koju od particija 802 veličine 2Nx2N, particija 804 veličine 2NxN, particija 806 veličine Nx2N i particija 808 veličine NxN. Ovde se podešavaju informacije 800 o tipu particije da označe jednu od particija 804 veličine 2NxN, particiju 806 veličine Nx2N i particiju 808 veličine NxN

Informacije 810 označavaju režim predikcije svake particije. Na primer, informacije 810 mogu da označe režim predikcije kodiranja koji se obavlja na particiji označenoj informacijama 800, tj. intra režim 812, inter režim 814 ili režim preskakanja 816.

Informacije 820 označavaju jedinicu za transformaciju koju treba uzeti za osnovu kada se

2

transformacija obavlja na trenutnoj jedinici za kodiranje. Na primer, jedinica za transformaciju može biti prva jedinica za intra transformaciju 822, druga jedinica za intra transformaciju 824, prva jedinica za inter transformaciju 826 ili druga jedinica za intra transformaciju 828.

Ekstraktor informacija o kodiranju i podataka slike 220 aparata za dekodiranje video zapisa 200 može da izdvoji i koristi informacije 800, 810 i 820 za dekodiranje, shodno svakoj od jedinica za dublje kodiranje

SL. 9 predstavlja dijagram jedinice za dublje kodiranje shodno dubinama.

Informacije o deljenju mogu da se koriste da označe promenu dubine. Informacije o deljenju označavaju da li je jedinica za kodiranje trenutne dubine podeljena na jedinice za kodiranje manje dubine.

Jedinica za predikciju 910 za predikciju kodiranja jedinice za kodiranje 900 dubine 0 i veličine 2N_0x2N_0 može da uključi particije tipa particije 912 veličine 2N_0x2N_0, tipa particije 914 veličine 2N_0xN_0, tipa particije 916 veličine N_0x2N_0 i tipa particije 918 veličine N_0xN_0. SL. 9 ilustruje samo tipove particije od 912 do 918 koji se dobijaju simetričnim deljenjem jedinice za predikciju 910, ali tip particije nije ograničen na njih, a particije jedinice za predikciju 910 mogu da uključe asimetrične particije, particije koje imaju unapred određeni oblik i particije koje imaju geometrijski oblik.

Prediktivno kodiranje se ponavlja na jednoj particiji veličine 2N_0x2N_0, dve particije veličine 2N_0xN_0, dve particije veličine N_0x2N_0 i četiri particije za predikciju veličine N_0xN_0, shodno svakom tipu particije. Prediktivno kodiranje u intra režimu i inter režimu može da se obavi na particijama veličina 2N_0x2N_0, N_0x2N_0, 2N_0xN_0 i N_0xN_0. Prediktivno kodiranje u režimu preskakanja se obavlja samo na particiji veličine 2N_0x2N_0.

Upoređene su greške kodiranja koje uključuju prediktivno kodiranje na tipovima particija 912 do 918 i određena je najmanje jedna greška kodiranja iz tipova particija. Ukoliko je greška kodiranja najmanja na jednom od tipova particija 912 do 916, jedinica za predikciju 910 možda neće biti podeljena na manju dubinu.

Ukoliko je greška kodiranja najmanja u tipu particije 918, dubina se menja iz 0 u 1 za deljenje tipa particije 918 u operaciji 920, a kodiranje se ponavlja na jedinicama za kodiranje 930 dubine 2 i veličine N_0xN_0 za pretragu minimalne greške kodiranja.

Jedinica za predikciju 940 za predikciju kodiranja jedinice za kodiranje 930 dubine 1 i veličine 2N_1x2N_1 (=N_0xN_0) može da uključi particije tipa particije 942 veličine 2N_1x2N_1, tipa particije 944 veličine 2N_1xN_1, tipa particije 946 veličine N_1x2N_1 i tipa particije 948 veličine N_1xN_1.

Ukoliko je greška kodiranja najmanja u tipu particije 948, dubina se menja iz 1 u 2 za deljenje tipa particije 948 u operaciji 950, a kodiranje se ponavlja na jedinicama za kodiranje 960 dubine 2 i veličine N_2xN_2 za pretragu minimalne greške kodiranja.

Kada je maksimalna dubina d, operacija deljenja shodno svakoj dubini može da se obavi kada dubina postane d-1, a deljene informacije mogu da se kodiraju kada je dubina između 0 i d-2. Drugim rečima, kada se obavlja kodiranje u kome je dubina d-1 nakon što je jedinica za kodiranje koja odgovara dubini d-2 podeljena u operaciji 970, jedinica za predikciju 990 za prediktivno kodiranje jedinice za kodiranje 980 koja ima dubinu d-1 i veličinu 2N_(d-1)x2N_(d-1) može da uključi particije tipa particije 992 veličine 2N_(d-1)x2N_(d-1), tip particije 994 veličine 2N_(d-1)xN_(d-1), tip particije 996 veličine N_(d-1)x2N_(d-1) i tip particije 998 veličine N_(d-1)xN_(d-1).

Prediktivno kodiranje može da se obavi nekoliko puta na jednoj particiji veličine 2N_(d-1)x2N_(d-1), dve particije veličine 2N_(d-1)xN_(d-1), dve particije

veličine N_(d-1)x2N_(d-1), četiri particije veličine N_(d-1)xN_(d-1) među tipovima particija od 992 do 998 da bi se pretražio tip particije koji ima minimalnu grešku kodiranja.

Čak i kada tip particije 998 ima minimalnu grešku kodiranja, pošto je maksimalna dubina d, jedinica za kodiranje CU_(d-1) dubine d-1 se više ne deli na manju dubinu, određeno je da kodirana dubina za jedinice za kodiranje koje su sastavni deo trenutne maksimalne jedinice za kodiranje 900 iznosi d-1, a može se odrediti da tip particije trenutne maksimalne jedinice za kodiranje 900 iznosi N_(d-1)xN_(d-1). Takođe, pošto je maksimalna dubina d, a minimalna jedinica za kodiranje 980 koja ima najmanju dubinu od d-1 se više ne deli na manje dubine, deljene informacije za minimalnu jedinicu za kodiranje 980 nisu postavljene.

Jedinica podataka 999 može biti „minimalna jedinica“ za trenutnu maksimalnu jedinicu za kodiranje. Minimalna jedinica može biti pravougaona jedinica podataka dobijena deljenjem minimalne jedinice za kodiranje 980 sa 4. Uzastopnim obavljanjem kodiranja, aparat za kodiranje video zapisa 100 može da izabere dubinu koja ima najmanju grešku kodiranja poređenjem grešaka kodiranja shodno dubinama jedinice za kodiranje 900 da bi se odredila kodirana dubina i podesili odgovarajući tip particije i režim predikcije kao režim kodiranja kodirane dužine.

Kao takve, minimalne greške kodiranja shodno dubinama se porede na svim dubinama od 1 do d, a dubina sa najmanjom greškom kodiranja može da se odredi kao kodirana dubina.

Kodirana dubina, tip particije jedinice za predikciju i režim predikcije mogu da se kodiraju i prenesu u obliku informacija o režimu kodiranja. Takođe, pošto se jedinica za kodiranje deli od dubine 0 do kodirane dubine, samo informacije o deljenju kodirane dubine se postavljaju na 0, a informacije o deljenju dubina izuzev kodirane dubine se postavljaju na 1.

Ekstraktor informacija o kodiranju i podataka o slici 220 aparata za kodiranje video zapisa 200 može da izdvoji i koristi informacije o kodiranoj dubini i jedinici za predikciju jedinice za kodiranje 900 za dekodiranje particije 912. Aparat za kodiranje video zapisa 200 može da odredi dubinu u kojoj je dubina informacija o deljenju 0, kao kodiranu dubinu korišćenjem deljenih informacija shodno dubinama i korišćenjem informacija o režimu kodiranja odgovarajuće dubine za dekodiranje.

SL. 10 do 12 su dijagrami za opisivanje veze između jedinica za kodiranje 1010, jedinica za predikciju 1060 i jedinica za transformaciju 1070.

Jedinice za kodiranje 1010 su jedinice za kodiranje sa strukturom stabla koje odgovaraju kodiranim dubinama koje je odredio aparat za kodiranje video zapisa 100 u maksimalnoj jedinici za kodiranje. Jedinice za predikciju 1060 su particije jedinica za predikciju svake od jedinica za kodiranje 1010, i jedinice za transformaciju 1070 su jedinice za transformaciju svake od jedinica za kodiranje 1010.

Kada je dubina maksimalne jedinice za kodiranje 0 u jedinicama za kodiranje 1010, dubine jedinica za kodiranje 1012 i 1054 su 1, dubine jedinica za kodiranje 1014, 1016, 1018, 1028, 1050 i 1052 su 2, dubine jedinica za kodiranje 1020, 1022, 1024, 1026, 1030, 1032 i 1048 su 3, a dubine jedinica za kodiranje 1040, 1042, 1044 i 1046 su 4.

U jedinicama za predikciju 1060, neke jedinice za kodiranje 1014, 1016, 1022, 1032, 1048, 1050, 1052 i 1054 se dobijaju deljenjem jedinica za kodiranje na jedinice za kodiranje 1010. Drugim rečima, tipovi particija u jedinicama za kodiranje 1014, 1022, 1050 i 1054 su veličine 2NxN, tipovi particija u jedinicama za kodiranje 1016, 1048 i 1052 su veličine Nx2N, a tip particije jedinice za kodiranje 1032 je veličine NxN. Jedinice za predikciju i particije jedinica za kodiranje 1010 su manje od ili jednake svakoj od jedinica za kodiranje.

Transformacija ili inverzna transformacija se obavljaju na podacima slike jedinice za kodiranje 1052 u jedinicama za transformaciju 1070 u jedinici podataka koja je manja od jedinice za kodiranje 1052. Takođe, jedinice za kodiranje 1014, 1016, 1022, 1032, 1048, 1050 i 1052 u jedinicama za transformaciju 1070 se razlikuju od onih u jedinicama za predikciju 1060 u

2

pogledu veličina i oblika. Drugim rečima, aparati za kodiranje i dekodiranje video zapisa 100 i 200 mogu da obavljaju intra predikciju, procenu pokreta, kompenzaciju pokreta, transformaciju i inverznu transformaciju pojedinačno na jedinici podataka u istoj jedinici za kodiranje.

Shodno tome, da bi se odredila optimalna jedinica za kodiranje, kodiranje se rekurzivno obavlja na svakoj od jedinica za kodiranje koje imaju hijerarhijsku strukturu u svakoj oblasti maksimalne jedinice za kodiranje, i na taj način mogu da se dobiju jedinice za kodiranje koje imaju rekurzivnu strukturu stabla. Informacije o kodiranju mogu da uključe informacije o deljenju koje se odnose na jedinicu za kodiranje, informacije o tipu particije, informacije o režimu predikcije i informacije o veličini jedinice za transformaciju. Tabela 1 prikazuje informacije o kodiranju koje mogu da postave aparati za kodiranje i dekodiranje video zapisa 100 i 200.

Tabela 1

Jedinica za izlazne podatke 130 aparata za kodiranje video zapisa 100 može da emituje o kodiranju o jedinicama za kodiranje koje imaju strukturu stabla, a ekstraktor informacija o kodiranju i podataka slike 220 aparata za dekodiranje video zapisa 200 može da izdvoji informacije o kodiranju o jedinicama za kodiranje koje imaju strukturu stabla iz primljenog toka bitova.

Informacije o deljenju označavaju da li je trenutna jedinica za kodiranje podeljena na jedinice za kodiranje manje dubine. Ako informacije o deljenju trenutne dubine d iznose 0, dubina na kojoj se trenutna jedinica za kodiranje više ne deli na manje dubine predstavlja kodiranu dubinu i stoga informacije o tipu particije, režimu predikcije i veličini jedinice za transformaciju treba da se definišu za kodiranu dubinu. Ukoliko se trenutna jedinica za kodiranje dalje deli shodno informacijama o deljenju, kodiranje se nezavisno obavlja na četiri podeljene jedinice za kodiranje manje dubine.

Režim predikcije može biti jedan intra režim, inter režim i režim preskakanja. Intra režim i inter režim mogu da se definišu kod svih tipova particija, a režim preskakanja se definiše samo kod tipa particije veličine 2Nx2N.

Informacije o tipu particije mogu da označe simetrične tipove particije veličina 2Nx2N, 2NxN, Nx2N i NxN, koje se dobijaju simetričnim deljenjem visine ili širine jedinice za predikciju i asimetričnim tipovima particija veličina 2NxnU, 2NxnD, nLx2N i nRx2N, koji se dobijaju asimetričnim deljenjem visine ili širine jedinice za predikciju. Tipovi asimetričnih particija veličina 2NxnU i 2NxnD mogu da se dobiju deljenjem visine jedinice za predikciju na 1:3 i 3:1, a tipovi asimetričnih particija veličina nLx2N i nRx2N mogu da se dobiju deljenjem širine jedinice za predikciju na 1:3 i 3:1

Veličina jedinice za transformaciju može da se podesi tako da ima dva tipa u intra režimu i dva tipa u inter režimu. Drugim rečima, ako su informacije o deljenju jedinice za transformaciju 0, veličina jedinice za transformaciju može da bude 2Nx2N×2N, što je veličina trenutne jedinice za kodiranje. Ako su informacije o deljenju jedinice za transformaciju 1, jedinice za transformaciju mogu da se dobiju deljenjem trenutne jedinice za kodiranje. Takođe, ako je tip particije trenutne jedinice za kodiranje veličine 2Nx2N tip simetrične particije, veličina jedinice za transformaciju može biti NxN, a ako je tip particije trenutne jedinice za kodiranje tip asimetrične particije, veličina jedinice za transformaciju može biti N/2xN/2.

Informacije o kodiranju o jedinicama za kodiranje koje imaju strukturu stabla mogu da uključe najmanje jednu jedinicu za kodiranje koja odgovara kodiranoj dubini, jedinicu za predikciju i minimalnu jedinicu. Jedinica za kodiranje koja odgovara kodiranoj dubini može da uključi najmanje jednu jedinicu za predikciju i minimalnu jedinicu koja sadrži iste informacije o kodiranju.

Shodno tome, određeno je da li su susedne jedinice podataka uključene u istu jedinicu za kodiranje koja odgovara kodiranoj dubini poređenjem informacija o kodiranju susednih jedinica podataka. Takođe, odgovarajuća jedinica za kodiranje koja odgovara kodiranoj dubini se određuje korišćenjem informacija o kodiranju jedinice podataka i na taj način može da se odredi distribucija kodiranih dubina na maksimalnoj jedinici za kodiranje.

Shodno tome, ako se trenutna jedinica za kodiranje predvidi na osnovu informacija o kodiranju susednih jedinica podataka, informacije o kodiranju jedinica podataka u dubljim

2

jedinicama za kodiranje koje su susedne trenutnoj jedinici za kodiranje mogu da se direktno označe i koriste.

Alternativno, ako je trenutna jedinica za kodiranje predviđena na osnovu informacija o kodiranju susednih jedinica podataka, jedinice podataka koje su susedne trenutnoj jedinici za kodiranje se pretražuju korišćenjem informacija o kodiranju jedinica podataka i pretražene susedne jedinice za kodiranje mogu da se označe za predikciju trenutne jedinice za kodiranje.

Maksimalna jedinica za kodiranje 1300 uključuje jedinice za kodiranje 1302, 1304, 1306, 1312 i 1314, 1316 i 1318 kodiranih dubina. Ovde, pošto je jedinica za kodiranje 1318 jedinica

za kodiranje kodirane dubine, informacije o deljenju mogu da se podese na 0. Informacije o tipu particije jedinice za kodiranje 1318 veličine 2Nx2N mogu da se podese da budu jedan od tipova particije 1322 veličine 2Nx2N, tip particije 1324 veličine 2NxN, tip particije 1326 veličine Nx2N, tip particije 1328 veličine NxN, tip particije 1332 veličine 2NxnU, tip particije 1334 veličine 2NxnD, tip particije 1336 veličine nLx2N i tip particije 1338 veličine nRx2N.

Kada se tip particije podesi na simetričan, tj. tip particije 1322, 1324, 1326 ili 1328, jedinica za transformaciju 1342 veličine 2Nx2N je podešena ako su deljene informacije (indikator TU veličine) jedinice za transformaciju 0, a jedinica za transformaciju 1344 veličine NxN je podešena ako je indikator TU veličine 1.

Kada se tip particije podesi na asimetričan, tj. tip particije 1332, 1334, 1336 ili 1338, jedinica za transformaciju 1352 veličine 2Nx2N je podešena ako je indikator TU veličine 0, a jedinica za transformaciju 1354 veličine N/2xN/2 je podešena ako je indikator TU veličine 1.

Kao što je već opisano, aparat za kodiranje video zapisa 100 i aparat za dekodiranje video zapisa 200 obavljaju kodiranje i dekodiranje deljenjem maksimalne jedinice za kodiranje korišćenjem jedinica za kodiranje koje su jednake maksimalnoj jedinici za kodiranje ili manje od nje. Podaci kodirani u aparatu za kodiranje video zapisa 100 se multipleksiraju korišćenjem jedinice za prenos podataka koja je prikladna za protokol ili korišćenjem formata za kanal za komunikaciju, medija za skladištenje, sistema montaže video zapisa, okvira za medije ili slično, a jedinica za prenos podataka se prenosi do aparata za dekodiranje video zapisa 200.

U slučaju reprodukcije video podataka, aparat za dekodiranje video zapisa 200 obnavlja

2

video podatke shodno trik režimu reprodukcije i normalnom režimu reprodukcije i reprodukuje video podatke. Trik režim reprodukcije uključuje normalan režim reprodukcije, režim brzog premotavanja unapred ili režim brzog premotavanja unazad, kao i režim nasumičnog pristupa. Shodno normalnom režimu reprodukcije, sve slike uključene u video podatke se uzastopno obrađuju i reprodukuju. Shodno režimu brzog premotavanja unapred ili režimu brzog odmotavanja unazad, referentna slika, tj. slika I u svakom unapred određenom periodu se bira i reprodukuje u režimu premotavanja unapred ili unazad shodno brzini reprodukcije. Shodno režimu nasumičnog pristupa, reprodukcija se obavlja pomoću preskakanja na glavnu sliku, tj. slike I u unapred određenom položaju. Shodno standardu H.264, slika trenutnog osvežavanja dekodera (IDR) se koristi kao glavna slika za režim nasumičnog pristupa. IDR slika je intra slika za osvežavanje aparata za dekodiranje prilikom dekodiranja odgovarajuće slike.

Detaljnije, kada se dekodira IDR slika, DPB označava sliku koja nije IDR slika, a koja je prethodno dekodirana, kao nereferentnu sliku, a pokreće se i broj redosleda slika (POC).

Takođe, slika koja se dekodira nakon IDR slike može uvek biti iza IDR slike u redosledu prikazivanja, i može da se dekodira dok se ne odnosi na sliku pre IDR slike.

Shodno predloženoj realizaciji, kao dodatak IDR slici, slika sa potpuno nasumičnim pristupom (CRA) se koristi kao glavna slika za režim nasumičnog pristupa. CRA slika može da se nazove slikom sa osvežavanjem potpunog dekodiranja (CDR) ili slikom sa osvežavanje odloženog dekodiranja (DDR). CRA slika je intra slika koja ima slike koje joj prethode u redosledu prikazivanja, ali se kodiraju (ili dekodiraju) nakon CRA slike u redosledu kodiranja (ili dekodiranja). U daljem tekstu, slika koja se nalazi u istoj grupi slika (GOP) kao CRA slika i koja prethodi CRA slici u redosledu prikazivanja, ali se kodira (ili dekodira) nakon CRA slike u redosledu kodiranja (ili dekodiranja), definiše se kao vodeća slika.

IDR slika i CRA slika imaju zajedničko to što su glavne slike za režim nasumičnog pristupa i one su intra slike koje treba da se kodiraju (ili dekodiraju) bez obzira na drugu sliku. U odnosu na IDR sliku, slika koja prati IDR sliku u redosledu kodiranja (ili dekodiranja) ne prethodi IDR slici u redosledu prikazivanja. Međutim, kao što je već opisano, u odnosu na CRA sliku, vodeća slika prati CRA sliku u redosledu kodiranja (ili dekodiranja) ali prethodi CRA slici u redosledu prikazivanja. Redosled dekodiranja i redosled kodiranja označavaju redosledu dekoderu i koderu po kojima se slike obrađuju, a redosled kodiranja slika je jednak redosledu dekodiranja slika. Shodno tome, u specifikaciji, redosled kodiranja može da predstavlja redosled dekodiranja, ili redosled dekodiranja može da predstavlja redosled

2

kodiranja.

SL. 14A i 14B ilustruju proces dekodiranja CRA slike u normalnoj reprodukciji i nasumičnom pristupu, shodno realizaciji predloženog pronalaska.

Na SL.14A i 14B, Bi i bi su Bi prediktivne slike koje se predviđaju pomoću L0 predikcije i L1 predikcije, u kojima se označava redosled prikazivanja, tj. POC. Takođe, Bi koje ima veliko slovo „B“ označava sliku koja se koristi kao referentna slika druge slike, a bi koje ima malo slovo „b“ označava sliku koja se ne koristi kao referentna slika druge slike.

S obzirom na SL.14A, u normalnoj reprodukciji, tj. kada se sve slike dekodiraju ili reprodukuju, vodeće slike 1420 koje se dekodiraju nakon CRA24slike 1410 mogu normalno da se dekodiraju uzimajući u obzir referentnu sliku koja je prethodno dekodirana. Na primer, kada se obavlja dvosmerna predikcija B22 slike 1421 korišćenjem L0 predikcije koja uzima u obzir B18 sliku 1401 i L1 predikcija koja uzima u obzir CRA24sliku 1410, u normalnoj reprodukciji, B22slika 1421 može normalno da se dekodira uzimajući u obzir CRA24sliku 1410 i B18sliku 1401 koje su prethodno dekodirane i sačuvane na DPB 1430.

S obzirom na SL.14B, u slučaju u kome se CRA24slika 1410 dekodira putem nasumičnog pristupa nakon što se dekodira B6slika 1402, L0 predikcija za predikciju B22slike 1421 određuje referentnu sliku shodno indeksu referentne slike u smeru L0 predikcije. U ovom slučaju, B6slika 1402 koja je prethodno dekodirana i sačuvana na DPB 1440 može da se odredi kao referentna slika za L0 predikciju B22slike 1421. U ovom slučaju, referentna slika za L0 predikciju B22slike 1421 mora biti B18slika 1401, ali, zbog nasumičnog pristupa, slika koja se odnosi na referentne slike između B6 slike 1402 i CRA24 slike 1410 ne može da se normalno dekodira.

Takođe, s osvrtom na SL.14A, pošto vodeće slike 1420 prethode CRA24slici 1410 u redosledu prikazivanja, nakon što se CRA24slika 1410 dekodira i prikaže putem nasumičnog prikaza, vodeće slike 1420 se ne prikazuju i stoga nije potrebno njihovo dekodiranje.

Međutim, aparat za dekodiranje video zapisa 200 jednostavno i uzastopno dekodira i emituje mnoštvo delova ulaznih video podataka i zato ne može da prepozna da li su vodeće slike 1420 slike koje se dekodiraju nakon CRA24slike 1410 u normalnoj reprodukciji ili putem nasumičnog pristupa. Drugim rečima, aparat za dekodiranje video zapisa 200 ne može da prepozna kada je CRA24slika 1410 slika koja se dekodira putem nasumičnog pristupa ili se dekodira u normalnoj reprodukciji.

Stoga, realizacije predloženog pronalaska omogućavaju metode za multipleksiranje i

2

demultipleksiranje pomoću kojih se sintaksa za identifikaciju statusa reprodukcije CRA slike dodaje podacima u unapred određenoj jedinici za prenos, gde se podavi dobijaju multipleksiranjem CRA slike koja se kodira da bi se identifikovalo da li je CRA slika kodirana shodno nasumičnom pristupu ili je kodirana shodno normalnoj reprodukciji.

Prvo će biti opisani aparat i metod za multipleksiranje video podataka.

SL. 15 ilustruje strukturu aparata za multipleksiranje video podataka 1500.

S obzirom na SL.15, aparat za multipleksiranje video podataka 1500 uključuje koder video podataka 1510, multiplekser 1520 i identifikator statusa reprodukcije 1530.

Video koder 1510 odgovara aparatu za kodiranje video zapisa 100 na SL.1 i kodira video podatke na osnovu hijerarhijske jedinice za kodiranje u sloju video kodiranja u kome se obavlja kodiranje video podataka. Multiplekser 1520 multipleksira video podatke korišćenjem jedinice za prenos podataka koja je prikladna za protokol ili korišćenjem formata za kanal za komunikaciju, medija za skladištenje, sistema montaže video zapisa, okvira za medije ili slično. Kao što će biti opisano kasnije, multiplekser 1520 može da multipleksira video podatke pomoću NAL jedinice koja je jedinica za prenos u NAL-u.

Kada postoji zahtev za prenos kodiranih video podataka od klijenta koji je povezan putem kanala za komunikaciju, aparat koji upravlja medijem za skladištenje, sistemom uređivanja video zapisa i okvirom za medije (u daljem tekstu će se kolektivno nazivati „aparat za dekodiranje“), identifikator statusa reprodukcije 1530 određuje da li je zahtev za prenos za uzastopnu reprodukciju video podataka shodno normalnoj reprodukciji ili je za prenos video podataka shodno nasumičnom pristupu. Identifikator statusa reprodukcije 1530 može da upoređuje vreme prikazivanja zahtevane slike pomoću aparata za dekodiranje sa vremenom prikazivanja slike trenutno prikazane trenutnim aparatom za dekodiranje, a zatim može da identifikuje da li se zahtev za prenos video podataka obavlja shodno nasumičnom pristupu.

Multiplekser 1520 dodaje prethodno određenu sintaksu NAL jedinici, uključujući informacije o CRA slici koja je glavna slika za nasumični pristup, na osnovu rezultata identifikacije pomoću identifikatora statusa reprodukcije 1530, gde prethodno određena sintaksa označava koji zahtev među zahtevima upućenim putem normalne reprodukcije i zahtev upućen putem nasumičnog pristupa se odnosi na CRA sliku.

SL. 16 ilustruje strukturu NAL jedinice 1600 za korišćenje u realizaciji predloženog pronalaska.

S obzirom na SL.16, NAL jedinica 1600 se formira od NAL zaglavlja 1610 i korisni

2

podaci sekvence neobrađenih bajtova (RBSP) 1620. Bit za punjenje RBSP-a 1630 je bit za podešavanje dužine povezan na jedan kraj RSBP-a 1620 da bi izrazio dužinu RBSP-a 1620 kao umnožak od 8 bitova. Bit za punjenje RBSP-a 1630 ima obrazac kao što je „100...“ koji počinje sa „1“ i nastavlja se sa uzastopnim „0“ određenim shodno dužini RBSP-a 1620. U tom pogledu, pretraživanjem „1“ koji predstavlja vrednost početnog bita, može da se odredi položaj poslednjeg bita RBSP-a 1620 koji se nalazi neposredno ispred vrednosti početnog bita.

NAL zaglavlje 1610 uključuje forbidden_zero_bit 1611 koji ima vrednost 0, indikator nal_ref_idc koji označava da li NAL jedinica 1600 uključuje isečak kao referentnu sliku i slično. Konkretno, NAL zaglavlje 1610 shodno prikazanoj realizaciji uključuje sintaksu identifikacije statusa 1612 koja označava koji zahtev među zahtevima putem normale reprodukcije i zahtev putem nasumičnog pristupa je povezan sa CRA slikom koja se dodaje NAL jedinici 1600 uključujući informacije o CRA slici.

Sintaksa identifikacije statusa 1612 za identifikovanje statusa reprodukcije CRA slike može biti uključena u identifikator (tip nal jedinice) koja označava tip NAL jedinice 1600. To jest, NAL jedinica koja se koristi za dekodiranje CRA slike obezbeđene shodno zahtevu putem normalne reprodukcije može imati identifikator (tip nal jedinice) koji je različiti tip od identifikatora (tip nal jedinice) NAL jedinice koja se koristi za dekodiranje CRA slike obezbeđene shodno zahtevu putem nasumičnog pristupa.

Tabela 2 prikazuje tipove NAL jedinice 1600 shodno vrednostima identifikatora (tip nal jedinice).

[Tabela 2]

Multiplekser 1520 dodeljuje različite vrednosti od 4 i 5 u tabeli 2 iznad, kao identifikator (tip nal jedinice), NAL jedinici koja se koristi za dekodiranje CRA slike obezbeđene shodno zahtevu putem normalne reprodukcije, i NAL jedinici koja se koristi za dekodiranje CRA slike obezbeđene shodno zahtevu putem slučajnog pristupa. Na taj način, multiplekser 1520 može da signalizira da je NAL jedinica koja uključuje informacije o CRA slici ona koja je među CRA slikama obezbeđena shodno normalnoj reprodukciji i CRA slika obezbeđena shodno nasumičnom pristupu.

Takođe, multiplekser 1520 može da koristi indikator kao sintaksu dodatu zaglavlju NAL jedinice, gde je indikator postavljen da ima jednu od različitih vrednosti od 0 i 1 u odnosu na NAL jedinicu koja se koristi za dekodiranje CRA slike, obezbeđen shodno zahtevu putem normalne reprodukcije, i NAL jedinica koja se koristi za dekodiranje CRA slike obezbeđene shodno zahtevu putem nasumičnog pristupa.

SL. 17A i 17B ilustruju proces dekodiranja CRA slike u normalnoj reprodukciji i nasumičnom pristupu. Ove slike ilustruju proces dekodiranja van opsega pratećeg patentnog zahteva 1.

Multiplekser 1520 dodaje informacije o tipu, koje direktno označavaju status reprodukcije CRA slike, do NAL jedinice. U drugoj realizaciji, multiplekser 1520 možda neće direktno signalizirati tip statusa reprodukcije CRA slike, već može da identifikuje da li je CRA slika reprodukovana shodno normalnoj

reprodukciji ili je reprodukovana shodno nasumičnom pristupu, korišćenjem brojača glavnih slika koje se dekodiraju pre CRA slike i korišćenjem informacija o POC-u slike koja se koristi

1

kao referentna slika vodećih slika.

S obzirom na SLIKE 17A i 17B, B38 slika 1710 i B40 slika 1720 su slike koje se dekodiraju pre CRA44 slike i koje se označavaju pomoću slika b41, B42 i b43 koje su vodeće slike. B38 slika 1710 se označava pomoću B42 slike koja je vodeća slika, a B40 slika 1720 se označava pomoću B41 slike koja je vodeća slika. B38 slika 1710 i B40 slika 1720, koje prethode CRA slici u redosledu dekodiranja i koriste se kao referentne slike vodećih slika, su definisane kao srodna slika. Razlog zbog koga se definiše srodna slika je taj što je moguće identifikovati da li se CRA slika reprodukuje shodno normalnoj reprodukciji ili se reprodukuje shodno nasumičnom pristupu, korišćenjem POC-a srodne slike. Ideja o korišćenju srodne slike je opisana u već navedenom predlogu za standardizaciju JCTVC-E400.

Na primer, s obzirom na SL.17A, dok se slike uzastopno dekodiraju u statusu normalne reprodukcije, kada se dekodira CRA44 slika, B38 slika 1710 i B40 slika 1720 koje su prethodno dekodirane se čuvaju u DPB-u 1740. Ako se POC vrednost B38 slike 1710 koja iznosi 38, i POC vrednost B40 slike 1720 koja iznosi 40, koje su srodne slike, dodaju zaglavlju isečka CRA44 slike, dekoder može da uporedi POC slike koje su prethodno dekodirane i sačuvane u DPB-u 1740 u vreme dekodiranja CRA44 slike sa POC vrednošću srodnih slika uključenih u zaglavlje isečka CRA44 slike i na taj može da identifikuje da li je CRA44 slika reprodukovana shodno nasumičnom pristupu ili je reprodukovana shodno normalnoj reprodukciji. Pošto se redosled reprodukcije, tj. redosled dekodiranja, prebacuje na CRA44 sliku u reprodukciji shodno nasumičnom pristupu, ako se POC vrednosti slika prethodno dekodiranih i sačuvanih na DPB-u 1740 u vreme dekodiranja CRA44 slike ne poklapa sa POC vrednošću srodnih slika, tada postoji velika mogućnost da se CRA44 slika reprodukuje shodno nasumičnom pristupu.

Međutim, takođe postoji mogućnost da se CRA44 slika pogrešno identifikuje u pogledu toga da li se CRA44 slika reprodukuje shodno nasumičnom pristupu i se reprodukuje shodno normalnoj reprodukciji, korišćenjem samo jedne informacije o

POC vrednosti srodnih slika.

Na primer, s obzirom na SL.17B, u slučaju kada je CRA44slika dekodirana shodno nasumičnom pristupu nakon dekodiranja B40slike 1745, prilikom dekodiranja CRA44slike, POC vrednost od 40 B40slike 1745 je sačuvana u DPB-u 1780, a POC vrednost od 40 srodne slike sačuvana na zaglavlju isečka CRA44 je jednaka POC vrednosti prethodne slike sačuvane u DPB-u 1780, tako da dekoder može pogrešno da identifikuje da je CRA44slika reprodukovana

2

shodno normalnoj reprodukciji. Kao što je već opisano, status reprodukcije CRA slike možda ne može tačno da se identifikuje korišćenjem samo informacija o POC vrednosti srodne slike. To je zbog toga što, svaki put kada se dekodira IDR slika, POC vrednost se resetuje, tako da referentna slika koja se razlikuje od aktuelne referentne slike koju treba da označe srodne slike u nasumičnom pristupu može da ima istu POC vrednost kao i POC vrednost srodnih slika.

Stoga, multiplekser 1520 dodaje POC informacije srodne slike sintaksi jedinice za prenos podataka CRA slike, pribavlja broj sa brojača prekida POC vrednosti (PDC) koji predstavlja brojač koji ima vrednost povećanu za 1 uvek kada se POC resetuje ili kada se CRA slika kodira dok se kodiraju slike pre CRA slike, i dodaje broj iz PDC-a sintaksi.

S osvrtom na SL.17A, kao što je već opisano, multiplekser 1520 povećava broj sa PDC-a za 1 kad god se POC resetuje ili kada se slika CRA kodira dok se slike kodiraju. Pošto se POC resetuje uvek kada se kodira IDR slika, vrednost PDC-a se povećava za 1 uvek kada se kodira IDR slika, a vrednost broja sa PDC-a se povećava za 1 uvek kada se kodira prethodna CRA slika osim CRA44slike. Multiplekser 1520 dodaje vrednost PDC-a sa POC vrednošću srodnih slika zaglavlju 1730 podacima jedinice za prenos CRA slike. Dekoder na isti način kao koder povećava broj sa PDC-a za 1 uvek kada se POC resetuje tokom dekodiranja ulaznih podataka jedinice za prenos, tj. uvek kada se dekodira IDR slika ili se dekodira CRA slika. Kao što je ilustrovano na SL.17A, u slučaju normalne reprodukcije, kada se dekodira CRA44slika, PDC vrednost uključena u zaglavlje 1730 podataka jedinice za prenos korišćena za multipleksiranje CRA44slike, i PDC vrednost 1745 izbrojana tokom dekodiranja slika dekoderom iznose 3.

S osvrtom na SL.17B, u slučaju nasumičnog pristupa, postoje jedna IDR slika i jedna CRA koje se dekodiraju pre CRA44postoje tako da, kada se CRA44slika dekodira shodno nasumičnom pristupu, PDC vrednost 1785 iznosi 2, što se razlikuje od PDC vrednosti koja iznosi 3 i uključena je u zaglavlje 1770 jedinice za prenos koja se koristi za multipleksiranje CRA44slike. Stoga, na osnovu nepodudaranja između PDC vrednosti, dekoder može da odredi da li se trenutna CRA slika reprodukuje shodno nasumičnom prikazu.

SL. 18 predstavlja dijagram toka metoda multipleksiranja video podataka.

S obzirom na SL.18, u operaciji 1810, video koder 1510 kodira slike formirajući video podatke na osnovu jedinica podataka sa hijerarhijskom strukturom. Kao što je već opisano, video koder 1510 određuje jedinice za kodiranje sa strukturom stabla, uključujući jedinice za kodiranje sa kodiranom dubinom među jedinicama za dublje kodiranje shodno dubinama koje su hijerarhijski formirane shodno dubinama koje označavaju broj prostornih deljenja najmanje jedne maksimalne jedinice za kodiranje dobijene deljenjem slike koja formira video zapis korišćenjem jedinice za kodiranje maksimalne veličine, određuje particiju za prediktivno kodiranje za svaku jedinicu za kodiranje sa kodiranim dubinama, obavlja transformaciju na osnovu jedinica za transformaciju sa hijerarhijskom strukturom, a zatim određuje jedinice za transformaciju sa strukturom stabla. Tokom određivanja hijerarhijske jedinice podataka, struktura optimalne jedinice podataka može da se odredi na osnovu troškova brzine izobličenja (RD).

Tokom operacije 1820, kao odgovor na zahtev za prenos kodiranih podataka sa aparata za dekodiranje, identifikator statusa reprodukcije 1530 određuje da li je zahtev za prenos prema normalnoj reprodukciji ili je za nasumični pristup. Kao što je već opisano, aparat za dekodiranje može kolektivno da identifikuje aparate za čuvanje, reprodukciju i uređivanje kodiranih video podataka, i može da uključi klijenta povezanog putem kanala za komunikaciju, aparat koji upravlja medijima za skladištenje, sistemom uređivanja video zapisa, okvirom za medije i slično.

Tokom operacije 1830, multiplekser 1520 dodaje prethodno određenu sintaksu jedinici za prenos podataka korišćenoj za multipleksiranje CRA slike koja je intra slika koja poseduje glavne slike, shodno rezultatu određivanja u operaciji 1820, gde prethodno određena sintaksa označava koji zahtev među zahtevima upućenim putem normalne reprodukcije i zahtev upućen putem nasumičnog pristupa se odnosi na CRA sliku. Kao što je već opisano, vodeća slika označava sliku koja prethodi CRA slici u redosledu prikazivanja, ali je kodirana nakon CRA slike u redosledu kodiranja. Takođe, podaci jedinice za prenos mogu biti NAL podaci.

Takođe, multiplekser 1520 može da doda identifikator (tip nal jedinice) koji označava tip NAL jedinice do zaglavlja NAL jedinice, tako da NAL jedinica koja se koristi za multipleksiranje CRA slike obezbeđene shodno zahtevu putem normalne reprodukcije može da ima identifikator (tip nal jedinice) koji se razlikuje od identifikatora (tip nal jedinice) NAL jedinice koja se koristi za CRA slike obezbeđene shodno zahtevu putem nasumičnog pristupa. Takođe, multiplekser 1520 može da doda indikator zaglavlju NAL jedinice, gde indikator ima vrednost od 0 i 1 shodno NAL jedinici korišćenoj za multipleksiranje CRA slike, obezbeđen shodno zahtevu putem normalne reprodukcije, i NAL jedinice korišćene za multipleksiranje CRA slike obezbeđene shodno zahtevu putem nasumičnog pristupa. Takođe, multiplekser 1520 može da nabavi broj sa PDC-a koji se povećava za 1 svaki put kada se POC resetuje ili se CRA slika kodira dok se slike multipleksiraju, i može da doda POS informacije o srodnoj slici i broj sa PDC-a na

4

zaglavlje NAL jedinice.

SL. 19 ilustruje strukturu aparata za inverzno multipleksiranje video podataka 1900. S obzirom na SL.19, aparat za inverzno multipleksiranje video podataka 1900 uključuje dekoder video podataka 1910, inverzni multiplekser 1920 i identifikator statusa reprodukcije 1930.

Inverzni multiplekser 1920 prima podatke jedinice za prenos, tj. podatke NAL jedinice prenesene sa aparata za multipleksiranje video podataka 1500 SL.15 i pribavlja sintaksu koja označava da li je CRA slika dekodirana shodno normalnom statusu reprodukcije ili shodno statusu nasumičnog pristupa, sa NAL jedinice podataka koja se koristi za multipleksiranje CRA slike.

Identifikator statusa reprodukcije 1930 određuje da li se CRA slika reprodukuje shodno normalnoj reprodukciji ili shodno nasumičnom pristupu korišćenjem dobijene sintakse.

Kao što je već opisano, kada je NAL jedinica koja se koristi za multipleksiranje CRA slike obezbeđene shodno zahtevu putem normalne reprodukcije podešena tako da ima identifikator (tip nal jedinice) koji se razlikuje od identifikatora (tip nal jedinice) NAL jedinice koja se koristi za multipleksiranje CRA slike obezbeđene shodno zahtevu putem nasumičnog pristupa, identifikator statusa reprodukcije 1930 može da prepozna status dekodiranja trenutne CRA

slike u odnosu na vrednosti identifikatora (tip nal jedinice). Shodno metodu pratećeg patentnog zahteva 1, NAL jedinica mu je dodala identifikator. Na primer, taj identifikator ima vrednost 0 ili 1 shodno NAL jedinici korišćenoj za multipleksiranje CRA slike obezbeđene shodno zahtevu putem normalne reprodukcije, i NAL jedinica korišćena za multipleksiranje CRA slike obezbeđene shodno zahtevu putem nasumičnog prikaza , identifikator statusa reprodukcije 1930 može da prepozna status dekodiranja trenutne CRA slike koji se odnosi na informacije o indikatoru.

Video dekoder 1910 odgovara aparatu za kodiranje video zapisa 200 na SL.2 dekodera slike 500 SL.5. Video dekoder 1910 pribavlja kodirane podatke slike i informacije o deljenju, informacije o tipu particije, informacije o režimu predikcije, informacije o veličini jedinice za transformaciju i informacije o setu parametara povezane sa procesom kodiranja, koje su o jedinicama za kodiranje korišćenim za generisanje podataka kodirane slike, sa NAL jedinice, i obavlja dekodiranje.

SL. 20 predstavlja dijagram toka metoda inverznog multipleksiranja video podataka. S obzirom na SL.20, u operaciji 2010, inverzni multiplekser 1920 prima podatke jedinice za prenos koji se koriste za multipleksiranje toka bitova koje generišu kodirane slike koje formiraju video podatke na osnovu jedinica podataka sa hijerarhijskom strukturom. Kao što je već opisano, podaci jedinice za prenos mogu biti podaci NAL jedinice.

U operaciji 2020, inverzni multiplekser 1920 pribavlja sintaksu koja označava da li je CRA slika dekodirana shodno normalnom statusu reprodukcije ili shodno statusu nasumičnog pristupa, sa NAL jedinice podataka koja se koristi za multipleksiranje CRA slike.

U operaciji 2030, identifikator statusa reprodukcije 1930 identifikuje da li se CRA slika reprodukuje shodno normalnoj reprodukciji ili shodno nasumičnom pristupu na osnovu dobijene sintakse. Kao što je već opisano, kada zaglavlje NAL jedinice signalizira status dekodiranja CRA slike korišćenjem identifikatora (tip nal jedinice), identifikator statusa reprodukcije 1930 može da prepozna status dekodiranja trenutne CRA slike uzimajući u obzir vrednost identifikatora (tip nal jedinice). Ako je indikator koji ima vrednost 0 ili 1 dodat zaglavlju NAL jedinice, identifikator statusa reprodukcije 1930 može da prepozna status dekodiranja trenutne CRA slike uzimajući u obzir informacije identifikatora. Takođe, kada su PDC i POC informacije srodne slike uključene u zaglavlje NAL jedinice, identifikator statusa reprodukcije 1930 može da prepozna status dekodiranja trenutne CRA slike određivanjem podudaranja između PDC-a dobijenog u procesu dekodiranja i PDC-a uključenog u zaglavlje NAL jedinice i podudaranja između POC vrednosti prethodnih slika sačuvanih na DPB-u i POC vrednost srodne slike.

Kada je određeno da je CRA slika reprodukovana shodno nasumičnom pristupu, vodeće slike CRA slike se ne prikazuju i stoga nije potrebno njihovo dekodiranje. Shodno realizacijama predloženog pronalaska, CRA slika koja je reprodukovana shodno nasumičnom prikazu može da se identifikuje, tako da vodeće slike CRA slike možda neće biti dekodirane i stoga resurs sistema aparata za dekodiranje može da se sačuva.

Pronalazak takođe može da se realizuje kao kodovi koje računar može da čita na medijumu za snimanje koji računar može da čita. Medijum za snimanje koji računar može da čita je bilo koji uređaj za skladištenje podataka koji može da čuva podatke koje nakon toga može da čita računarski sistem. Primeri medijuma za snimanje koji računar može da čita uključuju memoriju samo za čitanje (ROM), radnu memoriju (RAM), CD-ROM, magnetne trake, diskete, optičke uređaje za skladištenje podataka, itd. Medijum za snimanje koji može čitati računar takođe može da se distribuira preko umreženih računarskih sistema tako da se kod koji računar može da pročita čuva i koristi distribucijom.

Iako je ovaj pronalazak prikazan i opisan posebno uzimajući u obzir željene realizacije, njega mogu razumeti i stručnjaci sa uobičajenim iskustvom u tehnici tako da različite promene u obliku i detaljima koje mogu da nastanu u vezi sa njim ne dovode do udaljavanja od duha i obima pronalaska, kao što je definisano patentnim zahtevima. Stoga, domen pronalaska nije definisan detaljnim opisom pronalaska već priloženim zahtevima, a sve razlike u domenu će se smatrati uključenim u predloženi pronalazak.

Claims

PATENTNI ZAHTEV

1. Metod koji obavlja aparat za dekodiranje video zapisa, za dekodiranje video zapisa, metod koji se sastoji od:

primanja (2010), iz toka bitova, jedinice apstrakcionog sloja mreže (NAL) koja sadrži zaglavlje;

nabavljanja (2020), iz zaglavlja, tip informacija koji označava tip trenutne slike i indikator nasumičnog prikaza koji označava da je trenutna slika reprodukovana shodno normalnoj reprodukciji ili shodno nasumičnom prikazu;

ako tip informacija i nasumični prikaz označavaju da je trenutna slika sa potpuno nasumičnim pristupom korišćena u normalnoj reprodukciji, dekodiranje vodećih slika koje prethode trenutnoj slici u redosledu prikazivanja, ali prate trenutnu sliku u redosledu dekodiranja uzimajući u obzir sliku dekodiranu pre trenutne slike; i

ako tip informacija i indikator nasumičnog prikaza označavaju da je trenutna slika sa potpuno nasumičnim pristupom korišćena u nasumičnom pristupu, preskakanje dekodiranja vodećih slika,

gde je trenutna slika podeljena u mnoštvo maksimalnih jedinica za kodiranje, gde je jedna od mnoštva maksimalnih jedinica za kodiranje podeljena u mnoštvo jedinica za kodiranje.