RS58952B1 - Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima - Google Patents
Postupak i uređaj za kompresiju i kodiranje podataka sa gubicimaInfo
- Publication number
- RS58952B1 RS58952B1 RS20190871A RSP20190871A RS58952B1 RS 58952 B1 RS58952 B1 RS 58952B1 RS 20190871 A RS20190871 A RS 20190871A RS P20190871 A RSP20190871 A RS P20190871A RS 58952 B1 RS58952 B1 RS 58952B1
- Authority
- RS
- Serbia
- Prior art keywords
- coefficients
- post
- processing procedure
- quantized coefficients
- zero
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
Opis
TEHNIČKO PODRUČJE
[0001] Ovaj pronalazak je napravljen u području kompresije i kodiranja slikovnih podataka sa gubicima.
POZADINA PRONALASKA
[0002] Kompresija i kodiranje sa gubicima pokušava da predstavi podatke, npr. audio ili video podatke, sa što manje bitova, istovremeno pokušavajući da omogući podacima da se što bolje rekonstruišu iz predstavljanja kompresije i kodiranja sa gubicima.
[0003] Za ostvarenje ovog cilja, obično se definiše funkcija koštanja. Minimizacija ove funkcije zatim omogućava šemu kompresije sa gubicima koja ostvaruje najbolje ujednačavanje između troškova kodiranja u smislu protoka u bitovima i gubitaka informacija u smislu distorzije rekonstruisanih podataka u pogledu originalnih podataka.
[0004] Rekonstruisanje podataka može obuhvatati naknadnu obradu. Odnosno, prvo se generiše preliminarna rekonstrukcija podataka pomoću informacija sadržanih u komprimovanim i kodiranim podacima. Zatim se primenjuje postupak naknadne obrade za ponovno dobijanje onog dela informacija koji je uklonjen iz originalnih podataka kompresijom sa gubicima.
[0005] Primer ovoga je uklanjanje buke filmskog zrna sa slikovnih podataka tokom kompresije sa gubicima i naknadno dodavanje simulirane buke filmskog zrna preliminarnoj rekonstrukciji dobijenoj sa komprimovanih i kodiranih slikovnih podataka sa gubicima.
[0006] Drugi primer izvora distorzije je kvantizacija. Za kompresiju video ili audio podataka, podaci se obično predviđaju pomoću već kodiranih podataka. Predikcija preostale forme se transformiše iz prostornog i/ili vremenskog domena u domen frekvencije pomoću, na primer, diskretne kosinus transformacije ili talasne transformacije. Zatim se rezultujući koeficijenti kvantizuju. Na kraju, kvantizovani koeficijenti su komprimovani i kodirani pomoću, na primer, Hafmanovih kodova ili aritmetičkog kodiranja.
[0007] Kvantizacija može biti nelinearna tako da koeficijenti budu istanjeni ili rasejani, odnosno samo podskup informacija o frekvenciji se održava. Ovo je slično ili identično linearnoj kvantizaciji u kombinaciji sa modifikacijom. E. Candes, J. Romberg, i T. Tao, "Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information," IEEE Trans. on Information Theory, vol.52, pp.489 - 509, Feb.2006, je teoretski dokazao da, u svakom slučaju, slika može biti precizno rekonstruisana iz takvog podskupa pomoću odgovarajuće naknadne obrade.
[0008] Y. Zhang, S. Mei, Q. Chen, i Z. Chen, "A novel image/video coding method based on compressed sensing theory," In Proceedings of IEEE ICASSP, pp.1361-1364, Apr.2008, predložio je postupak kodiranja slike/video snimka poduzorkovanjem transformisanih koeficijenata i naknadnom obradom rekonstrukcije preliminarnog bloka u domenu ostatka na bazi minimizacije ukupne varijacije (TV).
[0009] M.R. Dadkhah, S. Shirani, M.J. Deen, "Compressive sensing with modified total variation minimization algorithm", In Proceedings of IEEE ICASSP, pp.1030 - 1033, Mar.14 - 19, 2010, pominje korišćenje Norm-1 naknadne obrade za rekonstrukciju slike.
[0010] Drugi primer upotrebe naknadne obrade na bazi minimizacije ukupne varijacije može se pronaći u T.T.Do, X. Lu, J. Sole, "Compressive sensing with adaptive pixel domain reconstruction for block-based video coding", In Proceedings of ICIP, pp.3377 - 3380 Sep.26-29, 2010. U toj knjizi, predložen je video koder koji pravi odabir između novog načina kodiranja koji koristi adaptivno vraćanje bloka na bazi minimizacije ukupne varijacije i postojećih H.264 načina rada. Dodatna zastavica, označena kao CS-zastavica, se koristi za označavanje odabranog načina kodiranja. Dekoder čita CS-zastavicu, a zatim vrši odgovarajući algoritam rekonstrukcije koji odgovara CS načinu rada ili uobičajenim načinima rada.
SAŽETAK PRONALASKA
[0011] Pronalazači ovog pronalaska identifikovali su problem u činjenici da prenos zastavice za sprovođenje naknadne obrade poput regularizacije ukupne varijacije (TV) dovodi do značajnog opterećenja u protoku bitova, naročito kod niske kompresije protoka bitova. Ovaj problem se čak i povećava u slučaju da se može koristiti više postupaka naknadne obrade i stoga ga treba signalizirati.
[0012] Pronalazači su shvatili da se modifikacija kvantizovanih koeficijenata može koristiti za signaliziranje postupka naknadne obrade.
[0013] Stoga je to predloženi postupak prema zahtevu 1 za kompresiju i kodiranje slikovnih podataka sa gubicima. Navedeni postupak obuhvata modifikaciju kvantizovanih koeficijenata radi minimizacije funkcije koštanja, pri čemu se distorzija utvrđuje pomoću rekonstrukcije podataka naknadnom obradom, pri čemu je rekonstrukcija naknadnom obradom sprovedena prema postupku naknadne obrade, uz kompresiju i kodiranje navedenih modifikovanih koeficijenata. U navedenom predloženom postupku, postupak naknadne obrade je onaj od n>l različitih unapred utvrđenih kandidata u postupku naknadne obrade čiji je položaj u unapred utvrđenom redosledu rasporeda postupka naknadne obrade jednak ostatku deljenja, sa n, zbira modifikovanih koeficijenata.
[0014] Na ovaj način se eliminiše opterećenje zastavica u protoku bitova.
[0015] U primeru izvođenja, ove faze se vrše pomoću odgovarajuće adaptiranih sredstava za obradu.
[0016] Karakteristike daljih poželjnih primera izvođenja su naznačene u zavisnim patentnim zahtevima.
KRATAK OPIS CRTEŽA
[0017] Primeri izvođenja ovog pronalaska su prikazani na crtežima i detaljnije su objašnjeni u sledećem opisu. Primeri izvođenja su objašnjeni samo radi pojašnjenja ovog pronalaska, ali bez ograničavanja opisa ili područja pronalaska koji su definisani isključivo patentnim zahtevima.
[0018] Na crtežima:
Fig.1 opisuje primer grafikonskog prikaza postupka kodiranja prema pronalasku;
Fig.2 opisuje primer grafikonskog prikaza upisivanja skrivenih informacija u naknadnoj obradi tokom protoka bitova; i
Fig.3 opisuje primer grafikonskog prikaza postupka dekodiranja prema pronalasku.
PRIMERI IZVOĐENJA OVOG PRONALASKA
[0019] Ovaj pronalazak može se realizovati na bilo kom elektronskom uređaju koji obuhvata odgovarajuće adaptiran uređaj za obradu. Na primer, pronalazak može biti realizovan na televizoru, mobilnom telefonu, ličnom računaru, digitalnom foto aparatu, digitalnoj video kameri, mp3-plejeru, sistemu za navigaciju ili audio sistemu u automobilu.
[0020] U ovom primeru izvođenja, pronalazak se koristi za kodiranje slike koju čine pikseli slike. U navedenom primeru izvođenja utvrđen je ostatak između bloka piksela slike koje treba kodirati i predikcije navedenog bloka. Predikcija se utvrđuje pomoću već kodiranih piksela slike. Zatim, transformacija od prostornog domena do domena frekvencije, poput diskretne kosinus transformacije, se primenjuje na ostatku. Od rezultata transformacije generiše se redosled kvantizovanih koeficijenata kvantizacijom i skeniranjem prema redosledu skeniranja, pri čemu nije važno da li se prvo sprovodi kvantizacija ili skeniranje.
[0021] Među kvantizovanim koeficijentima, za dalju modifikaciju su odabrani oni sa smanjenom relevantnošću za ljudski vizuelni sistem, npr. koeficijenti povezani sa frekvencijama iznad praga povezanog sa ljudskom perceptivnom senzitivnošću. Ovo obezbeđuje da naknadna modifikacija ne dovede do izrazito istaknutih distorzija za korisnika.
[0022] Zatim, među odabranim koeficijentima, utvrđeni su oni sa pozitivnim vrednostima i koji ne prelaze pozitivni prag i koji su dalje sadržani u susednim podnizovima najmanje pozitivnog broja nultih koeficijenata, odnosno svaki utvrđeni koeficijent je jedini nenulti koeficijent u odgovarajućem podnizu.
[0023] Svi utvrđeni koeficijenti mogu se podesiti na nulu, što dovodi do kompresije bez značajnijeg uticaja na kvalitet slike. Ili, optimizacija funkcije koštanja se može koristiti za identifikaciju, među utvrđenim koeficijentima, i podešavanje na nulu onih koji, kada se podese na nulu, dovode do poboljšanja funkcije koštanja.
[0024] Na taj način se obezbeđuje adaptivna šema video kodiranja na bazi kompresivnog senzora koja adaptivno odabira koeficijente koji su najefikasniji u predstavljanju video okvira.
[0025] Optimizacija funkcije koštanja može uzeti u obzir jedan ili više postupaka naknadne obrade, poput regularizacije ukupne varijacije, što se takođe naziva minimizacija ukupne varijacije, ili l1minimizacija, koje se takođe naziva Norm-1 minimizacija, pri čemu su jedan ili više postupaka naknadne obrade raspoređeni, zajedno sa prividnim postupkom naknadne obrade koji ne predstavlja naknadnu obradu, po redosledu, odnosno svaka naknadna obrada ima pripadajući redni broj.
[0026] Stoga, u primeru izvođenja je utvrđeno da li naknadna obrada poboljšava kvalitet restauriranih slika, kao i koja naknadna obrada u najvećoj meri poboljšava kvalitet.
[0027] Zatim, modifikacija utvrđenih koeficijenata može biti sprovedena tako da ostatak deljenja, sa n, zbira svih koeficijenata, uključujući i one modifikovane, bude jednak rednom broju onog postupka naknadne obrade koji je najpogodniji za minimizaciju distorzije. Da bi se olakšalo dostizanje ove jednakosti, parni koeficijenti povezani sa frekvencijama u nastavku ili na pragu perceptivnosti mogu biti modifikovani. Dalje ili kao alternativa, dostizanje ove jednakosti se može sprovesti ponavljanjem, odnosno utvrđuje se preliminarna pogodna naknadna obrada, zatim se koeficijenti modifikuju radi dostizanja navedene jednakosti, a kao odgovor na to proverava se da li je preliminarna utvrđena naknadna obrada i dalje pogodna, ili je utvrđena nova preliminarna pogodna naknadna obrada, što podstiče novu modifikaciju.
[0028] U praksi, utvrđeno je da je jedno ponavljanje dovoljno u retkim slučajevima gde provera prve preliminarne utvrđene naknadne obrade nije uspela.
[0029] Na kraju, rezultujući koeficijenti se kodiraju zajedno sa informacijom, što omogućava dekoderu da utvrdi predikciju.
[0030] Ovo omogućava signaliziranje u protoku bitova koji obuhvata komprimovane i kodirane kvantizovane koeficijente utvrđene pomoću kvantizacije ostatka predikcije bloka piksela slike transformisanog diskretnom kosinus transformacijom, pri čemu je postupak jedan od n>1 različitih, sortiranih i unapred utvrđenih kandidata u postupku naknadne obrade koji minimizuje distorziju kada se koristi za rekonstrukciju bloka pomoću navedenih kodiranih koeficijenata i navedene predikcije.
[0031] Odnosno, preko skrivenog komunikacionog kanala se šalje informacija da li i/ili koja naknadna obrada na najbolji način poboljšava restauraciju slike.
[0032] Različiti parametri kvantizacije se mogu koristiti za kvantizaciju. U tom slučaju, najmanje jedan od pozitivnog praga i najmanji pozitivni broj od nultih koeficijenata po podnizu mogu se takođe razlikovati u zavisnosti od parametra kvantizacije.
[0033] Za rekonstrukciju bloka piksela slike koji su na taj način kodirani dekodiraju se koeficijenti i informacije koje omogućavaju dekoderu da utvrdi predikciju. Zatim, ostatak deljenja, sa unapred utvrđenim pozitivnim brojem n, zbira dekodiranih koeficijenata se utvrđuje. Za rekonstrukciju ostatka, dekodirani koeficijenti se dekvantizuju i inverzno transformišu, a dekodirane informacije se koriste za rekonstrukciju predikcije. Zatim, predikcija i ostatak se kombinuju. Ostatak deljenja se koristi za odabir kandidata u postupku naknadne obrade, što se zatim primenjuje na kombinaciji rekonstruisanog ostatka i rekonstruisane predikcije radi utvrđivanja krajnje rekonstrukcije bloka.
[0034] Primer izvođenja uređaja za kodiranje skenira koeficijente nakon DCT i kvantizacije svakog bloka, i pronalazi izolovane male koeficijente (npr. izolovan 1 u sredini više uzastopnih nula) koji ne pružaju značajniji doprinos kvalitetu rekonstrukcije. Zatim se takvi koeficijenti odbacuju, pošto ovo verovatno pomalo degradira kvalitet, ali u velikoj meri smanjuje protok bitova. Stoga, samo se važni koeficijenti biraju i upisuju u protok bitova.
[0035] Dodatno ili alternativno, primer izvođenja uređaja za kodiranje može da izvrši adaptivan odabir između l1minimizacije, minimizacije ukupne varijacije i preskakanja naknadne obrade i naznačavanja odabira putem skrivene komunikacije.
[0036] U mnogim slučajevima, načini naknadne obrade, npr. minimizacija ukupne varijacije (TV), dobro funkcionišu prilikom kompenzacije distorzije prouzrokovane kvantizacijom i/ili odbacivanjem koeficijenta, mada u međuvremenu ponekad nisu efikasni. Primer izvođenja uređaja za kodiranje može da obradi svaki blok i izračunava distorziju, npr. izračunavanjem PSNR. Ako se kvalitet poboljša, upisuje se poruka "to do TV regularization" („uraditi regularizaciju ukupne varijacije“) u protok bitova preko skrivenog komunikacionog kanala.
[0037] Primer skrivenih poruka jeste da, ako je neophodna regularizacija ukupne varijacije na dekoderu, a regularizacija ukupne varijacije je jedini dostupni kandidat u postupku naknadne obrade, zbir koeficijenata će biti neparan; u suprotnom, zbir će biti paran. U slučaju 3 dostupna načina naknadne obrade, modulus-3 će se koristiti umesto provere parnosti.
[0038] Pošto zbir koeficijenata nije nužno neparan u slučaju da se koristi regularizacija ukupne varijacije i nije nužno paran u slučaju da naknadna obrada nije poželjna, koeficijente ponekad treba modifikovati. Ovo se najbolje može uraditi na način koji smanjuje protok bitova i minimizuje distorziju koja je rezultat takve modifikacije, odnosno ne samo da obezbeđuje zbir modifikovanih koeficijenata sa ispravnom parnošću, već dalje minimizuje funkciju koštanja.
[0039] Pošto je ljudsko oko daleko osetljivije na varijacije u komponentama niže frekvencije, poželjno je sprovesti modifikaciju na komponentama više frekvencije iznad praga.
[0040] I, pošto kodiranje malih i izolovanih koeficijenata zahteva uporedivo puno bitova, poželjno je sprovesti modifikaciju na malim i izolovanim komponentama visoke frekvencije.
[0041] Stoga, u primeru izvođenja koji takođe obuhvata odbacivanje malih i izolovanih komponenata visoke frekvencije, u svakom slučaju, zbir koeficijenata se može kontrolisati neodbacivanjem svih malih i izolovanih koeficijenata i/ili ne odbacivanjem, već samo smanjivanjem nekih ili svih ovih koeficijenata.
[0042] Pronalazački principi utvrđeni u patentnim zahtevima su testirani u primeru kodera napravljenog na bazi H.264 kodeka. Radi jednostavnosti, samo 8x8 transformacija je upotrebljena, međutim, predloženi postupak je takođe pogodan za druge veličine blokova, poput 4x4. Dalje, samo je regularizacija ukupne varijacije razmotrena u postupku naknadne obrade.
[0043] Testirani primer kodera prolazi kroz ove faze:
S obzirom na parametar kvantizacije (QP) od H.264 kompresije, testirani primer kodera izračunava najmanje parametre Threshold_Run, Threshold_Level, TV_lambda. Ovi izračunati parametri zadovoljavaju uslov da adaptivni senzorni operator (Adaptive Sensing Operator) ili modul regularizacije ukupne varijacije (TV Regularization) mogu dostići optimalnu kompresiju u svakom QP. Parametri Threshold_Level i Threshold_Run su optimizovani za svaki QP pomoću skupa obuke za različite video sekvence.
[0044] Testirani primer kodera dobija zaostale podatke oduzimanjem inter/intra predikcije od originalnog bloka Forg, koji se zatim transformiše, kvantizuje i raspoređuje u redosledu skeniranja prema unapred utvrđenom redosledu skeniranja, npr. različite komponente frekvencije su raspoređene na cik-cak način.
[0045] Adaptivni senzorni operator ASO realizovan u primeru kodera zatim pokušava da predstavi okvir što tačnije uz relativno nisku potrošnju bitova. Da bi se to postiglo, ispituje se da li koeficijenti sa malim veličinama koji troše mnogo bitova mogu biti odbačeni. Ovo se ostvaruje ispitivanjem redosleda koeficijenata. Za svaki koeficijent C koji stoji ispred uzastopnih nula i nakon b uzastopnih nula, ako je C ≤ Threshold_Level i ako je a b ≥ Threshold_Run, C je kandidat za podešavanje na nulu.
[0046] Optimizaciju odnosa distorzije i brzine koristi adaptivni senzorni operator ASO za utvrđivanje da li treba podesiti na nulu detektovane koeficijente kandidate.
[0047] U razmatranju subjektivnog kvaliteta, adaptivni senzorni operator ASO se adaptira za isključivanje početnih 25 koeficijenata koji su osetljivi na ljudsko oko sa podešavanja na nulu.
[0048] Za svakog koeficijenta kandidata koji je zapravo podešen na nulu bitovi vrednosti nivoa i strukturne (run-length) vrednosti se čuvaju bez značajnijeg degradiranja kvaliteta.
[0049] Za ublažavanje gubitka kvaliteta prouzrokovanog kvantizacijom i padom koeficijenta, minimizacija ukupne varijacije je u principu pogodna. Ali, iako je parametar TV_lambda optimizovan za dati parametar kvantizacije na osnovu različitih video snimaka, još uvek postoji mogućnost da regularizacija ukupne varijacije zapravo degradira kvalitet.
[0050] U načinu naknadne obrade PP, testirani primer kodera stoga eksperimentalno primenjuje regularizaciju ukupne varijacije na rekonstruisanom bloku Free, čime se dobija blok FTV. Zatim, primer kodera procenjuje kvalitet Free i FTV upoređivanjem sa prvobitnim podacima Forg. Ako je distorzija FTV-a manja, testirani primer kodera signalizira da treba upotrebiti regularizaciju ukupne varijacije sa strane dekodera za izlaz, kao i za predikciju.
[0051] Testirani primer kodera stoga upisuje poruku da li treba koristiti regularizaciju ukupne varijacije u protoku bitova. Ako regularizacija ukupne varijacije poboljšava kvalitet i stoga je neophodna, zbir koeficijenata će biti neparan; u suprotnom, zbir će biti paran. Testirani primer kodera zatim izračunava zbir koeficijenata i proverava da li parnost sledi gore navedeno pravilo, odnosno da li se parnost uklapa u primenljivost naknadne obrade prema pravilu prisutnom kod kodera i dekodera. Ako to nije slučaj, testirani primer kodera modifikuje, u načinu rada MOD, jedan od preostalih nenultih koeficijenata ili jedan od odbačenih malih i izolovanih koeficijenata visoke frekvencije sa 1 ili -1 kako bi se ispunio ovaj zahtev.
[0052] Radi uticaja na vidljivost, frekvencija modifikovanog koeficijenta će biti što viša. Radi protoka bitova, frekvencija modifikovanog koeficijenta će biti što viša. Stoga, minimizacija funkcije koštanja se može koristiti za utvrđivanje koje od različitih komponenata frekvencije treba modifikovati, kao i kako ih modifikovati.
[0053] Pošto je prostor za pretragu radi ovog utvrđivanja velik, sledeća prioritizacija se primenjuje kod testiranog primera kodera:
Ako su bilo koji odbačeni koeficijenti neparni: Vratiti koeficijent povezan sa najnižom frekvencijom ili onaj čije je odbacivanje dovelo do najveće dodatne distorzije.
[0054] Samo ako su svi odbačeni koeficijenti parni: Modifikovati jedan od odbačenih koeficijenata sa ±1.
[0055] Ako nijedan koeficijent nije odbačen: Modifikovati jedan od nenultih koeficijenata sa ±1.
[0056] Utvrđeno je da je poželjno ako je apsolutna vrednost modifikovanog koeficijenta smanjena.
[0057] Pošto modifikacija može uticati na korisnost regularizacije ukupne varijacije, procena dejstva regularizacije ukupne varijacije na distorziju i modifikacija koeficijenata se ponavljaju dok parnost koeficijenata ne bude jednaka poželjnom načinu rekonstrukcije.
[0058] Na kraju, blok rekonstruisan iz krajnje rezultujućih koeficijenata se čuva u baferu kao kandidat za predikciju blokova koje treba kodirati; i krajnje rezultujući koeficijenti su entropijski kodirani i upisani u protok bitova, na neprenosivom medijumu za čuvanje ili se prenose kao signal.
[0059] Primer izvođenja uređaja za rekonstrukciju podataka koji je kodiran kao takav prima kodirane koeficijente i dekodira ih. Zatim uređaj utvrđuje parnost koeficijenata. Parnost koja je neparna obaveštava primer dekodera da se regularizacija ukupne varijacije može povoljno primeniti. Parnost koja je parna obaveštava primer dekodera da se računski rad regularizacije ukupne varijacije može preskočiti, a da time ne bude umanjen kvalitet slike. Zatim, primer dekodera primenjuje inverznu kvantizaciju i inverznu transformaciju na koeficijentima. Rezultujući koeficijenti se raspoređuju u bloku koji odgovara unapred utvrđenom redosledu skeniranja koji se koristi na strani kodera. Ovo dovodi do rekonstrukcije ostatka koji se kombinuje sa predikcijom koja rezultuje stvaranjem dekodiranog bloka FDEC. Na kraju, naknadna obrada se primenjuje ili preskače u zavisnosti od parnosti dekodiranih koeficijenata.
Claims (8)
1. Postupak za kompresiju i kodiranje slikovnih podataka sa gubicima, pri čemu navedeni postupak obuhvata
- modifikovanje kvantizovanih koeficijenata transformisanog ostatka predikcije navedenih podataka radi minimizacije funkcije koštanja, pri čemu su podaci i kvantizovani koeficijenti raspoređeni kao dvodimenzionalni blokovi, i pri čemu se distorzija utvrđuje pomoću rekonstrukcije podataka naknadnom obradom, pri čemu je ta rekonstrukcija naknadnom obradom izvedena u skladu sa postupkom naknadne obrade, i
- kompresiju i kodiranje navedenih modifikovanih kvantizovanih koeficijenata,
naznačen time, što
- postupak naknadne obrade je onaj od n>1 različitih unapred utvrđenih kandidata u postupku naknadne obrade čiji je položaj u unapred utvrđenom redosledu rasporeda postupka naknadne obrade jednak ostatku deljenja, sa n, zbira modifikovanih koeficijenata; i
- modifikovanjem koeficijenata koje obuhvata:
- utvrđivanje redosleda koeficijenata pomoću:
∘ skeniranja kvantizovanih koeficijenata prema rasporedu skeniranja i upotrebom redosleda za utvrđivanje onih kvantizovanih koeficijenata od kojih svaki:
• predstavlja frekvenciju iznad unapred utvrđenog praga frekvencije,
• ne prelazi unapred utvrđeni pozitivni prag, i
• jeste jedini nenulti koeficijent sadržan u susednom podnizu od najmanje unapred utvrđenog pozitivnog broja kvantizovanih koeficijenata, i
- identifikovanje, među utvrđenim koeficijentima, onih koji, kada se podese na nulu, vode do minimizacije funkcije koštanja i podešavanja identifikovanih koeficijenata na nulu.
2. Postupak prema zahtevu 1, pri čemu faza modifikovanja navedenih kvantizovanih koeficijenata obuhvata:
(a) Utvrđivanje da razlika koja nije jednaka nuli postoji između ostatka deljenja, sa n, zbira kvantizovanih koeficijenata i položaja tog od n drugačijih, raspoređenih i unapred utvrđenih kandidata u postupku naknadne obrade, što minimizuje distorziju kada se koristi za rekonstrukciju navedenog bloka pomoću navedenih kvantizovanih koeficijenata i navedene predikcije, i
(b) modifikovanje kvantizovanih koeficijenata tako da je celokupna modifikacija jednaka nenultoj razlici.
3. Postupak prema zahtevu 2, koji dalje obuhvata ponavljanje faza (a) i (b) upotrebom u svakom ponavljanju faze (a) modifikovanih koeficijenata koji su rezultati neposredno prethodnog izvršenja faze (b) dok se ne utvrdi postojanje razlike koja nije jednaka nuli.
4. Postupak prema zahtevu 1, koji dalje obuhvata utvrđivanje parametra kvantizacije, pri čemu najmanje jedan pozitivni prag i pozitivni broj zavisi od utvrđenog parametra kvantizacije.
5. Postupak prema jednom od zahteva 1-4, pri čemu jedan od kandidata u postupku naknadne obrade je regularizacija ukupne varijacije.
6. Postupak prema jednom od zahteva 1-5, pri čemu jedan od kandidata u postupku naknadne obrade je l1minimizacija.
7. Postupak prema jednom od zahteva 1-6, pri čemu jedan od kandidata u postupku naknadne obrade je prividni postupak naknadne obrade koji uopšte ne vrši obradu.
8. Uređaj za kompresiju i kodiranje slikovnih podataka sa gubicima, koji obuhvata
procesor konfigurisan da modifikuje kvantizovane koeficijente transformisanog ostatka predikcije navedenih podataka radi minimizacije funkcije koštanja, pri čemu su podaci i kvantizovani koeficijenti raspoređeni kao dvodimenzionalni blokovi, i pri čemu se distorzija utvrđuje rekonstrukcijom bloka koji je naknadno obrađen prema postupku naknadne obrade,
procesor je dalje konfigurisan za kompresiju i kodiranje navedenih modifikovanih kvantizovanih koeficijenata, naznačen time, što
- postupak naknadne obrade upotrebljen za utvrđivanje distorzije je jedan od n>1 različitih unapred utvrđenih kandidata u postupku naknadne obrade čiji je položaj u unapred utvrđenom redosledu rasporeda postupka naknadne obrade jednak ostatku deljenja, sa n, zbira modifikovanih koeficijenata; i - modifikovanje koeficijenata obuhvata:
- utvrđivanje redosleda koeficijenata pomoću:
∘ skeniranja kvantizovanih koeficijenata prema rasporedu skeniranja i upotrebom redosleda za utvrđivanje onih kvantizovanih koeficijenata od kojih svaki:
• predstavlja frekvenciju iznad unapred utvrđenog praga frekvencije,
• ne prelazi unapred utvrđeni pozitivni prag, i
1
• jeste jedini nenulti koeficijent sadržan u susednom podnizu od najmanje unapred utvrđenog pozitivnog broja kvantizovanih koeficijenata, i
- identifikovanje, među utvrđenim koeficijentima, onih koji, kada se podese na nulu, vode do minimizacije funkcije koštanja i podešavanja identifikovanih koeficijenata na nulu.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11863936.8A EP2700234B1 (en) | 2011-04-22 | 2011-04-22 | Method and device for lossy compress-encoding data |
| PCT/CN2011/000705 WO2012142731A1 (en) | 2011-04-22 | 2011-04-22 | Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RS58952B1 true RS58952B1 (sr) | 2019-08-30 |
Family
ID=47041015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RS20190871A RS58952B1 (sr) | 2011-04-22 | 2011-04-22 | Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US9288453B2 (sr) |
| EP (2) | EP3573337B1 (sr) |
| JP (1) | JP5838258B2 (sr) |
| KR (7) | KR102231522B1 (sr) |
| CN (5) | CN107454409B (sr) |
| DK (1) | DK2700234T3 (sr) |
| ES (2) | ES2924886T3 (sr) |
| HU (1) | HUE044124T2 (sr) |
| PL (2) | PL3573337T3 (sr) |
| PT (1) | PT2700234T (sr) |
| RS (1) | RS58952B1 (sr) |
| WO (1) | WO2012142731A1 (sr) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011127049A1 (en) | 2010-04-07 | 2011-10-13 | Liveperson, Inc. | System and method for dynamically enabling customized web content and applications |
| KR20140090999A (ko) * | 2011-10-14 | 2014-07-18 | 어드밴스드 마이크로 디바이시즈, 인코포레이티드 | 영역-기반 이미지 압축 |
| US9491475B2 (en) | 2012-03-29 | 2016-11-08 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
| WO2014078985A1 (en) * | 2012-11-20 | 2014-05-30 | Thomson Licensing | Method and apparatus for image regularization |
| US9392286B2 (en) * | 2013-03-15 | 2016-07-12 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
| US9794575B2 (en) | 2013-12-18 | 2017-10-17 | Magnum Semiconductor, Inc. | Apparatuses and methods for optimizing rate-distortion costs in video encoding |
| US8929446B1 (en) * | 2014-03-14 | 2015-01-06 | Faroudja Enterprises, Inc. | Combiner processing system and method for support layer processing in a bit-rate reduction system |
| CN104270641B (zh) * | 2014-09-30 | 2018-12-14 | 杭州华为数字技术有限公司 | 变换系数的处理方法和装置 |
| KR102338980B1 (ko) | 2015-03-23 | 2021-12-13 | 삼성전자주식회사 | 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치 |
| JP6564315B2 (ja) * | 2015-12-04 | 2019-08-21 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
| CN114245225B (zh) * | 2018-04-30 | 2024-05-31 | 杜比国际公司 | 用于经由内容分发网络流式传输媒体数据的方法及系统 |
| CN108683915B (zh) * | 2018-05-11 | 2020-08-07 | 北京奇艺世纪科技有限公司 | 一种写入dQP值的方法、装置及电子设备 |
| KR102777347B1 (ko) | 2018-11-30 | 2025-03-05 | 삼성전자주식회사 | 이미지 처리 장치 및 프레임 버퍼 컴프레서 |
| CN110262819B (zh) * | 2019-06-04 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 一种联邦学习的模型参数更新方法及装置 |
| MX2021014726A (es) * | 2019-06-14 | 2022-01-18 | Electronics & Telecommunications Res Inst | Metodo y dispositivo de codificacion/decodificacion de matrices de cuantificacion, y medio de grabacion que almacena un flujo de bits. |
| WO2021034323A1 (en) * | 2019-08-21 | 2021-02-25 | Siemens Industry Software Nv | Method for storing data to and retrieving data from at least one data storage, system, use, computer program, and computer readable medium |
| US12177493B2 (en) * | 2019-10-02 | 2024-12-24 | V-Nova International Limited | Use of embedded signalling for backward-compatible scaling improvements and super-resolution signalling |
| US11997570B1 (en) | 2020-05-14 | 2024-05-28 | Trackonomy Systems, Inc. | Optimized context-based communications compression for IOT systems and networks |
| KR102315376B1 (ko) | 2021-03-16 | 2021-10-20 | 모멘티브퍼포먼스머티리얼스코리아 주식회사 | 실리콘계 조성물 및 이의 경화물 |
| CN115209146A (zh) * | 2021-04-13 | 2022-10-18 | 腾讯科技(深圳)有限公司 | 视频编解码方法、装置、计算机可读介质及电子设备 |
| CN113489978A (zh) * | 2021-05-27 | 2021-10-08 | 杭州博雅鸿图视频技术有限公司 | 一种针对avs3的失真优化量化电路 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5321522A (en) | 1993-07-19 | 1994-06-14 | Xerox Corporation | ADCT compression with minimum compression ratio |
| US5933542A (en) * | 1996-04-24 | 1999-08-03 | Sony Corporation | Method and apparatus for blocking effect reduction in images by post-processing in the spatial domain |
| KR100269125B1 (ko) * | 1997-10-25 | 2000-10-16 | 윤덕용 | 양자화효과감소를위한영상데이터후처리방법및장치 |
| US6118822A (en) * | 1997-12-01 | 2000-09-12 | Conexant Systems, Inc. | Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes |
| US6252994B1 (en) * | 1998-01-26 | 2001-06-26 | Xerox Corporation | Adaptive quantization compatible with the JPEG baseline sequential mode |
| US6801665B1 (en) * | 1998-09-15 | 2004-10-05 | University Of Maryland | Method and apparatus for compressing and decompressing images |
| US6748362B1 (en) * | 1999-09-03 | 2004-06-08 | Thomas W. Meyer | Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like |
| US6944350B2 (en) * | 1999-12-17 | 2005-09-13 | Utah State University | Method for image coding by rate-distortion adaptive zerotree-based residual vector quantization and system for effecting same |
| JP2003526274A (ja) * | 2000-03-06 | 2003-09-02 | メイヤー,トーマス,ダブリュー | ディジタル電話信号へのデータの埋め込み |
| US7206459B2 (en) * | 2001-07-31 | 2007-04-17 | Ricoh Co., Ltd. | Enhancement of compressed images |
| CN101448162B (zh) * | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
| WO2004028142A2 (en) * | 2002-09-17 | 2004-04-01 | Vladimir Ceperkovic | Fast codec with high compression ratio and minimum required resources |
| US7890335B2 (en) * | 2002-10-10 | 2011-02-15 | Texas Instruments Incorporated | Sharing wavelet domain components among encoded signals |
| KR100813258B1 (ko) * | 2005-07-12 | 2008-03-13 | 삼성전자주식회사 | 화상 데이터 부호화 및 복호화 장치 및 방법 |
| DE112006003307T8 (de) * | 2005-12-09 | 2009-01-29 | Nvidia Corp., Santa Clara | Multistandard-Hardware-Videodecodervorrichtung |
| CN101026761B (zh) * | 2006-02-17 | 2010-05-12 | 中国科学院自动化研究所 | 一种具有最小误差的快速变尺寸块匹配的运动估计方法 |
| US8059721B2 (en) * | 2006-04-07 | 2011-11-15 | Microsoft Corporation | Estimating sample-domain distortion in the transform domain with rounding compensation |
| CN101491103B (zh) * | 2006-07-20 | 2011-07-27 | 高通股份有限公司 | 用于编码器辅助式预处理的方法和设备 |
| EP1883067A1 (en) * | 2006-07-24 | 2008-01-30 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream |
| US7460725B2 (en) * | 2006-11-09 | 2008-12-02 | Calista Technologies, Inc. | System and method for effectively encoding and decoding electronic information |
| US20080225947A1 (en) * | 2007-03-13 | 2008-09-18 | Matthias Narroschke | Quantization for hybrid video coding |
| WO2008122913A2 (en) * | 2007-04-04 | 2008-10-16 | Nxp B.V. | Decoder for selectively decoding predetermined data units from a coded bit stream |
| US8442337B2 (en) * | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| EP2046045A1 (en) * | 2007-10-02 | 2009-04-08 | Thomson Licensing | Methods of encoding and reconstructing image data and devices implementing said methods |
| US8582652B2 (en) * | 2007-10-30 | 2013-11-12 | General Instrument Corporation | Method and apparatus for selecting a coding mode |
| US8553994B2 (en) | 2008-02-05 | 2013-10-08 | Futurewei Technologies, Inc. | Compressive sampling for multimedia coding |
| US8805106B2 (en) | 2008-09-26 | 2014-08-12 | Futurewei Technologies, Inc. | System and method for compressing and decompressing images and video |
| CN101420614B (zh) * | 2008-11-28 | 2010-08-18 | 同济大学 | 一种混合编码与字典编码整合的图像压缩方法及装置 |
| US8340448B2 (en) * | 2009-10-06 | 2012-12-25 | Cisco Technology, Inc. | Locally variable quantization and hybrid variable length coding for image and video compression |
| CN101854548B (zh) * | 2010-05-25 | 2011-09-07 | 南京邮电大学 | 一种面向无线多媒体传感器网络的视频压缩方法 |
| CN101888545B (zh) * | 2010-05-27 | 2013-01-02 | 北京华信新媒技术有限公司 | 一种低码率信源压缩编码方法 |
-
2011
- 2011-04-22 CN CN201710795514.4A patent/CN107454409B/zh active Active
- 2011-04-22 DK DK11863936.8T patent/DK2700234T3/da active
- 2011-04-22 KR KR1020207021516A patent/KR102231522B1/ko active Active
- 2011-04-22 KR KR1020187005052A patent/KR101874466B1/ko active Active
- 2011-04-22 KR KR1020217008109A patent/KR102375037B1/ko active Active
- 2011-04-22 US US14/113,005 patent/US9288453B2/en active Active
- 2011-04-22 ES ES19180800T patent/ES2924886T3/es active Active
- 2011-04-22 JP JP2014505474A patent/JP5838258B2/ja active Active
- 2011-04-22 PL PL19180800.5T patent/PL3573337T3/pl unknown
- 2011-04-22 KR KR1020197005173A patent/KR102051013B1/ko active Active
- 2011-04-22 KR KR1020187018419A patent/KR101952709B1/ko active Active
- 2011-04-22 KR KR1020197034953A patent/KR102139199B1/ko active Active
- 2011-04-22 PT PT11863936T patent/PT2700234T/pt unknown
- 2011-04-22 RS RS20190871A patent/RS58952B1/sr unknown
- 2011-04-22 PL PL11863936T patent/PL2700234T3/pl unknown
- 2011-04-22 CN CN201180071804.5A patent/CN103748876B/zh active Active
- 2011-04-22 WO PCT/CN2011/000705 patent/WO2012142731A1/en not_active Ceased
- 2011-04-22 CN CN201710795835.4A patent/CN107454410B/zh active Active
- 2011-04-22 EP EP19180800.5A patent/EP3573337B1/en active Active
- 2011-04-22 CN CN201710795373.6A patent/CN107547899B/zh active Active
- 2011-04-22 HU HUE11863936A patent/HUE044124T2/hu unknown
- 2011-04-22 ES ES11863936T patent/ES2736003T3/es active Active
- 2011-04-22 KR KR1020137027392A patent/KR101832792B1/ko active Active
- 2011-04-22 EP EP11863936.8A patent/EP2700234B1/en active Active
- 2011-04-22 CN CN201710795511.0A patent/CN107529059B/zh active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RS58952B1 (sr) | Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima | |
| CN101779463B (zh) | 用于处理图像的方法以及相应的电子设备 | |
| HK40017615B (en) | Method and device for lossy compress-encoding image data | |
| HK40017615A (en) | Method and device for lossy compress-encoding image data | |
| HK1244983B (zh) | 有损压缩编码数据方法和设备及相应重构数据方法和设备 | |
| HK1246538B (zh) | 有损压缩编码数据方法和设备及相应重构数据方法和设备 | |
| HK1248433B (zh) | 有损压缩编码数据方法和设备及相应重构数据方法和设备 | |
| HK1244982B (zh) | 有损压缩编码数据方法和设备及相应重构数据方法和设备 | |
| HK1248433A1 (zh) | 有损压缩编码数据方法和设备及相应重构数据方法和设备 | |
| HK1244983A1 (en) | Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data | |
| HK1246538A1 (zh) | 有损压缩编码数据方法和设备及相应重构数据方法和设备 | |
| HK1244983A (en) | Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data | |
| HK1244982A1 (en) | Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data | |
| HK1244982A (en) | Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data | |
| US20200099950A1 (en) | Processing devices and control methods therefor |