[go: up one dir, main page]

RS58952B1 - Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima - Google Patents

Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima

Info

Publication number
RS58952B1
RS58952B1 RS20190871A RSP20190871A RS58952B1 RS 58952 B1 RS58952 B1 RS 58952B1 RS 20190871 A RS20190871 A RS 20190871A RS P20190871 A RSP20190871 A RS P20190871A RS 58952 B1 RS58952 B1 RS 58952B1
Authority
RS
Serbia
Prior art keywords
coefficients
post
processing procedure
quantized coefficients
zero
Prior art date
Application number
RS20190871A
Other languages
English (en)
Inventor
Wenfei Jiang
Zhibo Chen
Fan Zhang
Original Assignee
Dolby Int Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Int Ab filed Critical Dolby Int Ab
Publication of RS58952B1 publication Critical patent/RS58952B1/sr

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

Opis
TEHNIČKO PODRUČJE
[0001] Ovaj pronalazak je napravljen u području kompresije i kodiranja slikovnih podataka sa gubicima.
POZADINA PRONALASKA
[0002] Kompresija i kodiranje sa gubicima pokušava da predstavi podatke, npr. audio ili video podatke, sa što manje bitova, istovremeno pokušavajući da omogući podacima da se što bolje rekonstruišu iz predstavljanja kompresije i kodiranja sa gubicima.
[0003] Za ostvarenje ovog cilja, obično se definiše funkcija koštanja. Minimizacija ove funkcije zatim omogućava šemu kompresije sa gubicima koja ostvaruje najbolje ujednačavanje između troškova kodiranja u smislu protoka u bitovima i gubitaka informacija u smislu distorzije rekonstruisanih podataka u pogledu originalnih podataka.
[0004] Rekonstruisanje podataka može obuhvatati naknadnu obradu. Odnosno, prvo se generiše preliminarna rekonstrukcija podataka pomoću informacija sadržanih u komprimovanim i kodiranim podacima. Zatim se primenjuje postupak naknadne obrade za ponovno dobijanje onog dela informacija koji je uklonjen iz originalnih podataka kompresijom sa gubicima.
[0005] Primer ovoga je uklanjanje buke filmskog zrna sa slikovnih podataka tokom kompresije sa gubicima i naknadno dodavanje simulirane buke filmskog zrna preliminarnoj rekonstrukciji dobijenoj sa komprimovanih i kodiranih slikovnih podataka sa gubicima.
[0006] Drugi primer izvora distorzije je kvantizacija. Za kompresiju video ili audio podataka, podaci se obično predviđaju pomoću već kodiranih podataka. Predikcija preostale forme se transformiše iz prostornog i/ili vremenskog domena u domen frekvencije pomoću, na primer, diskretne kosinus transformacije ili talasne transformacije. Zatim se rezultujući koeficijenti kvantizuju. Na kraju, kvantizovani koeficijenti su komprimovani i kodirani pomoću, na primer, Hafmanovih kodova ili aritmetičkog kodiranja.
[0007] Kvantizacija može biti nelinearna tako da koeficijenti budu istanjeni ili rasejani, odnosno samo podskup informacija o frekvenciji se održava. Ovo je slično ili identično linearnoj kvantizaciji u kombinaciji sa modifikacijom. E. Candes, J. Romberg, i T. Tao, "Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information," IEEE Trans. on Information Theory, vol.52, pp.489 - 509, Feb.2006, je teoretski dokazao da, u svakom slučaju, slika može biti precizno rekonstruisana iz takvog podskupa pomoću odgovarajuće naknadne obrade.
[0008] Y. Zhang, S. Mei, Q. Chen, i Z. Chen, "A novel image/video coding method based on compressed sensing theory," In Proceedings of IEEE ICASSP, pp.1361-1364, Apr.2008, predložio je postupak kodiranja slike/video snimka poduzorkovanjem transformisanih koeficijenata i naknadnom obradom rekonstrukcije preliminarnog bloka u domenu ostatka na bazi minimizacije ukupne varijacije (TV).
[0009] M.R. Dadkhah, S. Shirani, M.J. Deen, "Compressive sensing with modified total variation minimization algorithm", In Proceedings of IEEE ICASSP, pp.1030 - 1033, Mar.14 - 19, 2010, pominje korišćenje Norm-1 naknadne obrade za rekonstrukciju slike.
[0010] Drugi primer upotrebe naknadne obrade na bazi minimizacije ukupne varijacije može se pronaći u T.T.Do, X. Lu, J. Sole, "Compressive sensing with adaptive pixel domain reconstruction for block-based video coding", In Proceedings of ICIP, pp.3377 - 3380 Sep.26-29, 2010. U toj knjizi, predložen je video koder koji pravi odabir između novog načina kodiranja koji koristi adaptivno vraćanje bloka na bazi minimizacije ukupne varijacije i postojećih H.264 načina rada. Dodatna zastavica, označena kao CS-zastavica, se koristi za označavanje odabranog načina kodiranja. Dekoder čita CS-zastavicu, a zatim vrši odgovarajući algoritam rekonstrukcije koji odgovara CS načinu rada ili uobičajenim načinima rada.
SAŽETAK PRONALASKA
[0011] Pronalazači ovog pronalaska identifikovali su problem u činjenici da prenos zastavice za sprovođenje naknadne obrade poput regularizacije ukupne varijacije (TV) dovodi do značajnog opterećenja u protoku bitova, naročito kod niske kompresije protoka bitova. Ovaj problem se čak i povećava u slučaju da se može koristiti više postupaka naknadne obrade i stoga ga treba signalizirati.
[0012] Pronalazači su shvatili da se modifikacija kvantizovanih koeficijenata može koristiti za signaliziranje postupka naknadne obrade.
[0013] Stoga je to predloženi postupak prema zahtevu 1 za kompresiju i kodiranje slikovnih podataka sa gubicima. Navedeni postupak obuhvata modifikaciju kvantizovanih koeficijenata radi minimizacije funkcije koštanja, pri čemu se distorzija utvrđuje pomoću rekonstrukcije podataka naknadnom obradom, pri čemu je rekonstrukcija naknadnom obradom sprovedena prema postupku naknadne obrade, uz kompresiju i kodiranje navedenih modifikovanih koeficijenata. U navedenom predloženom postupku, postupak naknadne obrade je onaj od n>l različitih unapred utvrđenih kandidata u postupku naknadne obrade čiji je položaj u unapred utvrđenom redosledu rasporeda postupka naknadne obrade jednak ostatku deljenja, sa n, zbira modifikovanih koeficijenata.
[0014] Na ovaj način se eliminiše opterećenje zastavica u protoku bitova.
[0015] U primeru izvođenja, ove faze se vrše pomoću odgovarajuće adaptiranih sredstava za obradu.
[0016] Karakteristike daljih poželjnih primera izvođenja su naznačene u zavisnim patentnim zahtevima.
KRATAK OPIS CRTEŽA
[0017] Primeri izvođenja ovog pronalaska su prikazani na crtežima i detaljnije su objašnjeni u sledećem opisu. Primeri izvođenja su objašnjeni samo radi pojašnjenja ovog pronalaska, ali bez ograničavanja opisa ili područja pronalaska koji su definisani isključivo patentnim zahtevima.
[0018] Na crtežima:
Fig.1 opisuje primer grafikonskog prikaza postupka kodiranja prema pronalasku;
Fig.2 opisuje primer grafikonskog prikaza upisivanja skrivenih informacija u naknadnoj obradi tokom protoka bitova; i
Fig.3 opisuje primer grafikonskog prikaza postupka dekodiranja prema pronalasku.
PRIMERI IZVOĐENJA OVOG PRONALASKA
[0019] Ovaj pronalazak može se realizovati na bilo kom elektronskom uređaju koji obuhvata odgovarajuće adaptiran uređaj za obradu. Na primer, pronalazak može biti realizovan na televizoru, mobilnom telefonu, ličnom računaru, digitalnom foto aparatu, digitalnoj video kameri, mp3-plejeru, sistemu za navigaciju ili audio sistemu u automobilu.
[0020] U ovom primeru izvođenja, pronalazak se koristi za kodiranje slike koju čine pikseli slike. U navedenom primeru izvođenja utvrđen je ostatak između bloka piksela slike koje treba kodirati i predikcije navedenog bloka. Predikcija se utvrđuje pomoću već kodiranih piksela slike. Zatim, transformacija od prostornog domena do domena frekvencije, poput diskretne kosinus transformacije, se primenjuje na ostatku. Od rezultata transformacije generiše se redosled kvantizovanih koeficijenata kvantizacijom i skeniranjem prema redosledu skeniranja, pri čemu nije važno da li se prvo sprovodi kvantizacija ili skeniranje.
[0021] Među kvantizovanim koeficijentima, za dalju modifikaciju su odabrani oni sa smanjenom relevantnošću za ljudski vizuelni sistem, npr. koeficijenti povezani sa frekvencijama iznad praga povezanog sa ljudskom perceptivnom senzitivnošću. Ovo obezbeđuje da naknadna modifikacija ne dovede do izrazito istaknutih distorzija za korisnika.
[0022] Zatim, među odabranim koeficijentima, utvrđeni su oni sa pozitivnim vrednostima i koji ne prelaze pozitivni prag i koji su dalje sadržani u susednim podnizovima najmanje pozitivnog broja nultih koeficijenata, odnosno svaki utvrđeni koeficijent je jedini nenulti koeficijent u odgovarajućem podnizu.
[0023] Svi utvrđeni koeficijenti mogu se podesiti na nulu, što dovodi do kompresije bez značajnijeg uticaja na kvalitet slike. Ili, optimizacija funkcije koštanja se može koristiti za identifikaciju, među utvrđenim koeficijentima, i podešavanje na nulu onih koji, kada se podese na nulu, dovode do poboljšanja funkcije koštanja.
[0024] Na taj način se obezbeđuje adaptivna šema video kodiranja na bazi kompresivnog senzora koja adaptivno odabira koeficijente koji su najefikasniji u predstavljanju video okvira.
[0025] Optimizacija funkcije koštanja može uzeti u obzir jedan ili više postupaka naknadne obrade, poput regularizacije ukupne varijacije, što se takođe naziva minimizacija ukupne varijacije, ili l1minimizacija, koje se takođe naziva Norm-1 minimizacija, pri čemu su jedan ili više postupaka naknadne obrade raspoređeni, zajedno sa prividnim postupkom naknadne obrade koji ne predstavlja naknadnu obradu, po redosledu, odnosno svaka naknadna obrada ima pripadajući redni broj.
[0026] Stoga, u primeru izvođenja je utvrđeno da li naknadna obrada poboljšava kvalitet restauriranih slika, kao i koja naknadna obrada u najvećoj meri poboljšava kvalitet.
[0027] Zatim, modifikacija utvrđenih koeficijenata može biti sprovedena tako da ostatak deljenja, sa n, zbira svih koeficijenata, uključujući i one modifikovane, bude jednak rednom broju onog postupka naknadne obrade koji je najpogodniji za minimizaciju distorzije. Da bi se olakšalo dostizanje ove jednakosti, parni koeficijenti povezani sa frekvencijama u nastavku ili na pragu perceptivnosti mogu biti modifikovani. Dalje ili kao alternativa, dostizanje ove jednakosti se može sprovesti ponavljanjem, odnosno utvrđuje se preliminarna pogodna naknadna obrada, zatim se koeficijenti modifikuju radi dostizanja navedene jednakosti, a kao odgovor na to proverava se da li je preliminarna utvrđena naknadna obrada i dalje pogodna, ili je utvrđena nova preliminarna pogodna naknadna obrada, što podstiče novu modifikaciju.
[0028] U praksi, utvrđeno je da je jedno ponavljanje dovoljno u retkim slučajevima gde provera prve preliminarne utvrđene naknadne obrade nije uspela.
[0029] Na kraju, rezultujući koeficijenti se kodiraju zajedno sa informacijom, što omogućava dekoderu da utvrdi predikciju.
[0030] Ovo omogućava signaliziranje u protoku bitova koji obuhvata komprimovane i kodirane kvantizovane koeficijente utvrđene pomoću kvantizacije ostatka predikcije bloka piksela slike transformisanog diskretnom kosinus transformacijom, pri čemu je postupak jedan od n>1 različitih, sortiranih i unapred utvrđenih kandidata u postupku naknadne obrade koji minimizuje distorziju kada se koristi za rekonstrukciju bloka pomoću navedenih kodiranih koeficijenata i navedene predikcije.
[0031] Odnosno, preko skrivenog komunikacionog kanala se šalje informacija da li i/ili koja naknadna obrada na najbolji način poboljšava restauraciju slike.
[0032] Različiti parametri kvantizacije se mogu koristiti za kvantizaciju. U tom slučaju, najmanje jedan od pozitivnog praga i najmanji pozitivni broj od nultih koeficijenata po podnizu mogu se takođe razlikovati u zavisnosti od parametra kvantizacije.
[0033] Za rekonstrukciju bloka piksela slike koji su na taj način kodirani dekodiraju se koeficijenti i informacije koje omogućavaju dekoderu da utvrdi predikciju. Zatim, ostatak deljenja, sa unapred utvrđenim pozitivnim brojem n, zbira dekodiranih koeficijenata se utvrđuje. Za rekonstrukciju ostatka, dekodirani koeficijenti se dekvantizuju i inverzno transformišu, a dekodirane informacije se koriste za rekonstrukciju predikcije. Zatim, predikcija i ostatak se kombinuju. Ostatak deljenja se koristi za odabir kandidata u postupku naknadne obrade, što se zatim primenjuje na kombinaciji rekonstruisanog ostatka i rekonstruisane predikcije radi utvrđivanja krajnje rekonstrukcije bloka.
[0034] Primer izvođenja uređaja za kodiranje skenira koeficijente nakon DCT i kvantizacije svakog bloka, i pronalazi izolovane male koeficijente (npr. izolovan 1 u sredini više uzastopnih nula) koji ne pružaju značajniji doprinos kvalitetu rekonstrukcije. Zatim se takvi koeficijenti odbacuju, pošto ovo verovatno pomalo degradira kvalitet, ali u velikoj meri smanjuje protok bitova. Stoga, samo se važni koeficijenti biraju i upisuju u protok bitova.
[0035] Dodatno ili alternativno, primer izvođenja uređaja za kodiranje može da izvrši adaptivan odabir između l1minimizacije, minimizacije ukupne varijacije i preskakanja naknadne obrade i naznačavanja odabira putem skrivene komunikacije.
[0036] U mnogim slučajevima, načini naknadne obrade, npr. minimizacija ukupne varijacije (TV), dobro funkcionišu prilikom kompenzacije distorzije prouzrokovane kvantizacijom i/ili odbacivanjem koeficijenta, mada u međuvremenu ponekad nisu efikasni. Primer izvođenja uređaja za kodiranje može da obradi svaki blok i izračunava distorziju, npr. izračunavanjem PSNR. Ako se kvalitet poboljša, upisuje se poruka "to do TV regularization" („uraditi regularizaciju ukupne varijacije“) u protok bitova preko skrivenog komunikacionog kanala.
[0037] Primer skrivenih poruka jeste da, ako je neophodna regularizacija ukupne varijacije na dekoderu, a regularizacija ukupne varijacije je jedini dostupni kandidat u postupku naknadne obrade, zbir koeficijenata će biti neparan; u suprotnom, zbir će biti paran. U slučaju 3 dostupna načina naknadne obrade, modulus-3 će se koristiti umesto provere parnosti.
[0038] Pošto zbir koeficijenata nije nužno neparan u slučaju da se koristi regularizacija ukupne varijacije i nije nužno paran u slučaju da naknadna obrada nije poželjna, koeficijente ponekad treba modifikovati. Ovo se najbolje može uraditi na način koji smanjuje protok bitova i minimizuje distorziju koja je rezultat takve modifikacije, odnosno ne samo da obezbeđuje zbir modifikovanih koeficijenata sa ispravnom parnošću, već dalje minimizuje funkciju koštanja.
[0039] Pošto je ljudsko oko daleko osetljivije na varijacije u komponentama niže frekvencije, poželjno je sprovesti modifikaciju na komponentama više frekvencije iznad praga.
[0040] I, pošto kodiranje malih i izolovanih koeficijenata zahteva uporedivo puno bitova, poželjno je sprovesti modifikaciju na malim i izolovanim komponentama visoke frekvencije.
[0041] Stoga, u primeru izvođenja koji takođe obuhvata odbacivanje malih i izolovanih komponenata visoke frekvencije, u svakom slučaju, zbir koeficijenata se može kontrolisati neodbacivanjem svih malih i izolovanih koeficijenata i/ili ne odbacivanjem, već samo smanjivanjem nekih ili svih ovih koeficijenata.
[0042] Pronalazački principi utvrđeni u patentnim zahtevima su testirani u primeru kodera napravljenog na bazi H.264 kodeka. Radi jednostavnosti, samo 8x8 transformacija je upotrebljena, međutim, predloženi postupak je takođe pogodan za druge veličine blokova, poput 4x4. Dalje, samo je regularizacija ukupne varijacije razmotrena u postupku naknadne obrade.
[0043] Testirani primer kodera prolazi kroz ove faze:
S obzirom na parametar kvantizacije (QP) od H.264 kompresije, testirani primer kodera izračunava najmanje parametre Threshold_Run, Threshold_Level, TV_lambda. Ovi izračunati parametri zadovoljavaju uslov da adaptivni senzorni operator (Adaptive Sensing Operator) ili modul regularizacije ukupne varijacije (TV Regularization) mogu dostići optimalnu kompresiju u svakom QP. Parametri Threshold_Level i Threshold_Run su optimizovani za svaki QP pomoću skupa obuke za različite video sekvence.
[0044] Testirani primer kodera dobija zaostale podatke oduzimanjem inter/intra predikcije od originalnog bloka Forg, koji se zatim transformiše, kvantizuje i raspoređuje u redosledu skeniranja prema unapred utvrđenom redosledu skeniranja, npr. različite komponente frekvencije su raspoređene na cik-cak način.
[0045] Adaptivni senzorni operator ASO realizovan u primeru kodera zatim pokušava da predstavi okvir što tačnije uz relativno nisku potrošnju bitova. Da bi se to postiglo, ispituje se da li koeficijenti sa malim veličinama koji troše mnogo bitova mogu biti odbačeni. Ovo se ostvaruje ispitivanjem redosleda koeficijenata. Za svaki koeficijent C koji stoji ispred uzastopnih nula i nakon b uzastopnih nula, ako je C ≤ Threshold_Level i ako je a b ≥ Threshold_Run, C je kandidat za podešavanje na nulu.
[0046] Optimizaciju odnosa distorzije i brzine koristi adaptivni senzorni operator ASO za utvrđivanje da li treba podesiti na nulu detektovane koeficijente kandidate.
[0047] U razmatranju subjektivnog kvaliteta, adaptivni senzorni operator ASO se adaptira za isključivanje početnih 25 koeficijenata koji su osetljivi na ljudsko oko sa podešavanja na nulu.
[0048] Za svakog koeficijenta kandidata koji je zapravo podešen na nulu bitovi vrednosti nivoa i strukturne (run-length) vrednosti se čuvaju bez značajnijeg degradiranja kvaliteta.
[0049] Za ublažavanje gubitka kvaliteta prouzrokovanog kvantizacijom i padom koeficijenta, minimizacija ukupne varijacije je u principu pogodna. Ali, iako je parametar TV_lambda optimizovan za dati parametar kvantizacije na osnovu različitih video snimaka, još uvek postoji mogućnost da regularizacija ukupne varijacije zapravo degradira kvalitet.
[0050] U načinu naknadne obrade PP, testirani primer kodera stoga eksperimentalno primenjuje regularizaciju ukupne varijacije na rekonstruisanom bloku Free, čime se dobija blok FTV. Zatim, primer kodera procenjuje kvalitet Free i FTV upoređivanjem sa prvobitnim podacima Forg. Ako je distorzija FTV-a manja, testirani primer kodera signalizira da treba upotrebiti regularizaciju ukupne varijacije sa strane dekodera za izlaz, kao i za predikciju.
[0051] Testirani primer kodera stoga upisuje poruku da li treba koristiti regularizaciju ukupne varijacije u protoku bitova. Ako regularizacija ukupne varijacije poboljšava kvalitet i stoga je neophodna, zbir koeficijenata će biti neparan; u suprotnom, zbir će biti paran. Testirani primer kodera zatim izračunava zbir koeficijenata i proverava da li parnost sledi gore navedeno pravilo, odnosno da li se parnost uklapa u primenljivost naknadne obrade prema pravilu prisutnom kod kodera i dekodera. Ako to nije slučaj, testirani primer kodera modifikuje, u načinu rada MOD, jedan od preostalih nenultih koeficijenata ili jedan od odbačenih malih i izolovanih koeficijenata visoke frekvencije sa 1 ili -1 kako bi se ispunio ovaj zahtev.
[0052] Radi uticaja na vidljivost, frekvencija modifikovanog koeficijenta će biti što viša. Radi protoka bitova, frekvencija modifikovanog koeficijenta će biti što viša. Stoga, minimizacija funkcije koštanja se može koristiti za utvrđivanje koje od različitih komponenata frekvencije treba modifikovati, kao i kako ih modifikovati.
[0053] Pošto je prostor za pretragu radi ovog utvrđivanja velik, sledeća prioritizacija se primenjuje kod testiranog primera kodera:
Ako su bilo koji odbačeni koeficijenti neparni: Vratiti koeficijent povezan sa najnižom frekvencijom ili onaj čije je odbacivanje dovelo do najveće dodatne distorzije.
[0054] Samo ako su svi odbačeni koeficijenti parni: Modifikovati jedan od odbačenih koeficijenata sa ±1.
[0055] Ako nijedan koeficijent nije odbačen: Modifikovati jedan od nenultih koeficijenata sa ±1.
[0056] Utvrđeno je da je poželjno ako je apsolutna vrednost modifikovanog koeficijenta smanjena.
[0057] Pošto modifikacija može uticati na korisnost regularizacije ukupne varijacije, procena dejstva regularizacije ukupne varijacije na distorziju i modifikacija koeficijenata se ponavljaju dok parnost koeficijenata ne bude jednaka poželjnom načinu rekonstrukcije.
[0058] Na kraju, blok rekonstruisan iz krajnje rezultujućih koeficijenata se čuva u baferu kao kandidat za predikciju blokova koje treba kodirati; i krajnje rezultujući koeficijenti su entropijski kodirani i upisani u protok bitova, na neprenosivom medijumu za čuvanje ili se prenose kao signal.
[0059] Primer izvođenja uređaja za rekonstrukciju podataka koji je kodiran kao takav prima kodirane koeficijente i dekodira ih. Zatim uređaj utvrđuje parnost koeficijenata. Parnost koja je neparna obaveštava primer dekodera da se regularizacija ukupne varijacije može povoljno primeniti. Parnost koja je parna obaveštava primer dekodera da se računski rad regularizacije ukupne varijacije može preskočiti, a da time ne bude umanjen kvalitet slike. Zatim, primer dekodera primenjuje inverznu kvantizaciju i inverznu transformaciju na koeficijentima. Rezultujući koeficijenti se raspoređuju u bloku koji odgovara unapred utvrđenom redosledu skeniranja koji se koristi na strani kodera. Ovo dovodi do rekonstrukcije ostatka koji se kombinuje sa predikcijom koja rezultuje stvaranjem dekodiranog bloka FDEC. Na kraju, naknadna obrada se primenjuje ili preskače u zavisnosti od parnosti dekodiranih koeficijenata.

Claims (8)

Patentni zahtevi
1. Postupak za kompresiju i kodiranje slikovnih podataka sa gubicima, pri čemu navedeni postupak obuhvata
- modifikovanje kvantizovanih koeficijenata transformisanog ostatka predikcije navedenih podataka radi minimizacije funkcije koštanja, pri čemu su podaci i kvantizovani koeficijenti raspoređeni kao dvodimenzionalni blokovi, i pri čemu se distorzija utvrđuje pomoću rekonstrukcije podataka naknadnom obradom, pri čemu je ta rekonstrukcija naknadnom obradom izvedena u skladu sa postupkom naknadne obrade, i
- kompresiju i kodiranje navedenih modifikovanih kvantizovanih koeficijenata,
naznačen time, što
- postupak naknadne obrade je onaj od n>1 različitih unapred utvrđenih kandidata u postupku naknadne obrade čiji je položaj u unapred utvrđenom redosledu rasporeda postupka naknadne obrade jednak ostatku deljenja, sa n, zbira modifikovanih koeficijenata; i
- modifikovanjem koeficijenata koje obuhvata:
- utvrđivanje redosleda koeficijenata pomoću:
∘ skeniranja kvantizovanih koeficijenata prema rasporedu skeniranja i upotrebom redosleda za utvrđivanje onih kvantizovanih koeficijenata od kojih svaki:
• predstavlja frekvenciju iznad unapred utvrđenog praga frekvencije,
• ne prelazi unapred utvrđeni pozitivni prag, i
• jeste jedini nenulti koeficijent sadržan u susednom podnizu od najmanje unapred utvrđenog pozitivnog broja kvantizovanih koeficijenata, i
- identifikovanje, među utvrđenim koeficijentima, onih koji, kada se podese na nulu, vode do minimizacije funkcije koštanja i podešavanja identifikovanih koeficijenata na nulu.
2. Postupak prema zahtevu 1, pri čemu faza modifikovanja navedenih kvantizovanih koeficijenata obuhvata:
(a) Utvrđivanje da razlika koja nije jednaka nuli postoji između ostatka deljenja, sa n, zbira kvantizovanih koeficijenata i položaja tog od n drugačijih, raspoređenih i unapred utvrđenih kandidata u postupku naknadne obrade, što minimizuje distorziju kada se koristi za rekonstrukciju navedenog bloka pomoću navedenih kvantizovanih koeficijenata i navedene predikcije, i
(b) modifikovanje kvantizovanih koeficijenata tako da je celokupna modifikacija jednaka nenultoj razlici.
3. Postupak prema zahtevu 2, koji dalje obuhvata ponavljanje faza (a) i (b) upotrebom u svakom ponavljanju faze (a) modifikovanih koeficijenata koji su rezultati neposredno prethodnog izvršenja faze (b) dok se ne utvrdi postojanje razlike koja nije jednaka nuli.
4. Postupak prema zahtevu 1, koji dalje obuhvata utvrđivanje parametra kvantizacije, pri čemu najmanje jedan pozitivni prag i pozitivni broj zavisi od utvrđenog parametra kvantizacije.
5. Postupak prema jednom od zahteva 1-4, pri čemu jedan od kandidata u postupku naknadne obrade je regularizacija ukupne varijacije.
6. Postupak prema jednom od zahteva 1-5, pri čemu jedan od kandidata u postupku naknadne obrade je l1minimizacija.
7. Postupak prema jednom od zahteva 1-6, pri čemu jedan od kandidata u postupku naknadne obrade je prividni postupak naknadne obrade koji uopšte ne vrši obradu.
8. Uređaj za kompresiju i kodiranje slikovnih podataka sa gubicima, koji obuhvata
procesor konfigurisan da modifikuje kvantizovane koeficijente transformisanog ostatka predikcije navedenih podataka radi minimizacije funkcije koštanja, pri čemu su podaci i kvantizovani koeficijenti raspoređeni kao dvodimenzionalni blokovi, i pri čemu se distorzija utvrđuje rekonstrukcijom bloka koji je naknadno obrađen prema postupku naknadne obrade,
procesor je dalje konfigurisan za kompresiju i kodiranje navedenih modifikovanih kvantizovanih koeficijenata, naznačen time, što
- postupak naknadne obrade upotrebljen za utvrđivanje distorzije je jedan od n>1 različitih unapred utvrđenih kandidata u postupku naknadne obrade čiji je položaj u unapred utvrđenom redosledu rasporeda postupka naknadne obrade jednak ostatku deljenja, sa n, zbira modifikovanih koeficijenata; i - modifikovanje koeficijenata obuhvata:
- utvrđivanje redosleda koeficijenata pomoću:
∘ skeniranja kvantizovanih koeficijenata prema rasporedu skeniranja i upotrebom redosleda za utvrđivanje onih kvantizovanih koeficijenata od kojih svaki:
• predstavlja frekvenciju iznad unapred utvrđenog praga frekvencije,
• ne prelazi unapred utvrđeni pozitivni prag, i
1
• jeste jedini nenulti koeficijent sadržan u susednom podnizu od najmanje unapred utvrđenog pozitivnog broja kvantizovanih koeficijenata, i
- identifikovanje, među utvrđenim koeficijentima, onih koji, kada se podese na nulu, vode do minimizacije funkcije koštanja i podešavanja identifikovanih koeficijenata na nulu.
RS20190871A 2011-04-22 2011-04-22 Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima RS58952B1 (sr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11863936.8A EP2700234B1 (en) 2011-04-22 2011-04-22 Method and device for lossy compress-encoding data
PCT/CN2011/000705 WO2012142731A1 (en) 2011-04-22 2011-04-22 Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data

Publications (1)

Publication Number Publication Date
RS58952B1 true RS58952B1 (sr) 2019-08-30

Family

ID=47041015

Family Applications (1)

Application Number Title Priority Date Filing Date
RS20190871A RS58952B1 (sr) 2011-04-22 2011-04-22 Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima

Country Status (12)

Country Link
US (1) US9288453B2 (sr)
EP (2) EP3573337B1 (sr)
JP (1) JP5838258B2 (sr)
KR (7) KR102231522B1 (sr)
CN (5) CN107454409B (sr)
DK (1) DK2700234T3 (sr)
ES (2) ES2924886T3 (sr)
HU (1) HUE044124T2 (sr)
PL (2) PL3573337T3 (sr)
PT (1) PT2700234T (sr)
RS (1) RS58952B1 (sr)
WO (1) WO2012142731A1 (sr)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127049A1 (en) 2010-04-07 2011-10-13 Liveperson, Inc. System and method for dynamically enabling customized web content and applications
KR20140090999A (ko) * 2011-10-14 2014-07-18 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-기반 이미지 압축
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
WO2014078985A1 (en) * 2012-11-20 2014-05-30 Thomson Licensing Method and apparatus for image regularization
US9392286B2 (en) * 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
US8929446B1 (en) * 2014-03-14 2015-01-06 Faroudja Enterprises, Inc. Combiner processing system and method for support layer processing in a bit-rate reduction system
CN104270641B (zh) * 2014-09-30 2018-12-14 杭州华为数字技术有限公司 变换系数的处理方法和装置
KR102338980B1 (ko) 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
JP6564315B2 (ja) * 2015-12-04 2019-08-21 日本放送協会 符号化装置、復号装置、及びプログラム
CN114245225B (zh) * 2018-04-30 2024-05-31 杜比国际公司 用于经由内容分发网络流式传输媒体数据的方法及系统
CN108683915B (zh) * 2018-05-11 2020-08-07 北京奇艺世纪科技有限公司 一种写入dQP值的方法、装置及电子设备
KR102777347B1 (ko) 2018-11-30 2025-03-05 삼성전자주식회사 이미지 처리 장치 및 프레임 버퍼 컴프레서
CN110262819B (zh) * 2019-06-04 2021-02-26 深圳前海微众银行股份有限公司 一种联邦学习的模型参数更新方法及装置
MX2021014726A (es) * 2019-06-14 2022-01-18 Electronics & Telecommunications Res Inst Metodo y dispositivo de codificacion/decodificacion de matrices de cuantificacion, y medio de grabacion que almacena un flujo de bits.
WO2021034323A1 (en) * 2019-08-21 2021-02-25 Siemens Industry Software Nv Method for storing data to and retrieving data from at least one data storage, system, use, computer program, and computer readable medium
US12177493B2 (en) * 2019-10-02 2024-12-24 V-Nova International Limited Use of embedded signalling for backward-compatible scaling improvements and super-resolution signalling
US11997570B1 (en) 2020-05-14 2024-05-28 Trackonomy Systems, Inc. Optimized context-based communications compression for IOT systems and networks
KR102315376B1 (ko) 2021-03-16 2021-10-20 모멘티브퍼포먼스머티리얼스코리아 주식회사 실리콘계 조성물 및 이의 경화물
CN115209146A (zh) * 2021-04-13 2022-10-18 腾讯科技(深圳)有限公司 视频编解码方法、装置、计算机可读介质及电子设备
CN113489978A (zh) * 2021-05-27 2021-10-08 杭州博雅鸿图视频技术有限公司 一种针对avs3的失真优化量化电路

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321522A (en) 1993-07-19 1994-06-14 Xerox Corporation ADCT compression with minimum compression ratio
US5933542A (en) * 1996-04-24 1999-08-03 Sony Corporation Method and apparatus for blocking effect reduction in images by post-processing in the spatial domain
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6118822A (en) * 1997-12-01 2000-09-12 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US6252994B1 (en) * 1998-01-26 2001-06-26 Xerox Corporation Adaptive quantization compatible with the JPEG baseline sequential mode
US6801665B1 (en) * 1998-09-15 2004-10-05 University Of Maryland Method and apparatus for compressing and decompressing images
US6748362B1 (en) * 1999-09-03 2004-06-08 Thomas W. Meyer Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like
US6944350B2 (en) * 1999-12-17 2005-09-13 Utah State University Method for image coding by rate-distortion adaptive zerotree-based residual vector quantization and system for effecting same
JP2003526274A (ja) * 2000-03-06 2003-09-02 メイヤー,トーマス,ダブリュー ディジタル電話信号へのデータの埋め込み
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
WO2004028142A2 (en) * 2002-09-17 2004-04-01 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
US7890335B2 (en) * 2002-10-10 2011-02-15 Texas Instruments Incorporated Sharing wavelet domain components among encoded signals
KR100813258B1 (ko) * 2005-07-12 2008-03-13 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
DE112006003307T8 (de) * 2005-12-09 2009-01-29 Nvidia Corp., Santa Clara Multistandard-Hardware-Videodecodervorrichtung
CN101026761B (zh) * 2006-02-17 2010-05-12 中国科学院自动化研究所 一种具有最小误差的快速变尺寸块匹配的运动估计方法
US8059721B2 (en) * 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
CN101491103B (zh) * 2006-07-20 2011-07-27 高通股份有限公司 用于编码器辅助式预处理的方法和设备
EP1883067A1 (en) * 2006-07-24 2008-01-30 Deutsche Thomson-Brandt Gmbh Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream
US7460725B2 (en) * 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
WO2008122913A2 (en) * 2007-04-04 2008-10-16 Nxp B.V. Decoder for selectively decoding predetermined data units from a coded bit stream
US8442337B2 (en) * 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
EP2046045A1 (en) * 2007-10-02 2009-04-08 Thomson Licensing Methods of encoding and reconstructing image data and devices implementing said methods
US8582652B2 (en) * 2007-10-30 2013-11-12 General Instrument Corporation Method and apparatus for selecting a coding mode
US8553994B2 (en) 2008-02-05 2013-10-08 Futurewei Technologies, Inc. Compressive sampling for multimedia coding
US8805106B2 (en) 2008-09-26 2014-08-12 Futurewei Technologies, Inc. System and method for compressing and decompressing images and video
CN101420614B (zh) * 2008-11-28 2010-08-18 同济大学 一种混合编码与字典编码整合的图像压缩方法及装置
US8340448B2 (en) * 2009-10-06 2012-12-25 Cisco Technology, Inc. Locally variable quantization and hybrid variable length coding for image and video compression
CN101854548B (zh) * 2010-05-25 2011-09-07 南京邮电大学 一种面向无线多媒体传感器网络的视频压缩方法
CN101888545B (zh) * 2010-05-27 2013-01-02 北京华信新媒技术有限公司 一种低码率信源压缩编码方法

Also Published As

Publication number Publication date
CN103748876A (zh) 2014-04-23
CN107529059A (zh) 2017-12-29
KR20140027957A (ko) 2014-03-07
WO2012142731A1 (en) 2012-10-26
PT2700234T (pt) 2019-07-23
KR101832792B1 (ko) 2018-02-28
PL3573337T3 (pl) 2022-09-26
JP2014519215A (ja) 2014-08-07
EP2700234A1 (en) 2014-02-26
DK2700234T3 (da) 2019-07-22
KR102139199B1 (ko) 2020-07-29
KR20180025978A (ko) 2018-03-09
ES2924886T3 (es) 2022-10-11
CN107454409B (zh) 2020-09-15
HUE044124T2 (hu) 2019-09-30
CN107547899A (zh) 2018-01-05
CN107547899B (zh) 2020-03-17
JP5838258B2 (ja) 2016-01-06
EP3573337A1 (en) 2019-11-27
KR102051013B1 (ko) 2019-12-02
KR20190020847A (ko) 2019-03-04
CN107529059B (zh) 2020-07-21
EP2700234A4 (en) 2014-11-12
CN107454410A (zh) 2017-12-08
KR101952709B1 (ko) 2019-02-28
KR102375037B1 (ko) 2022-03-17
CN107454409A (zh) 2017-12-08
KR20210034102A (ko) 2021-03-29
CN103748876B (zh) 2017-09-29
US9288453B2 (en) 2016-03-15
ES2736003T3 (es) 2019-12-23
US20140037223A1 (en) 2014-02-06
KR102231522B1 (ko) 2021-03-24
CN107454410B (zh) 2020-03-20
EP2700234B1 (en) 2019-06-19
KR20200090990A (ko) 2020-07-29
EP3573337B1 (en) 2022-06-22
KR20180079461A (ko) 2018-07-10
KR101874466B1 (ko) 2018-07-05
PL2700234T3 (pl) 2019-10-31
KR20190134830A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
RS58952B1 (sr) Postupak i uređaj za kompresiju i kodiranje podataka sa gubicima
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
HK40017615B (en) Method and device for lossy compress-encoding image data
HK40017615A (en) Method and device for lossy compress-encoding image data
HK1244983B (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
HK1246538B (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
HK1248433B (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
HK1244982B (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
HK1248433A1 (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
HK1244983A1 (en) Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data
HK1246538A1 (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
HK1244983A (en) Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data
HK1244982A1 (en) Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data
HK1244982A (en) Method and device for lossy compress-encoding data and corresponding method and device for reconstructing data
US20200099950A1 (en) Processing devices and control methods therefor