RS64401B1 - Sistem za mešanje ili sastavljanje u realnom vremenu, računarskih generisanih 3d predmeta i video zapisa sa filmske kamere - Google Patents

Description

Opis

POZADINA PRONALASKA

1. Oblast pronalaska

[0001] Sistem za mešanje ili sastavljanje kompjuterski generisanih 3D predmeta u realnom vremenu i video signala sa filmske kamere, kao što je video kamera, za generisanje video zapisa proširene stvarnosti u realnom vremenu za TV emitovanje, bioskop ili video igrice.

2. Opis prethodnog stanja tehnike

[0002] Tokom proteklih 20 godina, bilo je značajnih istraživanja i komercijalnih aktivnosti u ovoj oblasti; može se pozvati na sisteme za umetanje video zapisa ili proširene realnosti kompanija, kao što je Sportvision, Inc, koja je razvila poboljšanja gledanja televizije za sportske događaje, kao što je američki fudbal, dodajuć i virtuelnu prvu donju liniju koju gledaoci vide super nametnutom na teren. Druge kompanije koje su razvile sisteme u ovoj oblasti uključuju PVI, Inc. Jedna zajednička karakteristika poznatih sistema je da se uglavnom oslanjaju na analizu karakteristika u video signalu sa kamere da bi odredili na koji deo realne scene kamera pokazuje; sistemć e ranije izgraditi 3D mapu te scene tako da, kada zna gde u sceni pokazuje na koju pokazuje, može da dodaje ili komponuje računarski generisane objekte (kao što je virtuelna prva donja linija) na video signal na takav način da položaj i orijentacija objekta čine da izgleda kao prirodni deo scene. Jedan nedostatak odgovora isključivo na optički tok na ovaj način je taj što takvi sistemi mogu biti nepouzdani.

[0003] Drugi sistemi se oslanjaju na čiste pristupe zasnovane na markerima (Lightcraft Technologies na primer). Oni zahtevaju od operatera da stavi prave fizičke markere (velike 1m x 1m) na set kako bi ih sistem detektovao. Veoma je neefikasan jer su mu potrebni sati ili dani da se postavi bina, što je malo verovatno da ć e funkcionisati za filmsku produkciju. Takođe ima mnoga ograničenja jer fizički markeri uvek moraju ostati u vidnom polju svog sistema. Na radove citirane u Dodatku 1 mogu se dati i naučne reference.

[0004] US2007248283A1 otkriva metod i uređaj za sistem za pregled virtuelne scene širokog područja.

KRATAK REZIME PRONALASKA

[0005] Prema prvom aspektu pronalaska obezbeđen je sistem bez markera, sistem koji uključuje:

(i) video kamerU;

(ii) senzore uključuju ć i akcelerometar i žiroskop koji detektuje preko slobodnih šest stepeni slobode;

(iii) dve kamere za svedoke koje čine stereoskopski sistem; i

(iv) procesor;

za mešanje ili sastavljanje u realnom vremenu, kompjuterski generisanih 3D objekata i video signala sa video kamere, za generisanje video zapisa proširene stvarnosti za TV prenos, bioskop ili video igre, u kojima:

(a) telo video kamere može da se pomera u 3D i senzori u video kameri su ili pričvršć eni direktno ili indirektno na video kameru i obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju video kamere, ili omoguć avaju izračunavanje 3D pozicije i 3D orijentacije video kamere;

(b) dve kamere za svedoke koje čine stereoskopski sistem su pričvršć ene direktno ili indirektno na video kameru;

(c) sistem je konfigurisan da automatski koristi te podatke o pozicioniranju u realnom vremenu za kreiranje, pozivanje, prikazivanje ili modifikovanje kompjuterski generisanih 3D objekata;

(d) sistem je konfigurisan da kombinuje ili stvara dobijene kompjuterski generisane 3D objekte sa video zapisom iz video kamere da obezbedi video proširenu stvarnost za TV prenos, bioskop ili video igrice;

i u kojoj:

(e) sistem je konfigurisan da odredi 3D poziciju i orijentaciju video kamere u odnosu na 3D mapu stvarnog sveta, pri čemu je sistem konfigurisan da generiše 3D mapu stvarnog sveta, u najmanjem delimično, korišć enjem podataka o 3D pozicioniranju u realnom vremenu od senzora plus optički tok u kojem dve kamere svedoka i kamere svedoka u procesu otkrivanja konfigurišu stereoskopsku scenu ili softverski proces koji konfiguriše konfiguraciju u sceni koja nije ručno ili veštački dodata toj sceni;

(f) sistem je konfigurisan da koristi model konstantne brzine povezan sa podacima o 3D pozicioniranju u realnom vremenu iz senzora da predvide sledeć u poziciju video kamere koriste ć i prethodno tačno izračunatu ili potvrđenu poziciju, a sistem je konfigurisan da koristi to predviđanje za projektovanje 3D oblaka tačaka na trenutni okvir kamere svedoka i da koristi algoritam za podudaranje tačaka identifikovanih u video zapisu u realnom vremenu iz stereoskopskog sistema i projektovanih tačaka u projektovanom 3D oblaku tačaka.

[0006] Prema drugom aspektu pronalaska, obezbeđen je metod bez markera za mešanje ili stvaranje kompjuterski generisanih 3D objekata u realnom vremenu i video zapisa sa video kamere, za generisanje video zapisa proširene stvarnosti za TV emitovanje, bioskop ili video igrice, u kome:

(a) telo video kamere može da se pomera u 3D i senzorI, uključujuć i akcelerometar i žiroskop koji detektuju preko šest slobodnih stepeni, u ili pričvršć eni direktno ili indirektno na video kameru obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju video kamere, ili omoguć avaju izračunavanje 3D pozicije i orijentacije 3D video kamere;

(b) dve kamere za svedoke koje čine stereoskopski sistem koje su pričvršć ene direktno ili indirektno na video kameru;

(c) da se podaci o pozicioniranju u realnom vremenu zatim automatski koriste za kreiranje, opoziv, prikazivanje ili modifikovanje kompjuterski generisanih 3D objekata;

(d) dobijeni kompjuterski generisani 3D objekti se zatim mešaju ili kombinuju sa video izvorom iz video kamere da bi se obezbedio video sa proširenom realnošć u za TV prenos, bioskop ili video igrice;

i u kome:

(e) 3D pozicija i orijentacija video kamere se određuju u odnosu na 3D mapu stvarnog sveta, pri čemu se 3D mapa stvarnog sveta generiše, u najmanjem delimično, korišć enjem podataka o 3D pozicioniranju u realnom vremenu od senzora plus optički tok u kojem dve kamere za svedoke koje formiraju stereoskopski sistem, premeravaju scenu ili softver koji je dodat u prirodnu scenu za otkrivanje prirodne scene ili softver koji nije korišć en da detektuje tu prirodnu scenu;

(f) model konstantne brzine povezan sa podacima o 3D pozicioniranju u realnom vremenu od senzora se koristi za predviđanje sledeć e pozicije video kamere koriste ć i prethodno tačno izračunatu ili potvrđenu poziciju, i to predviđanje se koristi za projektovanje 3D oblaka tačaka na trenutni okvir kamere svedoka, a algoritam za podudaranje tačaka se koristi za podudaranje tačaka identifikovanih u realnom vremenu u projektu sistema sa stereo projektom tačaka iz video projekta u realnom vremenu.

[0007] Opcione karakteristike – neke ili sve od kojih se navedene mogu kombinovati jedna sa drugom, uključuju sledeć e:

• kompjuterski generisani 3D objekti se mešaju ili komponuju u realnom vremenu sa video zapisom u realnom vremenu sa video kamere.

• mere se i koriste podešavanja zuma, fokusa i irisa u realnom vremenu video kamere, zajedno sa podacima o pozicioniranju u realnom vremenu, tako da se 3D objekti pravilno prikazuju na željenoj lokaciji i orijentaciji u 3D sceni.

• senzori uključuju 3-osni akcelerometar koji meri translaciono ubrzanje u 3D, 3-osni žiroskop za merenje ugaone brzine u 3D, i magnetometar koji meri apsolutni kurs u 3D, i stoga čini 9DOF senzor.

• senzori uključuju senzor 3D opsega, kao što je strukturirano svetlo ili kamera za vreme leta.

• senzor 3D opsega snima dubinu svakog piksela u video izlazu iz kamere.

• dubina ivica je poboljšana ponovnim projektovanjem dubine senzora 3D opsega na video zapis visoke rezolucije na video kameri.

• senzori su formirani u jedinicu koja se može bezbedno pričvrstiti na video kameru

* jedinica uključuje jednu ili dve kamere za svedoke.

* jedinica uključuje senzor 3D opsega koji snima dubinu svakog piksela u video izlazu.

* jedinica uključuje 6DOF ili 9DOF senzor.

* jedinica koristi zamenljive zakačke kako bi se omoguć ila fiksiranje na različite veličine i dizajn video kamera i šipki.

* jedinica je proširiva i uključuje druge oblike senzora.

* jedinica može formirati uređaj za snimanje koji se može koristiti za snimanje složene scene i prenos podataka koji definišu 3D scenu koja se snima bežično na računar koji zatim prati ili obnavlja prać enje scene.

* video kamera uključuje konvencionalne enkodere za čitanje zuma, fokusa i irisa kamere.

• sistem uključuje dve kamere za svedoke (stereoskopsko kuć ište), opremljene sočivima koji su sočiva ribljeg oka od 180 stepeni.

• kamera(e) za svedoka(e) su odmaknute od video kamere i to odstupanje se dobija korišć enjem kalibracione karte uključujuć i prvu i drugu grupu krugova, pri čemu je svaki krug na poznatoj lokaciji u odnosu na jedan ili više drugih krugova i svaki krug se prepoznaje korišć enjem algoritma blob slike.

• objektiv video kamere je kalibrisan za optičko izobličenje pomoć u kalibracione tabele koja uključuje nekoliko krugova, svaki krug je na poznatoj lokaciji u odnosu na jedan ili više drugih krugova i svaki krug je prepoznat korišćenjem algoritma blob slike.

• video kamera je nešto od sledeć eg: kamera za kran; steady kamera; ručna kamera; kamera montirana na kolica, montirana kamera, pametni telefon, naočare proširene stvarnosti.

• sistem koristi jednu ili dve brze (kao što je najmanje 100 fps) kamere svedoka kako bi omoguć io sistemu da bude potpuno inicijalizovan bez posebne faze čistog snimanja scene koja treba da se prati (koja se naziva „trenutni pregled“), ali umesto toga, snimanje se odvija neprekidno dok se kamera koristi za snimanje video zapisa.

• stereoskopski sistem omoguć ava softveru da obradi slike i, čak i kada se sistem kamere uopšte ne pomera, da generiše trenutni 3D oblak tačaka (na primer povezivanje velikog broja tačaka u sceni sa njihovim položajem u 3D prostoru koristeć i poznavanje razdvajanja između dve kamere i epipolarne geometrije). • dubina svakog piksela u 3D oblaku tačaka se dobija korišć enjem odgovaraju ć ih 2D zakrpa teksture dobijenih iz svake stereoskopske kamere za svedoke i algoritma za pretragu epipolarnih linija.

• sistem pokreć e fuzioni algoritam koji kombinuje podatke o optičkom toku iz sistema kamera za svedoke sa podacima u realnom vremenu koji su podaci o pozicioniranju sa hardverskih senzora.

• algoritam fuzije je zasnovan na tehnici predviđanja/ispravke proširenog Kalmanovog filtera za integrisanje izlaza iz, i za ponovnu kalibraciju svih senzora, koji mogu uključivati akcelerometar, žiroskop, magnetometar, 3D opseg senzor, za određivanje položaja i orijentacije kamere.

• EKF fuzioni algoritam koristi podatke o nivou pouzdanosti, povezane sa izlazom svakog senzora, prilikom određivanja kako spojiti podatke sa svakog senzora.

• ključni kadrovi koje generiše sistem kamera za svedoke su deo procesa vizuelnog prać enja i predstavljaju slike u realnom vremenu izračunato na 4 različita nivoa rezolucije video zapisa kamere svedoka.

• sistem uključuje (a) računar za generisanje sadržaja koji obezbeđuje 3D kompjuterski generisanu animaciju virtuelnih figura,

objekte i mesta, i (b) računar za prikazivanje (koji može, ali ne mora biti odvojen od računara za generisanje sadržaja), i u kojem podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju video kamere koriste bilo koji ili oba računara za generisanje sadržaja i računar za renderovanje da izazovu generisanje 3D objekata u realnom vremenu, koji se mogu umetnuti u video scenu u prirodnom obliku i miks prikazanog videa u realnom vremenu.

• kompjuterski generisani 3D objekti su animacije koje se mogu pomerati bilo gde u okviru scene i mogu promeniti svoj oblik i izgled na način koji određuje računar za generisanje sadržaja.

• kompjuterski generisani 3D objekti su animirane figure ljudi ili stvorenja koje se kreć u (npr. trče, plešu, hodaju, bore se, lete, skaču, ...) na realističan način kada su pomešane u sceni.

• podaci o pozicioniranju ili prać enju kamere su takođe dostupni za upotrebu u postprodukciji kako bi se olakšala postprodukcija CGI.

• senzor 3D opsega se koristi za poboljšanje tačnosti merenja dubine povezanog sa rekonstruisanom 3D tačkom, ili da se odbaci ta rekonstruisana 3D tačka.

• senzor 3D opsega se koristi za dubinu u realnom vremenu kako bi se omoguć ila dinamička okluzija i potisnulo eventualno korišć enje zelene pozornice.

• sistem koristi mali objekat za registraciju kamere, kao što je tabla poznate veličine i prekrivena poznatim šablonom, postavljenim u scenu tako da se ugao otkrivenog uzorka tretira kao ishodište za 3D oblak tačaka (i samim tim svet).

• objekat registracije kamere se sastoji od najmanje dve sfere poznate veličine raspoređene u pravu vertikalu i prepoznate korišćenjem algoritma za prepoznavanje blob slike.

• sistem uključuje magnetometar koji pokazuje magnetni sever, akcelerometar koji pokazuje smer gravitacije (i čime se daje prava vertikala), žiroskop koji pokazuje da li je sistem naget nagore/nadole ili se pomera levo ili desno ili je rotiran oko optičke ose, i 3-osni akcelerometar da bi se omoguć ilo prevođenje u 3D sa početne pozicije i da se tako zaključi.

• softver pokušava da generiše ravnomerno raspoređen oblak tačaka u 3D mapi kako bi u velikoj meri smanjio gubitke prać enja i pove ć ao tačnost pra ć enja (generiše se više paralakse, tako da je procenjena pozicija kamere tačnija).

• sistem za prać enje kamere može biti bežično povezan sa sistemom kamere i stoga se može brzo pomerati po setu prilikom generisanja 3D oblaka tačaka – nema potrebe za provlačenjem kablova preko seta, za razliku od ranijih sistema kamera za svedoke.

• sistem za prać enje kamere kombinuje trenutno snimanje (stereoskopsko ku ć ište) sa pra ć enjem video kamere kao režiser/snimatelj prati, pomera, naginje sistem za prać enje kamere da bude priključen na video kameru.

• sistem u potpunosti automatizuje sve aspekte prać enja video kamere, uključuju ć i rotaciju, translaciju, fokus, iris, žižnu daljinu; i automatizuje skaliranje, pozicioniranje i orijentaciju 3D kompjuterski generisanog sadržaja koji se meša sa videom.

• sistem omoguć ava kontinuirano snimanje scene u realnom vremenu kako bi se stvorio potpuniji oblak tačaka koji definiše scena

• sistem pridaje invarijantne deskriptore rotacije, na primer koristeć i ORB, tačkama obeleženih u sceni zbog olakšanog prać enja.

• sistem koristi model konstantne brzine povezan sa informacijama dobijenim od senzora da bi predvideo sledeć i položaj video kamere koriste ć i prethodno tačno izračunatu ili potvrđenu poziciju. Koristi to predviđanje da ponovo projektuje 3D oblak tačaka na trenutni kadar, kako bi omoguć io algoritam za podudaranje tačaka da uskladi tačke identifikovane u video zapisu u realnom vremenu iz sistema kamera za svedoke i projektovanih tačaka u novom, 3D oblaku tačaka.

• sistem koristi Levenberg-Marquardt šemu minimizacije za prać enje kamere da bi minimizirao grešku između tačaka identifikovanih u video zapisu u realnom vremenu iz sistema kamera za svedoke i projektovanih tačaka u novom, 3D oblaku tačaka.

• korisnik može da koristi 3D oblak tačaka koji generiše sistem za prać enje kamere da definiše 3D maske, kao što su 3D maske za smeć e.

• 3D objekti uključuju statične objekte, dinamičke animacije, virtuelne svetove, virtuelne ljude, virtuelne zgrade, virtuelne pejzaže, virtuelne filmske setove i sve podatke u bazi podataka animacija.

• video kamera i kamera za svedoke su kalibrisane za kašnjenje u sticanju kadrova pomoć u modulisanog izvora svetlosti, na primer upoređivanjem krivulja intenziteta svetlosti povezanih sa trepć u ć om LED diodom.

[0008] Drugi koncepti – svaki se može kombinovati sa bilo kojom od karakteristika definisanih iznad, ili sa bilo kojim drugim konceptom definisanim u nastavku:

Metod mešanja ili pravljenja kompjuterski generisanih 3D objekata u realnom vremenu i video zapisa sa filmske kamere u kojoj se telo filmske kamere može pomeriti u 3D, a senzori u ili pričvršć eni za kameru obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju kamere, ili omoguć avaju izračunavanje 3D pozicije.

[0009] Metod za mešanje ili pravljenje kompjuterski generisanih 3D objekata u realnom vremenu i video zapisa sa filmske kamere, kao što je video kamera, za generisanje video zapisa proširene stvarnosti za TV emitovanje, bioskop ili video igrice, u kojem:

(a) telo filmske kamere može da se pomera u 3D i senzori u ili direktno ili indirektno pričvršć eni na filmsku kameru obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju filmske kamere, ili omoguć avaju izračunavanje 3D pozicije i 3D orijentacije filmske kamere i

(b) da sistem zatim automatski koristi podatke o pozicioniranju u realnom vremenu za kreiranje, pozivanje, prikazivanje ili modifikovanje kompjuterski generisanih 3D objekata i

(c) dobijeni kompjuterski generisani 3D objekti se zatim mešaju ili kombinuju sa video zapisom sa filmske kamere da bi se obezbedio video sa proširenom realnošć u za TV prenos, bioskop ili video igrice.

[0010] Metodi ili sistemi kao što su napred definisani i koji se koriste da omoguć e režiseru (ili direktoru fotografije) da uokviri kompjuterski generisana 3D sredstva u kameri, obično predvizuelizacija ili sredstva vizuelnih efekata, u realnom vremenu na filmsku ploču uživo ili video slike koje je snimila kamera, omoguć avaju ć i reditelju da istražuje moguć e uglove kamere i da se kre ć e u realnom vremenu u realnom vremenu tako što se sadržaj automatski generiše u video materijal koji se generiše od strane reditelja.

[0011] Metodi ili sistemi kao što su napred definisani u kojima se podaci o pozicioniranju u realnom vremenu snimaju i utiskuje se vremenski kod kako bi se obezbedili podaci o pomeranju za postprodukcijske procese.

[0012] Metodi ili sistemi kako su napred definisani i koji se koriste da omoguć e da virtuelni objekti ili slike budu umetnuti u emitovani video tok.

[0013] Metod ili sistem kako je napred definisano da omoguć i jedno ili više od slede ć eg:

• Prać enje u realnom vremenu za studijske kamere

• Prać enje u realnom vremenu za steady kameru

• Prać enje u realnom vremenu za kamere montirane na kran

• Prać enje u realnom vremenu za kamere postavljene na kolica

• Prać enje u realnom vremenu za steady kameru

• Prać enje u realnom vremenu za Outside Broadcast (OB)

• Korišć enje podataka u realnom vremenu (npr. podataka o pra ć enju) za 2D postprodukciju

• Korišć enje podataka u realnom vremenu (npr. podataka o pra ć enju) za naknadnu konverziju za 3D stereoskopski sadržaj

• Korišć enje podataka u realnom vremenu (npr. podataka o pra ć enju) za izvorni 3D stereoskopski sadržaj • Umetanje 3D grafike

• Umetanje 3D grafike za postavljanje proizvoda u studiju ili na setu

• Umetanje 3D grafike za OB

• Umetanje 3D grafike za druge sponzorisane slike

• Umetanje 3D grafike koje je specifično za lokaciju posmatrača

• Umetanje 3D grafike koje je specifična za gledaoca

• Umetanje 3D grafike koja je određena za vreme

• Umetanje 3D grafike za popunjavanje scena gužve

• Umetanje 3D grafike za zamenu zelenog ekrana

• 3D grafičko umetanje obrazovnog sadržaja za pomoć u učenju, u muzejima i interpretacijskim centrima u kulturnim, istorijskim ili prirodnim znamenitostima.

• merenje apsolutne ili relativne veličine objekata u sceni.

[0014] Metode ili sistemi kako je napred definisano, pri čemu je filmska kamera jedno od sledeć eg:

- Sve kamere sa standardnim tetrom

- Kamere koje zahtevaju vezu sa taktičkim optičkim vlaknima

- Kamera koja zahteva RF/bežičnu vezu

[0015] Metodi ili sistemi kako je napred definisano, raspoređeni na jednom od sledeć ih tržišta:

- film/TV (ne uživo)

- komercijalno (ne uživo)

- reklame uživo

- emitovanje (ne sportsko)

- Broadcast OB

- bazirano na sportskom studiju

- zasnovano na sportskoj OB

- TV plasman proizvoda uživo

- korišć enje interneta (ne uživo)

- internet uživo

- internet na teritoriji uživo

- interent plasman proizvoda uživo

- sadržaj muzeja/baštine

- oglasi za muzej/nasleđe

- arhitektonsko

- igre

[0016] Metodi ili sistemi kako su napred definisani i koji se koriste da omoguć e prikazivanje slika proširene stvarnosti na bilo kojem uređaju za prikaz, uključujuć i pametni telefon i naočare sa proširenom realnoš ć u, pri čemu se izgled slika proširene stvarnosti automatski menja u zavisnosti od podataka o pozicioniranju u realnom vremenu.

[0017] Film, serija, TV emisija ili video igra u kojoj se 3D objekti generisani u realnom vremenu, kompjuterski generisani, mešaju sa video zapisom iz kamere, u kome telo kamere može da se pomera u 3D i senzori u ili pričvršć eni za kameru obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju kamere ili omoguć avaju izračunavanje 3D pozicije.

[0018] Uređaj za snimanje i prać enje scene prilagođen za pričvrš ć ivanje na konvencionalnu kameru, u kome telo kamere može da se pomera u 3D, a hardverski senzori u uređaju za snimanje i prać enje scene obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju kamere, ili omoguć avaju da se izračuna 3D pozicija.

[0019] Ručna ili prenosiva kamera koja uključuje senzore u ili priključene na kameru obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju kamere u odnosu na 3D referentni okvir, ili omoguć avaju, u potpunosti ili kao deo sistema koji analizira druge podatke, kao što su podaci o optičkom toku, da se izračuna 3D pozicija.

[0020] Filmska kamera koja uključuje ili je priključena na sistem stereoskopskih kamera za svedoke, sistem kamera za svedoke koji generiše širokougaone (npr. 180 stepeni) stereoskopske slike, omoguć avaju ć i softveru da obrađuje slike i, bez da se sistem kamere uopšte prati/pomera, da generiše trenutni 3D oblak tačaka.

[0021] Sistem za prać enje kamere za pričvrš ć ivanje na filmsku kameru, koji ima sistem kamera svedoka koji generiše stereoskopske slike, omoguć avaju ć i softveru da obrađuje slike i, bez da se sistem kamere uopšte pomera, da generiše trenutni 3D oblak tačaka i obezbedi prać enje u realnom vremenu (pozicija, orijentacija, zum, fokus i iris) filmske kamere.

[0022] Naočare sa proširenom realnošć u uključuju ć i senzore u naočarima ili pričvrš ć ene za njih obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju naočara u odnosu na 3D referentni okvir, ili omoguć avaju, u potpunosti ili kao deo sistema koji analizira druge podatke, kao što su podaci o optičkom toku, izračunavanje 3D pozicije.

[0023] Sadašnji sistem je implementiran u sistemu koji se zove Ncam. Različite aplikacije Ncam uključuju sledeć e:

Vizuelne efekte u filmu, TV i reklamama

[0024] Vizuelni efekti u pretprodukciji i produkciji: Ncam nastoji da pomogne da se popuni jaz između prethodnog (pretprodukcije) i VFX (post-produkcije) tokom procesa snimanja (produkcije). Ncam nudi rešenje za one koji žele da kadriraju na VFX u kameri, dok snimaju, u realnom vremenu. Koristeć i prethodno kreiran sadržaj, često iz previs procesa, Ncam je u stanju da sastavi ta prethodna sredstva, obično 3D modele i animaciju, na ploču sa filmom uživo u realnom vremenu.

[0025] Uzimanje pažljivo izrađenog i odobrenog previsa na set može uštedeti ogromnu količinu vremena. Filmski stvaraoci mogu da kadriraju prethodni ili VFX, bilo da se radi o snimanju na zelenom ekranu i komponovanju virtuelne pozadine ili prekrivanju stvorenja ili objekta u prvom planu. Filmski stvaraoci su tada u moguć nosti da preuzmu kontrolu nad prethodnim i VFX-om istražujuć i mogu ć e uglove kamere i pokrete u hodu i u realnom vremenu, bez uobičajenih ograničenja.

[0026] Zauzvrat, podaci se snimaju i označavaju vremenskim kodom, dajuć i podatke o pomeranju kamere VFX odeljenja (traka sa 6 DOF) dok se u isto vreme pruža urednički tekst sa 'tempom' konačnog VFX-a.

[0027] Snimanjem 'temp' VFX-a u kameri i dizajniranjem VFX-a ranije u procesu, moguć e je da se dosta nagađanja iskoristi iz VFX-a kao deo post-produkcijskog procesa. Možemo da smanjimo VFX proces dizajna i tako uštedimo gubitak.

Virtuelno oglašavanje - prenos uživo

[0028] Ncam-ova tehnologija je pogodna za virtuelno oglašavanje u realnom vremenu sa prostorom za emitovanje. Digitalni plasman proizvoda, gde se proizvod ubacuje nakon snimanja tokom postprodukcije, za razliku od stvarnog fizičkog proizvoda koji se nalazi u kameri, postaje sve popularniji. Međutim, sa moguć noš ć u da pove ć amo plasman digitalnih proizvoda uživo, u moguć nosti smo da otvorimo razne mogu ć nosti. Primeri mogu uključivati logotipe brenda na sportskim terenima ili pić a u konzervi. Ovo je mesto gde mogu ć nost renderovanja foto-stvarnih CG slika, u realnom vremenu, na osnovu osvetljenja okruženja za snimanje, postaje kritična.

Holografsko igranje

[0029] Kombinovanje Ncam-ove tehnologije sa holografskim ekranima i naočarima (kao što je Google Glass) moglo bi da obezbedi potpuno impresivno iskustvo igranja. Kombinacija stvarnog sveta sa virtuelnim svetovima i likovima. Moguć nosti su donekle beskrajne.

Muzej i baština

[0030] Ncam-ova tehnologija nudi širok spektar potencijalnih primena u sektorima muzeja i baštine.

[0031] Kao istraživački alat mogao bi biti koristan za rekonstrukciju lokaliteta baštine kao što su ruševine, pokazujuć i kako je stranica izgledala u svom nekadašnjem sjaju.

[0032] U muzejima Ncam se može koristiti kao obrazovno sredstvo, možda za demonstraciju veličine i kretanja dinosaurusa, njegovih unutrašnjih organa ili strukture skeleta. Drugi primer može biti istraživanje rada integralnog motora sa unutrašnjim sagorevanjem, efektivno gledajuć i eksplodirani animirani dijagram, ali u potpunom impresivnom 3D prostoru.

Virtuelna kamera – VCS

[0033] Ncam tehnologija je savršena za ovu primenu. Virtuelna kamera je u suštini LCD ekran koji prikazuje kompletno CG 3D okruženje. Dok operater pomera LCD ekran, on se ponaša kao fizička kamera u smislu kretanja. LCD kamera se prati u XYZ translacijama i rotacijama i prikazuje potpuno CG okruženje iz CG motora, u realnom vremenu. Trenutno postoje različita VCS (sistem virtuelnih kamera) rešenja, ali sva imaju ograničenja u pogledu tehnologije. Imaju tendenciju da zahtevaju vreme za postavljanje, ograničeni su u prostoru i okruženju u komeć e raditi i skupi su. VCS zasnovan na Ncam-u verovatno bi poprimio oblik tableta, pri čemu bi se obrada izračunavala lokalno u kombinaciji sa LCD ekranom. CG proračuni se mogu uzeti sa udaljenog računara ili eventualno lokalno u zavisnosti od zahteva. Ideja je da se kroz upotrebljivost i cene omoguć i otvoren pristup velikom broju odeljenja unutar filma, koji ranije nisu mogli da imaju pristup takvim alatima. Ovo je veoma korisno za dizajnere, arhitekte, VFX, kompanije za igre, CG i animacijske kuć e itd.

[0034] Ovaj VCS bi takođe činio okosnicu potencijalnog rešenja za muzej i baštinu.

Virtuelni izviđački sistem - VSS

[0035] Zamislite da snimate film i on je pretežno na plavom/zelenom ekranu. Kako, kao filmski stvaralac ili reditelj, da li da odredim koji ć e uglovi ili kadrovi biti najbolji? Na kraju krajeva, možda imam malo fizičkog kompleta i nekoliko glumaca, ali nemam pojma, osim svoje mašte, koji su uglovi kamere najbolji, a kamoli da objasnim celoj ekipi gde treba da postavimo kamere i napravimo valjan izbor objektiva. Trenutno bismo premestili filmsku kameru i sve njene potrepštine na lokaciju na setu, postavili Ncam i pogledali, samo da bismo shvatili da bi bilo bolje u drugoj poziciji. Kad bismo samo imali lagani prenosivi sistem za donošenje tih odluka, brzo i efikasno. Ovo je Ncam VSS.

[0036] VSS je Ncam kao što je danas, ali integrisan u kameru malog formata - pomislite na DSLR. To je u suštini digitalni pretraživač sa prednostima Ncam-a. Kombinujemo sve elemente Ncam-a kakav je danas, na filmskom setu, ali u prenosivom uređaju. Virtuelna produkcija za TV epizodu takođe bi imala velike koristi od ovog alata, kao i muzeji/lokacije baštine, kao i arhitekte koji žele da pokažu potencijalnim investitorima svoje nove kreacije.

KRATAK OPIS SLIKA

[0037]

Slika 1

Opis hardvera za konfiguraciju 2.3. Imajte na umu da je verzija koja je ovde nacrtana ona koja ima spojene radnu stanicu za prać enje i radnu stanicu za renderovanje.

Slika 2

Globalni algoritam za prać enje za dobijanje položaja i rotacije filmske kamere u realnom vremenu.

Slika 3

Registracioni objekat 3D automatskog nivelisanja kreiran za naš sistem. Taj objekat se koristi u stvarnoj sceni za automatsko izračunavanje porekla, orijentacije i veličine stvarnog sveta u našem softveru. Planarna verzija je prikazana na desnoj slici na slici 5.

Slika 4

Piramida slike koja se koristi za detekciju prirodnih markera. Ova slika takođe prikazuje neke 2D teksture povezane sa markerima.

Slika 5

Kalibracione karte razvijene i korišć ene u Ncam-u. Levo: tabela kalibracije koja se koristi za kalibraciju svih sočiva. Srednja: Korišć ena kalibraciona tabela ili izračunavanje rasporeda između filmske kamere i kamere za svedoke. Tabela sa leve strane se takođe može koristiti za slučajeve kada je žižna daljina na filmskoj kameri dovoljno kratka (eksperimentalno odlučeno na setu). Desno: planarna verzija registracionog objekta. Lakši za rukovanje i može se postaviti bilo gde na površini zemlje. Krugovi daju ortonormalnu osnovu dajuć i svetu orijentaciju, razmeru i poreklo (0,0,0) kada se virtuelni objekti dodaju stvarnoj sceni. Centar gornjeg levog kruga je poreklo sveta.

Slika 6

Kamera Bar za montiranje na filmsku kameru sa različitim veličinama zakački (za šipke od 15 mm i 19 mm).

Slika 7

Bežični uređaj za istraživanje. Kada je potrebno istraživanje (tj. monoskopski slučaj, na primer, (vidi odeljak 2.1, ili veoma složeni setovi (vidi kraj odeljka 2.1.3)), celokupni proces prać enja se postiže koriš ć enjem tog anketnog uređaja. Kada je anketa okončana, svi podaci o prać enju (tačka, tastature, koji odmah počnu da se prate i završava prenosne rezultate i završavanje.

Slika 8

Kamera/kompjuter Breakout Bok. Imajte na umu da je verzija koja koristi više RJ45 kablove prikazana ovde. Sve ove razvodne kutije takođe imaju varijantu gde se ti kablovi zamenjuju jednim taktičkim optičkim kablom.

DETALJAN OPIS

[0038] Ova tehnologija se odnosi na mešanje kompjuterski generisanih 3D objekata u realnom vremenu i video zapisa iz stvarnog života koji dolazi iz prave kamere (koja se u nastavku ovog rada naziva filmska kamera) na filmskom setu, TV prenosu ili video igrici. Glavni ciljevi ovog sistema su:

• da obezbedi alatku za kadriranje virtuelnih likova i okruženja u realnom vremenu za filmske režisere. • za prikaz u realnom vremenu foto-realističnih rezultata virtuelnih objekata direktno spojenih sa stvarnim video snimkom.

• da obezbedi tačnu procenu položaja filmske kamere (koja se zove prać enje kamere) za oba snimanja na setu i postprodukcija filma. Rukovano je svim filmskim kamerama: kran kamera, stabilna kamera, ručna kamera, kamere

na tronošcima itd.

• da obezbedi aproksimaciju 3D geometrijskog modelovanja stvarne scene, rukovanje okluzijom između stvarnog

objekta (i/ili aktera) i virtuelnog okruženja (3D objekti, likovi, itd.).

[0039] Tehnologija koja je ovde opisana je pre svega moć an algoritam za fuziju senzora, čime se spajaju prirodni markeri (tj. nisu ručno dodati fizičkoj sceni) izračunat iz 3 (stereoskopsko kuć ište) ili 2 (monoskopsko ku ć ište) različita optička toka i fizičkog merenja 4 druga senzora (žiroskop 3, sistem senzora ukupnog opsega koji nije magnetni, akcelerometar) i ne zahteva ručno dodavanje bilo kakvih fizičkih markera ili bilo čega što je direktno vidljivo u stvarnoj sceni da bi se obavio posao. Monoskopsko kuć ište kamere za jednog svedoka nije u skladu sa pronalaskom, i opisano je samo u ilustrativne svrhe.

1 Hardver

[0040] Tehnologija ima 2 različite moguć e hardverske konfiguracije u zavisnosti od vrste podataka koji se moraju strimovati.

[0041] Ove 2 konfiguracije imaju zajednički sledeć i hardver montiran na uređaj koji se zove traka kamere (pogledajte sliku 6 za detaljne šeme), kao i zasebnu kutiju za povezivanje koja je u suštini kutija za razboj koja spaja ili razdvaja sve različite kablove u jedan ili nekoliko nezavisnih razboja (pogledajte sliku 8 za detaljne šeme):

• jedna ili dve kamere velike brzine (najmanje 100 fps), koje se nazivaju kamere za svedoke, u zavisnosti od izabranog pristupa (monoskopski ili stereoskopski).

• svaka kamera za svedoke ima postavljeno sočivo riblje oko od 180 stepeni.

• 9-DOF senzor, uključujuć i žiroskop, magnetometar i akcelerometar (ili 6-DOF kada magnetometar ne može biti upotrebljen).

• 3D senzor opsega koji hvata dubinu piksela.

[0042] Pored trake kamere, sve konfiguracije imaju obične enkodere sočiva montirane na filmsku kameru za čitanje vrednosti zuma, fokusa i vrednosti irisa. Zajednički im je i bežični uređaj za snimanje (pogledajte sliku 7 za detaljne šeme) za snimanje scene i učenje. Međutim, imajte na umu da u slučaju potpunog stereoskopskog pristupa (pogledajte odeljak 2.5), tačnije trenutnog istraživanja (pogledajte odeljak 2.5.1), taj uređaj za snimanje nije potreban.

[0043] Osim ovih zajedničkih karakteristika, 2 konfiguracije su opisane na slede ć i način:

Konfiguracija 1: Kamere za strimovanje

[0044]

1. Bežični ugrađeni računar:

(a) Ugrađeni računar za prać enje je montiran na filmsku kameru. On bežično prenosi translaciju i rotaciju filmske kamere (RT) na eksternu radnu stanicu za renderovanje, kao i zum, fokus i iris (ZFI) koji dolaze od kodera.

(b) Eksterna radna stanica za generisanje sadržaja. Ova mašina obično pokreć e softver za računarsku grafiku kako bi obezbedio 3D kompjuterski generisanu animaciju i relevantan CG sadržaj za konačno komponovanje. Takođe prenosi animirane podatke na spoljnu radnu stanicu za renderovanje (1-1c). (c) Radna stanica za eksterno prikazivanje koja s jedne strane prima podatke sa ugrađenog računara (1-1a), a sa druge strane takođe rukuje animiranim podacima koji dolaze sa radne stanice za generisanje sadržaja (1-1b). Ova radna stanica za renderovanje koristi filmsku kameru RT+ZFI koja dolazi od 1-1a da prikaže 3D virtuelno okruženje koje dolazi iz 1-1b, i meša rezultat u okviru stvarnog video toka koji dolazi od filmske kamere. Takođe prenosi konačni kompozitni rezultat nazad na okular filmske kamere ili kontrolni monitor bez ikakve žice.

2. Žični ugrađeni računar

(a) Ugrađeni kompjuter za prać enje je montiran na filmsku kameru. On prenosi translaciju filmske kamere, rotaciju (RT) i podatke enkodera (ZFI) na eksternu radnu stanicu za renderovanje koristeć i taktičke kablove sa optičkim vlaknima.

(b) Slično kao u konfiguraciji 1-1b.

(c) Slično kao u konfiguraciji 1-1c, osim što se konačni kompozitni rezultat šalje nazad u kameru preko HD-SDI kabla.

Konfiguracija 2: Ukupno strimovanje

[0045]

1. Bežični ugrađeni računar:

(a) Ugrađeni računar za prać enje je montiran na filmsku kameru. Na toj jedinici nije postignuta stvarna obrada. Samo bežično prenosi sve podatke senzora na eksternu radnu stanicu za prać enje. 2 x video tokova sa kamera za svedoka, 1x9DOF podataka, 13 podataka senzora dometa se emituju. Ukupna količina podataka zahteva minimalni propusni opseg već i od 142 MB/sek vidi (kamere za svedoke zahtevaju 63 MB/sek, senzor dometa 74 MB/sek, 9DOF senzor 4,4 MB/sek).

(b) Eksterna radna stanica za prać enje koja prima podatke sa ugrađenog računara za pra ć enje. Ova jedinica obrađuje sve podatke senzora da bi izračunala matrice rotacije i translacije filmske kamere. On prenosi kameru RT+ZFI na spoljnu radnu stanicu za renderovanje (2-1d).

(c) Eksterna radna stanica za generisanje sadržaja. Ova mašina obično pokreć e softver za računarsku grafiku kako bi obezbedio 3D računarsku generisanu animaciju i relevantan CG sadržaj za konačno komponovanje. Takođe prenosi animirane podatke na spoljnu radnu stanicu za renderovanje (2-1d). (d) Radna stanica za eksterno prikazivanje koja s jedne strane prima podatke sa ugrađenog računara (2-1b), a sa druge strane takođe rukuje sa animiranim podacima koji dolaze sa radne stanice za generisanje sadržaja (2-1c). Ova radna stanica za renderovanje koristi filmsku kameru RT+ZFI koja dolazi iz 2-1b da prikaže 3D virtuelno okruženje koje dolazi iz 2-1c, i meša rezultat u okviru stvarnog video toka koji dolazi od filmske kamere. Takođe prenosi konačni kompozitni rezultat nazad na okular filmske kamere ili kontrolni monitor bez ikakve žice.

2. Žični ugrađeni računar:

(a) Ugrađeni računar za prać enje je montiran na filmsku kameru. On prenosi translaciju i rotaciju filmske kamere (RT) na eksternu radnu stanicu za renderovanje (2-2c) koristeć i taktičke optičke kablove ili više Cat-6 RJ45 kablova. Enkoderi se ponovo koriste za zumiranje, fokus i iris (ZFI).

(b) Slično kao u konfiguraciji 2-1c.

(c) Slično kao u konfiguraciji 2-1d, osim što se konačni kompozitni rezultat šalje nazad u kameru preko HD-SDI kabla.

3. Nema ugrađenog računara (pogledajte sliku 1 za grafičku ilustraciju: sve druge verzije se mogu lako izvesti iz takve):

(a) Jedan uređaj za prać enje jedne kamere (kamera traka) je pričvrš ć en na filmsku kameru i povezan sa kutijom za razboj.

(b) Eksterna radna stanica za prać enje koja prima podatke od ugrađenog uređaja za pra ć enje. Ova jedinica obrađuje sve podatke senzora da bi izračunala matrice rotacije i translacije filmske kamere. Enkoderi se ponovo koriste za zumiranje, fokus i iris (ZFI). On emituje kameru RT+ZFI na radnu stanicu za renderovanje 2-3d.

(c) Slično kao Konfiguracija 2-1c.

(d) Slično kao u konfiguraciji 2-1d, osim što se konačni kompozitni rezultat šalje nazad u kameru preko HD-SDI kabla.

[0046] Pored prethodnih konfiguracija, svaka verzija takođe ima dve druge varijante. Jedna ima radnu stanicu za generisanje sadržaja spojenu sa radnom stanicom za eksterno prikazivanje, a druga varijanta ima radnu stanicu za eksterno prikazivanje spojenu sa radnom stanicom za prać enje.

2 Softver

[0047] Stvoreno je nekoliko novih naučnih metoda i softvera za postizanje tačnih rezultata prać enja i stvarnih vremenski proširenih stvarnosta [19]. Ove metode su opisane u narednim odeljcima.

2.1 Monoskopsko pra ć enje bez markera iz video izvora

2.1.1 Pregled procesa

[0048] Monoskopska tehnika koja se koristi u tehnologiji je izgrađena na dva odvojena prolaza koji su zapravo tehnički skoro isti, osim što jedan zahteva interakciju korisnika dok je drugi potpuno automatski.

[0049] Prvi prolaz se zove anketa. Korisnik koristi uređaj izgrađen na hardveru opisanom u drugom paragrafu odeljka 1 (videti takođe sliku 7) da skenira stvarnu scenu i objekat registracije. Tokom te faze, sistem automatski uči i izračunava prirodne markere u 3D dok korisnik skenira okolinu krećući se okolo. Čim korisnik počne da vrši anketu, mora da uhvati i objekat registracije (videti odeljak 2.1.3.2) kako bi automatski procenio razmere, poreklo i orijentaciju okoline. Kada se to postigne, korisnik može da nastavi da skenira ostatak scene kako bi napravio najbolji moguć i 3D oblak tačaka prirodnih markera (prirodni marker je tačka obeležja nevidljiva ljudskom oku i koju izračunavaju naši algoritmi). Što se ova anketa detaljnije postigne, to ć e konačni rezultat biti bolji. Anketni deo je najvažniji zadatak od svih i veoma je zahtevan.

[0050] Drugi prolaz je prać enje filmske kamere (videti odeljak 2.1.4) koje se vrši sa uređaja za pra ć enje koji je postavljen na filmsku kameru. Primenjuju se različite konfiguracije, u skladu sa opisom prethodnog odeljka pod naslovom „Hardver“ i prema različitim situacijama. Ovaj korak je potpuno automatski i obično ne zahteva nikakvu ljudsku interakciju.

2.1.2 Pregled algoritma

[0051] Tehnologija koja je ovde opisana je okvir proširene stvarnosti zasnovana na tehnici fuzije više senzora (videti odeljak 2.3).

[0052] Zaista, ne oslanja se samo na uobičajene podatke o optičkom toku za prać enje kamere i umetanje virtuelnog objekta. Takve tehnike su u mnogim slučajevima pokazale svoja naučna i praktična ograničenja. Na primer, ako korisnik sakrije kameru koja se koristi za prać enje, pra ć enje ne uspeva i gubi se. Potpuno isti problem je ako kamera ukaže na region koji nije pregledan (pogledajte odeljak 2.1.3). Štaviše, čak i ako se filmska kamera uopšte ne pomera, i dalje postoje neizbežni problemi sa blagim kolebanjem zbog tačnosti otkrivenih prirodnih markera izračunatih čistim algoritmom vizuelnog prać enja. Filtriranje podataka delimično rešava problem, ali nikada ne ć ete dobiti savršeno stabilan virtuelni objekat, posebno kada koristite veoma dugačko fokalno sočivo. Kako naša tehnologija koristi druge senzore da zna da li se kamera kreć e ili ne, naš algoritam za pra ć enje nema taj problem.

[0053] Uobičajene tehnike optičkog toka kao što su SLAM[9], PTAM[8], RSLAM[13], itd. koriste informacije sadržane u video snimku snimljenom kamerom da bi aproksimirali njegovu poziciju i orijentaciju. Naša tehnologija ima sličan pristup za svoj deo vizuelnog prać enja (koji se naziva vizuelno pra ć enje), samo što s jedne strane srž pra ć enja nije jednostavna pretraga ključnog kadra kada se izgubi, a sa druge strane koristi sve podatke 7 dostupnih senzora (jedna filmska kamera, dve kamere za svedoke, žiroskop, akcelerometar, magnetometar i senzor za preciznu orijentaciju kamere) i 3D senzor za pozicioniranje.

[0054] Koristimo prošireni Kalmanov filter (EKF, videti odeljak 2.3.2) [7, 21] da integrišemo sledeć e senzore: žiroskop, akcelerometar, senzore magnetometra i kamere za svedoke. EKF tehnika je srce našeg softvera i sav algoritam predviđanja/korekcije je zasnovan na metodi spajanja podataka koja omoguć ava da se koristi najbolje od svakog senzora. Ovo pruža robusnost bez premca u jednostavnim i kritičnim slučajevima gde sve druge tehnike ne uspevaju. Zaista, kada je senzor izgubio trag (zapravo što znači da njegova merenja više nisu pouzdana), EKF je i dalje u stanju da dobije procenu položaja/orijentacije spajanjem podataka drugih pouzdanih i preostalih senzora. Pored toga, pošto svaki senzor ima nivo poverenja, to utiče na algoritam spajanja kako bi se sprečilo da sistem koristi netačne informacije. Na primer, običan žiroskop ima prirodnu manu zvanu drift koja ima tendenciju da promeni svoju orijentaciju čak i kada se ne kreć e. Što više vremena prolazi, to više grešaka generiše žiroskop. Korekcija drifta žiroskopa se vrši korišć enjem vizuelnog pra ć enja, a vizuelno pra ć enje se koriguje žiroskopom kada njegova greška postane prevelika. EKF je tako u stanju da pronađe najbolju poziciju i rotaciju filmske kamere predviđanjem kretanja filmske kamere koristeć i prethodne ispravno procenjene vrednosti, a zatim ispravlja svoje predviđanje prema novim merenjima datim od strane svih senzora.

[0055] Štaviše, već ina čistih optičkih tehnika pra ć enja koristi ključne kadrove (tj. snimke) da locira kameru kada se izgubi. Ako nemate ključni kadar trenutnog prikaza na koji pokazujete kamerom, oporavak neć e uspeti. Robusnije tehnike su naravno upotrebljive kao SIFT[11] ili SURF[1] tehnike za rešavanje slučajeva gde ste jednostavno vertikalno rotirali kameru, na primer. Zaista, pošto svi ovi sistemi upoređuju trenutni okvir sa najsličnijim ključnim kadrom, prilično je interesantno koristiti invarijantne deskriptore rotacije i skaliranja da bi se dobilo bolje i brže podudaranje. Međutim, ako nemate nijedan ključni kadar sa pozicije na kojoj se nalazi kamera, nema načina da vaš sistem povrati svoju poziciju. Naša tehnika uzima najbolje od svake tehnike (imajte na umu da koristimo ORB[18] kao deskriptore ključnih tačaka) i istovremeno pokreć emo tri različite niti da povratimo izgubljeno pra ć enje (pogledajte odeljak 2.1.4.4 za više detalja). Proces oporavka se može posmatrati kao globalni algoritam zasnovan na probabilističkom i stohastičkom pristupu. Kada se prać enje izgubi, 3D prostor se trenutno uzorkuje oko najnovijih poznatih pozicija koristeć i elipsoidni pristup i svi ključni kadrovi unutar tog elipsoida se upoređuju sa trenutnim ključnim kadrom. Štaviše, svi ostali podaci koji potiču od preostalih senzora (žiroskop, akcelerometar, magnetometar, 3D senzor dometa) se i dalje spajaju u pretrazi omoguć avaju ć i našem softveru da razjasni sve verodostojne dobre kandidate. Naravno, ako nijedan ključni kadar nije dovoljno dobar kandidat, onda ć e sistem koristiti sve ostale senzore osim vizuelnog prać enja da izračuna aproksimaciju trenutne pozicije. Očigledna posledica te tehnike je da naša tehnologija omoguć ava korisniku da usmeri kameru na mesto koje nije ispitano bez gubitka pra ć enja. Međutim, naši algoritmi nikada ne prestaju da uzorkuju 3D prostor da bi pronašli ključni kadar (tj. bolju aproksimaciju RT) koji odgovara trenutnom snimku. Ako se vizuelno prać enje povrati, svi ostali podaci senzora se koriste i ažuriraju da bi se ispravile sopstvene informacije pored informacija kamere (pogledajte prošireni Kalmanov filter, odeljak 2.3.2).

[0056] Najnovija (tj. regularna) verzija naše tehnologije je stereoskopska (pogledajte odeljak 2.5) što znači da koristi dve kamere za svedoke razmaknute za 21 centimetar (vidi sliku 6). Ova tehnologija ne zahteva nikakvo izračunavanje homografije ili bilo kakav ručni prevod jedne kamere svedoka (pogledajte odeljak 2.1.3) da bi se izračunale informacije o dubini prirodnih markera otkrivenih u video zapisu. Ovaj metod pojednostavljuje naš glavni algoritam tako što u već ini slučajeva čini fazu ankete zastarelom (pogledajte odeljak 2.5). Kao i u monoskopskoj tehnici, samo vizuelno prać enje ima potpun pristup podpikselima koji omogu ć ava sistemu da prati poziciju na kameri na 4 različita nivoa piramide slike (pogledajte sliku 4), dok sve druge tehnologije zasnovane na optičkom toku pogrešno koriste pikselski pristup na samo dve različite rezolucije slika kada traže tačke karakteristika.

2.1.3 Prva Faza: Anketa

2.1.3.1 Korak inicijalizacije

[0057] Prvi korak je da korisnik uradi fizičko/ručno horizontalno prevođenje sa uređajem kako bi snimio dva kadra. Algoritam automatski detektuje prirodne markere (tj. tačke karakteristika) na slikama koristeć i metod detekcije uglova koji se zove FASTER[17]. Uparivanje se primenjuje da bi se pronašla korespondencija između para tačaka. Za jednu sliku, sve detektovane tačke moraju ostati na istoj 3D ravni da bi se mogla izračunati tačna homografija od te ravni do slike. Ovo daje rotaciju i translaciju kamere u odnosu na 3D ravan. Druga slika prati isti princip i dobijamo drugu poziciju i prevod kamere za trenutnu sliku. Sada je moguć e izračunati transformaciju od jedne kamere do druge i dobiti prvi 3D oblak tačaka.

[0058] Hajde da razmotrimo dva pogleda (levo i desno) snimljena kamerom. Za svaki pogled kamera svedoka je ciljala tačku M koja se nalazi u avionu. ML i MR su perspektivne projekcije M u levom i desnom prikazu.

[0059] Možemo napisati:

pri čemu:

• R je matrica rotacije kojom se M<L>rotira u odnosu na M<R>.

• N(A, B, C) je vektor normale na ravan kojoj pripada tačka M.

• D je rastojanje do ravni kao što je Ax By Cz D = 0.

[0060] Rešavanje za H u jednačini 1 daje:

[0061] Naš algoritam zahteva najmanje 4 koplanarne tačke da bi izvršio ispravnu inicijalizaciju. Sasvim je uobičajeno da mi zapravo imamo mnogo više vrednosti od toga. Zbog toga izračunavamo n moguć ih homografija koriste ć i 4 tačke iz celog skupa tačaka za svaku homografiju. Zatim koristimo RANSAC[4] metod da zapravo pronađemo najbolju moguć u homografiju i napravimo skup unutrašnjih i spoljašnjih kandidata. Spoljašnji ć e biti odbačeni, dok ć e unutrašnji biti prečišć eni Gauss-Njutnovom metodom minimiziraju ć i greške reprojekcije tačaka u dva pogleda. Pošto je najbolja homografija izračunata iz filtriranog skupa tačaka, sada je potrebno proceniti matrice rotacije i translacije između levog i desnog prikaza. Ovo se lako postiže korišć enjem dekompozicije singularnih vrednosti na dve ortogonalne matrice U, V i dijagonalnu matricu Y. Matrica H se sada može napisati kao: H = UYV<t>.

sa:

[0062] Pošto se ne bavimo neodređenim slučajevima homografije, jednačina 3 ima dva mogu ć a rešenja:

• Rešenje 1:

sa

λ1, λ2i λ3su sopstvene vrednosti matrice H iz jednačine 2, sortirane kao što su λ1, λ2i λ3i λ1= λ2= λ3.

• Rešenje 2:

sa

λ1, λ2i λ3su sopstvene vrednosti matrice H iz jednačine 2, sortirane kao što su λ1, λ2i λ3i λ1= λ2= λ3.

[0063] Pored skupa tačaka karakteristika, algoritam takođe hvata dve ključne pozicije kao snimke onoga što kamere za svedoke vide sa svake tačke gledišta. Prikupljanje dodatnih vrednosti je uvek zbir tri komponente: nove otkrivene tačke, ključne pozicije i zakrpe, koje su opisane u odeljku 2.1.3.3.

[0064] Na kraju, imajte na umu da u slučaju stereoskopskog pristupa (pogledajte odeljak 2.5), faza istraživanja postaje automatska i trenutna. Ručna anketa se i dalje može koristiti za izuzetno složene slučajeve (eksperimentalno odlučeno na setu), ali ovo ostaje anegdotično.

2.1.3.2 Automatska razmera, poreklo i orijentacija 3D okoline

[0065] Tokom monoskopskog snimanja, nije moguć e izračunati tačno poreklo, razmeru i orijentaciju okoline jer bi to zahtevalo prethodno poznavanje stvarnog objekta uključujuć i njegov tačan oblik i dimenzije, ili rastojanje koje se koristi između ova dva prikaza za izračunavanje homografije. Imajte na umu da vam u ovom poslednjem slučaju ovo ionako ne bi dalo poreklo ili orijentaciju okoline. Već ina sistema ne uzima u obzir taj deo. Često traže od korisnika da ručno izvrši skalu unosom dimenzija 3D objekta vidljivog na video snimcima. Druge opcije su da korisnik skalira 3D virtuelne likove u okviru određenog softvera za modeliranje/animaciju tokom snimanja i takođe ih pravilno poravna sa stvarnim svetom. Međutim, svaka greška na skali – čak i mala – ima dramatičan uticaj na kvalitet finalnog kompozita i zato se tako pažljivo postiže u našoj tehnologiji (vidi dole). Jedna od najčešć ih uočenih posledica lošeg skaliranja je oseć aj za korisnika da virtuelni objekti klize po zemlji, umesto da ostanu savršeno vezani za nju.

[0066] Predlažemo novi metod koji zahteva da se u scenu stavi vlasnički objekat registracije kada se vrši anketa. Ovaj objekat se automatski detektuje jer ima veoma poznat oblik, a poznate su i sve njegove dimenzije. Uopšte nije potrebna interakcija korisnika.

[0067] Naš objekat registracije je napravljen od nekoliko delova koji su u suštini sfere i kraci kao što je prikazano na slici 3. Sfere su ključni delovi tog objekta u našem sistemu, jer omoguć avaju koriš ć enje algoritama za detekciju mrlja za prepoznavanje šablona kroz video. Centri gravitacije projektovanih sfera (tj. krugova) se zatim izračunavaju i pošto tačno znamo dimenzije i rastojanje između svake sfere, sistem je u stanju da napravi veoma preciznu skalu za okolinu. Takođe imamo planarnu verziju registracionog objekta (pogledajte desnu sliku na slici 5), koja je često pogodnija za premeštanje sa jednog mesta na drugo na stvarnoj sceni.

[0068] Kada se ovo postigne, korisnik može na primer da stavi virtuelni objekat visok 1,80 m u pravi video i osigura da ć e zaista izgledati tako visoko i ispravno. Drugi pristupi ne uspevaju da postignu takav kvalitet zbog ručnog aspekta zadatka.

[0069] Automatsko skaliranje je zapravo nešto što se radi tokom samog istraživanja, ali kako se to dešava na početku ankete, važno je da se to smatra i korakom inicijalizacije. Izračunata skala se zaista koristi u narednim koracima ankete da bi se napravio tačan skup 3D prirodnih markera. Pogledajmo sada detaljno samu anketu.

2.1.3.3 Proces istraživanja i pravljenje oblaka tačaka

[0070] Istraživanje zahteva od korisnika da se kreć e kroz scenu koriste ć i uređaj za snimanje. Kako sistem uvek računa nove vrednosti u skladu sa poverenjem koje ima u prethodno naučene, anketa je uvek izgrađena na način da kamera svedoka vidi dovoljno vrednosti iz prethodnog skupa za dodavanje novih kandidata.

[0071] Tokom pomeranja kamere svedoka, algoritam kreira mapu napravljenu od tri seta podataka naučenih u 4 različita nivoa piramide slike (pogledajte sliku 4):

• Ključna pozicija. Ključna pozicija sadrži snimak u 4 različite rezolucije onoga što kamera vidi. Donji nivo piramide je originalna rezolucija kamere svedoka (640 X 480 u našem slučaju). Tu ključnu poziciju algoritam takođe koristi da povrati poziciju kamere kada prać enje pođe pogrešno.

• Skup tačaka 2D karakteristika koje procenjuje FASTER[17] na svakoj slici ključne pozicije. FASTER je veoma poznat algoritam čija je glavna karakteristika da bude algoritam detektora ugla. Svaka ključna tačka takođe ima priložen ORB deskriptor kako bi se obezbedio mnogo brži oporavak kada izgubite prać enje (pogledajte odeljak 2.1.4.4).

• Skup zakrpa (16 X 16 2D tekstura) centriranih na svaku karakterističku tačku otkrivenu prethodnim korakom. Tokom detekcije novih tačaka, ne postoji način da se krene od jednog prikaza da se izračuna njihova dubina. Za to su zakrpe korisne. Epipolarna pretraga (pogledajte sliku 2, pravougaonik Konstruktor oblaka tačaka) može se primeniti kroz 4 slike ključnih pozicija pronalaženjem korespondencije između dve zakrpe u dve što bliže ključnoj poziciji. Kada je tačka (tj. zakrpa) otkrivena u oba prikaza, tada je moguć e izračunati tačku 3D karakteristike. Skup tačaka 3D obeležja naziva se mapa. Takođe je važno shvatiti da se ova pretraga između ključnih pozicija A i B postiže prelaskom na jednake nivoe piramide A i B, ali i podnivo piramide B (vidi sliku 4).

[0072] Tokom izrade mape, kamera se pomera u skladu sa pomeranjem operatora snimanja. U ovom trenutku, naš softver zna samo parametre kamere koji su prethodno izračunati (tj. prać eni). Da bismo izračunali novu poziciju kamere, potreban nam je trenutni okvir i 3D oblak tačaka prirodnih markera. S jedne strane, FASTER izračunava skup 2D markera na nekoliko nivoa piramide slike (trenutni nivo i trenutni nivo+1), a sa druge strane, 3D oblak tačaka se ponovo projektuje na trenutni kadar. Ovaj poslednji korak se može postić i samo ako znamo položaj kamere dok se tačke ponovo projektuju sa njene tačke gledišta. Ali to je upravo ono što pokušavamo da izračunamo. Zbog toga naš softver koristi model konstantne brzine povezan sa informacijama koje pruža naš 9-DOF senzor (pogledajte odeljak 2.3) da predvidi sledeć u poziciju kamere koriste ć i prethodno tačno izračunatu poziciju. Koriste ć i to predviđanje, 3D oblak tačaka se može ponovo projektovati na trenutni okvir i primenjuje se algoritam za podudaranje tačaka da se pronađe korespondencija između 2D tačaka koje je FASTER detektovao i projektovanih tačaka 3D oblaka tačaka. Greška između dva skupa markera je minimizirana korišć enjem Levenberg-Marquardt [10,12,15] algoritma jer je poznato da je najbolji algoritam optimizacije za takvu vrstu problema. Ako je broj podudarnih tačaka podeljen ukupnim brojem projektovanih tačaka već i od datog praga, sistem je u stanju da uspešno prati kameru (pra ć enje je dobro) i dozvoljeno mu je da dodaje nove ključne pozicije. 2D tačke za koje FASTER nije pronašao podudaranje u 3D oblaku tačaka se čuvaju u memoriji za kasnijeg korisnika, kao i njihove povezane 2D 16 X 16 zakrpe teksture. Od njih ć e biti potrebno da generišu nove 3D karakteristike (pogledajte slede ć i pasus).

[0073] Nove ključne pozicije (i nove karakteristike) se dodaju ako su ispunjena 3 uslova. Prvo, kao što smo rekli u prethodnom paragrafu, prać enje mora biti dobro, što znači da je dovoljno precizno ili da se ne gubi. Drugo, ključna pozicija se dodaje svakih 30 kadrova (1 u sekundi) kako bi se izbeglo stvaranje prevelikog skupa podataka. Treć e, nova pozicija ključa mora biti na minimalnoj udaljenosti od 10 cm od najbliže pozicije ključa. Ovo sprečava sistem da zapamti dodatne tačke kada je stacioniran.

[0074] Kada su svi ovi testovi uspešno prošli, softver može dodati novi snimak i nove 3D karakteristike. Prvi korak je da ponovo koristite FASTER da biste otkrili nove relevantne 2D tačke u novom kadru (snimku). Pošto imamo skup neuporedivih 2D karakteristika koje dolaze sa trake, sada pokušavamo da uskladimo "stari" 2D skup tačaka i novoizračunati. Ovo se radi klasičnom epipolarnom pretragom koristeć i 2D zakrpe teksture novog skupa tačaka. Zakrpe se pomeraju duž epipolarnih linija (vidi sliku 2) pokušavajuć i da se poklapaju sa skupom 2D zakrpa „starog“ skupa tačaka. Zahvaljujuć i epipolarnom ograničenju, mogu ć e je izračunati dubinu 3D tačke koja dolazi iz podudaranja dve 2D tačke. Ovo je zapravo slično koraku uparivanja u fazi homografije (videti odeljak 2). Ako su nove tačke dodate na kartu, primenjuje se lokalno prilagođavanje skupa. Nakon što je precizirao položaj i rotaciju kamere koristeć i ove nove karakteristike, Levenberg- Marquardt algoritam minimizacije se koristi za preciziranje 3D pozicije svih karakteristika. Ovo se radi na prozoru od k 1 kadrova, što znači da minimizacija uzima u obzir trenutni snimak plus k najbližih da bi se pravilno procenila trenutna pozicija i rotacija kamere (lokalno podešavanje paketa). Vrednost k može biti ili empirijski određena ili adaptivno izračunata prema datom pragu greške za algoritam minimizacije.

[0075] Pored podešavanja lokalnog skupa, globalno prilagođavanje skupa se takođe primenjuje na sve postojeć e ključne pozicije. Kako skup ključnih pozicija postaje sve već i i ve ć i tokom vremena, sistemu je potrebno sve više i više vremena da izvrši globalno prilagođavanje. Ako se dodaju nove ključne pozicije, a naš softver nije imao dovoljno vremena da izvrši lokalna i/ili globalna podešavanja paketa, prilagođavanja se onda jednostavno poništavaju da bi se ostavio prioritet dodavanju novih ključnih pozicija. Oni ć e se ponovo primenjivati čim se postigne dodavanje novih ključnih pozicija.

[0076] Kada postoji postoje ć i oblak tačaka, kamera se može pratiti. Ovo je opisano u slede ć em odeljku.

2.1.4 Druga faza: Prać enje filmske kamere

2.1.4.1 Geometrijska kalibracija kamere

[0077] Kalibracija kamere ima nekoliko ciljeva. S jedne strane, to nam daje matematičku relaciju da opišemo kako se slika stvara na senzoru. Sa druge strane, on izračunava matricu transformacije između 3D tačaka i njihove projekcije na ravan slike kamere.

[0078] Ovaj važan preduslov procesa istraživanja i prać enja znači da moramo da izračunamo dve različite vrste svojstava: unutrašnje i ekstrinzične parametre. Intrinzični parametri su povezani sa svojstvima kamere i objektiva i kreć u se u skladu sa načinom na koji su fizički izgrađeni. Oni obuhvataju format slike, rastojanje između optičkog centra kamere i ravni slike i glavnu tačku. Format slike je napravljen od dva faktora skale koji se odnose na piksele i udaljenost. Glavna tačka je projekcija optičkog centra na ravan slike (koja je idealno u sredini slike). Pored toga, neka sočiva zahtevaju da se njihovo optičko izobličenje izračuna i uzme u obzir za prać enje. Tokom procesa kalibracije, kamera uzastopno snima ravnu površinu koja ima nekoliko kružnih šara (pogledajte sliku 5). Za sve pozicije, ekstrinzični parametri (tj. pozicija i rotacija kamere) i unutrašnji parametri (uključujuć i optičku distorziju) se izračunavaju pomo ć u Levenberg- Marquardt algoritma minimizacije koji minimizira grešku reprojekcije između svih snimaka.

[0079] Ovaj proces je veoma poznata tehnika zasnovana na delima Devernaia i Faugerasa[3].

2.1.4.2 Neutralizacija filmske kamere

[0080] Globalni sistem razvijen ovde zahteva postavljanje uređaja za prać enje direktno na ciljanu filmsku kameru. Položaj i orijentacija kamere svedoka se procenjuju korišć enjem tehnike pra ć enja prethodnog opisivača. Međutim, postoji problem razmere korišć enjem istog obrasca i za filmske i za kamere za svedoke. Zaista, pošto naše kamere za svedoke koriste sočiva od 180 stepeni, kružni oblici u obrascu kalibracije imaju tendenciju da izgledaju zaista mali u objektivu kamere svedoka, što ih čini teškim za otkrivanje.

[0081] Napravili smo sopstvenu tabelu kalibracije koja je zapravo napravljena od dva različita uzorka veličine i kontrasta. Jedan deo grafikona ima čisto crne krugove na čisto beloj pozadini (za kamere za svedoke). Drugi deo grafikona je napravljen od čisto belih krugova na čisto crnoj pozadini (filmska kamera). Zatim koristimo veoma jednostavan detektor obrazaca da pronađemo i obrasce za svedoka i za filmske kamere. Kao što znamo tačno relativno pozicioniranje oba obrasca, položaj i rotacija filmske kamere se mogu pronać i "propagiranjem" izračunate pozicije i rotacije kamere svedoka i obrnuto. Zaista, pošto su obe kamere direktno povezane zajedno, u moguć nosti smo da koristimo algoritam za postavku za precizno izračunavanje 3D neutralizacije (R, T) između njih. Razvili smo algoritam postavljanja na osnovu prethodno opisanih kružnih obrazaca. Obe kamere odvojeno prepoznaju obrasce čije su tačne veličine, oblici i položaji poznati, čime se stvara trivijalni matematički odnos (rotacija i translacija) između kamere svedoka i filmskih kamera.

2.1.4.3 Faza prać enja

[0082] Odvajanje ankete od procesa prać enja je samo pragmatičan način da se opiše kako se sistem koristi na setu. Zaista, proces prać enja se ne razlikuje od pra ć enja opisanog na slici 2 i koriš ć enog tokom ankete. Međutim, koristi jednostavniji uređaj (vidi sliku 6) koji je prilično blizak uređaju za istraživanje, osim što ne uključuje ekran osetljiv na dodir iz očiglednih razloga.

[0083] Pravougaonik vizuelnog prać enja na slici 2 prikazuje kako se pronalazi podudaranje između 2D prirodnih markera koje je FASTER detektovao u novom okviru i postojeć eg 3D oblaka tačaka. Zakrpe 2D teksture povezane sa svakim prirodnim markerom i koje potiču iz oba seta podataka linearno se porede. Kada su sve tačke obeležja obrađene, primenjuje se Gaus-Njutnov algoritam da bi se pronašlo najbolje moguć e podudaranje i izračunala pozicija i orijentacija kamere. Takav algoritam minimizacije obično zahteva oko 10 iteracija da bi došao do rešenja. Da bismo poveć ali robusnost kriterijuma za minimiziranje, koristimo statističku Tukey M-Estimator (procenu tipa maksimalne verovatnoć e) [6]. Ovo takođe osigurava da konvergenciju ne poremete odstupnici.

[0084] Svako prać enje se vrši dva puta i to na dva različita nivoa piramide pre dobijanja konačnih parametara kamere. Prvo, konvergencija algoritma se znatno poveć ava izračunavanjem aproksimacije položaja i orijentacije kamere kroz grubi nivo piramide slike i korišć enjem podskupa prirodnih markera. Drugo, isto izračunavanje se postiže na daleko već em skupu (oko 20 puta ve ć em) i spaja se sa prethodnom aproksimacijom da bi se dobio konačni tačan rezultat.

2.1.4.4 Prać enje kvarova i oporavak

[0085] Tokom prać enja kamere na stvarnom setu, mogu se desiti mnoge situacije u kojima se vizuelno pra ć enje izgubi. Ovo se često dešava, na primer, kada ljudi ostanu ispred kamere svedoka ili je u najmanjem jednostavno sakriven predmetima. Za sve slučajeve kada izgubimo vizuelno prać enje, istovremeno se pokre ć u tri različite trake za oporavak i prihvata se ona koja prva dobije oporavak.

[0086] Koristeć i funkciju predviđanja proširenog Kalmanovog filtera (pogledajte odeljak 2.3.2), mogu ć e je prvo pokušati da se povrati pozicija kamere počevši od pretrage iz EKF predviđenih parametara. Zaista, pošto je EKF algoritam predviđanja i korekcije, on uvek pokušava da pogodi koja ć e biti slede ć a pozicija kamere pre nego što se ona zapravo pomeri na tu poziciju. Kada je predviđanje tačno, moguć e je posti ć i trenutni oporavak. U praksi, to predviđanje funkcioniše veoma dobro kada je kamera svedoka skrivena i kada sistem prati pomoć u IMU. Međutim, često ne uspeva jer je takođe došlo do značajnog prevođenja filmske kamere dok su kamere za svedoke sakrivene.

[0087] Drugi nivo oporavka je veoma različit. Svaka tačka obeležja ima pridružen deskriptor invarijante rotacije, prateć i tehniku ORB (Oriented FAST and Rotated BRIEF) [18]. Prvo se oslanja na čuvenu tehniku FAST[16] za izračunavanje karakteristika na više skala (tj. na različitim nivoima piramide slike, videti sliku 4) povezanih sa Harisovim rezultatom [5]. Orijentacija deskriptora se izračunava pomoć u težišta intenziteta. Drugi deskriptor je rBRIEF, što je BRIEF deskriptor [2] rotiran prateć i orijentaciju ključne tačke. Koriste ć i ova dva deskriptora, naša tehnika je u stanju da se oporavi sa pozicija gde obične tehnike vizuelnog prać enja ne uspevaju. Na primer, recimo da izgubimo vizuelno prać enje iz bilo kog razloga. Pretpostavimo da sada prevedemo i rotiramo kameru za 90 stepeni oko Z ose dok se još uvek gubi. Trenutna slika koju vidi kamera nikada ranije nije zapamćena, ali još uvek ukazuje na pravac u kome dodajemo ključne pozicije i ključne tačke koje smo ranije zapamtili. Međutim, pošto običan proces oporavka nije nepromenljiv u rotaciji, ti sistemi ne uspevaju da povrate prać enje. U našem slučaju, upotreba deskriptora invarijantnih rotacije povezanih sa svakom ključnom tačkom omoguć ava brz oporavak (koriste ć i tehniku uparivanja grube sile) čim je filmska kamera već bila usmerena negde u tu poziciju (rotacija nije bitna).

[0088] Konačno, treć a traka oporavka je invanzivnija i računarski intenzivnija. Elipsoid (3D elipsa) je izgrađen oko poslednje poznate pozicije kamere. Taj elipsoid ima veličinu napravljenu od izračunate kovarijanse parametra, ali proširenog Kalmanovog filtera. Više uzoraka se zatim generiše unutar elipsoida prateć i kovarijansu greške EKF-a. Na taj skup se primenjuje RANSAC algoritam kako bi se pronašlo najbolje moguć e podudaranje za traženu poziciju i orijentaciju kamere.

2.2 Dinamički zum, fokus i iris

[0089] Tokom globalnog procesa prać enja, režiser ili direktor fotografije, na primer, može odlučiti da zumira ili fokusira lik/objekat u sceni. Naša tehnologija integriše nekoliko običnih enkodera kao što su oni koje je predložio Arri, ali je takođe u stanju da rukuje bilo kojim drugim enkoderom za snimanje vrednosti zuma, fokusa i irisa u realnom vremenu. Ovo omoguć ava dinamičko zumiranje i dubinu polja na setu.

2.3 Tehnika spajanja senzora

[0090] Sve čiste optičke zasnovane tehnike bez markera ne mogu da se prate u mnogim situacijama. Najčešć i slučaj je da nema dovoljno prirodnih markera u trenutnom prikazu kamere svedoka. U idealnim situacijama to se retko dešava jer korisnik pazi da, na primer, ne sakrije sočivo rukom. Na stvarnim setovima, ta situacija se često dešava jednostavno zato što snimateljska ekipa često treba da promeni sočiva, modifikuje kameru, očisti sočivo, premesti se na drugo mesto snimanja, itd. Na redovnoj bazi markera i bez markera (zasnovano na optičkom toku) tehnika, ovo sprečava sistem za prać enje da pronađe dobru procenu položaja i rotacije kamere.

[0091] Napravili smo metod fuzije senzora koji automatski koriguje poziciju i rotaciju kamere svedoka koristeć i više senzora: kamere za svedoke, žiroskop, akcelerometar i magnetometar. Ta tehnika je suština naše tehnologije.

[0092] Prvi korak je kalibracija sistema, što znači kalibrisanje 9-DOF IMU-a u odnosu na kamere za svedoke. Kritični je korak da se osigura da svi senzori zaista rade na istoj osnovi. Odnos između 9-DOF senzora i kamera za svedoke je blizak tehnici ruke-oko[20], ali smo dodali nekoliko zanimljivih naučnih doprinosa kako bismo ga uklopili sa našim algoritmom za prać enje.

2.3.1 Kalibracija kamere svedoka IMU

[0093] Hajde da razmotrimo transformaciju RIMU→ C koja izračunava rotaciju od 9-DOF senzora (IMU) do jedne od dve kamere svedoka (C). RIMUje poznat na svojoj lokalnoj osnovi, a RC je takođe poznat u svojoj lokalnoj osnovi. Cilj je rešiti RIMU→Cza RC= RIMU→C· RIMU.

[0094] Obezbeđeno je da RIMU→Cuvek bude konstantan jer se odnos između IMU-a i kamera ne menja tokom vremena (obe su pričvršć ene na statičku traku kamere).

[0095] Stoga je moguć e napisati za ti, i ∈ [0, n]:

[0096] Iz prethodnih jednačina možemo zaključiti:

sa odnosima:

[0097] Merenje rotacije koje daje žiroskop i vizuelno prać enje bi trebalo da budu isti. Stoga je logično smatrati da RIMUi RCopisuju iste uglove rotacije ali u različitim osnovama. Koristeć i log mapu matrice rotacije u algebri Lie definisanu kao Log : SO(3)→ so(3), moguć e je konvertovati matricu RCu reprezentaciju ugla osovine (rc,α):

pri čemu je tr(Rc) trag matrice kao što je

Sada možemo da zapišemo sledeć i preodređeni sistem jednačina:

[0098] Kao i za bilo koji preodređeni sistem, moguć e je rešiti prethodnu pravougaonu matricu koriste ć i dekompoziciju singularne vrednosti (SVD) kao S = UσV<t>, sa U m x n matricom sopstvenih vektora S · S<t>, V n x n matrica sopstvenih vektora S<t>· S i D n x n dijagonalna matrica uređenih singularnih vrednosti S.

[0099] Prethodno rešenje jednačine je podložno šumu koji dolazi od merenja. Zbog toga primenjujemo Levenberg-Marquardt šemu minimizacije da bismo minimizirali grešku:

[0100] Sada kada imamo matematički odnos između IMU-a i kamera za svedoke, moguć e je ubaciti sva merenja u prošireni Kalmanov filter kako bi se izdvojilo najbolje od svakog senzora i izračunala rotacija i translacija filmske kamere.

2.3.2 Prošireni Kalmanov filter

[0101] Prošireni Kalmanov filter (EKF) je veoma poznata tehnika u oblastima istraživanja vazduhoplovstva i robotike za spajanje različitih podataka koji dolaze od više različitih senzora. U suštini se koristi za procenu parametara nelinearnog sistema iz bučnih merenja izračunavanjem greške procene i primenom dve faze; predviđanje i korekcija. U fazi predviđanja, Kalmanov filter izračunava nove parametre kao i srodnu grešku u vremenskom koraku koristeć i parametre i grešku procenjenu u prethodnom vremenskom koraku. Faza korekcije ažurira predviđanje koristeć i nove bučne mere. Te nove mere omoguć avaju da se izračunaju novi procenjeni parametri i greška iz predviđenih parametara i greške. Ako je greška već a od datog praga, parametri se ispravljaju.

[0102] U našem slučaju ovde, EKF je razvijen na veoma specifičan način pošto imamo višestruka merenja koja se odnose na 3D rotacije (žiroskop kamere za svedoke) i ona se ne mogu lako interpolirati.

[0103] Ideja EKF-a za našu tehnologiju je da se svakom merenju (kamera za svedoke, žiroskop, magnetometar, akcelerometar) stavi neka vrsta vrednosti pouzdanosti i da se iterativno koriguje trenutna procenjena pozicija i rotacija pomoć u senzora koji dobija najbolju pouzdanost rezultat. U praksi, EKF je malo komplikovaniji od toga i može se matematički opisati kao algoritam predviđanja-ispravke za nelinearne sisteme. S obzirom na vektor stanja ^ X(t)u vremenskom koraku t, algoritam primenjuje trenutni fizički model naših jednačina kretanja da bi predvideo novo stanje vektora<^>X(t)koje postaje<^>X(t)<Δt>. Faza korekcije generiše novi vektor stanja<^>X(t+Δt) u tom trenutku t+Δt.

[0104] EKF model koji se u našem slučaju može napisati na sledeć i način:

pri čemu je h jednačine stanja za naše prikazivanje i Xtje vektor translacije, rotacije, translacione brzine i ugaone brzine u globalnoj bazi, a f funkcija ažuriranja vektora stanja. B je globalni šum u sistemu.

Definicija h

[0105]

[0106] Ako s jedne strane posmatramo merenja koja dolaze od vizuelnog prać enja bez markera (tj. kamere svedoka ovde) kao hsvedoka, a sa druge strane merenja koja dolaze iz IMU kao hIMU, možemo re ć i da je h napravljen od dva tipa opažanja, hsvedokai hIMU. Po definiciji, h je trivijalna funkcija i njen opšti oblik je dat identifikacijom: Ysvedoka(t) = X(t) i YIMU(t) = X(t). U zavisnosti od vrste senzora koji šalju mere, sada možemo napisati dve različite verzije h i tako prepisati jednačinu 11 za slučaj vizuelnog prać enja kao:

[0107] Ysvedoka(t).{α ∈ T, R, V, Ω} su vidljive vrednosti

vizuelnog pra ć enja u vremenskom koraku t za translaciju (T, u metrima), rotaciju (R, u radijanima), brzinu (V, u m · s<-1>) i ugaonu brzinu (Ω, u rad · s<-1>).

[0108] U slučaju kada je senzor žiroskop, jednačina 11 postaje:

[0109] YIMU(t).{α ∈ R, Ω} su opažanja IMU u vremenskom koraku t za rotaciju (R, u radijanima) i ugaonu brzinu (Ω, u rad · s<-1>). Zaista ne postoji izračunljiv prevod ili brzina pomoć u senzora sa 9-DOF.

Definicija f

[0110]

pri čemu je<^>X(t)<Δt>predviđeni vektor stanja u vremenskom koraku t Δt, a<^>X(t) procenjeni vektor stanja u vremenskom koraku t.

[0111] Funkcija f je funkcija ažuriranja vektora stanja i definisana je kao:

[0112] Imajte na umu da funkcija redovnog ažuriranja Kalmanovog filtera nije upotrebljiva u našem slučaju jer se matrice rotacije ne mogu interpolirati i zapisati u linearnom obliku A · X B.

Korak predviđanja

[0113] Korak predviđanja je napisan korišć enjem definicije Kalmanovog filtera:

sa:

• matrica kovarijanse predviđene greške u vremenskom koraku t Δt,

• matrica konarijacije greške u vremenskom koraku t

• A prelazna matrica kao što je

, Atje jakobijanska matrica od f i izračunata je kao zbir konačnih

razlika

• Q je matrica kovarijanse 12 X 12 šuma vektora stanja. Šum vektora stanja translacije je heuristički stavljen na 1<e-2>, kao i šum vektora stanja rotacije na 1.e<-3>

Korak korekcije

[0114] Prateć i Kalmanovu definiciju, korekcija u našem slučaju je napisana kao:

sa:

• I matrica identiteta,

• K(t Δt) Kalmanov dobitak u vremenskom koraku t Δt,

• H je jakobijanska matrica funkcije h, a sama je hsvedokaili hIMUu zavisnosti od trenutno izabranog senzora.

U našem slučaju, jakobijan se izračunava kao zbir konačnih razlika:

• U(t Δt) je matrica kovarijanse merenja šuma trenutno izabranog senzora (kamera svedoka ili IMD). Ta vrednost se menja u zavisnosti od kvaliteta mere (vrednost poverenja). U slučaju vizuelnog prać enja, ono se oslanja na grešku pra ć enja ε:

Još je lakše odrediti U(t Δt) za IMU jer greške u buci direktno daje proizvođač za sve senzore. Prethodna jednačina je direktno zamenjena tim greškama.

• P(t Δt) je matrica kovarijanse greške u vremenskom koraku t Δt.

• V i Ω su matrični prikaz vektora brzine V i ugaone brzine Ω respektivno.

• Jsvedoka| IMU jednačina 20 je takođe napisana prema vrsti senzora:

• y(t Δt) je trenutno merenje koje daje izabrani senzor. y(t Δt).(α ∈ { R, T, V, Ω}) je merenje translacije, rotacije, brzine i ugaone brzine respektivno. J.( α∈ { R, T, V, Ω}) je poznata kao Kalmanova inovacija.

2.4 3D rekonstrukcija i dubinsko označavanje

[0115] 3D rekonstrukcija u realnom vremenu se postiže korišć enjem senzora 3D opsega integrisanog u našu traku kamere. Taj senzor dometa može biti strukturirani svetlosni uređaj (Microsoft Kinect, Asus Xtion na primer) ili kamera za vreme leta (kao što je, na primer, TigerEie kompanije Advanced Scientific Concept) takođe poznat kao Flash Lidar. Obe tehnike imaju ograničenja i naša tehnologija za sada koristi samo senzor kratkog dometa Asus Xtion. Kao i obično, potreban je korak kalibracije da bi se znala pozicija Asus Xtion-a u odnosu na kamere za svedoke. Jednostavno koristimo potpuno istu tehniku kao za kameru svedoka za snimanje sastava (pogledajte odeljak 2.1.4.2). Pošto senzor dometa ima kameru u nijansama sive, koristimo naš uobičajeni obrazac kalibracije da bismo ga otkrili u obe kamere: kameri senzora dometa i jednoj od naših kamera za svedoke. Taj proces je prilično jednostavan i sličan 2.1.4.2.

[0116] Senzor dometa se koristi u dve svrhe u našoj tehnologiji. S jedne strane, pomaže u brisanju loših tačaka karakteristika stvorenih daleko iza objekata, na primer. Jednostavna ponovna projekcija tačaka obeležja na mapu dubine senzora dometa može reć i da li je tačka obeležja tačna ili ne. Tokom stereoskopskog pra ć enja (pogledajte odeljak 2.5), svaka tačka stvorena epipolarnom geometrijom i dalje može biti bliže ili dalje od procene date epipolarnim linijama. Upoređujemo rekonstruisanu 3D tačku sa trenutnom vrednošć u njene reprojekcije u mapi dubine senzora opsega da bismo poboljšali njenu tačnost ili je jednostavno odbacili.

[0117] Druga upotreba senzora dometa se oslanja na samu mapu dubine. Pošto daje dubinu na maksimalnom dometu od 12 m, mi možemo da zaklonimo sve ljude (glumca) u setu unutar tog opsega virtuelnim likovima/objektima i obrnuto. Ovo se zove dinamička okluzije i podiže još jedan nivo realizma za vizuelne efekte kako u filmovima tako i u emitovanju uživo. Naša tehnologija koristi glavni izvor filmske kamere (ovo se takođe može postić i dodavanjem dodatne kamere za svedoke visoke rezolucije) da poboljša rezoluciju senzora dometa ponovnim projektovanjem dubine na filmsku kameru i prečišć avanjem rezultata (poboljšanje ivica). Takva tehnologija je u stanju da obezbedi dubinsko kucanje u realnom vremenu i na taj način eliminiše upotrebu vezivnog zelenog ekrana, posebno kada se koristi snažniji senzor dometa (Flash Lidar).

2.5 Stereoskopska tehnika bez markera

[0118] Prethodno opisana tehnika koja koristi monoskopski pristup zapravo nije dovoljno efikasna u stvarnim situacijama. Pošto zahteva da se poznati stvarni objekat koristi kao registracija za izračunavanje razmere, orijentacije i položaja okoline, često ga je teško koristiti na filmovima u kojima je mnogo ljudi uvek na vašem putu kada pokušavate da se registrujete (otkrijte) objekat. Ali glavno ograničenje tog monoskopskog pristupa je činjenica da zahteva pregled scene. Pošto se homografija mora koristiti za inicijalizaciju sistema, to podrazumeva da tehničar mora da dođe na set da bi počeo da ga pregleda. U praksi, ta operacija se retko postiže uspešno jer ljudi koji rade na setu nikada ne napuštaju mesto pre poslednjih sekundi. Izgradili smo stereoskopski pristup da bismo se oslobodili tog ograničenja i tako doneli potpuno originalan pojam trenutnog istraživanja i prać enja.

2.5.1 Trenutna anketa

[0119] Stereoskopska tehnika ugrađena u prać enje kamere je veliki korak napred u poređenju sa bilo kojom drugom tehnikom uključujuć i naš monskopski pristup koji je prethodno opisan. Zaista, upotreba 2 unapred kalibrisane kamere za svedoke donosi nekoliko prednosti. Prvi je Instant anketa. Za razliku od tehnike opisane u monoskopskom pristupu, za scenu nije potrebno prethodno snimanje. Pošto je tačna udaljenost između dve kamere za svedoke savršeno poznata, i pošto su sinhronizovane korišć enjem svojih internih genlock hardverskih mogu ć nosti, u mogu ć nosti smo da dobijemo oblak tačaka trenutno bez pomeranja trake. Homografija opisana u paragrafu se tada više ne koristi jer 3D rekonstrukciju tačke donose dve kamere svedoka kroz teoriju Stereovizije. Druga važna stvar je da nije potrebna ručna vaga. Tokom snimanja dva video toka, pokre ć emo Levenberg- Marquardt šemu minimizacije kako bismo minimizirali zbir greške piksela između projekcije 3D tačke procenjene epipolarnom geometrijom i tačke 2D karakteristike otkrivene u trenutnom videu.

2.5.2 Automatska registracija

[0120] Međutim, korišć enje trenutne ankete otvara novo pitanje a to je nemogu ć nost koriš ć enja registracionog objekta kao što je onaj koji je detektovan u monoskopskom pristupu. Glavni razlog tog ograničenja proizilazi iz činjenice da je traka kamere direktno pričvršć ena na filmsku kameru i nije mogu ć e tražiti od snimateljske ekipe da pomera svoju kameru kako bi zapamtili objekat registracije. Zbog toga smo dodali drugu automatsku registraciju koja ne zahteva da se na scenu doda nijedan fizički objekat registracije. Međutim, zahteva od korisnika da ima dve različite interakcije sa oblakom tačaka: izbor tačaka da kaže sistemu koja je tačka koju nameravamo da koristimo kao referentnu tačku i ručnu rotaciju oko Y (vertikalne) ose da bi se pravilno orijentisao CG sadržaj u odnosu na scenu.

[0121] Da bismo mogli da imamo samo ove dve veoma brze i veoma jednostavne interakcije korisnika, onda moramo da izračunamo sve ostale leve stepene slobode, što znači izračunavanje ortonormalne osnove koja ima savršeno vertikalnu Y osu i ispravno skaliranje. Naša tehnologija jednostavno koristi prednosti ugrađenog akcelerometra u traci za izračunavanje orijentacije gravitacije, odnosno Y ose. Magnetometar daje severni pravac i na taj način daje približan vektor koji nam omoguć ava da izračunamo ortonormalnu osnovu koriste ć i regularne unakrsne proizvode.

[0122] Skala je čak mnogo lakša za izračunavanje. Potpuno je instant i automatski i ne zahteva nikakvu interakciju korisnika. Pošto je rastojanje između kamera svedoka tačno poznato, sve 3D rekonstruisane tačke direktno imaju pravu skalu, tako da nema dodatnog objekta koji bi se detektovao kao u regularnim algoritmima čiste strukture iz pokreta (SFM).

2.5.3 Trenutno prać enje

[0123] Proces prać enja se malo razlikuje od onog opisanog za monoskopski pristup u odeljku 2.1.4.3. Svaka nova tačka je kreirana korišć enjem epipolarne geometrije koja obezbeđuje da su razmera i dubina 3D obeležene tačke uvek tačna. To znači da čim se naš sistem pokrene, on već prati zahvaljuju ć i tom preciznom i trenutnom istraživanju brzine svetlosti.

[0124] Izračunavamo uniju svih ponovo projektovanih 3D tačaka koje se vide sa leve i desne kamere da bismo obezbedili maksimalnu stabilnost procesa prać enja. Oblak tačaka se jednostavno generiše 3D presekom epipolarnih linija u kombinaciji sa ORB deskriptorom za podudaranje obeležja (pogledajte odeljak 2.1.4.4). Šema podudaranja karakteristika i globalne minimizacije ostaje slična onoj koja se koristi u monoskopskom pristupu.

[0125] Da bismo mogli da se oslonimo na trenutno istraživanje, takođe smo veoma modifikovali način na koji se nove tačke grade u oblaku tačaka. Pored stereoskopske rekonstrukcije tačke, dodali smo i pojam disperzije mreže i uniformnosti karakteristika tačaka. Tokom redovnog algoritma prać enja, pokre ć e se algoritam za detekciju 2D karakteristika i tačke se rekonstruišu u 3D kao što je opisano u odeljcima 2.1.3.3 i 2.1.4.4. Međutim, mnoge od ovih tačaka su nepouzdane (loša dubina, rubne tačke, pokretne tačke, tačke senke, itd.) i algoritam ima tendenciju da zapamti mnogo tačaka u oblastima visokog kontrasta, a ništa u oblastima sa niskim kontrastom. Ovo generiše mnogo šuma u podacima prać enja daju ć i ose ć aj da se kamera trese. Tehnika disperzije mreže koju smo kreirali pokušava da distribuira prirodne markere koje je sistem zapamtio na skoro ujednačen način. Prvo počinjemo korišć enjem veoma visokog praga da bismo generisali maksimalan broj karakteristika. Zatim smanjujemo broj tačaka karakteristika prema pragu koji je dao korisnik (16 X 16 mreža, 2 uzorka po ć eliji na primer) koriste ć i Harisov rezultat (izabrali smo 2 najbolja rezultata, na primer). Dakle, svaka tačka ima kriterijum kvaliteta koji govori koliko je pouzdan. Ako uniformnost nije dovoljno dobra, sistem takođe lokalno menja prag kontrasta kako bi obezbedio moguć nost da uhvati tačke čak i u oblastima sa niskim kontrastom. Činjenica da naš algoritam raspoređuje tačke karakteristika preko slike takođe sprečava sistem da lako izgubi prać enje. Zaista, redovni monoskopski pristupi bez tehnike disperzije mreže kao što je naša mogu imati mnogo tačaka za prać enje u donjem levom delu slike, na primer. Ako glumac uđe u to da skrivaju sve ove prirodne markere, prać enje ć e se momentalno izgubiti, što je nešto što se u našem slučaju ne može desiti kada rasporedimo obeležje na celu sliku.

2.6 Poveć anje stvarnog sveta

2.6.1 Problem kašnjenja kamere/svedoka

[0126] Kako filmska kamera i kamere za svedoke rade različitim brzinama, one mogu generisati različita kašnjenja u procesu dobijanja kadrova. Filmska kamera je zapravo ona koja stvara daleko najveć e kašnjenje primoravaju ć i nas da je izračunamo kako bismo pravilno uveć ali stvarni svet.

[0127] Ponovo koristimo sopstveni uređaj za kalibraciju da automatski izračunamo kašnjenje između dve kamere. Ispred obe kamere koristi se mali LED koji svetli na suncu na 1Hz. Algoritam detektora mrlja poboljšan tehnikom praga intenziteta je razvijen da detektuje led svetlo u obe kamere. Povezane krive intenziteta koje se generišu iz hvatanja intenziteta leda u kamerama se upoređuju korišć enjem algoritma minimizacije kako bi se pronašla najbolja vremenska koherentnost između uzoraka. Nekoliko statističkih parametara je na taj način svedeno na minimum, a kašnjenje u milisekundama se automatski izdvaja iz kalibracije za oko 10 sekundi.

2.6.2 Prikazivanje i proširena stvarnost

[0128] Kada počnemo da radimo prać enje kamere, naš softver može da prima podatke iz različitih softvera za generisanje CG sadržaja kao što je Autodesk MotionBuilder, na primer. Ti podaci su direktno integrisani i prikazani unutar našeg softvera (u slučaju kada su prać enje i radna stanica za renderovanje spojeni, pogledajte sliku 1) da bi bili sastavljeni sa stvarnom pozadinom ili prvim planom (u slučaju zelene faze).

[0129] Još jedna interesantna karakteristika svojstvena našoj tehnologiji je 3D Garbage Matting. Garbage Matting svakako nije naš izum, ali je u našem slučaju urađen na inovativan način. Zaista, pošto naš algoritam za prać enje generiše tačan 3D oblak tačaka (zahvaljujuć i stereoskopskom pristupu), sve ove tačke imaju reprezentaciju u 3D i 2D kada se ponovo projektuju na video snimku filmske kamere. Razvili smo jednostavan korisnički interfejs koji omoguć ava korisniku da izabere više tačaka unutar 3D oblaka tačaka. Tako kreiramo 3D objekat triangulacijom svih izabranih tačaka korišć enjem algoritma za triangulaciju [14]. Ta novostvorena površina sada se može aktivirati kao Garbage Matting, što znači da je svaki piksel pokriven 2D projekcijom tog objekta na video zapisu filmske kamere je sada zamenjen 3D virtuelnim okruženjem koje generiše radna stanica za 3D generisanje sadržaja (pogledajte odeljak 1 ). Imajte na umu da u slučaju upotrebe senzora dubine velikog dometa (tj. najmanje 50m) tehnika Garbage Matting postaje beskorisna jer je naš metod dubinskog zaključavanja lako zamenjuje (pogledajte odeljak 2.4).

Dodatak 1

Reference

[0130]

[1] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf: speeded up robust features. In Proceedings of the 9th European conference on Computer Vision - Volume Part 7, ECCV’06, pages 404-417, Berlin, Heidelberg, 2006. Springer-Verlag.

[2] Michael Calender, Vincent Lepetit, Christoph Strecha, and Pascal Fua. Brief: binary robust independent elemen- tary features. In Proceedings of the 11th European conference on Computer vision: Part IV, ECCV’10, pages 778-792, Berlin, Heidelberg, 2010. Springer-Verlag.

[3] Fr é d é ric Devernay and Olivier Faugeras. Straight lines have to be straight. In In SPIE, volume 2567, 2001.

[4] Martin A. Fischler and Robert C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 24(6):381-395, 1981.

[5] Chris Harris and Mike Stephens. A combined corner and edge detector. In In Proc. of Fourth Alvey Vision Conference, pages 147-151, 1988.

[6] D.C. Hoaglin, F. Mosteller, and J.W. Tukey. Understanding Robust and Exploratory Data Analysis. Wiley series in probability and mathematical statistics: applied probability and statistics. John Wiley and Sons, 1983.

[7] Rudolph Emil Kalman. A new approach to linear filtering and prediction problems. Transactions of the ASME- Journal of Basic Engineering, 82(Series D):35-45, 1960.

[8] Georg Klein and David Murray. Parallel tracking and mapping for small ar workspaces. In Proceedings of the 20076th IEEE and ACM International Symposium on Mixed and Augmented Reality, ISMAR ’07, pages 1-10, Washington, DC, USA, 2007. IEEE Computer Society.

[9] J. J. Leonard and Durrant H. Whyte. Mobile robot localization by tracking geometric beacons. IEEE Transactions on Robotics and Automation, 7(3), 1991.

[10] K. Levenberg. A method for the solution of certain problems in least squares. Quart. Appl. Math, 2:164

[11] David G. Lowe. Object recognition from local scale-invariant features. In Proceedings of the International Con- ference on Computer Vision- Volume 2 - Volume 2, ICCV ’99, pages 1150-, Washington, DC, USA, 1999. IEEE Computer Society.

[12] D. Marquardt. An algorithm for least-squares estimation of nonlinear parameters. SIAM J. Appl. Math, 11:431-441, 1963.

[13] Christopher Mei, Gabe Sibley, Mark Cummins, Paul Newman, and Ian Reid. Rslam: A system for large-scale mapping in constant-time using stereo. Int. J. Comput. Vision, 94(2):198-214, September 2011.

[14] Gary Hosler Meisters. Polygons have ears. Amer. Math. Monthly, 82:648-651, 1975.

[15] J. J. More’. The Levenberg-Marquardt algorithm: implementation and theory, pages 105-116. Lecture Notes in Mathematics 630. SPRINGER, 1977.

[16] Edward Rosten and Tom Drummond. Machine learning for high-speed corner detection. In Proceedings of the 9th European conference on Computer Vision - Volume Part 7, ECCV’06, pages 430-443, Berlin, Heidelberg, 2006. Springer-Verlag.

[17] Edward Rosten, Reid Porter, and Tom Drummond. Faster and better: A machine learning approach to corner detection. IEEE Trans. Pattern Analysis and Machine Intelligence, 32:105-119, 2010.

[18] Ethan Rublee, Vincent Rabaud, Kurt Konolige, and Gary Bradski. Orb: An efficient alternative to sift or surf. In Proceedings of the 2011 International Conference on Computer Vision, ICCV ’11, pages 2564-2571, Washington, DC, USA, 2011. IEEE Computer Society.

[19] Ivan E. Sutherland. A head-mounted three dimensional display. In Proceedings of the December 9-11, 1968, fall joint computer conference, part I, AFIPS ’68 (Fall, part I), pages 757-764, New York, NY, USA, 1968. ACM.

[20] Roger Y. Tsai and Reimer K. Lenz. A new technique for fully autonomous and efficient 3d robotics handeye calibration. In Proceedings of the 4th international symposium on Robotics Research, pages 287-297, Cambridge, MA, USA, 1988. MIT Press.

[21] J.K. Ulhmann. Algorithms for multiple target tracking. American Scientist, 80(2):128-141, 1992.

Claims (23)

Patentni zahtevi

1. Sistem bez markera, sistem koji uključuje:

(i) video kameru;

(ii) senzore uključuju ć i akcelerometar i žiroskop koji detektuje preko šest slobodnih stepeni;

(iii) dve kamere za svedoke koje čine stereoskopski sistem; i

(iv) procesor;

za mešanje ili komponovanje u realnom vremenu, računarski generisane 3D objekte i video zapis sa video kamere, za generisanje video zapisa proširene stvarnosti u realnom vremenu za TV prenos, bioskop ili video igrice, u kojima:

(a) telo video kamere može da se pomera u 3D i senzori u ili pričvršć eni direktno ili indirektno na video kameru obezbeđuju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju video kamere ili omoguć avaju 3D poziciju i 3D orijentaciju video kamere koju treba izračunati;

(b) dve kamere za svedoke koje čine stereoskopski sistem su pričvršć ene direktno ili indirektno na video kameru;

(c) sistem je konfigurisan da automatski koristi te podatke o pozicioniranju u realnom vremenu za kreiranje, opoziv, prikazivanje ili modifikovanje računarskih generisanih 3D objekata;

(d) sistem je konfigurisan da kombinuje ili komprimuje dobijene računarski generisane 3D objekte sa video zapisom iz video kamere da obezbedi video proširenu stvarnost za TV prenos, bioskop ili video igrice;

i u kojoj:

(e) sistem je konfigurisan da odredi 3D poziciju i orijentaciju video kamere u odnosu na 3D mapu stvarnog sveta, pri čemu je sistem konfigurisan da generiše 3D mapu stvarnog sveta, u najmanjem delimično, korišć enjem 3D podataka o pozicioniranju u realnom vremenu sa senzora plus optički tok u kojem dve kamere svedoci formiraju stereoskopski sistem koji snima scenu, i u kojem je softver koji radi na procesoru konfigurisan da detektuje prirodne markere u sceni koji nisu ručno ili veštački dodati toj sceni;

(f) sistem je konfigurisan da koristi model konstantne brzine povezan sa 3D podacima o pozicioniranju u realnom vremenu od senzora za predviđanje sledeć e pozicije video kamere koriste ć i prethodno tačno izračunatu ili potvrđenu poziciju, i sistem je konfigurisan da koristi to predviđanje da se projektuje 3D oblak tačaka na trenutni okvir kamere svedoka i da se koristi algoritam za podudaranje tačaka za podudaranje tačaka identifikovanih u video zapisu u realnom vremenu iz stereoskopskog sistema i projektovanih tačaka u projektovanom 3D oblaku tačaka.

2. Sistem prema patentnom zahtevu 1 u kome senzori uključuju senzor 3D opsega, koji hvata dubinu svakog piksela u video izlazu iz kamere.

3. Sistem prema patentnom zahtevu 2, u kome je 3D senzor dometa strukturisana svetlosna kamera ili kamera za vreme leta.

4. Sistem prema bilo kojem od prethodnih patentnih zahteva u kome dve kamere za svedoke koje čine stereoskopski sistem rade sa najmanje 100 fps kako bi omoguć ile da se sistem potpuno inicijalizuje bez posebne faze čistog snimanja scene koja treba da se prati, već se umesto toga vrši snimanje neprekidno dok se kamera koristi za snimanje video zapisa.

5. Sistem prema patentnom zahtevu 4 u kome dve stereoskopske kamere za svedoke formiraju stereoskopski sistem koji omoguć ava softveru da obradi slike i, čak i kada se sistem kamera uopšte ne pomera, da generiše trenutni 3D oblak tačaka.

6. Sistem prema patentnom zahtevu 4 u kome se dubina svake tačke u 3D oblaku tačaka dobija korišć enjem odgovarajuć ih 2D teksturnih zakrpa dobijenih iz svake stereoskopske kamere i algoritma za pretragu epipolarnih linija.

7. Sistem prema bilo kojem od prethodnih patentnih zahteva koji pokreć e fuzioni algoritam koji kombinuje podatke o optičkom toku iz sistema kamera za svedoke sa podacima o pozicioniranju u realnom vremenu iz senzora.

8. Sistem prema patentnom zahtevu 7 u kome se algoritam fuzije zasniva na tehnici predviđanja/ispravke proširenog Kalmanovog filtera da integriše izlaze i da se ponovo kalibrišu svi senzori, koji mogu uključivati akcelerometar, žiroskop, magnetometar, 3D senzor dometa, senzor za određivanje položaja i orijentacije kamere.

9. Sistem prema patentnom zahtevu 8 u kome algoritam fuzije proširenog Kalmanovog filtera koristi podatke o nivou pouzdanosti, povezane sa izlazom svakog senzora, kada određuje kako da spoji podatke sa svakog senzora.

10. Sistem prema bilo kojem od prethodnih patentnih zahteva u kome su ključni kadrovi generisani od strane kamera svedoka deo procesa vizuelnog prać enja i predstavljaju slike u realnom vremenu izračunate na četiri različita nivoa rezolucije video zapisa kamere svedoka.

11. Sistem prema bilo kojem od prethodnih patentnih zahteva, sistem koji uključuje 3D senzor opsega, u kome se 3D senzor opsega koristi za poboljšanje tačnosti merenja dubine povezane sa rekonstruisanom 3D tačkom dobijenom korišć enjem kamera za svedoke koje formiraju stereoskopski sistem, ili da odbaci tu rekonstruisanu 3D tačku dobijenu pomoć u kamera svedoka koje formiraju stereoskopski sistem.

12. Sistem prema patentnom zahtevu 11, u kojem se 3D senzor opsega koristi za zaključavanje dubine u stvarnom vremenu za omogućavanje dinamičke okluzije i suzbijanje eventualne upotrebe zelene pozadine.

13. Sistem prema bilo kom prethodnom zahtevu u kome je sistem konfigurisan da lokalno promeni prag kontrasta da uključi tačke čak i u oblastima niskog kontrasta, u oblaku tačaka.

14. Sistem prema bilo kojem od prethodnih patentnih zahteva od 4 do 6, uključujuć i sistem za pra ć enje kamere koji kombinuje sistem koji je potpuno inicijalizovan bez posebne faze čistog snimanja scene koja treba da se prati, sa prać enjem pomeranja video kamere kao traga režisera/snimatelja, naginje sistem za pra ć enje kamere priključen na video kameru.

15. Sistem prema patentnom zahtevu 4, u kome dve kamere za svedoke koje čine stereoskopski sistem omoguć avaju kontinuirano snimanje scene u realnom vremenu kako bi se stvorio oblak tačaka koji definiše scenu.

16. Sistem prema bilo kojem od prethodnih patentnih zahteva koji prikačuje nepromenljive deskriptore rotacije, na primer korišć enjem ORB-a, za tačke koje su otkrivene u sceni da bi se olakšao oporavak pra ć enja.

17. Sistem prema bilo kojem od prethodnih patentnih zahteva koji koristi Levenberg-Marquardt šemu minimizacije za prać enje kamere da bi se minimizirala greška između tačaka identifikovanih u video zapisu u realnom vremenu iz stereoskopskog sistema i projektovanih tačaka u projektovanom 3D oblaku tačaka.

18. Sistem prema bilo kojem od prethodnih patentnih zahteva u kome korisnik može da koristi 3D oblak tačaka koji generiše sistem za pra ć enje kamere da definiše 3D maske, kao što su 3D Garbage Matting maske.

19. Sistem prema bilo kojem od prethodnih patentnih zahteva u kome su video kamera i kamera za svedoke kalibrisane za kašnjenje akvizicije kadra korišć enjem modulisanog izvora svetlosti, kao što je poređenje krive intenziteta svetlosti povezane sa trepć u ć om LED diodom.

20. Sistem prema bilo kojem od prethodnih patentnih zahteva u kome je video kamera nešto od sledeć eg: kamera za kran; stabilna kamera; ručna kamera; kamera montirana na kolica, kamera na stativu, pametni telefon, naočare proširene stvarnosti.

21. Metod bez markera za mešanje ili komponovanje računarskih generisanih 3D objekata u realnom vremenu i video zapisa sa video kamere, za generisanje video zapisa proširene stvarnosti za TV prenos, bioskop ili video igrice, u kojem:

(a) telo video kamere može da se pomera u 3D i senzori, uključujuć i akcelerometar i žiroskop koji detektuju preko šest slobodnih stepeni, u ili pričvršć eni direktno ili indirektno na video kameru daju podatke o pozicioniranju u realnom vremenu koji definišu 3D poziciju i 3D orijentaciju video kamere, ili omoguć avanje izračunavanja 3D pozicije i 3D orijentacije video kamere;

(b) dve kamere za svedoke koje čine stereoskopski sistem su pričvršć ene direktno ili indirektno na video kameru;

(c) se podaci o pozicioniranju u realnom vremenu zatim automatski koriste za kreiranje, opoziv, prikazivanje ili modifikovanje računarskih generisanih 3D objekata;

(d) dobijeni računarski generisani 3D objekti se zatim mešaju ili kombinuju sa video izvorom iz video kamere da bi se obezbedio video sa proširenom realnošć u za TV prenos, bioskop ili video igrice;

i u kojoj:

(e) 3D pozicija i orijentacija video kamere se određuju u odnosu na 3D mapu stvarnog sveta, pri čemu se 3D mapa stvarnog sveta generiše, u najmanjem delimično, korišć enjem 3D u realnom vremenu pozicioniranjem podataka sa senzora plus optički tok u kojem dve kamere za svedoke koje formiraju stereoskopski sistem posmatraju scenu, i softver koji radi na procesoru se koristi za otkrivanje prirodnih markera u sceni koji nisu ručno ili veštački dodati toj sceni;

(f) model konstantne brzine povezan sa podacima o 3D pozicioniranju u realnom vremenu od senzora se koristi za predviđanje sledeć e pozicije video kamere koriste ć i prethodno tačno izračunatu ili potvrđenu poziciju, i to predviđanje se koristi za projektovanje 3D oblaka tačaka na trenutni okvir kamere svedoka, i algoritam za podudaranje tačaka se koristi za usklađivanje tačaka identifikovanih u video zapisu u realnom vremenu iz stereoskopskog sistema i projektovanih tačaka u projektovanom 3D oblaku tačaka.

22. Metod prema patentnom zahtevu 21, u kome su podaci o pozicioniranju u realnom vremenu snimljeni i vremenski kod je utisnut da bi se obezbedili podaci o pomeranju za postprodukcijske procese.

23. Metod prema patentnom zahtevu 21 ili 22 koji se koristi za:

(i) Prać enje studijskih kamera u realnom vremenu; ili

(ii) Prać enje u realnom vremenu za stabilne kamere; ili

(iii) Prać enje u realnom vremenu za kamere montirane na kran; ili

(iv) Prać enje u realnom vremenu za kamere postavljene na kolica; ili

(v) Prać enje u realnom vremenu za spoljno emitovanje; ili

(vi) obezbeđivanje podataka za prać enje u realnom vremenu za 2D postprodukciju; ili

(vii) obezbeđivanje podataka za prać enje u realnom vremenu za naknadnu konverziju za 3D stereoskopski sadržaj; ili (viii) obezbeđivanje podataka o prać enju u realnom vremenu za izvorni 3D stereoskopski sadržaj; ili

(ix) umetanje 3D grafike; ili

(x) umetanje 3D grafike za postavljanje objekata u studiju ili na setu; ili

(xi) umetanje 3D grafike za spoljno emitovanje; ili

(xii) umetanje 3D grafike za sponzorisane slike; ili

(xiii) umetanje 3D grafike koje je specifično za lokaciju posmatrača; ili

(xiv) umetanje 3D grafike koja je specifična za gledaoca; ili

(xv) umetanje 3D grafike koja je vremenski određena; ili

(xvi) umetanje 3D grafike za popunjavanje scena gomile; ili

(xvii) umetanje 3D grafike za zamenu zelene pozadine; ili

(xviii) 3D grafičko umetanje obrazovnog sadržaja za pomoć u učenju, u muzejima i interpretacijskim centrima u kulturnim, istorijskim ili prirodnim lokalitetima; ili

(xix) Merenje apsolutne ili relativne veličine objekata na sceni.