TW200810814A - Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same - Google Patents
Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same Download PDFInfo
- Publication number
- TW200810814A TW200810814A TW095130315A TW95130315A TW200810814A TW 200810814 A TW200810814 A TW 200810814A TW 095130315 A TW095130315 A TW 095130315A TW 95130315 A TW95130315 A TW 95130315A TW 200810814 A TW200810814 A TW 200810814A
- Authority
- TW
- Taiwan
- Prior art keywords
- dimensional
- image
- dimensional information
- information
- generating
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Description
200810814 九、發明說明: 【發明所屬之技術領域】 梓ΐϊϊί有關於一種以物件為基礎之三維立體資訊產 生裝置與方法’以及使職裝置與方法的互動系統。 【先前技術】 目前已有各種偵測使用者端之動作,而進行互動之系 統’例如射擊遊鱗。在此種職巾,使財手持遊戲機 組所附設的指向裝置(例如模擬搶枝),根據螢幕上的晝面 而互動採取反應(例如射擊);遊戲機組债測該指向裝2的 移動,而相應地在螢幕上產生反應’例如敵人中彈ρ房屋 爆破,等等。 此種互動系統之缺點在於,只能偵測手持物件的二維 位置變化,而無法將前後方向的Γ深度」變化納入考量、。 因此,雖然此種互動遊戲已經相當具有臨場感,但仍二能 完全真實反應使用者的動作狀態。 ^ 有鑑於此,美國專利第6,795,068號乃提出一種根據物 件的二維位置來決定其三維狀態的方法。如第圖 所示,該案提供一個具有強烈色差的物件(例如球棒),^ 物件分為上下兩部份301與303,此兩部分必需具有強烈 的色差,以便利捕捉影像。帛1Β目㈤305為攝影機或影 像感測裝置所捕捉的二維影像,其中之影像3〇7為物件上^ 方部份301之二維影像。在二維影像中,所有x_y方向上 的資訊均為已知,並利用物件的上方寬度w2與下方寬产 wl間的比例,來求取φ角度,藉以獲得z方向上的資訊^ 5 200810814 成在真實三維空間的各種位置間移動,造 意選取上方寬度W2盘下方宽声為f射起見’並不能任 述,必須將兮物 、又的位置;根據該案所 ί數值啦—多個寬 先,地商品化’但仍具有以下缺點。首 H賴事先定義物件的形狀 使用任意形狀的物件,而僅能 :用 触糾,色讀轉^要持 斷。第:他^因造成遮蔽,將影響系統對物件形狀的判 造成‘的運^物件不斷進行多個寬度值的運算, 的作ί案·^情Γ上先前技術的缺點,提出一種完全不同 本發明所謂=生旦無上述的缺點。又, 三維資^不偈限於必須根據該 輝上對應產生二維影像;例如,可以暑 :所產生的三維資訊,進行進—步理 反應,如展現受球棒打擊的強度等等,亦屬本發明的r圍 【發明内容】 本發明之第-目的在提供—種物 體資訊產生裝置,而無前述先前技術基礎之二維立 體資目的在提供一種以物件為基礎之三維立 6 200810814 構成目触触—種朗上财置或方法而 在-時間點=基^二維立體資訊產生方法,包含: 物::=個別萃取出具有特徵的物件;建立 勿仵門之對應關係,以及根據對應 上述方法中,尚可在萃取出物件之後產二貝= :物:予f:或在產ί三維資訊之後,對該三維資訊中 W予払屺,以簡化後續的運算。 :唯本發明的另—個實施例,提出了一種產生 维立體貝_電子裝置,包含:至少_影賴取單元, 旦用= 固別擷取類比影像,而產生數位二維影像,其中該兩 衫像擷取單元間之距離與各自之聚焦輯為已知,·物件萃 =裝置’ ^接收該兩影像擷取單元所個別摘取之數位二維 並f取其中之物件資訊;以及處理裝置,其根據物 牛貧訊、制影像擷取單元間之雜、與制影侧取單 元各自之聚焦距離,而產生三維資訊。 上述電子裝置中,可更包含有一個具有低頻寬的通訊 介面,設置在該處理裝置與該至少兩個影像擷取單元之 間,或整合在處理裝置之内。 此外,根據本發明的再另一個實施例,也提供一種用 以產生二維立體資訊的互動系統,包含:至少兩個影像擷 取單元,用以個別擷取類比影像,經過類比數位轉換而產 200810814 生數位二祕像’其中該兩影像棘單元間之距離、與該 兩影像擷取單TG各自之聚焦距離為已知;物件萃取裝置, ^接收該兩影像擷取單元所個纖取之數位二維影像,並 萃取等中之物件資訊;處理裳置,其根據物件資訊、該兩 影像擷取單元間之距離、與該兩影像娜單元各自之聚焦 5離’而產生二維資訊;以及輸出介面’用以輸出該三維 Μ訊。 亡述實施例中所述之互動系統,可再包含發光源,且 4 源以紅外線發光源為佳。發統與該至少兩個影像 擷取單疋可分設於—個空間區域的兩端,或設於一個空間 ^戈的同—端,在後者情況下,互動系統另包括有反光區 塊’设於該空間區域的另一端。 上述實施例中所述之互動系統,可更包含有一個具有 員寬的通^丨面,设置在該處理裝置與該至少兩個影像 擷取單元之間,或整合在處理袈置之内。 底下藉由具體實施例詳加說明,當更容易瞭解本發明 之目的、技術内容、特點及其所達成之功效。 【實施方式】 本發明不論在系統硬體和產生三維立體資訊的方法 忠、、’均與先前技術不同。在本發明中,係設置至少-個發 I源與至彡賴細’並根縣順對發統的感測結 田將其轉換成三_域魏。根據本發明,發光源以 木紅外線發光源為佳,例如可為紅外線發光二極體(取 8 200810814 led);感測器也宜對應地採用紅外線感測器。但採用其他 發光源與感測器,亦屬本案範圍。 以下首先說明本發明的方法流程。請參閱第2圖,此 為本發明方法的其中一個實施例,如圖所示,假設使用兩 個感測器(左方感測器L與右方感測器R)來觀測同一個 區域’則這兩個感測器先根據觀測所得的類比影像,轉換 產生數位二維影像資訊。所謂的類比影像,事實上是由感 測器所捕捉的多個含有亮度和色度資訊的光點;這些光點 可旎來自光源、或來自物體的反射光。感測器將這些光點 轉換成數位二維影像資訊之後,該數位二維影像資訊首先 經過一個「萃取物件」的步驟(步驟S21),在此步驟中對 二維影像資訊進行分析,將其歸類成若干個「物件」。 必須說明的是,所謂「物件」,並非指真實環境中的一 個實際物體。在本針,「物件」事實上是指—張影像中具 有相似特㈣-群像素,因此杉但移對應於真實環境 中的-個實際物體,甚至也未必需要是—個連續的整體。 =如,有可能將螢幕左上方與右下方的兩個不相連接的區 塊’視為一個物件。 將二維影像資訊歸類成物件的作法有多種,例如 ,用-般發光源的情況下,可根據二維影像_色予以分 $根娜狀、面積、或根據影像的局部亮點/暗 ^、或根據影像⑽(相似像素的連接關係)等等。在使 用紅外線發光源的情況下,可根 $ :影像資訊的所 歸類。在以上各種作法中,並不f要將二度,將其 9 200810814 有部份都予以歸類成為物件。例如,亮度不到某種強度的 部份,可視做背景,等等。 更進言之,在本發明的較佳作法中,萃取出物件後, ^至不需要針職個物件進行,而只要取得具有意義 =物件特徵即可。例如,可先將二維影像根據某一判斷條 牛(例如亮度臨界值)予以二分(binarizati〇n),將較亮的 射刀疋義為物件,再從物件中取出其特徵丨所謂特徵,例 件'重心、邊界、形狀、大小、長寬比、特殊點 (如鳊點、角落點、高曲率點)等等。 取出特徵的目的,是可將複雜運軒以單純化。例如, 1二考々同一申請人所申請的第94147531號申請案,將多筆 f ’間化成-個單純的重心向量,以加速後續的運算 ,過上述萃取物件的步驟S2卜可將任意二維影像資 取出物件、或進-步萃取出其特徵。因此,並不需 技術-般,預献義物件的形狀,並用強烈色差 在步驟S2!中,針對左右兩感測器所得的 個別萃取出物件之後,接著於步驟您中,系统^ 讯^影像中的物件,賦予對應關係。請參閱第3圖,假 的時間點’從左方感測器所得的二維影像中,萃 取出2件為^ 2 ’從右方感測器所得的二維影像中’萃 各為3, 4,則賦予對應關係的方法’可以是根據 各物件的重讀置,取最接近者,建立 200810814 ㈣圍’取重疊大者,來建立對應_ ;或根據形 職為纽乡_,將接近者建續應關係; =康紋理,餘_錢接·建辑應或根據 ^件針對i設條件之符合情況,如包圍在一黑色背景内 形成K物件、二空心之物件、沒有空心之物 ^ ······,而建立賴難,料。於第3 ®上方所示的 〜例中’左方感測器所得影像的物件i,和右方感測器所 传衫像的物件3 ’被視為對應;而左方感測^所得影像的 物件2 ’和右方感測ϋ所得影像的物件*,被視為對應。 建續應關係之後,在步驟S23中,便可將各組物件 的二維資訊,轉賊三維的立_訊。其職方式如第仏 圖所示,假設左右兩感測器的中心位置距離為Γ,感測器 的聚焦距離為/,某物件在左方感測器所得二維影像中的χ 座標是Α,在右方感測器所得二維影像中的χ座標是〜(假 口又以感測器的中心位置為原點,則斗在右方感測器中心位 置的左方,故為負值),而該物件距離感測器的距離為2, 則根據相似三角形定理, x///=X/Z,且-xr//=(,-^)/z 故可求出該物件的三維資訊: Χ=(Τ χ xi)/(xrxr) Y=(T xyi)/{xrxr)(其中乃在圖中未示出) Ζ = / χ [T/(xrxr)] 藉此方式,卽可產生物件各點的三維資訊。 第4A圖所示為左右兩感測器平行並位於同一準線上 11 200810814 的情況,、但本發明並不侷限於此。如第4B圖所示,假設 左右兩感測器並未位於同一準線上,且彼此具有一相對角 度,則仍可根據兩感測器的内部參數、相對角度、相對距 離,來計异得出物件的三維資訊。至於具體的計算方式, 已為本技術領域者所熟知,在此不予贅述,可參考 Brooks/Cole Publishing Company ^ Α ^ S〇nka, Hlavac, 與Boyle三位所著之“Image pr_sing,_丨_,⑽ Machine Vision”第二版,例如第 46(M69 頁。 若在萃取物件的過程中,為求加速運算而並未保存整 體物件資訊,觀{物件特徵,觸參考第4C圖,仍可 根據物件㈣徵,錢既定的轉換·,賴原三維物件 的正體資几。g然,此整體資訊未必和原始的整體物件資 訊完全相符,但就應用層面而言,經常並不需要得知完整 的二維物件貧訊;例如,應用上,可能只需要知道兩個不 同時間點間,物件的三維位移,在雌情況下,精確的形 狀/並沒有詳知的必要。如第4C圖所示,假設所萃取的 ,徵為兩個端點,則在得出端關三維鋪後,可根據既 定的長寬比或形狀等轉換原則,來還原出物件的整體三 資訊。 、 根據本發明,獲得各物件的三維資訊後,可在下一步 驟S24中,對該三維物件作一個標記(例如,賦予一個特 徵,碼、或ID代碼)。此步驟的目的是簡化系統的記憶與 運算。 請再參閱第3圖,假設於T1之後的時間點Τη,左右 12 200810814 的二維物件如圖中下方所示,則同樣經過賦 的纟5_7對應,6_8對應)後’可計算出兩個物件 訊,並給予標記。此時,藉由比對可知根據5-7 1=所ϊ的三維物件資訊,與先前η對應關係所得 、-、,、特魏,兩者最為接近,故可計算兩者之間的三 維位移互動系統便可根據此位移,而產生相應的反應。 以h兄明本發明㈣—個方法實施例,請參閱第5Α、 5B圖和第6圖。請先看第5A圖,時間點τι時的方法步 驟/本實知例與㈤例的不同處在於,於萃取物件的步驟% 1 之後’先針對二維物件進行標記(步驟S32)。進行標記之 後,才建立對應關係(步驟S33,此時建立了第6圖物件 11^3和12-14在空間上的對細係)。建立對應關係之後, ,行步驟S34,根據各組對應物件的二維資訊來產生三維 資K仁於產生二維資訊之後,卽不再對該三維物件做任 何標記。 請再看第5B圖,時間點Τη時的方法步驟;Tn為T1 之後的某個時間點。於萃取物件的步驟S41之後,系統先 將所萃取出之二維物件,與先前時間點T1的標記物件進 行比對,確立該物件與先前標記物件之間的關係(步驟 S42);這表示在第6圖中,分別建立了 ι1-15和13_17在 時間軸上的對應關係。由於n-13之間有對應關係,因此 15-17之間不需要透過比對的過程,卽可直接透過邏輯運 异付出其對應關係。如此,可省略多個物件互相比對所需 要的運算時間與硬體負擔。之後,再於步驟S43中,針對 13 200810814 二維物件進行標記。標記之後,卽可根據各組對應的二維 物件產生其二維育訊(步驟S45)。根據本發明,在步驟 S45之#或之後,尚可選擇性地進行步驟S44或S46 (可 兩者擇―’或皆省略之,當然也可兩者皆採),其中對於物 件間的對應_,再做—次驗證。 于於物 可能f要驗證的纽如下。假設物狀對賴係是根 开>狀來建立,如第7圖所示,物件25、26之實際二唯开^ 體為圓柱體;物件25為第—圓柱體之頂面,物件 一圓柱體之侧面’而物件26為第二圓柱體之側面,物件 27為同一圓柱體之頂面。由於感測器的觀測角度、及實際 ^體的移動,造成時_ Τη時,物件25和27的形狀^ 近,且物件26與28的形狀十分相近。此時,系統可 能^判物件25和27姉應,_件26與28相對應。請 若僅有一個實際物體的角度變動時(例如僅有第一 圓柱體變動’而第二圓柱體不動)’因系統運算係在多個對 應關係組合中’選取差距值最低者,故此時並不會造成誤 判。僅有在兩個實際物體的移動恰巧造成相互對應 、 會造成誤判。 雖然這種誤娜形發生的可能絲低,但根據本發 明’可在步驟S45進行運算產生三維資訊之前,先審慎^ 驗證二維物件之間的對應關係。驗證的方法,例如可先求 出各二維物件之重心,並檢查各組具有對應關係的二維物 件,其重心距離是否為最近。在第7圖的例子中,當將左 右兩感測器取得的二維影像疊置時,物件25和28 :重心 200810814 位置最接近,_件26與27㈣雜置最接近,故系統 可據此重建對細係。重建對賴係之後,再重新給予標 記0 上述根據重心位置是否接近來做判斷,僅為驗證方法 之-而已。其他方法也是可行的,例如可各組具有對 應關係的二維物件之重疊面積,是否在所有可能的對應關 係中,面積最大;或如絲林是根卿絲建立對應關 係’則此時便可根據形狀是研絲檢麵有對應關係。 如不在步驟S45之前進行步驟S44的驗證,則亦可在 步驟S45之後,於已產生三維資訊後,檢查原先所給的二 維物件標記,與三維物件是軸符(步驟撕)。如不符合, 卽重新建立對應_並重新進行三維資訊的計算。如^ 述’步驟S44和S46 ’可兩者取一,或皆省略,或皆 (但實用上,僅採其一應已非常足夠)。 本發明之前述各種實施方法,其硬體電路,可用第8A 或8B圖所示的做法來達成。先參閱第8八圖,左右 器肌、所感測到的影像,各別傳送給對應的物=萃 取電路82L、S2R (物件萃取電路例如可為分析亮度的電 路),並將物件萃取電路所產生的物件魏,傳送給對應的 處理器L處理器可以是任何具有資料運算魏的 電路’例如可歧CPU、MCU、DSP、麵是ASIC。感 測器、物件萃取電路和處理ϋ可以各自為—個積體電路二 =者整合成—個積體電路,或如圖所示,將感測器與物 件卒取電路整合成-個積體電路8GL、8GR,而處理器單獨 15 200810814 為一個積體電路。在第8A _示的安排 器之—(例如83L),將其運算所得的二維資_;=理 ==t:3R2’而後者針對對應的二維物 斤產生一維貝5孔,並透過輸出介面86予以 取j 8B圖所示為糾一種硬體縣,其中經過;取後 ▲=的—維物件㈣傳送給同—個處理器糾,在談卢 °十异產生二維貧訊,並透過輸出介面86予以輪出^ 仃 如前所述,與先前技術相較,本發 義物件的形狀,且物件之使用也無色差條件= 從上述硬體電路架構,可看出本發明尚有—個重要的 點^第8A圖的兩處理器83L、說之間,或第8β圖戶= :=觀、歡和處理11之間,由於只需要傳遞少量 你次,資1^ I甚至更少置的特徵資訊(而非複雜的整個影 像貧訊)’故其傳送和接收介面(通訊介面)所需的頻寬报 低,而處理速度很高。例如,在影像取樣率的_&拙卜 200 F/Sec的情況下,每張影像的物件資訊少於工㈨ Byte/sec ’因此頻寬僅需2〇KByte/see。尤其,若__ 明的最佳實麵態,朗紅外線發光源、以亮度方式來萃 取物件、並搭配重心計算與物件標記,更可大幅減輕硬體 負擔不但是傳送接收介面,也可將處理麟需的計算量 降至最低。因此,如前所述,處理器未必需要採用高階的 =PU、MCU、DSP,而甚至可用ASIC來製作。所述通訊 介面,圖中並未示出,可獨立設置在第8A圖的兩處理器 83L、83R之間,或也可整合在處理器83l、83R之内,或 16 200810814 iir^:rr8〇R^ 動系錢路,可建構各獅式的互 91L、91R設置在螢幕L ^。在第9圖中’是將發光源
躲0的一端’而將感測器92L、92R =置=持機組93的一端。(發光源以紅外線發光源較 麟二,又,圖中顯示兩個發光源,僅是舉例,發光源 f要—個。)第1G射,是將發光源91L、 设置在手持機組93的一端,而將感測器92L、92R設 =螢幕9G的-端。以上_方式中,發光源與感測器係 刀叹於-個空間區域的兩端。第u圖中,則是將發光源 91L、91R與感測器92L、92R皆設置在勞幕%的一端, 而手持機組93上僅需要具伽反光材質製成的反光區塊 ,即可。反光區塊94可以為-塊或多塊,且形狀不拘。 第11圖所不的安排方式,更具有一項優點,此即手持機組 93元全不需要電源,較先前技術更佳。 本發明之互動系統可應用於各種遊戲平台,亦可供作 為二維指標裝置,例如作為pDA、手機、筆記型電腦等攜 V式裝置的輸入裝置,或是應用於任何需要追縱三維物體 位置變化的裝置。 以上已針對較佳實施例來說明本發明,唯以上所述 者’僅係為使熟悉本技術者易於了解本發明的内容而已, 並非用來限定本發明之權利範圍。對於熟悉本技術者,當 可在本發明精神内,立即思及各種等效變化。舉例而言, 17 200810814 均:兩:f測器為例’但當然也可使用兩個以上 上下配置。感測器係為右配置,但當然也可改為 而使用其他可擷取旦影像’故如不使用感測器, 所示之各電路當然亦屬可行。又, 路;除已經_者外,其他部分,也 里器之整合 等等。此外、輪出介面全部整合成一麵體電路, 有各種等效變化的崎幕或專屬遊歸幕等等, 之均黧缴扎七啟 此。故凡依本發明之概念與精神所為 : 或^飾,均應包括於本發明之申請專利範圍内。 【圖式簡單說明】 f 1A與1B圖示出先前技術所提,根據物件的二維位 決定其三維狀態的方法。 + ,2圖為本發财法的其巾—個實施例。 ^ 3圖舉例說明萃取出物件後,如何建立物件在空間上和 W間上的對應關係。 第从至4C圖說明如何將各組對應物件的二維資訊,娜 成二維的立體資訊。 弟5A與5B圖為本發明方法的另外一個實施例。 第6圖舉例制萃取出物件後,如何建立物件在空間上和 時間上的對應關係。 第7圖舉例說明可能造成對應關係誤判的情況。 18 200810814 第8A和8B圖示意顯示達成本發明的硬體電路實施例。 第9圖至第11圖示出使用本發明方法/電路之互動系統的 三個實施例。 【主要元件符號說明】 1,2, 3, 4, 5, 6, 7, 8 物件 11,12, 13, 14, 15, 16, 17, 18 物件 25, 26, 27, 28 物件 S21-S24 步驟 S31-S34 步驟 S41-S46 步驟 80L、80R積體電路 81L、81R感測器 82L、82R物件萃取電路 83L、83R處理器 84處理器 86輸出介面 90螢幕 91L、91R發光源 92L、92R感測器 93手持機組 94反光區塊 19
Claims (1)
- 200810814 十、申請專利範圍: 1.—種用以產生三維立體資訊的互動系統,包含: 、至少兩個影像擷取單元,用以個別掏取類比影像,經 ,類比數位轉換而產生數位二維影像,射細影像擁ς 2間之距離、與該兩影像擷取單元各自之聚焦距離為已 物件萃取裝置,其接收該兩縣練單元所個別榻取 之數位一維影像,並萃取其中之物件資訊; 處理裝置,其根據物件資訊與該兩影像擷取單元間之 =離、與該兩影細取單元各自之聚焦轉,而產生三維 負訊;以及 輸出介面,用以輸出該三維資訊。 L如申請專利範圍第!項所述之產生三維立师訊的互 動糸統,更包含有發光源。 且該至少兩個影 \如申請專利麵第2項所述之產生三維立體資訊的互 動系統,其中該發光源為紅外線發光源 像擷取單元係擷取紅外線亮度影像。 4.如申請專利範圍第2項所述之產生三維 動系統’針紐統與魅少_影雜料 於一個空間區域的兩端。 L如申請專利範圍第4項所述之產生三維立體資訊的互 糸統,其巾該互械統包含有—個手持機組,其上設有 該發光源、或該至少兩個影像擷取單元。 、 t如申請專利細第2項所述之產生三維立體資訊的互 '、統’其中該發光源與該至少兩個影像擷取單元係設於 20 200810814 -個空間區域的同-端1互動祕另包括有反光區塊, 設於該空間區域的另一端。 7·如申請專利範圍第6項所述之產生三維立體資訊的互 動系統,財該互動系統包含有一個手持機組,前述反光 區塊設於其上。 8· /如申請專利範圍第1項所述之產生三維立體資訊的互 動系統,其巾該物件萃取裝置包含至少兩解元,分別盘 該至少兩個影像擷取單元對應搭配。 ^ • 7 τ岣寻利軌圍第8項所述之產生三維立體資訊的互 動系統,其中該至少兩個物件萃取裝置單元,分別與對應 之該至兩個影像擷取單元,個別整合成積體電路。 ^如申請專利範圍第i項所述之產生三維立體資訊的互 糸統’其巾該物件萃取裝置根據以下方式之―來萃取物 =根據影像的顏色、根據影像的形狀、根據影像的面積、 像的局部亮點/暗點密度、根據影像的亮度、根據 心、、文理、或以上兩者以上之综合。 2申請專利範圍第1項所述之產生三維立體資訊的互 /、、、、,更包含有一個具有低頻寬的通訊介 ,理裝置與該物件萃取裝置之間,或整合在處理= 利細第1項所述之產生三維立體資訊的互 少it 處理裝置包含至少兩個單元,分別與該至 *個衫像擷取單元對應搭配。 13·如申請專利範圍第12項所述之產生三維立體資訊的 21 200810814 該處理i置有訊介面,設置在 單元之内。 早之間或整合在其t-個處理裝置 動系Hi利補第8項所述之產生三維立體資訊的互 心:中轉理裝置包含至少兩個單元,分別食該至 少兩個物料取裝置單謂應魏。 刀U至 請,範圍第14項所述之產生三維立體資訊的 兮产理^ &含有—個具有低頻寬的軌介面,設置在 ίί^ 單元之間,或整合在射—個處理裝置 專利補第1項所述之產生三維立體資訊的互 =統,、其中該互_統為以下祕之—:遊戲用之互動 …或攜ΊΤ式電子裝置、或三維物體追縱裝置。 17次如申請專利細第11, 13或15項所述之產生三維立 體貧訊的互_統,其中所述具有低頻寬的通訊介面,其 頻九為20 KByte/sec或以下。 18· —種產生三維立體資訊的電子裝置,包含·· 至少兩個影細取單元,用以個別擷取類比影像,而 產生數位二維影像,其f該兩影細料元間之距離與各 自之聚焦距離為已知; ^ 物件萃取裝置,其接收該兩影雜取單元所個別操取 之數位二維影像,並萃取其中之物件資訊;以及 處理裝置,其根據物件資訊、該兩影像擷取單元間之 距離、與該兩影像擷取單元各自之聚焦距離,而產生三維 22 200810814 資訊。 π.如申請專利範圍帛ls項所述之產生三維立體資訊的 電子裝置,其t該物件萃取裝置包含至少兩個單元,'分別 與5亥至少兩個影像揭取單元對應搭配。 20.如申請專利範圍第19項所述之產生三維立體資訊的 電子裝置,其中該至少兩個物件萃取裝置單元,分別與對 應之該至少兩個影像#貞取單元,_整合成積體電路。、 如申料利翻第Μ項所述之產生三維立體資訊的 电子裝置’其巾該物件萃取裝置根據以下方式之一來萃取 物件:根據影像的顏色、根據影像的形狀、根據影像的面 積、根據影像的局部亮點/暗點密度、根據影像的亮度、 根據影像紋理、紅上兩相上之齡。 如申^專利細第18項所述之產生三維立體資訊的 “子裝置,更包含有一個具有低頻寬的通訊介面,設置在 =處理震置與該物件萃取裝置之間,或整合在處理裝置之 内。 =·如申請專利範圍第18項所述之產生三維立體資訊的 =子裝置,其中該處理裝置包含至少兩個單元,分別與該 至少兩個影像擷取單元對應搭配。 ^ Λ 電如申請專利範圍第23項所述之產生三維立體資訊的 兮I裝置,更包含有一個具有低頻寬的通訊介面,設置在 ,理裝置的兩個單元之間,或整合在其中—個處理裝置 早元之内。 25·如申請專利範圍第2〇項所述之產生三維立體資訊的 23 200810814 電子裝置,其中該處理裝置包含至少兩個單元,分別與該 至少兩個物件萃取裝置單元對應搭配。 26.如申請專利範圍第25項所述之產生三維立體資訊的 電子裝置,更包含有-個具有低頻寬的通訊介面,設置在 ^處理裝置的兩鮮元之間,或整合在其中—鑛理裝置 單元之内。 申請專利範圍第22, 24或26項所述之產生三維立 :fL的電子健,其中所述具有低頻寬的通訊介面,其 頻見為20 KByte/sec或以下。 28. -種以物件為基礎的三維立體資訊產生方法,包含·· 在第-時間點,對同一區域’取得至少兩個二維影 從该至少兩個二維影像中,個別萃取出物件資訊; 建立物件間之對應關係;以及 、° ’ 根據對應之物件,產生三維資訊。 影像在第二時間點’對同一區域,取得另外至少兩個二維 訊 從》亥另外至少兩個二維影像中,個別萃取出物件資 建立物件間之對應關係; 移 根據對應之物件,產生三維資訊;以及 比對第-時間點與第二時間點之三維資訊,決定位 24 200810814 30·如申請專利範園證 法,進-步包含.項所述之三維立娜產生方 之物件,料標記。生三轉訊之後,_三維資訊中 :,29項所述之三維立體資訊產生方 之物杜仏I』3在產生三維資訊之後,對該三維資訊中 點之三維且其中「比對第一時間點與第二時間 對象。、貝°」’係根據三維資訊之標記,而決定比對之 3法2.m_$ 28項所述之三維立體資訊產生方 給予標纪几3 ·在卒取出物件資訊之後,職二維物件, 法,%㈣32項所述之三維立訊產生方 /女’進一步包含: 影像在第二_點’對同—區域,取得另外至少兩個二維 訊;從該另外至少兩個二維影像中,個別萃取出物件資 根據前述物件標記,得職件讀細係;以及 根據對應之物件,產生三維資訊。 =·,如申請專利範圍第33項所述之三維立體資訊產生方 1 ’進-步包含:比對第—時間點與第二時 訊,決定位移。 〜一、,、算貝 ^.,Ϊ申凊專利範圍第33項所述之三維立體資訊產生方 步包含:在根據前述物件標記,得到物件對應關 25 200810814 係之後,驗證該對應關係是否正確。 範圍第35項所述之三維立體資訊產生方 方式之一來驗證對應關係··根據物件 置,驗料應關係是否為最接近者;或根據面積 重豐犯圍,魏軸_杉為重綠狀 邊數,驗證對簡係是料最接近者,·或以上兩者 綜合。 37.如憎專圍第33項所述之三維立體資訊產生方 法,進步包合.在第二時間點產生三維資訊之後,驗證 該三維資訊與標記是否相符。 38·如申請專利範圍第28項所述之三維立 法,其情述萃轉件資訊步驟雜據町方式之一來^ 取物件:根據影像_色、根據影像的形狀、根據影像的 面積、根據影像的局部亮點/暗點密度、根哀 度、根據影像紋理、或以上兩者以上之綜合。 、儿 39·如申凊專利範圍第28項所述之三維立體資訊產生方 法,其中所述萃取物件資訊步驟進一步包含··萃取出物 中之特徵資訊。 40·如申請專利範圍第39項所述之三維立體資訊產生方 法,其中所述物件特徵為以下之一:物件重心、物件邊界、 物件形狀、物件大小、物件特殊點、或以上兩者或兩者以 上之綜合。 41·如申請專利範圍第28項所述之三維立體資訊產生方 法,其中所述建立對應關係步驟係根據以下方式之一來建 26 200810814 立對應關係:根據物件的重心位置,取最接近者;或根據 面積重疊範圍,取重疊大者;或根據形狀邊數,取接近者; 或根據紋理,取紋理内容最接近者;或根據物件針對一預 設條件之符合情況;或以上兩者以上之綜合。 42.如申請專利範圍第28項所述之三維立體資訊產生方 法,其中所取得之二維影像為紅外線影像。 27
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW095130315A TW200810814A (en) | 2006-08-17 | 2006-08-17 | Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same |
| JP2007163863A JP5064902B2 (ja) | 2006-08-17 | 2007-06-21 | 三次元立体データの生成方法 |
| US11/879,114 US8605987B2 (en) | 2006-08-17 | 2007-07-16 | Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW095130315A TW200810814A (en) | 2006-08-17 | 2006-08-17 | Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200810814A true TW200810814A (en) | 2008-03-01 |
| TWI301418B TWI301418B (zh) | 2008-10-01 |
Family
ID=39101485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW095130315A TW200810814A (en) | 2006-08-17 | 2006-08-17 | Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8605987B2 (zh) |
| JP (1) | JP5064902B2 (zh) |
| TW (1) | TW200810814A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI394097B (zh) * | 2009-10-12 | 2013-04-21 | Nat Univ Tsing Hua | 移動物體的偵測方法以及偵測系統 |
| CN103108200A (zh) * | 2011-11-09 | 2013-05-15 | 晨星软件研发(深圳)有限公司 | 对立体影像的处理方法 |
| US9008413B2 (en) | 2011-10-27 | 2015-04-14 | Mstar Semiconductor, Inc. | Processing method for a pair of stereo images |
| US20220103801A1 (en) * | 2018-02-28 | 2022-03-31 | Blackberry Limited | Rapid ground-plane discrimination in stereoscopic images |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2193311B1 (en) * | 2007-09-21 | 2013-05-22 | Koninklijke Philips Electronics N.V. | Method of illuminating a 3d object with a modified 2d image of the 3d object by means of a projector, and projector suitable for performing such a method |
| EP2236980B1 (en) * | 2009-03-31 | 2018-05-02 | Alcatel Lucent | A method for determining the relative position of a first and a second imaging device and devices therefore |
| US9030536B2 (en) | 2010-06-04 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for presenting media content |
| US9787974B2 (en) | 2010-06-30 | 2017-10-10 | At&T Intellectual Property I, L.P. | Method and apparatus for delivering media content |
| US8593574B2 (en) | 2010-06-30 | 2013-11-26 | At&T Intellectual Property I, L.P. | Apparatus and method for providing dimensional media content based on detected display capability |
| US8918831B2 (en) | 2010-07-06 | 2014-12-23 | At&T Intellectual Property I, Lp | Method and apparatus for managing a presentation of media content |
| US9049426B2 (en) | 2010-07-07 | 2015-06-02 | At&T Intellectual Property I, Lp | Apparatus and method for distributing three dimensional media content |
| US9232274B2 (en) | 2010-07-20 | 2016-01-05 | At&T Intellectual Property I, L.P. | Apparatus for adapting a presentation of media content to a requesting device |
| US9032470B2 (en) | 2010-07-20 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus for adapting a presentation of media content according to a position of a viewing apparatus |
| US9560406B2 (en) | 2010-07-20 | 2017-01-31 | At&T Intellectual Property I, L.P. | Method and apparatus for adapting a presentation of media content |
| US8994716B2 (en) | 2010-08-02 | 2015-03-31 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
| CN102346020B (zh) * | 2010-08-04 | 2013-10-23 | 原相科技股份有限公司 | 用于互动介面的三维信息产生装置与三维信息产生方法 |
| US8438502B2 (en) | 2010-08-25 | 2013-05-07 | At&T Intellectual Property I, L.P. | Apparatus for controlling three-dimensional images |
| US8836761B2 (en) * | 2010-09-24 | 2014-09-16 | Pixart Imaging Incorporated | 3D information generator for use in interactive interface and method for 3D information generation |
| US8947511B2 (en) | 2010-10-01 | 2015-02-03 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three-dimensional media content |
| US9602766B2 (en) | 2011-06-24 | 2017-03-21 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three dimensional objects with telepresence |
| US8947497B2 (en) | 2011-06-24 | 2015-02-03 | At&T Intellectual Property I, Lp | Apparatus and method for managing telepresence sessions |
| US9445046B2 (en) | 2011-06-24 | 2016-09-13 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting media content with telepresence |
| US9030522B2 (en) | 2011-06-24 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
| US8587635B2 (en) | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
| US8951120B2 (en) * | 2011-09-19 | 2015-02-10 | Sony Computer Entertainment America Llc | Systems and methods for calibration and biasing for game controller |
| TWI476706B (zh) | 2012-04-30 | 2015-03-11 | Pixart Imaging Inc | 偵測物件移動輸出命令的方法及其系統 |
| CN104052913B (zh) * | 2013-03-15 | 2019-04-16 | 博世(中国)投资有限公司 | 提供光绘效果的方法以及实现该方法的设备 |
| EP3114647A2 (en) | 2014-03-05 | 2017-01-11 | Smart Picture Technology, Inc. | Method and system for 3d capture based on structure from motion with simplified pose detection |
| US20160134860A1 (en) * | 2014-11-12 | 2016-05-12 | Dejan Jovanovic | Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy |
| WO2016204481A1 (ko) * | 2015-06-16 | 2016-12-22 | 엘지전자 주식회사 | 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 |
| US10083522B2 (en) | 2015-06-19 | 2018-09-25 | Smart Picture Technologies, Inc. | Image based measurement system |
| WO2019032736A1 (en) | 2017-08-08 | 2019-02-14 | Smart Picture Technologies, Inc. | METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER |
| US11138757B2 (en) | 2019-05-10 | 2021-10-05 | Smart Picture Technologies, Inc. | Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6278798B1 (en) * | 1993-08-09 | 2001-08-21 | Texas Instruments Incorporated | Image object recognition system and method |
| JPH10111934A (ja) * | 1996-10-03 | 1998-04-28 | Oojisu Soken:Kk | 3次元形状モデル作成方法及び媒体 |
| JP4162817B2 (ja) * | 1999-11-22 | 2008-10-08 | 本田技研工業株式会社 | 距離検出装置 |
| JP2002159019A (ja) * | 2000-11-16 | 2002-05-31 | Canon Inc | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 |
| US6690451B1 (en) * | 2003-02-06 | 2004-02-10 | Gerald S. Schubert | Locating object using stereo vision |
| US7366325B2 (en) * | 2003-10-09 | 2008-04-29 | Honda Motor Co., Ltd. | Moving object detection using low illumination depth capable computer vision |
-
2006
- 2006-08-17 TW TW095130315A patent/TW200810814A/zh unknown
-
2007
- 2007-06-21 JP JP2007163863A patent/JP5064902B2/ja active Active
- 2007-07-16 US US11/879,114 patent/US8605987B2/en active Active
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI394097B (zh) * | 2009-10-12 | 2013-04-21 | Nat Univ Tsing Hua | 移動物體的偵測方法以及偵測系統 |
| US9008413B2 (en) | 2011-10-27 | 2015-04-14 | Mstar Semiconductor, Inc. | Processing method for a pair of stereo images |
| CN103108200A (zh) * | 2011-11-09 | 2013-05-15 | 晨星软件研发(深圳)有限公司 | 对立体影像的处理方法 |
| CN103108200B (zh) * | 2011-11-09 | 2016-03-02 | 晨星软件研发(深圳)有限公司 | 对立体影像的处理方法 |
| US20220103801A1 (en) * | 2018-02-28 | 2022-03-31 | Blackberry Limited | Rapid ground-plane discrimination in stereoscopic images |
| US11601635B2 (en) * | 2018-02-28 | 2023-03-07 | Blackberry Limited | Rapid ground-plane discrimination in stereoscopic images |
Also Published As
| Publication number | Publication date |
|---|---|
| US8605987B2 (en) | 2013-12-10 |
| TWI301418B (zh) | 2008-10-01 |
| US20080044079A1 (en) | 2008-02-21 |
| JP2008048386A (ja) | 2008-02-28 |
| JP5064902B2 (ja) | 2012-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW200810814A (en) | Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same | |
| CN101281422B (zh) | 以对象为基础三维信息产生装置与方法及使用的互动系统 | |
| Deng et al. | Deepfake Video Detection Based on EfficientNet‐V2 Network | |
| Fan et al. | 3D lighting-based image forgery detection using shape-from-shading | |
| Rehman et al. | SLNet: Stereo face liveness detection via dynamic disparity-maps and convolutional neural network | |
| JP2022551139A (ja) | 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム | |
| TW201123083A (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
| CN103578093B (zh) | 图像配准方法、装置及增强现实系统 | |
| TW201220844A (en) | Projector | |
| CN109754461A (zh) | 图像处理方法及相关产品 | |
| JP2012221261A (ja) | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム | |
| WO2017022901A1 (ko) | 3차원 점군 데이터에 기반한 치수 측정 장치 및 방법 | |
| CN101866496B (zh) | 基于同心圆环图案组的增强现实方法 | |
| TWM364920U (en) | 3D human face identification device with infrared light source | |
| CN110720105A (zh) | 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质 | |
| CN204270360U (zh) | 书画艺术品真迹鉴定仪 | |
| WO2010082226A1 (en) | Pointing device, graphic interface and process implementing the said device | |
| CN117197405A (zh) | 三维物体的增强现实方法、系统及存储介质 | |
| CN104966307A (zh) | 一种基于实时跟踪的ar算法 | |
| CN117392079A (zh) | 外观缺陷检测方法、装置、视觉检测系统和电子设备 | |
| Li et al. | A dual-modal face anti-spoofing method via light-weight networks | |
| CN116912331A (zh) | 标定数据生成方法、装置、电子设备及存储介质 | |
| CN107479715A (zh) | 利用手势控制实现虚拟现实交互的方法和装置 | |
| CN114663929B (zh) | 基于人工智能的脸部识别方法、装置、设备和存储介质 | |
| Wu et al. | Detecting image forgeries using metrology |