[go: up one dir, main page]

TW200810814A - Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same - Google Patents

Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same Download PDF

Info

Publication number
TW200810814A
TW200810814A TW095130315A TW95130315A TW200810814A TW 200810814 A TW200810814 A TW 200810814A TW 095130315 A TW095130315 A TW 095130315A TW 95130315 A TW95130315 A TW 95130315A TW 200810814 A TW200810814 A TW 200810814A
Authority
TW
Taiwan
Prior art keywords
dimensional
image
dimensional information
information
generating
Prior art date
Application number
TW095130315A
Other languages
English (en)
Other versions
TWI301418B (zh
Inventor
Tzu-Yi Chao
Hsin-Chia Chen
Chuan-Hsin Lee
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW095130315A priority Critical patent/TW200810814A/zh
Priority to JP2007163863A priority patent/JP5064902B2/ja
Priority to US11/879,114 priority patent/US8605987B2/en
Publication of TW200810814A publication Critical patent/TW200810814A/zh
Application granted granted Critical
Publication of TWI301418B publication Critical patent/TWI301418B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Description

200810814 九、發明說明: 【發明所屬之技術領域】 梓ΐϊϊί有關於一種以物件為基礎之三維立體資訊產 生裝置與方法’以及使職裝置與方法的互動系統。 【先前技術】 目前已有各種偵測使用者端之動作,而進行互動之系 統’例如射擊遊鱗。在此種職巾,使財手持遊戲機 組所附設的指向裝置(例如模擬搶枝),根據螢幕上的晝面 而互動採取反應(例如射擊);遊戲機組债測該指向裝2的 移動,而相應地在螢幕上產生反應’例如敵人中彈ρ房屋 爆破,等等。 此種互動系統之缺點在於,只能偵測手持物件的二維 位置變化,而無法將前後方向的Γ深度」變化納入考量、。 因此,雖然此種互動遊戲已經相當具有臨場感,但仍二能 完全真實反應使用者的動作狀態。 ^ 有鑑於此,美國專利第6,795,068號乃提出一種根據物 件的二維位置來決定其三維狀態的方法。如第圖 所示,該案提供一個具有強烈色差的物件(例如球棒),^ 物件分為上下兩部份301與303,此兩部分必需具有強烈 的色差,以便利捕捉影像。帛1Β目㈤305為攝影機或影 像感測裝置所捕捉的二維影像,其中之影像3〇7為物件上^ 方部份301之二維影像。在二維影像中,所有x_y方向上 的資訊均為已知,並利用物件的上方寬度w2與下方寬产 wl間的比例,來求取φ角度,藉以獲得z方向上的資訊^ 5 200810814 成在真實三維空間的各種位置間移動,造 意選取上方寬度W2盘下方宽声為f射起見’並不能任 述,必須將兮物 、又的位置;根據該案所 ί數值啦—多個寬 先,地商品化’但仍具有以下缺點。首 H賴事先定義物件的形狀 使用任意形狀的物件,而僅能 :用 触糾,色讀轉^要持 斷。第:他^因造成遮蔽,將影響系統對物件形狀的判 造成‘的運^物件不斷進行多個寬度值的運算, 的作ί案·^情Γ上先前技術的缺點,提出一種完全不同 本發明所謂=生旦無上述的缺點。又, 三維資^不偈限於必須根據該 輝上對應產生二維影像;例如,可以暑 :所產生的三維資訊,進行進—步理 反應,如展現受球棒打擊的強度等等,亦屬本發明的r圍 【發明内容】 本發明之第-目的在提供—種物 體資訊產生裝置,而無前述先前技術基礎之二維立 體資目的在提供一種以物件為基礎之三維立 6 200810814 構成目触触—種朗上财置或方法而 在-時間點=基^二維立體資訊產生方法,包含: 物::=個別萃取出具有特徵的物件;建立 勿仵門之對應關係,以及根據對應 上述方法中,尚可在萃取出物件之後產二貝= :物:予f:或在產ί三維資訊之後,對該三維資訊中 W予払屺,以簡化後續的運算。 :唯本發明的另—個實施例,提出了一種產生 维立體貝_電子裝置,包含:至少_影賴取單元, 旦用= 固別擷取類比影像,而產生數位二維影像,其中該兩 衫像擷取單元間之距離與各自之聚焦輯為已知,·物件萃 =裝置’ ^接收該兩影像擷取單元所個別摘取之數位二維 並f取其中之物件資訊;以及處理裝置,其根據物 牛貧訊、制影像擷取單元間之雜、與制影侧取單 元各自之聚焦距離,而產生三維資訊。 上述電子裝置中,可更包含有一個具有低頻寬的通訊 介面,設置在該處理裝置與該至少兩個影像擷取單元之 間,或整合在處理裝置之内。 此外,根據本發明的再另一個實施例,也提供一種用 以產生二維立體資訊的互動系統,包含:至少兩個影像擷 取單元,用以個別擷取類比影像,經過類比數位轉換而產 200810814 生數位二祕像’其中該兩影像棘單元間之距離、與該 兩影像擷取單TG各自之聚焦距離為已知;物件萃取裝置, ^接收該兩影像擷取單元所個纖取之數位二維影像,並 萃取等中之物件資訊;處理裳置,其根據物件資訊、該兩 影像擷取單元間之距離、與該兩影像娜單元各自之聚焦 5離’而產生二維資訊;以及輸出介面’用以輸出該三維 Μ訊。 亡述實施例中所述之互動系統,可再包含發光源,且 4 源以紅外線發光源為佳。發統與該至少兩個影像 擷取單疋可分設於—個空間區域的兩端,或設於一個空間 ^戈的同—端,在後者情況下,互動系統另包括有反光區 塊’设於該空間區域的另一端。 上述實施例中所述之互動系統,可更包含有一個具有 員寬的通^丨面,设置在該處理裝置與該至少兩個影像 擷取單元之間,或整合在處理袈置之内。 底下藉由具體實施例詳加說明,當更容易瞭解本發明 之目的、技術内容、特點及其所達成之功效。 【實施方式】 本發明不論在系統硬體和產生三維立體資訊的方法 忠、、’均與先前技術不同。在本發明中,係設置至少-個發 I源與至彡賴細’並根縣順對發統的感測結 田將其轉換成三_域魏。根據本發明,發光源以 木紅外線發光源為佳,例如可為紅外線發光二極體(取 8 200810814 led);感測器也宜對應地採用紅外線感測器。但採用其他 發光源與感測器,亦屬本案範圍。 以下首先說明本發明的方法流程。請參閱第2圖,此 為本發明方法的其中一個實施例,如圖所示,假設使用兩 個感測器(左方感測器L與右方感測器R)來觀測同一個 區域’則這兩個感測器先根據觀測所得的類比影像,轉換 產生數位二維影像資訊。所謂的類比影像,事實上是由感 測器所捕捉的多個含有亮度和色度資訊的光點;這些光點 可旎來自光源、或來自物體的反射光。感測器將這些光點 轉換成數位二維影像資訊之後,該數位二維影像資訊首先 經過一個「萃取物件」的步驟(步驟S21),在此步驟中對 二維影像資訊進行分析,將其歸類成若干個「物件」。 必須說明的是,所謂「物件」,並非指真實環境中的一 個實際物體。在本針,「物件」事實上是指—張影像中具 有相似特㈣-群像素,因此杉但移對應於真實環境 中的-個實際物體,甚至也未必需要是—個連續的整體。 =如,有可能將螢幕左上方與右下方的兩個不相連接的區 塊’視為一個物件。 將二維影像資訊歸類成物件的作法有多種,例如 ,用-般發光源的情況下,可根據二維影像_色予以分 $根娜狀、面積、或根據影像的局部亮點/暗 ^、或根據影像⑽(相似像素的連接關係)等等。在使 用紅外線發光源的情況下,可根 $ :影像資訊的所 歸類。在以上各種作法中,並不f要將二度,將其 9 200810814 有部份都予以歸類成為物件。例如,亮度不到某種強度的 部份,可視做背景,等等。 更進言之,在本發明的較佳作法中,萃取出物件後, ^至不需要針職個物件進行,而只要取得具有意義 =物件特徵即可。例如,可先將二維影像根據某一判斷條 牛(例如亮度臨界值)予以二分(binarizati〇n),將較亮的 射刀疋義為物件,再從物件中取出其特徵丨所謂特徵,例 件'重心、邊界、形狀、大小、長寬比、特殊點 (如鳊點、角落點、高曲率點)等等。 取出特徵的目的,是可將複雜運軒以單純化。例如, 1二考々同一申請人所申請的第94147531號申請案,將多筆 f ’間化成-個單純的重心向量,以加速後續的運算 ,過上述萃取物件的步驟S2卜可將任意二維影像資 取出物件、或進-步萃取出其特徵。因此,並不需 技術-般,預献義物件的形狀,並用強烈色差 在步驟S2!中,針對左右兩感測器所得的 個別萃取出物件之後,接著於步驟您中,系统^ 讯^影像中的物件,賦予對應關係。請參閱第3圖,假 的時間點’從左方感測器所得的二維影像中,萃 取出2件為^ 2 ’從右方感測器所得的二維影像中’萃 各為3, 4,則賦予對應關係的方法’可以是根據 各物件的重讀置,取最接近者,建立 200810814 ㈣圍’取重疊大者,來建立對應_ ;或根據形 職為纽乡_,將接近者建續應關係; =康紋理,餘_錢接·建辑應或根據 ^件針對i設條件之符合情況,如包圍在一黑色背景内 形成K物件、二空心之物件、沒有空心之物 ^ ······,而建立賴難,料。於第3 ®上方所示的 〜例中’左方感測器所得影像的物件i,和右方感測器所 传衫像的物件3 ’被視為對應;而左方感測^所得影像的 物件2 ’和右方感測ϋ所得影像的物件*,被視為對應。 建續應關係之後,在步驟S23中,便可將各組物件 的二維資訊,轉賊三維的立_訊。其職方式如第仏 圖所示,假設左右兩感測器的中心位置距離為Γ,感測器 的聚焦距離為/,某物件在左方感測器所得二維影像中的χ 座標是Α,在右方感測器所得二維影像中的χ座標是〜(假 口又以感測器的中心位置為原點,則斗在右方感測器中心位 置的左方,故為負值),而該物件距離感測器的距離為2, 則根據相似三角形定理, x///=X/Z,且-xr//=(,-^)/z 故可求出該物件的三維資訊: Χ=(Τ χ xi)/(xrxr) Y=(T xyi)/{xrxr)(其中乃在圖中未示出) Ζ = / χ [T/(xrxr)] 藉此方式,卽可產生物件各點的三維資訊。 第4A圖所示為左右兩感測器平行並位於同一準線上 11 200810814 的情況,、但本發明並不侷限於此。如第4B圖所示,假設 左右兩感測器並未位於同一準線上,且彼此具有一相對角 度,則仍可根據兩感測器的内部參數、相對角度、相對距 離,來計异得出物件的三維資訊。至於具體的計算方式, 已為本技術領域者所熟知,在此不予贅述,可參考 Brooks/Cole Publishing Company ^ Α ^ S〇nka, Hlavac, 與Boyle三位所著之“Image pr_sing,_丨_,⑽ Machine Vision”第二版,例如第 46(M69 頁。 若在萃取物件的過程中,為求加速運算而並未保存整 體物件資訊,觀{物件特徵,觸參考第4C圖,仍可 根據物件㈣徵,錢既定的轉換·,賴原三維物件 的正體資几。g然,此整體資訊未必和原始的整體物件資 訊完全相符,但就應用層面而言,經常並不需要得知完整 的二維物件貧訊;例如,應用上,可能只需要知道兩個不 同時間點間,物件的三維位移,在雌情況下,精確的形 狀/並沒有詳知的必要。如第4C圖所示,假設所萃取的 ,徵為兩個端點,則在得出端關三維鋪後,可根據既 定的長寬比或形狀等轉換原則,來還原出物件的整體三 資訊。 、 根據本發明,獲得各物件的三維資訊後,可在下一步 驟S24中,對該三維物件作一個標記(例如,賦予一個特 徵,碼、或ID代碼)。此步驟的目的是簡化系統的記憶與 運算。 請再參閱第3圖,假設於T1之後的時間點Τη,左右 12 200810814 的二維物件如圖中下方所示,則同樣經過賦 的纟5_7對應,6_8對應)後’可計算出兩個物件 訊,並給予標記。此時,藉由比對可知根據5-7 1=所ϊ的三維物件資訊,與先前η對應關係所得 、-、,、特魏,兩者最為接近,故可計算兩者之間的三 維位移互動系統便可根據此位移,而產生相應的反應。 以h兄明本發明㈣—個方法實施例,請參閱第5Α、 5B圖和第6圖。請先看第5A圖,時間點τι時的方法步 驟/本實知例與㈤例的不同處在於,於萃取物件的步驟% 1 之後’先針對二維物件進行標記(步驟S32)。進行標記之 後,才建立對應關係(步驟S33,此時建立了第6圖物件 11^3和12-14在空間上的對細係)。建立對應關係之後, ,行步驟S34,根據各組對應物件的二維資訊來產生三維 資K仁於產生二維資訊之後,卽不再對該三維物件做任 何標記。 請再看第5B圖,時間點Τη時的方法步驟;Tn為T1 之後的某個時間點。於萃取物件的步驟S41之後,系統先 將所萃取出之二維物件,與先前時間點T1的標記物件進 行比對,確立該物件與先前標記物件之間的關係(步驟 S42);這表示在第6圖中,分別建立了 ι1-15和13_17在 時間軸上的對應關係。由於n-13之間有對應關係,因此 15-17之間不需要透過比對的過程,卽可直接透過邏輯運 异付出其對應關係。如此,可省略多個物件互相比對所需 要的運算時間與硬體負擔。之後,再於步驟S43中,針對 13 200810814 二維物件進行標記。標記之後,卽可根據各組對應的二維 物件產生其二維育訊(步驟S45)。根據本發明,在步驟 S45之#或之後,尚可選擇性地進行步驟S44或S46 (可 兩者擇―’或皆省略之,當然也可兩者皆採),其中對於物 件間的對應_,再做—次驗證。 于於物 可能f要驗證的纽如下。假設物狀對賴係是根 开>狀來建立,如第7圖所示,物件25、26之實際二唯开^ 體為圓柱體;物件25為第—圓柱體之頂面,物件 一圓柱體之侧面’而物件26為第二圓柱體之側面,物件 27為同一圓柱體之頂面。由於感測器的觀測角度、及實際 ^體的移動,造成時_ Τη時,物件25和27的形狀^ 近,且物件26與28的形狀十分相近。此時,系統可 能^判物件25和27姉應,_件26與28相對應。請 若僅有一個實際物體的角度變動時(例如僅有第一 圓柱體變動’而第二圓柱體不動)’因系統運算係在多個對 應關係組合中’選取差距值最低者,故此時並不會造成誤 判。僅有在兩個實際物體的移動恰巧造成相互對應 、 會造成誤判。 雖然這種誤娜形發生的可能絲低,但根據本發 明’可在步驟S45進行運算產生三維資訊之前,先審慎^ 驗證二維物件之間的對應關係。驗證的方法,例如可先求 出各二維物件之重心,並檢查各組具有對應關係的二維物 件,其重心距離是否為最近。在第7圖的例子中,當將左 右兩感測器取得的二維影像疊置時,物件25和28 :重心 200810814 位置最接近,_件26與27㈣雜置最接近,故系統 可據此重建對細係。重建對賴係之後,再重新給予標 記0 上述根據重心位置是否接近來做判斷,僅為驗證方法 之-而已。其他方法也是可行的,例如可各組具有對 應關係的二維物件之重疊面積,是否在所有可能的對應關 係中,面積最大;或如絲林是根卿絲建立對應關 係’則此時便可根據形狀是研絲檢麵有對應關係。 如不在步驟S45之前進行步驟S44的驗證,則亦可在 步驟S45之後,於已產生三維資訊後,檢查原先所給的二 維物件標記,與三維物件是軸符(步驟撕)。如不符合, 卽重新建立對應_並重新進行三維資訊的計算。如^ 述’步驟S44和S46 ’可兩者取一,或皆省略,或皆 (但實用上,僅採其一應已非常足夠)。 本發明之前述各種實施方法,其硬體電路,可用第8A 或8B圖所示的做法來達成。先參閱第8八圖,左右 器肌、所感測到的影像,各別傳送給對應的物=萃 取電路82L、S2R (物件萃取電路例如可為分析亮度的電 路),並將物件萃取電路所產生的物件魏,傳送給對應的 處理器L處理器可以是任何具有資料運算魏的 電路’例如可歧CPU、MCU、DSP、麵是ASIC。感 測器、物件萃取電路和處理ϋ可以各自為—個積體電路二 =者整合成—個積體電路,或如圖所示,將感測器與物 件卒取電路整合成-個積體電路8GL、8GR,而處理器單獨 15 200810814 為一個積體電路。在第8A _示的安排 器之—(例如83L),將其運算所得的二維資_;=理 ==t:3R2’而後者針對對應的二維物 斤產生一維貝5孔,並透過輸出介面86予以 取j 8B圖所示為糾一種硬體縣,其中經過;取後 ▲=的—維物件㈣傳送給同—個處理器糾,在談卢 °十异產生二維貧訊,並透過輸出介面86予以輪出^ 仃 如前所述,與先前技術相較,本發 義物件的形狀,且物件之使用也無色差條件= 從上述硬體電路架構,可看出本發明尚有—個重要的 點^第8A圖的兩處理器83L、說之間,或第8β圖戶= :=觀、歡和處理11之間,由於只需要傳遞少量 你次,資1^ I甚至更少置的特徵資訊(而非複雜的整個影 像貧訊)’故其傳送和接收介面(通訊介面)所需的頻寬报 低,而處理速度很高。例如,在影像取樣率的_&拙卜 200 F/Sec的情況下,每張影像的物件資訊少於工㈨ Byte/sec ’因此頻寬僅需2〇KByte/see。尤其,若__ 明的最佳實麵態,朗紅外線發光源、以亮度方式來萃 取物件、並搭配重心計算與物件標記,更可大幅減輕硬體 負擔不但是傳送接收介面,也可將處理麟需的計算量 降至最低。因此,如前所述,處理器未必需要採用高階的 =PU、MCU、DSP,而甚至可用ASIC來製作。所述通訊 介面,圖中並未示出,可獨立設置在第8A圖的兩處理器 83L、83R之間,或也可整合在處理器83l、83R之内,或 16 200810814 iir^:rr8〇R^ 動系錢路,可建構各獅式的互 91L、91R設置在螢幕L ^。在第9圖中’是將發光源
躲0的一端’而將感測器92L、92R =置=持機組93的一端。(發光源以紅外線發光源較 麟二,又,圖中顯示兩個發光源,僅是舉例,發光源 f要—個。)第1G射,是將發光源91L、 设置在手持機組93的一端,而將感測器92L、92R設 =螢幕9G的-端。以上_方式中,發光源與感測器係 刀叹於-個空間區域的兩端。第u圖中,則是將發光源 91L、91R與感測器92L、92R皆設置在勞幕%的一端, 而手持機組93上僅需要具伽反光材質製成的反光區塊 ,即可。反光區塊94可以為-塊或多塊,且形狀不拘。 第11圖所不的安排方式,更具有一項優點,此即手持機組 93元全不需要電源,較先前技術更佳。 本發明之互動系統可應用於各種遊戲平台,亦可供作 為二維指標裝置,例如作為pDA、手機、筆記型電腦等攜 V式裝置的輸入裝置,或是應用於任何需要追縱三維物體 位置變化的裝置。 以上已針對較佳實施例來說明本發明,唯以上所述 者’僅係為使熟悉本技術者易於了解本發明的内容而已, 並非用來限定本發明之權利範圍。對於熟悉本技術者,當 可在本發明精神内,立即思及各種等效變化。舉例而言, 17 200810814 均:兩:f測器為例’但當然也可使用兩個以上 上下配置。感測器係為右配置,但當然也可改為 而使用其他可擷取旦影像’故如不使用感測器, 所示之各電路當然亦屬可行。又, 路;除已經_者外,其他部分,也 里器之整合 等等。此外、輪出介面全部整合成一麵體電路, 有各種等效變化的崎幕或專屬遊歸幕等等, 之均黧缴扎七啟 此。故凡依本發明之概念與精神所為 : 或^飾,均應包括於本發明之申請專利範圍内。 【圖式簡單說明】 f 1A與1B圖示出先前技術所提,根據物件的二維位 決定其三維狀態的方法。 + ,2圖為本發财法的其巾—個實施例。 ^ 3圖舉例說明萃取出物件後,如何建立物件在空間上和 W間上的對應關係。 第从至4C圖說明如何將各組對應物件的二維資訊,娜 成二維的立體資訊。 弟5A與5B圖為本發明方法的另外一個實施例。 第6圖舉例制萃取出物件後,如何建立物件在空間上和 時間上的對應關係。 第7圖舉例說明可能造成對應關係誤判的情況。 18 200810814 第8A和8B圖示意顯示達成本發明的硬體電路實施例。 第9圖至第11圖示出使用本發明方法/電路之互動系統的 三個實施例。 【主要元件符號說明】 1,2, 3, 4, 5, 6, 7, 8 物件 11,12, 13, 14, 15, 16, 17, 18 物件 25, 26, 27, 28 物件 S21-S24 步驟 S31-S34 步驟 S41-S46 步驟 80L、80R積體電路 81L、81R感測器 82L、82R物件萃取電路 83L、83R處理器 84處理器 86輸出介面 90螢幕 91L、91R發光源 92L、92R感測器 93手持機組 94反光區塊 19

Claims (1)

  1. 200810814 十、申請專利範圍: 1.—種用以產生三維立體資訊的互動系統,包含: 、至少兩個影像擷取單元,用以個別掏取類比影像,經 ,類比數位轉換而產生數位二維影像,射細影像擁ς 2間之距離、與該兩影像擷取單元各自之聚焦距離為已 物件萃取裝置,其接收該兩縣練單元所個別榻取 之數位一維影像,並萃取其中之物件資訊; 處理裝置,其根據物件資訊與該兩影像擷取單元間之 =離、與該兩影細取單元各自之聚焦轉,而產生三維 負訊;以及 輸出介面,用以輸出該三維資訊。 L如申請專利範圍第!項所述之產生三維立师訊的互 動糸統,更包含有發光源。 且該至少兩個影 \如申請專利麵第2項所述之產生三維立體資訊的互 動系統,其中該發光源為紅外線發光源 像擷取單元係擷取紅外線亮度影像。 4.如申請專利範圍第2項所述之產生三維 動系統’針紐統與魅少_影雜料 於一個空間區域的兩端。 L如申請專利範圍第4項所述之產生三維立體資訊的互 糸統,其巾該互械統包含有—個手持機組,其上設有 該發光源、或該至少兩個影像擷取單元。 、 t如申請專利細第2項所述之產生三維立體資訊的互 '、統’其中該發光源與該至少兩個影像擷取單元係設於 20 200810814 -個空間區域的同-端1互動祕另包括有反光區塊, 設於該空間區域的另一端。 7·如申請專利範圍第6項所述之產生三維立體資訊的互 動系統,財該互動系統包含有一個手持機組,前述反光 區塊設於其上。 8· /如申請專利範圍第1項所述之產生三維立體資訊的互 動系統,其巾該物件萃取裝置包含至少兩解元,分別盘 該至少兩個影像擷取單元對應搭配。 ^ • 7 τ岣寻利軌圍第8項所述之產生三維立體資訊的互 動系統,其中該至少兩個物件萃取裝置單元,分別與對應 之該至兩個影像擷取單元,個別整合成積體電路。 ^如申請專利範圍第i項所述之產生三維立體資訊的互 糸統’其巾該物件萃取裝置根據以下方式之―來萃取物 =根據影像的顏色、根據影像的形狀、根據影像的面積、 像的局部亮點/暗點密度、根據影像的亮度、根據 心、、文理、或以上兩者以上之综合。 2申請專利範圍第1項所述之產生三維立體資訊的互 /、、、、,更包含有一個具有低頻寬的通訊介 ,理裝置與該物件萃取裝置之間,或整合在處理= 利細第1項所述之產生三維立體資訊的互 少it 處理裝置包含至少兩個單元,分別與該至 *個衫像擷取單元對應搭配。 13·如申請專利範圍第12項所述之產生三維立體資訊的 21 200810814 該處理i置有訊介面,設置在 單元之内。 早之間或整合在其t-個處理裝置 動系Hi利補第8項所述之產生三維立體資訊的互 心:中轉理裝置包含至少兩個單元,分別食該至 少兩個物料取裝置單謂應魏。 刀U至 請,範圍第14項所述之產生三維立體資訊的 兮产理^ &含有—個具有低頻寬的軌介面,設置在 ίί^ 單元之間,或整合在射—個處理裝置 專利補第1項所述之產生三維立體資訊的互 =統,、其中該互_統為以下祕之—:遊戲用之互動 …或攜ΊΤ式電子裝置、或三維物體追縱裝置。 17次如申請專利細第11, 13或15項所述之產生三維立 體貧訊的互_統,其中所述具有低頻寬的通訊介面,其 頻九為20 KByte/sec或以下。 18· —種產生三維立體資訊的電子裝置,包含·· 至少兩個影細取單元,用以個別擷取類比影像,而 產生數位二維影像,其f該兩影細料元間之距離與各 自之聚焦距離為已知; ^ 物件萃取裝置,其接收該兩影雜取單元所個別操取 之數位二維影像,並萃取其中之物件資訊;以及 處理裝置,其根據物件資訊、該兩影像擷取單元間之 距離、與該兩影像擷取單元各自之聚焦距離,而產生三維 22 200810814 資訊。 π.如申請專利範圍帛ls項所述之產生三維立體資訊的 電子裝置,其t該物件萃取裝置包含至少兩個單元,'分別 與5亥至少兩個影像揭取單元對應搭配。 20.如申請專利範圍第19項所述之產生三維立體資訊的 電子裝置,其中該至少兩個物件萃取裝置單元,分別與對 應之該至少兩個影像#貞取單元,_整合成積體電路。、 如申料利翻第Μ項所述之產生三維立體資訊的 电子裝置’其巾該物件萃取裝置根據以下方式之一來萃取 物件:根據影像的顏色、根據影像的形狀、根據影像的面 積、根據影像的局部亮點/暗點密度、根據影像的亮度、 根據影像紋理、紅上兩相上之齡。 如申^專利細第18項所述之產生三維立體資訊的 “子裝置,更包含有一個具有低頻寬的通訊介面,設置在 =處理震置與該物件萃取裝置之間,或整合在處理裝置之 内。 =·如申請專利範圍第18項所述之產生三維立體資訊的 =子裝置,其中該處理裝置包含至少兩個單元,分別與該 至少兩個影像擷取單元對應搭配。 ^ Λ 電如申請專利範圍第23項所述之產生三維立體資訊的 兮I裝置,更包含有一個具有低頻寬的通訊介面,設置在 ,理裝置的兩個單元之間,或整合在其中—個處理裝置 早元之内。 25·如申請專利範圍第2〇項所述之產生三維立體資訊的 23 200810814 電子裝置,其中該處理裝置包含至少兩個單元,分別與該 至少兩個物件萃取裝置單元對應搭配。 26.如申請專利範圍第25項所述之產生三維立體資訊的 電子裝置,更包含有-個具有低頻寬的通訊介面,設置在 ^處理裝置的兩鮮元之間,或整合在其中—鑛理裝置 單元之内。 申請專利範圍第22, 24或26項所述之產生三維立 :fL的電子健,其中所述具有低頻寬的通訊介面,其 頻見為20 KByte/sec或以下。 28. -種以物件為基礎的三維立體資訊產生方法,包含·· 在第-時間點,對同一區域’取得至少兩個二維影 從该至少兩個二維影像中,個別萃取出物件資訊; 建立物件間之對應關係;以及 、° ’ 根據對應之物件,產生三維資訊。 影像在第二時間點’對同一區域,取得另外至少兩個二維 訊 從》亥另外至少兩個二維影像中,個別萃取出物件資 建立物件間之對應關係; 移 根據對應之物件,產生三維資訊;以及 比對第-時間點與第二時間點之三維資訊,決定位 24 200810814 30·如申請專利範園證 法,進-步包含.項所述之三維立娜產生方 之物件,料標記。生三轉訊之後,_三維資訊中 :,29項所述之三維立體資訊產生方 之物杜仏I』3在產生三維資訊之後,對該三維資訊中 點之三維且其中「比對第一時間點與第二時間 對象。、貝°」’係根據三維資訊之標記,而決定比對之 3法2.m_$ 28項所述之三維立體資訊產生方 給予標纪几3 ·在卒取出物件資訊之後,職二維物件, 法,%㈣32項所述之三維立訊產生方 /女’進一步包含: 影像在第二_點’對同—區域,取得另外至少兩個二維 訊;從該另外至少兩個二維影像中,個別萃取出物件資 根據前述物件標記,得職件讀細係;以及 根據對應之物件,產生三維資訊。 =·,如申請專利範圍第33項所述之三維立體資訊產生方 1 ’進-步包含:比對第—時間點與第二時 訊,決定位移。 〜一、,、算貝 ^.,Ϊ申凊專利範圍第33項所述之三維立體資訊產生方 步包含:在根據前述物件標記,得到物件對應關 25 200810814 係之後,驗證該對應關係是否正確。 範圍第35項所述之三維立體資訊產生方 方式之一來驗證對應關係··根據物件 置,驗料應關係是否為最接近者;或根據面積 重豐犯圍,魏軸_杉為重綠狀 邊數,驗證對簡係是料最接近者,·或以上兩者 綜合。 37.如憎專圍第33項所述之三維立體資訊產生方 法,進步包合.在第二時間點產生三維資訊之後,驗證 該三維資訊與標記是否相符。 38·如申請專利範圍第28項所述之三維立 法,其情述萃轉件資訊步驟雜據町方式之一來^ 取物件:根據影像_色、根據影像的形狀、根據影像的 面積、根據影像的局部亮點/暗點密度、根哀 度、根據影像紋理、或以上兩者以上之綜合。 、儿 39·如申凊專利範圍第28項所述之三維立體資訊產生方 法,其中所述萃取物件資訊步驟進一步包含··萃取出物 中之特徵資訊。 40·如申請專利範圍第39項所述之三維立體資訊產生方 法,其中所述物件特徵為以下之一:物件重心、物件邊界、 物件形狀、物件大小、物件特殊點、或以上兩者或兩者以 上之綜合。 41·如申請專利範圍第28項所述之三維立體資訊產生方 法,其中所述建立對應關係步驟係根據以下方式之一來建 26 200810814 立對應關係:根據物件的重心位置,取最接近者;或根據 面積重疊範圍,取重疊大者;或根據形狀邊數,取接近者; 或根據紋理,取紋理内容最接近者;或根據物件針對一預 設條件之符合情況;或以上兩者以上之綜合。 42.如申請專利範圍第28項所述之三維立體資訊產生方 法,其中所取得之二維影像為紅外線影像。 27
TW095130315A 2006-08-17 2006-08-17 Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same TW200810814A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW095130315A TW200810814A (en) 2006-08-17 2006-08-17 Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same
JP2007163863A JP5064902B2 (ja) 2006-08-17 2007-06-21 三次元立体データの生成方法
US11/879,114 US8605987B2 (en) 2006-08-17 2007-07-16 Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW095130315A TW200810814A (en) 2006-08-17 2006-08-17 Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same

Publications (2)

Publication Number Publication Date
TW200810814A true TW200810814A (en) 2008-03-01
TWI301418B TWI301418B (zh) 2008-10-01

Family

ID=39101485

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095130315A TW200810814A (en) 2006-08-17 2006-08-17 Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same

Country Status (3)

Country Link
US (1) US8605987B2 (zh)
JP (1) JP5064902B2 (zh)
TW (1) TW200810814A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI394097B (zh) * 2009-10-12 2013-04-21 Nat Univ Tsing Hua 移動物體的偵測方法以及偵測系統
CN103108200A (zh) * 2011-11-09 2013-05-15 晨星软件研发(深圳)有限公司 对立体影像的处理方法
US9008413B2 (en) 2011-10-27 2015-04-14 Mstar Semiconductor, Inc. Processing method for a pair of stereo images
US20220103801A1 (en) * 2018-02-28 2022-03-31 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2193311B1 (en) * 2007-09-21 2013-05-22 Koninklijke Philips Electronics N.V. Method of illuminating a 3d object with a modified 2d image of the 3d object by means of a projector, and projector suitable for performing such a method
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
CN102346020B (zh) * 2010-08-04 2013-10-23 原相科技股份有限公司 用于互动介面的三维信息产生装置与三维信息产生方法
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8836761B2 (en) * 2010-09-24 2014-09-16 Pixart Imaging Incorporated 3D information generator for use in interactive interface and method for 3D information generation
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US8951120B2 (en) * 2011-09-19 2015-02-10 Sony Computer Entertainment America Llc Systems and methods for calibration and biasing for game controller
TWI476706B (zh) 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統
CN104052913B (zh) * 2013-03-15 2019-04-16 博世(中国)投资有限公司 提供光绘效果的方法以及实现该方法的设备
EP3114647A2 (en) 2014-03-05 2017-01-11 Smart Picture Technology, Inc. Method and system for 3d capture based on structure from motion with simplified pose detection
US20160134860A1 (en) * 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US11138757B2 (en) 2019-05-10 2021-10-05 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278798B1 (en) * 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
JPH10111934A (ja) * 1996-10-03 1998-04-28 Oojisu Soken:Kk 3次元形状モデル作成方法及び媒体
JP4162817B2 (ja) * 1999-11-22 2008-10-08 本田技研工業株式会社 距離検出装置
JP2002159019A (ja) * 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI394097B (zh) * 2009-10-12 2013-04-21 Nat Univ Tsing Hua 移動物體的偵測方法以及偵測系統
US9008413B2 (en) 2011-10-27 2015-04-14 Mstar Semiconductor, Inc. Processing method for a pair of stereo images
CN103108200A (zh) * 2011-11-09 2013-05-15 晨星软件研发(深圳)有限公司 对立体影像的处理方法
CN103108200B (zh) * 2011-11-09 2016-03-02 晨星软件研发(深圳)有限公司 对立体影像的处理方法
US20220103801A1 (en) * 2018-02-28 2022-03-31 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
US11601635B2 (en) * 2018-02-28 2023-03-07 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images

Also Published As

Publication number Publication date
US8605987B2 (en) 2013-12-10
TWI301418B (zh) 2008-10-01
US20080044079A1 (en) 2008-02-21
JP2008048386A (ja) 2008-02-28
JP5064902B2 (ja) 2012-10-31

Similar Documents

Publication Publication Date Title
TW200810814A (en) Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same
CN101281422B (zh) 以对象为基础三维信息产生装置与方法及使用的互动系统
Deng et al. Deepfake Video Detection Based on EfficientNet‐V2 Network
Fan et al. 3D lighting-based image forgery detection using shape-from-shading
Rehman et al. SLNet: Stereo face liveness detection via dynamic disparity-maps and convolutional neural network
JP2022551139A (ja) 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム
TW201123083A (en) Method and system for providing augmented reality based on marker tracing, and computer program product thereof
CN103578093B (zh) 图像配准方法、装置及增强现实系统
TW201220844A (en) Projector
CN109754461A (zh) 图像处理方法及相关产品
JP2012221261A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
WO2017022901A1 (ko) 3차원 점군 데이터에 기반한 치수 측정 장치 및 방법
CN101866496B (zh) 基于同心圆环图案组的增强现实方法
TWM364920U (en) 3D human face identification device with infrared light source
CN110720105A (zh) 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质
CN204270360U (zh) 书画艺术品真迹鉴定仪
WO2010082226A1 (en) Pointing device, graphic interface and process implementing the said device
CN117197405A (zh) 三维物体的增强现实方法、系统及存储介质
CN104966307A (zh) 一种基于实时跟踪的ar算法
CN117392079A (zh) 外观缺陷检测方法、装置、视觉检测系统和电子设备
Li et al. A dual-modal face anti-spoofing method via light-weight networks
CN116912331A (zh) 标定数据生成方法、装置、电子设备及存储介质
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN114663929B (zh) 基于人工智能的脸部识别方法、装置、设备和存储介质
Wu et al. Detecting image forgeries using metrology