TWI434225B - Stereo Matching Method Using Quantitative Operation of Image Intensity Value - Google Patents

Description

運用影像強度值量化運算處理之立體匹配方法

本發明係有關於一種影像運算方法，特是指一種運用影像強度值量化運算處理之立體匹配方法。

立體影像之視覺要素即在於除了一般平面影像所具有的X軸和Y軸之外，還要針對影像中的物件有明顯的視覺深度，一般造成視覺深度之技術係藉由人類左、右眼之視覺角度略有差異，造成左、右眼所接收之影像略有小幅度的視覺差異，因而利用該視覺差異使大腦不自覺地自動相互補償融合，而形成的立體影像。現今立體影像之匹配技術一般為數位攝影測量和電腦視覺的核心技術，依現今立體影像之匹配技術，除了傳統直接依據整張影像資料執行立體匹配之外，更發展出的區域匹配運算技術，利用局部影像資料執行立體匹配而亦被廣泛地運用，如切割演算法、可信度傳遞演算法和動態規劃演算法等。其中切割演算法係依據一影像所包含之物件之所在區域進行分割，因而分別依據切割出的物件區域進行運算，以針對部分區域中的物件進行立體匹配，以讓物件於影像中具視覺深度；可信度傳遞演算法係將影像中每一像素視為圖形上之一節點，經計算每一節點以及其相鄰之近點間相互關係程，以針對局部影像之區域進行立體匹配，以讓物件於影像中具視覺深度；動態規劃演算法實際為一種遞迴運算，其不斷重複針對一影像區域中求得最佳解，以讓物件於影像中具視覺 深度。

由上述可知，區域匹配運算技術相對於整張影像資料執行立體匹配的演算法較為精準，但區域匹配運算技術在最後輸出匹配影像時，依據區域匹配運算結果結合未匹配之影像，以輸出匹配影像，因而相對提高了立體匹配的運算量，且區域匹配運算技術的運算時間與影像資料分配亦隨著運算量而大幅地增加，因此區域匹配運算技術雖然提高立體匹配之運算精準度，卻也提高了立體匹配影像之資料量並延長了立體匹配之運算時間。

為了改善上述立體匹配運算技術的運算效能，因而發展出了針對影像執行多次疊代的立體匹配運算技術，其一者為依據影像之解析度執行不同比例之壓縮，以對應調整成多種影像規格，而因應不同規格之尺寸需求，如將影像形成一影像金字塔(image pyramid)，或為另一者，將影像分割成多個區塊，而區分成前、後景，分別求得不同區域之視差資料後，再合併，以獲得最終影像處理結果，藉此改善立體匹配的運算量。

然而，無論是上述針對影像之解析度的處理，或者是將影像分割成多個區塊再行處理，皆為針對影像空間的影像運算處理方式，如此習知區域匹配技術僅改善影像匹配之運算效率，而習知區域匹配技術所處理之影像仍會大幅地增加資料量，且不便於影像資料傳輸與資料存取，例如：原始影像之資料量由500千位元組(KB)經習知立體匹配運算法匹配運算而增加資料量至2倍甚至16倍資料量不等，對於網路傳輸與資料存取而言，習知立體匹配之影像不便於網路傳輸，且資料存取的時間會相對延長，如此相當耗費時間，且資料存取上所需占用之儲存空間亦會增加，因而不便於立體匹配影像的運用，例如：數位攝影測量和電腦視覺， 特別是現今時下流行之立體視覺電影(即i-Max 3D電影)，即為現今廣為人知之電腦視覺應用，但立體匹配之大幅資料量將會造成民眾不便於家中觀賞來自網路或影音媒體的立體視覺電影。

因此，本發明即針對上述問題而提出一種運用影像強度值量化運算處理之立體匹配方法，可提供針對影像強度之立體匹配運算法，且可提供變量位元率之影像處理，以降低影像資料量，而方便於資料儲存與傳輸效率，以解決上述習知立體匹配運算法之問題。

本發明之一目的在於提供一種運用影像強度值量化運算處理之立體匹配方法，其利用影像對分別量化處理並區分層級，再行比較，以產生修正影像，用於影像之立體匹配，因而降低影像經立體匹配後的資料量。

本發明之另一目的在於提供一種運用影像強度值量化運算處理之立體匹配方法，其利用變量位元率之影像萃取方式，使影像匹配處理之運算過程中的運算量大幅地降低。

本發明係提供一種運用影像強度值量化運算處理之立體匹配方法，其提供一物件之一影像對至一電腦裝置；接續由電腦裝置依據該影像對進行影像強度量化處理，以藉由該影像對之影像強度量化處理所得之量化結果產生一第一萃取影像對；然後依據該第一萃取影像對之第一左影像與第一右影像產生一第一視覺差影像，接續藉由上述量化結果產生一第二萃取影像對，以接續依據該第二萃取影像對之第二左影像與第二右影像產生一第二視覺差影像；再由該第一視覺差影像與該第二視覺差影像之比較結果獲 得一影像誤差資料，並在影像誤差資料所包含之誤差小於一誤差門檻值時，輸出該第二視覺差影像，由於該立體匹配影像為變量位元率之編碼，以有效降低運算量。

100‧‧‧影像對

102‧‧‧左影像

104‧‧‧右影像

120‧‧‧量化結果

122‧‧‧第一量化結果

124‧‧‧第二量化結果

130‧‧‧第一萃取影像對

132‧‧‧第一左影像

134‧‧‧第一右影像

136‧‧‧第一視覺差影像

140‧‧‧第二萃取影像對

142‧‧‧第二左影像

144‧‧‧第二右影像

146‧‧‧第二視覺差影像

150‧‧‧影像誤差資料

152‧‧‧比較區域

第一A圖為本發明之一實施例之流程圖；第一B圖為本發明之一實施例之層級分別的示意圖；第一C圖為本發明之一實施例之萃取影像的示意圖；第一D圖為本發明之一實施例之視覺差影像的示意圖；第一E圖為本發明之一實施例之萃取影像的示意圖；第一F圖為本發明之一實施例之視覺差影像的示意圖；第一G圖為本發明之一實施例之影像誤差資料的示意圖；第二A圖為本發明之另一實施例之流程圖；以及第二B圖為本發明之另一實施例之流程圖。

茲為使 貴審查委員對本發明之結構特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：請參閱第一A圖，其本發明之一實施例之流程圖。如圖所示，本發明之立體匹配方法係應用於簡化立體匹配之影像資料量，以利於儲存與傳輸。本發明之立體匹配方法係包含：步驟S100：提供第一影像對至電腦裝置；步驟S110：進行量化運算處理，產生一量化結果；步驟S120：依據量化結果產生第一萃取影像對；步驟S130：依據第一萃取影像對產生第一視覺差影像； 步驟S140：依據量化結果產生第二萃取影像對；步驟S150：依據第二萃取影像對產生第二視覺差影像；步驟S160：依據第一視覺差影像與第二視覺差影像產生影像誤差資料；以及步驟S170：依據影像誤差資料所包含之誤差小於誤差門檻值，而輸出第二視覺差影像。

於步驟S100中，提供一物件之一影像對100(如第一B圖所示)至電腦裝置，其中該影像對100包含一左影像102與一右影像104，該影像對100為8位元編碼；按步驟S110所示，依據該第一影像對100之影像強度進行量化處理，以產生量化結果120，其如第一B圖所示，依據上述第一影像對100之影像強度分布進行一量化運算，以將該第一影像對100之每一像素具對應之影像強度值分成複數位元平面(bit plane)，即為本實施例之量化結果120，其中本實施例之該影像對100係以8位元編碼之灰階影像作為舉例，因此該影像對100之灰階值範圍為0至255，而該影像對100經量化運算後，電腦裝置即獲得8個位元平面，也就是從對應bit 0至bit 7之位元平面，且每一位元平面均為0與1的變化，其即為該影像對100之量化結果120，其如第一B圖所示，本實施例之量化結果120包含一第一量化結果122與一第二量化結果124，第一量化結果122即對應左影像102，第二量化結果124即對應於右影像104，其中第一量化結果122與第二量化結果124係分別如附件一所示，該些影像平面為不同影像強度之影像。如步驟S120所示，使用該電腦裝置依據上述量化結果120產生一第一萃取影像對130，其如第一C圖所示，電腦裝置依據量化結果120之第一量化結果122產生一第一左影像132，電腦裝置依據量化結果之第二量化結 果124產生一第一右影像134，其中第一左影像132與第一右影像134即為第一萃取影像對130，例如：依據量化結果120萃取bit 5-7之位元平面而形成第一萃取影像對130。

接續，按步驟S130所示，電腦裝置依據第一萃取影像對130產生一第一視覺差影像136，其如第一D圖所示，第一萃取影像對130之第一左影像132與第一右影像134之間係具有些微之視覺差，因此第一左影像132與第一右影像134之間基於視覺差而形成第一視覺差影像136，其記錄第一左影像132與第一右影像134之視覺差，其亦如附件二所示，由於左影像與右影像之視覺差，因而形成視覺差影像；如步驟S140所示，電腦裝置依據量化結果120產生一第二萃取影像對140，其如第一E圖所示，電腦裝置依據量化結果120之第一量化結果122產生一第二左影像142，且電腦裝置依據量化結果120之第二量化結果124產生一第二右影像144，其中第二左影像142與第二右影像144即為第二萃取影像對140，且第二萃取影像對140所採用之位元數係較多於第一萃取影像對130所採用之位元數，例如：依據量化結果120萃取bit 4-7之位元平面而形成第二萃取影像對140；再按步驟S150所示，電腦裝置依據第二萃取影像對140產生一第二視覺差影像146，其記錄第二左影像142與第二右影像144之視覺差。

接續上述，按步驟S160所示，電腦裝置依據第一視覺差影像136與第二視覺差影像146產生一影像誤差資料150，本實施例之影像誤差資料150係以圖形表示有一影像比較區域，即比較區域152，如此電腦裝置依據該第一視覺差影像136比較該第二視覺差影像146，取得一影像誤差資料150，記錄視覺差影像之間的誤差，其對應於比較區域152，也就是該影像誤差資料150包含至少一 比較區域152，以針對影像誤差進行增加位元率，所以本發明不需針對整張影像增加位元率；按步驟S170所示，轉換該影像誤差資料150用於與誤差門檻值進行比較，由於本實施例之電腦裝置係依據影像誤差資料150所包含之誤差低於誤差門檻值，因而輸出第二視覺差影像146，其中誤差門檻值為影像寬度之百分之十，較佳地電腦裝置設定誤差門檻值為影像寬度之百分之一，可進一步提高精確度，由於本實施例係要求，本實施例之電腦裝置所採用之誤差門檻值為影像寬度之百分之一。

由上述可知，本發明係利用兩組不同位元率之左、右影像所得之視覺差影像的比較，以產生視覺差誤差資料，用以針對較高位元之萃取影像的比較區域增加位元率，而產生經修改之視覺差影像，如此藉由視覺差影像之比較結果為低於誤差門檻值時，以輸出經修正後之萃取影像所對應之視覺差影像，進而達到較佳之立體匹配，也就是本發明係自量化結果中萃取影像而進行匹配，以降低匹配運算過程中所需之運算量，所以本發明既可達到立體匹配需求，更可降低資料量，以提高傳輸效率，又可降低匹配運算之運算量。

舉例來說，當電腦裝置取第一萃取影像對時，係以三位元為萃取位元，因此第一萃取影像對之灰階變化為0、32、64、96、128、160、192、224，當電腦裝置萃取第二萃取影像對時，係以四位元為萃取位元，因此第二萃取影像對之灰階變化為0、16、32、48、64、80、96、112、128、144、160、176、192、208、224、240之變化，而第二視覺差影像與第一視覺差影像相比較之結果為一影像誤差資料，而該影像誤差資料所包含之誤差為0，也就是第一視覺差影像與第二視覺差影像之間誤差，故，電腦裝 置輸出第二視覺差影像即可。如此電腦裝置處理影像之匹配運算處理時，無須接收完整之影像，即可進行匹配處理，因而提高匹配處理效率。

以下為本發明之視覺差影像經疊代收斂的舉例說明。

請參閱第二A圖，其本發明之另一實施例之流程圖，其中第一A圖與第二A圖之差異在於第二圖更包含一疊代收斂影像誤差資料之步驟。如圖所示，本發明之立體匹配方法更可藉疊代收斂影像誤差資料，以收斂誤差。本發明之立體匹配方法係包含：步驟S200：提供一影像對至電腦裝置；步驟S210：進行量化運算處理，產生一量化結果；步驟S220：依據量化結果產生第一萃取影像對；步驟S230：依據第一萃取影像對產生第一視覺差影像；步驟S240：依據量化結果產生第二萃取影像對；步驟S250：依據第二萃取影像對產生第二視覺差影像；步驟S260：依據第一視覺差影像與第二視覺差影像產生第一影像誤差資料；步驟S270：判斷第一影像誤差資料是否大於誤差門檻值；步驟S280：疊代收斂影像誤差資料直到影像誤差資料小於誤差門檻值為止，以輸出最後產生之視覺差影像；以及步驟S290：輸出第二視覺差影像。

於步驟S200中，提供一物件之一影像對至電腦裝置，其中該影像對包含一左影像與一右影像；於步驟S210中，電腦裝置依據該影像對之影像強度進行量化運算處理，以產生該影像對之量化結果，其中該影像對之量化結果包含該左影像之量化結果與該右影像之量化結果；按步驟S220所示，電腦裝置依據該影像對之左 、右影像之量化結果分別產生一第一萃取影像對之一第一左影像與一第一右影像；接續，按步驟S230所示，電腦裝置依據該第一萃取影像對產生第一視覺差影像，也就是依據該第一左影像與該第一右影像之比較產生該第一視覺差影像；按步驟S240所示，電腦裝置依據該影像對之左、右影像之量化結果分別產生一第二萃取影像對之一第二左影像與一第二右影像；按步驟S250所示，電腦裝置依據該第二萃取影像對產生第二視覺差影像，也就是依據該第二左影像與該第二右影像之比較產生該第二視覺差影像。

接續，如步驟S260所示，電腦裝置依據該第一視覺差影像與該第二視覺差影像產生一第一影像誤差資料；按步驟S270所示，轉換步驟S260所產生之第一影像誤差資料並進行判斷，判斷該第一影像誤差資料是否大於一誤差門檻值，也就是電腦裝置依據該誤差門檻值比較該影像誤差資料，當該第一影像誤差資料大於該誤差門檻值時，電腦裝置執行步驟S280，當該第一影像誤差資料並非大於該誤差門檻值，也就是該第一影像誤差資料小於或等於該誤差門檻值時，電腦裝置執行步驟S290，其中該第一影像誤差資料係記錄視覺差影像之比較區塊。

按步驟S280所示，電腦裝置疊代收斂步驟S260所產生之該影像誤差資料，以疊代至影像誤差資料小於誤差門檻值為止而輸出最後產生之視覺差影像，例如：比較至影像誤差資料所包含之誤差門檻值為影像寬度之百分之一；按步驟S290所示，由於第一影像誤差資料小於或等於誤差門檻值，所以電腦裝置直接輸出最後產生之第二視覺差影像。

如第二B圖所示，上步驟S280係包含：步驟S281：依據量化結果產生第三萃取影像對； 步驟S282：依據第一影像誤差資料修正第三萃取影像對，產生一修正萃取影像與一未修正萃取影像；步驟S283：依據修正萃取影像與未修正萃取影像產生第三視覺差影像；步驟S284：依據第三視覺差影像與第二視覺差影像產生第二影像誤差資料；步驟S285：判斷第二影像誤差資料是否大於誤差門檻值；步驟S286：輸出第三視覺差影像；步驟S287：重複步驟S281、S282、S283、S284，以產生第四視覺差影像，而接續比較第三視覺差影像，而產生第二萃取影像誤差資料；以及步驟S288：電腦裝置於第二萃取影像誤差資料小於誤差門檻值時輸出第四視覺差影像。

如步驟S281所示，其係電腦裝置先依據該影像對之量化結果產生較高位元之第三萃取影像對，如步驟S282所示，電腦裝置依據步驟S260所產生第一影像誤差資料修正第三萃取影像對之其中一影像，以產生一修正萃取影像與一未修正萃取影像，本實施例係以左影像做為參考影像，因此本實施例係修正第三萃取影像對之第三左影像，本實施例之修正萃取影像即為第三左影像之修正影像，本實施例之未修正萃取影像即為第三右影像，但本發明不限於此，當參考影像為右影像時，電腦裝置係依據第一影像誤差資料修正第三萃取影像對之第三右影像；按步驟S283所示，電腦裝置依據修正萃取影像與未修正萃取影像產生第三視覺差影像，也就是本實施例之電腦裝置係依據第三左影像之修正影像與第三右影像產生第三視覺差影像，其中第三視覺差影像記錄第三左影 像之修正影像與第三右影像的視覺差異。

接續，如步驟S284所示，電腦裝置依據第三視覺差影像與第二視覺差影像之比較產生一第二影像誤差資料；如步驟S285所示，電腦裝置判斷第二影像誤差資料是否大於誤差門檻值，當第二影像誤差資料小於或等於誤差門檻值時，執行步驟S286，當第二影像誤差資料大於誤差門檻值時，執行步驟S287；如步驟S286所示，電腦裝置輸出第三視覺差影像；如步驟S287所示，電腦裝置重複執行步驟S281、S282、S283、S284，以產生第四視覺差影像，而接續比較第三視覺差影像，而產生第二萃取影像誤差資料，也就是電腦裝置依據量化結果產生第四萃取影像對，並藉由第二影像誤差資料修正第四萃取影像對，用於產生第四視覺差影像，再以第四視覺差影像比較第三視覺差影像，而產生第三影像誤差資料；如步驟S288所示，電腦裝置於第三影像誤差資料小於誤差門檻值時，輸出第四視覺差影像，由於本實施例在產生第三影像誤差資料時，即獲得小於誤差門檻值之第三影像誤差資料，因此終止於步驟S288，倘若電腦裝置判斷第三誤差影像資料大於誤差門檻值時，則仍繼續產生下一萃取影像對，以依據前一影像誤差資料修正下一萃取影像，然後以修正之萃取影像對產生下一視覺差影像，再由下一視覺差影像比較前一視覺差影像，獲得下一影像誤差資料，之後，再行判斷下一影像誤差資料是否大於誤差門檻值，而判斷是否繼續疊代步驟，藉此可經由設定誤差門檻值，而調整輸出之視覺差影像之精確度。

由上述可知，本發明係利用不同位元率之萃取影像對所生成之視覺差影像的比較，以產生影像誤差資料，用以修正較高位元之萃取影像對的局部影像，用以繼續匹配，且更藉由疊代收斂將 影像誤差資料之影像誤差區域逐次減少，因而降低匹配過程中，所需之運算量，如此藉由視覺差影像之比較與修正，以及藉由疊代收斂完善視覺差影像，以降低運算過程中所需之運算量，所以本發明既可達到立體匹配需求，更可降低資料量，以提高傳輸效率，並改善資料存取效率。

因此，本發明可藉由立體匹配影像之低資料量與低運算量，應用於目前時下較熱門且影像處理技術多之攝影技術與相關設備，再者，本發明所提供之高動態範圍影像(High Dynamic Range Image)，也就是具變量位元率(variate bit rate)之影像為未來影像處理的趨勢。

綜上所述，本發明之運用量化與視差之立體匹配方法，主要係藉由視覺差影像建立影像誤差資料，以用於局部影像之位元率修正，再者，利用疊代收斂，以逐次增加比較區域之區塊大小及位元率，本發明藉此可得以下優點：一、藉由二值化地圖修正局部影像之位元率，以用於立體匹配，可大幅地降低修正過程中的運算量；以及二、藉由疊代收斂之方式，而逐次增加修正，以大幅地降低總資料量。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (8)

1. 一種運用影像強度值量化運算處理之立體匹配方法，其包含：提供一物件之一影像對至一電腦裝置；該電腦裝置依據該影像對進行一影像強度值量化處理，以產生該影像對之一量化結果；該電腦裝置依據該量化結果產生一第一萃取影像對，該第一萃取影像對包含一第一左影像與一第一右影像；該電腦裝置依據該第一左影像與該第一右影像形成一第一視覺差影像；該電腦裝置依據該量化結果產生一第二萃取影像對，該第二萃取影像對包含一第二左影像與一第二右影像；該電腦裝置依據該第二左影像與該第二右影像形成一第二視覺差影像；以及該電腦裝置依據該第一視覺差影像與該第二視覺差影像之一視覺比較結果而產生一第一影像誤差資料，當該第一影像誤差資料所包含之誤差小於或等於一誤差門檻值時，該電腦裝置輸出該第二視覺差影像。
2. 如申請專利範圍第1項所述之立體匹配方法，其中依據該電腦裝置依據該影像對進行一影像強度量化處理，以產生該影像對之一量化結果之步驟，係依據該影像對之一灰階分布結果進行量化處理，因而產生一第一量化結果與一第二量化結果，該第一量化結果與該第二量化結果分別對應於該影像對之一左影像與一右影像 。
3. 如申請專利範圍第1項所述之立體匹配方法，其中該第一量化結果與該第二量化結果分別為複數位元平面(bit plane)。
4. 如申請專利範圍第1項所述之立體匹配方法，其中該電腦裝置依據該第一視覺差影像與該第二視覺差影像之一視覺比較結果而產生一第一影像誤差資料之步驟後，更包含：轉換該影像誤差資料，其包含至少一影像比較區域，以與該誤差門檻值進行比較。
5. 如申請專利範圍第1項所述之立體匹配方法，其中該電腦裝置依據該第一視覺差影像與該第二視覺差影像之一視覺比較結果而產生一影像誤差資料之步驟，係依據該第一視覺差影像比較該第二視覺差影像，獲得該第一視覺差影像與該第二視覺差影像之間的視覺差差異，以依據該第一視覺差影像與該第二視覺差影像之間的視覺差差異產生該影像誤差資料。
6. 如申請專利範圍第1項所述之立體匹配方法，當該影像誤差資料所包含之誤差大於該誤差門檻值時，更包含：該電腦裝置依據該量化結果產生一第三萃取影像對；該電腦裝置依據該第一影像誤差資料修正該第三萃取影像對，以產生一修正萃取影像與一未修正萃取影像；該電腦裝置依據該修正萃取影像與該未修正萃取影像產生一第三視覺差影像；以及該電腦裝置依據該第三視覺差影像與該第二視覺差影像產生一第二影像誤差資料；其中，當該第二影像誤差資料所包含之誤差大於該誤差門檻值時，該電腦裝置重複依序執行上述之步驟而產生一第三萃取影像對 並對應產生一第四視覺差影像，接續依據該第四視覺差影像比較該第三視覺差影像而產生一第三影像誤差資料，以在該第三影像誤差資料小於該誤差門檻值輸出該第四視覺差影像，當該第二影像誤差資料所包含之誤差小於該誤差門檻值時，輸出該第三視覺差影像。
7. 如申請專利範圍第1項所述之立體匹配方法，其中該誤差門檻值為該影像對之影像寬度的百分之一。
8. 如申請專利範圍第1項所述之立體匹配方法，其中該第一萃取影像對與該第二萃取影像對係不同之萃取位元率。