[go: up one dir, main page]

TWI637350B - 產生視差圖的方法及其影像處理裝置與系統 - Google Patents

產生視差圖的方法及其影像處理裝置與系統 Download PDF

Info

Publication number
TWI637350B
TWI637350B TW107100837A TW107100837A TWI637350B TW I637350 B TWI637350 B TW I637350B TW 107100837 A TW107100837 A TW 107100837A TW 107100837 A TW107100837 A TW 107100837A TW I637350 B TWI637350 B TW I637350B
Authority
TW
Taiwan
Prior art keywords
reduced
pixel
image
original
parallax
Prior art date
Application number
TW107100837A
Other languages
English (en)
Other versions
TW201931312A (zh
Inventor
李崇瑋
何明哲
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW107100837A priority Critical patent/TWI637350B/zh
Priority to CN201810151256.0A priority patent/CN110021055B/zh
Priority to US16/027,268 priority patent/US11024048B2/en
Priority to JP2018179635A priority patent/JP6838021B2/ja
Application granted granted Critical
Publication of TWI637350B publication Critical patent/TWI637350B/zh
Publication of TW201931312A publication Critical patent/TW201931312A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種產生視差圖的方法及其影像處理裝置與系統，此方法包括下列步驟。利用第一、第二影像感測器，擷取特定場景的影像，以產生兩張原始影像。針對兩張原始影像進行縮小處理，以產生兩張縮小影像。利用兩張縮小影像，產生縮小視差圖。針對縮小視差圖進行放大處理，以產生放大視差圖。根據放大視差圖的放大視差值的信賴度，產生精細視差圖。

Description

產生視差圖的方法及其影像處理裝置與系統
本發明是有關於一種影像處理的方法及其影像處理裝置與系統，產生視差圖的方法及其影像處理裝置與系統。
隨著影像處理技術的發展，立體視覺的應用領域極為廣泛，舉凡結構光、立體影像、距離偵測、安全監控等皆常見其應用。一般而言，立體視覺可包括兩個階段，第一階段先利用深度攝影機、立體攝影機或是利用相關演算法來產生深度資訊，而第二階段再利用深度資訊來產生立體影像。由此可知，為了產生立體視覺體驗較佳的影像，準確的深度資訊極為重要。
立體視覺的深度計算方法是從左右兩影像中找出相同物體，再根據物體於左右影像中的位置差異，即視差（disparity），計算出物體的距離。以演算法來說，解析度越高的影像可算出越精細的視差，也就是所計算出來的距離更為準確，但相對的計算量以及時間也大幅增加。
有鑑於此，本發明提供一種產生視差圖的方法及其影像處理裝置與系統，其可在不失去精確度的前提下，以低成本以及高效率的方式計算拍攝場景的視差圖，以助於提升後續立體視覺應用的效能。
在本發明的一實施例中，上述的方法適用於具有第一影像感測器以及第二影像感測器的系統，並且包括下列步驟。首先，利用第一影像感測器以及第二影像感測器，擷取特定場景的影像，以分別產生第一原始影像以及第二原始影像。針對第一原始影像以及第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像。利用第一縮小影像以及第二縮小影像，產生縮小視差圖，其中縮小視差圖包括多個縮小視差值。針對縮小視差圖進行放大處理，以產生放大視差圖，其中放大視差圖包括多個放大視差值。根據判斷各個放大視差值的信賴度，產生第一原始影像以及第二原始影像的精細視差圖。
在本發明的一實施例中，上述的系統包括第一影像感測器、第二影像感測器、記憶體以及處理器，其中處理器連接於第一影像感測器、第二影像感測器以及記憶體。第一影像感測器以及第二影像感測器用以擷取影像。記憶體用以儲存影像以及資料。處理器用以執行下列步驟：利用第一影像感測器以及第二影像感測器，擷取特定場景的影像，以分別產生第一原始影像以及第二原始影像；針對第一原始影像以及第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像；利用第一縮小影像以及第二縮小影像，產生縮小視差圖，其中縮小視差圖包括多個縮小視差值；針對縮小視差圖進行放大處理，以產生放大視差圖，其中放大視差圖包括多個放大視差值；以及根據判斷根據各個放大視差值的信賴度，產生第一原始影像以及第二原始影像的精細視差圖。
在本發明的一實施例中，上述的影像處理裝置包括記憶體、通訊介面以及處理器，其中處理器連接於記憶體以及通訊介面。記憶體用以儲存影像以及資料。通訊介面用以提供影像處理裝置與第一影像感測器以及第二影像感測器連接。處理器用以執行下列步驟：自第一影像感測器以及第二影像感測器取得所分別擷取到的特定場景的第一原始影像以及第二原始影像；針對第一原始影像以及第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像；利用第一縮小影像以及第二縮小影像，產生縮小視差圖，其中縮小視差圖包括多個縮小視差值；針對縮小視差圖進行放大處理，以產生放大視差圖，其中放大視差圖包括多個放大視差值；以及根據判斷各個放大視差值的信賴度，產生第一原始影像以及第二原始影像的精細視差圖。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、影像處理裝置與系統的範例。
圖1是根據本發明一實施例所繪示的產生深度資訊的系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，系統100包括第一影像感測器110、第二影像感測器120、記憶體130以及處理器140。在本實施例中，系統100可以是將第一影像感測器110、第二影像感測器120、記憶體130以及處理器140整合為單一裝置（all-in-one）的影像擷取裝置，例如是具有雙鏡頭的數位相機、單眼相機、數位攝影機、智慧型手機、平板電腦等等。
在本實施例中，第一影像感測器110以及第二影像感測器120為包括透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件。鏡頭所擷取到的影像將成像於感測元件並且轉換成數位訊號，以輸出至處理器140。
記憶體130用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。
處理器140用以控制系統100的構件之間的作動，其可以例如是中央處理單元（central processing unit，CPU）、圖形處理單元（graphic processing unit，GPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。
必須說明的是，在另一實施例中，記憶體130以及處理器140可以是個人電腦、筆記型電腦、智慧型手機、平板電腦等具有影像處理功能的電子裝置，並且經由通訊介面（未繪示）以有線或無線的方式接收第一影像感測器110以及第二影像感測器120以不同角度所拍攝到特定場景的影像來產生視差圖。在此實施例中的第一影像感測器110以及第二影像感測器120可以是設置於同一裝置，亦可以為不同裝置，本發明不在此設限。
以下即列舉實施例說明針對系統100產生雙鏡頭的方法的詳細步驟。在以下的實施例中將以系統100實作成雙鏡頭的影像擷取裝置來進行說明。
圖2為根據本發明之一實施例所繪示的產生視差圖的方法流程圖。
請同時參照圖1以及圖2，首先，處理器140將利用第一影像感測器110以及第二影像感測器120擷取特定場景的影像，以分別產生第一原始影像以及第二原始影像（步驟S202）。詳細來說，處理器140分別利用第一影像感測器110以及第二影像感測器120所擷取的第一原始影像以及第二原始影像為利用不同視角針對同一場景所擷取的兩張影像。在此，第一影像感測器110以及第二影像感測器120例如是採用相同的攝像參數擷取影像，然而本發明不在此設限。
接著，處理器140將針對第一原始影像以及第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像（步驟S204）。在此，處理器140會以相同的縮放比例來針對第一原始影像以及第二原始影像進行縮小處理。舉例來說，當第一原始影像以及第二原始影像的水平軸以及垂直軸分別縮小50%時，縮放比例則為25%。在此縮小處理的方式可以是先分別計算出第一原始影像以及第二原始影像中的每個像素的像素值（以下稱為「第一原始像素」以及「第二原始像素」），再利用最近插值法（nearest neighbor interpolation）、雙線性插值法（bilinear interpolation）、雙立方插值法（bicubic interpolation）、面積插值法（area-based interpolation）等方式將數個像素合併成一個新的像素，藉此取得縮小後的影像，即前述的第一縮小影像以及第二縮小影像。
接著，處理器140將利用第一縮小影像以及第二縮小影像，產生縮小視差圖（步驟S206），其中縮小視差圖是以第一縮小影像為基底所產生並且包括多個縮小視差像素，各個縮小視差像素具有縮小視差值。在此，處理器140將針對第一縮小影像以及第二縮小影像的每一個像素（以下稱為「第一縮小像素」以及「第二縮小像素」）進行分析，以計算出各個第一縮小像素相對於第二縮小影像的視差值，從而產生以第一縮小影像為基底的縮小視差圖。在另一實施例中，處理器140亦可以是以第二縮小影像為基底來產生縮小視差圖，本發明不在此設限。
接著，處理器140將針對縮小視差圖進行放大處理，以產生放大視差圖（步驟S208），其中放大視差圖包括多個放大視差像素，各個放大視差像素具有放大視差值，放大視差值是根據縮小視差值所產生。在此，處理器140會將縮小視差圖放大還原回與第一原始影像以及第二原始影像至相同大小的尺寸。舉例來說，當縮小視差圖的水平軸以及垂直軸分別放大2倍時，縮小視差圖中的縮小視差值也會隨著放大約2倍。
然而，利用第一縮小影像以及第二縮小影像來產生縮小視差圖，並且再將縮小視差圖放大來取得對應於第一原始影像以及第二原始影像的視差圖的方式雖然可大幅縮短運算量以及時間，但由於放大視差圖中的放大視差值並不是基於第一原始影像以及第二原始影像來計算，因此放大視差圖中所得到的場景分布與實際場景分布有所落差而造成視差值的準確度降低。
基此，處理器140將根據第一原始影像以及第二原始影像，判斷各個放大視差值是否可信賴（步驟S210），而處理器140會依據各個放大視差值是否可信賴的判定結果來產生第一原始影像以及第二原始影像的精細視差圖。在本實施例中，處理器140判斷各個放大視差值是否可信賴的方式可以是基於第一原始影像以及第二原始影像中所對應的相關畫素的相似度來判斷。接著，處理器140將針對可信賴的放大視差值，根據第一搜尋範圍取得對應的精細放大視差值，並且針對不可信賴的放大視差值，根據第二搜尋範圍取得對應的替換放大視差值（步驟S212），其中第一搜尋範圍小於第二搜尋範圍。
舉例來說，假設放大視差圖中存在一個「目前放大視差像素」，其是對應於第一原始影像中的第一目前原始像素以及第二原始影像中的第二目前原始像素。處理器140可以判斷第一目前原始像素與第二目前原始像素是否相似，藉以判斷目前放大視差像素的放大視差值是否可信賴。
若目前放大視差像素的放大視差值可信賴，則處理器140可以進一步地以第一搜尋範圍來更精細地調整目前放大視差像素的放大視差值。在此所謂的調整放大視差值事實上是在第二目前原始像素的鄰近區域中搜尋另一個對應的第二原始像素來做為調整後的第二目前原始像素。舉例來說，處理器140可以於第二目前原始像素的第一搜尋範圍內尋找與第一目前原始像素相似度最高的第二原始像素，以做為新的第二目前原始像素，而第一目前原始像素與第二目前原始像素之間的視差值將做為目前放大視差像素調整後的放大視差值，其中第一搜尋範圍是基於縮小視差圖與放大視差圖之間的放大比例以及縮小視差像素的縮小視差值來設定。詳細的設定方式將於後續實施例中完整敘明。
若目前放大視差像素的放大視差值不可信賴，則處理器140將進一步地以第二搜尋範圍搜尋可直接替代目前放大視差像素的放大視差值。舉例來說，處理器140可以於第二目前原始像素的第二搜尋範圍內尋找與第一目前原始像素相似度最高的第二原始像素，以做為新的第二目前原始像素，而第一目前原始像素與第二目前原始像素之間的視差值將做為目前放大視差像素調整後的放大視差值，其中第二搜尋範圍可以是於第二目前原始像素的一個預定區域（例如0～64），也就是說不再參考縮小視差像素的縮小視差值來設定。
之後，處理器140將利用所有精細放大視差值以及所有替換放大視差值，產生精細視差圖（步驟S214）。如此一來，相較於放大視差圖，在此的精細視差圖可以在縮小視差圖還原回原尺寸後，解決視差值精度不足的問題，從而達到更有效率且更為精確的深度估測，以提升後續立體視覺應用的效能。
為了更方便明瞭，以下將以圖3根據本發明之一實施例所繪示的產生視差圖的方法流程圖以及圖4A～圖4G根據本發明之一實施例所繪示的產生視差圖的方法示意圖來具體地說明圖2的實作方式以及細節，而圖3以及圖4A～圖4G的方法流程亦可以系統100來實現。
在進入圖3的流程之前，在此假設處理器140已利用第一影像感測器110以及第二影像感測器120擷取特定場景的影像，以分別產生第一原始影像以及第二原始影像，並且針對第一原始影像以及第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像，以及利用第一縮小影像以及第二縮小影像，產生縮小視差圖。
以圖4A為例，假設第一原始影像L以及第二原始影像R分別沿著水平軸以及垂直軸縮小50%，則縮放比例為25%。也就是說，假設第一原始影像L以及第二原始影像R有16個像素時，第一縮小影像L’以及第二縮小影像R’則分別會有4個像素。在此的第一原始影像L左上的四個像素A1～A4（以下稱為「第一原始像素A1～A4」）在經過縮小處理後，將會成為縮小影像L’左上的像素a（以下稱為「第一縮小像素a」）。雖然處理器140使用第一縮小影像L’以及第二縮小影像R’來計算深度圖可大幅地縮短運算量以及時間，但所產生的縮小視差圖DM’中的視差值da～dd（以下稱為「縮小視差值da～dd」）事實上是基於像素合併後的第一縮小像素a～d所計算出的視差值，並不是基於第一原始像素A1～D4所計算出的視差值，因此在原始像素合併的過程中，不同物件的邊緣像素往往會影響視差值的準確度，因此需要以圖3所提出的方法流程來估算出第一原始像素A1～D4的實際視差值。
請參照圖3，處理器140在取得縮小視差圖後，將判斷縮小視差像素是否可信賴（步驟S302），以解決邊緣像素合併的問題。以圖4A的例子來說，假設第一原始像素A1為背景像素，而第一原始像素A2～A4為前景像素，即代表第一原始像素A1為背景區域的邊緣，而第一原始像素A2～A4為前景區域的邊緣。因此，第一縮小像素a的像素值（以下稱為「第一縮小像素值a」）則會較接近於前景，因此第一縮小像素a則會被視為前景區域，因此所對應到的縮小視差值da對於第一原始像素A1來說是錯誤資訊，也就是不可信賴。因此，在此步驟中，處理器140判斷縮小視差像素是否可信賴的方式可以是比較各個第一縮小像素分別與對應的第一原始像素的相似度，藉以判斷第一縮小像素是否可信賴。
以第一原始影像L為例，第一縮小像素a將與第一原始像素A1～A4的像素值分別進行相似度比較，而像數值可以是色彩值或是灰階值。舉例來說，假設灰階值的絕對值差值小於5，或者是RGB的絕對值差值皆小於5即代表高相似度。假設第一縮小像素a與第一原始像素A2～A4具有高相似度，即代表第一縮小像素a是可信賴的，也就是說縮小前後的第一原始像素A2～A4以及第一縮小像素a對應於拍攝場景中的相同物體（例如都是前景物體）。假設第一縮小像素a與第一原始像素A1不具有高相似度，即代表第一縮小像素a是不可信賴的，也就是說縮小前後的第一原始像素A1以及第一縮小像素a對應於拍攝場景中的不同物體（例如第一原始像素A1是背景，而第一縮小像素a是前景物體）。
當處理器140判定縮小視差像素可信賴時，將判斷放大視差圖中所對應的放大視差像素的放大視差值是否可信賴（步驟S304）。在此，處理器140可以根據放大視差值以及對應於放大視差值的第一原始像素以及第二原始像素的相似度，藉以判斷第一縮小像素是否可信賴。
以圖4A中的縮小視差值da為例，處理器140在針對縮小視差圖DM’進行放大處理後，其所對應的放大視差值將為nda。假設處理器140是以縮放比例為2來對縮小視差圖DM’的水平軸進行放大處理時，則放大視差值將為2da。接著，處理器140將以第一原始影像L的第一原始像素A2～A4根據放大視差值2da，在第二原始影像R找到對應的第二原始像素。如圖4B中的第一原始影像L的第一原始像素A2為例，處理器140會在第二原始影像R中取得間隔2da的對應第二原始像素RA2。接著，處理器140會將第一原始像素A2～A4與第二原始像素RA2～RA4的像素值進行相似度比較，而像數值可以是色彩值或是灰階值。在本實施例中，假設對應的第一原始像素A2與第二原始像素RA2的灰階值的絕對值差值小於5，或者是RGB的絕對值差值皆小於5即代表相似度高。在另一實施例中，亦可以第一原始像素A2為中心圍出一個區域（在此稱為「第一區域」），並且又以第二原始像素RA2為中心圍出另一個區域（在此稱為「第二區域」），並且比對兩個區域中對應像素的相似度。假設在此兩個區域中，有一定比例以上的對應像素相似（例如70%的對應像素的灰階值的絕對值差值小於5，或者是RGB的絕對值差值皆小於5），則判定第一原始像素A2與第二原始像素RA2的相似度高。假設第一原始像素A2與第二原始像素RA2的相似度高，即代表放大視差值2da是可信賴的。假設第一原始像素A3與第二原始像素RA3的相似度低，即代表放大視差值2da是不可信賴的。
當處理器140判定放大視差像素的視差值是可信賴時，將以第一搜尋範圍搜尋出精細放大視差值（步驟S306），據以建構精細視差圖（步驟S308），以解決精度不足的問題。如表1所示，在此所謂的精度不足是指縮小視差值在放大回放大視差值時（例如da放大回nda時），會有空白視差值，也就是沒有使用到的視差值。 <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 縮小視差值 </td><td> 放大視差值 </td></tr><tr><td> da-1 </td><td> 2(da-1) = 2da-2 </td></tr><tr><td> da </td><td> 2da </td></tr><tr><td> da+1 </td><td> 2(da+1) = 2da+2 </td></tr></TBODY></TABLE>表1 以水平軸的縮放比例2為例，若是直接以放大視差值2da來定義前述第一原始像素A2的視差值，則「2da-1」以及「2da+1」將沒有被使用。也就是說，放大視差值的間隔為2，而導致精度降低。因此，在此步驟中將會以放大視差值為依據，配合相鄰的空白視差值找出精確的視差值，以解決精度不足的問題。
首先，處理器140將基於縮小視差圖與放大視差圖之間的縮放比例以及縮小視差像素的縮小視差值來設定第一搜尋範圍，例如n(da-1) ＜ SR1 ＜ n(da+1)，其中SR1為第一搜尋範圍。以圖4B來說，2da-2 ＜ SR1 ＜ 2da+2，也就是說第一搜尋範圍SR1將會為2da-1、2da以及2da+1三個視差值。
接著，處理器140會以第一搜尋範圍S1在第二原始影像R中找出與第一原始像素A2具有相似度最高的第二原始像素，其中相似度的比較數可以是如前述的色彩值或是灰階值。以圖4C為例，第二原始像素RA2 R、RA2以及RA2 L分別與第一原始像素A2具有2da-1、2da以及2da+1三個視差值，而處理器140將會判斷第二原始像素RA2 R、RA2以及RA2 L中的何者與第一原始像素A2的相似度最高，從而定義精細放大視差值。處理器140在確定第一原始像素A2的精細放大視差值後，流程將結束，並且針對下一個原始像素（例如第一原始像素A3）進行處理。
請再回到圖3，當處理器140於步驟S302判定縮小視差像素不可信賴時，將判斷相鄰的縮小視差像素是否可信賴（步驟S310）。在此，處理器140是根據第一原始像素縮小前的位置，在第一縮小像素的對應方向找相鄰的第一縮小像素以判斷相似度，從而判斷相鄰的縮小視差像素是否可信賴。假設處理器140是以水平、垂直方向的相鄰的縮小像素（又稱為「直向第一縮小像素」）為優先判斷，再以斜向方向的相鄰的縮小像素（又稱為「斜向第一縮小像素」）來判斷。
以圖4D為例，假設第一原始像素A1與第一縮小像素a的相似度低。由於第一縮小像素a是由第一原始像素A1～A4縮小而成並且第一原始像素A1位於左上角，因此處理器140是先找第一縮小影像L’的第一縮小像素a水平以及垂直相鄰的第一縮小像素，亦即第一縮小像素a左側以及上側的第一縮小像素x、y，並且判斷第一原始像素A1與第一縮小像素x、y是否相似。若第一原始像素A1與第一縮小像素x、y任一者相似度高，則將判定第一原始像素A1的相鄰的第一原始像素可信賴。因此，流程又將回到步驟S304。舉例來說，假設第一原始像素A1與第一縮小像素x的相似度高，則處理器140將判定第一原始像素A1實質上與第一縮小像素x為相同物體（例如同樣為背景），因此可參考第一縮小像素x的資訊（例如第一縮小像素x的縮小視差值dx）來做為對應的放大視差像素的視差值。假設第一原始像素A1與第一縮小像素x以及第二縮小像素y兩者的相似度都高，則與第一原始像素A1相似度最高者可視為可信賴的第一縮小像素。
另一方面，假設第一原始像素A1與第一縮小像素x以及第二縮小像素y兩者的相似度都低，則處理器140將找第一縮小像素a斜向方向的相鄰第一縮小像素（亦即，左上的第一縮小像素z），並且判斷第一原始像素A1與第一縮小像素z是否相似度高。若第一原始像素A1與第一縮小像素z的相似度高，則將判定第一原始像素A1的相鄰的第一原始像素可信賴，而流程將回到步驟S304。若第一原始像素A1與第一縮小像素z的相似度低，則處理器140判定放大視差像素的視差值是可信賴時，則將判定第一原始像素A1的相鄰的縮小視差像素不可信賴。
前述第一原始像素A1先與左側的第一縮小像素x以及上側的第一縮小像素y進行相似度比較，而若相似度都不高，則才進一步地與左上的第一縮小像素z進行相似度比較的原因是基於像素的連續性。水平以及垂直方向相鄰的像素最可能為相同物體（如同樣為前景物體或是背景區域），再來才是斜向方向相鄰的像素。另外，如圖4E所示，假設第一原始影像L的第一原始像素A1～A9縮小成第一縮小影像L’的第一縮小像素a，並且第一原始影像L中間的第一原始像素A5與第一縮小像素a的相似度低，則第一原始像素A5是以第一縮小像素a垂直以及水平相鄰的第一縮小像素x、y、b、c比較，而可不用考慮斜向相鄰的第一縮小像素z、w、d、v。
另一方面，當處理器140於步驟S304判定放大視差圖中所對應的放大視差像素的視差值不可信賴或者是於步驟S310判定相鄰的縮小視差像素不可信賴時，將判斷是否可以第二搜尋範圍搜尋替代放大視差值（步驟S312）。如同圖2的實施例所述，第二搜尋範圍可以為一個預定的搜尋範圍（例如0～64的視差值），也就是說不再參考縮小視差像素的縮小視差值來設定，而是直接在第二搜尋範圍內尋找相似度最高的第二原始像素，以利用替代放大視差值來建構精細視差圖（步驟S308）。另一方面，當處理器140無法於第二搜尋範圍搜尋出替代放大視差值時，則會將第一原始像素設定為壞像素（bad pixel）（步驟S314）。在此壞像素有可能是位於與第一影像感測器110以及第二影像感測器120過於接近的區域或者是第一影像感測器110以及第二影像感測器120其中之一者被遮蔽的區域等等因素所造成。
以圖4F為例，假設第一原始影像L的第一原始像素A3進入到步驟S306，則處理器140會在第二原始影像R中根據第二搜尋範圍SR2（即0～64的視差值）找出對應的65個第二原始像素RA3 0～RA3 64，並且分別比較第一原始像素A3與第二原始像素RA3 0～RA3 64的相似度。以圖4G為例，假設處理器140找出與第一原始像素A3具有高相似度的第二原始像素RA3 x、RA3 y，並且從第二原始像素RA3 x、RA3 y中找出與第一原始像素A3相似度最高者。假設第一原始像素A3與第二原始像素RA3 x的相似度最高，則第一原始像素A3與第二原始像素RA3 x之間的視差值x即為第一原始像素A3所對應的放大視差像素的精細放大視差值。
另一方面，假設第一原始像素A3與第二原始像素RA3 0～RA3 64皆不具有高相似度時，處理器140將判斷第一原始像素A3沒有對應的像素，則會將第一原始像素A3設定為壞像素。
以兩張尺寸為320×180的原始影像為例，假設最大搜尋範圍的視差值為32，則以習知方式輸出一張視差圖需要搜尋320×180×32=1843200次。然而，若是以系統100所執行，假設先縮小原始影像為50%，也就是影像尺寸為160×90，則搜尋範圍則縮小到視差值為16，因此需要搜尋160×90×16=230400次。在較佳的情形下，假設將兩張縮小影像還原至320×180，最大搜尋範圍的視差值為32，則需要再搜尋320×180×3=172800次，而總共搜尋403200次。相較於習知方式的1843200次，本實施例可減少了近80%的運算量，但仍保有視差圖的信賴度。
前述實施例皆是將原始影像縮小一次的方式執行，然而其更可如圖5根據本發明之一實施例所繪示的產生深度資訊的方法示意圖來針對原始影像進行兩次以上的縮小處理，並且以階層式的方式來取得原始影像所對應的視差圖。圖5的方法亦可以圖1所提出的系統100來實現。
請參照圖5，假設影像組合LR分別由第一影像感測器110以及第二影像感測器所擷取，其影像尺寸皆為640×360。處理器140可以先將影像組合LR縮小成為影像組合LR’，其影像尺寸皆為320×180。接著，處理器140可以再將影像組合LR’縮小成為影像組合LR”，其影像尺寸皆為160×90。
之後，處理器140可將影像組合LR”進行立體匹配，以產生尺寸為160×90的視差圖D”。接著，處理器140可利用前述實施例所提出的方法根據尺寸為160×90的視差圖D”以及影像尺寸為320×180的影像組合LR’，以視差圖縮小輔助立體匹配的方式，產生尺寸為320×180的視差圖D’。類似地，處理器140可根據尺寸為320×180的視差圖D’以及影像尺寸為640×360的影像組合LR，以視差圖輔助立體匹配的方式，產生尺寸為640×360的視差圖D。
綜上所述，本發明所提出的產生視差圖的方法及其影像處理裝置與系統，其先利用兩張縮小影像計算出縮小視差圖，再將縮小視差圖對應回兩張原始影像以計算出更為精細的視差值，解決了縮小尺寸的深度圖與原始影像難以對應的問題，以及縮小深度圖還原回原始尺寸後，視差值的準確度降低的問題。本發明所產生的視差圖除了可在低成本的前提下解決立體視覺估測視差時運算量龐大導致於系統速度過慢的問題，更可提高深度估測的準確度，以助於提升後續例如是結構光、立體影像、距離偵測、安全監控等立體視覺應用的效能。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧系統
110‧‧‧第一影像感測器
120‧‧‧第二影像感測器
130‧‧‧記憶體
140‧‧‧處理器
S202～S214、S302～S314‧‧‧步驟
L‧‧‧第一原始影像
A1～A4、B1～B4、C1～C4、D1～D4、X1～X4、 Y1～Y4、Z1～Z4、A5～A9‧‧‧第一原始像素
L’‧‧‧第一縮小影像
a～d、v～z‧‧‧第一縮小像素
R‧‧‧第二原始影像
RA1～RA4、RB1～RB4、RC1～RC4、RD1～RD4、 RA2L、RA2R、RA3n、RA3x、RA3y‧‧‧第二原始像素
R’‧‧‧第二縮小影像
ra～rd‧‧‧第二縮小像素
DM’‧‧‧縮小視差圖
da～dd、2da、x、y‧‧‧視差值
SR2‧‧‧第二搜尋範圍
LR、LR’、LR”‧‧‧影像組合
D、D’、D”‧‧‧視差圖
圖1是根據本發明一實施例所繪示的產生深度資訊的系統的方塊圖。 圖2為根據本發明之一實施例所繪示的產生深度資訊的方法流程圖。 圖3根據本發明之一實施例所繪示的產生視差圖的方法流程圖。 圖4A～圖4G根據本發明之一實施例所繪示的產生視差圖的方法示意圖。 圖5為根據本發明之一實施例所繪示的產生深度資訊的方法示意圖。

Claims (21)

  1. 一種產生視差圖的方法，適用於具有第一影像感測器以及第二影像感測器的系統，該方法包括下列步驟： 　　利用該第一影像感測器以及該第二影像感測器，擷取特定場景的影像，以分別產生第一原始影像以及第二原始影像； 針對該第一原始影像以及該第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像； 利用該第一縮小影像以及該第二縮小影像，產生縮小視差圖，其中該縮小視差圖包括多個縮小視差值； 針對該縮小視差圖進行放大處理，以產生放大視差圖，其中該放大視差圖具有多個放大視差值；以及 根據各所述放大視差值的信賴度，產生該第一原始影像以及該第二原始影像的精細視差圖。
  2. 如申請專利範圍第1項所述的方法，其中該縮小視差圖是以該第一縮小影像為基底所產生並且包括多個縮小視差像素，所述縮小視差像素具有所述縮小視差值，該放大視差圖包括多個放大視差像素，所述放大視差像素具有所述放大視差值，所述放大視差值是根據所述縮小視差值所產生，其中根據各所述放大視差值的該信賴度，產生該第一原始影像以及該第二原始影像的該精細視差圖的步驟包括： 　　根據該第一原始影像以及該第二原始影像，判斷各所述放大視差值是否可信賴；以及 　　根據各所述放大視差值是否可信賴的判定結果，產生該第一原始影像以及該第二原始影像的精細視差圖。
  3. 如申請專利範圍第2項所述的方法，其中根據判斷各所述放大視差值是否可信賴的該判定結果，產生該第一原始影像以及該第二原始影像的該精細視差圖的步驟包括： 　　針對可信賴的各所述放大視差值，根據第一搜尋範圍取得對應的精細放大視差值，並且針對不可信賴的各所述放大視差值，根據第二搜尋範圍取得對應的替換放大視差值，其中該第一搜尋範圍關聯於該放大視差值並且小於該第二搜尋範圍；以及 　　利用所述精細放大視差值以及所述替換放大視差值，產生該第一原始影像以及該第二原始影像的該精細視差圖。
  4. 如申請專利範圍第3項所述的方法，其中根據該第一原始影像以及該第二原始影像，判斷各所述放大視差值是否可信賴的步驟之前，該方法更包括： 針對該第一縮小影像的各個第一縮小像素： 判斷該第一縮小像素相對於該第一原始影像中各個對應的第一原始像素是否可信賴；以及 當判定該第一縮小像素相對於所述對應的第一原始像素中的第一目前原始像素為不可信賴時，搜尋與該第一縮小像素相鄰的第一鄰近縮小像素，並且設定該第一目前原始像素與該第一鄰近縮小像素相關聯。
  5. 如申請專利範圍第4項所述的方法，其中針對該第一縮小影像的所述第一縮小像素，判斷該第一縮小像素相對於該第一原始影像中各所述對應的第一原始像素是否可信賴的步驟包括： 針對各所述所對應的第一原始像素： 判斷該第一縮小像素與該所對應的第一原始像素的相似度，其中該相似度關聯於像素值； 當判定該第一縮小像素與該所對應的第一原始像素具有高相似度時，判定該第一縮小像素相對於該所對應的第一原始像素為可信賴；以及 當判定該第一縮小像素與該所對應的第一原始像素不具有高相似度時，判定該第一縮小像素相對於該所對應的第一原始像素為不可信賴。
  6. 如申請專利範圍第5項所述的方法，其中針對各所述所對應的第一原始像素，判斷該第一縮小像素與該所對應的第一原始像素的該相似度的步驟包括： 計算該第一縮小像素的像素值與該所對應的第一原始像素的像素值之間的絕對值差值； 當該絕對值差值大於第一閥值時，判定該第一縮小像素與該所對應的第一原始像素具有高相似度；以及 當該絕對值差值不大於該第一閥值時，判定該第一縮小像素與該所對應的第一原始像素不具有高相似度。
  7. 如申請專利範圍第4項所述的方法，其中當判定該第一縮小像素相對於所述對應的第一原始像素中的該第一目前原始像素不可信賴時，搜尋與該第一縮小像素的該第一鄰近縮小像素的步驟包括： 判斷該第一目前原始像素與該第一縮小像素於水平方向以及垂直方向相鄰的其它直向第一縮小像素的至少之一者是否具有高相似度； 當判定該第一目前原始像素與所述其它直向第一縮小像素的至少之一者具有高相似度時，設定所述其它直向第一縮小像素之中與該第一目前原始像素具有最高相似度者為該第一鄰近縮小像素； 當判定該第一目前原始像素與所述其它直向第一縮小像素皆不具有高相似度時，判斷該第一目前原始像素與該第一縮小像素於斜向方向相鄰的其它斜向第一縮小像素是否具有高相似度；以及 當判定該第一目前原始像素與所述其它斜向第一縮小像素的至少之一者具有高相似度時，設定所述其它斜向第一縮小像素之中與該第一目前原始像素具有最高相似度者為該第一鄰近縮小像素。
  8. 如申請專利範圍第7項所述的方法，更包括： 　　當判定該第一目前原始像素與所述其它斜向第一縮小像素皆不具有高相似度時，根據該第二搜尋範圍取得該第一目前原始像素的該替換放大視差值。
  9. 如申請專利範圍第3項所述的方法，其中設定該第一目前原始像素與該第一鄰近縮小像素相關聯的步驟包括： 設定該第一鄰近縮小像素所對應的該縮小視差值為對應於該第一目前原始像素的該放大視差值。
  10. 如申請專利範圍第2項所述的方法，其中根據該第一原始影像以及該第二原始影像，判斷各所述放大視差值是否可信賴的步驟包括： 　　針對各所述放大視差值： 　　　　根據該放大視差值所對應的該第一原始影像的像素值以及該第二原始影像的像素值的相似度，判斷該放大視差值是否可信賴。
  11. 如申請專利範圍第10項所述的方法，其中針對各所述放大視差值，根據該放大視差值、該第一原始影像的像素值以及該第二原始影像的像素值，判斷該放大值是否可信賴的步驟包括： 　　分別於該第一原始影像以及該第二原始影像取得對應於該放大視差值的第一目前原始像素以及第二目前原始像素； 　　判斷該第一目前原始像素與該第二目前原始像素的相似度； 　　當判定該第一目前原始像素與該第二目前原始像素具有高相似度時，判定該放大視差值為可信賴；以及 　　當判定該第一目前原始像素與該第二目前原始像素不具有高相似度時，判定該放大視差值為不可信賴。
  12. 如申請專利範圍第10項所述的方法，其中針對各所述放大視差值，根據該放大視差值、該第一原始影像的像素值以及該第二原始影像的像素值，判斷該放大值是否可信賴的步驟包括： 　　分別於該第一原始影像以及該第二原始影像取得對應於該放大視差值的第一目前原始像素以及第二目前原始像素； 　　以該第一目前原始像素以及該第二目前原始像素為中心，分別取得第一區域以及第二區域； 　　判斷該第一區域中的所述第一原始像素與該第二區域中的所述第二原始像素為高相似度的比例； 　　當該比例超過預設比例閥值時，判定該放大視差值為可信賴；以及 　　當該比例不超過預設比例閥值時，判定該放大視差值為不可信賴。
  13. 如申請專利範圍第3項所述的方法，其中針對可信賴的各所述放大視差值，根據該第一搜尋範圍取得對應的該精細放大視差值的步驟包括： 　　針對可信賴的各所述放大視差值： 　　　　於該第一原始影像取得對應於該放大視差值的第一目前原始像素； 　　　　根據該縮小視差圖與該放大視差圖之間的縮放比例以及對應於該放大視差值的該縮小視差值，設定該第一搜尋範圍，以從該第一搜尋範圍取得對應的該精細放大視差值。
  14. 如申請專利範圍第13項所述的方法，其中針對可信賴的各所述放大視差值，該第一搜尋範圍為n(da-1) ＜ SR1 ＜ n(da+1)，其中SR1為該第一搜尋範圍，n為該縮放比例，da為該放大視差值所對應的該縮小視差值。
  15. 如申請專利範圍第13項所述的方法，其中針對可信賴得各所述放大視差值，從該第一搜尋範圍取得對應的該精細放大視差值的步驟包括： 　　取得該第一搜尋範圍中的多個可能精細放大視差值； 　　以該第一目前原始像素，自該第二原始影像中取得對應於所述可能精細放大視差值的多個第二可能原始像素； 　　判斷該第一目前原始像素與各所述第二可能原始像素的相似度； 　　設定與該第一目前原始像素具有最高相似度的該第二可能原始像素所對應的該可能精細放大視差值為該精細放大視差值。
  16. 如申請專利範圍第3項所述的方法，其中該第二搜尋範圍為預設範圍並且不關聯於所述縮小視差值。
  17. 如申請專利範圍第3項所述的方法，針對不可信賴的各所述放大視差值，根據第二搜尋範圍取得對應的該替換放大視差值的步驟包括： 　　針對不可信賴的各所述放大視差值： 　　　　以該第一原始影像中對應於該放大視差值的第一目前原始像素，自該第二原始影像中取得對應於所述可能替換放大視差值的多個第二可能原始像素； 　　　　判斷該第一目前原始像素與各所述第二可能原始像素的相似度；以及 　　　　設定與該第一目前原始像素具有最高相似度的該第二可能原始像素所對應的該可能替換放大視差值為該替換放大視差值。
  18. 如申請專利範圍第17項所述的方法，更包括： 　　針對不可信賴的各所述放大視差值，當判定該第一目前原始像素與各所述第二可能原始像素不具有高相似度時，設定該第一目前原始像素為壞像素。
  19. 如申請專利範圍第3項所述的方法，更包括： 　　針對該第一縮小影像以及該第二縮小影像進行縮小處理，以分別產生第一階層縮小影像以及第二階層縮小影像；以及 　　根據該第一階層縮小影像以及該第二階層縮小影像，產生該第一縮小影像以及該第二縮小影像的精細視差圖，以做為該縮小視差圖。
  20. 一種產生視差圖的系統，包括： 第一影像感測器以及第二影像感測器，用以擷取影像； 記憶體，用以儲存資料； 　　處理器，連接於該第一影像感測器、該第二影像感測器以及記憶體，用以： 利用該第一影像感測器以及該第二影像感測器，擷取特定場景的影像，以分別產生第一原始影像以及第二原始影像； 針對該第一原始影像以及該第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像； 利用該第一縮小影像以及該第二縮小影像，產生縮小視差圖，其中該縮小視差圖包括多個縮小視差值； 針對該縮小視差圖進行放大處理，以產生放大視差圖，其中該放大視差圖具有多個放大視差值；以及 根據各所述放大視差值的信賴度，產生該第一原始影像以及該第二原始影像的精細視差圖。
  21. 一種影像處理裝置，包括： 通訊介面，用以使該影像處理裝置與第一影像擷取裝置以及第二影像感測器連接； 記憶體，用以儲存資料；以及 　　處理器，連接於該第一影像感測器、該第二影像感測器以及記憶體，用以： 分別自該第一影像感測器以及該第二影像感測器取得所擷取到特定場景的第一原始影像以及第二原始影像； 針對該第一原始影像以及該第二原始影像進行縮小處理，以分別產生第一縮小影像以及第二縮小影像； 利用該第一縮小影像以及該第二縮小影像，產生縮小視差圖，其中該縮小視差圖包括多個縮小視差值； 針對該縮小視差圖進行放大處理，以產生放大視差圖，其中該放大視差圖具有多個放大視差值；以及 根據各所述放大視差值的信賴度，產生該第一原始影像以及該第二原始影像的精細視差圖。
TW107100837A 2018-01-09 2018-01-09 產生視差圖的方法及其影像處理裝置與系統 TWI637350B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107100837A TWI637350B (zh) 2018-01-09 2018-01-09 產生視差圖的方法及其影像處理裝置與系統
CN201810151256.0A CN110021055B (zh) 2018-01-09 2018-02-13 产生视差图的方法及其图像处理装置与系统
US16/027,268 US11024048B2 (en) 2018-01-09 2018-07-04 Method, image processing device, and system for generating disparity map
JP2018179635A JP6838021B2 (ja) 2018-01-09 2018-09-26 視差マップを生成するための方法、画像処理デバイス、およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107100837A TWI637350B (zh) 2018-01-09 2018-01-09 產生視差圖的方法及其影像處理裝置與系統

Publications (2)

Publication Number Publication Date
TWI637350B true TWI637350B (zh) 2018-10-01
TW201931312A TW201931312A (zh) 2019-08-01

Family

ID=64797476

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100837A TWI637350B (zh) 2018-01-09 2018-01-09 產生視差圖的方法及其影像處理裝置與系統

Country Status (4)

Country Link
US (1) US11024048B2 (zh)
JP (1) JP6838021B2 (zh)
CN (1) CN110021055B (zh)
TW (1) TWI637350B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140497A (ja) * 2019-02-28 2020-09-03 日立オートモティブシステムズ株式会社 演算装置、視差算出方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991404B (zh) * 2019-12-13 2025-03-07 上海肇观电子科技有限公司 视差确定方法、电子设备及计算机可读存储介质
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
CN112991254B (zh) * 2019-12-13 2025-03-25 上海肇观电子科技有限公司 视差估计系统、方法、电子设备及计算机可读存储介质
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201401227A (zh) * 2012-04-06 2014-01-01 Semiconductor Energy Lab 顯示裝置以及電子裝置
TW201603572A (zh) * 2014-07-03 2016-01-16 佳能股份有限公司 影像擷取設備和用於控制影像擷取設備的方法
US20160350585A1 (en) * 2013-12-31 2016-12-01 Personify Inc. Systems and methods for persona identification using combined probability maps
US20170169310A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Method and apparatus for matching stereo images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517449B2 (ja) * 2000-05-10 2010-08-04 株式会社豊田中央研究所 画像における相関演算方法
US8488870B2 (en) 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
JP2012133408A (ja) * 2010-12-17 2012-07-12 Sharp Corp 画像処理装置およびプログラム
US9554114B2 (en) * 2011-09-15 2017-01-24 Broadcom Corporation Depth range adjustment for three-dimensional images
KR20130084850A (ko) * 2012-01-18 2013-07-26 삼성전자주식회사 시차 값을 생성하는 영상 처리 방법 및 장치
CN103327346B (zh) 2012-03-22 2015-04-01 奇景光电股份有限公司 判断凹区块以及凸区块的立体匹配装置及其方法
CN103177451B (zh) 2013-04-17 2015-12-23 南京理工大学 基于图像边缘的自适应窗口和权重的立体匹配算法
JP6377970B2 (ja) * 2014-06-12 2018-08-22 トヨタ自動車株式会社 視差画像生成装置及び視差画像生成方法
PL411631A1 (pl) * 2015-03-18 2016-09-26 Politechnika Poznańska System do generowania mapy głębi i sposób generowania mapy głębi
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
CN108604371A (zh) * 2016-02-25 2018-09-28 深圳市大疆创新科技有限公司 成像系统和方法
TWI658720B (zh) * 2016-12-30 2019-05-01 創研光電股份有限公司 運用變焦影像資訊以改善原視差影像匹配錯誤之方法
JP7024736B2 (ja) * 2017-02-07 2022-02-24 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201401227A (zh) * 2012-04-06 2014-01-01 Semiconductor Energy Lab 顯示裝置以及電子裝置
US20160350585A1 (en) * 2013-12-31 2016-12-01 Personify Inc. Systems and methods for persona identification using combined probability maps
TW201603572A (zh) * 2014-07-03 2016-01-16 佳能股份有限公司 影像擷取設備和用於控制影像擷取設備的方法
US20170169310A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Method and apparatus for matching stereo images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140497A (ja) * 2019-02-28 2020-09-03 日立オートモティブシステムズ株式会社 演算装置、視差算出方法
WO2020175063A1 (ja) * 2019-02-28 2020-09-03 日立オートモティブシステムズ株式会社 演算装置、視差算出方法

Also Published As

Publication number Publication date
CN110021055A (zh) 2019-07-16
US11024048B2 (en) 2021-06-01
TW201931312A (zh) 2019-08-01
US20190213749A1 (en) 2019-07-11
JP6838021B2 (ja) 2021-03-03
JP2019121349A (ja) 2019-07-22
CN110021055B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
TWI637350B (zh) 產生視差圖的方法及其影像處理裝置與系統
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
EP3039643B1 (en) Image processing apparatus, image processing method, and imaging system
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN111641775A (zh) 多摄变焦控制方法、装置及电子系统
CN107396080A (zh) 产生深度信息的方法及系统
US20110199499A1 (en) Face recognition apparatus and face recognition method
TWI701639B (zh) 辨識影像中前景物件的方法與電子裝置
US10529081B2 (en) Depth image processing method and depth image processing system
CN105657237A (zh) 图像获取装置及其数字变焦方法
TWI554107B (zh) 可改變縮放比例的影像調整方法及其攝影機與影像處理系統
CN115866394A (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN108074250A (zh) 匹配代价计算方法和装置
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
CN106817575A (zh) 影像捕获设备及其产生深度信息的方法与自动更正的方法
CN106067937A (zh) 镜头模块阵列、图像感测装置与数字缩放图像融合方法
US9712807B2 (en) Disparity determination for images from an array of disparate image sensors
WO2017208991A1 (ja) 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
TWI678681B (zh) 產生深度圖的方法及其影像處理裝置與系統
CN115567653A (zh) 图像控制器、图像处理系统及图像修正方法
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
JP2015216542A (ja) 情報処理装置、情報処理方法およびプログラム
CN115526813A (zh) 图像融合方法及装置、存储介质及电子设备