[go: up one dir, main page]

TW201432619A - 用於合併使用相異深度成像技術所產生之深度影像之方法及裝置 - Google Patents

用於合併使用相異深度成像技術所產生之深度影像之方法及裝置 Download PDF

Info

Publication number
TW201432619A
TW201432619A TW102133979A TW102133979A TW201432619A TW 201432619 A TW201432619 A TW 201432619A TW 102133979 A TW102133979 A TW 102133979A TW 102133979 A TW102133979 A TW 102133979A TW 201432619 A TW201432619 A TW 201432619A
Authority
TW
Taiwan
Prior art keywords
depth
sensor
image
depth image
tof
Prior art date
Application number
TW102133979A
Other languages
English (en)
Inventor
Alexander Alexandrovich Petyushko
Denis Vasilevich Parfenov
Ivan Leonidovich Mazurenko
Alexander Borisovich Kholodenko
Original Assignee
Lsi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lsi Corp filed Critical Lsi Corp
Publication of TW201432619A publication Critical patent/TW201432619A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種深度成像器經組態以使用一第一深度成像技術來產生一第一深度影像，及使用不同於該第一深度成像技術之一第二深度成像技術來產生一第二深度影像。該第一深度影像及該第二深度影像之至少部分經合併以形成一第三深度影像。該深度成像器包括包含一單個共同感測器之至少一個感測器，由該第一深度成像技術及該第二深度成像技術至少部分地共用該單個共同感測器，以使得至少部分地使用自該單個共同感測器所獲取之資料而產生該第一深度影像及該第二深度影像兩者。藉由舉例方式，該第一深度影像可包括使用一結構化光(SL)深度成像技術所產生之一SL深度圖，且該第二深度影像可包括使用一飛行時間(ToF)深度成像技術所產生之一ToF深度圖。

Description

用於合併使用相異深度成像技術所產生之深度影像之方法及裝置
本發明大體而言係關於影像處理，且更特定而言係關於深度影像之處理。
已知用於即時產生一空間場景之三維(3D)影像之若干不同技術。舉例而言，可基於經配置以使得每一相機具有一不同場景視圖之個別相機擷取之多個二維(2D)影像使用三角測量而產生一空間場景之3D影像。然而，此一技術之一顯著缺陷在於其通常需要極密集之計算，且因此可消耗一電腦或其他處理器件之一過量之可用計算資源。此外，當使用此一技術時在涉及不充足周圍照明之條件下可難以產生一準確3D影像。
其他已知技術包含使用諸如一結構化光(SL)相機或一飛行時間(ToF)相機之一深度成像器來直接產生一3D影像。此類型之相機通常係緊致的、提供快速影像產生且在電磁光譜之近紅外光部分中操作。因此，SL及ToF相機通常用於機器視覺應用中，諸如視訊遊戲系統或實施基於手勢之人機介面之其他類型之影像處理系統中之手勢辨識。SL及ToF相機亦用於各種各樣之其他機器視覺應用中，包含(舉例而 言)面部偵測及單人或多人追蹤。
SL相機及ToF相機使用不同物理原理來操作且因此展現關於深度成像之不同優點及缺陷。
一典型習用SL相機包含至少一個發射器及至少一個感測器。發射器經組態以將經指定光圖案投射至一場景中之物件上。該等光圖案包括諸如線或點等多個圖案元素。對應經反射圖案在感測器處顯現失真，此乃因發射器與感測器具有不同物件視角。使用一種三角測量方法來判定物體表面形狀之一確切幾何重新構造。然而，由於由發射器透射之光圖案之本性，在感測器處所接收之對應經反射光圖案之元素與場景中之特定點之間建立關聯容易得多，藉此避免與使用來自不同相機之多個2D影像進行之三角測量相關聯之大部分繁重計算。
然而，SL相機具有關於x及y尺寸之精確度之固有困難，此乃因基於光圖案之三角測量方法並不允許以任意精細粒度形成圖案大小以便達成高解析度。此外，為了避免眼睛損傷，限制跨越整個圖案之總發射功率以及每一圖案元素(例如，一線或一點)中之空間及角功率密度。因此，所得影像展現低信號雜訊比且提供潛在地包含眾多深度假影之僅一受限品質之深度圖。
雖然ToF相機通常能夠比SL相機更精確地判定x-y座標，但ToF相機亦具有關於空間解析度，特別是就深度量測或z座標而言之問題。因此，在習用做法中，ToF相機通常提供佳於SL相機之x-y解析度，但SL相機通常提供佳於ToF相機之z解析度。
如同一SL相機，一典型習用ToF相機亦包含至少一個發射器及至少一個感測器。然而，發射器經控制以產生具有實質上恆定振幅及頻率之連續波(CW)輸出光。已知其他變體，包含基於脈衝之調變、多頻率調變及編碼式脈衝調變，且該等其他變體通常經組態以改良深度成像精確度或相對於CW情形減小多個相機之間的相互干擾。
在此等及其他ToF配置中，輸出光照射待成像之一場景，且由該場景中之物體散射或反射。所得返回光由感測器偵測且經利用以形成一深度圖或其他類型之3D影像。感測器立即接受自整個經照射場景反射之光並藉由量測對應時間延遲來估計距每一點之距離。更特定而言，此涉及(舉例而言)利用輸出光與返回光之間的相位差來判定距場景中之物件之距離。
深度量測通常係使用需要在類比電路中之極快切換及時間整合之技術而產生於一ToF相機中。舉例而言，每一感測器單元可包括併入有具有微微秒開關及高精確度積分電容器之一光子感測器之一複雜類比整合式半導體器件，以便經由感測器光電流之時間整合來使量測雜訊最小化。雖然與三角測量之使用相關聯之缺陷得以避免，但對複雜類比電路之需要增加與每一感測器單元相關聯之成本。因此，可用於一既定實際實施方案中之感測器單元之數目受限，此又可限制深度圖之可達成品質，此同樣導致可包含大量深度假影之一影像。
在一項實施例中，一種深度成像器經組態以使用一第一深度成像技術來產生一第一深度影像，及使用不同於該第一深度成像技術之一第二深度成像技術來產生一第二深度影像。該第一深度影像及該第二深度影像中之每一者之至少部分經合併以形成一第三深度影像。該深度成像器包括包含一單個共同感測器之至少一個感測器，由該第一深度成像技術及該第二深度成像技術至少部分地共用該單個共同感測器，以使得至少部分地使用自該單個共同感測器所獲取之資料而產生該第一深度影像及該第二深度影像兩者。僅藉由舉例方式，該第一深度影像可包括使用一SL深度成像技術所產生之一SL深度圖，且該第二深度影像可包括使用一ToF深度成像技術所產生之一ToF深度圖。
本發明之其他實施例包含但不限於方法、裝置、系統、處理器 件、積體電路及其中體現有電腦程式碼之電腦可讀儲存媒體。
100‧‧‧影像處理系統/系統
101‧‧‧深度成像器
102-1、102-2、...、102-N‧‧‧處理器件
104‧‧‧網路
105‧‧‧控制電路
106‧‧‧發射器/單個共同發射器/第一發射器/第二發射器
108‧‧‧感測器/單個共同感測器
108-(x,y)‧‧‧半導體光子感測器/光子感測器
110‧‧‧處理器
112‧‧‧記憶體
114‧‧‧網路介面
120‧‧‧資料獲取模組/單個單元資料獲取模組/模組
120-1、120-2、...、120-K‧‧‧單個單元資料獲取模組
120-(x,y)‧‧‧資料獲取模組之對應部分
122‧‧‧深度圖處理模組
200‧‧‧感測器單元
402‧‧‧元件/飛行時間解調變器/解調變器
404‧‧‧飛行時間可靠性估計器/可靠性估計器
405‧‧‧元素
406‧‧‧結構化光可靠性估計器/可靠性估計器
410‧‧‧飛行時間深度估計器
412‧‧‧結構化光三角測量模組
414‧‧‧深度決策模組/局域深度決策模組
502‧‧‧結構化光深度圖組合模組/組合模組
504‧‧‧結構化光深度圖預處理器/預處理器
506‧‧‧飛行時間深度圖組合模組/組合模組
508‧‧‧飛行時間深度圖預處理器/預處理器
510‧‧‧深度圖合併模組/模組
A(x,y)‧‧‧振幅資訊
A i (x,y)‧‧‧輸入資訊
B(x,y)‧‧‧強度資訊
d‧‧‧臨限值/鄰域半徑
‧‧‧所估計結構化光強度資訊
P1至P8‧‧‧像素
φ(x,y)‧‧‧相位資訊
圖1係包括組態有深度圖合併功能性之一深度成像器之一影像處理系統之一實施例之一方塊圖。
圖2及圖3圖解說明在圖1之深度成像器之各別實施例中實施之例示性感測器。
圖4展示圖1之深度成像器之一實施例中之與一既定深度成像器感測器之一單個單元相關聯且經組態以提供一局域深度估計之一資料獲取模組之一部分。
圖5展示圖1之深度成像器之一實施例中之經組態以提供全域深度估計之一資料獲取模組及一相關聯深度圖處理模組。
圖6圖解說明圍繞在圖5之深度圖處理模組中所處理之一例示性深度影像中之一既定內插像素之一像素鄰域之一實例。
本文中將連同例示性影像處理系統一起來圖解說明本發明之實施例，該例示性影像處理系統包含經組態以使用諸如各別SL深度成像技術及ToF深度成像技術等各別相異深度成像技術來產生深度影像之深度成像器，其中所得深度影像經合併以形成另一深度影像。舉例而言，本發明之實施例包含可產生比由習用SL相機或ToF相機產生之品質高的具有增強深度解析度之深度圖或其他類型之深度影像及比由習用SL或ToF相機產生之深度假影少之深度假影的深度成像方法及裝置。然而，應理解，本發明之實施例更通常適用於其中期望提供深度圖或其他類型之深度影像之經改良品質之任何影像處理系統或相關聯深度成像器。
圖1展示本發明之一實施例中之一影像處理系統100。影像處理系統100包括在一網路104上與複數個處理器件102-1、102-2、...、 102-N通信之一深度成像器101。假定本發明實施例中之深度成像器101包括併入有多個相異類型之深度成像功能性(說明性地，SL深度成像功能性及ToF深度成像功能性兩者)之一3D成像器，但在其他實施例中可使用各種各樣之其他類型之深度成像器。
深度成像器101產生一場景之深度圖或其他深度影像且在網路104上將彼等影像傳遞至處理器件102中之一或多者。處理器件102可包括呈任何組合形式之電腦、伺服器或儲存器件。藉由舉例方式，一或多個此等器件可包含顯示螢幕或用以呈現由深度成像器101產生之影像之各種其他類型之使用者介面。
雖然在本發明實施例中展示為與處理器件102分離，但深度成像器101可與處理器件中之一或多者至少部分地組合。因此，舉例而言，深度成像器101可係至少部分地使用處理器件102中之一既定者而實施。藉由舉例方式，一電腦可經組態以併入有深度成像器101作為一周邊裝置。
在一既定實施例中，影像處理系統100實施為一視訊遊戲系統或產生影像之其他類型之基於手勢之系統以便辨識使用者手勢或其他使用者移動。所揭示之成像技術可類似地經調適以供用於需要一基於手勢之人機介面之各種各樣之其他系統中，且亦可應用於除手勢辨識以外之眾多應用，諸如涉及面部偵測、人物追蹤或處理來自一深度成像器之深度影像之其他技術之機器視覺系統。此等意欲包含機器人及其他工業應用中之機器視覺系統。
如圖1中所展示之深度成像器101包括耦合至一或多個發射器106及一或多個感測器108之控制電路105。發射器106中之一既定者可包括(舉例而言)配置成一LED陣列之複數個LED。每一此LED係在本文中更通常稱作一「光源」之一實例。雖然在其中一發射器包括一LED陣列之一實施例中使用多個光源，但其他實施例可包含僅一單個光 源。此外，應瞭解，可使用除LED外之光源。舉例而言，在其他實施例中，可用雷射二極體或其他光源來替換LED之至少一部分。如本文中所使用之術語「發射器」意欲廣泛解釋為囊括一或多個光源之所有此等配置。
控制電路105說明性地包括用於發射器106之光源中之每一者之一或多個驅動器電路。因此，光源中之每一者可具有一相關聯驅動器電路，或多個光源可共用一共同驅動器電路。適合用於本發明之實施例中之驅動器電路之實例揭示於2012年10月23日提出申請且標題為「Optical Source Driver Circuit for Depth Imager」之序號為13/658,153之美國專利申請案中，該美國專利申請案隨本發明共同受讓且以引用方式併入本文中。
控制電路105控制一或多個發射器106之光源以便產生具有特定特性之輸出光。可利用控制電路105之一既定驅動器電路來提供之輸出光振幅及頻率變化之傾斜式及階梯式實例可見於序號為13/658,153之上文所引用之美國專利申請案中。
控制電路105之驅動器電路因此可經組態以產生具有經指定類型之振幅及頻率變化之驅動器信號，其方式係在深度成像器101中提供相對於習用深度成像器之顯著經改良效能。舉例而言，此一配置可經組態以允許不僅驅動器信號振幅及頻率以及諸如一積分時間窗等其他參數之特別高效最佳化。
來自一或多個發射器106之輸出光照射待成像之一場景且所得返回光係使用一或多個感測器108來偵測且然後在控制電路105及深度成像器101之其他組件中進行進一步處理以便形成一深度圖或其他類型之深度影像。此一深度影像可說明性地包括(舉例而言)一3D影像。
一既定感測器108可以一偵測器陣列之形式實施，該偵測器陣列包括各自包含一半導體光子感測器之複數個感測器單元。舉例而言， 此類型之偵測器陣列可包括電荷耦合器件(CCD)感測器、光電二極體矩陣或其他類型及配置之多個光學偵測器元件。下文將連同圖2及圖3一起闡述特定感測器單元陣列之實例。
假定本發明實施例中之深度成像器101係使用至少一個處理器件來實施且包括耦合至一記憶體112之一處理器110。處理器110執行儲存於記憶體112中之軟體程式碼以便經由控制電路105來引導一或多個發射器106及一或多個感測器108之操作中之至少一部分。深度成像器101亦包括支援網路104上之通信之一網路介面114。
本發明實施例中之深度成像器101之其他組件包含一資料獲取模組120及一深度圖處理模組122。下文將連同圖4至圖6一起更加詳細地闡述使用深度成像器101之資料獲取模組120及深度圖處理模組122所實施之例示性影像處理操作。
深度成像器101之處理器110可包括(舉例而言)呈任何組合形式之：一微處理器、一特殊應用積體電路(ASIC)、一場可程式化閘極陣列(FPGA)、一中央處理單元(CPU)、一算術邏輯單元(ALU)、一數位信號處理器(DSP)或其他類似處理器件組件以及其他類型及配置之影像處理電路。
記憶體112儲存在實施深度成像器101之功能性之部分(諸如資料獲取模組120及深度圖處理模組122中之至少一者之部分)時由處理器110執行之軟體程式碼。
處理由一對應處理器執行之軟體程式碼之一既定此記憶體係本文中更通常稱作一電腦可讀媒體或其中體現有電腦程式碼之其他類型之電腦程式產品之一實例，且可包括(舉例而言)呈任何組合形式之電子記憶體，諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)、磁性記憶體、光學記憶體或其他類型之儲存器件。
如上文所指示，處理器110可包括一微處理器、ASIC、FPGA、 CPU、ALU、DSP或其他影像處理電路之部分或組合，且此等組件可額外包括儲存電路，認為該儲存電路包括記憶體，此乃因彼術語在本文中廣泛使用。
因此，應瞭解，本發明之實施例可以積體電路之形式來實施。在一既定此積體電路實施方案中，相同晶粒通常以一重複圖案形成於一半導體晶圓之一表面上。每一晶粒包含(舉例而言)如本文中所闡述之深度成像器101之控制電路105及可能其他影像處理電路之至少一部分，且可進一步包含其他結構或電路。個別晶粒係自晶圓分割或切割，然後封裝為一積體電路。熟習此項技術者將知曉如何切割晶圓及封裝晶粒以產生積體電路。將如此製造之積體電路視為本發明之實施例。
網路104可包括諸如網際網路之一廣域網路(WAN)、一區域網路(LAN)、一蜂巢式網路或任何其他類型之網路，以及多個網路之組合。深度成像器101之網路介面114可包括一或多個習用收發器或經組態以允許深度成像器101在網路104上與處理器件102中之每一者中之類似網路介面通信之其他網路介面電路。
本發明實施例中之深度成像器101通常經組態以使用一第一深度成像技術來產生一第一深度影像，及使用不同於該第一深度成像技術之一第二深度成像技術來產生一第二深度影像。然後，該第一深度影像及該第二深度影像中之每一者之至少部分經合併以形成一第三深度影像。深度成像器101之感測器108中之至少一者係一單個共同感測器，由該第一深度成像技術及該第二深度成像技術至少部分地共用該單個共同感測器，以使得至少部分地使用自該單個共同感測器所獲取之資料而產生該第一深度影像及該第二深度影像兩者。
藉由舉例方式，該第一深度影像可包括使用一SL深度成像技術所產生之一SL深度圖，且該第二深度影像可包括使用一ToF深度成像 技術所產生之一ToF深度圖。因此，此一實施例中之第三深度影像合併使用一單個共同感測器所產生之SL深度圖及ToF深度圖，其方式係產生比原本將單獨使用SL深度圖或ToF深度圖所獲得之深度資訊品質更高之深度資訊。
可至少部分地使用該單個共同感測器之複數個感測器單元之各別第一及第二不同子組而產生第一深度影像及第二深度影像。舉例而言，可至少部分地使用單個共同感測器之複數個感測器單元之一經指定子組而產生第一深度影像，且可在不使用該經指定子組之感測器單元之情況下而產生第二深度影像。
如圖1中所展示之影像處理系統100之特定組態僅係例示性的，且在其他實施例中系統100可包含除具體展示之彼等元件之外或替代具體展示之彼等元件之其他元件，包含此一系統之一習用實施方案中常見之一類型之一或多個元件。
現在參考圖2及圖3，展示上文所述之單個共同感測器108之實例。
圖2中所圖解說明之感測器108包括配置成包含SL感測器單元及ToF感測器單元之一感測器單元陣列之形式之複數個感測器單元200。更特定而言，此6×6陣列實例包含4個SL感測器單元及32個ToF感測器單元，但應理解，此配置僅係例示性的且為清晰地圖解說明而加以簡化。感測器單元之特定數目及陣列尺寸可變化以適應一既定應用之特定需要。每一感測器單元在本文中亦可稱作一像元素或「像素」。此術語亦用以指代使用各別感測器單元所產生之一影像之元素。
圖2展示總共36個感測器單元，其中4個係SL感測器單元且其中32個係ToF感測器單元。更大體而言，感測器單元之總數之約係SL感測器單元且剩餘之感測器單元係ToF感測器單元，其中M通常 係約為9但在其他實施例中可採取其他值。
應注意，SL感測器單元及ToF感測器單元可具有不同組態。舉例而言，SL感測器單元中之每一者可包含一半導體光子感測器，該半導體光子感測器包含用於根據一SL深度成像技術處理未經調變光之一直流電(DC)偵測器，而ToF感測器單元中之每一者可包括一不同類型之光子感測器，該不同類型之光子感測器包含用於根據一ToF深度成像技術處理射頻(RF)調變之光的微微秒開關及高精確度積分電容器。
另一選擇係，感測器單元中之每一者可以實質上相同方式組態，其中一既定此感測器單元之僅DC或RF輸出取決於該感測器單元是否在SL或ToF深度成像中使用而經進一步處理。
應瞭解，來自本發明實施例中之一單個發射器或多個發射器之輸出光通常具有DC分量及RF分量兩者。在一例示性SL深度成像技術中，處理可主要利用藉由隨時間對返回光求積分以獲得一平均值而判定之DC分量。在一例示性ToF深度成像技術中，，處理可主要利用呈自一同步RF解調變器獲得之相移值之形式的RF分量。然而，在其他實施例中，眾多其他深度成像配置係可能的。舉例而言，一ToF深度成像技術可取決於其特定特徵集合而額外地採用，可能用於判定相位量測可靠性估計中之照明條件或用於其他目的的DC分量。
在圖2實施例中，SL感測器單元及ToF感測器單元包括單個共同感測器108之感測器單元200之各別第一及第二不同子組。在此實施例中，使用單個共同感測器之感測器單元之各別第一及第二不同子組而產生SL深度影像及ToF深度影像。該等不同子組在此實施例中係分離的，以使得使用僅SL單元而產生SL深度影像，且使用僅ToF單元而產生ToF深度影像。此係一配置之一實例，其中至少部分地使用單個共同感測器之複數個感測器單元之一經指定子組而產生一第一深度影 像，且在不使用經指定子組之感測器單元之情況下而產生第二深度影像。在其他實施例中，該等子組無需分離。圖3實施例係具有不分離之感測器單元之不同子組之一感測器之一實例。
如圖3中所圖解說明之感測器108亦包括配置成一感測器單元陣列之形式之複數個感測器單元200。然而，在此實施例中，感測器單元包含ToF感測器單元以及若干聯合SL及ToF(SL+ToF)感測器單元。更具體而言，此6×6陣列實例包含4個SL+ToF感測器單元及32個ToF感測器單元，但再次應理解，此配置僅係例示性的且為清晰地圖解說明而加以簡化。在此實施例中，亦使用單個共同感測器108之感測器單元200之各別第一及第二不同子組而產生SL深度影像及ToF深度影像，但SL+ToF感測器單元用於SL深度影像產生及ToF深度影像產生兩者。因此，SL+ToF感測器單元經組態以產生供用於隨後SL深度影像處理中之一DC輸出及供用於隨後ToF深度影像處理中之一RF輸出兩者。
圖2及圖3之實施例圖解說明本文中亦稱作「感測器融合」之內容，其中深度成像器101之一單個共同感測器108用以產生SL深度影像及ToF深度影像兩者。在其他實施例中可使用眾多替代感測器融合配置。
另外或另一選擇係，深度成像器101可實施本文中稱作「發射器融合」之內容，其中深度成像器101之一單個共同發射器106用以產生用於SL深度成像及ToF深度成像兩者之輸出光。因此，深度成像器101可包括經組態以根據一SL深度成像技術及一ToF深度成像技術兩者產生輸出光之一單個共同發射器106。另一選擇係，單獨發射器可用於不同深度成像技術。舉例而言，深度成像器101可包括經組態以根據SL深度成像技術產生輸出光之一第一發射器106及經組態以根據ToF深度成像技術產生輸出光之一第二發射器106。
在包括一單個共同發射器之一發射器融合配置中，該單個共同發射器可係(舉例而言)使用一LED、雷射或其他光源之一經遮蔽整合式陣列來實施。不同SL光源及ToF光源可在單個共同發射器中散置成一棋盤圖案。另外或另一選擇係，對於ToF深度成像有用之RF調變可應用於單個共同發射器之SL光源，以便使原本可在自一聯合SL+ToF感測器單元採取一RF輸出光時產生之補償偏壓最小化。
應理解，如本文中所揭示之感測器融合及發射器融合技術可用於單獨實施例中或此兩個技術可組合於一單個實施例中。如下文將連同圖4至圖6一起更加詳細地闡述，此等感測器融合技術及發射器融合技術中之一或多者連同適當資料獲取及深度圖處理之使用可產生比由習用SL相機或ToF相機產生之品質高之具有增強深度解析度之深度影像及比習用SL相機或ToF相機產生之深度假影少之深度假影。
現在將參考圖4至圖6更加詳細地闡述資料獲取模組120及深度圖處理模組122之操作。
最初參考圖4，將與一特定半導體光子感測器108-(x,y)相關聯之資料獲取模組120之一部分展示為包括元件402、404、405、406、410、412及414。元件402、404、406、410、412及414與一對應像素相關聯，且元件405表示自其他像素接收之資訊。假定，針對單個共同感測器108之像素中之每一者複製圖4中所展示之所有此等元件。
光子感測器108-(x,y)表示圖2或圖3之單個共同感測器108之感測器單元200中之一既定者之至少一部分，其中x及y係感測器單元矩陣之列及行之各別索引。資料獲取模組120之對應部分120-(x,y)包括ToF解調變器402、ToF可靠性估計器404、SL可靠性估計器406、ToF深度估計器410、SL三角測量模組412及深度決策模組414。更具體而言，在此實施例之上下文中，將ToF解調變器稱作一「似ToF解調變器」，此乃因其可包括經調適以執行ToF功能性之一解調變器。
SL三角測量模組412係使用硬體及軟體之一組合而說明性地實施，且深度決策模組414係使用硬體及韌體之一組合而說明性地實施，但可使用硬體、軟體及韌體中之一或多者之其他配置來實施此等模組以及本文中所揭示之其他模組或組件。
在圖中，在光子感測器108-(x,y)中偵測自經成像之一場景所返回之IR光。此產生施加至ToF解調變器402之輸入資訊A i (x,y)。輸入資訊A i (x,y)包括振幅資訊A(x,y)及強度資訊B(x,y)。
ToF解調變器402解調變振幅資訊A(x,y)以產生提供至ToF深度估計器410之相位資訊φ(x,y)，ToF深度估計器410使用該相位資訊產生一ToF深度估計。ToF解調變器402亦將振幅資訊A(x,y)提供至ToF可靠性估計器404，且將強度資訊B(x,y)提供至SL可靠性估計器406。ToF可靠性估計器404使用該振幅資訊來產生一ToF可靠性估計，且SL可靠性估計器406使用該強度資訊來產生一SL可靠性估計。
SL可靠性估計器406亦使用強度資訊B(x,y)來產生所估計SL強度資訊。將所估計SL強度資訊提供至SL三角測量模組412供用於產生SL深度估計中。
在此實施例中，使用所估計SL強度資訊替代強度資訊B(x,y)，此乃因後者不僅包含對於經由三角測量重新構造深度係有用的來自一SL圖案火氣部分之經反射光I SL 而且包含不合意項(可能包含來自一ToF發射器之一DC偏移分量I offset 及來自其他周圍IR源之一背光分量I backlight )。因此，強度資訊B(x,y)可表達如下：B(x,y)=I SL (x,y)+I offset (x,y)+I backlight (x,y)。
表示各別不合意偏移及背光分量之B(x,y)之第二項及第三項在時間上相對恆定且在x-y平面中相對一致。因此，可藉由在所有可能(x,y)值上減去其平均值來實質上移除此等分量，如下：
可歸因於不合意偏移分量及背光分量之之任何剩餘變化形式將不嚴重地影響深度量測，此乃因三角測量涉及像素位置而非像素強度。將所估計SL強度資訊傳遞至SL三角測量模組412。
可使用眾多其他技術來自強度資訊B(x,y)產生所估計SL強度資訊。舉例而言，在另一實施例中，估計x-y平面中一平滑化平方空間梯度估計G(x,y)之量值以識別最受不合意分量之不利影響之彼等(x,y)位置：G(x,y)=smoothing_filter((B(x,y)-B(x+1,y+1))2+(B(x+1,y)-B(x,y+1))2)。
在此實例中，平滑化平方空間梯度G(x,y)充當用於識別受影響像素位置之一輔助遮罩以使得：(x SL ,y SL )=argmax(B(x,y)．G(x,y))。
其中對(x SL ,y SL )給出受影響像素位置之座標。同樣，可使用其他技術來產生。
深度決策模組414接收來自ToF深度估計器410之ToF深度估計及針對既定像素來自SL三角測量模組412之SL深度估計(若存在)。其亦自各別可靠性估計器404及406接收ToF可靠性估計及SL可靠性估計。深度決策模組414利用ToF深度估計及SL深度估計以及對應可靠性估計器來產生用於既定感測器單元之一局域深度估計。
作為一項實例，深度決策模組414可平衡SL深度估計與ToF深度估計，以藉由採取一經加權總和來使所得不確定性最小化：D result (x,y)=(D ToF (x,y)．Rel ToF (x,y)+D SL (x,y)．Rel SL (x,y))/(Rel ToF (x,y)+Rel SL (x,y))
其中D SL 及D ToF 表示各別SL深度估計及ToF深度估計，Rel SL 及Rel ToF 表示各別SL可靠性估計及ToF可靠性估計，且D result 表示由深度決策模組414產生之局域深度估計。
本發明實施例中所使用之可靠性估計可計及隨距一經成像物件之範圍而變之SL深度成像效能與ToF深度成像效能之間的差異。舉例而言，在某些實施方案中，SL深度成像在短及中間範圍處之效能可佳於ToF深度成像，而ToF深度成像在較長範圍處之效能可佳於SL深度成像。如可靠性估計中所反映之此資訊可提供所得局域深度估計之進一步改良。
在圖4實施例中，針對感測器陣列之每一單元或像素而產生局域深度估計。然而，在其他實施例中，可針對多個單元或像素之群組而產生全域深度估計，如現在將連同圖5一起所闡述。更特定而言，在圖5配置中，基於如針對單個共同感測器108之一既定單元而判定及類似地針對一或多個額外單元而判定之SL深度估計及ToF深度估計以及對應SL可靠性估計及ToF可靠性估計，而針對該既定單元及該一或多個額外單元而產生一全域深度估計。
亦應注意，可使用涉及如圖4中所圖解說明地產生之局域深度估計及如圖5中所圖解說明地產生之全域深度估計之一組合的混合配置。舉例而言，可在深度資訊之局域重新構造由於缺乏來自SL源或ToF源之可靠深度資料或出於其他原因而並非可能時利用深度資訊之全域重新構造。
在圖5實施例中，深度圖處理模組122對一組K個感測器單元或像素產生一全域深度估計。資料獲取模組120包括大體而言對應於圖4配置但無局域深度決策模組414之一單個單元資料獲取模組之K個例項。單個單元資料獲取模組之例項120-1、120-2、...、120-K中之每一者具有一相關聯光子感測器108-(x,y)以及解調變器402、可靠性估計器404及406、ToF深度估計器410及SL三角測量模組412。因此，如圖5中所展示之單個單元資料獲取模組120中之每一者實質上如圖4中所圖解說明地組態，其中不同之處在於自每一模組去除局域深度決策 模組414。
圖5實施例因此將單個單元資料獲取模組120彙總至一深度圖合併框架中。與各別模組120之至少一子組相關聯之元件405可與來自彼等模組之對應ToF解調變器402之強度信號線組合，以便形成攜載用於一經指定鄰域之強度資訊B(.,.)之一指定組的一網格。在此一配置中，經指定鄰域中之ToF解調變器402中之每一者將其強度資訊B(x,y)提供至經組合網格，以便促進此強度資訊在鄰近模組當中之分佈。作為一項實例，可定義大小為(2M+1)×(2M+1)之一鄰域，其中網格攜載供應至對應模組120中之SL可靠性估計器406之強度值B(x-M,y-M)...B(x+M,y-M)、...、B(x-M,y+M)...B(x+M,y+M)。
圖5實施例中所圖解說明之K個感測器可包括單個共同感測器108之所有感測器單元200，或包括少於所有感測器單元之特定群組。在後一情形中，可針對多個感測器單元群組複製圖5配置以便提供涵蓋單個共同感測器108之所有感測器單元之全域深度估計。
在此實施例中之深度圖處理模組122進一步包括SL深度圖組合模組502、SL深度圖預處理器504、ToF深度圖組合模組506、ToF深度圖預處理器508及深度圖合併模組510。
SL深度圖組合模組502自各別單個單元資料獲取模組120-1至120-K中之各別SL三角測量模組412及SL可靠性估計器406接收SL深度估計及相關聯SL可靠性估計，並使用此所接收資訊來產生一SL深度圖。
類似地，ToF深度圖組合模組506自各別單個單元資料獲取模組120-1至120-K中之各別ToF深度估計器410及ToF可靠性估計器404接收ToF深度估計及相關聯ToF可靠性估計，並使用此所接收資訊來產生一ToF深度圖。
來自組合模組502之SL深度圖及來自組合模組506之ToF深度圖中之至少一者在其相關聯預處理器504或508中經進一步處理以便實質上 等化各別深度圖之解析度。然後，在深度圖合併模組520中合併實質上等化之SL深度圖及ToF深度圖以便提供一最終全域深度估計。最終全域深度估計可呈一經合併深度圖之形式。
舉例而言，在圖2之單個共同感測器實施例中，SL深度資訊可自感測器單元200之總數之約潛在地獲得且ToF深度資訊可自剩餘之感測器單元潛在地獲得。圖3感測器實施例類似，但ToF深度資訊可自所有感測器單元潛在地獲得。如先前所指示，ToF深度成像技術通常提供佳於SL深度成像技術之x-y解析度，而SL深度成像技術通常提供佳於ToF相機之z解析度。因此，在此類型之一配置中，經合併深度圖組合相對較準確之SL深度資訊與相對較不準確之ToF深度資訊，同時亦組合相對較準確之ToF x-y資訊與相對較不準確之SL x-y資訊，並因此展現所有尺寸之增強解析度及比使用僅SL深度成像技術或ToF深度成像技術所產生之一深度圖更少之深度假影。
在SL深度圖組合模組502中，來自單個單元資料獲取模組120-1至120-K之SL深度估計及對應SL可靠性估計可係按以下方式處理。令D 0表示包括一(x,y,z)三元組集合之SL深度成像資訊，其中(x,y)表示一SL感測器單元之位置且z係使用SL三角測量所獲得之位置(x,y)處之深度值。集合D 0可係使用一基於臨限值之決策規則而形成於SL深度圖組合模組502中：D 0={(x,y,D SL (x,y))：Rel SL (x,y)>Threshold SL }。
作為一項實例，Rel SL (x,y)可係在對應深度資訊缺失之情況下等於0且在其存在之情況下等於1之一個二進制可靠性估計，且在此一配置中，Threshold SL 可等於諸如0.5之一中間值。可使用眾多替代可靠性估計、臨限值及基於臨限值之決策規則。基於D 0，在組合模組502中構造包括一稀疏矩陣D 1之一SL深度圖，其中稀疏矩陣D 1含有在對應(x,y) 位置中之z值及在所有其他位置中之零值。
在ToF深度圖組合模組506中，可使用一類似方法。因此，來自單個單元資料獲取模組120-1至120-K之ToF深度估計及對應ToF可靠性估計可係按以下方式處理。令T 0表示包括一個(x,y,z)三元組集合之ToF深度成像資訊，其中(x,y)表示一ToF感測器單元之一位置，且z係使用ToF相位資訊所獲得之位置(x,y)處之深度值。集合T 0可係使用一基於臨限值之決策規則而形成於ToF深度圖組合模組506中：T 0={(x,y,D ToF (x,y))：Rel ToF (x,y)>Threshold ToF }。
如在先前所闡述之SL情形中，可使用多種不同類型之可靠性估計Rel ToF (x,y)及臨限值Threshold ToF 。基於T 0，在組合模組506中構造包括一矩陣T 1之一ToF深度圖，其中矩陣T 1在對應(x,y)位置中含有z值及在所有其他位置中含有零。
假定使用其中感測器單元如圖2或圖3中所圖解說明地配置之一單個共同感測器108，則ToF感測器單元之數目遠遠大於SL感測器單元之數目，且因此矩陣T 1並非如D 1之一疏散矩陣。由於在T 1中比在D 1中存在更少零值，因此，T 1在於深度圖合併模組510中合併ToF深度圖與SL深度圖之前在預處理器508中經受基於內插之重新構造。更特言，此預處理涉及針對在T 1中含有零值之彼等位置重新構造深度值。
本發明實施例中之內插涉及：識別在T 1中其位置中具有一零值之一特定像素；識別該特定像素之一像素鄰域；及基於像素鄰域中之各別像素之深度值，針對該特定像素內插一深度值。針對T 1中之零值深度值像素中之每一者重複此程序。
圖6展示圍繞ToF深度圖矩陣T 1中之一零值深度值像素之一像素鄰域。在此實施例中，像素鄰域包括環繞一特定像素p之八個像素p 1至p 8。
藉由舉例方式，特定像素p之像素鄰域說明性地包括像素p之個n 鄰近者之一集合S p ：S p ={p 1,...,p n }，其中n個鄰近者各自滿足不等式：||p-p i ||<d，其中d係一臨限值或鄰域半徑且||.||表示如量測於其個別中心之間的x-y平面中像素p與p i 之間的歐幾里得(Euclidian)距離。雖然在此實例中使用歐幾里得距離，但可使用其他類型之距離度量，諸如一曼哈頓(Manhattan)距離度量，或更大體而言，一p範數距離度量。在圖6中圖解說明針對像素p之八像素鄰域的對應於一圓之一半徑的d之一實例。然而，應理解，可使用眾多其他技術來識別各別特定像素之像素鄰域。
對於具有圖6中所展示之像素鄰域之特定像素p而言，彼像素之深度值z p 可計算為各別鄰近像素之深度值之平均值： 或計算為各別鄰近像素之深度值之中值：
應瞭解，上文所使用之平均值及中值僅係本發明之實施例中可應用之兩種可能內插技術之實例，且可使用熟習此項技術者已知之眾多其他內插技術來替代平均值或中值內插。
來自SL深度圖組合模組502之SL深度圖D 1亦可在SL深度圖預處理器504中經受一或多個預處理操作。舉例而言，上文針對ToF深度圖T 1所闡述之類型之內插技術亦可在某些實施例中應用於SL深度圖D 1。
作為SL深度圖預處理之另一實例，假定SL深度圖D 1具有對應於經合併深度圖之所要大小之M D ×N D 像素之一解析度且來自ToF深度圖組合模組506之ToF深度圖T 1具有M ToF ×N ToF 像素之一解析度，其中 M ToF M D 且N ToF N D 。在此情形中，可使用若干眾所周知之影像上取樣技術(包含基於雙線性或三次內插之上取樣技術)來增加ToF深度圖解析度以實質上匹配SL深度圖之深度圖解析度。若需要，可在深度圖之重新定大小之前或之後施加SL深度圖及ToF深度圖中之一者或兩者之剪裁以便維持一所要縱橫比。此上取樣及剪裁操作係本文中更通常稱作深度影像預處理操作之實例。
本發明實施例中之深度圖合併模組510接收兩者為實質上相等大小及解析度之一經預處理SL深度圖及一經預處理ToF深度圖。舉例而言，在如先前所闡述之上取樣之後的ToF深度圖具有M D ×N D 之所要經合併深度圖解析度且不具有帶有缺失深度值之像素，而SL深度圖具有相同解析度但可具有帶有缺失深度值之某些像素。然後可使用以下例示性程序在模組510中合併此兩種SL深度圖及ToF深度圖：
1.針對SL深度圖D 1中之每一像素(x,y)，基於D 1中之(x,y)之一固定像素鄰域而估計一深度標準差σ D (x,y)。
2.針對ToF深度圖T 1中之每一像素(x,y)，基於T 1中之(x,y)之一固定像素鄰域而估計一深度標準差σ T (x,y)。
3.使用標準差最小化方法來合併SL深度圖及ToF深度圖：
一替代方法係應用可能基於馬可夫(Markov)隨機場之一超解析度技術。在標題為「Image Processing Method and Apparatus for Elimination of Depth Artifacts」之俄國專利申請案代理人檔案號第L12-1346RU1號中更加詳細地闡述此類型之一方法之實施例，該俄國專利申請案隨本發明共同受讓且以引用方式併入本文中，且可允許實質上去除或以一特定高效方式以其他方式減小一深度圖或其他類型之深度影像中之深度假影。在一項此實施例中，超解析度技術用以重新 構造一或多個潛在缺陷像素之深度資訊。關於可經調試供用於本發明之實施例中之超解析度技術之額外細節可見於(舉例而言)J.Diebel等人之「An Application of Markov Random Fields to Range Sensing」(NIPS，MIT出版社，第291頁至第298頁，2005)及Q.Yang等人之「Spatial-Depth Super Resolution for Range Images」(IEEE關於計算機視覺與型樣識別(CVPR)之會議，2007)中，該兩者以引用方式併入本文中。然而，上文僅係可用於本發明之實施例中之超解析度技術之實例。如本文中所使用之術語「超解析度技術」意欲廣泛解釋為囊括可用以可能藉由使用一或多個其他影像來增強一既定影像之解析度之技術。
應注意，在某些實施例中可使用較準。舉例而言，在其中利用兩個單獨感測器108來產生各別SL深度圖及ToF深度圖之一實施例中，兩個感測器之位置可相對於彼此固定且然後按以下方式加以較準。
首先，使用各別感測器來獲得SL深度影像及ToF深度影像。在該等影像中定位多個對應點，通常至少四個此等點。將m表示為此等點之數目，且將D xyz 定義為含有針對來自SL深度影像之m個點中之每一者之x、y及z座標之一3×m矩陣，且將T xyz定義為含有針對來自ToF深度影像之對應m個點中之每一者之x、y及z座標之一3×m矩陣。將A及TR分別表示為在一最小均方意義上判定為最佳之一仿射變換矩陣及一平移向量，其中：T xyz =A．D xyz +TR。
可發現矩陣A及向量TR為以下最佳化問題之一解決方案：R=||A．D xyz +TR-T xyz ||2→min。
使用逐元素標號法，A={a ij }，其中(i,j)=(1,1)、...、(3,3)，且TR={tr k }，其中k=1、...、3。最小均方意義上之此最佳化問題之解 決方案基於包含12個變數及12m個方程式之以下線性方程式組：dR/da ij =0，i=1、2、3，j=1、2、3，dR/dtr k =0，k=1、2、3。
下一較準步驟係將SL深度圖D 1變換成ToF深度圖T 1之坐標系統。此可係使用已知A及TR仿射變換參數來達成，如下：D 1xyz =A．D xyz +TR。
D 1xyz 中之所得(x,y)像素座標並非總是整數，而是(更通常)有理數。因此，彼等有理數座標可圖至包括具有解析度M D ×N D 之ToF影像T 1之等距正交整數格點之一規則網格，可能使用基於最近鄰近者之內插或其他技術。在此一圖之後，規則網格中之某些點可保持未經填充，但此所得空格對於施加一超解析度技術並非決定性的。可應用此一超解析度技術以獲得具有解析度M D ×N D 且可能帶有一或多個零值深度像素位置之一SL深度圖D 2。
可使用多種替代較準程序。此外，在其他實施例中無需施加較準。
應再次強調，如本文中所闡述之本發明之實施例僅意欲係說明性的。舉例而言，本發明之其他實施例可係利用不同於本文中所闡述之特定實施例中所利用之彼等處理系統、深度成像器、深度成像技術、感測器組態、資料獲取模組及深度圖處理模組的各種各樣之不同類型及配置之處理系統、深度成像器、深度成像技術、感測器組態、資料獲取模組及深度圖處理模組來實施。另外，在其他實施例中無需應用本文中在闡述特定實施例之上下文中做出之特定假定。熟習此項技術者將易於明瞭屬於以下申請專利範圍之範疇內之此等及眾多其他替代實施例。
100‧‧‧影像處理系統/系統
101‧‧‧深度成像器
102-1、102-2、...、102-N‧‧‧處理器件
104‧‧‧網路
105‧‧‧控制電路
106‧‧‧發射器/單個共同發射器/第一發射器/第二發射器
108‧‧‧感測器/單個共同感測器
110‧‧‧處理器
112‧‧‧記憶體
114‧‧‧網路介面
120‧‧‧資料獲取模組/單個單元資料獲取模組/模組
122‧‧‧深度圖處理模組

Claims (10)

  1. 一種方法，其包括：使用一第一深度成像技術來產生一第一深度影像；使用不同於該第一深度成像技術之一第二深度成像技術來產生一第二深度影像；及合併該第一深度影像及該第二深度影像之至少部分以形成一第三深度影像；其中至少部分地使用自一深度成像器之一單個共同感測器所獲取之資料而產生該第一深度影像及該第二深度影像兩者。
  2. 如請求項1之方法，其中該第一深度影像包括使用一結構化光深度成像技術所產生之一結構化光深度圖，且該第二深度影像包括使用一飛行時間深度成像技術所產生之一飛行時間深度圖。
  3. 如請求項1之方法，其中至少部分地使用該單個共同感測器之複數個感測器單元之各別第一及第二不同子組而產生該第一深度影像及該第二深度影像。
  4. 如請求項1之方法，其中至少部分地使用該單個共同感測器之複數個感測器單元之一經指定子組而產生該第一深度影像，且在不使用該經指定子組之該等感測器單元之情況下而產生該第二深度影像。
  5. 如請求項2之方法，其中產生該第一深度影像及該第二深度影像包括：針對該共同感測器之一既定單元，自該既定單元接收振幅資訊；解調變該振幅資訊以產生相位資訊；使用該相位資訊來產生一飛行時間深度估計；使用該振幅資訊來產生一飛行時間可靠性估計； 自該既定單元接收強度資訊；使用該強度資訊來產生一結構化光深度估計；及使用該強度資訊產生一結構化光可靠性估計。
  6. 如請求項2之方法，其中產生該第一深度影像及該第二深度影像包括：產生該結構化光深度圖作為使用該共同感測器之第一複數個單元所獲得之結構化光深度資訊之一組合；產生該飛行時間深度圖作為使用該共同感測器之第二複數個單元所獲得之飛行時間深度資訊之一組合；預處理該結構化光深度圖及該飛行時間深度圖中之至少一者以便實質上等化其各別解析度；及合併該實質上等化之結構化光深度圖及該飛行時間深度圖以產生一經合併深度圖。
  7. 一種其中體現有電腦程式碼之電腦可讀儲存媒體，其中該電腦程式碼在於包括深度成像器之一影像處理系統中執行時致使該影像處理系統執行如請求項1之方法。
  8. 一種裝置，其包括：一深度成像器，其包括至少一個感測器；其中該深度成像器經組態以使用一第一深度成像技術來產生一第一深度影像，及使用不同於該第一深度成像技術之一第二深度成像技術來產生一第二深度影像；其中該第一深度影像及該第二深度影像中之每一者之至少部分經合併以形成一第三深度影像；且其中該至少一個感測器包括一單個共同感測器，由該第一深度成像技術及該第二深度成像技術至少部分地共用該單個共同感測器，以使得至少部分地使用自該單個共同感測器所獲取之 資料而產生該第一深度影像及該第二深度影像兩者。
  9. 如請求項8之裝置，其中存在以下各項中之至少一者：(i)該深度成像器進一步包括經組態以根據一結構化光深度成像技術產生輸出光之一第一發射器及經組態以根據一飛行時間深度成像技術產生輸出光之一第二發射器；(ii)該深度成像器包括至少一個發射器，其中該至少一個發射器包括經組態以根據一結構化光深度成像技術及一飛行時間深度成像技術兩者而產生輸出光之一單個共同發射器；(iii)該深度成像器經組態以至少部分地使用該單個共同感測器之複數個感測器單元之各別第一及第二不同子組來產生該第一深度影像及該第二深度影像；(iv)該深度成像器經組態以至少部分地使用該單個共同感測器之複數個感測器單元之一經指定子組來產生該第一深度影像，及在不使用該經指定子組之該等感測器單元之情況下產生該第二深度影像；(v)該單個共同感測器包括複數個結構化光感測器單元及複數個飛行時間感測器單元；及(vi)該單個共同感測器包括係一聯合結構化光與飛行時間感測器單元之至少一個感測器單元。
  10. 一種影像處理系統，其包括：至少一個處理器件；及一深度成像器，其與該處理器件相關聯且包括至少一個感測器；其中該深度成像器經組態以使用一第一深度成像技術來產生一第一深度影像，及使用不同於該第一深度成像技術之一第二深度成像技術來產生一第二深度影像； 其中該第一深度影像及該第二深度影像中之每一者之至少部分經合併以形成一第三深度影像；且其中該至少一個感測器包括一單個共同感測器，由該第一深度成像技術及該第二深度成像技術至少部分地共用該單個共同感測器，以使得至少部分地使用自該單個共同感測器所獲取之資料而產生該第一深度影像及該第二深度影像兩者。
TW102133979A 2012-12-17 2013-09-18 用於合併使用相異深度成像技術所產生之深度影像之方法及裝置 TW201432619A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2012154657/08A RU2012154657A (ru) 2012-12-17 2012-12-17 Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной

Publications (1)

Publication Number Publication Date
TW201432619A true TW201432619A (zh) 2014-08-16

Family

ID=50979358

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102133979A TW201432619A (zh) 2012-12-17 2013-09-18 用於合併使用相異深度成像技術所產生之深度影像之方法及裝置

Country Status (8)

Country Link
US (1) US20160005179A1 (zh)
JP (1) JP2016510396A (zh)
KR (1) KR20150096416A (zh)
CN (1) CN104903677A (zh)
CA (1) CA2846653A1 (zh)
RU (1) RU2012154657A (zh)
TW (1) TW201432619A (zh)
WO (1) WO2014099048A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9481087B2 (en) 2014-12-26 2016-11-01 National Chiao Tung University Robot and control method thereof
TWI622785B (zh) * 2015-03-27 2018-05-01 英特爾股份有限公司 用於空間－時間壓縮的飛行時間成像之技術
TWI714690B (zh) * 2015-12-21 2021-01-01 荷蘭商皇家飛利浦有限公司 用於處理深度圖之裝置與方法及相關電腦程式產品

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
RU2014104445A (ru) * 2014-02-07 2015-08-20 ЭлЭсАй Корпорейшн Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения
KR20170104506A (ko) * 2015-01-06 2017-09-15 페이스북, 인크. 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
TWI575248B (zh) * 2015-09-10 2017-03-21 義明科技股份有限公司 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
CN106527761A (zh) * 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
US9983709B2 (en) 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
WO2017134936A1 (ja) * 2016-02-05 2017-08-10 株式会社リコー 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
CN105974427B (zh) * 2016-06-24 2021-05-04 上海图漾信息科技有限公司 结构光测距装置及方法
CN107783353B (zh) * 2016-08-26 2020-07-10 光宝电子(广州)有限公司 用于捕捉立体影像的装置及系统
CN108027238B (zh) * 2016-09-01 2022-06-14 索尼半导体解决方案公司 成像装置
JP6817780B2 (ja) 2016-10-21 2021-01-20 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US10712561B2 (en) 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
WO2018090250A1 (zh) 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
US10025384B1 (en) 2017-01-06 2018-07-17 Oculus Vr, Llc Eye tracking architecture for common structured light and time-of-flight framework
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
WO2018140656A1 (en) * 2017-01-26 2018-08-02 Matterport, Inc. Capturing and aligning panoramic image and depth data
US10679366B1 (en) 2017-01-30 2020-06-09 Facebook Technologies, Llc High speed computational tracking sensor
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky Coherence camera system and method thereof
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
CN107345790A (zh) * 2017-07-11 2017-11-14 合肥康之恒机械科技有限公司 一种电子产品检测仪
KR102134688B1 (ko) * 2017-08-29 2020-07-17 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광학 거리 측정 방법 및 광학 거리 측정 장치
CN107526948B (zh) * 2017-09-28 2023-08-25 同方威视技术股份有限公司 生成关联图像的方法和设备以及图像验证方法和设备
EP4270209B1 (en) 2017-10-26 2025-09-24 Druva Inc. Deduplicated merged indexed object storage file system
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108564614B (zh) * 2018-04-03 2020-09-18 Oppo广东移动通信有限公司 深度获取方法和装置、计算机可读存储介质和计算机设备
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
CN108924408B (zh) * 2018-06-15 2020-11-03 深圳奥比中光科技有限公司 一种深度成像方法及系统
KR102543027B1 (ko) * 2018-08-31 2023-06-14 삼성전자주식회사 3차원 이미지를 획득하기 위한 방법 및 장치
WO2020045770A1 (en) 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理系统的操作方法
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN113167899B (zh) * 2018-12-04 2022-08-16 Iee国际电子工程股份公司 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法
EP3663799B1 (en) * 2018-12-07 2024-02-07 Infineon Technologies AG Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
EP3942328A1 (en) * 2019-03-22 2022-01-26 Sony Semiconductor Solutions Corporation Analysis portion, time-of-flight imaging device and method
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
KR102812099B1 (ko) * 2019-05-16 2025-05-23 엘지이노텍 주식회사 카메라 모듈
CN110456379A (zh) * 2019-07-12 2019-11-15 深圳奥比中光科技有限公司 融合的深度测量装置及距离测量方法
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
CN110490920A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 融合深度计算处理器及3d图像设备
CN110376602A (zh) * 2019-07-12 2019-10-25 深圳奥比中光科技有限公司 多模式深度计算处理器及3d图像设备
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法
CN110673114B (zh) * 2019-08-27 2023-04-18 三赢科技（深圳）有限公司 校准三维相机深度的方法、装置、计算机装置及存储介质
US20210144357A1 (en) * 2019-11-08 2021-05-13 Samsung Electronics Co., Ltd. Method and apparatus with depth image generation
EP4058859A1 (en) * 2019-11-15 2022-09-21 Amgen Inc. Offline troubleshooting and development for automated visual inspection stations
CN110930301B (zh) * 2019-12-09 2023-08-11 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN114667457A (zh) * 2019-12-11 2022-06-24 三星电子株式会社 电子设备及其控制方法
US11373322B2 (en) * 2019-12-26 2022-06-28 Stmicroelectronics, Inc. Depth sensing with a ranging sensor and an image sensor
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
CN114170640B (zh) * 2020-08-19 2024-02-02 腾讯科技（深圳）有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
CN112379389B (zh) * 2020-11-11 2024-04-26 杭州蓝芯科技有限公司 一种结合结构光相机和tof深度相机的深度信息获取装置和方法
CN113031001B (zh) * 2021-02-24 2024-02-13 Oppo广东移动通信有限公司 深度信息处理方法、深度信息处理装置、介质与电子设备
WO2022194352A1 (en) 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Apparatus and method for image correlation correction
CN113269062B (zh) * 2021-05-14 2021-11-26 食安快线信息技术(深圳)有限公司 应用于智慧教育的人工智能异常识别方法
CN115570556B (zh) * 2021-07-21 2025-06-17 牧今科技 具有基于深度的处理机制的机器人系统及其操作方法
CN114519713B (zh) * 2022-02-24 2025-07-18 合肥芯明智能科技有限公司 深度测量方法、双目立体视觉系统、装置及存储介质
CN115205365A (zh) * 2022-07-14 2022-10-18 小米汽车科技有限公司 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN117666136A (zh) * 2022-09-07 2024-03-08 北京字跳网络技术有限公司 头戴式虚拟现实设备
CN115965942B (zh) * 2023-03-03 2023-06-23 安徽蔚来智驾科技有限公司 位置估计方法、车辆控制方法、设备、介质及车辆
US20240377538A1 (en) * 2023-05-08 2024-11-14 Microsoft Technology Licensing, Llc Hybrid depth imaging with sparse subject irradiation
CN118330673B (zh) * 2024-06-17 2024-10-15 欧菲微电子(南昌)有限公司 深度成像模组、深度成像方法及电子装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
EP1751495A2 (en) * 2004-01-28 2007-02-14 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7560679B1 (en) * 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
WO2009097516A1 (en) * 2008-01-30 2009-08-06 Mesa Imaging Ag Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
KR101648201B1 (ko) * 2009-11-04 2016-08-12 삼성전자주식회사 영상 센서 및 이의 제조 방법.
US8723923B2 (en) * 2010-01-14 2014-05-13 Alces Technology Structured light system
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
CN201707438U (zh) * 2010-05-28 2011-01-12 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像系统
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US9030528B2 (en) * 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
CN102663712B (zh) * 2012-04-16 2014-09-17 天津大学 基于飞行时间tof相机的深度计算成像方法
US9036243B2 (en) * 2012-09-24 2015-05-19 Alces Technology, Inc. Digital drive signals for analog MEMS ribbon arrays

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9481087B2 (en) 2014-12-26 2016-11-01 National Chiao Tung University Robot and control method thereof
TWI558525B (zh) * 2014-12-26 2016-11-21 國立交通大學 機器人及其控制方法
TWI622785B (zh) * 2015-03-27 2018-05-01 英特爾股份有限公司 用於空間－時間壓縮的飛行時間成像之技術
TWI714690B (zh) * 2015-12-21 2021-01-01 荷蘭商皇家飛利浦有限公司 用於處理深度圖之裝置與方法及相關電腦程式產品

Also Published As

Publication number Publication date
KR20150096416A (ko) 2015-08-24
WO2014099048A2 (en) 2014-06-26
WO2014099048A3 (en) 2015-07-16
JP2016510396A (ja) 2016-04-07
RU2012154657A (ru) 2014-06-27
CA2846653A1 (en) 2014-06-17
CN104903677A (zh) 2015-09-09
US20160005179A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
TW201432619A (zh) 用於合併使用相異深度成像技術所產生之深度影像之方法及裝置
US10453249B2 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN103824318B (zh) 一种多摄像头阵列的深度感知方法
CN111566437B (zh) 三维测量系统以及三维测量方法
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US10677923B2 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016502704A (ja) 奥行きアーチファクトを除去するための画像処理方法および装置
EP3135033B1 (en) Structured stereo
Feng et al. Benchmark data set and method for depth estimation from light field images
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN104272323A (zh) 使用至少一个附加图像的图像增强和边缘验证方法和设备
Hadjitheophanous et al. Towards hardware stereoscopic 3D reconstruction a real-time FPGA computation of the disparity map
CN104680534A (zh) 基于单帧复合模板的物体深度信息获取方法
Volak et al. Interference artifacts suppression in systems with multiple depth cameras
Yang et al. Single-shot dense depth sensing with frequency-division multiplexing fringe projection
Ralasic et al. Dual imaging–can virtual be better than real?
Ambrosch et al. A miniature embedded stereo vision system for automotive applications
Choi et al. Implementation of Real‐Time Post‐Processing for High‐Quality Stereo Vision
TW201426634A (zh) 利用一種基於來自其他影像之資訊的函數之泛函之目標影像產生
Yao et al. The VLSI implementation of a high-resolution depth-sensing SoC based on active structured light
CN117808884A (zh) 外参标定方法及装置、成像系统和计算机可读介质
CN106815864B (zh) 基于单帧调制模板的深度信息测量方法
Agarwal et al. Three dimensional image reconstruction using interpolation of distance and image registration
KR101765257B1 (ko) 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치