TWI394435B - 用於測定一成像裝置之移動的方法及系統 - Google Patents

Description

用於測定一成像裝置之移動的方法及系統

本發明係有關於用於測定一成像裝置之移動的方法及系統。

發明背景

成像裝置使用者，諸如相機或攝影機使用者，往往所捕捉的影像係為模糊或是搖晃的。模糊或是搖晃的影像可能於影像捕捉期間因對象移動而造成，或是於影像捕捉期間因成像裝置本身的移動所造成振動而造成。例如，相機搖動、慢快門速度、或是使用遠距鏡頭而未配備三腳架，於影像捕捉期間會因成像裝置移動而導致模糊或是搖晃的影像。

一影像穩定技術係於影像捕捉期間用以補償成像器的移動。影像穩定性藉由抑制或抵銷因成像裝置或是成像器之移動所產生的振動而產生較為銳利的影像。一影像穩定技術使用一內建迴轉感測器(gyro sensor)，用以當發生相機搖動時進行測量及修正。另一影像穩定技術使用一成像感測器用以捕捉影像，其係用以補償成像器之移動。

第1圖係為先前技術之一成像裝置的一前視圖的一方塊圖。成像裝置100包括成像器102及移動感測器104。如第2圖中所示，成像器102及移動感測器104二者捕捉場景106之影像。移動感測器104在高圖框速率(frame rate)下捕捉影像，並且經與感測器104之連續影像相關聯而計算成像裝置100之移動。移動感測器104與成像器102比較，具有較小數目之像素，造成感測器104與成像器102相較具有較小的視野110。較小的視野110致使移動感測器104探測於場景106發生的移動，並且不正確地補償該移動而非針對成像裝置中的任一移動。例如，當成像器102進行捕捉個人影像時，移動感測器104會捕捉個人頭部的影像。於影像捕捉期間，移動感測器104探測個人移動其之頭部的影像。但成像裝置100可能未移動或是所移動小於頭部的移動。於是，一影像穩定技術會不正確地補償未發生的移動或是針對成像裝置100之移動過度地補償。

發明概要

根據本發明，提供用以測定一成像裝置之移動的方法及系統。於一成像裝置中包括多重移動感測器元件。一或更多的移動感測器元件捕捉影像，並且感測器影像之至少一部分接著進行處理用以針對所處理感測器影像測定一或更多的移動向量。當移動向量之一預先測定部分相配時，產生至少一代表影像捕捉期間成像器之移動量的移動向量。

圖式簡單說明

第1圖係為先前技術之一成像裝置的一前視圖的一方塊圖；第2圖係為第1圖中所示之成像裝置的一左側視圖的一方塊圖；第3圖係為本發明之一具體實施例的一成像裝置的一前視圖的一方塊圖；第4圖係為成像裝置300的一左側視圖的一方塊圖；第5A－5B圖圖示用以測定本發明之一具體實施例的一成像裝置之移動的一方法的一流程圖；第6圖係為本發明之一具體實施例的一場景及感測器影像的一方塊圖；第7圖圖示本發明之一具體實施例之具有視窗的感測器影像602；第8圖圖示本發明之一具體實施例之具有子視窗的視窗700；第9圖圖示根據第5A－5B圖中所示方法處理之具有視窗的一第一感測器影像；以及第10圖圖示根據第5A－5B圖中所示方法處理之具有視窗的一第二感測器影像。

較佳實施例之詳細說明

所提出的以下說明使熟知此技藝之人士能夠製作並使用本發明之具體實施例，並係提供於專利申請案之內文中及其之需求。對於熟知此技藝之人士而言，對所揭示具體實施例的不同修改係為可立即地顯而易見的，並且於此的一般原理可應用在其他的具體實施例。因此，本發明並未限定在所顯示的具體實施例，而是相配與附加申請專利範圍以及於此所說明原理及特性相一致的最為廣泛範疇。應瞭解的是與本發明有關的圖式並未按比例繪製。

整個圖式中相同的代表符號表示相一致的元件。第3圖係為本發明之一具體實施例的一成像裝置的一前視圖的一方塊圖。成像裝置300包括成像器102及光學移動感測器302。光學移動感測器302包括感測器元件304、306、308，於本發明之一具體實施例中其係使用作為互補性氧化金屬半導體(CMOS)元件。於本發明之其他具體實施例中，感測器元件304、306、308利用不同的成像元件，例如，諸如電荷耦合元件(CCD)。

成像器102係使用作為能夠捕捉靜態或視訊影像的任一所熟知之成像元件。成像器102捕捉位在其之視野中的場景106的影像。於本發明之一具體實施例中，感測器元件304、306、308捕捉場景之數部分的一或更多影像。於本發明之另一具體實施例中，一些或是所有的感測器元件304、306、308捕捉位在成像器102之視野外的一場景的一或更多影像。

於影像捕捉期間，感測器影像係用以測定與成像裝置300有關的一或更多移動向量(亦即，方向及距離值)。於本發明之一具體實施例中，一或更多移動向量係利用一影像穩定技術，用以將藉由成像器102捕捉的影像穩定。僅管於第3圖中所顯示僅有三感測器元件，但本發明之具體實施例包括任一數目之多重感測器。

第4圖係為成像裝置300的一左側視圖的一方塊圖。為了清晰起見並未顯示成像器102。透鏡陣列組(lenslet array)400包括三透鏡402、404、406分別地配置位在感測器元件304、306、308的一成像路徑中。每一透鏡可經傾斜或轉動，用以容許其之對應感測器元件捕捉場景的不同部分。於本發明之一具體實施例中，例如，透鏡402經定位(亦即，傾斜)用以容許感測器元件304捕捉場景106之子視野408的影像，透鏡404經定位用以容許感測器元件306捕捉場景106之子視野410的影像，同時透鏡406經定位致使感測器元件308捕捉子視野412的影像。於本發明之其他具體實施例中，透鏡陣列組400中透鏡可經定位在任一特定方向上。

由感測器元件304、306、308所捕捉的感測器影像係藉由處理元件414加以處理，用以針對每一感測器影像測定一或更多移動向量。於本發明之一具體實施例中，感測器影像在處理之前儲存於記憶體416中。用以測定移動向量的一技術係為影像相關(image correlation)。為了測定所捕捉的二影像之時間之間是否發生移動，使藉由相同感測器捕捉的二影像為相關聯的。該移動可源自於成像裝置的移動、位在場景中一物件的移動，或是成像裝置的移動與位在場景中一物件的移動二者。第5A－5B圖圖示用以測定本發明之一具體實施例的一成像裝置之移動的一方法的一流程圖。

可用以測定移動向量的另一技術係揭示於共同讓渡的美國專利申請案第11/014,482號，其係於此併入本案以為參考資料。針對成像裝置300中的每一感測器元件304、306、308，捕捉二感測器影像並藉由將一感測器影像I(t)自其他感測器影像I(t＋△)減去所產生的一差像(difference image)。例如，源自於影像I(t)的灰階值係自影像I(t＋△)中灰階值減去。因此，差像代表二感測器影像之間灰階值的差異。

接著將差像與用以產生差像的其中之一感測器影像相關聯。例如，於本發明之一具體實施例中，差像係與影像I(t)相關聯。於本發明之另一具體實施例中，差像係與影像I(t＋△)相關聯。接著將關聯之結果用以測定在所捕捉時間影像I(t)與I(t＋△)之間是否發生移動。再者，該移動可源自於成像裝置的移動、位在場景中一物件的移動，或是成像裝置的移動與位在場景中一物件的移動二者。

第5A－5B圖圖示用以測定本發明之一具體實施例的一成像裝置之移動的一方法的一流程圖。最初，如方塊500中所示，一成像裝置中的一些或是所有的感測器元件捕捉感測器影像。可同時地或連續地捕捉感測器影像。

如先前說明，每一感測器影像描述一場景的一部分。第6圖係為本發明之一具體實施例的一場景及感測器影像的一方塊圖。場景600包括感測器影像602、604、606。於第6圖的具體實施例中，感測器影像602、604、606之位置係與第3圖中感測器影像302、304、306之位置相一致。於本發明之其他具體實施例中，可包括任一特定數目的感測器影像。再者，可以任一特定形式配置感測器影像。

再次參考第5A圖，於方塊502完成測定作業，有關於是否將感測器影像細分。於第5A－5B圖中所示的具體實施例中細分所有的感測器影像。於本發明之另一具體實施例中，並未將所有的感測器影像細分。於本發明之另一具體實施例中，僅將一些或是所有的感測器影像的一部分細分。

假若感測器影像係經細分，則處理作業進行至方塊504，於該處完成一測定其係有關於是否感測器影像中視窗係經細分。假若未細分視窗，則於方塊506處於一感測器影像中產生二或更多視窗。第7圖圖示本發明之一具體實施例之具有視窗的感測器影像602。感測器影像602包括九視窗700，每一視窗700包括感測器影像602中影像的一部分。視窗700的尺寸可為相等或具不同的尺寸。再者，視窗700的形狀並未限定為方形或矩形形狀。可將視窗700構形為任一特定形狀。

再者，於方塊508，個別地處理感測器影像中視窗，用以針對每一視窗測定一移動向量。於本發明之另一具體實施例中，並非處理所有視窗並選定待處理視窗。並且於本發明之另一具體實施例中，以不同的形式將視窗群組化在一起並處理該等群組。

於方塊510處，接著儲存移動向量並完成測定其係有關於是否具有任何剩餘的感測器影像進行處理(方塊512)。假若具有一剩餘的感測器影像進行處理，則方法返回至方塊506並重複直至所有的感測器影像已經處理為止。

返回至方塊504，假若視窗係經細分，則處理進行至方塊514，於該處在一感測器影像中產生二或更多視窗。於方塊516處，接著在一視窗中產生二或更多子視窗。於第5A－5B圖中所示的具體實施例中細分所有的視窗。於本發明之另一具體實施例中，並未細分所有的視窗。並於本發明之另一具體實施例中，僅細分一些或是所有視窗的一部分。

第8圖圖示本發明之一具體實施例之具有子視窗的視窗700。視窗700包括四子視窗800，其每一子視窗包括視窗700中影像的一部分。子視窗800可為尺寸相等或是具有不同的尺寸。再者，子視窗800之形狀並未限制為方形或是矩形形狀。子視窗800可構形為任一特定形狀。

於方塊518，接著個別地處理視窗中的子視窗，用以針對每一子視窗測定一移動向量。於本發明之另一具體實施例中，並未處理所有的子視窗並選定待處理子視窗。於本發明之另一具體實施例中，以不同的形式將子視窗群組化在一起並處理該等群組。

再者，於方塊520及522，儲存移動向量並完成測定其係有關於是否具有任何剩餘視窗進行處理。假若具有剩餘的感測器影像進行處理，則方法返回至方塊514並重複直至所有的視窗已經處理為止。當無剩餘視窗待處理時，則於方塊524處繼續處理，於該處完成一測定其係有關於是否具有任何剩餘的感測器影像進行處理。如有，則方法返回至方塊514並重複直至所有的感測器影像已經處理為止。

當針對所有感測器影像測定移動向量時，於方塊526比較移動向量。接著於方塊528完成一測定其係有關於所有移動向量是否相配。第9圖圖示根據第5A－5B圖中所示方法處理之具有視窗的一第一感測器影像。針對每一視窗的移動向量係藉由箭頭900標示。如第9圖中所示，針對所有視窗的移動向量相配。因此，於本發明之一具體實施例中，移動向量900代表在影像捕捉期間成像器之移動量。與移動向量900關聯的數值係與一影像穩定技術一同使用，用以穩定藉由一成像裝置中的一成像器(例如，第3圖之成像裝置300中的成像器102)捕捉的影像。

假若針對所有視窗或是子視窗的移動向量未相配，則方法進行至方塊530，於該處完成一測定其係有關於是否針對視窗或是子視窗的大部分之移動向量相配。第10圖圖示根據第5A－5B圖中所示方法處理之具有視窗的一第二感測器影像。藉由箭頭1000標示針對四視窗的移動向量，同時以箭頭1002標示針對五視窗的移動向量。根據本發明之一具體實施例，由於九視窗中的五視窗係大多數，所以與移動向量1002相關聯的數值代表成像器之移動量並係與一影像穩定技術一同使用，用以穩定藉由一成像器所捕捉的影像。根據本發明之一具體實施例，移動向量1000代表在場景中所出現的移動，並且就其本身而論並未利用一影像穩定技術。

假若大多數移動向量並未相配，則移動向量代表在影像捕捉期間於場景中出現的移動。因此，於方塊532，由於並未因成像裝置之移動而發生移動，所以輸出等於零之一移動向量。於方塊528，假若所有的移動向量相配，或是於方塊530，大多數之移動向量相配，則於方塊534，輸出等於所有或是大多數移動向量的一移動向量。接著於一影像穩定技術中使用於方塊534的移動向量輸出，用以穩定藉由一成像裝置中的一成像器所捕捉的影像。

再次參考第5A圖之方塊502，根據本發明之一具體實施例，假若感測器影像並未細分，則方法進行至方塊536，於該處個別地處理感測器影像，用以針對每一感測器影像測定一移動向量。接著於方塊526比較移動向量，並且完成一測定其係有關於是否所有移動向量相配(方塊528)。假若針對感測器影像的移動向量並未相配，則於方塊530繼續該方法，於該處完成一測定其係有關於是否針對大部分之感測器影像的移動向量相配。

假若大部分之移動向量未相配，則於方塊532輸出等於零的移動向量。假若對於所有或是大部分之感測器影像的移動向量相配，則於方塊534輸出等於針對所有或是大部分之感測器的移動向量的一移動向量。接著將於方塊534的移動向量輸出用於一影像穩定技術，用以穩定藉由一成像裝置中的一成像器所捕捉的影像。

儘管於第5A－5B圖中所示的方法比較與感測器影像相關聯的移動向量用以測定是否所有或是大部分相配，但本發明之其他具體實施例並未限定在此實施方式上。於本發明之其他具體實施例中，比較移動向量用以測定是否移動向量之一預先測定部分相配。再者，該比較並不必需包括所有之計算移動向量。本發明之其他具體實施例能夠僅比較一部分之移動向量，或是選擇移動向量加以比較。

第5A－5B圖圖示用以測定一成像裝置之移動的一方法。本發明之具體實施例並未限定在如第5A－5B圖中所示之方塊的順序或是所示之方塊。本發明之其他具體實施例可包括第5A－5B圖中所未顯示的附加方塊。再者，可刪除或是重新安排第5A－5B圖中所示之一或更多的方塊。例如，視窗可不加以細分並且就其本身而論方塊514－524未包括於本發明之此具體實施例中。

100．．．成像裝置

102．．．成像器

104．．．移動感測器

106．．．場景

110．．．較小的視野

300．．．成像裝置

302．．．光學移動感測器

304,306,308．．．感測器元件

400．．．透鏡陣列組

402,404,406．．．透鏡

408,410．．．子視野

414．．．處理元件

416．．．記憶體

600．．．場景

602．．．感測器影像

602,604,606．．．感測器影像

700．．．視窗

800．．．子視窗

900,1000,1002．．．移動向量

第1圖係為先前技術之一成像裝置的一前視圖的一方塊圖；第2圖係為第1圖中所示之成像裝置的一左側視圖的一方塊圖；第3圖係為本發明之一具體實施例的一成像裝置的一前視圖的一方塊圖；第4圖係為成像裝置300的一左側視圖的一方塊圖；第5A－5B圖圖示用以測定本發明之一具體實施例的一成像裝置之移動的一方法的一流程圖；第6圖係為本發明之一具體實施例的一場景及感測器影像的一方塊圖；第7圖圖示本發明之一具體實施例之具有視窗的感測器影像602；第8圖圖示本發明之一具體實施例之具有子視窗的視窗700；第9圖圖示根據第5A－5B圖中所示方法處理之具有視窗的一第一感測器影像；以及第10圖圖示根據第5A－5B圖中所示方法處理之具有視窗的一第二感測器影像。

102．．．成像器

300．．．成像裝置

302．．．光學移動感測器

304,306,308．．．感測器元件

Claims (18)

1. 一種成像裝置，其包含：一移動感測器其包括：一第一光學感測器裝置，其經組態以捕捉對應於一成像物件之一第一部分之一第一影像；及一第二光學感測器裝置，其經組態以實質上同時捕捉對應於該成像物件之一第二部分之一第二影像；以及一透鏡陣列組，其光耦接至該移動感測器，該透鏡陣列組包含：一第一透鏡，其光耦接至該第一光學感測器裝置且具有一第一光學軸，其對齊於經指向朝向該成像物件之該第一部分之一第一成像路徑；及一第二透鏡，其光耦接至該第二光學感測器裝置且具有一第二光學軸，其對齊於經指向朝向該成像物件之該第二部分之一第二成像路徑，該第二光學軸相對於該第一光學軸具有一第一角位移，其中係藉由固定該第二透鏡於相對於該第一透鏡之一第一傾斜位置來調節該第一角位移；一成像器，經組態以在捕捉該第一與該第二影像期間實質上同時捕捉該成像物件之一要求影像，該要求影像具有一視野區域，該視野區域較大於該第一或該第二影像每一者所對應之視野區域；以及一處理元件，其可經動作以接收由該移動感測器自 該第一及該第二影像導出之移動資訊，且使用該移動資訊以補償捕捉該要求影像期間所發生之移動。
2. 如申請專利範圍第1項之成像裝置，其中該移動感測器進一步包括一第三光學感測器裝置，其經組態以在捕捉該第一與該第二影像期間實質上同時捕捉對應於該成像物件之一第三部分之一第三影像，且其中該透鏡組陣列進一步包含一第三透鏡，其光耦接至該第三光學感測器裝置且具有一第三光學軸，其對齊於經指向朝向該成像物件之該第三部分，該第三光學軸相對於該第一光學軸具有一第二角位移，其中係藉由固定該第三透鏡於相對於該第一透鏡之一第二傾斜位置來調節該第二角位移。
3. 如申請專利範圍第1項之成像裝置，其中該處理元件係經作動用以在對應於該成像物件之該第一或該第二部分之該等影像之至少一部分中產生多重視窗並用以針對每一視窗決定一移動向量。
4. 如申請專利範圍第3項之成像裝置，其中該處理元件係經作動用以在該等視窗的至少一部分中產生多重子視窗並用以針對每一子視窗決定一移動向量。
5. 如申請專利範圍第4項之成像裝置，其中該處理元件係經作動用以在與該等子視窗相關聯的該等移動向量的該一預定數量相配時，產生代表該成像器之一移動量的一或更多移動向量。
6. 如申請專利範圍第4項之成像裝置，其中該處理元件係 可經動作以使用自該等視窗的每一子視窗產生之該等移動向量來區別該成像物件呈現的移動與該成像裝置呈現的移動。
7. 一種成像裝置，其包含：一移動感測器，其包括：一第一光學感測器裝置，其經組態以捕捉對應於一成像物件之一第一部分之一第一影像；及一第二光學感測器裝置，其經組態以捕捉對應於該成像物件之一第二部分之一第二影像；以及一透鏡陣列組，其光耦接至該移動感測器，該透鏡陣列組包含：一第一透鏡，其被安裝於該成像裝置上，其於一組態中被選擇以放置該第一透鏡之一透鏡平面，使其在捕捉影像期間實質上平行於一成像物件之一成像平面，該第一透鏡可操作以將接收自該成像物件之該第一部份的光指向該第一光學感測器裝置上；及一第二透鏡，其被安裝於該成像裝置上，其於一組態中被選擇以相對於該成像物件之該成像平面一第一角度傾斜放置該第二透鏡之一透鏡平面，該第二透鏡可操作以將接收自該成像物件之該第二部份的光指向該第二光學感測器裝置上；及；一成像器，其經組態以捕捉該成像物件之一第三影像；及一處理元件，其可經作動以接收由該移動感測器自 該第一與該第二影像導出之移動資訊，且使用該移動資訊處理該第三影像以藉由補償在捕捉該第三影像之移動來產生該成像物件之一穩定影像。
8. 如申請專利範圍第7項之成像裝置，其進一步包含記憶體，其可經作動用以儲存由該第一及該第二影像所產生的一或更多移動向量。
9. 如申請專利範圍第7項之成像裝置，其中該處理元件係經作動以區別該成像物件呈現的移動與該成像裝置呈現的移動且忽略該成像物件呈現的移動基於該成像裝置呈現的移動來產生該成像物件之一穩定影像。
10. 一種使用一成像裝置捕捉一影像之方法，該方法包含：使用該成像裝置來捕捉對應於一成像物件之一第一部分一第一影像；自該捕捉到的第一影像來產生一第一集合之移動向量；捕捉對應於該成像物件之一第二部分之一第二影像；自捕捉到的該第二影像產生一第二集合之移動向量；捕捉該成像物件之一第三影像，該第三影像具有一視野區域，該視野區域較大於該第一或該第二影像每一者所對應之視野區域；使用該第一集合之移動向量與該第二集合之移動向量來區別該成像物件之移動與該成像裝置之移動；及 處理該第三影像以產生該成像物件之一穩定影像。
11. 如申請專利範圍第10項之方法，其中產生該第一集合之移動向量包含將該第一影像分成一第一集合之視窗，以及產生每一第一集合之視窗的個別移動向量。
12. 如申請專利範圍第11項之方法，進一步包含：決定該等個別移動向量是否互相相配；及如果不相配，決定已產生的該等個別移動向量之大多數是否相配。
13. 如申請專利範圍第12項之方法，進一步包含：如果已產生的該等個別移動向量之大多數相配，則使用對應於相配的該大多數之該等移動向量來產生該成像物件之該穩定影像。
14. 如申請專利範圍第13項之方法，其中不屬於相配的該大多數的該等移動向量被識別為該成像物件之代表移動以及因此不被利用來產生該成像物件之該穩定影像。
15. 如申請專利範圍第11項之方法，其中產生該第一集合之移動向量進一步包含將該第一集合之視窗中至少一視窗分成一集合之子視窗且自其產生該子視窗之至少一者的一移動向量。
16. 如申請專利範圍第11項之方法，進一步包含：將每一第一集合之視窗分成一集合之子視窗且自其產生每一第一集合之子視窗的個別移動向量；決定已產生的每一第一集合之子視窗的該等個別移動向量是否全部互相相配；及 如果不相配，決定已產生的該等已產生的個別移動向量之大多數是否互相相配。
17. 如申請專利範圍第16項之方法，進一步包含：如果已產生的每一第一集合之子視窗的該等個別移動向量之大多數互相相配，則使用對應於相配的該大多數的該等移動向量來產生該成像物件之該穩定影像。
18. 如申請專利範圍第17項之方法，其中不屬於相配的大多數的該等移動向量被識別為該成像物件的代表移動以及因此不被使用來產生該成像物件之該穩定影像。