TWI826033B

TWI826033B - 影像顯示方法與3d顯示系統

Info

Publication number: TWI826033B
Application number: TW111138202A
Authority: TW
Inventors: 林愷翔; 周宏春; 徐文正; 林士豪; 譚馳澔
Original assignee: 宏碁股份有限公司
Priority date: 2022-10-07
Filing date: 2022-10-07
Publication date: 2023-12-11
Also published as: TW202416709A; US20240121373A1; CN117857764A

Abstract

一種影像顯示方法與3D顯示系統。影像顯示方法適用於包括3D顯示裝置的3D顯示系統，並包括下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。反應於判定輸入影像為符合立體影像格式的立體格式影像，致能一影像交織處理而對輸入影像進行影像交織處理以產生編織影像，並透過3D顯示裝置顯示編織影像。

Description

影像顯示方法與3D顯示系統

本發明是有關於一種顯示系統，且特別是有關於一種影像顯示方法與3D顯示系統。

隨著顯示技術的進步，支援三維（three dimension，3D）影像播放的顯示器已逐漸普及。3D顯示與二維（two dimension，2D）顯示的差異在於，3D顯示技術可讓觀賞者感受到影像畫面中的立體感，例如人物立體的五官與景深（depth of field）等等，而傳統的2D影像則無法呈現出此種效果。3D顯示技術的原理是讓觀賞者的左眼觀看左眼影像及讓觀賞者的右眼觀看右眼影像，以讓觀賞者感受到3D視覺效果。隨著3D立體顯示器技術的蓬勃發展，可提供人們視覺上有身歷其境之感受。可知的，3D顯示器需針對特定3D影像格式的影像採用對應的3D顯示技術播放，否則將會造成3D顯示器無法正確顯示影像。因此，如何準確地辨識出符合特定3D影像格式的影像內容為本領域技術人員所關心的議題。

有鑑於此，本發明提出一種影像顯示方法與3D顯示系統，其可準確地辨別輸入影像是否為立體格式影像。

本發明實施例提供一種影像顯示方法，適用於包括3D顯示裝置的3D顯示系統，並包括下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。反應於判定輸入影像為符合立體影像格式的立體格式影像，致能一影像交織處理而對輸入影像進行影像交織處理以產生編織影像，並透過3D顯示裝置顯示編織影像。

本發明實施例提供一種3D顯示系統，其包括3D顯示裝置、儲存裝置以及處理器。處理器連接儲存裝置與3D顯示裝置，經配置以執行下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。反應於判定輸入影像為符合立體影像格式的立體格式影像，致能一影像交織處理而對輸入影像進行影像交織處理以產生編織影像，並透過3D顯示裝置顯示編織影像。

本發明實施例提供一種影像顯示方法，適用於包括3D顯示裝置的3D顯示系統，並包括下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。反應於判定輸入影像為符合立體影像格式的立體格式影像，根據立體影像格式將3D顯示裝置切換為操作於一立體顯示模式。

本發明實施例提供一種3D顯示系統，其包括3D顯示裝置、儲存裝置以及處理器。處理器連接儲存裝置與3D顯示裝置，經配置以執行下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。反應於判定輸入影像為符合立體影像格式的立體格式影像，根據立體影像格式將3D顯示裝置切換為操作於一立體顯示模式。

基於上述，於本發明的實施例中，輸入影像基於立體影像格式而被分割以獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理可判斷輸入影像是否符合立體影像格式，以根據判斷結果自動切換3D顯示裝置的顯示模式或致能影像交織處理。藉此，不僅可有效地判斷輸入影像是否為立體格式影像，還可提昇3D顯示技術的使用者體驗與應用範圍。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

圖1是依照本發明一實施例的電子裝置的示意圖。請參照圖1，3D顯示系統10可包括立體（3D）顯示裝置130、儲存裝置110與處理器120。處理器120耦接儲存裝置110與3D顯示裝置130。3D顯示系統10可為單一整合系統或分離式系統。具體而言，3D顯示系統10的3D顯示裝置130、儲存裝置110與處理器120可實現為一體式（all-in-one，AIO）電子裝置，例如遊戲機、智慧型手機、筆記型電腦或平板電腦等等。或者，3D顯示系統10可由多台電子產品來實現，3D顯示裝置130可透過有線傳輸介面或是無線傳輸介面與電腦系統的處理器130相連。

3D顯示裝置130可讓使用者感受到立體視覺效果。3D顯示裝置130可依據其硬體規格與其應用的3D顯示技術讓使用者的左眼與右眼分別觀看到對應至不同視角的影像內容（即左眼影像與右眼影像）。於一些實施例中，3D顯示裝置130可以是裸視3D顯示器或眼鏡式3D顯示器，例如可實施為筆記型電腦的顯示器、電視、桌上型螢幕或電子看板等等。或者，於另一些實施例中，3D顯示裝置130可實施為頭戴顯示裝置，例如AR顯示裝置、VR顯示裝置或MR顯示裝置等。

儲存裝置110用以儲存影像、資料與供處理器120存取的程式碼（例如作業系統、應用程式、驅動程式）等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其組合。

處理器120耦接儲存裝置110，例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路或其組合。處理器120可存取並執行記錄在儲存裝置110中的程式碼與軟體模組，以實現本發明實施例中的影像顯示方法。上述軟體模組可廣泛地解釋為意謂指令、指令集、代碼、程式碼、程式、應用程式、軟體套件、執行緒、程序、功能等，而不管其是被稱作軟體、韌體、中間軟體、微碼、硬體描述語言亦或其他者。

一般而言，為了讓使用者感受到3D視覺效果，不同視角的兩張影像（亦即左眼影像與右眼影像）將被合成為立體格式影像，以透過不同的3D顯示技術顯示立體格式影像，而讓觀賞者的左眼觀看左眼影像及讓觀賞者的右眼觀看右眼影像。亦即，立體格式影像包括對應至第一視角與第二視角的影像內容。於本發明的實施例中，3D顯示系統10可判斷輸入影像是否為符合某一種立體影像格式的立體格式影像。換言之，立體格式影像可為左眼影像與右眼影像的合成影像。藉此，於一些實施例中，3D顯示裝置130可支援多種顯示模式，像是2D顯示模式以及關聯於一或多種3D顯示技術的3D顯示模式。若3D顯示系統10可準確地判斷輸入影像為何種立體格式影像，3D顯示裝置130可自動切換為適合的顯示模式來顯示立體影像內容。

圖2是依照本發明一實施例的偵測立體格式影像的流程圖。請參照圖2，本實施例的方式適用於上述實施例中的3D顯示系統10，以下即搭配3D顯示系統10中的各項元件說明本實施例的詳細步驟。

於步驟S210，處理器120依據立體影像格式分割輸入影像而獲取第一影像與第二影像。於一些實施例中，輸入影像可為影像串流或影片裡的單幀影像。於一些實施例中，輸入影像可為利用螢幕擷取功能而獲取的影像。於一些實施例中，輸入影像可例如是某一應用程式所產生的影像。於一些實施例中，第一影像尺寸相同於第二影像尺寸。換言之，立體格式影像將被分割為解析度相同的兩張影像。

於一些實施例中，立體影像格式可包括左右並排格式、上下排列格式、棋盤圖案格式、或交錯格式。處理器120將根據立體影像格式的種類而自立體格式影像擷取出第一影像與第二影像。舉例而言，圖3A至圖3D是依照本發明一實施例的切割輸入影像的示意圖。

請參照圖3A所示實施例，當要偵測輸入影像IMG_i1是否符合左右並排（Side-by-Side，SBS）格式時，處理器120可將輸入影像IMG_i1切割為左半邊的第一影像IMG_31與右半邊的第二影像IMG_32。

請參照圖3B所示實施例，當要偵測輸入影像IMG_i2是否符合上下並排（Top and Bottom，TB）格式時，處理器120可將輸入影像IMG_i2切割為上半邊的第一影像IMG_33與下半邊的第二影像IMG_34。

請參照圖3C所示實施例，當要偵測輸入影像IMG_i3是否符合交錯（Interlacing）格式時，處理器120可先沿水平方向將輸入影像IMG_i3切割為多個子影像IMG_s1～IMG_s10。然後，處理器120合併子影像IMG_s1、IMG_s3、IMG_s5、IMG_s7、IMG_s9而獲取第一影像IMG_35，並合併子影像IMG_s2、IMG_s4、IMG_s6、IMG_s8、IMG_s10而獲取第二影像IMG_36。然而，圖3C所示子影像的數目僅為示範性說明，並非用以限定本發明。

請參照圖3D所示實施例，當要偵測輸入影像IMG_i4是否符合棋盤（CheckerBoard）格式時，處理器120可根據棋盤樣式而先將輸入影像IMG_i4切割為呈現棋盤式排列的多個子影像（例如子影像IMG_c1、IMG_c2、IMG_c3、IMG_c4）。然後，處理器120合併多個子影像（例如子影像IMG_c1與IMG_c3）而獲取第一影像IMG_37，並合併多個子影像（例如子影像IMG_c2與IMG_c4）而獲取第二影像IMG_38。然而，圖3D所示子影像的數目僅為示範性說明，並非用以限定本發明。

接著，於步驟S220，處理器120對第一影像與第二影像進行立體匹配處理，以產生第一影像與第二影像的一視差圖（disparity map）。於一些實施例中，處理器120可依據塊匹配演算法（Block-matching algorithm）對第一影像與第二影像進行立體匹配處理，以估測視差資訊並獲取視差圖。於一些實施例中，處理器120可依據光流演算法（Optical flow algorithm）對第一影像與第二影像進行立體匹配處理，以估測視差資訊並獲取視差圖。於一些實施例中，處理器120可將第一影像與第二影像輸入至經訓練的深度神經網路模型來獲取視差圖。於一些實施例中，視差圖中元素數量對等於第一影像與第二影像的解析度。舉例而言，假設第一影像與第二影像的解析度為640*480，則視差圖可包括對應至640*480個像素位置的視差資訊。

於步驟S230，處理器120根據視差圖計算第一影像中多個第一像素與第二影像中多個第二像素的匹配數量。於一些實施例中，視差圖包括多個有效視差值與多個無效視差值，匹配數量為有效視差值的數量。

詳細而言，於立體匹配處理過程中，若第一影像中的某一第一像素可成功匹配至第二影像中的某一第二像素，則處理器120可獲取對應的有效視差值。相反地，若第一影像中的某一第一像素無法成功匹配至第二影像中的任何第二像素，則處理器120可獲取對應的無效視差值。因此，透過統計視差圖中的有效視差值的數量，可獲取第一影像中多個第一像素成功匹配至第二影像中多個第二像素的匹配數量。於一些實施例中，視差圖中的無效視差值將被設定為一負數值，而視差圖中的有效視差值將被設定為大於等於0的整數值，但本發明不限制於此。

於步驟S240，處理器120根據匹配數量判斷輸入影像是否為符合立體影像格式的立體格式影像。可知的，若匹配數量夠多，可判定第一影像與第二影像為對應至相同拍攝場景的左眼影像與右眼影像，因此處理器120可據以判斷輸入影像為符合立體影像格式的立體格式影像。

更詳細而言，圖4是依照本發明一實施例的判斷輸入影像是否為立體格式影像的流程圖。請參照圖4，步驟S240可實施為子步驟S241～子步驟S243。於子步驟S241，處理器120判斷匹配數量是否符合匹配條件。

於一些實施例中，處理器120可比較匹配數量與預設門檻值來判斷匹配數量是否符合匹配條件。若匹配數量大於預設門檻值，則處理器120可判定匹配數量符合匹配條件。若匹配數量未大於預設門檻值，則處理器120可判定匹配數量不符合匹配條件。上述預設門檻值可根據輸入影像的影像解析度來設置。亦即，不同的影像解析度將對應至不同的預設門檻值。

於一些實施例中，處理器120可計算匹配數量與第一影像的像素數量的匹配比例，並判斷匹配比例是否大於一門檻值。也就是說，匹配比例為第一影像中成功匹配的第一像素佔所有第一像素的一個比例值，可由百分比或小於1且大於0的數值來表示。若匹配比例大於門檻值，處理器120可判定匹配數量符合匹配條件。若匹配比例未大於門檻值，處理器120可判定匹配數量不符合匹配條件。於比較匹配比例與門檻值的實施例中，相同的門檻值可適用於不同的影像解析度。

若步驟S241判斷為是，於子步驟S242，反應於匹配數量符合匹配條件，處理器120決定輸入影像為符合立體影像格式的立體格式影像。相反地，若步驟S241判斷為否，於子步驟S243，反應於匹配數量不符合匹配條件，處理器120決定輸入影像非為符合立體影像格式的立體格式影像。亦即，若匹配數量符合匹配條件，代表自輸入影像中擷取的第一影像與第二影像即為對應至相同場景的左眼影像與右眼影像，因而可判定輸入影像為一立體格式影像。基此，透過對第一影像與第二影像進行立體匹配處理而獲取一視差圖。輸入影像是否符合立體影像格式可基於視差圖呈現的匹配情況來判定。

圖5是依照本發明一實施例的偵測立體格式影像的流程圖。請參照圖5，本實施例的方式適用於上述實施例中的3D顯示系統10，以下即搭配3D顯示系統10中的各項元件說明本實施例的詳細步驟。

於步驟S502，處理器120依據立體影像格式分割輸入影像IMG1而獲取第一影像IMG_L與第二影像IMG_R。於步驟S504，處理器120對第一影像IMG_L與第二影像IMG_R進行一立體匹配處理，以產生第一影像IMG_L與第二影像IMG_R的一視差圖D_map。

詳細而言，圖6是依照本發明一實施例的獲取視差圖的示意圖。處理器120以第一影像上IMG_L的第一目標像素點P1為中心取第一影像區塊B1。接著，處理器120可根據第一目標像素點P1的Y軸位置獲取水平掃描線SL1，以沿著水平掃描線SL1獲取第二影像IMG_R上多個第二影像區塊（圖6是以第二影像區塊B2_1～B2_9為代表進行說明）。亦即，第一影像區塊B1的Y軸位置相同於這些第二影像區塊B2_1～B2_9的Y軸位置，且第一影像區塊B1的尺寸相同於第二影像區塊B2_1～B2_9的尺寸。須說明的是，圖6的9個第二影像區塊B2_1～B2_9僅用以示範性說明。於一些實施例中，處理器120可以一個像素為掃描單位而獲取多個第二影像區塊。

然後，處理器120計算第一影像區塊B1與第二影像IMG_R上多個第二影像區塊之間的多個相似度。於一些實施例中，這些相似度也可為匹配成本（matching cost）或基於匹配成本而生成的數值。舉例而言，處理器120將依序計算第一影像區塊B1上各個第一像素點的灰階值與第二影像區塊B2_1上對應的第二像素點的灰階值之間的絕對差值，並在將所有的絕對差值加總後取倒數，以獲取第一影像區塊B1與第二影像區塊B2_1之間的相似度。假設第一影像區塊B1的尺寸為91*91，則處理器120可獲取91*91個絕對差值。

然而，於其他實施例中，處理器120也可基於其他計算方式，例如平方差（Square Difference，SD）演算法、像素異性測量（Pixel Dissimilarity Measure，PDM）演算法、標準化交叉相關（Normalized Cross Correlation，NCC）演算法等等，來獲取對應至多個第二影像區塊的匹配成本。於一些實施例中，處理器120還可執行成本聚合（cost aggregation）來獲取對應至多個第二影像區塊的匹配成本。

透過沿水平掃描線SL1重複執行相似度計算的步驟，處理器120可獲取分別對應至多個第二影像區塊的相似度，亦即處理器120依序對第一影像與各第二影像區塊進行相似度計算，而獲取多個第二影像區塊分別對應的相似度。於是，處理器120將根據分別對應至水平掃描線SL1上多個第二影像區塊的相似度，獲取視差圖D_map上對應至第一目標像素點P1的一有效視差值或一無效視差值。

詳細而言，根據分別對應至水平掃描線SL1上多個第二影像區塊的相似度，處理器120可判斷第一影像區塊B1是否匹配於多個第二影像區塊其中之一。於圖6的範例中，水平掃描線SL1上多個第二影像區塊分別對應的相似度可如相似度曲線C1所示。處理器120可根據相似度曲線C1搜尋出匹配第一目標影像區塊B1的第二目標影像區塊（即圖6所示的第二影像區塊B2_6）。例如，若處理器120可搜尋相似度曲線C1的最大相似度且此最大相似度大於一相似度門檻值，則處理器120可判定第一影像區塊B1匹配於對應至上述最大相似度的一第二影像區塊B2_6。或者，於一些實施例中，若處理器120也可搜尋多個差異度中的最小差異度且此最小差異度小於一差異度門檻值，則處理器120可判定第一影像區塊B1匹配於對應至上述最小差異度的一第二影像區塊。其中，於一些實施例中，差異度與相似度可互為倒數關係。此外，於一些實施例中，處理器120還可根據將這些匹配成本代入一能量函數，並透過最佳化能量函數的方式來搜尋到匹配於第一影像區塊B1的第二影像區塊。

如圖6所示，若根據相似度獲取第二影像區塊中匹配於第一目標影像區塊B1的第二目標影像區塊（即第二影像區塊B2_6），處理器120將基於第二目標影像區塊中心的第二目標像素點P2的X軸位置X2與第一目標像素點P1的X軸位置X1獲取視差圖D_map上對應至第一目標像素點P1的有效視差值d1。另一方面，若根據相似度未獲取第二影像區塊中匹配於第一目標影像區塊B1的第二目標影像區塊，代表這些第二影像區塊所對應的相似度都不符合預設條件，像是相似度最大值未大於相似度門檻值、差異度最小值未小於差異度門檻值，或最佳化能量函數的問題是無解的等等。因此，若根據相似度未獲取第二影像區塊中匹配於第一目標影像區塊B1的第二目標影像區塊，則處理器120將獲取視差圖D_map上對應至第一目標像素點P1的無效視差值。又或者，於一些實施例中，處理器120可對視差圖D_map進行去雜訊處理，而將可信度較低的多個原始有效視差值替換為無效視差值。

請回到圖5，於步驟S506，處理器120根據視差圖D_map計算匹配數量，並計算匹配數量與第一影像IMG_L的像素數量的一匹配比例R1。亦即，將匹配數量除以第一影像IMG_L的像素數量而獲取匹配比例R1。於步驟S508，處理器120判斷匹配比例R1是否大於門檻值。若是，於步驟S510，處理器120判定輸入影像為立體格式影像，並可控制3D顯示器20以對應的立體顯示模式來顯示輸入影像。舉例而言，處理器120可判定輸入影符合並排影像格式，並據以獲取不同視角的兩張影像。若否，於步驟S512，處理器120判定輸入影像非為立體格式影像，並可控制3D顯示器20以二維顯示模式來顯示輸入影像。

圖7是依照本發明一實施例的影像顯示方法的裸視3D顯示裝置的示意圖。於一實施例中，圖1所示的3D顯示裝置130可實施為裸視3D顯示裝置，其可透過透鏡折射原理而提供具有像差的不同圖像給左眼與右眼，以讓觀看者體驗到立體顯示效果。

3D顯示裝置130可包括顯示面板131以及透鏡層132。透鏡層132設置於顯示面板131上方且可包括直條狀的圓柱狀凸透鏡薄膜，使用者是透過透鏡層132而看到顯示面板131提供的畫面內容。透鏡層132通過對光的折射作用，將不同的顯示內容折射到空間中不同的地方，以使人眼接收到兩幅含有視差的影像。3D顯示裝置130的結構與實現方式非為本發明訴求重點，於此不贅述。本發明對於顯示面板131的型式及構造並不限制，顯示面板131亦可為一種自發光顯示面板。於其他一些實施例中，透鏡層132可由液晶透鏡來實現或由光柵來替代。

須說明的是，由於光線在通過凸透鏡時，行進方向會折射而產生變化，因此須要將左眼影像及右眼影像以縱向方式交錯排列，再透過圓柱狀凸透鏡薄膜中一連串緊密排列的圓柱狀凸透鏡，就能讓左右眼看到各自的畫面。更具體而言，左眼影像可透過顯示面板131上對應於左眼的多個左眼像素來呈現，而右眼影像可透過顯示面板131上對應於右眼的多個右眼像素來呈現。對應的，處理器130需要對立體格式影像進行影像交織處理，以將具有視差的左眼影像以及右眼影像交織（interlace）以形成一交織影像，才可讓顯示面板131上對應於左眼的多個左眼像素顯示左眼影像並讓顯示面板131上對應於右眼的多個右眼像素顯示右眼影像。

圖8是依照本發明一實施例的影像顯示方法的流程圖。圖8所示方法適用於圖1所示的3D顯示系統10。於步驟S810，處理器120依據立體影像格式分割輸入影像而獲取第一影像與第二影像。於步驟S820，處理器120透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。步驟S810～步驟S820的詳細實施細節已於圖2至圖6的相關說明清楚描述，於此不在贅述。

於步驟S830，反應於判定輸入影像為符合立體影像格式的立體格式影像（步驟S820判斷為是），處理器120致能一影像交織處理而對輸入影像進行影像交織處理以產生編織影像，並透過3D顯示裝置130顯示編織影像。舉例而言，當處理器130判定輸入影像為符合並排影像格式的立體格式影像時，處理器130可從輸入影像擷取出左眼影像與右眼影像，並對左眼影像與右眼影像進行影像交織處理。更詳細而言，處理器120將左眼影像沿一切割方向切為多個左眼影像條，並將右眼影像沿該切取方向切取為多個右眼影像條。接著，處理器120將這些左眼影像條與右眼影像條交織排列以合成出編織影像。藉此，反應於處理器130判定待顯示畫面包括符合立體影像格式的立體格式影像時，處理器130可致能影像交織處理來對立體格式影像進行影像交織處理。當操作於立體顯示模式的裸視3D顯示器顯示編織影像時，使用者可感受到顯示物件浮出螢幕的3D視覺效果。

另一方面，於步驟S840，反應於判定輸入影像並非為符合立體影像格式的立體格式影像（步驟S820判斷為否），處理器120禁能一影像交織處理。於一些實施例中，當處理器120判定輸入影像並非為符合立體影像格式的立體格式影像，處理器120可直接將輸入影像提供給3D顯示裝置130進行顯示。

從另一方面來看，於一些實施例中，根據輸入影像是否為符合立體影像格式的立體格式影像，處理器120可決定是否將輸入影像傳遞至符合特定開發標準的執行階段（runtime）而致能影像交織處理，其中執行階段是依據特定開發標準與3D顯示裝置130的硬體特性而開發。特定開發標準例如是OpenXR標準。當輸入影像為符合立體影像格式的立體格式影像，處理器120可決定將輸入影像傳遞至符合特定開發標準的執行階段（runtime）而致能影像交織處理。相反地，當輸入影像並非為符合立體影像格式的立體格式影像，處理器120可決定不將輸入影像傳遞至符合特定開發標準的執行階段（runtime）而禁能影像交織處理。

圖9是依照本發明一實施例的影像顯示方法的流程圖。圖9所示方法適用於圖1所示的3D顯示系統10。於步驟S910，處理器120依據立體影像格式分割輸入影像而獲取第一影像與第二影像。於步驟S920，處理器120透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。步驟S910～步驟S920的詳細實施細節已於圖2至圖6的相關說明清楚描述，於此不在贅述。

於步驟S930，反應於判定輸入影像為符合立體影像格式的立體格式影像（步驟S920判斷為是），處理器120致能一影像交織處理而對輸入影像進行影像交織處理以產生編織影像，並透過3D顯示裝置130顯示編織影像。步驟S930的詳細實施細節已於圖8的相關說明清楚描述，於此不在贅述。

須說明的是，於步驟S940，反應於判定輸入影像並非為符合立體影像格式的立體格式影像（步驟S920判斷為否），處理器120根據輸入影像產生符合立體影像格式的合成影像。於一些實施例中，處理器120可透過單目深度估計法而根據輸入影像獲取深度資訊，並根據上述深度資訊來產生對應至另一視角的影像。透過將輸入影像對應至另一視角的影像分別作為左眼影像與右眼影像，與處理器120可合成輸入影像與對應至另一視角的影像以產生符合立體影像格式的合成影像。接著，於步驟S950，處理器120致能影像交織處理而對合成影像進行影像交織處理以產生編織影像，並透過3D顯示裝置130顯示編織影像。藉此，當偵測到輸入影像並非是立體格式影像時，處理器130可自動合成出對應的立體格式影像來進行3D顯示。

圖10是依照本發明一實施例的影像顯示方法的流程圖。圖10所示方法適用於圖1所示的3D顯示系統10。於步驟S1010，處理器120依據立體影像格式分割輸入影像而獲取第一影像與第二影像。於步驟S1020，處理器120透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。步驟S1010～步驟S1020的詳細實施細節已於圖2至圖6的相關說明清楚描述，於此不在贅述。

於步驟S1030，反應於判定輸入影像為符合立體影像格式的立體格式影像（步驟S1020判斷為是），處理器120根據立體影像格式將3D顯示裝置130切換為操作於一立體顯示模式。於步驟S1040，反應於判定輸入影像並非為符合立體影像格式的立體格式影像（步驟S1020判斷為否），處理器120將3D顯示裝置130切換為操作於二維顯示模式。

具體而言，3D顯示裝置130可經切換而選擇性操作於立體顯示模式與二維顯示模式。處理器130可根據輸入影像的影像格式而將3D顯示裝置130的顯示模式自動切換為立體顯示模式或二維顯示模式。反應於3D顯示裝置130操作於立體顯示模式，處理器130可控制3D顯示裝置130顯示輸入影像或基於輸入影像而產生的3D顯示內容，因而處理器130將致能3D顯示所需的硬體元件或軟體元件進行相關操作。例如，瞳距偵測裝置會被致能來偵測使用者的眼部資訊。影像交織處理模組會被致能來對輸入影像進行影像交織處理。透鏡控制模組會被致能來控制3D顯示裝置的透鏡層。另一方面，反應於3D顯示裝置130操作於二維顯示模式，處理器130可控制3D顯示裝置130顯示輸入影像，因而處理器130將禁能3D顯示所需的硬體元件或軟體元件進行相關操作。

圖11是依照本發明一實施例的影像顯示方法的流程圖。圖11所示方法適用於圖1所示的3D顯示系統10。於步驟S1110，處理器120依據立體影像格式分割輸入影像而獲取第一影像與第二影像。於步驟S1120，處理器120透過對第一影像與第二影像進行立體匹配處理，而判斷輸入影像是否為符合立體影像格式的立體格式影像。步驟S1110～步驟S1120的詳細實施細節已於圖2至圖6的相關說明清楚描述，於此不在贅述。

於步驟S1130，處理器120。反應於判定輸入影像為符合立體影像格式的立體格式影像（步驟S1120判斷為是），處理器120根據立體影像格式將3D顯示裝置130切換為操作於一立體顯示模式。於步驟S1140，反應於判定輸入影像並非為符合立體影像格式的立體格式影像（步驟S1120判斷為否），處理器120根據輸入影像產生符合立體影像格式的合成影像。接著，回到步驟S1130，處理器120根據立體影像格式將3D顯示裝置130切換為操作於立體顯示模式。關於產生合成影像與切換顯示模式的相關內容已於前述實施例說明，於此不贅述。

須說明的是，以至少一個處理器執行的影像顯示方法與偵測立體格式影像的處理程序並不限於上述實施形態之例。舉例而言，可省略上述步驟（處理）之一部分，亦可以其他順序執行各步驟。又，可組合上述步驟中之任二個以上的步驟，亦可修正或刪除步驟之一部分。或者，亦可除了上述各步驟外還執行其他步驟。

綜上所述，於本發明實施例中，可有效地辨識輸入影像是否為符合多種不同的立體影像格式其中之一的立體格式影像，從而可提昇3D顯示技術的使用者體驗與應用範圍。像是，在判定輸入影像為立體格式影像之後，3D顯示裝置可自動切換至適當的顯示模式，使用者無須手動切換3D顯示裝置的顯示模式，從而提升使用者體驗。或者，在判定輸入影像為立體格式影像之後，3D顯示裝置可得知左眼影像與右眼影像於輸入影像中的佔據區塊，以利進行後續裸視3D顯示所需的影像交織處理。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:3D顯示系統 110:儲存裝置 120:處理器 130:3D顯示裝置 IMG_i1, IMG_i2, IMG_i3, IMG_i4, IMG1:輸入影像 IMG_31, IMG_33, IMG_35, IMG_37, IMG_L:第一影像 IMG_32, IMG_34, IMG_36, IMG_38, IMG_R:第二影像 D_map:視差圖 R1:匹配比例 P1:第一目標像素點 P2:第二目標像素點 B1:第一目標影像區塊 B2_1～B2_9:第二影像區塊 SL1:水平掃描線 C1:相似度曲線 Y1:Y軸位置 X1, X2:X軸位置 d1:有效視差值 131:顯示面板 132:透鏡層 S210～S240、S241～S243、S502～S512、S810～S830、S910～S930、S1010～S1030、S1110～S1130:步驟

圖1是依照本發明一實施例的電子裝置的示意圖。圖2是依照本發明一實施例的偵測立體格式影像的流程圖。圖3A至圖3D是依照本發明一實施例的切割輸入影像的示意圖。圖4是依照本發明一實施例的判斷輸入影像是否為立體格式影像的流程圖。圖5是依照本發明一實施例的偵測立體格式影像的流程圖。圖6是依照本發明一實施例的獲取視差圖的示意圖。圖7是依照本發明一實施例的影像顯示方法的裸視3D顯示裝置的示意圖。圖8是依照本發明一實施例的影像顯示方法的流程圖。圖9是依照本發明一實施例的影像顯示方法的流程圖。圖10是依照本發明一實施例的影像顯示方法的流程圖。圖11是依照本發明一實施例的影像顯示方法的流程圖。

S810~S840:步驟

Claims

一種影像顯示方法，適用於包括一3D顯示裝置的一3D顯示系統，所述方法包括：依據一立體影像格式分割一輸入影像而獲取一第一影像與一第二影像；透過對所述第一影像與所述第二影像進行一立體匹配處理而產生視差圖，而根據所述視差圖判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像；以及反應於判定所述輸入影像為符合所述立體影像格式的所述立體格式影像，致能一影像交織處理而對所述輸入影像進行所述影像交織處理以產生一編織影像，並透過所述3D顯示裝置顯示所述編織影像。
如請求項1所述的影像顯示方法，其中所述方法更包括：反應於判定所述輸入影像並非為符合所述立體影像格式的所述立體格式影像，禁能所述影像交織處理。
如請求項1所述的影像顯示方法，其中所述方法更包括：反應於判定所述輸入影像並非為符合所述立體影像格式的所述立體格式影像，根據所述輸入影像產生符合所述立體影像格式的一合成影像，致能所述影像交織處理而對所述合成影像進行所述影像交織處理以產生所述編織影像，並透過所述3D顯示裝置顯示所述編織影像。
如請求項1所述的影像顯示方法，其中透過對所述第一影像與所述第二影像進行所述立體匹配處理，判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像的步驟包括：對所述第一影像與所述第二影像進行所述立體匹配處理，以產生所述第一影像與所述第二影像的所述視差圖(disparity map)；根據所述視差圖計算所述第一影像中多個第一像素與所述第二影像中多個第二像素的匹配數量；以及根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像。
如請求項4所述的影像顯示方法，其中根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像的步驟包括：判斷所述匹配數量是否符合一匹配條件；反應於所述匹配數量符合所述匹配條件，決定所述輸入影像為符合所述立體影像格式的所述立體格式影像；以及反應於所述匹配數量不符合所述匹配條件，決定所述輸入影像非為符合所述立體影像格式的所述立體格式影像。
如請求項5所述的影像顯示方法，其中判斷所述匹配數量是否符合所述匹配條件的步驟包括：計算所述匹配數量與所述第一影像的像素數量的一匹配比例；以及判斷所述匹配比例是否大於一門檻值，其中若所述匹配比例大於所述門檻值，所述匹配數量符合所述匹配條件；以及若所述匹配比例未大於所述門檻值，所述匹配數量不符合所述匹配條件。
如請求項4所述的影像顯示方法，其中所述視差圖包括多個有效視差值與多個無效視差值，所述匹配數量為所述有效視差值的數量。
如請求項4所述的影像顯示方法，其中對所述第一影像與所述第二影像進行所述立體匹配處理，以產生所述第一影像與所述第二影像的所述視差圖的步驟包括：以所述第一影像上的第一目標像素點為中心取一第一影像區塊；計算所述第一影像區塊與所述第二影像上多個第二影像區塊之間的多個相似度，其中所述第一影像區塊的Y軸位置相同於所述第二影像區塊的Y軸位置；以及根據分別對應至所述第二影像區塊的所述相似度，獲取所述視差圖上對應至所述第一目標像素點的一有效視差值或一無效視差值。
如請求項8所述的影像顯示方法，其中根據分別對應至所述第二影像區塊的所述相似度，獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值或所述無效視差值的步驟包括：若根據所述相似度獲取所述第二影像區塊中匹配於所述第一目標影像區塊的一第二目標影像區塊，基於所述第二目標影像區塊中心的第二目標像素點的X軸位置與所述第一目標像素點的X軸位置獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值；以及若根據所述相似度未獲取所述第二影像區塊中匹配於所述第一目標影像區塊的所述第二目標影像區塊，獲取所述視差圖上對應至所述第一目標像素點的所述無效視差值。
一種3D顯示系統，包括：一3D顯示裝置；一儲存裝置，記錄有多個模組；以及一處理器，連接所述3D顯示裝置與所述儲存裝置，經配置以：依據一立體影像格式分割一輸入影像而獲取一第一影像與一第二影像；透過對所述第一影像與所述第二影像進行一立體匹配處理而產生視差圖，而根據所述視差圖判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像；以及反應於判定所述輸入影像為符合所述立體影像格式的所述立體格式影像，致能一影像交織處理而對所述輸入影像進行所述影像交織處理以產生一編織影像，並透過所述3D顯示裝置顯示所述編織影像。
一種影像顯示方法，適用於包括一3D顯示裝置的一3D顯示系統，所述方法包括：依據一立體影像格式分割一輸入影像而獲取一第一影像與一第二影像；透過對所述第一影像與所述第二影像進行一立體匹配處理，而判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像；以及反應於判定所述輸入影像為符合所述立體影像格式的所述立體格式影像，根據所述立體影像格式將所述3D顯示裝置切換為操作於一立體顯示模式。
如請求項11所述的影像顯示方法，其中所述方法更包括：反應於判定所述輸入影像並非為符合所述立體影像格式的所述立體格式影像，將所述3D顯示裝置切換為操作於二維顯示模式。
如請求項11所述的影像顯示方法，其中所述方法更包括：反應於判定所述輸入影像並非為符合所述立體影像格式的所述立體格式影像，根據所述輸入影像產生符合所述立體影像格式的一合成影像，並根據所述立體影像格式將所述3D顯示裝置切換為操作於所述立體顯示模式。
如請求項11所述的影像顯示方法，其中透過對所述第一影像與所述第二影像進行所述立體匹配處理，判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像的步驟包括：對所述第一影像與所述第二影像進行所述立體匹配處理，以產生所述第一影像與所述第二影像的一視差圖(disparity map)；根據所述視差圖計算所述第一影像中多個第一像素與所述第二影像中多個第二像素的匹配數量；以及根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像。
如請求項14所述的影像顯示方法，其中根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像的步驟包括：判斷所述匹配數量是否符合一匹配條件；反應於所述匹配數量符合所述匹配條件，決定所述輸入影像為符合所述立體影像格式的所述立體格式影像；以及反應於所述匹配數量不符合所述匹配條件，決定所述輸入影像非為符合所述立體影像格式的所述立體格式影像。
如請求項15所述的影像顯示方法，其中判斷所述匹配數量是否符合所述匹配條件的步驟包括：計算所述匹配數量與所述第一影像的像素數量的一匹配比例；以及判斷所述匹配比例是否大於一門檻值，其中若所述匹配比例大於所述門檻值，所述匹配數量符合所述匹配條件；以及若所述匹配比例未大於所述門檻值，所述匹配數量不符合所述匹配條件。
如請求項14所述的影像顯示方法，其中所述視差圖包括多個有效視差值與多個無效視差值，所述匹配數量為所述有效視差值的數量。
如請求項14所述的影像顯示方法，其中對所述第一影像與所述第二影像進行所述立體匹配處理，以產生所述第一影像與所述第二影像的所述視差圖的步驟包括：以所述第一影像上的第一目標像素點為中心取一第一影像區塊；計算所述第一影像區塊與所述第二影像上多個第二影像區塊之間的多個相似度，其中所述第一影像區塊的Y軸位置相同於所述第二影像區塊的Y軸位置；以及根據分別對應至所述第二影像區塊的所述相似度，獲取所述視差圖上對應至所述第一目標像素點的一有效視差值或一無效視差值。
如請求項18所述的影像顯示方法，其中根據分別對應至所述第二影像區塊的所述相似度，獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值或所述無效視差值的步驟包括：若根據所述相似度獲取所述第二影像區塊中匹配於所述第一目標影像區塊的一第二目標影像區塊，基於所述第二目標影像區塊中心的第二目標像素點的X軸位置與所述第一目標像素點的X軸位置獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值；以及若根據所述相似度未獲取所述第二影像區塊中匹配於所述第一目標影像區塊的所述第二目標影像區塊，獲取所述視差圖上對應至所述第一目標像素點的所述無效視差值。
一種3D顯示系統，包括：一3D顯示裝置；一儲存裝置，記錄有多個模組；以及一處理器，連接所述3D顯示裝置與所述儲存裝置，經配置以：依據一立體影像格式分割一輸入影像而獲取一第一影像與一第二影像；透過對所述第一影像與所述第二影像進行一立體匹配處理，而判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像；以及反應於判定所述輸入影像為符合所述立體影像格式的所述立體格式影像，根據所述立體影像格式將所述3D顯示裝置切換為操作於一立體顯示模式。