TW201301199A

TW201301199A - 視訊及影像放大以邊為基礎之視訊內插

Info

Publication number: TW201301199A
Application number: TW101104396A
Authority: TW
Inventors: Rahul Vanam; Yan Ye; Serhad Doken
Original assignee: Vid Scale Inc
Priority date: 2011-02-11
Filing date: 2012-02-10
Publication date: 2013-01-01
Also published as: WO2012109528A1

Abstract

用於放大的基於邊緣的內插。一個方法可以包括：確定與內插點相關聯的邊緣特性，該邊緣特性具有邊緣大小和邊緣角；回應於邊緣角來選擇內插濾波器；以及使用所選擇的內插濾波器來確定內插點處的像素值。其他實施方式包括基於邊緣的內插、然後是自適應銳化的濾波器。銳化濾波器由基於邊緣的內插參數來控制，該參數確定要被銳化的像素和銳化強度。

Description

視訊及影像放大以邊為基礎之視訊內插

相關申請案的交叉引用
本申請案要求（i）2011年2月11日提出的、名稱為“Edge-Based Video Interpolation For Video and Image Upsampling”的美國臨時專利申請案序號61/442,069和（ii）2011年9月15日提出的、名稱為“Combined Image Interpolation and Sampling”的美國臨時專利申請案序號61/535,353的優先權，這兩個專利申請案的內容都經由引用合併到本申請案中。

在影像和視訊處理中，放大或縮放（zoom）指的是增加數位影像或視訊的解析度的過程。通常，在大部分的視訊播放器（例如VLC播放器、Windows媒體播放器等）中都能夠發現放大。線上視訊主機網站（例如YouTube、Hulu、DailyMotion等）向用戶提供將視訊放大成全螢幕解析度的選項。許多目前的TV和DVD播放器都開始配備內建放大模組。
放大通常包括從現有的像素產生新的影像像素。在視訊訊框中，像素通常與其鄰近像素相干。此特性被大部分的放大方法用於產生新的像素。在視訊或影像轉碼器管線（pipeline）中，放大是有挑戰的，因為輸入是具有編碼偽像（coding artifact）的低解析度視訊。
放大的最簡單方法是像素複製，其簡單地涉及在列和行中複製像素。然而，此方法會導致嚴重的塊狀圖案（blockiness）。能夠藉由將低通濾波器應用到放大後的訊框中來減輕在像素複製中看到的塊效應和混疊偽像。用於降低塊效應的一些技術包括應用低通濾波器。通常被稱為內插的其他技術可以包括對鄰近像素進行平均以確定新的像素值。一種內插（interpolation）技術利用其後跟隨有低通濾波的“零填充”。這可以被描述為，藉由在中間位置處放置零值的像素來放大影像的尺寸，然後向放大後的影像應用低通濾波器。
另外，通常在視訊主機網站上找到的視訊有時被重壓縮成低位元率，因此可能具有低解析度。這些視訊中的常見偽像是模糊強度（blurriness）。放大過程通常增強了視訊中的模糊強度的能見度。因此，可以使用銳化濾波器來將一些細節恢復到視訊中。
傳統地，銳化包括對模糊影像進行高通濾波並將加權後的高通影像添加到原始影像中。這被稱為未銳化遮罩（unsharp masking）。高通濾波器有若干個實現方式，包括拉普拉斯（Laplacian）濾波器和拉普拉斯-高斯濾波器。

本文描述的一個實施方式是用於對影像進行內插的方法，該方法包括：確定與內插點相關聯的邊緣特性，該邊緣特性具有邊緣大小和邊緣角；回應於邊緣角來選擇內插濾波器；以及使用所選擇的內插濾波器來確定內插點處的像素值。邊緣特性可以基於確定與內插點相關聯的鄰近區域中的像素值的水平梯度和垂直梯度。與內插點相關聯的鄰近區域可以是水平矩形區域、垂直矩形區域或正方形區域。在一個實施方式中，回應於內插點為列內插點、行內插點或中心內插點來確定鄰近區域。在一些實施方式中，通過使用第一階梯度濾波器（其可以被稱為“蒙板（mask）”，因為沒有執行卷積操作）來確定邊緣特性。一種這樣的第一階梯度濾波器是修正的Sobel（索貝爾）運算子。
該方法還可以包括回應於邊緣特性來選擇內插濾波器。可以回應於邊緣大小而進行內插濾波器的選擇。也就是說，邊緣大小（或估計的大小）大於臨界值的影像點可以使用一組內插濾波器（例如，被實現為運行於微處理器上的硬體電路或軟體或其組合），而邊緣大小（或估計的大小）低於臨界值的影像點則可以使用另一組內插濾波器。在一些實施方式中，也可以依據影像的特性及/或邊緣特性來調整該臨界值。
該方法可以利用這樣的內插濾波器，其將較大的權重應用到位於沿著邊緣角的方向上的像素上、並將較小的權重應用到位於沿著與邊緣角垂直的方向上的像素上或者不向位於沿著與邊緣角垂直的方向上的像素應用權重。在一個實施方式中，內插濾波器對最近的鄰近像素應用較大的權重，對位於沿著邊緣角的方向上的像素應用中等權重，以及對位於沿著與邊緣角垂直的方向上的像素應用最小的權重或不應用權重。在一個實施方式中，最近的鄰近像素是與內插點位於同一列或同一行中的像素。
這裏描述的該方法可以在處理器上實施。這樣，電腦可讀媒體可以用於儲存指令，當這些指令被處理器執行時電腦可讀媒體將促使處理器：獲取多個邊緣特性，每個邊緣特性與多個內插點中的各自的一個內插點相關聯，並且每個邊緣特性具有邊緣大小和邊緣角；回應於各自的邊緣角，為多個內插點中的每個內插點選擇內插濾波器；使用相應的被選擇的內插濾波器來確定針對多個內插點中的每個內插點的像素值；以及輸出該像素值。
在一些實施方式中，該方法被實施於專用硬體中、或者使用硬體來加速計算的子集。在一個實施方式中，內插裝置包括：邊緣特性計算器，被配置為確定多個內插點中的每個內插點的邊緣特性；內插濾波器選擇器，被配置為對邊緣特性進行運算並回應性地產生用於多個內插點中的每個內插點的內插濾波器識別符；以及內插濾波器電路，被配置為回應於內插濾波器識別符來應用多個內插濾波器中的一個內插濾波器、並輸出針對多個內插點的被內插的值。這些元件中的一個或多個元件可以藉由用於執行儲存在電腦可讀儲存媒體中的代碼的處理器來實施。
在再一實施方式中，描述了其後跟隨有自適應銳化濾波器的用於放大的基於邊緣的內插。在一個實施方式中，銳化濾波器由基於邊緣的內插參數控制，該參數確定要被銳化的像素和銳化強度。在一個實施方式中，該方法包括：確定要被內插的影像像素的梯度資料；根據梯度資料，使用鄰近像素來確定被內插的像素值；基於梯度資料來識別要被銳化的影像像素；以及使用部分基於梯度資料所確定的濾波器強度來銳化影像像素。
在替代的實施方式中，基於邊緣的內插濾波器操作與自適應銳化濾波器組合成稱為聯合濾波器的單一濾波器。在一個實施方式中，該方法包括：確定要被內插的影像像素的梯度資料；選擇性地銳化鄰近的原始像素；回應於是中心列或行像素的像素類別（category）來選擇性地識別還要被內插的鄰近像素；以及根據聯合銳化和內插濾波器，使用鄰近像素來確定內插和銳化後的像素值。

本文描述的內插方法和裝置可以被用於有線或無線網路中。包括手持裝置、桌上型電腦、膝上型電腦或其他電腦在內的裝置可以用於執行該方法。這包括蜂巢式電話、PDA、平板電腦及/或顯示器以及有線電視機上盒、電視等。
這裏描述的內插或視訊放大方案保持邊緣的保真度和計算複雜度低於典型的FIR濾波技術。該系統可以實施被分別施加給視訊的寬度和高度的任意放大因數N和M。簡單起見，這裏描述的是藉由這兩個維度中的因數2（N=2和M=2）對影像或視訊訊框進行放大。
第1圖示出了包含原始像素（用正方形表示）和估計像素或在內插點處被估計的像素值（用圓形表示）的像素格點。像素A具有對角的原始像素；像素B具有沿著同一行的兩個鄰近的原始像素；以及像素C具有沿著同一列的兩個鄰近的原始像素。因此，可以將估計像素分類為3組：（a）具有對角的鄰近原始像素的像素（在第1圖中被標記為“A”），並且位於這些內插點處的估計像素可以被稱為中心像素；（b）將鄰近的原始行像素作為最近的鄰近像素的像素（在第1圖中標記為“B”），該估計像素可以被稱為行像素；以及（c）將鄰近的原始列像素作為最近的鄰近像素的像素（在第1圖中被標記為“C”），該估計像素可以被稱為列像素。
在一個實施方式中，該方法包括下述方面：邊緣偵測；邊緣角確定；以及像素估計。在另一實施方式中，該方法可以包括：確定與內插點相關聯的邊緣特性，其中該邊緣特性包括邊緣大小和邊緣角；回應於邊緣角來選擇內插濾波器；以及使用所選擇的內插濾波器來確定內插點處的像素值。
可將用於計算像素的水平和垂直梯度的任何軟體或硬體（總稱為運算子）用於邊緣偵測。在一個實施方式中，使用修正的Sobel運算子，因為其計算複雜度低。Sobel運算子包括用於計算計算水平和垂直梯度的兩個方形蒙板。這些梯度然後被用於計算或以其他方式獲得梯度的角度和邊緣的角度或其估計。標準Sobel運算子被應用到方形像素格點，而修正的Sobel運算子可以被應用到矩形像素格點。
當確定了邊緣特性時，估計像素分類或內插點分類可以被用於選擇不同的修正Sobel蒙板G_x和G_y。如第2A-2C圖所示，G_x和G_y是可以分別被用於與影像像素逐點相乘並對乘積求和以計算水平（Δx）和垂直（Δy）梯度（或其估計）的蒙板。
在一個實施方式中，梯度（或邊緣）的大小G藉由計算G = |Δx| + |Δy|來確定。如果G大於臨界值T_邊緣，則邊緣可以存在。在G超過臨界值的情況中，邊緣梯度的角度可以如下述那樣確定。臨界值T_邊緣的值可以取決於視訊的解析度、像素類別和其他因素。可以根據經驗來確定臨界值，並且已經被發現能夠執行地很好的一些臨界值在下面的表1中給出。臨界值的選擇可以不同：在一些實施方式中可以選擇固定臨界值，而在其他實施方式中，可以在逐訊框地基礎上或像素塊的基礎上調整臨界值。可以基於塊內的像素特性來自動計算自適應臨界值。在較低的解析度下，鄰近像素不太可能相干，從而導致較大的梯度。使用更小的臨界值將會使許多的像素被分類為邊緣。因此，為了降低不準確的分類，對於更小解析度的視訊可以使用更大的臨界值。

在各種實施方式中，可以回應於邊緣（或梯度）大小、邊緣（或梯度）角或這兩者來選擇內插濾波器。在一個實施方式中，可以為其中相應的邊緣大小G小於T_邊緣的內插點選擇一個內插濾波器。在其他實施方式中，可以其中相應的邊緣具有等於零的Δx或Δy的內插點選擇一個內插濾波器。在每個情況中，不需要確定或提供邊緣角，並且用於在內插點處插入新的像素的內插濾波器如下所示：
a. 對於中心像素：(a0 + a1 + b0 + b1)/4
b. 對於行像素：(a1+b1)/2
c. 對於列像素：(b0+b1)/2
其中，a0、a1、b0和b1對應於第2A-2C圖中所標記的像素。注意，Δy=0和Δx=0分別對應於梯度角0和90度。
梯度角μ可以被計算為μ = tan^-1(Δy/Δx)。由於邊緣角垂直於梯度角，所以邊緣角為Θ = μ + 90^o。注意，由於可以藉由簡單的90度旋轉將邊緣和邊緣梯度相聯繫，所以如果考慮此關係的話，兩者可以互換使用。還應當注意，邊緣（或梯度）角的範圍可以降低為0-180度的範圍。
在一些實施方式中，可以回應於像素類別和邊緣角來確定在各自的內插點處使用的內插濾波器。在一個實施方式中，內插假設邊緣是線性的。對於彎曲邊緣，可以在像素估計期間檢查其他角。替代地，可以使用基於霍夫（Hough）變換的方法來偵測屬於曲線的邊緣像素，並且這些像素可以用於沿著彎曲邊緣來插入新的像素。
現在將描述針對內插點的像素估計過程，其中邊緣大小超過臨界值。在一個實施方式中，對於中心像素，基於邊緣角是否近似為45度來選擇內插濾波器。一個實施方式針對邊緣角位於45至135度的範圍使用一個中心內插濾波器。替代的實施方式可以利用其他的角範圍。
對於中心像素估計，可以如下述那樣執行內插：
如果θ介於35與55度之間，則新的像素=(a1+b0)/2。
如果θ介於125與145度之間，則新的像素=(a0+b1)/2。
其他情況，新的像素=(a0+a1+b0+b1)/4。
對於行像素估計，
如果θ介於0與90度之間，則新的像素=(b0 + 2*(a1+b1) + a2)/6。
其他情況　　新的像素=(a0 + 2*(a1+b1) + b2)/6。
對於列像素估計，
如果θ介於0與90度之間，則新的像素=(c0 + 2 *(b0+b1) + a1)/6。
其他情況　　新的像素=(a0 + 2 *(b0+b1) + c1)/6。
因此，該方法可以利用這樣的內插濾波器，其將較大的權重應用到位於沿著邊緣角的方向上的像素上、並將較小的權重應用到位於沿著與邊緣角垂直的方向上的像素上或者不向其應用權重。在一個實施方式中，內插濾波器應用較大的權重到最近的鄰近像素、應用中等權重到位於沿著邊緣角的方向上的像素、並應用最小的權重到位於沿著與邊緣角垂直的方向上的像素或不向其應用權重。在一個實施方式中，最近的鄰近像素是與內插點位於同一列或同一行中的像素。
在一個實施方式中，梯度測量Δx和Δy可以與查找表或LUT一起使用，以確定合適的內插濾波器。LUT可以儲存期望的濾波器脈衝回應、或者可以簡單地提供可以用於確定並應用合適的內插濾波器的內插濾波器識別符。
本文描述的一個實施方式是用於對影像進行內插的方法，該方法包括：確定與內插點相關聯的邊緣特性，該邊緣特性包括邊緣大小和邊緣角；回應於邊緣角來選擇內插濾波器；以及使用所選擇的內插濾波器來確定內插點處的像素值。邊緣特性可以基於確定與內插點相關聯的鄰近區域中的像素值的水平梯度和垂直梯度。與內插點相關聯的鄰近區域可以是如第2B圖所示的水平矩形區域、如第2C圖所示的垂直矩形區域或如第2A圖所示的方形區域。在一個實施方式中，回應於內插點為列內插點、行內插點或中心內插點來確定鄰近區域。在一些實施方式中，使用一階梯度濾波器（當不執行卷積操作時，其可以被稱為“蒙板（mask）”）來確定邊緣特性。一種這樣的一階梯度濾波器是修正的Sobel運算子。
下面描述基於邊緣的內插與使用表2中列出的視訊的五分接頭濾波器技術的性能比較。（在比較時，僅使用了五分接頭濾波器，但沒有使用銳化濾波器。）藉由將這兩種方法應用到代碼轉換後的視訊，來對這兩種方法進行測試。使用魯瑪（luma）分量的峰值信號雜訊比（PSNR）、視訊品質度量（VQM）評分和主觀比較來測量放大後的視訊的品質。轉碼器的輸入視訊被用作這裏的品質測量的參考。

接近於零的VQM評分表示沒有偽像/損傷，而接近於一的評分表示被嚴重損傷。VQM僅截取了15秒的視訊進行比較。對在不同的視訊和轉碼器位元率測試放大方案，並且在表3中列出了結果。表3中的項“2X”和“3X”指的是分別正在以原始位元率的一半和三分之一被編碼的代碼轉換後的視訊。對於“vid”視訊而言，這兩種放大方法都產生低的損傷，但是基於邊緣的內插稍微優於5分接頭濾波器。應當注意到，當觀看者兩個處理後的視訊時，基於邊緣的內插看起來明顯更好一些。這是預料的到的，因為大多數的客觀測量方案都具有局限性。與2X視訊相比，3X視訊常常產生稍微高的VQM評分，因為降低位元率會增加編碼失真。
對於艾利之書視訊而言，相較於5分接頭方法，基於邊緣的內插相比於5分接頭方法具有小的感知性改善。艾利之書的VQM評分高於“vid”視訊的VQM評分，因為以比原始視訊低50倍的位元率來編碼下採樣後的視訊。
對於“vid”視訊，針對不具有場景變化的視訊片段來計算PSNR，並在表4中報告結果。對於艾利之書，考慮PSNR≦ 50 dB的所有訊框，因為具有更高PSNR的所有訊框都有可能是空白訊框。對於vid15和vid16，相比於5分接頭濾波器，能夠獲得0.7 dB的最大PSNR改善。第3圖示出了針對vid01_2X序列的PSNR與訊框的快照（snapshot）。顯然，即使在逐訊框的基礎上，當使用基於邊緣的內插方法時，具有PSNR改善。

除了VQM評分，也藉由觀看放大後的視訊對這兩種放大方法進行比較。通過使視訊訊框經歷這兩種放大方案所獲得的實驗結果表明，與5分接頭濾波器方法相較之下，基於邊緣的內插方法具有更銳化的邊緣和更多的細節。
藉由在2.53 GHz PC上對1000訊框的每個測試序列運行放大演算法來進行複雜度比較，並測量每一訊框的平均編碼時間。藉由獲得5分接頭濾波器與基於邊緣的內插濾波器的處理時間的比率來計算相對速度改善。結果在表5中給出。我們發現，基於邊緣的內插比5分接頭濾波器要快最多2.5倍。

這裏還描述了用於內插和銳化視訊信號的裝置和方法。在一個實施方式中，該方法通過兩級濾波器方法來執行，其中內插濾波器將輸入視訊放大到更高的空間解析度，然後銳化濾波器增強視訊中的細節。在另一實施方式中，該方法藉由聯合濾波器（joint filter）方法來執行，其中一個濾波器被應用到輸入視訊信號以將該輸入視訊信號放大到更高的解析度並同時增強信號細節。聯合濾波器同時執行內插和銳化，並且可以具有相關聯的處理增益。在一些實施方式中，還可以降低記憶體存取。
如第4A圖所示，兩個分離的濾波器，即基於邊緣的內插濾波器和自適應銳化濾波器被組合以從原始視訊訊框源來產生放大和銳化後的視訊訊框。第4B圖中描述了一個實施方式，其中首先藉由使用基於邊緣的內插器在兩個維度中將YUV訊框放大兩倍。可以使用上面描述的基於邊緣的內插器。在訊框的亮度分量（Y）的內插期間所捕獲的邊緣資訊可以用於確定要被銳化的像素、和用於控制自適應銳化濾波器的強度。如第9圖中所概括的，可以從部分地在作為中心像素A、列像素B或行像素C的被內插的像素的位置選擇的邊緣偵測濾波器中獲得邊緣資訊。可以對魯瑪分量執行銳化，因為魯瑪分量通常包含更多的細節或邊緣。銳化後的魯瑪分量然後與色度分量相組合，以產生放大後的銳化訊框。還可以從色度分量中的一個或多個色度分量中擷取邊緣資訊，並且可以使用來自魯瑪和來自色度分量中的一個或多個色度分量的邊緣資訊的加權組合。另外，色度分量中的一個或多個色度分量也可以經歷自適應銳化。
第5圖和第6圖中的方塊圖分別示出了針對基於邊緣的內插和銳化階段的一個演算法。兩個緩衝器——即映射[N][M]和強度[N][M]——分別儲存銳化映射（map）和邊緣強度，其中N和M是放大後的訊框的寬度和高度。這兩個緩衝器在對訊框進行內插之前被初始化為零。映射[i][j]中的項“1”表明位於(i,j)處的像素要被銳化，否則為“0”。對於要被內插的每個像素(i,j)，使用修正的Sobel運算子來計算梯度(grad_ij)。如果grad_ij≧銳化臨界值（sharp_thresh），則針對被內插的像素及其鄰近像素的映射[i][j]元素被設定為一（1），其中sharp_thresh是銳化臨界值。類似地，針對被內插的像素及其鄰近像素的強度[i][j]被設定為grad_ij。例如，如果位於(i, j)處的被內插的像素的梯度grad_ij≧sharp_thresh，則：

這在第8圖中示出，其中符號“x”表示原始像素，“o”表示被內插的像素。黑點是被標為用於銳化的被內插的邊緣像素，並且邊界框中的其他像素因其鄰近邊緣像素，所以也被標為用於銳化。在一個實施方式中，100的銳化臨界值是恰當的，但是臨界值的選擇可以不同。在其他實施方式中，銳化臨界值也可以從局部影像特性來確定、並且在整個影像中被調整為不同的值。
在獲得被內插的訊框以及強度[i][j]和映射[i][j]之後，將拉普拉斯-高斯（LoG）濾波器應用到(i,j)處映射[i][j]=1的像素。對邊緣像素的鄰近像素進行銳化，以移除因亮度的非均勻變化而可能看起來是斑點的偽像。在銳化階段中，再次使用來自內插階段的映射[i][j]和強度[i][j]資訊。這會導致較低的計算複雜度。
連續形式的LoG濾波器的定義如下所示：

其中，x和y是與LoG的中心(即(0,0))的距離，σ²是高斯方差。尺寸為KxL的離散LoG濾波器定義如下：

參數σ確定濾波強度。更大的σ（> 1）可以用於弱銳化，而更小的σ（≦ 1）可以用於更強的銳化。銳化濾波器還可以具有各種尺寸win_size。例如，對於具有小解析度（< 640x360）的輸入視訊，可以選擇win_size = 5x5的LoG濾波器；而對於更高解析度的視訊（≧ 640x360），可以選擇win_size = 9x9的LoG濾波器。濾波器尺寸確定了在銳化期間被考慮的鄰近像素的數量。在其他實施方式中，可以基於視訊解析度和內容而選擇不同的濾波器尺寸。另外，在整個影像訊框可以調整濾波器尺寸。作為示例，5x5的LoG濾波器的操作可以表示如下：
　　　
其中，C[i][j]和C_h[i][j]分別是(i,j)處的放大後的像素及其相應的高頻分量。第10圖示出了向其應用濾波器係數的像素的跨度，其中黑點表示要使用5x5的LoG濾波器進行銳化的被內插的像素（稱為中心像素）。LoG濾波器係數被應用到邊界框中的像素上。
在一個實施方式中，基於下述的邊緣強度來選擇σ_ij：

其中，ρ₁,…,ρ_S是邊緣強度臨界值，而α₁, …,α_S是與不同的銳化等級相關聯的S不同的σ_ij值。在一個實施方式中，σ_ij定義如下：

　　　　　　　　
除了邊緣梯度，還可以使用局部影像特性來確定σ_ij。例如，強邊緣的過度銳化（即，對強邊緣使用小的σ_ij值）會導致振鈴（ringing）偽像。為了避免這種情況，當邊緣強度強度[i][j]增大時，可以使用更大的σ_ij值。
最後，銳化後的像素C_out[i][j]如下獲得：

一個實施方式中使用λ=1，但是在其他實施方式中，可以使用不同的λ值。在其他實施方式中，也能夠藉由在內插階段之前偵測雜訊並使用此資訊來選擇具有更大σ（σ > 1）的LoG濾波器而使銳化濾波器對雜訊敏感。這將確保被偵測為邊緣的雜訊不被放大。類似地，在其他實施方式中，可以使銳化過程對偽邊緣（諸如塊偽像）敏感。可以在內插之前使用塊偽像偵測演算法。在銳化過程期間，被分類為偽邊緣的像素可以被平滑而非被銳化。
第7圖描繪了聯合的基於邊緣的內插和自適應銳化濾波器的實施方式。在之前的兩級濾波器方法中，在應用銳化濾波器之前在濾波器視窗中計算被內插的像素。在聯合濾波器方法中，內插與銳化或之間的依賴性降低了。在此實施方式中，基於邊緣的內插與銳化濾波器組合以提供聯合濾波器。第11圖中給出了組合後的濾波方法的流程圖。使用修正的Sobel運算子來計算針對位於(i,j)處的像素的梯度grad_ij。使用兩個緩衝器-即緩衝器銳化旗標（sharp_flag）和將來梯度（future_grad）來標出位於(k,n)處的尚未被內插的鄰近像素的銳化。如果梯度grad_ij大於或等於預定義的銳化臨界值sharp_thresh，則對鄰近的3x3像素執行下述的兩個操作，如第12圖所示：
1、使用LoG濾波器來銳化鄰近的原始像素，其中使用等式（5）以基於grad_ij來選擇LoG濾波器的σ。在第12圖中，這些像素由“x”指示。
2、將尚未被內插的鄰近像素的sharp_flag和future_grad設定如下：
如果像素(i,j)是中心像素，則設定：
。

如果像素(i,j)是列像素，則設定：
。

如果像素(i,j)是行像素，則設定：
。

在一個實施方式中，sharp_thresh = 100，並且像素銳化候選是鄰近的3x3像素。在其他實施方式中，考慮更大的鄰域，並且可以使用不同的sharp_thresh；例如，sharp_thresh的值可以基於局部影像特性來確定。如果grad_ij小於sharp_thresh，則檢查相關聯的sharp_flag[i][j]是否等於1。如果sharp_flag[i][j]等於1，則使用其相關聯的future_grad[i][j]值來選擇適當的聯合濾波器，否則繼續使用grad_ij來選擇聯合濾波器。藉由使用future_grad[i][j]，該系統使用(i-a,j-b)處的之前被內插的鄰近像素的梯度，其中grad_{i-a j-b}≧ sharp_thresh並且0≦a，b≦1。
如第12圖所描繪的，黑點是正在被內插和銳化的像素、並且具有大於銳化臨界值的梯度。“x”是要被銳化的原始像素，並且灰點是要被內插並且被標為用於銳化的像素。存在三種可能的情況：（a）中心、（b）列和（c）行像素內插和銳化。
下面是聯合濾波器的兩個實施方式。在其他實施方式中，除了原始像素，聯合濾波器還部分地對已經被內插的像素進行操作。
在上述的兩級濾波器方法中，win_size內的像素用於如第13圖中的框所示那樣銳化。在此實施方式中，如第13圖中的粗體X所表示的那樣，識別用於獲得邊界框中的被內插的像素的所有原始像素。銳化濾波器對這些原始像素進行操作。由於這些像素被用於獲取邊界框中的被內插的像素，所以從這些原始像素計算的高頻分量將接近於從邊界框中的所有像素所計算的高頻分量。
如下所示，聯合濾波器可以被寫為兩個濾波器的和：　
(7)　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

其中，LOG是僅被應用到原始像素的銳化濾波器，並且h_EI是基於邊緣的內插器。在此實施方式中，λ=1，但是在其他實施方式中可以選擇不同的λ值。LoG參數σ是邊緣強度的函數，諸如等式（5）中定義的函數。對於輸入視訊解析度小於640 x 360的一個實施方式，設定win_size = 5x5，否則將其設定為9x9。
基於邊緣的內插器h_EI是梯度、邊緣角、濾波器尺寸和像素類別的函數。如上面參照第9圖描述的那樣，對於基於邊緣的內插，基於被內插的像素在像素格點中的位置將被內插的像素分類為中心像素、列像素和行像素。因此，包括原始像素在內，放大後的訊框具有四個像素類別。每個被內插的像素的類別（例如，中心、列或行）都具有三個濾波器，每個濾波器對應於三個邊緣方向中的其中一個方向。對於列和行像素，這三個邊緣方向是無邊緣、0與90度之間的邊緣角和90與180度之間的邊緣角。對於中心像素，這三個邊緣方向是無邊緣、35與55度之間的邊緣角和125與145度之間的邊緣角。在銳化期間，考慮用於獲取win_size內的被內插的像素的原始像素。例如，為了銳化第13圖中的中心像素，對4x4的原始像素執行濾波。因此，4x4的LOG濾波器被考慮，從而產生等式（7）中的4x4聯合濾波器。聯合濾波器的尺寸用濾波器尺寸（win_size）表示，因此對於第13圖，濾波器尺寸(win_size) = 濾波器尺寸(5x5) = 4x4。類似地，如第14、15和16圖所示，針對列、行和原始像素的濾波器尺寸（5x5）分別是5x4、4x5和5x5。
在第13圖中，示出了由黑點表示的中心像素的內插和銳化。win_size內的被內插的像素從被表示為粗體“x”的原始像素獲取。4x4的LoG濾波器被應用到這些原始像素。在第14圖中，示出了由黑點表示的列像素的內插和銳化。5x4的LoG濾波器被應用到由粗體“x”表示的原始像素。在第15圖中，示出了由黑點表示的行像素的內插和銳化。4x5的LoG濾波器被應用到由粗體“x”表示的原始像素。在第16圖中，描繪了被標記為“A”的原始像素的銳化。5x5的LoG濾波器被應用到由粗體“x”表示的原始像素。
下面是用於小螢幕視訊解析度（例如，480x204）的中心像素的聯合濾波器的實施方式。該程序與用於列、行和中心像素的程序類似。可以做出小的修改以實現針對更大視訊解析度（例如，1080p、720p）的聯合濾波器設計。對於小螢幕視訊解析度（例如使用win_size = 5x5），得到的聯合濾波器尺寸為濾波器尺寸(win_size) = 4x4。
下面是用於基於邊緣方向來產生中心像素的內插濾波器：

其中，邊緣臨界值確定被內插的像素是否是邊緣像素。
中心像素內插濾波器的實施方式如下給出：

　　
在一個實施方式中，邊緣臨界值> sharp_thresh。尺寸為濾波器尺寸(win_size) = KxL的具有標準差σ的LoG濾波器如等式（3）中定義。
針對等式（5）中的四個σ值（其中α₁=∞、α₂=1、α₃=1.2和α₄=1.4）的LoG濾波器如下所示：

用於中心像素的聯合濾波器則如下所示：

類似地，

當僅應用內插並且不應用銳化時，使用濾波器h_中心 _, _∞。用於所有其他像素類別的聯合濾波器可以用類似的方式獲得。在一個實施方式中，使用等式（5）中列出的四個不同的σ值和兩個不同的win_size值。因此，用於被內插的像素的聯合濾波器的數量是：
　　　
原始像素僅需要銳化，因此在其濾波器設計期間，並不包括基於邊緣的內插。用於原始像素的聯合濾波器的數量是：
　　　　　　　（12）
所需要的濾波器的總數量是：
　　（13）
這些濾波器可以儲存在查找表中，並且可以基於像素類別、梯度、邊緣角和win_size來選擇。
在替代的實施方式中，聯合濾波器與等式（7）相同，但是其使用不同的銳化分量。針對小螢幕視訊解析度（例如，480x204）的中心像素來描述替代的聯合濾波器的一個示例。相同的設計方法也可以擴展到列、行和原始像素。對於此示例，win_size = 5x5。第17圖示出了用於銳化的原始像素和所估計的被內插的像素，其中，win_size內的所有像素都用於銳化，並且被內插的像素（灰點）從原始像素（用粗體“x”表示）來估計。
在一個實施方式中，當梯度小於邊緣臨界值時，使用基於邊緣的內插來估計被內插的像素（第17圖中的灰點）。這對應於下面的針對中心、列和行像素的估計濾波器：
　　（14）
第17圖可以用下面的表6中的表格形式來表示，其中C_ij是像素。灰色的陣列表示位於win_size = 5x5中的像素，並且粗體的項表示原始像素。因此，灰色區域中的非粗體像素是所估計的被內插的像素。
表6

5x5銳化濾波器表示如下。

可以根據下式來使用僅對原始像素進行操作但仍然能夠提供與等式（16）中相同的高頻分量C_h的銳化濾波器g：

為了說明g的設計，推導係數g₀₀和g₀₁。等式（16）中的每個乘積項用原始像素表示如下：

　　

從等式（17），與C₀₀相對應的係數的和是g₀₀，並且與C₀₂相對應的係數的和是g₀₁。將等式（18）中的項進行組合得到：

用於中心像素的濾波器係數g_中心如下給出：
g_中心(σ(梯度),濾波器尺寸(win_size)) = g_中心(σ(梯度),4x4)=

分別用於列、行和原始像素的濾波器係數g_列、g_行和g_原始能夠以類似的方式獲得。
聯合濾波器設計2定義為：

其中，g(.)是銳化分量。繼續，用於中心像素的聯合濾波器是：h_中心(梯度, 邊緣角, 5x5) = h_{EI_} _中心(梯度, 邊緣角, 4x4)+ g_中心(σ(梯度), 4x4)，其中，h_{EI_} _中心與等式（8）中定義的相同。
在聯合濾波器的這兩個實施方式（設計1和設計2）中使用的濾波器的總數量與等式（13）中給出的相同。這兩個方法中的濾波器尺寸在表7中列出。設計2使用較少的濾波器，從而產生較低的複雜度。設計2還可以比設計1提供更好的主觀品質，並且其具有與兩級濾波器方法類似的品質。這是預料到的，因為設計2在銳化期間使用所估計的被內插的像素，因此在數學上接近近似於兩級濾波器方法。已經觀察到，有時設計1提供比設計2更好的主觀品質。因此，可以使用自適應方法來在這兩個聯合濾波器設計之間進行切換；例如，自適應模型可以基於局部影像特性。
表7 針對win_size=5x5的聯合濾波器的尺寸

這裏描述的內插和銳化濾波器可以被合併到任意的各種終端，諸如但不限於數位電視、無線通信裝置、無線廣播系統、個人數位助理（PDA）、膝上型或桌上型電腦、迷你筆記型電腦、數位相機、數位記錄裝置、視訊遊戲裝置、視訊遊戲操作臺、蜂巢或衛星無線電電話、數位媒體播放器等。
第18A圖示出了可以在其中實現一個或多個所揭露的實施方式的示例性通信系統100的圖示。通信系統100可以是向多個無線用戶提供諸如語音、資料、視訊、訊息發送、廣播等內容的多重存取系統。通信系統100能夠經由系統資源（包括無線頻寬）的共享來使多個無線用戶存取這些內容。例如，通信系統100可以採用一個或多個頻道存取方法，諸如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）等。
如第18A圖所示，通信系統100可以包括無線傳輸/接收單元（WTRU）102a、102b、102c、102d、無線電存取網路（RAN）104、核心網路106、公共切換電話網（PSTN）108、網際網路110和其他網路112，但是應當意識到，所揭露的實施方式涵蓋任意數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d中的每一者可以是被配置為在無線環境中操作及/或通信的任意類型的裝置。以示例的方式，WTRU 102a、102b、102c、102d可以被配置為傳送及/或接收無線信號，並且可以包括用戶設備（UE）、行動站、固定或行動用戶單元、呼叫器、蜂巢式電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、迷你筆記型電腦、個人電腦、無線感測器、消費型電子裝置等。
通信系統100還可以包括基地台114a和基地台114b。基地台114a和114b中的每個基地台可以是被配置用於與WTRU 102a、102b、102c、102d中的至少一個WTRU無線介面連接以促進存取一個或多個通信網路（諸如核心網路106、網際網路110及/或網路112）的任意類型的裝置。以示例的方式，基地台114a、114b可以是基地收發站（BTS）、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點（AP）、無線路由器等。雖然基地台114a、114b各自被描述為單一元件，但是應當意識到，基地台114a、114b可以包括任意數量的互連基地台及/或網路元件。
基地台114a可以是RAN 104的一部分，該RAN 104還可以包括其他基地台及/或網路元件（未示出），諸如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等。基地台114a及/或基地台114b可以被配置用於在特定的地理區域（其可以成為胞元（未示出））內傳送及/或接收無線信號。胞元還可以被進一步劃分成胞元扇區。例如，與基地台114a相關聯的胞元可以被劃分成三個扇區。因此，在一個實施方式中，基地台114a可以包括三個收發器，即胞元的每個扇區應用一個收發器。在另一實施方式中，基地台114a可以採用多輸入多輸出（MIMO）技術，因此，可以為胞元的每個扇區使用多個收發器。
基地台114a、114b可以經由空氣介面116與WTRU 102a、102b、102c、102d中的一個或多個WTRU進行通信，其中空氣介面116可以是任何適當的無線通信鏈路（例如，射頻（RF）、微波、紅外線（IR）、紫外線（UV）、可見光等）。可以使用任何適當的無線電存取技術（RAT）來建立空氣介面116。
更為具體地，如上所述，通信系統100可以是多重存取系統並且可以採用一個或多個頻道存取方案，諸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104中的基地台114a和WTRU 102a、102b、102c可以實施諸如通用行動電信系統（UMTS）陸地無線電存取（UTRA）之類的無線電技術，其可以使用寬頻CDMA（WCDMA）來建立空氣介面116。WCDMA可以包括諸如高速封包存取（HSPA）及/或演進HSPA（HSPA+）等通信協定。HSPA可以包括高速下行鏈路封包存取（HSDPA）及/或高速上行鏈路封包存取（HSUPA）。
在另一實施方式中，基地台114a和WTRU 102a、102b、102c可以實施諸如演進UMTS陸地無線電存取（E-UTRA）等無線電技術，其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空氣介面116。
在其他實施方式中，基地台114a和WTRU 102a、102b、102c可以實施諸如IEEE 802.16（即全球微波互通存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球行動通信系統（GSM）、增強型資料速率GSM演進（EDGE）、GSM EDGE（GERAN）等無線電技術。
第18A圖中的基地台114b可以是例如無線路由器、家用節點B、家用e節點B或存取點，並且可以利用用於促進局部區域（諸如商業場所、家庭、車輛、校園等）內的無線連接性的任何適當RAT。在一個實施方式中，基地台114b和WTRU 102c、102d可以實現諸如IEEE 802.11的無線電技術，以建立無線區域網路（WLAN）。在另一實施方式中，基地台114b和WTRU 102c、102d可以實現諸如IEEE 802.15的無線電技術，以建立無線個人區域網路（WPAN）。在再一實施方式中，基地台114b和WTRU 102c、102d可以利用基於蜂巢的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等）來建立微微胞元或毫微微胞元。如第18A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106來存取網際網路110。
RAN 104可以與核心網路106通信，核心網路106可以是被配置用於向WTRU 102a、102b、102c、102d中的一個或多個WTRU提供語音、資料、應用及/或網際網路協定語音（VoIP）服務的任何類型的網路。例如，核心網路106可以提供呼叫控制、計費服務、基於移動定位的服務、預付費呼叫、網際網路連接、視訊分配等及/或執行高階安全功能（諸如用戶認證）。雖然未在第18A圖中示出，但是應當意識到，RAN 104及/或核心網路106可以與其他RAN直接或間接通信，該其他RAN可以採用與RAN 104所採用的RAT相同的RAT或不同的RAT。例如，除了連接到正在利用E-UTRA無線電技術的RAN 104，核心網路106還可以與採用GSM無線電技術的另一RAN（未示出）進行通信。
核心網路106還可以充當閘道，以便WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112。PSTN 108可以包括用於提供普通老式電話服務（POTS）的電路交換電話網。網際網路110可以包括使用公共通信協定（諸如TCP/IP網際網路協定組中的傳輸控制協定（TCP）、用戶資料報協定（UDP）和網際網路協定（IP）的全球互連電腦網路和裝置系統。網路112可以包括由其他服務提供者擁有及/或操作的有線或無線通信網路。例如，網路112可以包括連接到一個或多個RAN（其採用與RAN 104所採用的RAT相同或不同的RAT）的另一核心網路。
通信系統100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於經由不同的無線鏈路與不同的無線網路進行通信的多個收發器。例如，第18A圖中所示的WTRU 102c可以被配置為與可以採用基於蜂巢的無線電技術的基地台114a通信、以及與可以採用IEEE 802無線電技術的基地台114b通信。
第18B圖是示例性的WTRU 102的系統圖。如第18B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電源134、全球定位系統（GPS）碼片組136和其他週邊裝置138。應當意識到，在保持與實施方式相一致的同時，WTRU 102可以包括上述元件的任意子組合。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器（DSP）、多個微處理器、與DSP核相關聯的一或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可編程閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102能夠在無線環境中操作的任何其他功能。處理器118可以耦合到收發器120，收發器120可以耦合到傳輸/接收元件122。雖然第18圖將處理器118和收發器描繪為分離的元件，但是應當意識到，處理器118和收發器120可以一起集成到電子封裝或晶片中。
傳輸/接收元件122可以被配置用於經由空氣介面116向基地台（例如，基地台114a）傳送信號、或經由空氣介面116接收來自基地台（例如，基地台114a）的信號。例如，在一個實施方式中，傳輸/接收元件122可以是被配置用於傳送及/或接收RF信號的天線。在另一實施方式中，傳輸/接收元件122可以是被配置用於傳送及/或接收例如IR、UV或可見光信號的發光體/偵測器。在再一實施方式中，傳輸/接收元件122可以被配置用於傳送和接收RF和光信號兩者。應當意識到，傳輸/接收元件122可以被配置用於傳送及/或接收無線信號的任何組合。
另外，雖然在第18圖中傳輸/接收元件122被描繪為單一元件，但是WTRU 102可以包括任意數量的傳輸/接收元件122。更具體地，WTRU 102可以採用MIMO技術。因此，在一個實施方式中，WTRU 102可以包括用於經由空氣介面116來傳送和接收無線信號的兩個或更多個傳輸/接收元件122（例如，多個天線）。
收發器120可以被配置用於調變要由傳輸/接收元件122傳送的信號以及解調由傳輸/接收元件122接收到的信號。如上所述，WTRU 102可以具有多模式能力。因此，收發器120可以包括例如用於使WTRU 102能夠經由多個RAT（諸如UTRA和IEEE 802.11）進行通信的多個收發器。
WTRU 102的處理器118可以耦合到並且可以接收來自揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128（例如，液晶顯示器（LCD）顯示單元或有機發光二級體（OLED）顯示單元）的用戶輸入資料。處理器118還可以向揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128輸出用戶資料。另外，處理器118可以存取來自任意類型的適當記憶體（諸如不可移式記憶體130及/或可移式記憶體132）的資訊、並且在任意類型的適當記憶體（諸如不可移式記憶體130及/或可移式記憶體132）中儲存資料。不可移式記憶體130可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或任意其他類型的記憶體儲存裝置。可移式記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等。在其他實施方式中，處理器118可以存取來自沒有實體地位於WTRU 102上的記憶體（諸如伺服器或家庭電腦（未示出））的資訊、並且在沒有實體地位於WTRU 102上的記憶體（諸如伺服器或家庭電腦（未示出））中儲存資料。
處理器118可以接收來自電源134的功率、並且可以被配置用於向WTRU 102中的其他元件分配及/或控制功率。電源134可以是用於為WTRU 102供電的任意適當的裝置。例如，電源134可以包括一個或多個乾電池（例如，鎳-鎘（NiCd）、鎳-鋅（NiZn）、鎳金屬氫化物（NiMH）、鋰離子（Li-ion）等）、太陽能電池、燃料電池等。
處理器118還可以耦合到GPS碼片組136，GPS碼片組136可以被配置用於提供關於WTRU 102的目前位置的位置資訊（例如，經度和維度）。除了或替代來自GPS碼片組136的資訊，WTRU 102可以經由空氣介面116從基地台（例如基地台114a、114b）接收位置資訊、及/或基於從兩個或更多個鄰近基地台接收到的信號的時序來確定其位置。應當意識到，在保持與實施方式一致的同時，WTRU 102可以用任何適當的位置確定方法來獲取位置資訊。
處理器118還可以耦合到其他週邊裝置138，週邊裝置138可以包括用於提供其他的特徵、功能及/或有線或無線連接性的一個或多個軟體及/或硬體模組。例如，週邊裝置138可以包括加速計、電子指南針、衛星收發器、數位相機（用於相片或視訊）、通用串列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等。
第18C圖是根據實施方式的RAN 104和核心網路106的系統圖。如上所述，RAN 104可以採用UTRA無線電技術來經由空氣介面116與WTRU 102a、102b、102c通信。RAN 104還可以與核心網路106通信。如第18C圖所示，RAN 104可以包括節點B 140a、104b、140c，其中節點B 140a、104b、140c的每個可以包括用於經由空氣介面116與WTRU 102a、102b、102c通信的一個或多個收發器。節點B 140a、104b、140c每個可以與RAN 104中的特定胞元（未示出）相關聯。RAN 104還可以包括RNC 142a、142b。應當意識到，在保持與實施方式相一致的同時，RAN 104可以包括任意數量的節點B和RNC。
如第18C圖所示，節點B 140a、140b可以與RNC 142a通信。另外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經由Iub介面與各自的RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面彼此進行通信。RNC 142a、142b中的每一者被配置用於控制其所連接到的各自的節點B 140a、140b、140c。另外，RNC 142a、142b中的每一者可以被配置用於執行或支援其他功能，諸如外環功率控制、負載控制、准許控制、封包排程、切換控制、巨集分集、安全功能、資料加密等。
第18C圖中所示的核心網路106可以包括媒體閘道（MGW）144、行動交換中心（MSC）146、服務GPRS支援節點（SGSN）148、及/或閘道GPRS支援節點（GGSN）150。雖然前述元件的每個元件被描繪為核心網路106的一部分，但是應當意識到，這些元件中的任何一個元件都可以由除了核心網路操作者之外的實體所擁有及/或操作。
RAN 104中的RNC 142a可以經由IuCS介面連接到核心網路106中的MSC 146。MSC 146可以連接到MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供到電路交換網（諸如PSTN 108）的存取，以促進WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。
RAN 104中的RNC 142a還可以經由IuPS介面連接到核心網路106中的SGSN 148。SGSN 148可以連接到GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路（諸如網際網路110）的存取，以促進WTRU 102a、102b、102c與IP賦能的裝置之間的通信。
如上所述，核心網路106還可以連接到網路112，網路112可以包括由其他服務提供者所擁有及/或操作的其他有線或無線網路。
第18D圖是根據實施方式的RAN 104和核心網路106的系統圖。如上所述，RAN 104可以採用E-UTRA無線電技術來經由空氣介面116與WTRU 102a、102b、102c通信。RAN 104還可以與核心網路106通信。
RAN 104可以包括e節點B 160a、160b、160c，但是應當意識到，在保持與實施方式的一致性的同時，RAN 104可以包括任何數量的e節點B。e節點B 160a、160b、160c的每個可以包括用於經由空氣介面116與WTRU 102a、102b、120c通信的一個或多個收發器。在一個實施方式中，e節點B可以實施MIMO技術。因此，例如，e節點B 160a可以使用多個天線來向WTRU 102a傳送無線信號和從WTRU 102a接收無線信號。
每個e節點B可以與特定的胞元（未示出）相關聯、並且可以被配置用於處理無線電資源管理決策、切換決策、上行鏈路及/或下行鏈路中的用戶排程等。如第18D圖所示，e節點B可以經由X2介面彼此通信。
第18D圖中所示的核心網路106可以包括移動性管理閘道（MME）162、服務閘道164和封包資料網路（PDN）閘道166。雖然前述元件的每個元件被描繪為核心網路106的一部分，但是應當意識到，這些元件中的任何一個元件都可以由除了核心網路操作者之外的實體所擁有及/或操作。
MME 162可以經由S1介面連接到RAN 104中的e節點B 160a、160b、160c中的每一者。例如，MME 162可以負責認證WTRU 102a、102b、102c的用戶、承載啟動/止動、在WTRU 102a、102b、102c的初始連結期間選擇特定的服務閘道等。MME 162還可以提供用於在RAN 104與採用其他無線電技術（諸如GSM或WCDMA）的RAN（未示出）之間進行切換的控制平面功能。
服務閘道164可以經由S1介面連接到RAN 104中的每個e節點B。服務閘道164通常可以向WTRU 102a、102b、102c路由和轉發用戶資料封包、以及路由和轉發來自WTRU 102a、102b、102c的用戶資料封包。服務閘道164還可以執行其他功能，諸如在e節點B間切換期間錨定用戶平面、在下行鏈路資料可由WTRU 102a、102b、102c使用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等。
服務閘道164還可以連接到PDN閘道166以促進WTRU 102a、102b、102c與IP賦能的裝置之間的通信，其中PDN閘道166可以向WTRU 102a、102b、102c提供到封包交換網路（諸如網際網路110）的存取。
核心網路106可以促進與其他網路的通信。例如，核心網路106可以向WTRU 102a、102b、102c提供到電路交換網（諸如PSTN 108）的存取，以促進WTRU 102a、102b、102c與傳統陸線通信裝置之間的通信。例如，核心網路106可以包括或者可以與IP閘道（例如，IP多媒體子系統（IMS）伺服器）通信，其中IP閘道充當核心網路106與PSTN 108之間的介面。另外，核心網路106可以向WTRU 102a、102b、102c提供到網路112的存取，其中網路112可以包括由其他服務提供者所擁有及/或操作的其他有線或無線網路。
第18E圖是根據實施方式的RAN 104和核心網路106的系統圖。RAN 104可以是採用IEEE 802.16無線電技術來經由空氣介面116與WTRU 102a、102b、102c通信的存取服務網路（ASN）。如下面將進一步討論的，WTRU 102a、102b、102c、RAN 104和核心網路106的不同功能實體之間的通信鏈路可以被定義為參考點。
如第18E圖所示，RAN 104可以包括基地台170a、170b、170c和ASN閘道172，但是應當意識到，在保持與實施方式的一致性的同時，RAN 104可以包括任意數量的基地台和ASN閘道。基地台170a、170b、170c每個可以與RAN 104中的特定胞元（未示出）相關聯、並且各可以包括用於經由空氣介面116與WTRU 102a、102b、102c通信的一個或多個收發器。在一個實施方式中，基地台170a、170b、170c可以實現MIMO技術。因此，例如，基地台170a可以使用多個天線來向WTRU 102a傳送無線信號和從WTRU 102a接收無線信號。基地台170a、170b、170c還可以提供移動性管理功能，諸如切換觸發、隧道建立、無線電資源管理、訊務分類、服務品質（QoS）策略執行等。ASN閘道172可以充當訊務聚合點、並且可以負責傳呼、用戶特性檔快取、到核心網路106的路由等。
WTRU 102a、102b、102c與RAN 104之間的空氣介面116可以被定義為用於實現IEEE 802.16規範的R1參考點。另外，每個WTRU 102a、102b、102c都可以建立與核心網路106的邏輯介面（未示出）。WTRU 102a、102b、102c與核心網路106之間的邏輯介面可以被定義為R2參考點，其可以用於認證、授權、IP主機配置管理及/或移動性管理。
每個基地台140a、140b、140c之間的通信鏈路可以被定義為R8參考點，其包括用於促進WTRU切換和基地台之間的資料傳遞的協定。基地台與ASN閘道172之間的通信鏈路可以被定義為R6參考點。R6參考點可以包括用於促進基於與每個WTRU 102a、102b、102c相關聯的移動性事件的移動性管理的協定。
如第18C圖所示，RAN 104可以連接到核心網路106。RAN 104與核心網路106之間的通信鏈路可以被定義為R3參考點，其包括用於促進例如資料傳遞和移動性管理能力的協定。核心網路106可以包括行動IP本地代理（MIP-HA）144、認證、授權、記賬（AAA）伺服器176和閘道178。雖然前述元件的每個元件被描繪為核心網路106的一部分，但是應當意識到，這些元件中的任何一個元件都可以由除了核心網路操作者之外的實體所擁有及/或操作。
MIP-HA可以負責IP位址管理、並且能夠使WTRU 102a、102b、102c在不同的ASN及/或不同的核心網路之間漫遊。MIP-HA 174可以向WTRU 102a、102b、102c提供到封包交換網路（諸如網際網路110）的存取，以促進WTRU 102a、102b、102c與IP賦能的裝置之間的通信。AAA伺服器146可以負責用戶認證和用於支援用戶服務。閘道178可以促進與其他網路的互連。例如，閘道178可以向WTRU 102a、102b、102c提供到電路交換網（諸如PSTN 108）的存取，以促進WTRU 102a、102b、102c與傳統陸線通信裝置的通信。另外，閘道178可以向WTRU 102a、102b、102c提供到網路112的存取，其中網路112可以包括由其他服務提供者所擁有及/或操作的其他有線或無線網路。
雖然未在第18E圖中示出，但是應當意識到，RAN 104可以連接到其他ASN，並且核心網路106可以連接到其他核心網路。RAN 104與其他ASN之間的通信鏈路可以被定義為R4參考點，其可以包括用於協調RAN 104與其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路106與其他核心網路之間的通信鏈路可以被定義為R5參考點，其可以包括用於促進本地核心網路與被訪問的核心網路之間的互連的協定。
雖然上面在特定的組合中描述了特徵和元素，但是本領域中具有通常知識者應當意識到，每個特徵或元素都可以被單獨使用或者可以用與其他特徵和元素的任意組合的方式使用。另外，這裏描述的方法可以在被包括在電腦或處理器所執行的電腦可讀媒體中的電腦程式、軟體或韌體中實現。電腦可讀媒體的示例包括電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體（ROM）、隨機儲存記憶體（RAM）、暫存器、快取記憶體、半導體儲存裝置、諸如內部硬碟或可移動盤之類的磁性媒體、磁光媒體和例如CD-ROM盤和數位多功能盤（DVD）之類的光學媒體。與軟體相關聯的處理器可以用於實現在WTRU、UE、終端、基地台、RNC或任何主電腦中使用的射頻收發器。
在不背離本發明範圍的情況下，上面描述的各種方法、裝置和系統的變形是可能的。鑒於能夠被應用的各種實施方式，應當理解，所示出的實施方式僅是示例性，並且不應當被認為是限制所附申請專利範圍書的範圍。
而且，在上面所述的實施方式中，指出了包含處理器的處理平臺、計算系統、控制器和其他裝置。這些裝置可以包含至少一個中央處理單元（“CPU”）和記憶體。根據電腦程式領域內的技術人員的實務，操作或指令的動作和符號表示可以由各種CPU和記憶體執行。這種動作和操作或指令可以被稱為正在“被執行”、“被電腦執行”或“被CPU執行”。
本領域中具有通常知識者將意識到，動作和符號表示的操作或指令可以包括由CPU執行的電子信號的操縱。電子系統表示一種資料位元，該資料位元能夠促使電子信號的有效變換或降低、和記憶體系統中的記憶體位置處的資料位元的維護，從而重新配置或以其他方式改變CPU的操作以及信號的其他處理。資料位元被保持於其中的記憶體位置是具有與資料位元相對應的或表示資料位元的特定電、磁、光或有機特性的實體位置。應當理解，示例性的實施方式並不侷限於上面提到的平臺或CPU，並且其他平臺和CPU也可以支援上面描述的方法。
資料位元還可以被保持在電腦可讀媒體上，其中電腦可讀媒體包括可由CPU讀取的磁片、光碟和任意其他揮發性（例如，隨機存取記憶體（“RAM”）或非揮發性（例如，唯讀記憶體（“ROM”）大容量儲存系統。電腦可讀媒體可以包括協作或互連的電腦可讀媒體，其排他性地存在於處理系統上或者在多個互連的處理系統（其可以位於處理系統本地或遠離處理系統）之間進行分佈。應當理解，示例性的實施方式並不限於上面提到的記憶體，並且其他平臺和記憶體也可以支援上面描述的方法。
描述本申請時所使用的任何元素、動作或指令都不應當被解釋為對本發明是關鍵或必不可少的，除非以此方式明確地進行了描述。而且，如本文所使用的，單詞“一”意欲包括一個或多個項目。在期望僅指代一個項目時，使用術語“一個（one）”或類似語言。另外，如本文所使用的，多個項目及/或多個類別的項目中的任一個意欲包括單獨的這些項目及/或這些類別的項目或與其他項目及/或其他類別的項目相結合中的任一個、任意組合、任意多個及/或任意多個組合。另外，如本文所使用的，術語“集合”意欲包括任意數量的項目，包括零。另外，如本文所使用的，術語“數量”意欲包括任意數量，包括零。
而且，申請專利範圍不應當被解釋為局限於所描述的次序或元素，除非明確指出。另外，任何申請專利範圍中的術語“裝置（means）”意欲援引35 U.S.C. §112, ¶ 6，而且並不期望不具有單詞“裝置（means）”的任何申請專利範圍也是如此援引。

100．．．示例性通信系統

102a、102b、102c、102d．．．無線傳輸/接收單元(WTRU)

104．．．無線電存取網路(RAN)

106．．．核心網路

108．．．公共切換電話網(PSTN)

110．．．網際網路

112．．．其他網路

114a、114b、170a、170b、170c．．．基地台

116．．．空氣介面

118．．．處理器

120．．．收發器

122．．．傳輸/接收元件

124．．．揚聲器/麥克風

126．．．鍵盤

128．．．顯示器/觸控板

130．．．不可移式記憶體

132．．．可移式記憶體

134．．．電源

136．．．全球定位系統(GPS)碼片組

138．．．週邊裝置

140a、104b、140c．．．節點B

142a、142b．．．無線電網路控制器(RNC)

144．．．媒體閘道(MGW)

146．．．行動交換中心(MSC)

148．．．服務GPRS支援節點(SGSN)

150．．．閘道GPRS支援節點(GGSN)

160a、160b、160c．．．e節點B

162．．．移動性管理閘道(MME)

164．．．服務閘道

166．．．封包資料網路(PDN)閘道

172．．．存取服務網路(ASN)閘道

174．．．行動IP本地代理(MIP-HA)

176．．．認證、授權、記賬(AAA)伺服器

178．．．閘道

從以下描述中可以更詳細地理解本發明，這些描述是以實例方式給出的，並且可以結合所附圖式加以理解，其中：
第1圖是影像中的像素的圖式；
第2A-2C圖分別是中心、行和列內插點的圖式；
第3圖是針對vid01_2X序列的基於邊緣的內插與五分接頭（tap）濾波器方法之間的訊框等級PSNR比較；以及
第4A圖是使用兩個分離的濾波器的基於邊緣的內插和自適應銳化系統的方塊圖；
第4B圖是使用兩個分離的濾波器的基於邊緣的內插和自適應銳化系統的更詳細的方塊圖；
第5圖是內插過程的流程圖；
第6圖是銳化過程的流程圖；
第7圖是聯合的基於邊緣的內插和自適應銳化濾波器的方塊圖；
第8圖是帶旗標像素的像素圖；
第9圖是中心、列和行像素的像素圖；
第10圖示出了向其應用濾波器係數的像素的跨度（span）；
第11圖是組合的濾波方法的一個實施方式的流程圖；
第12圖是示出了為（a）中心、（b）列和（c）行像素的鄰近像素分配銳化參數的像素圖；
第13-16圖是識別用於導出邊界框中的被內插像素的原始像素的像素圖；
第17圖識別用於銳化的原始像素和所估計的被內插的像素；
第18A圖是在其中可以實施一個或多個所揭露的實施方式的示例性通信系統的系統圖；
第18B圖是可以在第18A圖所示的通信系統中使用的示例性無線傳輸/接收單元（WTRU）的系統圖；以及
第18C-18E圖是可以在第18A圖所示的通信系統中使用的示例性無線電存取網路和示例性核心網路的系統圖。

Claims

一種用於內插一影像的方法，該方法包括：
確定與一內插點相關聯的一邊緣特性，該邊緣特性具有一邊緣大小和一邊緣角；
回應於該邊緣角來選擇一內插濾波器；以及
使用所選擇的內插濾波器來確定該內插點處的一像素值。
如申請專利範圍第1項所述的方法，其中，該邊緣特性是基於確定與該內插點相關聯的一鄰近區域中的一像素值的一水平梯度和一垂直梯度。
如申請專利範圍第2項所述的方法，其中，與該內插點相關聯的該鄰近區域是一水平矩形區域、一垂直矩形區域或一方形區域中的一者。
如申請專利範圍第2項所述的方法，其中，回應於該內插點是一列內插點、一行內插點或一中心內插點來確定該鄰近區域。
如申請專利範圍第1項所述的方法，其中，使用一第一階梯度濾波器來確定該邊緣特性。
如申請專利範圍第1項所述的方法，其中，使用一修正的索貝爾（Sobel）運算子來確定該邊緣特性。
如申請專利範圍第1項所述的方法，該方法更包括：回應於該邊緣大小來選擇一內插濾波器。
如申請專利範圍第1項所述的方法，該方法更包括：回應於ㄧ邊緣梯度來選擇一內插濾波器。
如申請專利範圍第1項所述的方法，其中，該內插濾波器對位於沿著該邊緣角的一方向上的像素應用較大的權重、並對位於沿著該邊緣梯度角的像素應用較小的權重或不應用權重。
如申請專利範圍第1項所述的方法，其中，該內插濾波器對一最近的鄰近像素和位於沿著該邊緣角的一方向上的像素應用較大的權重、並對位於沿著邊緣梯度角的一方向上的像素應用較小的權重或者不應用權重。
如申請專利範圍第10項所述的方法，其中，該最近的鄰近像素是與該內插點位於同一列或位於同一行中的像素。
一種用於儲存指令的電腦可讀媒體，該指令在由一處理器執行時促使該處理器：
獲取多個邊緣特性，每個該邊緣特性與多個內插點中的各自的一個內插點相關聯，每個該邊緣特性具有一邊緣大小和一邊緣角；
回應於各自的邊緣角，為該多個內插點中的每個內插點選擇一內插濾波器；
使用相應的所選擇的內插濾波器來確定該多個內插點中的每個內插點的一像素值；以及
輸出該像素值。
一種內插裝置，該內插裝置包括：
一邊緣特性計算器，被配置用於為多個內插點中的每個內插點確定一邊緣特性；
一內插濾波器選擇器，被配置用於對該邊緣特性進行操作並回應性地產生針對該多個內插點中的每個內插點的一內插濾波器識別符；以及
一內插濾波器電路，被配置用於回應於該內插濾波器識別符而應用多個內插濾波器中的一個內插濾波器、並輸出針對該多個內插點的多個被內插的值。
一種方法，該方法包括：
回應於一梯度資料而對一影像訊框中的一像素進行內插；以及
回應於該梯度資料，對該影像訊框中的像素進行銳化。
如申請專利範圍第14項所述的方法，其中，該內插包括根據該梯度資料對一鄰近像素進行加權。
如申請專利範圍第14項所述的方法，其中，銳化包括確定與一單獨像素相關聯的一高頻資訊。
如申請專利範圍第14項所述的方法，其中，對具有一梯度大於一臨界值的一像素執行像素銳化。
如申請專利範圍第14項所述的方法，其中，對具有一梯度大於一臨界值的一像素和一相應的鄰近像素執行像素銳化。
如申請專利範圍第14項所述的方法，其中，根據一銳化映射對一像素執行像素銳化。
如申請專利範圍第14項所述的方法，其中，使用一強度參數來執行像素銳化。
如申請專利範圍第20項所述的方法，其中，基於一梯度大小來確定該強度參數。
如申請專利範圍第14項所述的方法，其中，使用一組合濾波器來同時執行像素內插和像素銳化。
一種裝置，該裝置包括：
一內插模組，被配置用於回應於一梯度資料對影像訊框中的一像素進行內插；以及
一銳化濾波器模組，被配置用於回應於該梯度資料來對該影像訊框中的像素進行銳化。
如申請專利範圍第23項所述的裝置，其中，該內插模組和該銳化濾波器模組包括一處理器和用於儲存一指令的一電腦可讀記憶體裝置。
如申請專利範圍第23項所述的裝置，該裝置包括一個或多個數位信號處理濾波器。
一種有形的電腦可讀儲存媒體，該電腦可讀儲存媒體上儲存有一指令，該指令被執行時促使一處理裝置執行如申請專利範圍第14項所述的方法。
一種方法，該方法包括：
確定用於要被內插的一影像像素的一梯度資料；
根據該梯度資料，以使用一鄰近像素來確定一被內插的像素值；
基於梯度資料來識別要被銳化的影像像素；以及
使用至少部分地基於該梯度資料所確定的一濾波器強度來對影像像素進行銳化。
如申請專利範圍第27項所述的方法，其中，部分地基於一像素類別是一中心、一列或一行來執行確定被內插的像素值。
一種方法，該方法包括：
確定用於要被內插的一影像像素的一梯度資料；
選擇性地銳化一鄰近的原始像素；
回應於是一中心、一列或一行像素的像素類別，選擇性地識別還要被內插的一鄰近像素；以及
根據一聯合銳化和內插濾波器以使用鄰近像素來確定一被內插和銳化的像素值。
如申請專利範圍第29項所述的方法，其中，該聯合銳化和內插濾波器基於一邊緣角來執行內插並基於一視窗內的一原始像素來執行銳化。
如申請專利範圍第30項所述的方法，其中，該聯合銳化和內插濾波器更基於該視窗內的一估計的內插點來執行銳化。