[go: up one dir, main page]

TWI677237B - 用於視訊編解碼的雙向模板運動向量微調的方法及裝置 - Google Patents

用於視訊編解碼的雙向模板運動向量微調的方法及裝置 Download PDF

Info

Publication number
TWI677237B
TWI677237B TW106145983A TW106145983A TWI677237B TW I677237 B TWI677237 B TW I677237B TW 106145983 A TW106145983 A TW 106145983A TW 106145983 A TW106145983 A TW 106145983A TW I677237 B TWI677237 B TW I677237B
Authority
TW
Taiwan
Prior art keywords
motion vector
fine
block
tuned
current block
Prior art date
Application number
TW106145983A
Other languages
English (en)
Other versions
TW201832560A (zh
Inventor
陳俊嘉
Chun Chia Chen
徐志瑋
Chih Wei Hsu
莊子德
Tzu Der Chuang
陳慶曄
Ching Yeh Chen
黃毓文
Yu Wen Huang
Original Assignee
聯發科技股份有限公司
Mediatek Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司, Mediatek Inc. filed Critical 聯發科技股份有限公司
Publication of TW201832560A publication Critical patent/TW201832560A/zh
Application granted granted Critical
Publication of TWI677237B publication Critical patent/TWI677237B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了一種使用雙向模板運動向量微調的方法及裝置，以提高編解碼效率或降低複雜度。根據一方法，如果與當前塊相關的尺寸大於一閾值，則將雙向模板運動向量微調應用到當前塊。否則，不將雙向模板運動向量微調應用到當前塊。在另一方法中，基於兩個參考塊，雙向模板運動向量微調被隱性地開啟或關閉。根據又一方法，將在子塊層上執行雙向模板運動向量微調。根據又一方法，基於自高級運動向量預測候選列表的候選選擇的運動向量，雙向模板運動向量微調被執行。根據又一方法，雙向模板運動向量微調使用修改的模板以微調運動向量。

Description

用於視訊編解碼的雙向模板運動向量微調的方法及裝置 【優先權聲明】
本發明要求以下申請的優先權：在2016年12月27日提出的申請號為62/439,203的美國臨時專利申請、在2016年12月27日提出的申請號為62/439,207的美國臨時專利申請、在2017年01月13日提出的申請號為62/445,831的美國臨時專利申請、在2017年02月07日提出的申請號為62/455,625的美國臨時專利申請、在2017年02月21日提出的申請號為62/461,300的美國臨時專利申請、在2017年03月09日提出的申請號為62/469,048的美國臨時專利申請。上述美國臨時專利申請整體以引用方式併入本文中。
本發明涉及使用雙向模板運動向量微調(Bilateral Template MV Refinement，BTMVR)的運動補償，以微調雙向預測塊的運動。具體地，本發明涉及與雙向模板運動向量微調流程相關的不同技術以降低頻寬、降低計算複雜度、提高性能或者其組合。
運動估計/運動補償是很強大的編解碼工具，其已在不同編解碼標準中被使用，例如MPEG-2、H.264和新興的高效視訊編碼(High Efficiency Video Coding，HEVC)標準。在編碼器側處推導出的運動資訊必須被發送至解碼器側，其可能消耗可觀的頻寬。為了提高運動資訊的編解碼效率，預測編解碼當前運動向量(motion vector，MV)的運動向量預測(motion vector prediction，MVP)已被開發。
合併模式和高級運動向量預測(Advanced Motion Vector Prediction，AMVP)模式
對於每個畫面間預測單元(prediction unit，PU)，使用運動估計，以確定一個或兩個MV。為了提高HEVC中的MV編解碼的編解碼效率，HEVC MVP預測性編碼MV。具體地，HEVC支援跳過模式和合併模式以用於MVP編解碼。對於跳過模式和合併模式，基於空間相鄰塊(空間候選)或者時間同位塊(時間候選)的運動資訊，候選集被推導出。當使用跳過模式或者合併模式編解碼PU時，沒有運動資訊被發信。相反，僅所選擇的候選的索引被編解碼。對於跳過模式，殘差信號被設置為0或者不被編解碼。換言之，沒有資訊被發信以用於殘差。每個合併PU重新使用所選擇的候選的MV、預測方向和參考圖像索引。
對於HEVC中的合併模式，如第1圖所示，多達四個空間MV候選自相鄰塊A0、相鄰塊A1、相鄰塊B0和相鄰塊B1被推導出，一個時間MV候選自右下塊TBR或者中心塊TCT推導出。對於時間候選，TBR被先使用。如果TBR不可用， 則TCT被使用。注意的是，如果四個空間MV候選中的任何不可用，則塊B2用於推導出MV候選，作為替換。在四個空間MV候選和一個時間MV候選的推導流程之後，移除冗餘(裁剪)被應用以移除任何冗餘MV候選。如果在移除冗餘(裁剪)之後，可用MV候選的數量小於5，則三種類型的額外候選被推導出，並被添加到候選集(候選列表)中。編碼器基於率失真優化(rate-distortion optimization，RDO)決策，在用於跳過模式或者合併模式的候選集內選擇一個最終候選，並發送索引至解碼器。
由於跳過候選和合併候選的推導相似，所以下文所指的“合併”模式可以對應於“合併”模式以及“跳過”模式，以為方便。
MVP技術也被應用以預測地編解碼運動向量，其稱為高級運動向量預測(Advanced Motion Vector Prediction，AMVP)。當以畫面間AMVP模式編解碼PU時，用可以與運動向量預測子(motion vector predictor，MVP)一起使用以用於推導出MV的發送的運動向量差(motion vector difference，MVD)，執行運動補償預測。為了確定以畫面間AMVP模式的MVP，AMVP方案被使用，以在包括兩個空間MVP和一個時間MVP的AMVP候選集中選擇運動向量預測子。因此，MVP的AMVP索引及相應的MVD需要被編碼並發送以用於AMVP編解碼塊。此外，指定了與每個列表的參考資訊幀索引相關的雙向預測和單預測(即列表0(L0)和/或列表1(L1)))中的預測方向的畫面間預測方向也應被編碼並發送。
當以跳過模式或者合併模式編解碼PU時，除了所選擇的候選的合併索引之外沒有運動資訊被發送，是因為跳過模式和合併模式採用運動推理方法(即MV=MVP+MVD，其中MVD為0)以自所選擇的合併候選/跳過候選獲得運動資訊。
在AMVP中，左MVP基於來自於A0和A1的第一可用MVP被選擇，頂MVP是來自於B0、B1和B2的第一可用MVP，時間MVP是來自於TBR或者TCT的第一可用MVP(如果TBR先被使用，如果TBR不可用，則TCT被使用)。如果左MVP不可用且頂MVP不是已縮放MVP，則如果在B0、B1和B2中存在已縮放MVP，則第二頂MVP可以被推導出。在HEVC中，AMVP的MVP的列表尺寸是2。因此，在兩個空間MVP和一個時間MVP的推導流程之後，僅前兩個MVP可用被包括在MVP列表中。如果在移除冗餘之後，可用MVP的數量小於2，則0個向量候選被添加到候選列表中。
雙向模板MV微調
在一些文獻中，雙向模板MV微調(Bilateral Template MV Refinement，BTMVR)也稱為解碼器側MV微調(Decoder-side MV refinement，DMVR)。例如，在JVET-D0029(Xu Chen,et al.,“Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting：Chengdu,CN,15-21 October 2016,Document：JVET-D0029)中，公開了基於雙向模板匹配的DMVR。BTMVR的流程如第2圖所示，其中塊210是當前塊。用於當前塊210的原始運動向量MV0 220a和原始運動向量MV1 220b被確定。例如，原始運動向量可以自合併候選推導出。BTMVR流程被應用到雙向預測塊。換句話說，MV0指向L0參考圖像270a，MV1指向L1參考圖像270b。L0參考圖像270a中的L0參考塊230a可以自L0參考圖像270a中的當前塊的相應位置210a和MV0 220a定位出。同樣地，L1參考圖像270b中的L1參考塊230b可以自L1參考圖像270b中的當前塊的相應位置210b和MV1 220b定位出。如第2圖所示，模板240透過使用來自於分別由MV0 220a和MV1 220b所指向的兩個參考塊(即230a和230b)的雙向預測而被生成。如第2圖所示，使用此模板作為新的當前塊，並執行運動估計以分別在L0參考圖像270a和L1參考圖像270b中查找更好的匹配塊(即微調參考塊250a和微調參考塊250b)。如第2圖所示，微調MV稱為MV0’ 260a和MV1’ 260b。隨後，微調MV(即MV0’和MV1’)均用於生成當前塊的最終雙向預測預測塊。
在BTMVR(即DMVR)中，其使用兩階段搜索以微調當前塊的MV。對於當前塊，當前MV候選的成本先被評估。在第一階段搜索中，在當前像素位置周圍處，整數像素搜索被執行。八個候選被評估。兩個相鄰圓圈之間或者方形符號和相鄰圓圈之間的水平距離和垂直距離中的至少一個是一個像素。在第一階段中，具有最低成本的最佳候選被選擇為最佳MV候選。在第二階段中，在第一階段中的最佳MV候選周圍處，二分之一像素方形搜索被執行。具有最低成本的最佳候選被選擇為最終運動補償的最終MV。
當底層視訊資料對應于彩色視訊時，BTMVR流程也可以被應用到顏色分量。本領域所知的是，彩色視訊可以是不同顏色格式，例如具有諸如4：4：4,4：2：2和4：2：0的不同顏色採樣格式的YUV顏色分量或者YCrCb顏色分量。例如，當顏色視訊處於YCrCb420格式時，Cr色度分量和Cb色度分量具有Y亮度分量的二分之一垂直解析度和二分之一水平解析度。在運動向量用於色度分量之前，基於Y分量推導出的運動向量需要被縮放。
當BTMVR流程被應用到彩色視訊時，在亮度(即Y)像素域中完成雙向模板生成。對於當前PU的色度編碼/解碼，其直接使用具有基於顏色採樣的色度分量的色度縮放的亮度分量的微調L0 MV和微調L1 MV：Cb的MV=Y的微調MV/C_scal_Cb
Cr的MV=Y的微調MV/C_scal_Cr
在上述方程式中，C_scal_Cb和C_scal_Cr分別對應於Cr和Cb的色度縮放因數。在4：2：0顏色子採樣的情況中，C_scal_Cb和C_scal_Cr均等於2。
基於樣式MV推導(Pattern-based MV Derivation，PMVD)
第3圖示出了幀率向上轉換(Frame Rate Up Conversion，FRUC)雙向匹配模式的示例，其中基於兩個參考圖像，當前塊310的運動資訊被推導出。透過在兩個不同參考圖像(即Ref0和Ref1)中沿著當前塊的運動軌跡340查找兩個塊(即320和330)之間的最佳匹配，當前塊的運動資訊被推導出。在連續運動軌跡的假設下，指向兩個參考塊的與Ref0相關的運動向量MV0和與Ref1相關的運動向量MV1將與當前圖像(即Cur pic)和兩個參考圖像Ref0和Ref1之間的時間距離，即TD0和TD1成比例。
第4圖示出了模板匹配FRUC模式的示例。當前圖像(即Cur pic)中的當前塊410的相鄰區域(即420a和420b)用作模板，以與參考圖像(即第4圖中的Ref0)中的相應模板(即430a和430b)匹配。模板420a/420b與模板430a/430b之間的最佳匹配將確定解碼器側推導運動向量440。雖然第4圖中顯示了Ref0，但是Ref1也可以用作參考圖像。
根據VCEG-AZ07，當merge_flag或者skip_flag為真時，FRUC_mrg_flag被發信。如果FRUC_mrg_flag為1，則FRUC_merge_mode被發信以表示雙向匹配合併模式或者模板匹配合併模式被選擇。如果FRUC_mrg_flag為0，則意味著在這種情況中常規合併模式被使用，並且合併索引被發信。在視訊編解碼中，為了提高編解碼效率，使用運動向量預測，塊的運動向量可以被預測，其中候選列表被生成。合併候選列表可以用於以合併模式編解碼塊。當合併模式用於編解碼塊時，此塊的運動資訊(例如，運動向量)可以由合併MV列表中的候選MV之一表示。因此，不是直接發送塊的運動資訊，而是合併索引被發送到解碼器側。解碼器保持相同的合併列表，並使用合併索引以檢測出由合併索引發信的合併候選。通常合併候選列表包括少數量的候選，並且發送合併候選比發送運動資訊有效得多。當以合併模式編解碼塊時，透過發信合併索引而 不是顯性發送，運動資訊與相鄰塊的運動資訊“合併”。然而，預測殘差仍被發送。在預測殘差為0或者非常小的情況中，預測殘差被“跳過”(即跳過模式)，並且塊由具有合併索引的跳過模式編解碼，以識別出合併列表中的合併MV。
雖然術語FRUC指的是幀率向上轉換的運動向量推導，但底層技術用於解碼器以推導出一個或複數個合併MV候選，而無需顯性發送運動資訊。因此，在本發明中，FRUC也稱為解碼器推導運動資訊。由於模板匹配方法是基於樣式MV推導技術，所以在本發明中，FRUC的模板匹配方法也稱為基於樣式MV推導(Pattern-based MV Derivation，PMVD)。
在解碼器側MV推導方法中，透過掃描所有參考圖像中的所有MV，稱為時間推導MVP的新時間MVP被推導出。為了推導出LIST_0時間推導MVP，對於LIST_0參考圖像中的每個LIST_0MV，此MV被縮放以指向當前幀。當前幀中由此縮放MV指向的4x4塊是目標當前塊。此MV還被縮放以指向用於目標當前塊的LIST_0中refIdx等於0的參考圖像。第5A圖和第5B圖示出了分別推導LIST_0和LIST_1的時間推導MVP。在第5A圖和第5B圖中，每個小正方形塊對應於4x4塊。時間推導MVP流程掃描所有參考圖像中的所有4x4塊中的所有MV，以生成當前幀的時間推導LIST_0 MVP和時間推導LIST_1 MVP。例如，在第5A圖中，塊510、塊512和塊514分別對應於當前圖像(即Cur.pic)、具有索引等於0(即refidx=0)的LIST_0參考圖像和具有索引等於1(即refidx=1)的LIST_0參考圖像的4x4塊。具有索引等於1的 LIST_0參考圖像中的兩個塊的運動向量520和運動向量530是已知的。隨後，透過分別縮放運動向量520和運動向量530，時間推導MVP 522和時間推導MVP 532可以被推導出。隨後，縮放MVP被分配到相應的塊。同樣地，在第5B圖中，塊540、塊542和塊544分別對應於當前圖像(即Cur.pic)、具有索引等於0(即refidx=0)的LIST_1參考圖像和具有索引等於1(即refidx=1)的LIST_1參考圖像的4x4塊。具有索引等於1的LIST_1參考圖像中的兩個塊的運動向量550和運動向量560是已知的。隨後，透過分別縮放運動向量550和運動向量560，時間推導MVP 552和時間推導MVP 562可以被推導出。
對於雙向匹配合併模式和模板匹配合併模式，兩階段匹配被使用。第一階段是PU層匹配，第二階段是子PU層匹配。在PU層匹配中，LIST_0和LIST_1中的複數個原始MV分別被選擇。這些MV包括來自於合併候選(即常規合併候選，例如HEVC標準中所指定的這些)的MV和來自於時間推導MVP的MV。兩個不同起始MV集被生成以用於兩個列表。對於一個列表中的每個MV，透過包括此MV及透過將此MV縮放到另一列表而推導出的鏡像MV，一MV對被生成。對於每個MV對，透過使用此MV對，兩個參考塊被補償。這兩個塊的絕對差之和(sum of absolutely differences，SAD)被計算。具有最小SAD的MV對被選擇為最佳MV對。
在最佳MV被推導以用於PU之後，菱形搜索(diamond search)被執行以微調MV對。微調精度為1/8像素。微調搜索範圍被限制在±1像素之內。最終MV對是PU層推 導MV對。菱形搜索是快速塊匹配運動估計演算法，其在視訊編解碼的領域中是眾所周知的。因此，菱形搜索的細節此處不再重複。
對於第二階段的子PU層搜索，當前PU被分割成子PU。子PU的深度(例如，3)被發信在序列參數集(sequence parameter set，SPS)中。最小子PU尺寸是4x4塊。對於每個子PU，LIST_0和LIST_1中的複數個起始MV被選擇，其包括PU層推導MV的MV、0MV、當前子PU和右下塊的HEVC同位TMVP、當前子PU的時間推導MVP以及左側PU/子PU和上方PU/子PU。透過使用如PU層搜索相似的機制，子PU的最佳MV對被確定。菱形搜索被執行，以微調MV對。此子塊的運動補償被執行，以生成用於此子PU的預測子。
對於模板匹配，上方4列和左側4行的重構像素用於形成模板。模板匹配被執行，以查找最佳匹配模板及其相應MV。兩階段匹配也用於模板匹配。在PU層匹配中，LIST_0和LIST_1中的複數個原始MV分別被選擇。這些MV包括來自於合併候選(即常規合併候選，例如HEVC標準中所指定的這些)的MV和來自於時間推導MVP的MV。兩個不同起始MV集被生成以用於兩個列表。對於一個列表中的每個MV，具有此MV的模板的SAD成本被計算。具有最小成本的MV是最佳MV。隨後，菱形搜索被執行，以微調MV。微調精度為1/8像素。微調搜索範圍被限制在±1像素之內。最終MV是PU層推導MV。LIST_0和LIST_1中的MV單獨被生成。
對於第二階段的子PU層搜索，當前PU被分割成 子PU。子PU的深度(例如，3)被發信在序列參數集中。最小子PU尺寸是4x4塊。對於位於左側PU分界線或者頂部PU分界線處的每個PU，LIST_0和LIST_1中的複數個起始MV被選擇，其包括PU層推導MV的MV、0 MV、當前子PU和右下塊的HEVC同位TMVP、當前子PU的時間推導MVP以及左側PU/子PU和上方PU/子PU的MV。透過使用如PU層搜索相似的機制，子PU的最佳MV對被確定。菱形搜索被執行，以微調MV對。此子塊的運動補償被執行，以生成用於此子PU的預測子。對於不位於左側PU分界線或者頂部PU分界線處的這些PU，第二階段的子PU層搜索不被使用，並且相應MV被設置成等於第一階段中的MV。
在此解碼器MV推導方法中，模板匹配也用於生成畫面間模式編解碼的MVP。當參考圖像被選擇時，模板匹配被執行以在所選擇的參考圖像上查找最佳模板。其相應MV是推導MVP。此MVP被插入到AMVP中的第一位置處。AMVP表示高級MV預測，其中使用候選列表，當前MV被預測編解碼。當前MV與候選列表中的所選擇的MV候選之間的MV差被編解碼。
相鄰推導預測偏移(Neighbouring-derived Prediction Offset，NPO)
NPO是一種最近發展的新編解碼工具，以提高運動補償預測子加預測偏移。用此偏移，幀之間的不同照明條件(lighting condition)可以被考慮。使用相鄰重構像素(neighbouring reconstructed pixel，NRP)和拓展運動補償預 測子(extended motion compensated predictor，EMCP)，此偏移被推導出。
第6圖顯示了推導偏移的一個示例性實施方式。為NRP和EMCP所選擇的樣式是分別位於當前PU 610和參考塊620的左側的N行(即612和622)以及頂端的M列(即614和624)，其中N和M均是預設值。雖然常規NRP和EMCP在本示例中示出，但是只要NRP和EMCP使用相同的尺寸和形狀，樣式可以是任何尺寸和形狀的，並且可以根據諸如PU尺寸或者編碼單元(coding unit，CU)尺寸的任何編碼參數被確定。此偏移被計算為NRP的平均像素值減去EMCP的平均像素值。此推導出的偏移將被應用到整個PU以及運動補償預測子。
第7圖顯示了推導偏移的另一示例性實施方式。首先，對於相鄰位置(即當前塊730的左側分界線和頂端分界線上的左側像素710和上方像素720)中的每個，單個偏移被計算為NRP中相應像素減去EMCP中的像素。如第7圖所示，是上方相鄰位置720的6、4、2和-2和左側相鄰位置710的6、6、6和6的示例性偏移值。
在相鄰位置的偏移值被獲得之後，如示意740所示，當前PU 730中的每個位置的推導偏移將被推導為來自於左側位置和上方位置的偏移的平均。例如，位於當前PU的左上角731的第一位置，6的偏移將被生成，透過平均來自於左側和上方的偏移(即(6+6)/2=6)。對於右側的下一位置732，偏移被推導為5(即(6+4)/2=5)。根據光柵掃描順序，剩餘位 置的偏移值可以被處理並生成。由於相鄰像素與邊界像素高度相關，所以偏移也是。根據NPO，偏移可以被適應於像素位置。推導偏移將在PU上適應，並分別與運動補償預測子一起被應用到每個PU。
局部照明補償(Local Illumination Compensation，LIC)
LIC是一種使用當前塊和參考塊的相鄰樣本執行畫面間預測的方法。其是基於使用縮放因數a和偏移b的線性樣式。透過參考當前塊和參考塊的相鄰樣本，本方法推導出縮放因數a和偏移b。另外，LIC流程可以被使能或者禁能以適應性地用於每個CU。
關於LIC的更多細節可以在JVET-C1001((Xu Chen,et al.,“Algorithm Description of Joint Exploration Test Model 3”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting：Geneva,CH,26 May-1 June 2016,Document：JVET-C1001)中找到。
高級運動向量解析度(Advanced Motion Vector Resolution，AMVR)
為了提高編解碼增益，AMVR最近也已被引進。AMVR可以適應性地切換MVD的解析度。當前MV與PU的MV預測子之間的MVD可以用四分之一像素解析度或者整數像素解析度進行編解碼。切換被控制在編碼單元層，整數MVD解析度標誌(有條件地)被發信。
關於AMVR的更多細節可以在JVET-C1001((Xu Chen,et al.,“Algorithm Description of Joint Exploration Test Model 3”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting：Geneva,CH,26 May-1 June 2016,Document：JVET-C1001)中被找到。
在下面發明中，公開了各種技術以提高編解碼效率或者降低與雙向模板MV微調相關的複雜度。
本發明公開了一種使用雙向模板運動向量微調(即解碼器側運動向量微調)的方法及裝置，以提高編解碼效率或降低複雜度。根據一方法，如果與當前塊相關的尺寸大於一閾值，則將雙向模板運動向量微調應用到當前塊。否則，不將雙向模板運動向量微調應用到當前塊。與當前塊相關的尺寸可以對應於當前塊的塊尺寸。與當前塊相關的尺寸可以對應於當前塊的塊寬度或塊高度。
在另一方法中，基於參考塊0和參考塊1，推導出關於是否將雙向模板運動向量微調應用到當前塊的決策。在一個實施例中，決策基於參考塊0與參考塊1之間的差的測量被推導出。例如，參考塊0與參考塊1之間的差的測量被計算為參考塊0與參考塊1之間的絕對差之和。在這種情況中，若參考塊0與參考塊1之間的差的測量小於閾值，則決策表示將雙向模板運動向量微調應用到當前塊。閾值被允許自一個預測單元到另一預測單元、自一個片段到另一片段、或者自一個圖像到另一圖像改變。閾值可以對應於預定義固定值。在另一實施例中，閾值根據當前圖像的位元深度被確定。在又一實施例 中，當前塊對應於一個預測單元，閾值根據預測單元尺寸被確定。閾值可以被發信在序列層、圖像層、片段層或者預測單元層。
根據又一方法，在子塊層處使用雙向模板運動向量微調。使用相同的子塊分割，當前塊、參考塊0、參考塊1和當前模板均被分割成子塊。指向列表0參考圖像中的微調參考子塊0的微調子塊運動向量0和指向列表1參考圖像中的微調子參考塊1的微調子塊運動向量1。微調子塊運動向量0產生微調參考子塊0與一個相應子模板之間的最小第一模板成本，以及微調子塊運動向量1產生微調參考子塊1與列表1參考圖像中的一個相應子模板之間的最小第二模板成本。透過將微調參考子塊0與微調參考子塊1進行組合，生成最終子塊預測子以用於當前子塊。使用最終預測子，對當前塊進行預測編碼或者解碼。一標誌可以被發信在序列層、圖像層、片段層或者預測單元層，以表示子塊雙向模板運動向量微調是否被使能。相同的子塊分割將每個塊分割成具有子塊寬度和子塊高度的複數個子塊，並且與子塊寬度和子塊高度相關的資訊被發信在序列層、圖像層、片段層或者預測單元層。
根據再一方法，對應於雙向預測模式中的高級運動向量預測候選的運動向量用作雙向模板運動向量微調的原始運動向量。高級運動向量預測候選被確定作為當前塊的運動向量0和運動向量1，其中運動向量0指向列表0參考圖像中的參考塊0，運動向量1指向列表1參考圖像中的參考塊1。根據雙向模板運動向量微調流程，運動向量0和運動向量1被 微調成微調運動向量0和微調運動向量1。隨後，使用與微調的微調運動向量0和微調的微調運動向量1相關的資訊，對當前塊進行處理。例如，可以透過將微調運動向量0所指向的微調參考塊0和微調運動向量1所指向的微調參考塊1進行組合，生成當前塊的最終預測子。使用最終預測子，對當前塊進行預測編碼或者解碼。一標誌可以被發信在序列層、圖像層、片段層或者預測單元層中，以表示是否將雙向模板運動向量微調流程應用到來自於高級運動向量預測候選的運動向量，以微調運動向量。根據運動向量差解析度，可以確定是否使用雙向模板運動向量微調流程。例如，如果運動向量差解析度對應於分數像素解析度，則雙向模板運動向量微調流程被禁能。
根據再一方法，使用第二參考列表中的第二參考圖像中的第二參考塊作為模板，將指向第一列表的第一參考圖像中的第一參考塊的運動向量進行微調。同理，使用第一參考列表中的第一參考圖像中的第一參考塊或者第一微調參考塊作為模板，將指向第二列表的第二參考圖像中的第二參考塊的運動向量進行微調。
根據再一方法，使用至少兩個運動向量對，將雙向模板運動向量微調應用到當前塊，以推導出原始運動向量對或者最終運動向量對。若至少兩個運動向量對用於推導出原始運動向量對，則自至少兩個運動向量對確定指向列表0參考圖像中的參考塊0的原始運動向量0和指向列表1參考圖像中的參考塊1的原始運動向量1，其中來自於至少兩個運動向量對且實現最低成本的一個運動向量對被選擇為原始運動向量0和 原始運動向量1。若至少兩個運動向量對用於推導出最終運動向量對，則指向微調參考塊的微調運動向量被推導出。參考塊和微調參考塊被組合以形成當前塊的最終預測子。
210、320、330、510、512、514、540、542、544、1010‧‧‧塊
210a、210b‧‧‧相應位置
220a、1020‧‧‧MV0
220b‧‧‧MV1
230a‧‧‧L0參考塊
230b‧‧‧L1參考塊
240、430a、430b、1040‧‧‧模板
250a、250b‧‧‧微調參考塊
260a‧‧‧MV0’
260b‧‧‧MV1’
270a、1070‧‧‧L0參考圖像
270b‧‧‧L1參考圖像
310、410‧‧‧當前塊
340‧‧‧運動軌跡
420a、420b‧‧‧相鄰區域
440‧‧‧解碼器側推導運動向量
520、530、550、560‧‧‧運動向量
522、532、552、562‧‧‧時間推導MVP
610‧‧‧當前PU
612、622‧‧‧左側的N行
614、624‧‧‧頂端的M列
620‧‧‧參考塊
710‧‧‧左側像素
720‧‧‧上方像素
730‧‧‧當前PU
731‧‧‧左上角
732‧‧‧位置
740‧‧‧示意
810、910‧‧‧括弧對
820、920、930、1310‧‧‧語句
1010a‧‧‧虛線塊
1012、1012a、1015、1042‧‧‧子塊
1030‧‧‧參考子塊
1045‧‧‧子PU
1050‧‧‧微調子PU
1060‧‧‧微調L0 MV
1110‧‧‧括弧對
1210‧‧‧cur_diff
1320、1330‧‧‧大括弧
1410‧‧‧AMVP預測子
1420‧‧‧MVD
1430‧‧‧雙向模板MV微調流程
1510‧‧‧域變換程式
1520‧‧‧已變換模板
1610~1680‧‧‧步驟
1710~1790‧‧‧步驟
1810~1870‧‧‧步驟
1910~1950‧‧‧步驟
2010~2060‧‧‧步驟
第1圖是根據HEVC用於推導出合併候選的空間相鄰塊和時間相鄰塊。
第2圖是雙向模板MV微調(即DMVR)流程的示例。
第3圖是FRUC雙向匹配模式的示例，其中當前塊的運動資訊基於兩個參考圖像被推導出。
第4圖是模板匹配FRUC模式的示例。
第5A圖和第5B圖是分別推導出List_0和List_1的時間推導MVP的示例。
第6圖是推導用於NPO的偏移的一示例性實施方式。
第7圖是推導偏移的另一示例性實施方式，其中上方像素和左側像素被平均以形成當前像素的預測子。
第8圖是實施迭代雙向模板MV微調流程的虛擬碼示例。
第9圖是實施具有結束標準的迭代雙向模板MV微調流程的虛擬碼示例。
第10圖是基於子PU的雙向模板MV微調的具體操作的示例。
第11圖是實施子PU的雙向模板MV微調流程的示例性虛擬碼。
第12圖是基於隱性切換的雙向模板MV微調的具體操作 的示例。
第13圖是實施基於隱性切換的雙向模板MV微調流程的示例性虛擬碼。
第14圖是使用AMVP的雙向模板MV微調的系統。
第15圖是實施用於LIC或者NPO的雙向模板MV微調流程的示例性虛擬碼。
第16圖是根據本發明實施例的使用基於塊尺寸的雙向模板MV微調的視訊編解碼系統的示例性流程圖。
第17圖是根據本發明實施例的使用隱性切換的雙向模板MV微調的視訊編解碼系統的示例性流程圖。
第18圖是根據本發明實施例的使用基於子塊的雙向模板MV微調的視訊編解碼系統的示例性流程圖。
第19圖是根據本發明實施例的使用用於AMVP的雙向模板MV微調的視訊編解碼系統的示例性流程圖。
第20圖是根據本發明實施例的使用模板修改的雙向模板MV微調的視訊編解碼系統的示例性流程圖。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視權利要求書所界定為准。
如前面所述，雙向模板MV微調技術最近已被發展。在本發明中，公開了技術以提高編解碼效率、降低系統頻寬、降低計算複雜度或者其組合以用於雙向模板MV微調。
具有固定數量迭代的迭代雙向模板MV微調
根據本方法，公開了迭代雙向模板MV微調技術以提高編解碼效率。迭代雙向模板MV微調的主要思想是進一步微調運動資訊，從而提高編解碼效率。在一個實施例中，雙向模板MV微調可以被迭代N次。對於第i次迭代，其使用第(i-1)次迭代的微調MV作為第i次迭代的原始MV。
下面將具體描述本方法。本流程可以按照5個步驟進行實施。在步驟1中，對於當前塊，確定原始MV_L0(即列表0 MV)和原始MV_L1(即列表1 MV)，其中MV_L0和MV_L1是當前PU的當前MV。例如，原始MV_L0(即列表0 MV)和原始MV_L1(即列表1 MV)來自於當前合併候選。然而，根據本發明的原始MV的選擇並不限於本示例。因此，當前塊的MV_L0所指向的L0參考塊和MV_L1所指向的L1參考塊可以被定位出。在步驟2中，基於原始MV，執行雙向模板MV微調流程。雙向模板MV微調流程將生成微調MV，其稱為refine_MV_L0和refine_MV_L1。在步驟3中，透過設置MV_L0=refine_MV_L0和MV_L1=refine_MV_L1，新的微調MV用作下一迭代的原始MV。在步驟4中，根據新MV_L0和新MV_L1，定位出新L0參考塊和L1參考塊。在步驟5中，如果迭代的當前數量(標記為i)是N，其中N是總迭代數量，則迭代雙向模板MV微調流程。否則(即i<N)，透過設置i=i+1，將索引i進行增加，並且本流程繼續到步驟2以用於下一迭代。
在另一實施例中，迭代的數量是可調節的。例如，標誌可以被發信以開啟或關閉以用於迭代雙向模板MV微調方 法。單元的最小尺寸的發信可以被單獨編解碼在序列層、圖像層、片段層或者PU層中。用於迭代雙向模板MV微調方法的迭代的總數量也可以被發信。
如第8圖所示，是實施迭代雙向模板MV微調流程的虛擬碼的示例。在第8圖中，在括弧對810內，一輪的雙向模板MV微調流程被執行。語句820(即“for(i=1；i<=N；i++”)將使得雙向模板MV微調流程將被執行N次。
具有結束標準的迭代雙向模板MV微調(Iterative Bilateral Template MV Refinement with a Termination Criterion)
為了提高編解碼效率和計算效率，公開了使用隱性數量的迭代以用於迭代雙向模板MV微調的方法。在先前的方法中，迭代的數量是固定的，或者被發信在位元流中。根據當前方法，公開了隱性確定迭代數量的方法。隱性流程可以是適應性的，且內容感知的流程。本方法背後的思想是，在用於迭代雙向模板MV微調流程的每次迭代期間，“微調差”(例如，MV或者像素值)被計算。“微調差”可以被定義為原始值(例如，MV或者像素值)與微調值之間的差。如果微調差(例如，MV微調差或者像素值微調差)小於閾值，則迭代流程將被結束。為了具體描述本方法，變數Target_context_value被定義為“微調差”的值，變數Threshold被定義為此閾值以用於結束迭代。如第9圖所示，是用於實施本方法的虛擬碼示例。在第9圖中，在括弧對910內，一輪雙向模板MV微調流程被執行。語句920(即“if(Target_context_value<Threshold)”)對應於測試結束條件。如果測試條件是肯定的，則如語句930所示，其觸發退出處理環。
本發明的一些實施例如下所示。在實施例1中，如果微調之後的運動向量差小於閾值，則迭代將被結束。在實施例2中，如果當前參考塊與微調參考塊之間的像素差小於一些閾值，則迭代將被結束。在實施例3中，如果運動向量差與像素差的一些組合小於閾值，則迭代將被結束。
實施例1
實施例1的主要概念是，如果微調之後的運動向量差小於閾值，則迭代將被結束。具體演算法的示例可以如第9圖所示，其中Target_context_value=L0_MV_difference+L1_MV_difference。例如，L0_MV_difference可以是原始L0 MV與微調MV之間的差。同樣地，L1 MV差可以被計算出。根據下面方程式，L0_MV_difference和L1_MV_difference可以被計算出：L0_MV_difference=abs(“原始L0 MV x部分”-“微調L0 MV x部分”)+abs(“原始L0 MV y部分”-“微調L0 MV y部分”)
L1_MV_difference=abs(“原始L1 MV x部分”-“微調L1 MV x部分”)+abs(“原始L1 MV y部分”-“微調L1 MV y部分”)
在上述方程式中，abs()是絕對值。"x部分"是MV的水平部分。"y部分"是MV的垂直部分。
實施例2
實施例2的主要概念是，如果當前參考塊與微調參考塊之間的像素差小於一些閾值，則迭代將被結束。具體演算法可以如第9圖所示，其中Target_context_value=L0_block_difference+L1_block_difference。例如，L0_block_difference可以被計算為原始L0參考塊與L0微調塊之間的差。同理，L1_block_difference可以被計算出。根據如下方程式，L0_block_difference和L1_block_difference可以被計算出：L0_block_difference=L0參考塊與L0微調塊之間的SAD
L1_block_difference=L1參考塊與L1微調塊之間的SAD
在上述方程式中，SAD對應於絕對差之和，L0參考塊和L0微調塊的定義如第9圖所示。
實施例3
實施例3背後的主要概念是，如果運動向量差與像素差的一些組合小於閾值，則迭代將被結束。實施本實施例的具體演算法的示例可以如第9圖所示，其中Target_context_value=a*(L0_MV_difference+L1_MV_difference)+b*(L0_block_difference+L1_block_difference)，其中a,b是加權因數。
基於子PU的雙向模板MV微調
為了提高編解碼效率，本發明公開了基於子PU的雙向模板MV微調。本方法背後的主要思路是，將PU分割成子PU，隨後在子PU層中執行雙向模板MV微調。本方法的具體操作的示例可以如第10圖所示，其中僅與L0部分相關的操 作被示出。相似地，與L1部分相關的操作可以被推導出。第10圖中的示例性流程包括4個步驟。在第10圖中，塊1010是當前塊。用於當前塊1010的原始運動向量MV0 1020和原始運動向量MV1(未示出)被確定，其中MV0指向L0參考圖像1070中的L0參考塊，MV1指向L1參考圖像中的L1參考塊(未示出)。在步驟1中，L0參考塊和L1參考塊被組合以生成雙向模板1040。在步驟2中，L0參考塊和L1參考塊被分割成子PU。同樣，雙向模板1040被分割成子PU。當前PU(尺寸為MxN)可以被分割成(M/S)*(N/T)個子PU，每個子PU的尺寸為SxT，其中M可被S整除，N可被T整除。在第10圖中，本示例被示出以用於每個塊，其正被分割成2x2子塊。當前塊1010被分割成子塊1015。當前塊的左上子塊1012和模板的左上子塊1042被示出。當前塊1010和子塊1012在L0參考圖像中的相應位置由虛線塊1010a和子塊1012a表示。同樣地，L0參考塊的左上參考子塊1030被示出。在步驟3中，對於子PU j(即j=1~(M/S)*(N/T))，子PU層的雙向模板MV微調被執行，其中在子PU層處，雙向模板MV微調被執行。在第10圖中，模板MV微調流程被示出以用於位於當前PU的左上角處的子PU 1012。雙向模板1040(即PU)被分割成子PU 1045，其中雙向模板1040(即PU)的左上角子PU 1042(如粗線盒所示)用於生成微調子PU參考塊1050。當前子PU 1012的微調L0 MV 1060可以自當前子PU 1012a和微調子PU 1050的位置確定。同理，L1參考圖像中的當前子PU的微調L1 MV可以被推導出。在步驟4中，微調子PU L0 MV和微調子PU L1 MV均用作MV以用於後續階段流程(例如，運動補償或者雙向光流(Bidirectional Optical flow，BIO))。新的微調子PU L0 MV和微調子PU L1 MV可以用作新的預測子以用於後續階段(例如，運動補償或者BIO)。
在上述流程的步驟3中，子流程需要子PU雙向模板作為輸入。假設其現在正在處理子PU j。隨後，其使用子PU雙向模板以在L0參考圖像中“子PU j的L0參考子塊”周圍用搜索範圍P2xQ2執行運動估計搜索。L0的微調MV被推導為具有最小運動估計成本(例如，最小絕對差之和，SAD)的MV。隨後，子PU雙向模板用於在L1參考圖像中“子PU j的L1參考子塊”周圍用P2xQ2的搜索範圍執行運動估計搜索。L1的微調MV被推導為具有最小運動估計成本(例如，最小絕對差之和，SAD)的MV。最後，此子PU雙向模板MV微調流程的輸出是用於子PU j的L0的微調MV和L1的微調MV。
實施子PU雙向模板MV微調流程的示例性虛擬碼如第11圖所示，其中如括弧對1110內的代碼所示，子PU雙向模板MV微調流程被執行以用於每個子PU。
此外，根據一本發明實施例，開啟或者關閉子PU雙向模板MV微調流程的標誌可以被發信。例如，標誌(例如"sub_pu_mv_refine_en")可以被發信以表示“子PU雙向模板MV微調”是否被使能(值1：使能，值0禁能並返回到原始雙向模板MV微調模式)。當不存在時，sub_pu_mv_refine_en的值被推導為0。標誌sub_pu_mv_refine_en也可以被單獨發信在序列層、圖像層、片段層或者PU層中。另外，根據本發明一實施例，子PU尺寸是可調節的。本發明提出了發信一個或複數個變數(例如，"sub_pu_mv_refine_width"和"sub_pu_mv_refine_height")以表示子PU寬度和高度以用於所提出的方法。一個或複數個變數也可以被單獨發信在序列層、圖像層、片段層或者PU層中。
基於CU/PU尺寸的雙向模板MV微調
雙向模板MV微調要求額外的參考像素以執行MV微調，其將增加最差情況頻寬。為了降低最差情況頻寬，本發明提出了在CU/PU面積小於(或等於)閾值時禁能雙向模板MV微調。例如，如果CU/PU尺寸小於並等於64，則雙向模板MV微調被禁能。在另一實施例中，當CU/PU寬度小於(或等於)閾值M，和/或CU/PU高度小於(或等於)閾值N時，雙向模板MV微調被禁能。例如，如果CU/PU寬度小於並等於8，且高度小於並等於8，則雙向模板MV微調被禁能。
用於彩色視訊的雙向模板MV微調
為了提高編解碼效率，根據本方法的用於彩色視訊的雙向模板MV微調使用亮度分量的原始MV(即微調之前)，以用於色度分量的MV，而不是使用亮度分量的微調MV。當雙向模板MV微調的流程被完成時，Y MV和CbCr MV被推導為：新Y L0 MV=微調Y L0 MV
新Y L1 MV=微調Y L1 MV
新CbCr L0 MV=原始Y L0 MV/C_scal_CbCr
新CbCr L1 MV=原始Y L1 MV/C_scal_CbCr
在上述方程式中，C_scal_CbCr是色度縮放因數。由於Cr和Cb總是使用相同的子採樣格式，所以相同的色度縮放因數用於此兩個色度分量。
用於彩色視訊的雙向模板MV微調_色度分量的單獨MV微調
在另一方法中，不是使用亮度分量(即Y)的微調MV，而是Cb分量和Cr分量推導出其本身的MV微調。因此，本發明公開了基於色度的雙向模板MV微調流程，其從原始MV開始：CbCr原始L0 MV=Y原始L0 MV/C_scal_CbCr
CbCr原始L1 MV=Y原始L1 MV/C_scal_CbCr
詳細的基於色度的流程流與基於亮度的流程流相同，其如第2圖所示。在色度域中的雙向模板MV微調期間，L0參考圖像/L1參考圖像(即270a/270b)、原始L0/L1 MV(即220a/220b)、L0參考塊/L1參考塊(即210a/210b)、雙向模板(即240)均被推導出，以用於色度域中的色度分量。換句話說，L0參考圖像是色度L0參考圖像，原始L0 MV=Y原始L0 MV/C_scal_CbCr，L0參考塊是色度原始L0 MV所指向的色度參考塊，雙向模板由色度L0參考塊和色度L1參考塊生成。同理，用於L1部分的上述推導可以被執行。最後，在色度MV微調的處理之後，色度微調L0 MV和色度微調L1 MV被推導出。由L0的微調MV所指向的色度參考塊(即250a)和由L1的微調MV所指向的色度參考塊(即250b)均是最終色度參考塊，以用於後續階段(例如運動補償)。
基於隱性切換的雙向模板MV微調
為了提高編解碼效率，本發明公開了基於隱性切換的雙向模板MV微調。下面描述實施本方法的示例。在步驟1中，如第12圖所示，L0參考塊和L1參考塊被獲得，其中，這些推導與第2圖中的推導相似。在步驟2中，L0參考塊與L1參考塊之間的差，其被標記為cur_diff 1210被計算出。不同的測量可以用於L0參考塊和L1參考塊之間的差。例如，SAD可以被使用。在步驟3中，閾值被確定以用於當前PU。此閾值可以自PU到PU、自片段到片段或者自圖像到圖像改變。在步驟7中，cur_diff與此閾值進行比較。如果cur_diff小於此閾值，則雙向模板MV微調被執行。在此情況中，微調MV用作最終MV以用於PU。然而，如果cur_diff大於或等於此閾值，則雙向模板MV微調被關閉以用於PU。在這種情況中，原始MV用作PU的最終MV。示出此基於切換的方法的示例性虛擬碼如第13圖所示，其中在語句1310中，“if(difference<threshold)”被檢測，且“difference”對應於上述的“cur_diff”。如果此條件是肯定的(即(difference<threshold))，則對應於由大括弧1320所示的雙向模板MV微調流程的步驟被執行。否則(即(difference
Figure TWI677237B_D0001
threshold))，由大括弧1330所示的對應於PU的原始MV的步驟被執行。
在一個實施例中，此閾值可以是常數，並被預定義在視訊編解碼系統中。在另一實施例中，用於所提出的基於隱性切換的方法的閾值可以逐個PU、逐個片段或者逐個圖像改變。
在又一實施例中，此閾值依存於底層視訊資料的位元深度。例如，底層視訊資料可以具有8位元、10位元或者12位元深度，用於8位元深度資料的閾值是threshold_8bit，用於10位元深度的閾值可以被推導為threshold_8bit * 4，用於12位元深度的閾值可以被推導為threshold_8bit * 16。在又一實施例中，此閾值取決於PU尺寸。例如，一個閾值可以被選擇以用於每個PU尺寸。因此，如果存在K個不同的PU尺寸，則存在K個閾值。
在再一實施例中，此閾值被發信在用於基於隱性切換方法的視訊位元流中。此閾值可以被發信在序列層、圖像層、片段層或者PU層中。
用於AMVP的雙向模板MV微調
為了提高編解碼效率，本發明公開了基於AMVP的雙向模板MV微調。基本思想如第14圖所示。畫面間AMVP模式生成AMVP預測子1410和MVD 1420。AMVP預測子和MVD被組合以形成最終MV，以用於後續階段(例如，運動補償(motion compensation，MC))。根據本方法，雙向模板MV微調流程1430被應用到畫面間AMVP模式的MV。微調MV被使用在後續階段中(例如，MC)。根據本方法，第2圖中的原始L0 MV和原始L1 MV變成畫面間AMVP模式的MV，而用於傳統方法的第2圖中的原始L0 MV和原始L1 MV對應於合併模式/跳過模式的MV。
在一個實施例中，標誌可以被發信以開啟或關閉基於AMVP的雙向模板MV微調。例如，標誌(例如， "amvp_refine_en")可以被發信以表示本方法是否被使能(值1：使能，值0：禁能)。當不存在時，amvp_refine_en的值被推斷為0。標誌amvp_refine_en也可以被發信在序列層、圖像層、片段層或者PU層。
此外，在基於AMVP的雙向模板MV微調中，基於MVD解析度，雙向模板MV微調可以被選擇性的開啟或者關閉。在AMVR模式中，基於AMVR標誌，MVD解析度可以是整數或者分數。根據一個實施例，如果MVD解析度是分數(例如，四分之一像素)，則MV不由雙向模板MV微調進行處理。如果MVD解析度是整數，則MV由雙向模板MV微調進行進一步處理。
在另一實施例中，標誌(例如，"amvr_refine_en")可以被發信以表示本方法是否被使能(值1：使能，值0：禁能)。當不存在時，amvr_refine_en的值被推斷為1。標誌amvr_refine_en也可以被發信在序列層、圖像層、片段層或者PU層。
用於LIC/NPO的雙向模板MV微調
為了提高編解碼效率，本發明公開了基於LIC/NPO的雙向模板MV微調。本方法背後的基本思想是，根據LIC/NPO演算法，修改雙向模板MV微調流。本發明公開了兩個實施例，其包括基於後NPO(或者後LIC)的方法和基於前NPO(或者前LIC)的方法。
實施例1：基於後NPO(後LIC)的方法
基於第2圖的第15圖可以用於示出本實施例。與 傳統的雙向模板MV微調相似，L0參考塊被生成，以為了執行NPO處理或者LIC處理。L0參考塊被存儲在暫時暫存器0中。同樣地，L1參考塊被生成並存儲在暫時暫存器1中。來自於暫時暫存器0和暫時暫存器1的像素用於生成雙向模板。不同的技術可以用於生成雙向模板，例如平均來自於暫時暫存器0和暫時暫存器1的像素以形成雙向模板。用於雙向模板的域變換程式1510被需要以用於NPO流程或者LIC流程。隨後，已變換模板1520用於推導出局部運動估計，並微調MV。域變換(即自NPO/LIC域到原始像素域)的目的在於，將雙向模板(NPO/LIC處理域)變換到原始參考像素域。“NPO/LIC域到原始域的變換”是逆LIC處理或者逆NPO處理。對於NPO的情況，逆NPO直接自模板提取L0參考塊的NPO偏移，並將結果template_sub_off0存儲在暫存器中。隨後，如第15圖所示，template_sub_off0用於在L0參考圖像中執行局部運動估計，並微調原始L0 MV以推導出微調L0 MV。對於L1，如第15圖所示，相似流程可以被執行以微調原始L1 MV，以推導出微調L1 MV。
實施例2：基於前NPO(前LIC)的方法
根據本實施例，傳統的雙向模板MV微調可以被執行，並且不涉及LIC/NPO流程。如第2圖所示，原始L0 MV被微調成微調L0 MV，原始L1 MV被微調成微調L1 MV。隨後，NPO/LIC程式被執行以用於L0微調塊和L1微調塊，隨後，NPO/LIC處理的L0塊和NPO/LIC處理的L1塊由後續階段進行使用，例如運動補償。
複數個MV對候選
當雙向預測MV對被發信(例如，表示所選擇的雙向預測合併候選的合併索引)時，預定義MV微調流程被執行以根據JVET-D0029中公開的傳統的雙向模板MV微調對LIST_0 MV和LIST_1 MV進行微調，以為了更好的編解碼效率。為了進一步提高編解碼性能，下面公開了不同的修改MV微調方法：
首先，透過使用來自於MV0和MV1的參考塊的雙向預測，雙向預測塊(即雙向預測模板)被生成。使用雙向預測塊作為新的當前塊(即模板)，並執行運動估計以分別在參考圖像0和參考圖像1中查找更佳匹配塊，其是相同的。微調MV稱為MV0’和MV1’。隨後，微調MV(即MV0’和MV1’)用於生成當前塊的最終雙向預測預測塊。根據本方法，MV微調的原始MV可以被推導出，透過評估對應於當前塊的雙向預測模式的複數個MV候選(例如複數個合併候選)。具有最低成本的MV候選是MV微調的起始或者原始MV。
在一個實施例中，透過使用{MV0,MV1,MV0’,MV1’}中的MV，當前塊的最終雙向預測預測塊被生成，其中MV0和MV1對應於原始MV對，MV0’和MV1’對應於微調MV對。
在另一個實施例中，在微調LIST_0(或者LIST_1)中的預測塊之後，透過使用微調LIST_0(或者LIST_1)預測子和原始LIST_0(或者LIST_1)預測子，雙向預測可以被重新生成。重新生成的雙向預測用於微調LIST_0(或者LIST_1)預測 子。
修改模板
來自于發信的MV對(例如，MV0和MV1)，兩個運動估計(motion estimation，ME)流程被執行，以微調MV0和MV1。為了微調MV0，參考圖像1中基於MV1的預測塊用作新的當前塊(即模板)預測塊。透過使用新的當前塊，MV0被微調成MV0’。同樣地，透過將參考圖像0中的預測塊用作新的當前塊(即模板)，MV1被微調成MV1’。原始搜索MV是MV0和MV1，以用於這兩個運動估計流程。透過使用MV對，即{MV0’,MV1’}，當前塊的最終雙向預測預測塊被生成。
在一個實施例中，在微調LIST_0(或者LIST_1)中的預測塊之後，已更新的LIST_0(或者LIST_1)預測子用於微調LIST_0(或者LIST_1)預測子。
顯性解碼器側MV微調模式
語法MV_refine_flag可以被發信以使能或者禁能所提出的MV微調方法。此標誌可以被有條件地發信。例如，其僅被應用於合併模式或者AMVP模式。
當MV_refine_flag為真時，MV候選列表被推導出。如果候選列表中的MV數量大於1，則MV_refine_flag被發信以表示解碼器側MV微調的原始搜索點。
合併候選列表生成流程可以用於MV後續列表生成流程。有效的相鄰運動資訊和時間同位元資訊可以被放入到候選列表中。如果運動資訊不是雙向預測MV或者不是真實雙向預測MV(即位於當前圖像之前的一個參考圖像和位於當前圖像之後的另一參考圖像)，則運動資訊將不被放入到候選列表中。候選列表中的MV數量可以是固定數位。如果候選列表不是完整的，則人工運動資訊可以被插入。例如，候選的一個列表MV可以被選擇。透過MV縮放，此所選擇的MV在其他列表中的鏡像MV可以被生成，所選擇的MV和所縮放的MV可以是人工運動資訊的一種。在另一實施例中，組合的MV對可以用作人工運動資訊。例如，候選O的LIST_M MV和候選P的LIST_N MV可以是人工運動資訊，其中M和N可以是(0,1)或者(1,0)，並且O和P是不同的整數。
用於解碼器側MV微調的修改合併候選列表
當合併候選是雙向預測候選或者真實雙向預測候選(true-bi-prediction candidate)時，DMVR可以被應用以微調預測子。當解碼器側MV微調被應用時，雙向預測候選或者真實雙向預測候選可能比單預測候選更好。然而，並不是合併候選列表中的每個候選是雙向預測候選或者真實雙向預測候選。因此，本發明提出了向前移動雙向預測候選或者真實雙向預測候選。在一個實施例中，所有雙向預測候選或者真實雙向預測候選被移動到其他候選的前面。在另一實施例中，雙向預測候選或者真實雙向預測候選被向前移動K個位置，其中K可以是1。另一實施例中，連續雙向預測候選的第一雙向預測候選或者第一真實雙向預測候選被向前移動K個位置，其中K可以是1。例如，如果候選2、候選3、候選4和候選5均是真實雙向預測候選。候選2與候選1進行交換。
第16圖示出了根據本發明實施例的使用基於塊尺 寸的雙向模板MV微調的視訊編解碼系統的示例性流程圖。本流程圖以及本發明中的其他流程圖中所示的步驟可以被實現為編碼器側和/或解碼器側的一個或複數個處理器(例如一個或複數個CPU)上可執行的程式碼。本流程圖中所示的步驟也可以基於硬體被實現，例如用於執行該流程圖中步驟的一個或者複數個電子設備或者處理器。根據本方法，在步驟1610中，接收與當前圖像中的當前塊相關的輸入資料，其中當前塊使用雙向預測編解碼。在步驟1620中，確定指向列表0參考圖像中的參考塊0的原始運動向量0(motion vector 0，MV0)和指向列表1參考圖像中的參考塊1的原始運動向量1(motion vector 1，MV1)，其中原始運動向量0和原始運動向量1對應於當前塊的雙向預測運動向量。在步驟1630中，檢測與當前塊相關的尺寸是否大於閾值。如果測試結果是“是”(即與當前塊相關的尺寸大於閾值)，則執行步驟1640-步驟1660。否則(即來自於步驟1630的“否”路徑)，則執行步驟1670。在步驟1640中，將參考塊0和參考塊1進行組合以形成當前塊的當前模板。在步驟1650中，確定指向列表0參考圖像中的微調參考塊0的微調運動向量0(即MV0’)和指向列表1參考圖像中的微調參考塊1的微調運動向量1(即MV1’)，其中MV0’產生當前塊的當前模板與微調參考塊0之間的最小第一模板成本，MV1’產生當前塊的當前模板與微調參考塊1之間的最小第二模板成本。在步驟1660中，透過將微調參考塊0和微調參考塊1進行組合，生成當前塊的最終預測子。在步驟1670中，將參考塊0和參考塊1進行組合，以形成當前塊的最終預測子。在步驟1680中，使用最終預測子，對當前塊進行預測性編碼或者解碼。
第17圖示出了根據本發明實施例的使用隱性切換的雙向模板MV微調的視訊編解碼系統的示例性流程圖。根據本方法，在步驟1710中，接收與當前圖像中的當前塊相關的輸入資料，其中當前塊使用雙向預測編解碼。在步驟1720中，確定指向列表0參考圖像中的參考塊0的原始運動向量0和指向列表1參考圖像中的參考塊1的原始運動向量1，其中原始運動向量0和原始運動向量1對應於當前塊的雙向預測運動向量。在步驟1730中，基於參考塊0和參考塊1，確定關於是否將雙向模板MV微調應用到當前塊的決策。在步驟1740中，檢測此決策是否表示將雙向模板MV微調應用到當前塊。如果測試結果是“是”(即將雙向模板MV微調應用到當前塊)，則執行步驟1750-步驟1770。否則(即來自於步驟1740的“否”路徑)，則執行步驟1780。在步驟1750中，將參考塊0和參考塊1進行組合以形成當前塊的當前模板。在步驟1760中，確定指向列表0參考圖像中的微調參考塊0的微調運動向量0(即MV0’)和指向列表1參考圖像中的微調參考塊1的微調運動向量1(即MV1’)，其中MV0’產生當前塊的當前模板與微調參考塊0之間的最小第一模板成本，MV1’產生當前塊的當前模板與微調參考塊1之間的最小第二模板成本。在步驟1770中，透過將微調參考塊0和微調參考塊1進行組合，生成當前塊的最終預測子。在步驟1780中，將參考塊0和參考塊1進行組合，以形成當前塊的最終預測子。在步驟1790中，使用 最終預測子，對當前塊進行預測性編碼或者解碼。
第18圖示出了根據本發明實施例的使用基於子塊的雙向模板MV微調的視訊編解碼系統的示例性流程圖。根據本方法，在步驟1810中，接收與當前圖像中的當前塊相關的輸入資料，其中當前塊使用雙向預測編解碼。在步驟1820中，確定指向列表0參考圖像中的參考塊0的原始運動向量0和指向列表1參考圖像中的參考塊1的原始運動向量1，其中原始運動向量0和原始運動向量1對應於當前塊的雙向預測運動向量。在步驟1830中，將參考塊0和參考塊1進行組合以形成當前塊的當前模板。在步驟1840中，使用相同的子塊分割，將當前塊分割成當前子塊，將參考塊0分割成參考子塊0，將參考塊1分割成參考子塊1，並將當前模板分割成當前子模板。在分割成子塊之後，將步驟1850至步驟1870應用到每個子塊。在步驟1850中，確定指向列表0參考圖像中的微調參考子塊0的微調子塊運動向量0(即子MV0’)和指向列表1參考圖像中的微調子參考塊1的微調子塊運動向量1(即子MV1’)，其中子MV0’產生微調參考子塊0與一個相應子模板之間的最小第一模板成本，子MV1’產生微調參考子塊1與列表1參考圖像中的一個相應子模板之間的最小第二模板成本。在步驟1860中，透過將微調參考子塊0與微調參考子塊1進行組合，生成當前塊的最終子塊預測子。在步驟1870中，使用最終子塊預測子，對當前子塊進行預測性編碼或者解碼。
第19圖示出了根據本發明實施例的使用用於AMVP模式的雙向模板MV微調的視訊編解碼系統的示例性流程圖。根據本方法，在步驟1910中，接收與當前圖像中的當前塊相關的輸入資料，其中當前塊用雙向預測編解碼。在步驟1920中，確定AMVP候選作為當前塊的運動向量0(即MV0)和運動向量1(即MV1)，其中MV0指向列表0參考圖像中的參考塊0，MV1指向列表1參考圖像中的參考塊1。在步驟1930中，將參考塊0和參考塊1進行組合以形成當前塊的當前模板。在步驟1940中，確定指向列表0參考圖像中的微調參考塊0的微調運動向量0(即MV0’)和指向列表1參考圖像中的微調參考塊1的微調運動向量1(即MV1’)，其中MV0’產生當前塊的當前模板與微調參考塊0之間的最小第一模板成本，MV1’產生當前塊的當前模板與微調參考塊1之間的最小第二模板成本。在步驟1950中，使用與微調的MV0’和微調的MV1’相關的資訊，對當前塊進行處理。
第20圖是根據本發明實施例的使用模板修改的雙向模板MV微調的視訊編解碼系統的示例性流程圖。根據本方法，在步驟2010中，接收與當前圖像中的當前塊相關的輸入資料，其中當前塊用雙向預測編碼。在步驟2020中，確定指向第一列表的第一參考圖像中的第一參考塊的第一原始MV以及指向另一列表的第二參考圖像中的第二參考塊的第二原始MV，其中第一原始MV和第二原始MV對應於當前塊的雙向預測運動向量。在步驟2030中，確定指向第一列表的第一參考圖像中的第一微調參考塊的第一微調MV，其中第一微調MV產生第二參考塊與第一微調參考塊之間的最小第一模板成本。在步驟2040中，確定指向另一列表的第二參考圖像中的 第二微調參考塊的第二微調MV，其中第二微調MV產生第一參考塊與第二微調參考塊之間或者第一微調參考塊與第二微調參考塊之間的最小第二模板成本。在步驟2050中，透過將第一微調參考塊和第二微調參考塊進行組合，生成當前塊的最終預測子。在步驟2060中，使用最終預測子，對當前塊進行預測性編碼或者解碼。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟、重組這些步驟、將一個步驟進行分割或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的具有習知技術者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集 成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由後附的申請專利範圍來表示，而不是前述的描述來表示。申請專利範圍的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (28)

  1. 一種視訊編解碼方法，該方法包括：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測編碼；確定指向一列表0參考圖像中一參考塊0的一原始運動向量0和指向一列表1參考圖像中一參考塊1的一原始運動向量1，其中該原始運動向量0與該原始運動向量1對應於該當前塊的雙向預測運動向量；若與該當前塊相關的尺寸大於一閾值，則：確定指向該列表0參考圖像中的一微調參考塊0的一微調運動向量0與指向該列表1參考圖像中的一微調參考塊1的一微調運動向量1，以及透過將該微調參考塊0與該微調參考塊1進行組合，生成該當前塊的一最終預測子；若與該當前塊相關的尺寸小於或等於該閾值，則：將該參考塊0與該參考塊1進行組合，以形成該當前塊的該最終預測子；以及使用該最終預測子，對該當前塊進行預測性編碼或者解碼。
  2. 如申請專利範圍第1項所述之視訊編解碼方法，其中與該當前塊相關的該尺寸對應於該當前塊的塊尺寸。
  3. 如申請專利範圍第1項所述之視訊編解碼方法，其中與該當前塊相關的該尺寸對應於該當前塊的塊寬度或塊高度。
  4. 一種視訊編解碼裝置，該裝置包括一或複數個電子電路或者處理器，用於：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測編碼；確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中一參考塊1的一原始運動向量1，其中該原始運動向量0與該原始運動向量1對應於該當前塊的雙向預測運動向量；若與該當前塊相關的尺寸大於一閾值，則：確定指向該列表0參考圖像中一微調參考塊0的一微調運動向量0與指向該列表1參考圖像中一微調參考塊1的一微調運動向量1，以及透過將該微調參考塊0與該微調參考塊1進行組合，生成該當前塊的一最終預測子；若與該當前塊相關的尺寸小於或等於該閾值，則：將該參考塊0與該參考塊1進行組合，以形成該當前塊的該最終預測子；以及使用該最終預測子，對該當前塊進行預測性編碼或者解碼。
  5. 一種視訊編解碼方法，該方法包括：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測編解碼；確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中一參考塊1的一原始運動向量1，其中該原始運動向量0與該原始運動向量1對應於該當前塊的雙向預測運動向量；基於該參考塊0與該參考塊1，推導出關於是否將雙向模板運動向量微調應用到該當前塊的決策；若該決策表示將雙向模板運動向量微調應用到該當前塊，則：確定指向該列表0參考圖像中一微調參考塊0的一微調運動向量0與指向該列表1參考圖像中一微調參考塊1的一微調運動向量1，以及透過將該微調參考塊0與該微調參考塊1進行組合，生成該當前塊的最終預測子；若該決策表示不將雙向模板運動向量微調應用到該當前塊，則：將該參考塊0與該參考塊1進行組合，以形成該當前塊的該最終預測子；以及使用該最終預測子，對該當前塊進行預測性編碼或者解碼。
  6. 如申請專利範圍第5項所述之視訊編解碼方法，其中該決策基於該參考塊0與該參考塊1之間的差的測量被推導出。
  7. 如申請專利範圍第6項所述之視訊編解碼方法，其中該參考塊0與該參考塊1之間的差的測量被計算為該參考塊0與該參考塊1之間的絕對差之和。
  8. 如申請專利範圍第6項所述之視訊編解碼方法，其中若該參考塊0與該參考塊1之間的差的測量小於閾值，則該決策表示將雙向模板運動向量微調應用到該當前塊。
  9. 如申請專利範圍第8項所述之視訊編解碼方法，其中該閾值被允許逐預測單、逐片段、或者逐圖像改變。
  10. 如申請專利範圍第8項所述之視訊編解碼方法，其中該閾值對應於預定義固定值。
  11. 如申請專利範圍第8項所述之視訊編解碼方法，其中該閾值根據該當前圖像的位元深度被確定。
  12. 如申請專利範圍第8項所述之視訊編解碼方法，其中該當前塊對應於一個預測單元，該閾值根據預測單元尺寸被確定。
  13. 如申請專利範圍第8項所述之視訊編解碼方法，其中該閾值被發信在序列層、圖像層、片段層或者預測單元層。
  14. 一種視訊編解碼裝置，該裝置包括一或複數個電子電路或者處理器，用於：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測編解碼；確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中一參考塊1的一原始運動向量1，其中該原始運動向量0與該原始運動向量1對應於該當前塊的雙向預測運動向量；基於該參考塊0與該參考塊1，推導出關於是否將雙向模板運動向量微調應用到該當前塊的決策；若該決策表示將雙向模板運動向量微調應用到該當前塊，則：確定指向該列表0參考圖像中一微調參考塊0的一微調運動向量0與指向該列表1參考圖像中一微調參考塊1的一微調運動向量1；以及透過將該微調參考塊0與該微調參考塊1進行組合，生成該當前塊的最終預測子；若該決策表示不將雙向模板運動向量微調應用到該當前塊，則：將該參考塊0與該參考塊1進行組合，以形成該當前塊的該最終預測子；以及使用該最終預測子，對該當前塊進行預測編碼或者解碼。
  15. 一種視訊編解碼方法，該方法包括：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊以雙向預測模式編解碼；確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中的一參考塊1的一原始運動向量1，其中該原始運動向量0與該原始運動向量1對應於該當前塊的雙向預測運動向量；使用相同的子塊分割，將該當前塊分割成複數個當前子塊，將該參考塊0分割成複數個參考子塊0，將該參考塊1分割成複數個參考子塊1對於每個當前子塊：確定指向該列表0參考圖像中一微調參考子塊0的一微調子塊運動向量0與指向該列表1參考圖像中一微調子參考塊1的一微調子塊運動向量1；以及透過將該微調參考子塊0與該微調參考子塊1進行組合，生成該當前子塊的最終子塊預測子；以及使用該最終預測子，對該當前子塊進行預測編碼或者解碼。
  16. 如申請專利範圍第15項所述之視訊編解碼方法，其中，一標誌被發信在序列層、圖像層、片段層或者預測單元層，以表示子塊雙向模板運動向量微調是否被使能。
  17. 如申請專利範圍第15項所述之視訊編解碼方法，其中，該相同的子塊分割將每個塊分割成具有子塊寬度和子塊高度的複數個子塊，並且與該子塊寬度和該子塊高度相關的資訊被發信在序列層、圖像層、片段層或者預測單元層。
  18. 一種視訊編解碼裝置，該裝置包括一或複數個電子電路或者處理器，用於：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊以雙向預測模式編解碼；確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中一參考塊1的一原始運動向量1，其中該原始運動向量0與該原始運動向量1對應於該當前塊的雙向預測運動向量；使用相同的子塊分割，將該當前塊分割成複數個當前子塊，將該參考塊0分割成複數個參考子塊0，將該參考塊1分割成複數個參考子塊1，對於每個當前子塊：確定指向該列表0參考圖像中一微調參考子塊0的一微調子塊運動向量0與指向該列表1參考圖像中的一微調子參考塊1的一微調子塊運動向量1，以及透過將該微調參考子塊0與該微調參考子塊1進行組合，生成該當前子塊的最終子塊預測子；以及使用該最終預測子，對該當前子塊進行預測編碼或者解碼。
  19. 一種視訊編解碼方法，該方法包括：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測以高級運動向量預測編解碼；確定高級運動向量預測候選作為該當前塊的運動向量0與運動向量1，其中該運動向量0指向一列表0參考圖像中一參考塊0，該運動向量1指向一列表1參考圖像中一參考塊1；根據雙向模板運動向量微調流程，推導出一微調運動向量0與一微調運動向量1，其中推導出該微調運動向量1與該微調運動向量1包括：確定指向該列表0參考圖像中一微調參考塊0的該微調運動向量0與指向該列表1參考圖像中一微調參考塊1的該微調運動向量1；以及使用與微調的該微調運動向量0與微調的該微調運動向量1相關的資訊，對該當前塊進行處理；其中一標誌被發信在序列層、圖像層、片段層或者預測單元層中，以表示推導出該微調運動向量0和該微調運動向量1以及使用與微調的該微調運動向量0和微調的該微調運動向量1相關的資訊對該當前塊進行處理是否均被使能以用於該當前塊。
  20. 如申請專利範圍第19項所述之視訊編解碼方法，其中，使用與微調的該微調運動向量0與微調的該微調運動向量1相關的資訊，對該當前塊進行處理，包括：透過將該微調運動向量0所指向的該微調參考塊0與該微調運動向量1所指向的該微調參考塊1進行組合，生成該當前塊的最終預測子；以及使用該最終預測子，對該當前塊進行預測編碼或者解碼。
  21. 如申請專利範圍第19項所述之視訊編解碼方法，其中，根據與以高級運動向量預測模式編解碼的當前塊的該運動向量0與該運動向量1相關的運動向量差解析度，確定推導出該微調運動向量0和該微調運動向量1以及使用與微調的該微調運動向量0與微調的該微調運動向量1相關的資訊對該當前塊進行處理是否均被使能以用於該當前塊。
  22. 如申請專利範圍第21項所述之視訊編解碼方法，其中，若該運動向量差解析度對應於分數解析度，則推導出該微調運動向量0與該微調運動向量1以及使用與微調的該微調運動向量0與微調的該微調運動向量1相關的資訊對該當前塊進行處理均被禁能以用於該當前塊。
  23. 一種視訊編解碼裝置，該裝置包括一個或複數個電子電路或者處理器，用於：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測以高級運動向量預測編解碼；確定高級運動向量預測作為該當前塊的運動向量0和運動向量1，其中該運動向量0指向一列表0參考圖像中一參考塊0，該運動向量1指向一列表1參考圖像中一參考塊1；確定指向該列表0參考圖像中一微調參考塊0的該微調運動向量0與指向該列表1參考圖像中一微調參考塊1的該微調運動向量1，；以及使用與微調的該微調運動向量0與微調的該微調運動向量1相關的資訊，對該當前塊進行處理；其中一標誌被發信在序列層、圖像層、片段層或者預測單元層中，以表示推導出該微調運動向量0和該微調運動向量1以及使用與微調的該微調運動向量0和微調的該微調運動向量1相關的資訊對該當前塊進行處理是否均被使能以用於該當前塊。
  24. 一種視訊編解碼方法，該方法包括：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊以雙向預測模式編解碼；確定指向一第一列表的一第一參考圖像中一第一參考塊的一第一原始運動向量以及指向另一列表的一第二參考圖像中的一第二參考塊的一第二原始運動向量，其中該第一原始運動向量和該第二原始運動向量對應於該當前塊的雙向預測運動向量；確定指向該第一列表的該第一參考圖像中的一第一微調參考塊的一第一微調運動向量，確定指向該另一列表的該第二參考圖像中的一第二微調參考塊的一第二微調運動向量，其中該第二微調運動向量產生該第一微調參考塊與該第二微調參考塊之間的一最小第二模板成本；透過將該第一微調參考塊與該第二微調參考塊進行組合，生成該當前塊的最終預測子；以及使用該最終預測子，對該當前塊進行預測編碼或者解碼；其中一標誌被發信在序列層、圖像層、片段層或者預測單元層中，以表示推導出該微調運動向量0和該微調運動向量1以及使用與微調的該微調運動向量0和微調的該微調運動向量1相關的資訊對該當前塊進行處理是否均被使能以用於該當前塊。
  25. 一種視訊編解碼裝置，該裝置包括一或複數個電子電路或者處理器，用於：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊使用雙向預測編解碼；確定指向一第一列表的一第一參考圖像中一第一參考塊的一第一原始運動向量以及指向另一列表的一第二參考圖像中的第二參考塊的一第二原始運動向量，其中該第一原始運動向量和該第二原始運動向量對應於該當前塊的雙向預測運動向量；確定指向該第一列表的該第一參考圖像中一第一微調參考塊的一第一微調運動向量，確定指向該另一列表的該第二參考圖像中一第二微調參考塊的一第二微調運動向量，其中該第二微調運動向量產生該第一微調參考塊與該第二微調參考塊之間的一最小第二模板成本；透過將該第一微調參考塊與該第二微調參考塊進行組合，生成該當前塊的最終預測子；以及使用該最終預測子，對該當前塊進行預測編碼或者解碼；其中一標誌被發信在序列層、圖像層、片段層或者預測單元層中，以表示推導出該微調運動向量0和該微調運動向量1以及使用與微調的該微調運動向量0和微調的該微調運動向量1相關的資訊對該當前塊進行處理是否均被使能以用於該當前塊。
  26. 一種視訊編解碼方法，該方法包括：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊以雙向預測模式編解碼；使用至少兩個運動向量對，將雙向模板運動向量微調應用到該當前塊，以推導出一原始運動向量對或者一最終運動向量對，其中該至少兩個運動向量對中的每個對應於一個雙向預測運動向量對；若該至少兩個運動向量對用於推導出該原始運動向量對，則將該雙向模板運動向量微調應用到該當前塊包括：自該至少兩個運動向量對確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中一參考塊1的一原始運動向量1，其中來自於該至少兩個運動向量對且實現最低成本的一個運動向量對被選擇為該原始運動向量0和該原始運動向量1；確定指向該列表0參考圖像中一微調參考塊0的該微調運動向量0與指向該列表1參考圖像中一微調參考塊1的該微調運動向量1，以及透過將該微調參考子塊0與該微調參考子塊1進行組合，生成該當前塊的最終子塊預測子；以及若該至少兩個運動向量對用於推導出該最終運動向量對，則將雙向模板運動向量微調應用到該當前塊，包括：確定指向該列表0參考圖像中一參考塊0的一原始運動向量0與指向該列表1參考圖像中一參考塊1的一原始運動向量1；確定該微調運動向量0與該微調運動向量1，；以及透過將該參考塊0、該參考塊1、該微調參考塊0與該微調參考塊1進行組合，生成該當前塊的該最終預測子；以及使用該最終預測子，對該當前塊進行預測編碼或者解碼。
  27. 如申請專利範圍第26項所述之視訊編解碼方法，其中，若該至少兩個運動向量對用於推導出該原始運動向量對，則該至少兩個運動向量對對應於合併列表中的兩個或以上合併候選，該兩個或以上合併候選中的每個對應於一個雙向預測運動向量對。
  28. 一種視訊編解碼的裝置，該裝置包括一或複數個電子電路或者處理器，用於：接收與一當前圖像中一當前塊相關的輸入資料，其中該當前塊以雙向預測模式編解碼；若該至少兩個運動向量對用於推導出該原始運動向量對，其中該至少兩個運動向量對對應於一個雙向預測運動向量對，則自該至少兩個運動向量對確定指向一列表0參考圖像中一參考塊0的一原始運動向量0與指向一列表1參考圖像中一參考塊1的一原始運動向量1，來自於該至少兩個運動向量對且實現最低成本的一個運動向量對被選擇為該原始運動向量0和該原始運動向量1；確定指向該列表0參考圖像中的一微調參考塊0的該微調運動向量0與指向該列表1參考圖像中的一微調參考塊1的該微調運動向量1；以及透過將該微調參考子塊0與該微調參考子塊1進行組合，生成該當前塊的最終子塊預測子；以及若該至少兩個運動向量對用於推導出一最終運動向量對，則：確定指向該列表0參考圖像中一參考塊0的一原始運動向量0與指向該列表1參考圖像中一參考塊1的一原始運動向量1；確定該微調運動向量0與該微調運動向量1，；以及透過將該參考塊0、該參考塊1、該微調參考塊0與該微調參考塊1進行組合，生成該當前塊的該最終預測子；以及使用該最終預測子，對該當前塊進行預測編碼或者解碼。
TW106145983A 2016-12-27 2017-12-27 用於視訊編解碼的雙向模板運動向量微調的方法及裝置 TWI677237B (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201662439203P 2016-12-27 2016-12-27
US201662439207P 2016-12-27 2016-12-27
US62/439,203 2016-12-27
US62/439,207 2016-12-27
US201762445831P 2017-01-13 2017-01-13
US62/445,831 2017-01-13
US201762455625P 2017-02-07 2017-02-07
US62/455,625 2017-02-07
US201762461300P 2017-02-21 2017-02-21
US62/461,300 2017-02-21
US201762469048P 2017-03-09 2017-03-09
US62/469,048 2017-03-09
??PCT/CN2017/118531 2017-12-26
PCT/CN2017/118531 WO2018121506A1 (en) 2016-12-27 2017-12-26 Method and apparatus of bilateral template mv refinement for video coding
WOPCT/CN2017/118531 2017-12-26

Publications (2)

Publication Number Publication Date
TW201832560A TW201832560A (zh) 2018-09-01
TWI677237B true TWI677237B (zh) 2019-11-11

Family

ID=62710976

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145983A TWI677237B (zh) 2016-12-27 2017-12-27 用於視訊編解碼的雙向模板運動向量微調的方法及裝置

Country Status (5)

Country Link
US (1) US10911761B2 (zh)
EP (1) EP3560202A4 (zh)
CN (1) CN110140355B (zh)
TW (1) TWI677237B (zh)
WO (1) WO2018121506A1 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057640B2 (en) * 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
CN117579827A (zh) * 2018-01-09 2024-02-20 夏普株式会社 运动矢量推导装置、运动图像解码装置以及运动图像编码装置
US10992930B2 (en) * 2018-03-30 2021-04-27 Hulu, LLC Template refined bi-prediction for video coding
CN119324982A (zh) * 2018-03-30 2025-01-17 英迪股份有限公司 图像编码/解码方法以及存储介质
AU2019276881B2 (en) * 2018-05-28 2023-09-14 Interdigital Vc Holdings, Inc. Data dependency in coding/decoding
KR102738271B1 (ko) 2018-06-05 2024-12-04 두인 비전 컴퍼니 리미티드 Ibc 및 atmvp 간의 상호 작용
WO2019234668A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Sub-block dmvr
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
WO2019244119A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
KR20200002701A (ko) * 2018-06-29 2020-01-08 인텔렉추얼디스커버리 주식회사 디코더 측면의 움직임 보정을 사용하는 비디오 코딩 방법 및 장치
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
WO2020013673A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
WO2020017841A1 (ko) * 2018-07-15 2020-01-23 엘지전자 주식회사 머지 모드에 기반하여 인터 예측을 수행하는 방법 및 장치
GB2590222B (en) 2018-08-04 2023-02-01 Beijing Bytedance Network Tech Co Ltd MVD precision for affine
WO2020048205A1 (zh) * 2018-09-04 2020-03-12 华为技术有限公司 应用于双向帧间预测中的参考帧获取方法及装置
CN110881124B (zh) * 2018-09-06 2023-07-25 北京字节跳动网络技术有限公司 两步帧间预测
WO2020052654A1 (en) * 2018-09-13 2020-03-19 Huawei Technologies Co., Ltd. Apparatus and method for conditional decoder-side motion vector refinement in video coding
CN112889288A (zh) * 2018-09-19 2021-06-01 华为技术有限公司 根据基于双线性插值的解码端运动矢量修正的片相似度不执行修正的方法
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
WO2020070612A1 (en) 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
WO2020084476A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111083489B (zh) * 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
KR102759405B1 (ko) 2018-11-10 2025-01-23 두인 비전 컴퍼니 리미티드 페어와이즈 평균 후보 계산에서 라운딩
CN111436229B (zh) 2018-11-12 2024-06-28 北京字节跳动网络技术有限公司 帧间预测的带宽控制方法
WO2020103872A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
JP6933235B2 (ja) 2018-12-13 2021-09-08 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
EP4546782A3 (en) 2018-12-13 2025-07-02 JVCKENWOOD Corporation Image decoding device, image decoding method, and image decoding program
CN113383548A (zh) 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
CN111837395B (zh) * 2019-02-14 2025-08-22 北京字节跳动网络技术有限公司 基于处理参数的解码器侧运动推导
KR20250038842A (ko) 2019-02-14 2025-03-19 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
CN113545065B (zh) 2019-03-06 2023-12-12 北京字节跳动网络技术有限公司 转换后的单向预测候选的使用
CN117834906A (zh) * 2019-03-08 2024-04-05 华为技术有限公司 运动矢量细化的搜索区域
EP3935852A1 (en) 2019-03-08 2022-01-12 Interdigital VC Holdings France Motion vector derivation in video encoding and decoding
CN113709474B (zh) * 2019-03-11 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020185427A1 (en) * 2019-03-11 2020-09-17 Alibaba Group Holding Limited Inter prediction methods for coding video data
WO2020185147A1 (en) * 2019-03-11 2020-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Motion refinement and weighted prediction
EP3709648A1 (en) * 2019-03-12 2020-09-16 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with subblock based local illumination compensation
KR20200110235A (ko) * 2019-03-13 2020-09-23 현대자동차주식회사 델타 움직임벡터를 유도하는 방법 및 영상 복호화 장치
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
US11985324B2 (en) 2019-03-14 2024-05-14 Hfi Innovation Inc. Methods and apparatuses of video processing with motion refinement and sub-partition base padding
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
US11039150B2 (en) * 2019-04-19 2021-06-15 Tencent America LLC Method and apparatus for video coding
KR102627834B1 (ko) 2019-05-11 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서의 코딩 툴들의 선택적 사용
CN113906738B (zh) * 2019-05-21 2024-01-12 北京字节跳动网络技术有限公司 仿射模式的自适应运动矢量差分辨率
BR112021024283A2 (pt) * 2019-06-04 2022-01-11 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes
JP6835337B2 (ja) * 2019-06-20 2021-02-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
GB2585017A (en) * 2019-06-24 2020-12-30 Canon Kk Video coding and decoding
CN114270831B (zh) 2019-08-10 2024-07-30 北京字节跳动网络技术有限公司 视频处理中的子图片尺寸定义
CN113596455A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法、装置及设备
CN114402618A (zh) * 2019-09-27 2022-04-26 北京达佳互联信息技术有限公司 用于视频编解码中的解码器端运动矢量细化的方法和装置
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
CN115280774B (zh) 2019-12-02 2025-08-19 抖音视界有限公司 视觉媒体处理的方法、装置及非暂时性计算机可读存储介质
EP4107941A4 (en) 2020-03-23 2023-04-19 Beijing Bytedance Network Technology Co., Ltd. PREDICTION REFINEMENT FOR AFFINE MERGE AND AFFINER MOTION VECTOR PREDICTION MODE
US12113987B2 (en) 2020-12-22 2024-10-08 Qualcomm Incorporated Multi-pass decoder-side motion vector refinement
JP2023554236A (ja) * 2020-12-22 2023-12-27 クアルコム，インコーポレイテッド マルチパスデコーダ側動きベクトル改良
US11388421B1 (en) * 2021-01-13 2022-07-12 Lemon Inc. Usage of templates for decoder-side intra mode derivation
US20250039357A1 (en) * 2021-09-07 2025-01-30 Interdigital Ce Patent Holdings, Sas Chroma prediction for video encoding and decoding based on template matching
WO2023055176A1 (ko) * 2021-10-01 2023-04-06 엘지전자 주식회사 디코더 사이드 움직임 벡터 리파인먼트 기반 영상 코딩 방법 및 장치
US12388978B2 (en) 2021-11-01 2025-08-12 Tencent America LLC Template-matching based adaptive motion vector resolution (AMVR) for bi-prediction and an affine mode
US12432372B2 (en) * 2022-03-16 2025-09-30 Tencent America LLC Systems and methods for template matching for adaptive MVD resolution
US11968356B2 (en) * 2022-03-16 2024-04-23 Qualcomm Incorporated Decoder-side motion vector refinement (DMVR) inter prediction using shared interpolation filters and reference pixels
WO2023217140A1 (en) * 2022-05-09 2023-11-16 Mediatek Inc. Threshold of similarity for candidate list
US12192509B2 (en) * 2022-07-11 2025-01-07 Tencent America LLC Partition, motion vector (MV) derivation of template-matching, and subblock MV derivation for subblock based MV predictor
WO2024019503A1 (ko) * 2022-07-19 2024-01-25 엘지전자 주식회사 템플릿 매칭 핸들링을 위한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024211098A1 (en) * 2023-04-03 2024-10-10 Google Llc Sub-block based motion vector refinement
WO2024251177A1 (en) * 2023-06-07 2024-12-12 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
US20250113053A1 (en) * 2023-10-03 2025-04-03 Alibaba (China) Co., Ltd. Template matching-based motion refinement in video coding
US20250240438A1 (en) * 2024-01-10 2025-07-24 Qualcomm Incorporated Local illumination compensation using inherited model parameter from neighboring blocks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110178A1 (en) * 2011-08-29 2015-04-23 Ibex Pt Holdings Co., Ltd. Method for generating prediction block in amvp mode

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
CN104718760B (zh) * 2012-10-05 2019-04-05 寰发股份有限公司 用于三维和多视图视频编码的方法和装置
US20140301463A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US11330284B2 (en) 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10477238B2 (en) * 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110178A1 (en) * 2011-08-29 2015-04-23 Ibex Pt Holdings Co., Ltd. Method for generating prediction block in amvp mode

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching," Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15–21 October 2016 *

Also Published As

Publication number Publication date
TW201832560A (zh) 2018-09-01
CN110140355B (zh) 2022-03-08
US20200128258A1 (en) 2020-04-23
EP3560202A1 (en) 2019-10-30
EP3560202A4 (en) 2020-07-29
WO2018121506A1 (en) 2018-07-05
CN110140355A (zh) 2019-08-16
US10911761B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
TWI677237B (zh) 用於視訊編解碼的雙向模板運動向量微調的方法及裝置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI700922B (zh) 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
TWI670966B (zh) 用於視訊編解碼的適應性雙預測的方法及裝置
CN112868240B (zh) 并置的局部照明补偿和修改的帧间预测编解码
TWI720460B (zh) 在視訊編解碼中具有高級控制之候選重組
TWI674795B (zh) 用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置
WO2020147747A1 (en) Weighted prediction in video coding
CN113287317A (zh) 并置的局部照明补偿和修改的帧间编解码工具
TW202002628A (zh) 視訊編解碼系統中具有obmc的視訊處理方法及裝置
CN115086676A (zh) 运动候选推导
CN115086677A (zh) 运动候选推导
CN113316935A (zh) 使用局部照明补偿的运动候选列表
WO2020177665A1 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
TW201830968A (zh) 用於視訊編解碼的運動細化的方法以及裝置
CN117750033A (zh) 用于视频编解码系统的简化仿射子块处理的方法及装置
WO2019110120A1 (en) Template matching function for bi-predictive mv refinement
Li et al. Frame rate up-conversion based motion vector derivation for hybrid video coding
Kamp et al. Fast decoder side motion vector derivation for inter frame video coding
WO2024016844A1 (en) Method and apparatus using affine motion estimation with control-point motion vector refinement
WO2025007931A1 (en) Methods and apparatus for video coding improvement by multiple models
CA3063746C (en) Method and apparatus of motion vector constraint for video coding
CN119654869A (zh) 视频编解码中基于子块的时间运动向量预测及其重新排序和细化的方法和装置