[go: up one dir, main page]

TWI877165B - 編碼裝置及解碼裝置 - Google Patents

編碼裝置及解碼裝置 Download PDF

Info

Publication number
TWI877165B
TWI877165B TW109113672A TW109113672A TWI877165B TW I877165 B TWI877165 B TW I877165B TW 109113672 A TW109113672 A TW 109113672A TW 109113672 A TW109113672 A TW 109113672A TW I877165 B TWI877165 B TW I877165B
Authority
TW
Taiwan
Prior art keywords
block
prediction
processing
unit
blocks
Prior art date
Application number
TW109113672A
Other languages
English (en)
Other versions
TW202101987A (zh
Inventor
遠間正真
西孝啓
安倍清史
加藤祐介
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW202101987A publication Critical patent/TW202101987A/zh
Application granted granted Critical
Publication of TWI877165B publication Critical patent/TWI877165B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

編碼裝置具備：電路；及記憶體，連接於電路，電路在動作中，在第一編碼處理中，於對編碼對象區塊不進行二次轉換的情形下，在滿足預定的條件時，決定對編碼對象區塊適用量化矩陣，且對編碼對象區塊的複數個一次轉換係數使用量化矩陣來進行量化，於對編碼對象區塊進行二次轉換的情形下，在滿足預定的條件時，決定對編碼對象區塊適用量化矩陣，且對編碼對象區塊的複數個二次轉換係數使用量化矩陣來進行量化。

Description

編碼裝置及解碼裝置
本揭示是有關於視訊編碼，例如有關於動態圖像的編碼及解碼中的系統、構成要素以及方法等。
視訊編碼技術從H.261及MPEG-1進步到H.264/AVC(Advanced Video Coding/高階視訊編碼)、MPEG-LA、H.265/HEVC(High Efficiency Video Coding/高效率視訊編碼)、及H.266/VVC(Versatile Video Codec/多功能視訊編碼)。伴隨此進步，為了處理在各式各樣的用途中持續增加的數位視訊資料量，經常需要提供視訊編碼技術的改良及最佳化。
另，非專利文獻1是有關於與上述的視訊編碼技術相關的習知規格的一例。
[先行技術文獻]
[非專利文獻]
[非專利文獻1] H.265 (ISO/IEC 23008-2 HEVC)/HEVC (High Efficiency Video Coding)
[發明概要]
關於如上述的編碼方式，為了編碼效率的改善；畫質的改善；處理量的刪減；電路規模的刪減；或者，濾波器、區塊、尺寸、移動向量、參考圖片或是參考區塊等之要素或是動作的適當的選擇等，期望有新方式的提案。
本揭示是提供一種例如可對編碼效率的改善；畫質的改善；處理量的刪減；電路規模的刪減；處理速度的改善；及要素或是動作的適當的選擇等之中一項以上有所貢獻的構成或方法。另，本揭示可包含能對上述以外的益處有所貢獻的構成或方法。
例如，本揭示的一態樣之編碼裝置具備：電路；及記憶體，連接於前述電路，前述電路在動作中，在第一編碼處理中，於對編碼對象區塊不進行二次轉換的情形下，滿足預定的條件時，決定對前述編碼對象區塊適用量化矩陣，且對前述編碼對象區塊的複數個一次轉換係數使用前述量化矩陣來進行量化，在對前述編碼對象區塊進行二次轉換的情形下，於滿足前述預定的條件時，決定對前述編碼對象區塊適用前述量化矩陣，且對前述編碼對象區塊的複數個二次轉換係數使用前述量化矩陣來進行量化。
本揭示中之實施形態的幾種安裝，既可改善編碼效率，亦可簡化編碼/解碼處理，亦可讓編碼/解碼處理速度加快，亦可有效率地選擇諸如適當的濾波器、區塊尺寸、移動向量、參考圖片、參考區塊等之於編碼及解碼中使用的適當的構成要素/動作。
本揭示的一態樣之更進一步的優點及效果，從說明書及圖式可明顯知曉。該等優點及/或效果可分別藉由多個實施形態以及說明書及圖式所記載的特徵來獲得，但不必為了獲得1個或1個以上的優點及/或效果而非得要全部提供。
另，該等全面的或具體的態樣亦可藉由系統、方法、積體電路、電腦程式、記錄媒體、或者是這些的任意組合來實現。
本揭示的一態樣之構成或方法，例如可對編碼效率的改善；畫質的改善； 處理量的刪減；電路規模的刪減；處理速度的改善；及要素或是動作的適當的選擇等之中一項以上有所貢獻。另，本揭示的一態樣之構成或方法亦可對上述以外的益處有所貢獻。
10至23:區塊
100:編碼裝置
102:分割部
104:減法部
106:轉換部
108:量化部
110:熵編碼部
112,204:反量化部
114,206:反轉換部
116,208:加法部
118,210:區塊記憶體
120,212:迴路濾波部
122,214:幀記憶體
124,216:內預測部
126,218:間預測部
128,220:預測控制部
200:解碼裝置
202:熵解碼部
1201:邊界判定部
1202,1204,1206:開關
1203:濾波判定部
1205:濾波處理部
1207:濾波特性決定部
1208:處理判定部
a1,b1:處理器
a2,b2:記憶體
ex100:內容供給系統
ex101:網際網路
ex102:網際網路服務提供者
ex103:串流伺服器
ex104:通訊網
ex106至ex110:基地台
ex111:電腦
ex112:遊戲機
ex113:攝像機
ex114:家電
ex115:智慧型手機
ex116:衛星
ex117:飛機
ex450:天線
ex451:發送/接收部
ex452:調變/解調部
ex453:多工/分離部
ex454:聲音訊號處理部
ex455:影像訊號處理部
ex456:聲音輸入部
ex457:聲音輸出部
ex458:顯示部
ex459:顯示器控制部(LCD控制部)
ex460:主控制部
ex461:電源電路部
ex462:操作輸入控制部
ex463:攝像機介面部
ex464:插槽部
ex465:攝像機部
ex466:操作部
ex467:記憶體部
ex468:SIM
ex500:LSI
Sa_1至Sa_10,Sb_1,Sc_1a至1c,Sc_2,Sd_1a,Sd_1b,Sd_2,Sd_3,Se_1至Se_4,Sf_1至Sf_5,Sg_1至Sg_5,Sh_1至Sh_3,Si_1,Si_2,Si_4,Si_5,Sj_1至Sj_6,Sk_1至Sk_3,Sl_1至Sl_4,Sm_1,Sm_2,Sn_1至Sn_5,So_1至So_4,Sp_1至Sp_7,Sq_1,Sr_1,Sr_2a至Sr_2c,Ss_1至Ss_5,S101至S108,S201至S206,,S301,S401,S501,S502,S601,S602,S701,S801,S901至S904,S1001至S1004,S1101,S1201,S1301至S1305,S1401至S1405,S1501至S1504,S1601至S1604,S1701至S1711,S1801至S1811:步驟
圖1是顯示實施形態之編碼裝置的功能構成的方塊圖。
圖2是顯示編碼裝置進行之整體的編碼處理的一例的流程圖。
圖3是顯示區塊分割之一例的概念圖。
圖4A是顯示切片之構成的一例的概念圖。
圖4B是顯示圖塊(tile)之構成之一例的概念圖。
圖5A是顯示對應於各式各樣的轉換類型之轉換基底函數的表。
圖5B是顯示SVT(Spatially Varying Transform/空間變化轉換)之一例的概念圖。
圖6A是顯示在ALF(adaptive loop filter/適應性迴路濾波器)使用的濾波器的形狀之一例的概念圖。
圖6B是顯示在ALF使用的濾波器的形狀之另外一例的概念圖。
圖6C是顯示在ALF使用的濾波器的形狀之另外一例的概念圖。
圖7是顯示作為DBF(deblocking filter/解區塊濾波器)發揮功能的迴路濾波部之詳細的構成的一例的方塊圖。
圖8是顯示對區塊邊界具有對稱的濾波特性之解區塊濾波器的例子的概念圖。
圖9是用於說明進行解區塊濾波處理之區塊邊界的概念圖。
圖10是顯示Bs值之一例的概念圖。
圖11是顯示在編碼裝置之預測處理部進行的處理之一例的流程圖。
圖12是顯示在編碼裝置之預測處理部進行的處理之另一例的流程圖。
圖13是顯示在編碼裝置之預測處理部進行的處理之另一例的流程圖。
圖14是顯示實施形態之內預測中的67個內預測模式之一例的概念圖。
圖15是顯示間預測的基本處理的流程之一例的流程圖。
圖16是顯示移動向量導出之一例的流程圖。
圖17是顯示移動向量導出之另一例的流程圖。
圖18是顯示移動向量導出之另一例的流程圖。
圖19是顯示一般間模式進行之間預測的例子的流程圖。
圖20是顯示合併模式進行之間預測的例子的流程圖。
圖21是用於說明合併模式進行之移動向量導出處理之一例的概念圖。
圖22是顯示FRUC(frame rate up conversion/幀速率向上轉換)處理之一例的流程圖。
圖23是用於說明在沿著移動軌跡的2個區塊間的樣式匹配(雙向匹配)之一例的概念圖。
圖24是用於說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)之一例的概念圖。
圖25A是用於說明以複數個鄰接區塊的移動向量為基準的子區塊單位的移動向量的導出之一例的概念圖。
圖25B是用於說明具有3個控制點之仿射模式中的子區塊單位的移動向量的導出之一例的概念圖。
圖26A是用於說明仿射合併模式的概念圖。
圖26B是用於說明具有2個控制點之仿射合併模式的概念圖。
圖26C是用於說明具有3個控制點之仿射合併模式的概念圖。
圖27是顯示仿射合併模式的處理之一例的流程圖。
圖28A是用於說明具有2個控制點之仿射間模式的概念圖。
圖28B是用於說明具有3個控制點之仿射間模式的概念圖。
圖29是顯示仿射間模式的處理之一例的流程圖。
圖30A是用於說明當前區塊具有3個控制點且鄰接區塊具有2個控制點之仿射間模式的概念圖。
圖30B是用於說明當前區塊具有2個控制點且鄰接區塊具有3個控制點之仿射間模式的概念圖。
圖31A是顯示包含有DMVR(decoder motion vector refinement/解碼器側移動向量細化)的合併模式的流程圖。
圖31B是用於說明DMVR處理之一例的概念圖。
圖32是顯示預測圖像的產生之一例的流程圖。
圖33是顯示預測圖像的產生之另一例的流程圖。
圖34是顯示預測圖像的產生之另一例的流程圖。
圖35是用於說明OBMC(overlapped block motion compensation/重疊區塊移動補償)處理進行的預測圖像補正處理之一例的流程圖。
圖36是用於說明OBMC處理進行的預測圖像補正處理之一例的概念圖。
圖37是用於說明2個三角形的預測圖像之產生的概念圖。
圖38是用於說明假設為等速直線運動的模型的概念圖。
圖39是用於說明使用了LIC(local illumination compensation/局部亮 度補償)處理的亮度補正處理之預測圖像產生方法的一例的概念圖。
圖40是顯示編碼裝置之安裝例的方塊圖。
圖41是顯示實施形態之解碼裝置的功能構成的方塊圖。
圖42是顯示解碼裝置進行之整體的解碼處理之一例的流程圖。
圖43是顯示在解碼裝置之預測處理部進行的處理之一例的流程圖。
圖44是顯示在解碼裝置之預測處理部進行的處理之另一例的流程圖。
圖45是顯示解碼裝置中之一般間模式進行的間預測的例子的流程圖。
圖46是顯示解碼裝置之安裝例的方塊圖。
圖47是顯示第1態樣之編碼裝置的使用量化矩陣(QM：Quantization Matrix)的編碼處理流程的一例的流程圖。
圖48是顯示第1態樣之解碼裝置的使用QM的解碼處理流程的一例的流程圖。
圖49是用來說明在圖47的步驟S102及圖48的步驟S202中，從正方形區塊用的QM產生長方形區塊用的QM的第1個例子的圖。
圖50是用來說明將在圖49說明的長方形區塊用的QM藉由從對應的正方形區塊用的QM向下轉換(down convert)來產生的方法的圖。
圖51是用來說明在圖47的步驟S102及圖48的步驟S202中，從正方形區塊用的QM產生長方形區塊用的QM的第2個例子的圖。
圖52是用來說明將在圖51說明的長方形區塊用的QM藉由從對應的正方形區塊用的QM向上轉換來產生的方法的圖。
圖53是顯示第2態樣之編碼裝置的使用QM的解碼處理流程的一例 的流程圖。
圖54是顯示第2態樣之解碼裝置的使用QM的解碼處理流程的一例的流程圖。
圖55是用來說明在圖53的S301及圖54的S401中，與於各區塊尺寸之有效的轉換係數區域的尺寸對應的QM的例子的圖。
圖56是顯示第2態樣的變形例之編碼裝置的使用QM的編碼處理流程的一例的流程圖。
圖57是顯示第2態樣之解碼裝置之使用QM的解碼處理流程的一例的流程圖。
圖58是用來說明在圖56的步驟S502及圖57的步驟S602中，從正方形區塊用的QM產生長方形區塊用的QM的第1個例子的圖。
圖59是用來說明將在圖58說明的長方形區塊用的QM藉由從對應的正方形區塊用的QM向下轉換來產生的方法的圖。
圖60是用來說明在圖56的步驟S502及圖57的步驟S602中，從正方形區塊用的QM產生長方形區塊用的QM的第2個例子的圖。
圖61是用來說明將在圖60說明的長方形區塊用的QM藉由從對應的正方形區塊用的QM向上轉換來產生的方法的圖。
圖62是顯示第3態樣之編碼裝置的使用QM的編碼處理流程的一例的流程圖。
圖63是顯示第3態樣之解碼裝置之使用QM的解碼處理流程的一例的流程圖。
圖64是用來說明在圖62的步驟S701及圖63的步驟S801中，在各區塊尺寸的處理對象區塊中，從只有對角成分的QM的量化加權係數的值，使用共通的方法來產生處理對象區塊的QM的方法的一例的圖。
圖65是用來說明在圖62的步驟S701及圖63的步驟S801中，在各區塊尺寸的處理對象區塊中，從只有對角成分的QM的量化加權係數的值，使用共通的方法來產生處理對象區塊的QM的方法的另一例的圖。
圖66是顯示第4態樣之編碼裝置的量化處理的動作的一例的流程圖。
圖67是顯示第4態樣之解碼裝置的反量化處理的動作的一例的流程圖。
圖68是顯示第5態樣之編碼裝置之使用QM的編碼處理流程的一例的流程圖。
圖69是顯示第5態樣之解碼裝置之使用QM的解碼處理流程的一例的流程圖。
圖70是用來說明在圖68的步驟S1101及圖69的步驟S1201中，在各區塊尺寸的處理對象區塊中，從低中域用及高域用的QM的量化加權係數的值，使用共通的方法來產生處理對象區塊的QM的方法的一例的圖。
圖71是用來說明在圖68的步驟S1101及圖69的步驟S1201中，在各區塊尺寸的處理對象區塊中，從低中域用及高域用的QM的量化加權係數的值，使用共通的方法來產生處理對象區塊的QM的方法的另一例的圖。
圖72是顯示產生將高域用的QM的量化加權係數的值以零填補的正方形區塊用的QM及長方形區塊用的QM的方法的第1例的圖。
圖73是顯示產生將高域用的QM的量化加權係數的值以零填補的正方形區塊用的QM及長方形區塊用的QM的方法的第2例的圖。
圖74是顯示第6態樣之編碼裝置的量化處理之動作的一例的流程圖。
圖75是顯示第6態樣之解碼裝置的反量化處理之動作的一例的流 程圖。
圖76是顯示第7態樣之編碼裝置的量化處理之動作的一例的流程圖。
圖77是顯示第7態樣之解碼裝置的反量化處理之動作的一例的流程圖。
圖78是顯示對一次轉換適用後的處理對象區塊的一部分區域的係數適用二次轉換時的量化或者反量化的例子的圖。
圖79是顯示編碼裝置進行的動作的流程圖。
圖80是顯示解碼裝置進行的動作的流程圖。
圖81是顯示實現內容(contents)發布服務之內容供給系統的整體構成的方塊圖。
圖82是顯示可調式(scalable)編碼時的編碼構造的一例的概念圖。
圖83是顯示可調式編碼時的編碼構造的一例的概念圖。
圖84是顯示網頁的顯示畫面例的概念圖。
圖85是顯示網頁的顯示畫面例的概念圖。
圖86是顯示智慧型手機的一例的方塊圖。
圖87是顯示智慧型手機的構成例的方塊圖。
[用以實施發明之形態]
本揭示的一態樣之編碼裝置具備：電路；及記憶體，連接於前述電路，前述電路在動作中，在第一編碼處理中，於對編碼對象區塊不進行二次轉換的情形下，在滿足預定的條件時，決定對前述編碼對象區塊適用量化矩陣，且對前述編碼對象區塊的複數個一次轉換係數使用前述量化矩陣來進行量化，在對前述編碼對象區塊進行二次轉換的情形下，在滿足前述預定的條件時，決定對前 述編碼對象區塊適用前述量化矩陣，且對前述編碼對象區塊的複數個二次轉換係數使用前述量化矩陣來進行量化。
藉此，編碼裝置不管二次轉換的適用可否，在滿足預定的條件時，仍對已適用二次轉換的編碼對象區塊適用量化矩陣，因此可提高主觀畫質。
例如，前述電路亦可進而切換前述第一編碼處理與第二編碼處理，在前述第二編碼處理中，在對前述編碼對象區塊可適用二次轉換的情形下，對前述編碼對象區塊不使用前述量化矩陣而進行量化處理，在對前述編碼對象區塊不可適用二次轉換的情形下，決定是否對前述編碼對象區塊適用前述量化矩陣，且根據前述決定來進行前述編碼對象區塊的量化。
藉此，編碼裝置在可適用二次轉換的編碼處理中，不管編碼對象區塊各自的二次轉換的適用有無，仍在不使用量化矩陣的狀態下進行量化，因此可提高主觀畫質。又，編碼裝置在不可適用二次轉換的編碼處理中，因應編碼對象區塊的一次轉換的適用有無，決定量化矩陣的適用可否，因此可對編碼對象區塊適當地進行量化。又，編碼裝置可切換第二編碼處理與上述的第一編碼處理，因此可因應編碼對象圖片，來更適當地執行量化處理。因此，編碼裝置可在量化矩陣的適用及非適用的兩者當中，一邊抑制主觀畫質的降低，一邊提高編碼效率。
例如，前述預定的條件亦可包含：(i)在SPS標頭包含表示已使用前述量化矩陣的量化處理為有效的旗標資訊；(ii)在切片標頭包含表示前述量化矩陣存在的旗標資訊；及(iii)對前述編碼對象區塊不略過一次轉換。
藉此，編碼裝置在於量化矩陣為有效的情形，且在對編碼對象區塊不略過一次轉換處理時，可對編碼對象區塊適用量化矩陣來進行量化。因此，編碼裝置可對編碼對象區塊適當地適用量化矩陣。
例如，前述電路亦可進而切換前述第一編碼處理、第二編碼處理 與第三編碼處理，在前述第三編碼處理中，在對前述編碼對象區塊進行一次轉換，且不進行二次轉換的情形下，對前述編碼對象區塊的複數個轉換係數使用前述量化矩陣來進行量化，在對前述編碼對象區塊不進行一次轉換的情形、以及進行一次轉換及二次轉換兩者的情形下，不使用前述量化矩陣而進行前述編碼對象區塊的量化。
藉此，編碼裝置在第三編碼處理中，在不使用量化矩陣的狀態下，對有即使適用量化矩陣亦不能獲得足夠的主觀畫質的調整效果的可能性的編碼對象區塊進行量化，因此能減少處理量。又，編碼裝置可對正交轉換後的編碼處理區塊的複數個預測殘差適當地適用量化矩陣，因此能獲得主觀畫質的調整效果。又，編碼裝置可切換第三編碼處理、上述的第一編碼處理與上述的第二編碼處理，因此能因應編碼對象圖片，更適當地執行量化處理。因此，編碼裝置可在量化矩陣的適用及非適用之兩者當中，一邊抑制主觀畫質的降低，一邊提高編碼效率。
例如，前述電路亦可在於前述編碼對象區塊的量化處理當中已決定適用前述量化矩陣時，在前述編碼對象區塊為長方形區塊的情形下，轉換對於正方形區塊的第1量化矩陣，藉此產生對於前述長方形區塊的第2量化矩陣，且對前述長方形區塊使用前述第2量化矩陣來進行量化。
藉此，編碼裝置可從對應於正方形區塊的第1量化矩陣來產生對應於長方形區塊的第2量化矩陣，因此沒有必要將對應於長方形區塊的第2量化矩陣編碼。進而，編碼裝置不增加編碼量也能對長方形區塊使用適當的量化矩陣。因此，編碼裝置能有效率地對各式各樣的形狀的長方形區塊進行量化，因此能提高編碼效率。
又，本揭示的一態樣之解碼裝置具備：電路；及記憶體，連接於前述電路，前述電路在動作中，在第一解碼處理中，在對解碼對象區塊不進行 反二次轉換的情形下，於滿足預定的條件時，決定對前述解碼對象區塊適用量化矩陣，且對前述解碼對象區塊的複數個量化係數使用前述量化矩陣來進行反量化，在對前述解碼對象區塊進行反二次轉換的情形下，於滿足預定的條件時，決定對前述解碼對象區塊適用前述量化矩陣，且對前述解碼對象區塊的複數個量化係數使用前述量化矩陣來進行反量化。
藉此，解碼裝置不管反二次轉換的適用可否，在滿足預定的條件時，仍對適用反二次轉換的解碼對象區塊適用量化矩陣，因此可提高主觀畫質。
例如，前述電路亦可進而切換前述第一解碼處理與第二解碼處理，在前述第二解碼處理中，在對前述解碼對象區塊可適用反二次轉換的情形下，且對前述解碼對象區塊不使用前述量化矩陣來進行反量化處理，在對前述解碼對象區塊不可適用反二次轉換的情形下，決定是否對前述解碼對象區塊適用前述量化矩陣，且根據前述決定來進行前述解碼對象區塊的反量化。
藉此，解碼裝置在可適用反二次轉換的編碼處理中，不管解碼對象區塊各自的反二次轉換的適用有無，仍在不使用量化矩陣的狀態下進行反量化，因此可提高主觀畫質。又，解碼裝置在不可適用反二次轉換的解碼處理中，因應解碼對象區塊的反一次轉換的適用有無，決定量化矩陣的適用可否，因此可對解碼對象區塊適當地進行反量化。又，解碼裝置可切換第二解碼處理與上述的第一解碼處理，因此可因應解碼對象圖片，來更適當地執行反量化處理。因此，解碼裝置可在量化矩陣的適用及非適用的兩者當中，一邊抑制主觀畫質的降低，一邊提高處理效率。
例如，前述預定的條件亦可包含：(i)在SPS標頭包含表示已使用前述量化矩陣的前述反量化處理為有效的旗標資訊；(ii)在切片標頭包含表示前述量化矩陣存在的旗標資訊；及(iii)對前述解碼對象區塊不略過反一次轉換。
藉此，解碼裝置可在量化矩陣為有效的情形，且在對於解碼對象 矩陣不略過反一次轉換處理的情形下，對解碼對象區塊適用量化矩陣來進行反量化。因此，解碼裝置可對解碼對象區塊，適當地適用量化矩陣。
例如，前述電路亦可進而切換前述第一解碼處理、第二解碼處理與第三解碼處理，在前述第三解碼處理中，在對前述解碼對象區塊進行反一次轉換，且不進行反二次轉換的情形下，對前述解碼對象區塊的複數個量化係數使用前述量化矩陣來進行反量化，在對前述解碼對象區塊不進行反一次轉換的情形、以及進行反一次轉換及反二次轉換兩者的情形下，不使用前述量化矩陣而進行前述解碼對象區塊的反量化。
藉此，解碼裝置在第三解碼處理中，對有著即使適用量化矩陣也不能獲得足夠的主觀畫質的調整效果的可能性的解碼對象區塊，在不使用量化矩陣的狀態下進行反量化，因此使處理量減少。又，解碼裝置可以對於正交轉換後量化並編碼的解碼對象區塊適當地適用量化矩陣，因此能獲得主觀畫質的調整效果。又，解碼裝置可以切換第三解碼處理、上述的第一解碼處理與上述的第二解碼處理，因此可因應解碼對象圖片，更適當地執行反量化處理。因此，解碼裝置在量化矩陣的適用及非適用的兩者當中，可一邊抑制主觀畫質的降低，一邊提高處理效率。
例如，前述電路亦可在於前述解碼對象區塊的反量化處理中決定適用前述量化矩陣時，於前述解碼對象區塊為長方形區塊的情形下，轉換對於正方形區塊的第1量化矩陣，藉此產生對於前述長方形區塊的第2量化矩陣，且對前述長方形區塊使用前述第2量化矩陣來進行反量化。
藉此，解碼裝置可從對應於正方形區塊的第1量化矩陣來產生對應於長方形區塊的第2量化矩陣，因此沒有將對應於長方形區塊的第2量化矩陣解碼的必要。進而，解碼裝置可在不增加處理量的狀態下，對於長方形區塊也能使用適當的量化矩陣。因此，解碼裝置能對於各式各樣形狀的長方形區塊有效 率地進行量化，所以能提高處理效率。
又，本揭示的一態樣之編碼方法，在第一編碼處理中，在對編碼對象區塊不進行二次轉換的情形下，於滿足預定的條件時，決定對前述編碼對象區塊適用量化矩陣，且對前述編碼對象區塊的複數個一次轉換係數使用前述量化矩陣來進行量化，在對前述編碼對象區塊進行二次轉換的情形下，於滿足預定的條件時，決定對前述編碼對象區塊適用前述量化矩陣，且對前述編碼對象區塊的複數個二次轉換係數使用前述量化矩陣來進行量化。
藉此，執行編碼方法的裝置等不管二次轉換的適用可否，在滿足預定的條件時，仍對已適用二次轉換的編碼對象區塊適用量化矩陣，因此可提高主觀畫質。
又，本揭示的一態樣之解碼方法，在第一解碼處理中，在對解碼對象區塊不進行反二次轉換的情形下，於滿足預定的條件時，決定對前述解碼對象區塊適用量化矩陣，且對前述解碼對象區塊的複數個量化係數使用前述量化矩陣來進行反量化，在對前述解碼對象區塊進行反二次轉換的情形下，於滿足預定的條件時，決定對前述解碼對象區塊適用前述量化矩陣，且對前述解碼對象區塊的複數個量化係數使用前述量化矩陣來進行反量化。
藉此，執行解碼方法的裝置等不管反二次轉換的適用可否，在滿足預定的條件時，仍對已適用反二次轉換的解碼對象區塊適用量化矩陣，因此可提高主觀畫質。
進而，該等概括的或具體的態樣也可以系統、裝置、方法、積體電路、電腦程式、或電腦可讀取之CD-ROM等非暫時性的記錄媒體來實現，或以系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
以下，一邊參考圖式，一邊具體地說明實施形態。另，以下所說明的實施形態均表示概括的或具體的範例。以下實施形態所示的數值、形狀、 材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的關係及順序等只是一例，其主旨不在於限定申請專利範圍。
以下說明編碼裝置及解碼裝置的實施形態。實施形態是可適用本揭示的各態樣中所說明的處理及/或構成的編碼裝置及解碼裝置的例子。處理及/或構成也可在與實施形態不同的編碼裝置及解碼裝置中實施。例如，關於對實施形態適用的處理及/或構成，例如也可以實施以下的任一項。
(1)本揭示之各態樣中所說明的實施形態之編碼裝置或解碼裝置的複數個構成要素當中的任一構成要素，亦可與本揭示之各態樣的任一態樣中所說明的其他構成要素置換或組合。
(2)在實施形態之編碼裝置或解碼裝置中，亦可對藉由該編碼裝置或解碼裝置的複數個構成要素當中一部分的構成要素進行的功能或處理，進行功能或處理的追加、置換、刪除等任意的變更。例如，任一功能或處理，亦可與本揭示之各態樣的任一態樣中所說明的其他功能或處理置換或組合。
(3)在實施形態之編碼裝置或解碼裝置所實施的方法中，亦可針對該方法所包含的複數個處理當中一部分的處理，進行追加、置換及刪除等任意的變更。例如，方法中的任一處理，亦可與本揭示之各態樣的任一態樣中所說明的其他處理置換或組合。
(4)構成實施形態之編碼裝置或解碼裝置的複數個構成要素當中一部分的構成要素，亦可與本揭示之各態樣的任一態樣中所說明的構成要素組合，亦可與具備有本揭示之各態樣的任一態樣中所說明的功能的一部分的構成要素組合，亦可與實施本揭示之各態樣中所說明的構成要素所實施的處理的一部分的構成要素組合。
(5)具備有實施形態之編碼裝置或解碼裝置的功能的一部分的構成要素、或實施實施形態之編碼裝置或解碼裝置的處理的一部分的構成要素， 亦可與本揭示之各態樣的任一態樣中所說明的構成要素、具備有本揭示之各態樣的任一態樣中所說明的功能的一部分的構成要素、或實施本揭示之各態樣的任一態樣中所說明的處理的一部分的構成要素組合或置換。
(6)在實施形態之編碼裝置或解碼裝置所實施的方法中，亦可讓該方法所包含的複數個處理之任一處理，與本揭示之各態樣的任一態樣中所說明的處理、或同樣的任一處理置換或組合。
(7)實施形態之編碼裝置或解碼裝置所實施的方法所包含的複數個處理當中一部分的處理，亦可與本揭示之各態樣的任一態樣中所說明的處理組合。
(8)本揭示之各態樣中所說明的處理及/或構成的實施方法，並不限定於實施形態之編碼裝置或解碼裝置。例如，處理及/或構成亦可實施於與實施形態中所揭示的動態圖像編碼或動態圖像解碼以不同目的來利用的裝置中。
[編碼裝置]
首先，說明實施形態之編碼裝置。圖1是顯示實施形態之編碼裝置100的功能構成的方塊圖。編碼裝置100是以區塊單位來將動態圖像編碼的動態圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位來將圖像編碼的裝置，具備：分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、幀記憶體122、內預測部124、間預測部126、及預測控制部128。
編碼裝置100是藉由例如通用處理器及記憶體來實現。此情況下，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128而發 揮功能。又，亦可利用專用之1個以上的電子電路來實現編碼裝置100，且前述專用之1個以上的電子電路對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128。
以下說明編碼裝置100整體的處理流程，之後再說明編碼裝置100包含的各構成要素。
[編碼處理的整體流程]
圖2是顯示編碼裝置100進行之整體的編碼處理的一例之流程圖。
首先，編碼裝置100的分割部102將動態圖像即輸入圖像所包含的各圖片分割成複數個固定尺寸的區塊(例如128×128像素)(步驟Sa_1)。接著，分割部102對該固定尺寸的區塊選擇分割樣式(又稱為區塊形狀)(步驟Sa_2)。也就是說，分割部102進一步將固定尺寸的區塊分割成構成該已選擇之分割樣式的複數個區塊。接著，編碼裝置100針對該等複數個區塊的各區塊，對該區塊(亦即編碼對象區塊)進行步驟Sa_3至Sa_9的處理。
也就是說，由內預測部124、間預測部126及預測控制部128的全部或一部分所構成的預測處理部，會產生編碼對象區塊(又稱為當前區塊)的預測訊號(又稱為預測區塊)(步驟Sa_3)。
其次，減法部104產生編碼對象區塊與預測區塊的差分，來作為預測殘差(又稱為差分區塊)(步驟Sa_4)。
其次，轉換部106及量化部108對該差分區塊進行轉換及量化，藉此產生複數個量化係數(步驟Sa_5)。另，由複數個量化係數所構成的區塊又稱為係數區塊。
其次，熵編碼部110對該係數區塊與有關預測訊號之產生的預測參數進行編碼(具體而言是熵編碼)，藉此產生編碼訊號(步驟Sa_6)。另，編碼訊號 又稱為編碼位元流、壓縮位元流或者串流。
其次，反量化部112及反轉換部114對係數區塊進行反量化及反轉換，藉此復原複數個預測殘差(亦即差分區塊)(步驟Sa_7)。
其次，加法部116對該已復原之差分區塊加上預測區塊，藉此將當前區塊重構成重構圖像(又稱為重構區塊或解碼圖像區塊)(步驟Sa_8)。藉此，產生重構圖像。
當此重構圖像產生後，迴路濾波部120因應需要而對該重構圖像進行濾波(步驟Sa_9)。
接著，編碼裝置100判定圖片整體的編碼是否已結束(步驟Sa_10)，當判定為尚未結束時(步驟Sa_10的否)，重複執行從步驟Sa_2開始的處理。
另，在上述的例子中，編碼裝置100雖然對固定尺寸的區塊選擇1個分割樣式，並依照該分割樣式進行各區塊的編碼，但亦可依照複數種分割樣式的各樣式來進行各區塊的編碼。在此情況下，編碼裝置100亦可評價對於複數種分割樣式的各樣式的成本，並選擇依據例如最小成本之分割樣式進行編碼所得的編碼訊號，來作為要輸出的編碼訊號。
如圖所示，該等步驟Sa_1至Sa_10之處理是藉由編碼裝置100依序進行。或，亦可並列地進行該等處理當中一部分的複數個處理，亦可進行該等處理之順序的對調等。
[分割部]
分割部102將輸入動態圖像所包含的各圖片分割成複數個區塊，並將各區塊輸出至減法部104。例如，分割部102首先將圖片分割成固定尺寸(例如128x128)的區塊。亦可採用其他的固定區塊尺寸。此固定尺寸的區塊有時稱為編碼樹單元(CTU)。接著，分割部102根據例如遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的各個區塊分割成可變尺寸(例如64×64以下)的區塊。亦即，分割部102選擇分割樣式。此可變尺寸的區塊有時稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另，於各種處理例，亦可不必區分CU、PU及TU，而使圖片內的一部分或全部區塊成為CU、PU、TU的處理單位。
圖3是顯示實施形態之區塊分割的一例的概念圖。在圖3中，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。
在此，區塊10為128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊進一步垂直分割成2個矩形的32×64區塊，左邊的32×64區塊進一步垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上的64×64區塊分割成2個16×64區塊11、12，及32×64區塊13。
右上的64×64區塊水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中，左上的區塊及右下的區塊被進一步分割。左上的32×32區塊垂直分割成2個矩形的16×32區塊，右邊的16×32區塊進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊被水平分割成2個32×16區塊(二元樹區塊分割)。其結果，左下的64×64區塊被分割成16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。
右下的64×64區塊23不分割。
如上，在圖3中，區塊10是根據遞迴性的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11至23。如此分割，有時亦被稱為QTBT(quad-tree plus binary tree/四元樹加二元樹)分割。
另，在圖3中，1個區塊是被分割成4個或者2個區塊(四元樹或者二 元樹區塊分割)，但分割並不限於這些。例如，1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包含三元樹區塊分割的分割有時亦被稱為MBT(multi type tree/多類型樹)分割。
[圖片的構成 切片/圖塊]
為了將圖片並列地進行解碼，圖片有時以切片(slice)單位或者圖塊(tile)單位來構成。由切片單位或者圖塊單位構成的圖片也可藉由分割部102來構成。
切片是構成圖片之基本的編碼單位。圖片例如由1個以上的切片所構成。又，切片是由1個以上的連續之CTU(Coding Tree Unit/編碼樹單元)所構成。
圖4A是顯示切片的構成的一例之概念圖。例如，圖片包含有11×8個CTU，且被分割成4個切片(切片1至4)。切片1是由16個CTU所構成，切片2是由21個CTU所構成，切片3是由29個CTU所構成，切片4是由22個CTU所構成。在此，圖片內的各CTU是屬於任一個切片。切片的形狀形成為沿水平方向分割圖片的形狀。切片的邊界不必在畫面端，在畫面內的CTU的邊界當中的任何地方都可以。切片之中的CTU的處理順序(編碼順序或者解碼順序)，例如為逐線掃描(raster scan)順序。又，切片包含標頭資訊及編碼資料。標頭資訊中也可記述切片的開頭的CTU位址、切片類型等該切片的特徵。
圖塊為構成圖片之矩形區域的單位。對各圖塊，也可以按照逐線掃描順序來分配稱為TileId的號碼。
圖4B是顯示圖塊之構成的一例的概念圖。例如，圖片包含有11×8個CTU，且被分割成4個矩形區域的圖塊(圖塊1至4)。比起不使用圖塊的時候，在使用圖塊時，會變更CTU的處理順序。在不使用圖塊時，圖片內的複數個CTU是按照逐線掃描順序來處理。在使用圖塊時，在複數個圖塊之各個中，至少1個CTU會按照逐線掃描順序來處理。例如圖4B所示，圖塊1所含的複數個CTU的處理順序是：從圖塊1的第1列左端朝向圖塊1的第1列右端為止，接著從圖塊1的第 2列左端朝向圖塊1的第2列右端為止的順序。
另，1個圖塊有包含1個以上之切片的時候，1個切片有包含1個以上之圖塊的時候。
[減法部]
減法部104以從分割部102輸入且藉分割部102所分割的區塊單位，從原訊號(原樣本)減去預測訊號(從後文中所示的預測控制部128輸入的預測樣本)。也就是說，減法部104算出編碼對象區塊(以下稱為當前區塊)的預測誤差(也稱為殘差)。然後，減法部104將算出的預測誤差(殘差)輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號，為表示構成動態圖像之各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下，有時也將表示圖像的訊號稱為樣本。
[轉換部]
轉換部106將空間域的預測誤差轉換成頻率域的轉換係數，且將轉換係數輸出至量化部108。具體來說，轉換部106例如對空間域的預測誤差進行預定的離散餘弦轉換(DCT)或者離散正弦轉換(DST)。預定的DCT或者DST也可事先決定。
另，轉換部106也可從複數個轉換類型之中適應性地選擇轉換類型，且使用對應於所選擇的轉換類型之轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。如此之轉換有時被稱為EMT(explicit multiple core transform/顯式多重核心轉換)或者AMT(adaptive multiple transform/適應性多重轉換)。
複數個轉換類型例如包含有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖5A是顯示對應於轉換類型例之轉換基底函數的表格。在圖5A中，N表示輸入像素數。從該等複數個轉換類型之中的轉換類型的選擇，例如也可依據預測的種類(內預測及間預測)，也可依據內預測模式。
如此的表示是否適用EMT或者AMT之資訊(例如稱為EMT旗標或者AMT旗標)以及表示已選擇的轉換類型之資訊，通常是以CU級別來訊號化。另，該等資訊的訊號化不必限定在CU級別，也可為其他級別(例如位元序列(bit sequence)級別、圖片(picture)級別、切片(slice)級別、圖塊(tile)級別或者CTU級別)。
又，轉換部106也可將轉換係數(轉換結果)進行再轉換。如此的再轉換有時稱為AST(adaptive secondary transform/適應性二次轉換)或者NSST(non-separable secondary transform/不可分離二次轉換)。例如，轉換部106是依對應於內預測誤差之轉換係數的區塊所含之各個子區塊(例如4×4子區塊)進行再轉換。表示是否適用NSST之資訊及有關於使用在NSST之轉換矩陣之資訊，通常是以CU級別來訊號化。另，該等資訊的訊號化不必限定在CU級別，也可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或者CTU級別)。
在轉換部106中，也可適用可分離(Separable)的轉換及不可分離(Non-Separable)的轉換。可分離的轉換是指依方向分離輸入的維數來進行複數次轉換的方式，不可分離的轉換是指在輸入為多維時，將2個以上的維度匯整視為1維，再一起進行轉換的方式。
例如，可舉以下例來作為不可分離轉換的一例：在輸入為4×4區塊時，將前述區塊視為具有16個要素的一個陣列，且以16×16的轉換矩陣對前述陣列進行轉換處理。
又，在不可分離轉換之更進一步的例子中，亦可在將4×4輸入區塊視為具有16個要素的一個陣列後，進行如對該陣列進行複數次吉文斯(Givens)旋轉之轉換(Hypercube Givens Transform/超立方體吉文斯轉換)。
於轉換部106的轉換中，也可因應於CU內的區域來切換轉換成頻率域的基底之類型。舉一例來說，有SVT(Spatially Varying Transform/空間變化轉換)。在SVT中，如圖5B所示，沿水平或垂直方向將CU分成2等分，只對其中 一邊的區域進行往頻率域的轉換。轉換基底的類型可依每個區域設定，例如可使用DST7與DCT8。於本例，在CU內的2個區域中，只進行其中一邊的轉換，另一邊則不進行轉換，但也可2個區域都轉換。又，分割方法也不只有2等分，亦可為4等分，或採用更靈活的方法，將表示分割的資訊另外編碼再與CU分割同樣地傳訊等。另，SVT有時也稱為SBT(Sub-block Transform/子區塊轉換)。
[量化部]
量化部108將從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序來掃描當前區塊的轉換係數，根據對應於已掃描的轉換係數的量化參數(QP)，而將該轉換係數進行量化。然後，量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。預定的掃描順序亦可事先決定。
預定的掃描順序是轉換係數之量化/反量化用的順序。例如，預定的掃描順序亦可是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)來定義。
量化參數(QP)是定義量化步距(量化寬度)的參數。例如，若增加量化參數之值，則量化步距亦增加。也就是說，若量化參數之值增加，則量化誤差增大。
又，量化有時會使用量化矩陣。例如，有時會對應於4×4及8×8等之頻率轉換尺寸、內預測及間預測等之預測模式、亮度及色差等之像素成分，來使用數種類的量化矩陣。另，量化是指讓以預定的間隔取樣的值與預定的級別相對應並進行數位化，在本技術領域中，既可使用取整、捨入(rounding)、縮放(scaling)之類的其他表現方式來參考，亦可採用取整、捨入、縮放。預定的間隔及級別亦可事先決定。
作為使用量化矩陣的方法，有使用在編碼裝置側直接設定的量化 矩陣之方法、及使用預設的量化矩陣(預設矩陣/default matrix)之方法。藉由在編碼裝置側直接設定量化矩陣，可設定因應於圖像的特徵之量化矩陣。然而此情況下，有因為量化矩陣之編碼而造成編碼量增加的缺點。
另一方面，也有不使用量化矩陣而將高頻成分的係數及低頻成分的係數都同樣進行量化的方法。另，此方法等同於使用係數全部為相同值的量化矩陣(平面的矩陣)之方法。
也可利用例如SPS(序列參數集/Sequence Parameter Set)或PPS(圖片參數集/Picture Parameter Set)來指定量化矩陣。SPS包含可對序列使用的參數，PPS包含可對圖片使用的參數。SPS及PPS有時單純稱為參數集。
[熵編碼部]
熵編碼部110根據從量化部108輸入的量化係數來產生編碼訊號(編碼位元流)。具體來說，熵編碼部110例如將量化係數二值化，將二值訊號予以算術編碼，並輸出經壓縮的位元流或序列。
[反量化部]
反量化部112將從量化部108輸入的量化係數反量化。具體而言，反量化部112以預定的掃描順序來將當前區塊的量化係數反量化。接著，反量化部112將當前區塊之經反量化的轉換係數輸出至反轉換部114。預定的掃描順序亦可事先決定。
[反轉換部]
反轉換部114將從反量化部112輸入的轉換係數反轉換，藉此復原預測誤差(殘差)。具體來說，反轉換部114藉由對轉換係數進行與轉換部106的轉換相對應的反轉換，來復原當前區塊的預測誤差。接著，反轉換部114將經復原的預測誤差輸出至加法部116。
另，由於經復原的預測誤差通常會因為量化而失去資訊，因此不 會與減法部104所算出的預測誤差一致。亦即，經復原的預測誤差通常包含有量化誤差。
[加法部]
加法部116將從反轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本相加，藉此來重構當前區塊。接著，加法部116將重構的區塊輸出至區塊記憶體118及迴路濾波部120。重構區塊有時亦稱為局部(local)解碼區塊。
[區塊記憶體]
區塊記憶體118是用以儲存例如以下區塊的記憶部：在內預測中參考的區塊，並且是編碼對象圖片(稱為當前圖片)內的區塊。具體來說，區塊記憶體118儲存從加法部116輸出的重構區塊。
[幀記憶體]
幀記憶體122例如是用於儲存在間預測中使用的參考圖片之記憶部，有時也稱為幀緩衝器。具體而言，幀記憶體122儲存已藉由迴路濾波部120濾波的重構區塊。
[迴路濾波部]
迴路濾波部120對藉由加法部116重構的區塊施加迴路濾波器，將經濾波的重構區塊輸出至幀記憶體122。迴路濾波器是在編碼迴路內使用的濾波器(迴路內濾波器/In-loop filter)，包含有例如解區塊濾波(DF或DBF)、樣本適應性偏移(SAO/Sample Adaptive Offset)、及適應性迴路濾波器(ALF/Adaptive Loop Filter)等。
在ALF中是適用用來移除編碼失真的最小平方誤差濾波，來對例如當前區塊內的每個2×2子區塊，適用根據局部梯度(gradient)之方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。
具體而言，首先將子區塊(例如2×2子區塊)分類成複數個組別(例如 15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0至2或0至4)及梯度的活性值A(例如0至4)來算出分類值C(例如C=5D+A)。接著，根據分類值C將子區塊分類成複數個組別。
梯度的方向值D例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度而導出。又，梯度的活性值A例如是對複數個方向的梯度進行加法，再將加法結果藉由量化來導出。
根據這樣的分類結果，從複數個濾波器中決定子區塊用的濾波器。
作為在ALF使用的濾波器形狀，可利用例如圓對稱形狀。圖6A至圖6C是顯示在ALF使用的濾波器形狀的複數個例子之圖。圖6A顯示5×5菱形形狀濾波器，圖6B顯示7×7菱形形狀濾波器，圖6C顯示9×9菱形形狀濾波器。顯示濾波器形狀的資訊通常是以圖片級別訊號化。另，顯示濾波器形狀的資訊之訊號化不必限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別或CU級別)。
ALF的開啟/關閉亦可以例如圖片級別或CU級別來決定。例如，針對亮度亦可以CU級別決定是否適用ALF，針對色差亦可以圖片級別決定是否適用ALF。顯示ALF之開啟/關閉的資訊通常是以圖片級別或CU級別來訊號化。 另，表示ALF之開啟/關閉的資訊之訊號化不必限定在圖片級別或CU級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別或CTU級別)。
可選擇的複數個濾波器(例如到15個或25個的濾波器)之係數集通常是以圖片級別訊號化。另，係數集之訊號化不必限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別、CU級別或子區塊級別)。
[迴路濾波部>解區塊濾波器]
在解區塊濾波器中，迴路濾波部120對重構圖像的區塊邊界進行濾波處理，藉此減少該區塊邊界產生的失真。
圖7是顯示作為解區塊濾波器來發揮功能的迴路濾波部120的詳細構成的一例之方塊圖。
迴路濾波部120具備：邊界判定部1201、濾波判定部1203、濾波處理部1205、處理判定部1208、濾波特性決定部1207、開關1202、1204及1206。
邊界判定部1201判定欲進行解區塊濾波處理的像素(即對象像素)是否存在於區塊邊界附近。接著，邊界判定部1201將其判定結果輸出至開關1202及處理判定部1208。
在藉由邊界判定部1201判定為對象像素存在於區塊邊界附近時，開關1202將濾波處理前的圖像輸出至開關1204。反之，在藉由邊界判定部1201判定為對象像素不存在於區塊邊界附近時，開關1202將濾波處理前的圖像輸出至開關1206。
濾波判定部1203根據位在對象像素的周邊之至少1個周邊像素的像素值，來判定是否對對象像素進行解區塊濾波處理。接著，濾波判定部1203將其判定結果輸出至開關1204及處理判定部1208。
在藉由濾波判定部1203判定為對對象像素進行解區塊濾波處理時，開關1204將已透過開關1202取得的濾波處理前的圖像輸出至濾波處理部1205。反之，在藉由濾波判定部1203判定為不對對象像素進行解區塊濾波處理時，開關1204將已透過開關1202取得的濾波處理前的圖像輸出至開關1206。
濾波處理部1205在已透過開關1202及1204取得濾波處理前的圖像時，對對象像素執行解區塊濾波處理，其中前述解區塊濾波處理具有已藉由濾波特性決定部1207所決定的濾波特性。接著，濾波處理部1205將該濾波處理後的像素輸出至開關1206。
開關1206因應於處理判定部1208的控制，選擇性地輸出未被解區塊濾波處理的像素、與已藉由濾波處理部1205解區塊濾波處理過的像素。
處理判定部1208根據邊界判定部1201及濾波判定部1203各自的判定結果來控制開關1206。也就是說，在藉由邊界判定部1201判定為對象像素存在於區塊邊界附近，且，藉由濾波判定部1203判定為對對象像素進行解區塊濾波處理時，處理判定部1208讓經解區塊濾波處理的像素從開關1206輸出。又，在上述的情形以外的情形時，處理判定部1208讓未經解區塊濾波處理的像素從開關1206輸出。藉由重複進行這樣的像素之輸出，從開關1206輸出濾波處理後的圖像。
圖8是顯示對區塊邊界具有對稱的濾波特性之解區塊濾波器的例子之概念圖。
在解區塊濾波處理中，例如使用像素值與量化參數來選擇特性相異的2個解區塊濾波器，即選擇強濾波器及弱濾波器中之任一種濾波器。在強濾波器中，如圖8所示，當夾著區塊邊界存在有像素p0至p2及像素q0至q2時，藉由進行例如以下數式所示的運算，來將像素q0至q2之各自的像素值變更成像素值q’0至q’2。
q’0=(p1+2×p0+2×q0+2×q1+q2+4)/8
q’1=(p0+q0+q1+q2+2)/4
q’2=(p0+q0+q1+3×q2+2×q3+4)/8
另，在上述數式中，p0至p2及q0至q2是像素p0至p2及像素q0至q2各自的像素值。又，q3是在區塊邊界的相反側鄰接於像素q2的像素q3之像素值。又，在上述各數式的右邊，與解區塊濾波處理中使用的各像素的像素值相乘的係數為濾波係數。
進而，在解區塊濾波處理中，為了不讓運算後的像素值設定成超過閾值，也可進行剪裁(clip)處理。在此剪裁處理中，依上述數式進行之運算後的像素值是使用由量化參數決定的閾值，來剪裁成「運算對象像素值±2×閾值」。 藉此，可防止過度的平滑化。
圖9是用以說明進行解區塊濾波處理之區塊邊界的概念圖。圖10是顯示Bs值之一例的概念圖。
進行解區塊濾波處理的區塊邊界，例如為如圖9所示的8×8像素區塊的PU(Prediction Unit/預測單元)或者TU(Transform Unit/轉換單元)的邊界。解區塊濾波處理能以4列或者4行為單位來進行。首先，對於圖9所示的區塊P及區塊Q，如圖10所示地決定Bs(Boundary Strength/邊界強度)值。
就算屬於同一圖像的區塊邊界，依照圖10的Bs值，也能決定是否進行不同強度的解區塊濾波處理。對於色差訊號的解區塊濾波處理是在Bs值為2的時候進行。對於亮度訊號之解區塊濾波處理是在Bs值為1以上且滿足預定的條件的時候進行。預定的條件亦可事先訂定。另，Bs值的判定條件不限定於圖10所示者，也可根據其他參數來決定。
[預測處理部(內預測部、間預測部、預測控制部)]
圖11是顯示以編碼裝置100的預測處理部進行的處理之一例的流程圖。另，預測處理部是由內預測部124、間預測部126及預測控制部128的全部或者一部分的構成要素所構成。
預測處理部產生當前區塊的預測圖像(步驟Sb_1)。該預測圖像也稱為預測訊號或者預測區塊。另，預測訊號例如有內預測訊號或者間預測訊號。具體來說，預測處理部使用藉由進行預測區塊的產生、差分區塊的產生、係數區塊的產生、差分區塊的復原及解碼圖像區塊的產生而已得到的重構圖像，來產生當前區塊的預測圖像。
重構圖像例如可為參考圖片之圖像，也可為包含有當前區塊的圖片即當前圖片內的編碼完畢的區塊之圖像。當前圖片內的編碼完畢的區塊例如為當前區塊的鄰接區塊。
圖12是顯示在編碼裝置100之預測處理部進行的處理之另一例的流程圖。
預測處理部以第1方式產生預測圖像(步驟Sc_1a)，以第2方式產生預測圖像(步驟Sc_1b)，以第3方式產生預測圖像(步驟Sc_1c)。第1方式、第2方式及第3方式為用於產生預測圖像之互相不同的方式，分別也可為例如間預測方式、內預測方式、及該等以外的預測方式。在這些預測方式中，亦可使用上述之重構圖像。
其次，預測處理部選擇步驟Sc_1a、Sc_1b及Sc_1c所產生的複數個預測圖像之中的任一者(步驟Sc_2)。該預測圖像的選擇，即用於得到最終的預測圖像的方式或者模式的選擇，也可算出對於已產生的各預測圖像的成本，且根據該成本來進行。或者，該預測圖像的選擇也可根據使用於編碼的處理的參數來進行。編碼裝置100也可將用於特定出該已選擇的預測圖像、方式或者模式的資訊進行訊號化，使其成為編碼訊號(也稱為編碼位元流)。該資訊也可為例如旗標等。藉此，解碼裝置可根據該資訊，依照在編碼裝置100中所選擇的方式或者模式，來產生預測圖像。另，在圖12所示的例子中，預測處理部在以各方式產生預測圖像之後，選擇任一個預測圖像。惟，預測處理部也可在產生該等預測圖像之前，根據使用於上述之編碼之處理的參數，選擇方式或者模式，依照該方式或者模式，來產生預測圖像。
例如，第1方式及第2方式亦可分別為內預測及間預測，且預測處理部從依照該等預測方式所產生的預測圖像中，來選擇對於當前區塊之最終的預測圖像。
圖13是顯示在編碼裝置100之預測處理部進行的處理之另一例的流程圖。
首先，預測處理部藉由內預測來產生預測圖像(步驟Sd_1a)，且藉 由間預測來產生預測圖像(步驟Sd_1b)。另，藉由內預測所產生的預測圖像也稱為內預測圖像，藉由間預測所產生的預測圖像也稱為間預測圖像。
其次，預測處理部分別評價內預測圖像及間預測圖像(步驟Sd_2)。在此評價中亦可使用成本。也就是說，預測處理部算出內預測圖像及間預測圖像各自的成本C。此成本C可藉由R-D最佳化模型的數式，例如C=D+λ×R來算出。在此數式中，D為預測圖像的編碼失真，且藉由例如當前區塊的像素值與預測圖像的像素值之絕對差值和等來表示。又，R為預測圖像的產生編碼量，具體而言為用以產生預測圖像的移動資訊等編碼所需要的編碼量等。又，λ例如為拉格朗日(Lagrange)乘數。
接著，預測處理部從內預測圖像及間預測圖像，選擇算出了最小成本C的預測圖像，來作為當前區塊之最終的預測圖像(步驟Sd_3)。也就是說，選擇用以產生當前區塊的預測圖像之預測方式或模式。
[內預測部]
內預測部124參考已儲存於區塊記憶體118的當前圖片內之區塊，進行當前區塊的內預測(也稱為畫面內預測)，藉此產生預測訊號(內預測訊號)。具體而言，內預測部124參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)來進行內預測，藉此產生內預測訊號，且將內預測訊號輸出至預測控制部128。
例如，內預測部124使用規定之複數個內預測模式中的1個來進行內預測。複數個內預測模式通常包含1個以上的非方向性預測模式與複數個方向性預測模式。規定的複數個模式亦可事先規定。
1個以上的非方向性預測模式包含有例如以H.265/HEVC標準所規定的平面(Planar)預測模式及直流(DC)預測模式。
複數個方向性預測模式例如包含以H.265/HEVC標準所規定之33個方向的預測模式。另，複數個方向性預測模式除了33個方向外，亦可進一步 包含32個方向的預測模式(合計65個方向性預測模式)。圖14是顯示內預測中可使用之共67個的內預測模式(2個非方向性預測模式及65個方向性預測模式)之概念圖。實線箭頭表示以H.265/HEVC標準規定的33個方向，虛線箭頭表示追加的32個方向(2個非方向性預測模式未圖示於圖14)。
於各種處理例，亦可在色差區塊的內預測中參考亮度區塊。也就是說，亦可根據當前區塊的亮度成分，預測當前區塊的色差成分。這種內預測有時也被稱為CCLM(cross-component linear model/跨成分線性模型)預測。像這種參考亮度區塊的色差區塊之內預測模式(例如被稱為CCLM模式)亦可作為色差區塊之內預測模式的1種而加入。
內預測部124亦可根據水平/垂直方向的參考像素的梯度，來補正內預測後的像素值。這種伴隨補正的內預測有時被稱為PDPC(position dependent intra prediction combination/位置相依內預測組合)。顯示有無適用PDPC的資訊(例如稱為PDPC旗標)通常是以CU級別來訊號化。另，此資訊之訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。
[間預測部]
間預測部126參考儲存於幀記憶體122之參考圖片並且是與當前圖片不同的參考圖片，來進行當前區塊的間預測(亦稱為畫面間預測)，藉此產生預測訊號(間預測訊號)。間預測是以當前區塊或當前區塊內的當前子區塊(例如4×4區塊)為單位進行。例如，間預測部126針對當前區塊或當前子區塊，在參考圖片內進行移動搜尋(motion estimation/移動估測)，找到與該當前區塊或當前子區塊最一致的參考區塊或子區塊。接著，間預測部126從參考區塊或子區塊，取得將對當前區塊或子區塊的移動或變化進行補償的移動資訊(例如移動向量)。間預測部126根據該移動資訊進行移動補償(或移動預測)，來產生當前區塊或子區塊的間預測訊 號。間預測部126將已產生的間預測訊號輸出至預測控制部128。
使用於移動補償的移動資訊亦可以多種形態予以訊號化，來作為間預測訊號。例如，移動向量亦可被訊號化。舉另一例來說，移動向量與預測移動向量(motion vector predictor/移動向量預測子)之差分亦可被訊號化。
[間預測的基本流程]
圖15是顯示間預測的基本流程之一例的流程圖。
首先，間預測部126產生預測圖像(步驟Se_1至Se_3)。其次，減法部104產生當前區塊與預測圖像之差分來作為預測殘差(步驟Se_4)。
在此，間預測部126在預測圖像的產生中，是藉由進行當前區塊的移動向量(MV)之決定(步驟Se_1及Se_2)及移動補償(步驟Se_3)，來產生該預測圖像。又，間預測部126在MV的決定中，是藉由進行候選移動向量(候選MV)的選擇(步驟Se_1)及MV的導出(步驟Se_2)，來決定該MV。候選MV的選擇例如是藉由從候選MV清單選擇至少1個候選MV來進行。又，在MV的導出中，間預測部126亦可從至少1個候選MV，進一步選擇至少1個候選MV，藉此決定該已選擇的至少1個候選MV來作為當前區塊的MV。或，間預測部126亦可針對該已選擇的至少1個候選MV之各個，搜尋以該候選MV所指示的參考圖片的區域，藉此決定當前區塊的MV。另，亦可將此搜尋參考圖片的區域之情形稱為移動搜尋(motion estimation/移動估測)。
又，在上述的例子中，步驟Se_1至Se_3雖是藉由間預測部126來進行，但例如步驟Se_1或步驟Se_2等之處理，亦可藉由編碼裝置100包含的其他構成要素來進行。
[移動向量的導出流程]
圖16是顯示移動向量導出之一例的流程圖。
間預測部126以將移動資訊(例如MV)編碼的模式來導出當前區塊 的MV。在此情況下，例如移動資訊作為預測參數被編碼，並被訊號化。也就是說，已被編碼的移動資訊包含於編碼訊號(也稱為編碼位元流)。
或，間預測部126以不將移動資訊編碼的模式來導出MV。在此情況下，編碼訊號不包含移動資訊。
在此，在導出MV的模式中，亦可有後述的一般間模式、合併模式、FRUC模式及仿射模式等。該等模式中，將移動資訊編碼的模式有一般間模式、合併模式及仿射模式(具體而言是仿射間模式及仿射合併模式)等。另，移動資訊不只包含有MV，亦可包含有後述的預測移動向量選擇資訊。又，不將移動資訊編碼的模式有FRUC模式等。間預測部126從該等複數個模式選擇用於導出當前區塊的MV的模式，並使用該已選擇的模式來導出當前區塊的MV。
圖17是顯示移動向量導出之另一例的流程圖。
間預測部126以將差分MV編碼的模式來導出當前區塊的MV。在此情況下，例如差分MV作為預測參數被編碼，並被訊號化。也就是說，已編碼的差分MV包含於編碼訊號。此差分MV為當前區塊的MV與其預測MV之差。
或，間預測部126以不將差分MV編碼的模式來導出MV。在此情況下，編碼訊號不包含已編碼的差分MV。
在此，如上述，導出MV的模式有後述的一般間、合併模式、FRUC模式及仿射模式等。該等模式中，將差分MV編碼的模式有一般間模式及仿射模式(具體而言是仿射間模式)等。又，不將差分MV編碼的模式有FRUC模式、合併模式及仿射模式(具體而言是仿射合併模式)等。間預測部126從該等複數個模式選擇用於導出當前區塊的MV的模式，並使用該已選擇的模式來導出當前區塊的MV。
[移動向量的導出流程]
圖18是顯示移動向量導出之另一例的流程圖。導出MV的模式即間預測模式 有複數種模式，大致上分成有：將差分MV編碼的模式、不將差分移動向量編碼的模式。不將差分MV編碼的模式有合併模式、FRUC模式及仿射模式(具體而言是仿射合併模式)。這些模式的詳情於後敘述，簡而言之，合併模式是藉由從周邊的編碼完畢區塊選擇移動向量來導出當前區塊的MV的模式，FRUC模式是藉由在編碼完畢區域間進行搜尋來導出當前區塊的MV的模式。又，仿射模式是設想仿射轉換而導出構成當前區塊的複數個子區塊各自的移動向量，來作為當前區塊的MV的模式。
具體而言，如圖示，在間預測模式資訊顯示0時(在Sf_1為0)，間預測部126藉由合併模式來導出移動向量(Sf_2)。又，在間預測模式資訊顯示1時(在Sf_1為1)，間預測部126藉由FRUC模式來導出移動向量(Sf_3)。又，在間預測模式資訊顯示2時(在Sf_1為2)，間預測部126藉由仿射模式(具體而言是仿射合併模式)來導出移動向量(Sf_4)。又，在間預測模式資訊顯示3時(在Sf_1為3)，間預測部126藉由將差分MV編碼的模式(例如一般間模式)來導出移動向量(Sf_5)。
[MV導出>一般間模式]
一般間模式是如下的間預測模式：從候選MV所示的參考圖片之區域，根據類似於當前區塊的圖像之區塊，導出當前區塊的MV。又，在此一般間模式中，差分MV會被編碼。
圖19是顯示一般間模式進行之間預測的例子的流程圖。
間預測部126首先根據時間上或空間上位於當前區塊周圍的複數個編碼完畢區塊的MV等之資訊，對該當前區塊取得複數個候選MV(步驟Sg_1)。也就是說，間預測部126製作候選MV清單。
其次，間預測部126從在步驟Sg_1取得的複數個候選MV中，依照預定的優先順序擷取N個(N為2以上的整數)候選MV，將各個候選MV當作預測移動向量候選(又稱為預測MV候選)(步驟Sg_2)。另，該優先順序亦可是對N個候選 MV之各個事先決定好的順序。
其次，間預測部126從該N個預測移動向量候選中選擇1個預測移動向量候選，來作為當前區塊的預測移動向量(也稱為預測MV)(步驟Sg_3)。此時，間預測部126將用於識別已選擇的預測移動向量之預測移動向量選擇資訊編碼成串流。另，串流為上述的編碼訊號或編碼位元流。
其次，間預測部126參考編碼完畢參考圖片來導出當前區塊的MV(步驟Sg_4)。此時，間預測部126進一步將該已導出的MV與預測移動向量之差分值作為差分MV而編碼成串流。另，編碼完畢參考圖片是由編碼後重構的複數個區塊所構成的圖片。
最後，間預測部126使用該已導出的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Sg_5)。另，預測圖像為上述的間預測訊號。
又，顯示編碼訊號所包含的在預測圖像之產生中使用的間預測模式(在上述例中是一般間模式)之資訊，是作為例如預測參數而被編碼。
另，候選MV清單亦可和其他模式使用的清單共通使用。又，亦可將與候選MV清單有關的處理適用於與其他模式使用的清單有關的處理。此與候選MV清單有關的處理例如為：從候選MV清單擷取或選擇候選MV、重新排列候選MV、或刪除候選MV等。
[MV導出>合併模式]
合併模式是如下的間預測模式：從候選MV清單選擇候選MV來作為當前區塊的MV，藉此導出該MV。
圖20是顯示合併模式進行之間預測的例子的流程圖。
間預測部126首先根據時間上或空間上位於當前區塊周圍的複數個編碼完畢區塊的MV等之資訊，對該當前區塊取得複數個候選MV(步驟 Sh_1)。也就是說，間預測部126製作候選MV清單。
其次，間預測部126從在步驟Sh_1取得的複數個候選MV中選擇1個候選MV，藉此導出當前區塊的MV(步驟Sh_2)。此時，間預測部126將用於識別已選擇的候選MV之MV選擇資訊編碼成串流。
最後，間預測部126使用該已導出的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Sh_3)。
又，顯示編碼訊號所包含的在預測圖像之產生中使用的間預測模式(在上述例中是合併模式)之資訊，是作為例如預測參數而被編碼。
圖21是用於說明合併模式進行之當前圖片的移動向量導出處理之一例的概念圖。
首先，產生已登錄有預測MV的候選之預測MV清單。作為預測MV的候選，有如下MV等：空間鄰接預測MV，空間上位於對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，編碼完畢參考圖片中投影了對象區塊的位置之附近的區塊所具有的MV；結合預測MV，組合空間鄰接預測MV與時間鄰接預測MV的MV值所產生的MV；及零預測MV，值為零的MV。
其次，從已登錄在預測MV清單的複數個預測MV中選擇1個預測MV，藉此決定其為對象區塊的MV。
進而，在可變長度編碼部中，將表示已選擇哪一個預測MV的訊號即merge_idx記述在串流中並編碼。
另，登錄於圖21所說明的預測MV清單之預測MV僅為一例，亦可與圖中的個數為不同的個數，或構成為不包含圖中的預測MV的一部分種類，或構成為追加圖中的預測MV的種類以外的預測MV。
亦可使用藉由合併模式導出的對象區塊的MV，來進行後述的DMVR(decoder motion vector refinement/解碼器側移動向量細化)處理，藉此決定 最終的MV。
另，預測MV的候選為上述之候選MV，預測MV清單為上述之候選MV清單。又，候選MV清單亦可稱為候選清單。又，merge_idx為MV選擇資訊。
[MV導出>FRUC模式]
移動資訊亦可不由編碼裝置側進行訊號化並在解碼裝置側導出。另，如上述，亦可使用以H.265/HEVC標準規定的合併模式。又，例如亦可在解碼裝置側進行移動搜尋，藉此導出移動資訊。在實施形態中，在解碼裝置側，不使用當前區塊的像素值而進行移動搜尋。
在此，針對在解碼裝置側進行移動搜尋的模式加以說明。此在解碼裝置側進行移動搜尋的模式有時稱為PMMVD(pattern matched motion vector derivation/樣式匹配移動向量導出)模式或FRUC(frame rate up-conversion/幀速率向上轉換)模式。
用流程圖的形式將FRUC處理的一例顯示於圖22。首先，參考空間上或時間上鄰接於當前區塊的編碼完畢區塊的移動向量，產生分別具有預測移動向量(MV)的複數個候選清單(亦即候選MV清單，且亦可與合併清單共通)(步驟Si_1)。其次，從登錄於候選MV清單的複數個候選MV中選擇最佳候選MV(步驟Si_2)。例如，算出候選MV清單所包含之各候選MV的評價值，根據評價值選擇1個候選MV。接著，根據選擇的候選移動向量，導出當前區塊用的移動向量(步驟Si_4)。具體而言，例如將選擇的候選移動向量(最佳候選MV)直接導出，來作為當前區塊用的移動向量。又，例如亦可在與選擇的候選移動向量對應的參考圖片內的位置的周邊區域進行樣式匹配(pattern matching)，藉此導出當前區塊用的移動向量。亦即，亦可對最佳候選MV的周邊區域，使用參考圖片中之樣式匹配及評價值來進行搜尋，若有評價值為更佳之值的MV，則將最佳候選MV更新 為前述MV，並將其當作當前區塊的最終MV。亦可構成為不實施進行更新的處理之構成，而不更新成具有更佳評價值的MV。
最後，間預測部126使用該已導出的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Si_5)。
以子區塊單位進行處理時，亦可進行完全同樣的處理。
評價值亦可藉由各種方法算出。例如，比較對應於移動向量的參考圖片內的區域之重構圖像與預定的區域(該區域例如以下所示，亦可為其他參考圖片的區域、或當前圖片的鄰接區塊的區域)之重構圖像。預定的區域亦可事先決定。
且，亦可算出2個重構圖像的像素值的差分，並使用於移動向量之評價值。另，除了差分值，亦可使用其以外的資訊來算出評價值。
其次，針對樣式匹配的例子詳細說明。首先，選擇候選MV清單(例如合併清單)所包含的1個候選MV，來作為樣式匹配之搜尋的起始點。例如，作為樣式匹配，可使用第1樣式匹配或第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別被稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
[MV導出>FRUC>雙向匹配]
第1樣式匹配是在以下2個區塊間進行樣式匹配：不同的2張參考圖片內的2個區塊，且是沿著當前區塊之移動軌跡(motion trajectory)的2個區塊。因此，在第1樣式匹配中，作為用以算出上述之候選的評價值之預定的區域，使用的是沿著當前區塊的移動軌跡之其他參考圖片內的區域。預定的區域亦可事先決定。
圖23是用於說明在沿著移動軌跡的2張參考圖片中之2個區塊間的第1樣式匹配(雙向匹配)之一例的概念圖。如圖23所示，在第1樣式匹配中，是藉由搜尋沿著當前區塊(Cur block)之移動軌跡的2個區塊並且是不同的2張參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)中最匹配的配對，來導出2個移動向量 (MV0、MV1)。具體而言，對當前區塊導出第1編碼完畢參考圖片(Ref0)內之指定位置的重構圖像與第2編碼完畢參考圖片(Ref1)內之指定位置的重構圖像之差分，並使用得到的差分值來算出評價值，其中前述第1編碼完畢參考圖片內之指定位置是被候選MV指定的位置，前述第2編碼完畢參考圖片內之指定位置是被將前述候選MV利用顯示時間間隔進行縮放(scaling)後之對稱MV指定的位置。能夠在複數個候選MV中選擇評價值為最佳值的候選MV來作為最終MV，可帶來好的結果。
在連續的移動軌跡之假設下，指示出2個參考區塊的移動向量(MV0、MV1)是相對於當前圖片(Cur Pic)與2張參考圖片(Ref0、Ref1)之間的時間上的距離(TD0、TD1)成比例。例如，當前圖片在時間上是位於2張參考圖片之間，若從當前圖片往2張參考圖片之時間上的距離相等，則在第1樣式匹配中，會導出鏡射對稱之雙向的移動向量。
[MV導出>FRUC>模板匹配]
在第2樣式匹配(模板匹配)中，是在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行樣式匹配。因此，在第2樣式匹配中，作為用以算出上述之候選的評價值的預定區域，使用的是與當前圖片內之當前區塊鄰接的區塊。
圖24是用於說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)之一例的概念圖。如圖24所示，在第2樣式匹配中，是藉由在參考圖片(Ref0)內搜尋與當前圖片(Cur Pic)內鄰接於當前區塊(Cur block)之區塊最匹配的區塊，來導出當前區塊的移動向量。具體而言，可對當前區塊，導出左鄰接及上鄰接雙方或其中一方之編碼完畢區域的重構圖像、與被候選MV指定之編碼完畢參考圖片(Ref0)內的同等位置的重構圖像之差分，使用得到的差分值來算出評價值，並在複數個候選MV之中選擇評價值為最佳值的候選MV來作 為最佳候選MV。
表示是否適用這種FRUC模式的資訊(例如稱為FRUC旗標)亦可以CU級別來訊號化。又，當適用FRUC模式時(例如FRUC旗標為真時)，表示可適用的樣式匹配的方法(第1樣式匹配或第2樣式匹配)之資訊亦可以CU級別來訊號化。另，該等資訊的訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
[MV導出>仿射模式]
其次，針對根據複數個鄰接區塊之移動向量而以子區塊單位來導出移動向量的仿射模式加以說明。此模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖25A是用於說明以複數個鄰接區塊的移動向量為基準之子區塊單位的移動向量的導出之一例的概念圖。在圖25A，當前區塊包含有16個4×4子區塊。在此是根據鄰接區塊的移動向量，導出當前區塊的左上角控制點的移動向量v0，同樣地，根據鄰接子區塊的移動向量，導出當前區塊的右上角控制點的移動向量v1。接著，可藉由以下的式(1A)來投影2個移動向量v0及v1，亦可導出當前區塊內的各子區塊的移動向量(vx,vy)。
Figure 109113672-A0305-12-0041-2
在此，x及y分別表示子區塊的水平位置及垂直位置，w表示預定的權重係數。預定的權重係數亦可事先決定。
表示這種仿射模式的資訊(例如稱為仿射旗標)亦可以CU級別來訊 號化。另，此表示仿射模式的資訊之訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
又，在這種仿射模式中，亦可包含有左上角及右上角控制點的移動向量導出方法相異的幾個模式。例如，在仿射模式中有仿射間(也稱為仿射一般間)模式、及仿射合併模式2種模式。
[MV導出>仿射模式]
圖25B是用於說明具有3個控制點之仿射模式中的子區塊單位的移動向量的導出之一例的概念圖。在圖25B中，當前區塊包含有16個4×4子區塊。在此，根據鄰接區塊的移動向量，導出當前區塊的左上角控制點的移動向量v0，同樣地，根據鄰接區塊的移動向量，導出當前區塊的右上角控制點的移動向量v1，根據鄰接區塊的移動向量，導出當前區塊的左下角控制點的移動向量v2。接著，可藉由以下的式(1B)來投影3個移動向量v0、v1及v2，亦可導出當前區塊內的各子區塊的移動向量(vx,vy)。
Figure 109113672-A0305-12-0042-3
在此，x及y分別表示子區塊中心的水平位置及垂直位置，w表示當前區塊的寬度，h表示當前區塊的高度。
控制點數目不同(例如2個及3個)的仿射模式亦可以CU級別來切換並被訊號化。另，表示在CU級別下使用的仿射模式的控制點數目之資訊，亦可以其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)來訊號化。
又，在這種具有3個控制點的仿射模式中，亦可包含有與左上、右 上及左下角控制點之移動向量導出方法不同的幾個模式。例如，在仿射模式中有仿射間(也稱為仿射一般間)模式及仿射合併模式2種模式。
[MV導出>仿射合併模式]
圖26A、圖26B及圖26C是用於說明仿射合併模式的概念圖。
在仿射合併模式中，如圖26A所示，例如在鄰接於當前區塊的編碼完畢區塊A(左)、區塊B(上)、區塊C(右上)、區塊D(左下)及區塊E(左上)之中，根據對應於以仿射模式編碼的區塊之複數個移動向量，來算出當前區塊的控制點各自的預測移動向量。具體而言，以編碼完畢區塊A(左)、區塊B(上)、區塊C(右上)、區塊D(左下)及區塊E(左上)之順序來檢查該等區塊，特定出以仿射模式編碼之最初的有效的區塊。根據對應於此特定出的區塊之複數個移動向量，來算出當前區塊的控制點的預測移動向量。
例如，如圖26B所示，在以鄰接於當前區塊的左邊之區塊A具有2個控制點的仿射模式進行編碼時，會導出投影在包含有區塊A之編碼完畢區塊的左上角及右上角的位置之移動向量v3及v4。接著，從導出的移動向量v3及v4，算出當前區塊之左上角的控制點的預測移動向量v0、及右上角的控制點的預測移動向量v1。
例如，如圖26C所示，在以鄰接於當前區塊的左邊之區塊A具有3個控制點的仿射模式進行編碼時，會導出投影在包含有區塊A之編碼完畢區塊的左上角、右上角及左下角的位置之移動向量v3、v4及v5。接著，從導出的移動向量v3、v4及v5，算出當前區塊之左上角的控制點的預測移動向量v0、右上角的控制點的預測移動向量v1及左下角的控制點的預測移動向量v2。
另，後述圖29之步驟Sj_1中之當前區塊的控制點各自的預測移動向量之導出，亦可使用此預測移動向量導出方法。
圖27是顯示仿射合併模式之一例的流程圖。
在仿射合併模式中，如圖示，首先，間預測部126導出當前區塊的控制點各自的預測MV(步驟Sk_1)。控制點如圖25A所示，為當前區塊的左上角及右上角的點，或如圖25B所示，為當前區塊的左上角、右上角及左下角的點。
也就是說，如圖26A所示，間預測部126按照編碼完畢區塊A(左)、區塊B(上)、區塊C(右上)、區塊D(左下)及區塊E(左上)之順序來檢查該等區塊，特定出以仿射模式編碼的最初的有效的區塊。
接著，在區塊A已被特定且區塊A具有2個控制點時，如圖26B所示，間預測部126從包含有區塊A之編碼完畢區塊的左上角及右上角的移動向量v3及v4，算出當前區塊的左上角的控制點的移動向量v0、及右上角的控制點的移動向量v1。例如，間預測部126將編碼完畢區塊的左上角及右上角的移動向量v3及v4投影到當前區塊，藉此算出當前區塊的左上角的控制點的預測移動向量v0及右上角的控制點的預測移動向量v1。
或，在區塊A已被特定且區塊A具有3個控制點時，如圖26C所示，間預測部126從包含有區塊A之編碼完畢區塊的左上角、右上角及左下角的移動向量v3、v4及v5，算出當前區塊的左上角的控制點的移動向量v0、右上角的控制點的移動向量v1、左下角的控制點的移動向量v2。例如，間預測部126將編碼完畢區塊的左上角、右上角及左下角的移動向量v3、v4及v5投影到當前區塊，藉此算出當前區塊的左上角的控制點的預測移動向量v0、右上角的控制點的預測移動向量v1及左下角的控制點的移動向量v2。
其次，間預測部126針對當前區塊所包含之複數個子區塊的各個進行移動補償。亦即，間預測部126針對該等複數個子區塊的各個，使用2個預測移動向量v0及v1與上述之式(1A)、或3個預測移動向量v0、v1及v2與上述之式(1B)，算出該等子區塊的移動向量來作為仿射MV(步驟Sk_2)。接著，間預測部126使用該等仿射MV及編碼完畢參考圖片，對該等子區塊進行移動補償(步驟Sk_3)。其 結果，對當前區塊進行移動補償，並產生該當前區塊的預測圖像。
[MV導出>仿射間模式]
圖28A是用於說明具有2個控制點之仿射間模式的概念圖。
在此仿射間模式中，如圖28A所示，從鄰接於當前區塊的編碼完畢區塊A、區塊B及區塊C之移動向量所選擇的移動向量，會作為當前區塊的左上角的控制點的預測移動向量v0來使用。同樣地，從鄰接於當前區塊的編碼完畢區塊D及區塊E之移動向量所選擇的移動向量，會作為當前區塊的右上角的控制點的預測移動向量v1來使用。
圖28B是用於說明具有3個控制點之仿射間模式的概念圖。
在此仿射間模式中，如圖28B所示，從鄰接於當前區塊的編碼完畢區塊A、區塊B及區塊C之移動向量所選擇的移動向量，會作為當前區塊的左上角的控制點的預測移動向量v0來使用。同樣地，從鄰接於當前區塊的編碼完畢區塊D及區塊E之移動向量所選擇的移動向量，會作為當前區塊的右上角的控制點的預測移動向量v1來使用。進而，從鄰接於當前區塊的編碼完畢區塊F及區塊G之移動向量所選擇的移動向量，會作為當前區塊的左下角的控制點的預測移動向量v2來使用。
圖29是顯示仿射間模式之一例的流程圖。
如圖示，在仿射間模式中，首先，間預測部126導出當前區塊的2個或3個控制點各自的預測MV(v0,v1)或(v0,v1,v2)(步驟Sj_1)。如圖25A或圖25B所示，控制點為當前區塊的左上角、右上角或左下角的點。
也就是說，間預測部126選擇圖28A或圖28B所示的當前區塊的各控制點附近的編碼完畢區塊之中任一個區塊的移動向量，藉此導出當前區塊的控制點的預測移動向量(v0,v1)或(v0,v1,v2)。此時，間預測部126將用於識別已選擇的2個移動向量之預測移動向量選擇資訊編碼成串流。
例如，間預測部126亦可使用成本評價等來決定要從鄰接於當前區塊的編碼完畢區塊，選擇哪一個區塊的移動向量來作為控制點的預測移動向量，並將表示選擇了哪一個預測移動向量的旗標記述於位元流。
其次，間預測部126一邊更新在步驟Sj_1選擇或導出的各個預測移動向量(步驟Sj_2)，一邊進行移動搜尋(步驟Sj_3及Sj_4)。也就是說，間預測部126使用上述之式(1A)或式(1B)，算出對應於更新的預測移動向量之各子區塊的移動向量，來作為仿射MV(步驟Sj_3)。接著，間預測部126使用該等仿射MV及編碼完畢參考圖片，對各子區塊進行移動補償(步驟Sj_4)。其結果，間預測部126在移動搜尋迴路中，將例如可得到最小成本的預測移動向量，決定為控制點的移動向量(步驟Sj_5)。此時，間預測部126進一步將該已決定的MV與預測移動向量各自的差分值作為差分MV，編碼成串流。
最後，間預測部126使用該已決定的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Sj_6)。
[MV導出>仿射間模式]
以CU級別切換不同控制點數目(例如2個及3個)的仿射模式並訊號化時，有在編碼完畢區塊與當前區塊中控制點的數目不同的情況。圖30A及圖30B是用於說明在編碼完畢區塊與當前區塊中控制點的數目不同時的控制點之預測向量導出方法的概念圖。
例如，如圖30A所示，在以當前區塊具有左上角、右上角及左下角3個控制點，且鄰接於當前區塊的左邊的區塊A具有2個控制點之仿射模式進行編碼時，會導出投影到包含有區塊A之編碼完畢區塊的左上角及右上角的位置之移動向量v3及v4。接著，從已導出的移動向量v3及v4，算出當前區塊的左上角的控制點的預測移動向量v0、及右上角的控制點的預測移動向量v1。進而，從已導出的移動向量v0及v1，算出左下角的控制點的預測移動向量v2。
例如，如圖30B所示，在以當前區塊具有左上角及右上角的2個控制點，且鄰接於當前區塊的左邊的區塊A具有3個控制點之仿射模式進行編碼時，會導出投影到包含有區塊A之編碼完畢區塊的左上角、右上角及左下角的位置之移動向量v3、v4及v5。接著，從已導出的移動向量v3、v4及v5，算出當前區塊的左上角的控制點的預測移動向量v0、及右上角的控制點的預測移動向量v1。
圖29的步驟Sj_1中之當前區塊的控制點各自的預測移動向量之導出，亦可使用此預測移動向量導出方法。
[MV導出>DMVR]
圖31A是顯示合併模式及DMVR之關係的流程圖。
間預測部126以合併模式來導出當前區塊的移動向量(步驟Sl_1)。其次，間預測部126判定是否進行移動向量之搜尋，亦即判定是否進行移動搜尋(步驟Sl_2)。在此，間預測部126在判定為不進行移動搜尋時(步驟Sl_2的否)，將步驟Sl_1所導出的移動向量決定為對於當前區塊的最終移動向量(步驟Sl_4)。亦即，在此情況下是以合併模式來決定當前區塊的移動向量。
另一方面，在步驟Sl_1判定為進行移動搜尋時(步驟Sl_2的是)，間預測部126藉由搜尋步驟Sl_1所導出之移動向量所示的參考圖片的周邊區域，對當前區塊導出最終移動向量(步驟Sl_3)。亦即，在此情況下是以DMVR來決定當前區塊的移動向量。
圖31B是用於說明用來決定MV的DMVR處理之一例的概念圖。
首先，(例如在合併模式中)令設定於當前區塊的最佳MVP為候選MV。接著，依照候選MV(L0)，從L0方向的編碼完畢圖片即第1參考圖片(L0)特定出參考像素。同樣地，依照候選MV(L1)，從L1方向的編碼完畢圖片即第2參考圖片(L1)特定出參考像素。藉由取該等參考像素的平均來產生模板。
其次，使用前述模板，分別搜尋第1參考圖片(L0)及第2參考圖片 (L1)之候選MV的周邊區域，將成本為最小的MV決定為最終MV。另，亦可使用例如模板的各像素值與搜尋區域的各像素值之差分值及候選MV值等來算出成本值。
另，典型來說，在編碼裝置及後述之解碼裝置中，此處所說明的處理之構成及動作基本上是共通的。
就算並非此處所說明的處理例本身，只要是能搜尋候選MV的周邊來導出最終MV的處理，使用何種處理皆可。
[移動補償>BIO/OBMC]
在移動補償中，有產生預測圖像且補正該預測圖像的模式。該模式例如為後述的BIO及OBMC。
圖32是顯示預測圖像的產生之一例的流程圖。
間預測部126產生預測圖像(步驟Sm_1)，且藉由例如上述任一種模式來補正該預測圖像(步驟Sm_2)。
圖33是顯示預測圖像的產生之另一例的流程圖。
間預測部126決定當前區塊的移動向量(步驟Sn_1)。其次，間預測部126產生預測圖像(步驟Sn_2)，並判定是否進行補正處理(步驟Sn_3)。在此，間預測部126在判定為進行補正處理時(步驟Sn_3的是)，補正該預測圖像，藉此產生最終預測圖像(步驟Sn_4)。另一方面，間預測部126在判定為不進行補正處理時(步驟Sn_3的否)，不進行補正，將該預測圖像作為最終預測圖像來輸出(步驟Sn_5)。
又，在移動補償中，有在產生預測圖像時補正亮度的模式。該模式例如為後述的LIC。
圖34是顯示預測圖像的產生之另一例的流程圖。
間預測部126導出當前區塊的移動向量(步驟So_1)。其次，間預測 部126判定是否進行亮度補正處理(步驟So_2)。在此，間預測部126在判定為進行亮度補正處理時(步驟So_2的是)，一邊進行亮度補正一邊產生預測圖像(步驟So_3)。也就是說，藉LIC來產生預測圖像。另一方面，間預測部126在判定為不進行亮度補正處理時(步驟So_2的否)，不進行亮度補正而藉由通常的移動補償來產生預測圖像(步驟So_4)。
[移動補償>OBMC]
亦可不僅使用藉由移動搜尋所得到的當前區塊的移動資訊，還使用鄰接區塊的移動資訊來產生間預測訊號。具體而言，亦可將基於藉由(參考圖片內的)移動搜尋所得到的移動資訊之預測訊號、與基於(當前圖片內的)鄰接區塊的移動資訊之預測訊號進行加權相加，藉此以當前區塊內的子區塊單位來產生間預測訊號。這種間預測(移動補償)有時稱為OBMC(overlapped block motion compensation/重疊區塊移動補償)。
在OBMC模式中，顯示OBMC用的子區塊的尺寸之資訊(例如稱為OBMC區塊尺寸)亦可以序列級別來訊號化。進而，顯示是否適用OBMC模式之資訊(例如稱為OBMC旗標)亦可以CU級別來訊號化。另，該等資訊之訊號化之級別不必限定在序列級別及CU級別，亦可為其他級別(例如圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
針對OBMC模式之例更具體地加以說明。圖35及圖36是用於說明OBMC處理進行的預測圖像補正處理之概要的流程圖及概念圖。
首先，如圖36所示，使用被分配到處理對象(當前)區塊之移動向量(MV)，來取得通常的移動補償之預測圖像(Pred)。在圖36中，箭頭「MV」指向參考圖片，表示為了得到預測圖像，當前圖片的當前區塊正在參考何者。
其次，將已對編碼完畢的左鄰接區塊導出的移動向量(MV_L)適用(重新利用)於編碼對象區塊而取得預測圖像(Pred_L)。移動向量(MV_L)是由從當 前區塊指向參考圖片的箭頭「MV_L」來表示。接著，將2個預測圖像Pred與Pred_L重疊，藉此進行預測圖像的第1次補正。這具有將鄰接區塊間的邊界混合的效果。
同樣地，將已對編碼完畢的上鄰接區塊導出的移動向量(MV_U)適用(重新利用)於編碼對象區塊而取得預測圖像(Pred_U)。移動向量(MV_U)是由從當前區塊指向參考圖片的箭頭「MV_U」來表示。接著，將預測圖像Pred_U重疊於已進行第1次補正的預測圖像(例如Pred及Pred_L)，藉此進行預測圖像的第2次補正。這具有將鄰接區塊間的邊界混合的效果。藉由第2次補正所得到的預測圖像，為與鄰接區塊的邊界已被混合(已平滑化)之當前區塊的最終預測圖像。
另，上述之例雖是使用左鄰接及上鄰接的區塊之2次的補正方法，但該補正方法亦可為連右鄰接及/或下鄰接的區塊都使用的3次或3次以上的補正方法。
另，進行重疊的區域亦可不是區塊整體的像素區域，而是僅區塊邊界附近之一部分的區域。
另，在此針對為了從1張參考圖片將追加的預測圖像Pred_L及Pred_U相重疊並藉此得到1張預測圖像Pred而使用的OBMC預測圖像補正處理進行了說明。然而當根據複數個參考圖像來補正預測圖像時，亦可於複數張參考圖片之各個適用同樣的處理。在這種情況下，藉由進行基於複數張參考圖片的OBMC之圖像補正，而從各張參考圖片取得已補正的預測圖像，之後將該等取得的複數個補正預測圖像進一步重疊，藉此取得最終預測圖像。
另，在OBMC中，對象區塊的單位可為預測區塊單位，亦可為將預測區塊進一步分割後的子區塊單位。
作為判定是否適用OBMC處理的方法，例如有使用obmc_flag的方法，前述obmc_flag是顯示是否適用OBMC處理的訊號。舉一具體例來說，編碼 裝置亦可判定對象區塊是否屬於移動複雜的區域。屬於移動複雜的區域時，編碼裝置設定值1來作為obmc_flag，適用OBMC處理來進行編碼，不屬於移動複雜的區域時，設定值0來作為obmc_flag，不適用OBMC處理而進行區塊的編碼。另一方面，在解碼裝置中，則是將記述於串流(例如壓縮序列)的obmc_flag解碼，藉此因應該值來切換是否適用OBMC處理並進行解碼。
間預測部126在上述之例中是對矩形的當前區塊產生1個矩形的預測圖像。然而，間預測部126亦可對該矩形的當前區塊產生與矩形不同形狀的複數個預測圖像，並將該等複數個預測圖像結合，藉此產生最終的矩形之預測圖像。與矩形不同的形狀例如亦可為三角形。
圖37是用於說明2個三角形的預測圖像之產生的概念圖。
間預測部126對當前區塊內的三角形之第1分區使用該第1分區的第1MV來進行移動補償，藉此產生三角形的預測圖像。同樣地，間預測部126對當前區塊內的三角形之第2分區，使用該第2分區的第2MV來進行移動補償，藉此產生三角形的預測圖像。接著，間預測部126藉由結合該等預測圖像，來產生與當前區塊為相同矩形的預測圖像。
另，在圖37所示之例中，第1分區及第2分區雖分別為三角形，但亦可為梯形，亦可分別為互相不同的形狀。進而，在圖37所示之例中，當前區塊雖是由2個分區所構成，但亦可由3個以上的分區所構成。
又，第1分區及第2分區亦可重複。亦即，第1分區及第2分區亦可包含有相同的像素區域。在此情況下，亦可使用第1分區之預測圖像及第2分區之預測圖像來產生當前區塊的預測圖像。
又，在本例中顯示了2個分區皆以間預測來產生預測圖像的例子，但亦可針對至少1個分區，藉由內預測來產生預測圖像。
[移動補償>BIO]
其次，針對導出移動向量的方法加以說明。首先，針對根據模型來導出移動向量的模式加以說明，且前述模型為假設等速直線運動之模型。此模式有時稱為BIO(bi-directional optical flow/雙向光流)模式。
圖38是用於說明假設等速直線運動的模型的概念圖。在圖38中，(vx,vy)表示速度向量，τ0、τ1各表示當前圖片(Cur Pic)與2張參考圖片(Ref0,Ref1)之間的時間上的距離。(MVx0,MVy0)表示對應於參考圖片Ref0的移動向量，(MVx1,MVy1)表示對應於參考圖片Ref1的移動向量。
此時在速度向量(vx,vy)為等速直線運動的假設下，(MVx0,MVy0)及(MVx1,MVy1)分別表示成(vxτ0,vyτ0)及(-vxτ1,-vyτ1)，亦可採用以下的光流等式(2)。
Figure 109113672-A0305-12-0052-4
在此，I(k)表示移動補償後之參考圖像k(k=0,1)的亮度值。此光流等式表示(i)亮度值的時間微分、(ii)水平方向的速度及參考圖像的空間梯度之水平成分的積、(iii)垂直方向的速度及參考圖像的空間梯度之垂直成分的積之和等於零。亦可根據此光流等式與赫米特內插法(Hermite interpolation)之組合，將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。
另，亦可利用與根據假設等速直線運動之模型來導出移動向量的方法不同的方法，在解碼裝置側導出移動向量。例如，亦可根據複數個鄰接區塊的移動向量，以子區塊單位導出移動向量。
[移動補償>LIC]
其次，針對使用LIC(local illumination compensation/局部亮度補償)處理來產生預測圖像(預測)的模式之一例加以說明。
圖39是用於說明使用了LIC處理的亮度補正處理的預測圖像產生 方法之一例的概念圖。
首先，從編碼完畢的參考圖片導出MV，取得對應於當前區塊的參考圖像。
其次，對當前區塊擷取表示亮度值在參考圖片與當前圖片中如何變化的資訊。此擷取是根據當前圖片中的編碼完畢左鄰接參考區域(周邊參考區域)及編碼完畢上鄰參考區域(周邊參考區域)的亮度像素值、與以導出的MV所指定的參考圖片內之同等位置的亮度像素值來進行。接著，使用表示亮度值如何變化的資訊，算出亮度補正參數。
對以MV指定的參考圖片內的參考圖像，進行適用前述亮度補正參數的亮度補正處理，藉此產生對於當前區塊的預測圖像。
另，圖39中的前述周邊參考區域之形狀僅為一例，亦可使用除此之外的形狀。
又，在此雖針對從1張參考圖片產生預測圖像的處理加以說明，但從複數張參考圖片產生預測圖像的情況也一樣，亦可先以與上述同樣的方法對從各張參考圖片取得的參考圖像進行亮度補正處理後，再產生預測圖像。
作為判定是否適用LIC處理的方法，例如有使用lic_flag的方法，前述lic_flag為表示是否適用LIC處理的訊號。舉一具體例來說，在編碼裝置中，判定當前區塊是否屬於產生亮度變化之區域，若屬於產生亮度變化之區域，則設定值1來作為lic_flag並適用LIC處理來進行編碼，若不屬於產生亮度變化之區域，則設定值0來作為lic_flag且不適用LIC處理而進行編碼。另一方面，在解碼裝置中，亦可藉由將記述於串流之lic_flag解碼，而因應其值來切換是否適用LIC處理並進行解碼。
作為判定是否適用LIC處理之別的方法，例如還有依照周邊區塊是否適用了LIC處理來判定的方法。舉一具體例來說，在當前區塊為合併模式時， 判定在合併模式處理中的MV導出之際選擇的周邊編碼完畢區塊是否適用了LIC處理且已編碼。因應其結果來切換是否適用LIC處理並進行編碼。另，在本例的情況下，也是相同處理可適用於解碼裝置側的處理。
針對LIC處理(亮度補正處理)之態樣，已使用圖39加以說明，以下，說明其詳細。
首先，間預測部126從編碼完畢圖片即參考圖片，導出用於取得對應於編碼對象區塊之參考圖像的移動向量。
其次，間預測部126對編碼對象區塊使用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、及以移動向量指定的參考圖片內之同等位置的亮度像素值，來擷取表示亮度值在參考圖片與編碼對象圖片中如何變化的資訊，而算出亮度補正參數。例如，令編碼對象圖片內之周邊參考區域內的某像素的亮度像素值為p0，且令與該像素同等位置之參考圖片內的周邊參考區域內的像素的亮度像素值為p1。間預測部126對周邊參考區域內的複數個像素算出將A×p1+B=p0最佳化的係數A及B，來作為亮度補正參數。
其次，間預測部126對以移動向量指定的參考圖片內的參考圖像使用亮度補正參數來進行亮度補正處理，藉此產生對於編碼對象區塊的預測圖像。例如，令參考圖像內的亮度像素值為p2，且令亮度補正處理後的預測圖像的亮度像素值為p3。間預測部126對參考圖像內的各像素算出A×p2+B=p3，藉此產生亮度補正處理後的預測圖像。
另，圖39中之周邊參考區域的形狀僅為一例，亦可使用除此之外的形狀。又，亦可使用圖39所示之周邊參考區域的一部分。例如，亦可使用包含有從上鄰接像素及左鄰接像素分別間隔預定數的像素之區域來作為周邊參考區域。又，周邊參考區域不限於和編碼對象區塊鄰接的區域，亦可為和編碼對象區塊不鄰接的區域。關於像素的預定數亦可事先決定。
又，在圖39所示之例中，參考圖片內的周邊參考區域為以編碼對象圖片之移動向量從編碼對象圖片內的周邊參考區域來指定的區域，但亦可為以其他移動向量來指定的區域。例如，該其他移動向量亦可為編碼對象圖片內的周邊參考區域的移動向量。
另，在此說明的雖然是編碼裝置100中的動作，但解碼裝置200中的動作，典型來說也是同樣的。
另，LIC處理不只可適用於亮度，亦可適用於色差。此時，可分別對Y、Cb及Cr個別地導出補正參數，亦可對任一者使用共通的補正參數。
又，LIC處理亦可在子區塊單位下適用。例如，亦可使用當前子區塊的周邊參考區域、及以當前子區塊的MV來指定的參考圖片內的參考子區塊的周邊參考區域，來導出補正參數。
[預測控制部]
預測控制部128選擇內預測訊號(從內預測部124輸出的訊號)及間預測訊號(從間預測部126輸出的訊號)之任一者，將選擇的訊號作為預測訊號來輸出至減法部104及加法部116。
如圖1所示，在各種編碼裝置例中，預測控制部128亦可將輸入至熵編碼部110的預測參數輸出。熵編碼部110亦可根據從預測控制部128輸入的該預測參數、及從量化部108輸入的量化係數，來產生編碼位元流(或序列)。預測參數亦可使用於解碼裝置。解碼裝置亦可接收編碼位元流後解碼，並進行與內預測部124、間預測部126及預測控制部128中所進行的預測處理相同的處理。預測參數亦可包含有：選擇預測訊號(例如移動向量、預測類型、或在內預測部124或間預測部126中使用的預測模式)；或，以內預測部124、間預測部126及預測控制部128中所進行的預測處理為基準或者表示該預測處理之任意的索引、旗標或值。
[編碼裝置的安裝例]
圖40是顯示編碼裝置100之安裝例的方塊圖。編碼裝置100具備處理器a1及記憶體a2。例如，圖1所示的編碼裝置100的複數個構成要素是藉由圖40所示的處理器a1及記憶體a2來安裝。
處理器a1為進行資訊處理的電路，且為可對記憶體a2進行存取的電路。例如，處理器a1是將動態圖像編碼之專用或通用的電子電路。處理器a1亦可為如CPU之處理器。又，處理器a1亦可為複數個電子電路的集合體。又，例如處理器a1亦可發揮圖1等所示之編碼裝置100之複數個構成要素中的複數個構成要素的功能。
記憶體a2是記憶有處理器a1用來將動態圖像編碼的資訊之專用或通用的記憶體。記憶體a2可為電子電路，亦可連接於處理器a1。又，記憶體a2亦可包含於處理器a1。又，記憶體a2亦可為複數個電子電路的集合體。又，記憶體a2可為磁碟或光碟等，亦可呈現為儲存裝置(storage)或記錄媒體等。又，記憶體a2可為非揮發性記憶體，亦可為揮發性記憶體。
例如，記憶體a2亦可記憶要編碼的動態圖像，亦可記憶對應於已編碼的動態圖像之位元列。又，記憶體a2亦可記憶處理器a1用來將動態圖像編碼的程式。
又，例如，記憶體a2亦可發揮圖1等所示之編碼裝置100的複數個構成要素中用來記憶資訊之構成要素的功能。例如，記憶體a2亦可發揮圖1所示之區塊記憶體118及幀記憶體122的功能。更具體而言，記憶體a2亦可記憶重構完畢區塊及重構完畢圖片等。
另，在編碼裝置100中，可不安裝圖1等所示之複數個構成要素的全部，亦可不進行上述之複數個處理的全部。圖1等所示之複數個構成要素的一部分亦可包含於其他裝置，上述之複數個處理的一部分亦可藉其他裝置來執行。
[解碼裝置]
其次，針對可將例如從上述之編碼裝置100輸出之編碼訊號(編碼位元流)解碼的解碼裝置加以說明。圖41是顯示實施形態之解碼裝置200的功能構成的方塊圖。解碼裝置200是以區塊單位來將動態圖像解碼的動態圖像解碼裝置。
如圖41所示，解碼裝置200具備：熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、幀記憶體214、內預測部216、間預測部218、及預測控制部220。
解碼裝置200可藉由例如通用處理器及記憶體來實現。此情況下，當記憶體儲存的軟體程式藉由處理器來執行時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218及預測控制部220來發揮功能。又，解碼裝置200亦可作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218及預測控制部220之專用的1個以上的電子電路來實現。
以下，在說明解碼裝置200整體的處理流程之後，再針對解碼裝置200包含的各構成要素加以說明。
[解碼處理的整體流程]
圖42是顯示解碼裝置200進行之整體的解碼處理之一例的流程圖。
首先，解碼裝置200的熵解碼部202特定出固定尺寸的區塊(例如128×128像素)的分割樣式(步驟Sp_1)。此分割樣式為藉由編碼裝置100所選擇的分割樣式。接著，解碼裝置200對構成該分割樣式的複數個區塊的各個進行步驟Sp_2至Sp_6的處理。
也就是說，熵解碼部202將解碼對象區塊(也稱為當前區塊)之被編碼的量化係數及預測參數進行解碼(具體來說是熵解碼)(步驟Sp_2)。
其次，反量化部204及反轉換部206對複數個量化係數進行反量化 及反轉換，藉此將複數個預測殘差(亦即差分區塊)復原(步驟Sp_3)。
其次，由內預測部216、間預測部218及預測控制部220的全部或一部分所構成的預測處理部會產生當前區塊的預測訊號(又稱為預測區塊)(步驟Sp_4)。
其次，加法部208對差分區塊加上預測區塊，藉此將當前區塊重構成重構圖像(又稱為解碼圖像區塊)(步驟Sp_5)。
接著，產生此重構圖像後，迴路濾波部212對該重構圖像進行濾波(步驟Sp_6)。
接著，解碼裝置200判定圖片整體的解碼是否已完成(步驟Sp_7)，當判定為未完成時(步驟Sp_7的否)，重複執行從步驟Sp_1開始的處理。
如圖示，步驟Sp_1至Sp_7的處理是藉由解碼裝置200依序地進行。或，該等處理中之一部分的複數個處理亦可並列進行，亦可進行順序之對調。
[熵解碼部]
熵解碼部202將編碼位元流熵解碼。具體而言，熵解碼部202例如從編碼位元流算術解碼成二值訊號。接著，熵解碼部202將二值訊號多值化(debinarize)。熵解碼部202以區塊單位將量化係數輸出至反量化部204。熵解碼部202亦可將編碼位元流(參考圖1)所包含的預測參數輸出至實施形態之內預測部216、間預測部218及預測控制部220。內預測部216、間預測部218及預測控制部220可執行與編碼裝置側之內預測部124、間預測部126及預測控制部128所進行的處理相同的預測處理。
[反量化部]
反量化部204將從熵解碼部202輸入的解碼對象區塊(以下稱為當前區塊)之量化係數反量化。具體而言，反量化部204針對當前區塊的各個量化係數，根據對應於該量化係數的量化參數，將該量化係數反量化。接著，反量化部204將當 前區塊之經反量化的量化係數(亦即轉換係數)輸出至反轉換部206。
[反轉換部]
反轉換部206將從反量化部204輸入的轉換係數反轉換，藉此復原預測誤差。
例如當從編碼位元流解讀的資訊表示適用EMT或AMT時(例如AMT旗標為真)，反轉換部206根據已解讀之表示轉換類型的資訊，將當前區塊的轉換係數反轉換。
又例如，當從編碼位元流解讀的資訊表示適用NSST時，反轉換部206對轉換係數適用反再轉換。
[加法部]
加法部208藉由將從反轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本相加來重構當前區塊。接著，加法部208將已重構的區塊輸出至區塊記憶體210及迴路濾波部212。
[區塊記憶體]
區塊記憶體210是用以儲存以下區塊的記憶部：在內預測中參考的區塊，且是解碼對象圖片(以下稱為當前圖片)內的區塊。具體而言，區塊記憶體210儲存從加法部208輸出的重構區塊。
[迴路濾波部]
迴路濾波部212對藉由加法部208重構後的區塊施加迴路濾波，並將濾波後的重構區塊輸出至幀記憶體214及顯示裝置等。
當從編碼位元流解讀的表示ALF之開啟/關閉的資訊表示ALF開啟時，根據局部的梯度之方向及活性度來從複數個濾波器中選擇1個濾波器，將選擇的濾波器適用於重構區塊。
[幀記憶體]
幀記憶體214是用以儲存間預測中使用的參考圖片之記憶部，有時也稱為幀 緩衝器。具體而言，幀記憶體214儲存藉由迴路濾波部212濾波後的重構區塊。
[預測處理部(內預測部、間預測部、預測控制部)]
圖43是顯示在解碼裝置200之預測處理部進行的處理之一例的流程圖。另，預測處理部是由內預測部216、間預測部218及預測控制部220的全部或一部分的構成要素所構成。
預測處理部產生當前區塊的預測圖像(步驟Sq_1)。此預測圖像也稱為預測訊號或預測區塊。另，預測訊號例如有內預測訊號或間預測訊號。具體而言，預測處理部使用藉由進行預測區塊之產生、差分區塊之產生、係數區塊之產生、差分區塊之復原、及解碼圖像區塊之產生而已經得到的重構圖像，來產生當前區塊的預測圖像。
重構圖像例如可為參考圖片之圖像，亦可為包含有當前區塊的圖片即當前圖片內的解碼完畢的區塊之圖像。當前圖片內的解碼完畢的區塊例如為當前區塊的鄰接區塊。
圖44是顯示在解碼裝置200之預測處理部進行的處理之另一例的流程圖。
預測處理部判定用來產生預測圖像的方式或模式(步驟Sr_1)。例如，此方式或模式亦可根據例如預測參數等來判定。
預測處理部在判定為用以產生預測圖像的模式為第1方式時，依照該第1方式來產生預測圖像(步驟Sr_2a)。又，預測處理部在判定為用以產生預測圖像的模式為第2方式時，依照該第2方式來產生預測圖像(步驟Sr_2b)。又，預測處理部在判定為用以產生預測圖像的模式為第3方式時，依照該第3方式來產生預測圖像(步驟Sr_2c)。
第1方式、第2方式及第3方式為用以產生預測圖像之互異的方式，且亦可分別為例如間預測方式、內預測方式及這些以外的預測方式。在該等預 測方式中，亦可使用上述之重構圖像。
[內預測部]
內預測部216根據從編碼位元流解讀的內預測模式，參考儲存於區塊記憶體210之當前圖片內的區塊來進行內預測，藉此產生預測訊號(內預測訊號)。具體而言，內預測部216參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)來進行內預測，藉此產生內預測訊號，並將內預測訊號輸出至預測控制部220。
另，當在色差區塊的內預測中選擇了參考亮度區塊的內預測模式時，內預測部216亦可根據當前區塊的亮度成分來預測當前區塊的色差成分。
又，當從編碼位元流解讀的資訊表示適用PDPC時，內預測部216根據水平/垂直方向的參考像素的梯度來補正內預測後的像素值。
[間預測部]
間預測部218參考儲存於幀記憶體214的參考圖片來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，間預測部218使用從編碼位元流(例如從熵解碼部202輸出的預測參數)解讀的移動資訊(例如移動向量)來進行移動補償，藉此產生當前區塊或子區塊的間預測訊號，並將間預測訊號輸出至預測控制部220。
當從編碼位元流解讀的資訊表示適用OBMC模式時，間預測部218不僅可使用藉由移動搜尋所得到的當前區塊的移動資訊，還可使用鄰接區塊的移動資訊來產生間預測訊號。
又，當從編碼位元流解讀的資訊表示適用FRUC模式時，間預測部218依照從編碼位元流解讀的樣式匹配的方法(雙向匹配或模板匹配)來進行移動搜尋，藉此導出移動資訊。接著，間預測部218使用導出的移動資訊來進行移動補償(預測)。
又，當適用BIO模式時，間預測部218根據假設等速直線運動的模 型來導出移動向量。又，當從編碼位元流解讀的資訊表示適用仿射移動補償預測模式時，間預測部218根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量。
[MV導出>一般間模式]
當從編碼位元流解讀的資訊表示適用一般間模式時，間預測部218根據從編碼流解讀的資訊來導出MV，並使用該MV來進行移動補償(預測)。
圖45是顯示解碼裝置200中之一般間模式進行的間預測的例子的流程圖。
解碼裝置200的間預測部218依每個區塊，對該區塊進行移動補償。間預測部218根據時間上或空間上位於當前區塊的周圍之複數個解碼完畢區塊的MV等之資訊，對該當前區塊取得複數個候選MV(步驟Ss_1)。也就是說，間預測部218製作候選MV清單。
其次，間預測部218從在步驟Ss_1取得的複數個候選MV之中，依照預定的優先順序擷取N個(N為2以上的整數)候選MV之各個，來作為預測移動向量候選(也稱為預測MV候選)(步驟Ss_2)。另，該優先順序亦可對N個預測MV候選之各個事先決定。
其次，間預測部218從已輸入的串流(亦即編碼位元流)將預測移動向量選擇資訊解碼，使用該已解碼的預測移動向量選擇資訊，從該N個預測MV候選之中選擇1個預測MV候選，來作為當前區塊的預測移動向量(也稱為預測MV)(步驟Ss_3)。
其次，間預測部218從已輸入的串流將差分MV解碼，將該已解碼的差分MV即差分值，與已選擇的預測移動向量相加，藉此導出當前區塊的MV(步驟Ss_4)。
最後，間預測部218使用該已導出的MV及解碼完畢參考圖片對當 前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Ss_5)。
[預測控制部]
預測控制部220選擇內預測訊號及間預測訊號之任一者，將已選擇的訊號作為預測訊號輸出至加法部208。整體上，解碼裝置側的預測控制部220、內預測部216及間預測部218的構成、功能及處理亦可與編碼裝置側的預測控制部128、內預測部124及間預測部126的構成、功能及處理相對應。
[解碼裝置的安裝例]
圖46是顯示解碼裝置200之安裝例的方塊圖。解碼裝置200具備處理器b1及記憶體b2。例如，圖41所示的解碼裝置200的複數個構成要素是藉由圖46所示的處理器b1及記憶體b2來安裝。
處理器b1是進行資訊處理的電路，且為可對記憶體b2進行存取的電路。例如，處理器b1是將已編碼之動態圖像(亦即編碼位元流)解碼之專用或通用的電子電路。處理器b1亦可為如CPU之處理器。又，處理器b1亦可為複數個電子電路的集合體。又，例如處理器b1亦可發揮圖41等所示之解碼裝置200之複數個構成要素中的複數個構成要素的功能。
記憶體b2是儲存有處理器b1用來將編碼位元流解碼的資訊之專用或通用的記憶體。記憶體b2可為電子電路，亦可連接於處理器b1。又，記憶體b2亦可包含於處理器b1。又，記憶體b2亦可為複數個電子電路的集合體。又，記憶體b2可為磁碟或光碟等，亦可呈現為儲存裝置或記錄媒體等。又，記憶體b2可為非揮發性記憶體，亦可為揮發性記憶體。
例如，記憶體b2可記憶動態圖像，亦可記憶編碼位元流。又，記憶體b2亦可記憶處理器b1用來將編碼位元流解碼的程式。
又，例如，記憶體b2亦可發揮在圖41等所示之解碼裝置200之複數個構成要素中用來記憶資訊之構成要素的功能。具體而言，記憶體b2亦可發揮 圖41所示之區塊記憶體210及幀記憶體214的功能。更具體而言，記憶體b2亦可記憶重構完畢區塊及重構完畢圖片等。
另，在解碼裝置200中，亦可不安裝圖41等所示之複數個構成要素的全部，亦可不進行上述之複數個處理的全部。圖41等所示之複數個構成要素的一部分亦可包含於其他裝置，上述之複數個處理的一部分亦可藉由其他裝置來執行。
[各用語的定義]
舉一例來說，各用語亦可為如下的定義。
圖片為單色(monochrome)格式之複數個亮度樣本的陣列，或4：2：0、4：2：2及4：4：4的彩色格式之複數個亮度樣本的陣列及複數個色差樣本的2個對應陣列。圖片亦可為幀(frame)或場(field)。
幀是複數個樣本列0、2、4...所產生的上場(top field)以及複數個樣本列1、3、5...所產生的下場(bottom field)的組成物。
切片是1個獨立切片區段(slice segment)、及(如果有)相同存取單元內的(如果有)下一個獨立切片區段之前的所有後續之附屬切片區段所包含的整數個編碼樹單元。
圖塊是圖片中之特定的圖塊行及特定的圖塊列內的複數個編碼樹區塊的矩形區域。圖塊仍然可適用跨越圖塊的邊緣的迴路濾波，但亦可為刻意令其可獨立地解碼及編碼之幀的矩形區域。
區塊是複數個樣本的M×N(N列M行)陣列，或複數個轉換係數的M×N陣列。區塊亦可為由1個亮度及2個色差的複數個矩陣所構成之複數個像素的正方形或矩形的區域。
CTU(編碼樹單元)可為具有3個樣本陣列的圖片之複數個亮度樣本的編碼樹區塊，亦可為複數個色差樣本的2個對應編碼樹區塊。或，CTU亦可 為單色圖片與使用語法(syntax)構造來編碼的圖片之任一種圖片的複數個樣本的編碼樹區塊，其中前述語法構造使用於3個分離的彩色平面及複數個樣本的編碼中。
超級區塊構成1個或2個模式資訊區塊，或，亦可為遞迴地分割成4個32×32區塊且可進一步分割的64×64像素的正方形區塊。
[IMTS(Implicit MTS)中的轉換基底的決定方法]
在[轉換部]項目所說明的AMT及EMT亦可被稱為MTS(Multiple Transform Selection)。編碼裝置100的轉換部106在適用MTS時，選擇DST7或者DCT8(參考圖5A)等的正交轉換基底(又稱為一次轉換基底)。已選擇的基底依每個CU被編碼來作為索引資訊。另一方面，有一種被稱為IMTS(Implicit MTS)的處理，該處理為不會將索引資訊編碼，根據CU的形狀來選擇使用在正交轉換的基底(亦即正交轉換基底)的處理。轉換部106在適用IMTS時，如果例如CU的形狀為矩形(亦即長方形)時，分別對於矩形的短邊側，使用對應於DST7的轉換基底函數(參考圖5A)來進行正交轉換，對於矩形的長邊側，則使用對應於DCT2的轉換基底函數來進行正交轉換。又，轉換部106，例如在CU的形狀為正方形時，如果在序列內MTS有效的話，就使用對應於DCT2的轉換基底函數，來對該正方形的區域的預測殘差進行正交轉換，如果在序列內MTS無效的話，使用對應於DST7的轉換基底函數，來對正方形的區域的預測殘差進行正交轉換。另，DCT2及DST7只是一個例子，亦可使用其他的基底，亦能讓使用的基底的組合成為不同的組合。IMTS亦可只在內預測的區塊使用，亦能內預測的區塊及間預測的區塊一起使用。
以上，對於選擇性地切換正交轉換中使用的基底的方法，已說明了MTS、SBT及IMTS之3個處理(以下亦稱為基底選擇處理)，亦可使3個處理全部為有效，亦可從3個處理選擇性使一部分處理當作為有效。是否將各個基底選擇處理作為有效，可以SPS(Sequence Parameter Set)等的標頭內的旗標資訊等來 識別。例如，轉換部106只要3個基底選擇處理全部為有效，就以CU單位(換言之，依每一個CU)，從3個基底選擇處理選擇1個來進行正交轉換。另，選擇性地切換在正交轉換使用的基底之處理只要能實現：(1)將CU內的全部範圍正交轉換，將顯示已在該轉換使用的基底的資訊編碼；(2)將CU的全部範圍正交轉換，顯示已在該轉換使用的基底的資訊不被編碼，且根據預定的規則來決定基底；(3)將CU的一部分區域正交轉換，將顯示已在該轉換使用的基底的資訊編碼；(4)將CU的一部分區域正交轉換，顯示已在該轉換的基底的資訊不被編碼，且根據預定的規則來決定等的功能之中的至少1個功能即可，例如，亦可追加與上述的3個處理不同的基底選擇處理，亦可以其他的處理來替換。
在此，已說明了轉換部106按每一個CU單位選擇在正交轉換使用的基底(正交轉換基底)的處理的例子，但該處理的單位不限於此。例如，MTS、IMTS及SBT亦可按與CU不同的處理單位每一個來決定適用的有無。例如，在該處理中，亦可以序列單位、圖片單位、圖塊單位、切片單位、CTU單位、或者CU單位來決定適用的有無。
另，選擇性地切換在本揭示的正交轉換使用的基底的工具，亦可改稱為適應性地選擇在正交轉換處理使用的基底的方法、基底選擇處理或者選擇基底的程序(process)。又，選擇性地切換在正交轉換使用的基底的工具亦可改稱為適應性地選擇正交轉換基底的模式。
[第1態樣]
以下，針對本揭示的第1態樣之編碼裝置100、解碼裝置200、編碼方法及解碼方法來說明。第1態樣之編碼裝置100亦可在編碼對象區塊為長方形區塊時，將對於正方形區塊的複數個轉換係數的第1量化矩陣轉換，藉此產生對於長方形區塊的複數個轉換係數的第2量化矩陣，且對長方形區塊的複數個轉換係數，使用第2量化矩陣來進行量化。
又，第1態樣之解碼裝置200亦可在解碼對象區塊為長方形區塊時，將對於正方形區塊的複數個轉換係數的第1量化矩陣轉換，藉此產生對於長方形區塊的複數個轉換係數的第2量化矩陣，且對長方形區塊的複數個量化係數使用第2量化矩陣來進行反量化。
[編碼處理及解碼處理的第1例]
圖47是顯示第1態樣之編碼裝置中的已使用量化矩陣(QM：Quantization Matrix)的編碼處理流程的一例的流程圖。在此，編碼裝置100按已將動態圖像所含的圖片(以下，亦稱為畫面)分割的正方形或者長方形的區塊每一個來進行編碼處理。
首先，在步驟S101中，量化部108產生正方形區塊用的QM。正方形區塊用的QM為對於正方形區塊的複數個轉換係數的量化矩陣。以下，將正方形區塊用的QM亦稱為第1量化矩陣。另，上述的正方形區塊用的QM亦可從使用者定義而設定在編碼裝置100的值來產生，亦可使用已經編碼的圖片的編碼資訊來適應性地產生。
熵編碼部110將已在量化部108所產生的上述的與正方形區塊用的QM有關的訊號記述在串流中。此時，上述的與正方形區塊用的QM有關的訊號亦可編碼到串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域、或者儲存其他參數的區域。另，上述的與正方形區塊用的QM有關的訊號亦可不記述在串流中。此時，量化部108亦可使用已事先在規格中定義的預設(default)的正方形區塊用的QM的值。又，熵編碼部110亦可不將上述的正方形區塊用的QM的全部矩陣的係數(也就是說，量化係數)記述在串流中，而是只將為了產生該QM而成為必要的一部分係數記述在串流中。藉此可刪減要編碼的資訊量。
其次，在步驟S102中，量化部108使用已在S101產生的正方形區塊 用的QM，來產生長方形區塊用的QM。此時，熵編碼部110不將與長方形區塊用的QM有關的訊號記述在串流中。以下，長方形區塊用的QM亦稱為第2量化矩陣。
另，步驟S101及步驟S102的處理，如已在圖47說明的，亦可成為在序列處理開始時、在圖片處理開始時、或者是在切片處理開始時一併進行的構成，亦可成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S101及步驟S102中量化部108產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。
其次，開始區塊單位的迴路。首先，在步驟S103中，內預測部124或者間預測部126以區塊單位，進行已使用畫面內預測或者畫面間預測等的預測處理，來產生預測殘差圖像。其次，在步驟S104中，轉換部106對於已產生的預測殘差圖像，進行已使用離散餘弦轉換(DCT)等的轉換處理，將處理對象區塊的空間域的預測殘差(亦稱為預測誤差)轉換成頻率域的轉換係數。其次，在步驟S105中，量化部108對已產生的轉換係數，使用步驟S101及步驟S102的輸出即正方形區塊用的QM及長方形區塊用的QM，來進行量化處理。另，在畫面間預測中，亦可將參考處理對象區塊所屬的圖片內的區塊的模式與參考處理對象區塊所屬的圖片不同的圖片內的區塊的模式一起使用。此時，亦可讓畫面間預測用的QM對量模式共通地使用，亦可對參考處理對象區塊所屬的圖片內的區塊的模式使用畫面內預測用的QM。進而，在步驟S106中，反量化部112對量化後的轉換係數，使用步驟S101及步驟S102的輸出即正方形區塊用的QM及長方形區塊用的QM，來進行反量化處理，在步驟S107中，反轉換部114對反量化後的轉換係數進行反轉換處理，以此產生殘差(預測誤差)。接著，在步驟S108中，加法部116將殘差圖像與預測圖像相加，以此產生重構圖像。編碼裝置100對編碼對象圖片內的全部的區塊，重複該一連串的處理流程，結束區塊單位的迴路。
藉此，在具有各式各樣的形狀的長方形區塊的編碼方式中，亦能無須將與對應於各個形狀的長方形區塊的QM有關的訊號記述在串流中，只將有關與正方形區塊的QM對應的訊號記述在串流中，以此來進行編碼處理。進而，依本揭示的第1態樣之編碼裝置100，不將對應於長方形區塊的QM記述在串流中，因此可刪減標頭區域的編碼量。又，依本揭示的第1態樣之編碼裝置100，能從與正方形區塊對應的QM來產生與長方形區塊對應的QM，因此可以不讓標頭區域的編碼量增加而對長方形區塊使用適當的QM。因此，依本揭示的第1態樣之編碼裝置100，亦能對各式各樣的形狀的長方形區塊有效率地進行量化，因此可將編碼效率提昇的可能性變高。另，正方形區塊用的QM亦可不記述在前述串流中，亦可使用已事先在規格中定義的預設的正方形區塊用的QM的值。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
接著，一邊參考圖式，一邊更具體地說明包含本揭示的第1態樣之反量化處理的解碼處理。圖48是顯示使用有第1態樣之解碼裝置中的量化矩陣(QM)的解碼處理流程的一例的流程圖。在此，解碼裝置200依已將畫面分割的正方形或者長方形的區塊的每一個進行解碼處理。
首先，在步驟S201中，熵解碼部202從串流中將與正方形區塊用的QM有關的訊號解碼，且使用已解碼的與正方形區塊用的QM有關的訊號，產生正方形區塊用的QM。另，上述的正方形區塊用的QM亦可從串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或者儲存其他參數的區域來解碼。又，熵解碼部202亦可讓上述的與正方形區塊用的QM有關的訊號不從串流中解碼，而使用已事先在規格中定義的預設(default)的值。又，熵解碼部202亦可不將上述的正方形區塊用的QM的全部矩陣的係數(以下亦稱為量化加權係數或者矩陣元素)從串流中解碼，而只將為了產生該QM而成為必要的一部分係 數從串流中解碼，來產生該QM。
其次，在步驟S202中，熵解碼部202使用已在S201產生的正方形區塊用的QM，來產生長方形區塊用的QM。另，此時，熵解碼部202不將與長方形區塊用的QM有關的訊號從上述的串流中解碼。
另，步驟S201及步驟S202的處理，如已在圖48說明的，亦可成為在序列處理開始時、在圖片處理開始時、或是在切片處理開始時一併進行的構成，亦可成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S201及步驟S202中熵解碼部202產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。
其次，開始區塊單位的迴路。首先，在步驟S203中，內預測部216或者間預測部218以區塊單位，進行已使用畫面內預測或者畫面間預測等的預測處理，在步驟S204中，反量化部204對於已從串流中解碼的量化後的轉換係數(也就是說，量化係數)，使用步驟S201及步驟S202的輸出即正方形區塊用的QM及長方形區塊用的QM，來進行反量化處理。另，在畫面預測中，亦可將參考處理對象區塊所屬的圖片內的區塊的模式與參考處理對象區塊所屬的圖片不同的圖片內的區塊的模式一起使用。此時，亦可讓畫面間預測用的QM對量模式共通地使用，亦可對參考處理對象區塊所屬的圖片內的區塊的模式使用畫面內預測用的QM。其次，在步驟S205中，反轉換部206對反量化後的轉換係數進行反轉換處理，以此產生殘差(預測誤差)。接著，在步驟S206中，加法部208將殘差圖像與預測圖像相加，以此產生重構圖像。解碼裝置200對解碼對象圖片內的全部的區塊，重複該一連串的處理流程，結束區塊單位的迴路。
藉此，在具有各式各樣的形狀的長方形區塊的解碼方式中，亦無須從串流中讀取與各個形狀的長方形區塊對應的QM，只要將與正方形區塊的 QM有關的訊號從串流中讀出，就能進行解碼處理。也就是說，依本揭示的第1態樣之解碼裝置200，就能從與正方形區塊對應的QM來產生與長方形區塊對應的QM，因此可以不讓標頭區域的編碼量增加而將各式各樣的形狀的長方形區塊解碼。因此，依本揭示的第1態樣之解碼裝置200，可對各式各樣的形狀的長方形區塊有效率地進行反量化，因此可提高處理效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
[第1例中的長方形區塊用QM的產生方法的第1個例子]
接著，說明第1例中的長方形區塊用的QM的產生方法的第1個例子。圖49是用來說明在圖47的步驟S102及圖48的步驟S202當中，從正方形區塊用的QM產生長方形區塊用的QM的第1個例子的圖。另，在此說明的處理是編碼裝置100及解碼裝置200當中共通的處理。
圖49是記載針對具有從2×2迄至256×256的尺寸的正方形區塊的每一個，對應於從各個尺寸的正方形區塊用的QM所產生的長方形區塊用的QM的尺寸。在圖49所示的例子中，將各個長方形區塊的長邊的長度和對應的正方形區塊的1邊的長度相同作為特徵。換言之，在該例中，把作為處理對象區塊的長方形區塊的尺寸小於正方形區塊的尺寸當作為特徵。也就是說，本揭示的第1態樣之編碼裝置100及解碼裝置200是將具有與作為處理對象區塊的長方形區塊的長邊的長度為相同長度的1邊的正方形區塊用的QM向下轉換(down convert)，藉此來產生長方形區塊用的QM。
另，在圖49中不區分亮度區塊與色差區塊區分，而記載有各式各樣的區塊尺寸的正方形區塊用的QM、與從各正方形區塊用的QM所產生的長方形區塊用的QM的對應關係。適應於實際使用的格式的正方形區塊用的QM與長方形區塊用的QM的對應關係亦可被適當地導出。例如，在4：2：0格式的時候， 亮度區塊是色差區塊的2倍大。為此，在從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考亮度區塊時，能使用的正方形區塊用的QM對應於從4×4迄至256×256的尺寸的正方形區塊。此時，對於從正方形區塊用的QM所產生的長方形區塊用的QM，只使用與具有短邊的長度為4以上，且，長邊的長度為256以下的尺寸的長方形區塊對應的QM。又，在從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考色差區塊時，能使用的正方形區塊用的QM是對應於從2×2迄至128×128的尺寸的正方形區塊。此時，對於從正方形區塊用的QM所產生的長方形區塊用的QM，只使用與具有短邊的長度為2以上，且，長邊的長度為128以下的尺寸的長方形區塊對應的QM。
又，例如，4：4：4格式時，亮度區塊為與色差區塊相同尺寸的區塊。為此，在於產生長方形區塊用的QM的處理當中參考色差區塊時，和參考亮度區塊的情形同樣地，可使用的正方形區塊用的QM對應於從4×4迄至256×256的尺寸的正方形區塊。
如此，只要因應實際使用的格式，適當地導出正方形區塊用的QM與長方形區塊用的QM的對應關係即可。
另，圖49中記載的區塊尺寸只是一個例子，且不限於此。例如，亦可將圖49中例示的區塊尺寸以外的區塊尺寸的QM設為可使用，亦可只將圖49中例示的區塊尺寸當中一部分區塊尺寸的正方形區塊用的QM設為可使用。
圖50是用來說明從對應的正方形區塊用的QM進行向下轉換，藉此來產生圖49所說明的長方形區塊用的QM的方法的圖。在圖50的例子中，從8×8的正方形區塊用的QM，產生了8×4的長方形區塊用的QM。
在向下轉換處理中，亦可將正方形區塊用的QM的複數個矩陣元素分割成與長方形區塊用的QM的複數個矩陣元素的數量相同的數量的群組，針對前述複數個群組的每一個，該群組所含的複數個矩陣元素是在正方形區塊的水 平方向或者垂直方向連續配置，針對複數個群組的每一個，將該群組所含的複數個矩陣元素之中位於最低域側的矩陣元素，決定為在長方形區塊用的QM中對應於該群組的矩陣元素。
例如，在圖50中，讓8×8的正方形區塊用的QM的複數個矩陣元素於預定的個數的每一個數用粗線來包圍。該被粗線所包圍的預定的個數的矩陣元素構成為1個群組。在於圖50例示的向下轉換處理中，將8×8的正方形區塊用的QM分割成該等的群組的數量與從8×8的正方形區塊用的QM所產生的長方形區塊用的QM的量化加權係數(所謂的矩陣元素)的個數相同。在圖50的例子中，上下方向鄰接的2個量化加權係數構成1個群組。其次，在8×8的正方形區塊用的QM中，選擇在各群組之中位於最低域側(在圖50的例子中，上側)的量化加權係數，來作為8×4的長方形區塊用的QM的值。
另，以長方形區塊用的QM的值來說，從各群組之中來選擇1個量化加權係數的方法不限於上述的例子，亦可使用其他的方法。例如，如上述的例子，不是將位於群組內的最低域的量化加權係數作為長方形區塊用的QM的值，而是亦可將位於最高域側的係數來作為長方形區塊用的QM的值，亦可將位於中間域的量化加權係數來作為長方形區塊用的QM的值。或是，亦可使用群組內的全部量化加權係數或者一部分量化加權係數的平均值、最小值、最大值或者中間值等。另，當該等值的計算的結果產生了小數點的時候，亦可利用進位、捨去或者四捨五入等來簡化成整數。
另，從正方形區塊用的QM中的各群組之中選擇1個量化加權係數的方法亦可在正方形區塊用的QM中因應各群組所位於的頻域來切換。例如，在位於低域的群組中，亦可選擇群組內的最低域側的量化加權係數，在位於高域的群組中，亦可選擇位於群組內的最高域側的量化加權係數，在位於中間域的群組中，亦可選擇位於群組內的中間域的量化加權係數。
另，亦可讓產生的長方形區塊用的QM的最低域成分(圖50的例子的最左上的量化加權係數)不是從正方形區塊用的QM導出，而是可記述在串流中並從串流中直接設定。在這情形下，由於使記述在串流中的資訊量增加，因此會讓標頭區域的編碼量增加，但是能直接控制對畫質的影響最大的最低域成分的QM的量化加權係數，因此使能提昇畫質的可能性變高。
另，在此說明了將正方形區塊用的QM在垂直方向向下轉換來產生長方形區塊用的QM的情形的例子，但是將正方形區塊用的QM在水平方向向下轉換來產生長方形區塊用的QM的情形亦可使用與圖50的例子同樣的方法來進行。
[第1例之長方形區塊用的QM的產生方法的第2個例子]
接著，說明第1例之長方形區塊用的QM的產生方法的第2個例子。圖51是用來說明在圖47的步驟S102及圖48的步驟S202中，從正方形區塊用的QM產生長方形區塊用的QM的第2個例子的圖。另，在此說明的處理是編碼裝置100及解碼裝置200中的共通的處理。
在圖51中，記載著針對具有2×2迄至256×256的尺寸的正方形區塊的每一個，來對應從各個尺寸的正方形區塊用的QM所產生的長方形區塊用的QM的尺寸。在圖51所示的例子中，讓各個長方形區塊的短邊的長度與對應的正方形區塊的1邊的長度相同為特徵。換言之，在該例中，把作為處理對象區塊的長方形區塊的尺寸大於正方形區塊的尺寸當作為特徵。也就是說，在本揭示的第1態樣之編碼裝置100及解碼裝置200中，將具有與作為處理對象區塊的長方形區塊的短邊的長度為相同長度的1邊的正方形區塊用的QM向上轉換(up convert)，藉此產生長方形區塊用的QM。
另，在圖51中不區分亮度區塊與色差區塊，而記載有各式各樣的區塊尺寸的正方形區塊用的QM、與從各正方形區塊用的QM所產生的長方形區 塊用的QM的對應關係。適應於實際使用的格式的正方形區塊用的QM與長方形區塊用的QM的對應關係亦可適當地導出。例如，在4：2：0格式的情形中，從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考亮度區塊時，對於從正方形區塊用的QM所產生的長方形區塊用的QM，只使用與具有短邊的長度為4以上，且長邊的長度為256以下的尺寸的長方形區塊對應的QM。又，從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考色差區塊時，對於從正方形區塊用的QM所產生的長方形區塊用的QM，只使用與具有短邊的長度為2以上，且長邊的長度為128以下的尺寸的長方形區塊對應的QM。另，針對4：4：4格式的情形，和以圖49說明的內容同樣，因此省略在此的說明。
如此，只要因應實際使用的格式，適當地導出正方形區塊用的QM與長方形區塊用的QM的對應關係即可。
另，圖51中記載的區塊尺寸只是一個例子，且不限於此。例如，亦可將圖51中例示的區塊尺寸以外的區塊尺寸的正方形區塊用的QM設為可使用，亦可只將圖51中例示的區塊尺寸當中一部分區塊尺寸的正方形區塊用的QM設為可使用。
圖52是用來說明從對應的正方形區塊用的QM進行向上轉換，藉此來產生圖51所說明的長方形區塊用的QM的方法的圖。在圖52的例子中，從4×4的正方形區塊用的QM，產生了8×4的長方形區塊用的QM。
在向上轉換處理中，亦可(i)將長方形區塊用的QM的複數個矩陣元素分割成與正方形區塊用的QM的複數個矩陣元素的數量相同的數量的群組，針對複數個群組的每一個，使該群組中所含的複數個矩陣元素重複，藉此在長方形區塊用的QM中決定與該群組對應的矩陣元素；或是，(ii)在長方形區塊用的QM的複數個矩陣元素之中鄰接的矩陣元素之間進行線性內插，以此來決定長方形區塊用的QM的複數個矩陣元素。
例如，在圖52中，讓8×4的長方形區塊用的QM的複數個矩陣元素於預定的個數的每一個數用粗線來包圍。該被粗線所包圍的預定的個數的矩陣元素構成為1個群組。在於圖52例示的向上轉換處理中，將8×4的長方形區塊用的QM分割成該等的群組的數量與對應的正方形區塊用的QM的量化加權係數(所謂的矩陣元素)的個數相同。在圖52的例子中，左右方向鄰接的2個量化加權係數構成1個群組。其次，在8×4的長方形區塊用的QM中，選擇對應於該群組的正方形區塊用的QM的量化加權係數的值，作為構成各群組的量化加權係數，填補在該群組內，以此來作為8×4的長方形區塊用的QM的值。
另，導出長方形區塊用的QM中的各群組內的量化加權係數的方法不限於上述的例子，亦可使用其他的方法。例如，亦可參考鄰接的頻域的量化加權係數的值，進行線性內插等來導出，使各群組內的量化加權係數的值成為連續的值。另，當該等值的計算的結果產生了小數點的時候，亦可利用進位、捨去或者四捨五入等來簡化成整數。
另，導出長方形區塊用的QM中的各群組內的量化加權係數的方法亦可因應長方形區塊用的QM中各群組所在的頻域來切換。例如，在位於低域的群組中，亦可讓群組內的各量化加權係數的值盡可能成為小的值地來導出，在位於高域的群組中，亦可讓群組內的各量化加權係數的值盡可能成為大的值地來導出。
另，讓產生的長方形區塊用的QM的最低域成分(圖52的例子的最左上的量化加權係數)不是從正方形區塊用的QM導出，亦可成為記述在串流中而從串流直接設定的構成。在這情形下，由於使記述在串流中的資訊量增加，因此會讓標頭區域的編碼量增加，但是能直接控制對畫質的影響最大的最低域成分的QM的量化加權係數，因此使能提昇畫質的可能性變高。
另，在此說明了將正方形區塊用的QM在垂直方向向上轉換，產生 長方形區塊用的QM的情形的例子，但是將正方形區塊用的QM在水平方向向上轉換，產生長方形區塊用的QM的情形亦可使用與圖52的例子同樣的方法來進行。
[編碼處理及解碼處理的第1例的其他變化]
編碼裝置100及解碼裝置200亦可因應產生的長方形區塊的尺寸來切換已使用圖49及圖50來說明的長方形區塊用的QM的產生方法的第1個例子、及已使用圖51及圖52來說明的長方形區塊用的QM的產生方法的第2個例子，來作為從正方形區塊用的QM產生長方形區塊用的QM的方法使用。例如，有將長方形區塊的縱橫尺寸的比例(向下轉換或者向上轉換的倍率)與閾值相比，若大於閾值，使用第1個例子，若小於閾值，使用第2個例子的方法。或是有讓表示使用第1個例子及第2個例子之哪一個方式的旗標依長方形區塊的尺寸的每一個記述在串流中來切換等方法。藉此，可因應長方形區塊的尺寸來切換向下轉換處理與向上轉換處理，因此能產生更適當的長方形區塊用的QM。
另，亦可不是依長方形區塊的尺寸之每一個來切換向上轉換處理及向下轉換處理，而是對1個長方形區塊，將向上轉換處理及向下轉換處理組合來使用。例如，將32×32的正方形區塊用的QM沿水平方向向上轉換，來產生32×64的長方形區塊用的QM，接著，亦可將該32×64的長方形區塊用的QM在垂直方向向下轉換，來產生16×64的長方形區塊用的QM。
又，亦可對1個長方形區塊，往2方向進行向上轉換處理。例如，亦可將16×16的正方形區塊用的QM在垂直方向向上轉換，來產生32×16的長方形區塊用的QM，接著，將該32×16的長方形區塊用的QM在水平方向向上轉換，來產生32×64的長方形區塊用的QM。
另，亦可對1個長方形區塊，往2方向進行向下轉換處理。例如，亦可將64×64的正方形區塊用的QM在水平方向向下轉換，來產生64×32的長方形 區塊用的QM，接著，將該64×32的長方形區塊用的QM在垂直方向向下轉換，來產生16×32的長方形區塊用的QM。
[編碼處理及解碼處理的第1例的效果]
依本揭示的第1態樣之編碼裝置100，透過一邊參考圖47一邊說明的構成，在具有各式各樣的形狀的長方形區塊的編碼方式中，亦能無須將有關與各個形狀的長方形區塊對應的QM的訊號記述在串流中，而是只將有關與正方形區塊對應的QM的訊號記述在串流中，以此來進行編碼處理。進而，依本揭示的第1態樣之編碼裝置100，由於不將有關與長方形區塊的QM的訊號記述在串流中，因此可刪減標頭區域的編碼量。又，依本揭示的第1態樣之編碼裝置100，能從與正方形區塊對應的QM來產生與長方形區塊對應的QM，因此可以不讓標頭區域的編碼量增加而對長方形區塊使用適當的QM。因此，依本揭示的第1態樣之編碼裝置100，能對各式各樣的形狀的長方形區塊有效率地進行量化，因此可提高編碼效率的可能性變高。
又，依本揭示的第1態樣之解碼裝置200，透過一邊參考圖48一邊說明的構成，在具有各式各樣的形狀的長方形區塊的解碼方式中，亦能無須將有關與各式各樣的形狀的長方形區塊對應的QM的訊號從串流中讀出，而是只將有關與正方形區塊對應的QM的訊號從串流中讀出，以此來進行解碼處理。也就是說，依本揭示的第1態樣之解碼裝置200，就能從與正方形區塊對應的QM來產生與長方形區塊對應的QM，因此可以不讓標頭區域的編碼量增加而將各式各樣的形狀的長方形區塊解碼。因此，依本揭示的第1態樣之解碼裝置200，能對各式各樣的形狀的長方形區塊有效率地進行反量化，因此能可提高處理效率提昇的可能性變高。
亦可將本態樣與本揭示中的其他的態樣的至少一部分組合來實施。又，亦可將本態樣的流程圖中記載的一部分處理、裝置的一部分構成或者 語法的一部分等與其他的態樣組合來實施。
[第2態樣]
以下，針對本揭示的第2態樣之編碼裝置100、解碼裝置200、編碼方法及解碼方法來說明。
[編碼處理及解碼處理的第2例]
圖53是顯示第2態樣之編碼裝置中已使用量化矩陣(QM)的編碼處理流程的一例的流程圖。在此，編碼裝置100依已將畫面分割的正方形或者長方形的區塊的每一個進行編碼處理。
首先，在步驟S301中，量化部108產生與包含正方形區塊及長方形區塊的各區塊尺寸中的有效的轉換係數的區域(以下亦稱為有效轉換係數區域)的尺寸對應的QM。換言之，量化部108只對處理對象區塊所含的複數個轉換係數之中低頻域的預定的區域內的複數個轉換係數，使用量化矩陣來進行量化。
熵編碼部110將有關在步驟S301中所產生的與有效的轉換係數區域對應的QM的訊號記述在串流中。換言之，熵編碼部110將只有關與低域側的預定的範圍內的複數個轉換係數對應的量化矩陣的訊號編碼到位元流。
另，量化部108亦可將上述的與有效的轉換係數區域對應的QM，從使用者所定義而設定在編碼裝置100的值來產生，亦可使用已經編碼的圖片的編碼資訊來適應性地產生。又，上述的有關與有效的轉換係數區域對應的QM的訊號亦可編碼到串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域、或者儲存其他的參數的區域。又，上述的與有效的轉換係數區域對應的QM亦可不記述在串流中。此時，量化部108亦可使用已事先在規格中定義的預設的值，來作為上述的與有效的轉換係數區域對應的QM的值使用。
另，步驟S301的處理，如已在圖53說明的，亦可成為在序列處理開始時、在圖片處理開始時、或者是在切片處理開始時一併進行的構成，亦可 成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S301中產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。
另，在圖53所示的處理流程中，步驟S301以外的處理是區塊單位的迴路處理，和使用圖47來說明的第1例的處理同樣。
藉此，針對只將處理對象區塊所含的複數個轉換係數當中低頻域側的一部分區域來作為包含有效的轉換係數的區域的區塊尺寸的處理對象區塊，能在不將有關成為無效的區域的QM的訊號浪費地記述在串流中的情況下進行編碼處理。因此，能刪減標頭區域的編碼量，因此使能提高編碼效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
圖54是顯示使用了第2態樣之解碼裝置中的量化矩陣(QM)的解碼處理流程的一例的流程圖。在此，解碼裝置200在已將畫面分割的正方形或者長方形的區塊的每一個進行解碼處理。
首先，在步驟S401中，熵解碼部202從串流中將有關與有效的轉換係數區域對應的QM的訊號解碼，且使用已解碼的有關與有效的轉換係數區域對應的QM的訊號，產生與有效的轉換係數區域對應的QM。上述的與有效的轉換係數區域對應的QM是對應於處理對象區塊的各區塊尺寸中的有效的轉換係數區域的尺寸的QM。另，上述的與有效的轉換係數區域對應的QM亦可從串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或者儲存其他參數的區域來解碼。又，亦可不將上述的與有效的轉換係數區域對應的QM從串流中解碼，而是使用已事先在規格中定義的預設的值。
另，步驟S401的處理，如已在圖54說明的，亦可成為在序列處理開始時、在圖片處理開始時、或是在切片處理開始時一併進行的構成，亦可成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S401中熵解碼部202產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。
另，在圖54例示的處理流程中，步驟S401以外的處理是區塊單位的迴路處理，和使用圖48來說明的第1例的處理同樣。
藉此，針對只將處理對象區塊所含的複數個轉換係數當中低域側的一部分區域來作為包含有效的轉換係數的區域的區塊尺寸的處理對象區塊，就算不將與成為無效的區域的QM有關的訊號從串流浪費地讀出，亦能進行解碼處理。因此，因為能實現刪減處理量，所以使能提高處理效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
圖55是用來說明在圖53的S301及圖54的S401中，與各區塊尺寸中的有效的轉換係數區域的尺寸對應的QM的例子的圖。另，在此說明的處理是編碼裝置100及解碼裝置200之共通的處理。
圖55的(a)顯示了處理對象區塊的區塊尺寸為64×64的正方形區塊的情形的例子。只有以圖中的斜線所示的低域側的32×32的區域為有效的轉換係數區域。在該處理對象區塊中，該有效的轉換係數以外的區域是強制地將轉換係數設為0。也就是說，因為將轉換係數作為無效，所以不需要量化處理及反量化處理。因此，本揭示的第2態樣的編碼裝置100及解碼裝置200只產生與以圖中的斜線所示的低域側的32×32的區域對應的32×32的QM。
圖55的(b)顯示了處理對象區塊的區塊尺寸為64×32的長方形區塊 的情形的例子。在圖55的(b)的例子中，與圖55的(a)的例子同樣，編碼裝置100及解碼裝置200只產生與低域側的32×32的區域對應的32×32的QM。
圖55的(c)顯示了處理對象區塊的區塊尺寸為64×16的長方形區塊的情形的例子。在圖55的(c)的例子中，不同於圖55的(a)的例子，縱向的區塊尺寸只有16，因此編碼裝置100及解碼裝置200只產生與低域側的32×16的區域對應的32×16的QM。
如此，在處理對象區塊的縱橫任一個的邊都比32大的情形當中，令大於32的區域的轉換係數為無效，只令32以下的區域為有效的轉換係數區域，作為量化處理及反量化的處理對象，進行QM的量化加權係數的產生，以及有關該QM之訊號的到串流的編碼及從串流的解碼。
藉此，編碼裝置100能在不將與成為無效的區域的QM有關的訊號浪費地記述到串流的情況下進行編碼處理，因此能刪減標頭區域的編碼量。因此，編碼裝置100使可提高編碼效率的可能性變高。又，解碼裝置200能在不將與成為無效的區域的WM有關的訊號浪費地從串流讀出的情況下進行解碼處理，因此能刪減處理量。因此，解碼裝置200使能提高處理效率的可能性變高。
另，以圖55說明的有效的轉換係數區域的尺寸只是一個例子，亦可使用這個以外的有效的轉換係數區域的尺寸。例如，在處理對象區塊為亮度區塊的情形當中亦可將迄至32×32的區域作為有效的轉換係數區域，在處理對象區塊為色差區塊的情形當中，亦可將迄至16×16的區域作為有效的轉換係數區域。又，在處理對象區塊的長邊為64時，亦可將迄至32×32的區域作為有效的轉換係數區域，在處理對象區塊的長邊為128或者256時，亦可將迄至62×62的區域作為有效的轉換係數區域。
另，亦可作為使用與第1態樣中說明的方法同樣的處理，在一旦產生了與正方形及長方形的全部的頻率成分對應的量化矩陣的係數之後，產生只 對應於使用圖55來說明的有效的轉換係數區域的QM的構成。在這情形下，記述在串流中的與該QM有關的訊號的量和第1態樣中說明的方法沒有改變，但原封不動地使用在第1態樣中說明的方法，以構成為能產生全部的正方形及長方形的QM，維持這樣的狀態下能省略有效的轉換係數區域以外的量化處理。藉此，可刪減與量化處理有關的處理量的可能性變高。
[編碼處理及解碼處理的第2例的變形例]
圖56是顯示第2態樣的變形例之編碼裝置中已使用量化矩陣(QM)的編碼處理流程的一例的流程圖。在此，編碼裝置100依已將畫面分割的正方形或者長方形的區塊的每一個進行編碼處理。
在該變形例中，是對於將圖53中所說明的第2例的構成組合圖49所說明的第1例的構成所形成的例子，且進行步驟S501及步驟S502的處理，來取代圖53的步驟S301。
首先，在步驟S501中，量化部108產生正方形區塊用的QM。此時，上述正方形區塊用的QM為只對應於正方形區塊中的有效的轉換係數區域的尺寸的QM。又，熵編碼部110將有關在步驟S501所產生的正方形區塊用的QM的訊號記述在串流中。此時，記述在串流中的與正方形區塊用的QM有關的訊號是上述的有關與有效的轉換係數區域的尺寸對應的QM的訊號，且為上述的有關只與有效的轉換係數區域對應的量化加權係數的訊號。
其次，在步驟S502中，量化部108使用在步驟S501所產生的正方形區塊用的QM(也就是說，與有效的轉換係數區域的尺寸對應的QM)，產生長方形區塊用的QM。另，此時，熵編碼部110不將與長方形區塊用的QM有關的訊號記述在串流中。
另，在圖56所示的處理流程中，步驟S501及步驟S502以外的處理是區塊單位的迴路處理，和使用圖47來說明的第1例的處理同樣。
藉此，即使在具有各式各樣的形狀的長方形區塊的編碼方式中，亦能無須將有關與各個形狀的長方形區塊對應的QM的訊號記述在串流中，只將有關與正方形區塊的QM對應的訊號記述在串流中，以此來進行編碼處理。進而，針對只將包含處理對象區塊所含的複數個轉換係數當中一部分轉換係數的區域設為有效的轉換係數區域之區塊尺寸的處理對象區塊，能在不將與成為無效的區域的QM有關的訊號浪費地記述在串流中的情況下進行編碼處理，因此能進行編碼處理。因此，可一邊刪減標頭區域的編碼量，一邊對長方形區塊使用QM，因此使能提高編碼效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
圖57是顯示第2態樣之解碼裝置中已使用量化矩陣(QM)的解碼處理流程的一例的流程圖。在此，解碼裝置200依已將畫面分割的正方形或者長方形的區塊的每一個進行解碼處理。
該變形例是對於圖54中所說明的第2例的構成組合圖48所說明的第1例的構成所形成的例子，且進行步驟S601及步驟S602的處理，來取代圖54的步驟S401。
首先，在步驟S601中，熵解碼部202是從串流中將與正方形區塊用的QM有關的訊號解碼，且使用已解碼的與正方形區塊用的QM有關的訊號，產生正方形區塊用的QM。此時，已從串流中解碼的有關正方形區塊用的QM的訊號為只與有效的轉換係數區域對應的量化加權係數有關的訊號。因此，在熵解碼部202所產生的正方形區塊用的QM為對應於有效的轉換係數區域的尺寸的QM。
其次，在步驟S602中，熵解碼部202使用在步驟S601中所產生的正方形區塊用的QM，來產生長方形區塊用的QM。另，此時，熵解碼部202不將有 關長方形區塊用的QM的訊號從串流中解碼。
另，在圖57例示的處理流程中，步驟S601及步驟S602以外的處理是和使用圖48來說明的第1例的處理同樣。
藉此，即使在具有各式各樣的形狀的長方形區塊的解碼方式中，亦無須將有關與各個形狀的長方形區塊對應的QM的訊號從串流中讀出，只要將有關與正方形區塊對應的QM的訊號從串流中讀出，就能進行解碼處理。進而，依本揭示的第2態樣之解碼裝置200，針對只將處理對象區塊所含的複數個轉換係數當中一部分區域來作為有效的轉換係數區域的區塊尺寸，就算不將有關成為無效的區域的QM的訊號從串流浪費地讀出，亦能進行解碼處理。因此，依本揭示的第2態樣之解碼裝置200，亦能一邊刪減標頭區域的編碼量，一邊對長方形區塊使用QM，因此使能提高處理效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
[第2例的變形例中的長方形區塊用QM的產生方法的第1個例子]
圖58是用來說明在圖56的步驟S502及圖57的步驟S602中，從正方形區塊用的QM產生長方形區塊用的QM的第1個例子的圖。另，在此說明的處理是編碼裝置100及解碼裝置200當中共通的處理。
在圖58中，記載著針對具有從2×2迄至256×256的尺寸的正方形區塊的每一個，對應於從各個尺寸的正方形區塊用的QM所產生的長方形區塊用的QM的尺寸。在圖58所示的例子中，顯示了處理對象區塊的尺寸與前述處理對象區塊之中的有效的轉換係數區域的尺寸。記載於()內的數值是表示對象區塊尺寸之中的有效的轉換係數區域的尺寸。另，針對處理對象區塊的尺寸與上述之有效的轉換係數區域的尺寸相等的長方形區塊，成為與在圖49所說明的第1例相同的處理，所以在圖58所示的對應表中省略了數值的記載。
在此，將各個長方形區塊的長邊的長度和對應的正方形區塊的1邊的長度相同，且長方形區塊小於正方形區塊作為特徵。也就是說，將正方形區塊用的QM向下轉換，以此來產生長方形區塊用的QM。
另，在圖58中不區分亮度區塊與色差區塊，而記載有各式各樣的區塊尺寸的正方形區塊用的QM與從各正方形區塊用的QM所產生的長方形區塊用的QM的對應關係。適應於實際使用的格式的正方形區塊用的QM與長方形區塊用的QM的對應關係亦可被適當地導出。例如，在4：2：0格式的時候，亮度區塊是色差區塊的2倍大。因此在從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考亮度區塊時，能使用的正方形區塊用的QM對應於從4×4迄至256×256的尺寸的正方形區塊。此時，從正方形區塊用的QM所產生的長方形區塊用的QM，只使用對應於具有短邊的長度為4以上，且長邊的長度為256以下的尺寸的長方形區塊的QM。又，在從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考色差區塊時，對於從正方形區塊用的QM所產生的長方形區塊用的QM，只使用與具有短邊的長度為2以上，且長邊的長度為128以下的尺寸的長方形區塊對應的QM。另，針對4：4：4格式的情形，和在圖49所說明的內容同樣。
如此，只要因應實際使用的格式，適當地導出正方形區塊用的QM與長方形區塊用的QM的對應關係即可。
另，圖58中記載的有效的轉換係數區域的尺寸只是一個例子，亦可使用圖58中例示的尺寸以外的有效的轉換係數區域的尺寸。
另，圖58中記載的區塊尺寸只是一個例子，且不限於此。例如，亦可使用圖58中例示的區塊尺寸以外的區塊尺寸，亦可只使用圖58中例示的區塊尺寸當中一部分的區塊尺寸。
圖59是用來說明從對應的正方形區塊用的QM進行向下轉換，藉此 來產生圖58所說明的長方形區塊用的QM的方法的圖。在圖59的例子中，從對應於64×64的正方形區塊中的32×32的有效的轉換係數區域的QM，產生了與64×32的長方形區塊中的32×32的有效的轉換係數區域對應的QM。
首先，如圖59的(a)所示，將對應於32×32的有效的轉換區域的QM的量化加權係數於垂直方向將傾斜延長，以此產生具有32×64的有效的轉換係數區域的中間的64×64的正方形區塊用的QM。以使上述的傾斜延長的方法來說，例如有：延長成第31列的量化加權係數與第32列的量化加權係數的差分值成為在此以降的相鄰的量化加權係數的差分值的方法；或將第30行的量化加權係數與第31行的量化加權係數的差分值和第31行的量化加權係數與第32行的量化加權係數的差分值的變化量導出，且一邊將其以降的相鄰的量化加權係數的差分值以上述的變化量來補正，一邊延長的方法等。
其次，如圖59的(b)所示，使用與使用圖50說明的方法同樣的方法，來將具有32×64的有效的轉換係數區域的中間的64×64正方形區塊用QM向下轉換，藉此來產生64×32的長方形區塊用的QM。此時，從結果來看，有效的轉換係數區域在圖61的(c)的64×32的長方形區塊用的QM中，成為附有斜線的32×32的區域。
另，在此，說明了將具有有效的轉換係數區域的正方形區塊用的QM於垂直方向向下轉換，來產生長方形區塊用的QM的情形的例子，但是將具有有效的轉換係數區域的正方形區塊用的QM於水平方向向下轉換來產生長方形區塊用的QM的情形亦可使用和圖59的例子同樣的方法來進行。
另，在此說明了經由中間的正方形區塊用的QM且以2階段的步驟，來產生長方形區塊用的QM的例子，但亦可不經由中間的正方形區塊用的QM，使用如同導出和圖59的例子同樣的處理結果的轉換式等，直接從具有有效的轉換係數區域的正方形區塊用的QM，來產生長方形區塊用的QM。
[第2例的變形例中的長方形區塊用的QM的產生方法的第2個例子]
圖60是用來說明在圖56的步驟S502及圖57的步驟S602當中，從正方形區塊用的QM產生長方形區塊用的QM的第2個例子的圖。另，在此說明的處理是編碼裝置100及解碼裝置200當中共通的處理。
在圖60中，記載著針對具有從2×2迄至256×256的尺寸的正方形區塊的每一個，對應於從各個尺寸的正方形區塊用的QM所產生的長方形區塊用的QM的尺寸。在圖60所示的例子中，顯示了處理對象區塊的尺寸與該處理對象區塊之中的有效的轉換係數區域的尺寸。記載於()內的數值是表示處理對象區塊尺寸之中的有效的轉換係數區域的尺寸。另，針對處理對象區塊的尺寸與上述之有效的轉換係數區域的尺寸相等的長方形區塊，成為與在圖51所說明的第1例相同的處理，所以在圖60所示的對應表中省略了數值的記載。
在此，將各個長方形區塊的短邊的長度和對應的正方形區塊的1邊的長度相同，且長方形區塊較大於正方形區塊作為特徵。也就是說，將正方形區塊用的QM向上轉換，以此來產生長方形區塊用的QM。
另，在圖60中不區分亮度區塊與色差區塊，而記載有各式各樣的區塊尺寸的正方形區塊用的QM與從各正方形區塊用的QM所產生的長方形區塊用的QM的對應關係。適應於實際使用的格式的正方形區塊用的QM與長方形區塊用的QM的對應關係亦可被適當地導出。例如，在4：2：0格式的時候，亮度區塊是色差區塊的2倍大。因此在從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考亮度區塊時，對於從正方形區塊用的QM所產生的長方形區塊用的QM，只使用與具有短邊的長度為4以上，且長邊的長度為256以下的尺寸的長方形區塊對應的QM。又，在從正方形區塊用的QM來產生長方形區塊用的QM的處理當中要參考色差區塊時，對於從正方形區塊用的QM所產生的長方 形區塊用的QM，只使用與具有短邊的長度為2以上，且長邊的長度為128以下的尺寸的長方形區塊對應的QM。另，針對4：4：4格式的情形，和在圖49所說明的內容同樣。
如此，只要因應實際使用的格式，適當地導出正方形區塊用的QM與長方形區塊用的QM的對應關係即可。
另，圖60中記載的有效的轉換係數區域的尺寸只是一個例子，亦可使用圖60中例示的尺寸以外的有效的轉換係數區域的尺寸。
另，圖60中記載的區塊尺寸只是一個例子，且不限於此。例如，亦可使用圖60中例示的區塊尺寸以外的區塊尺寸，亦可只使用圖60中例示的區塊尺寸當中一部分的區塊尺寸。
圖61是用來說明將圖60所說明的長方形區塊用的QM藉由從對應的正方形區塊用的QM進行向下轉換來產生的方法的圖。
在圖61的例子中，從對應於32×32的正方形區塊中的32×32的有效的轉換係數區域的QM，產生了與64×32的長方形區塊中的32×32的有效的轉換係數區域對應的QM。
首先，如圖61的(a)所示，使用與使用圖52說明的方法同樣的方法，來將32×32的正方形區塊用QM向上轉換，藉此來產生中間的64×32的長方形區塊用的QM。此時，有效的轉換係數區域也被向上轉換到64×32。
其次，如圖61的(b)所示，在上述的64×32的有效的轉換係數區域之中，只截取低域側的32×32，以此來產生具有32×32的有效的轉換係數區域的64×32的長方形區塊用的QM。
另，在此說明了將正方形區塊用的QM於水平方向向上轉換，來產生長方形區塊用的QM的情形之例子，但是將正方形區塊用的QM於垂直方向向上轉換來產生長方形區塊用的QM的情形亦可使用和圖61的例子同樣的方法來 進行。
另，在此說明了經由中間的長方形區塊用的QM且以2階段的步驟，來產生長方形區塊用的QM的例子，但亦可不經由中間的長方形區塊用的QM，使用如同導出和圖61的例子同樣的處理結果的轉換式等，直接從正方形區塊用的QM來產生長方形區塊用的QM。
[編碼處理及解碼處理的第2例的變形例的其他變化]
從正方形區塊用的QM來產生長方形區塊用的QM的方法，亦可因應所產生的長方形區塊的尺寸來切換使用圖58及圖59來說明的長方形區塊用的QM的產生方法的第1個例子；及使用圖60及圖61來說明的長方形區塊用的QM的產生方法的第2個例子來使用。例如有如下的方法：將長方形區塊的縱橫的尺寸的比例(向下轉換或者向上轉換的倍率)和閾值比較，比閾值大時，使用第1個例子，比閾值小時，則使用第2個例子。或是有如下的方法：按每個長方形區塊的尺寸，將表示要使用第1個例子及第2個例子之哪一個方式的旗標記述在串流中來切換。藉此，可因應長方形區塊的尺寸來切換向下轉換與向上轉換處理，因此能從正方方形區塊用的QM，產生更適當的長方形區塊用的QM。
[編碼處理及解碼處理的第2例及第2例的變形例的效果]
依本揭示的第2態樣之編碼裝置100，藉由使用圖53及圖54來說明的構成，就能針對只將包含處理對象區塊所含的複數個轉換係數當中一部分的轉換係數的區域作為有效的轉換係數區域的區塊尺寸的處理對象區塊，在無須將與成為無效的區域的QM有關的訊號浪費地記述在串流中的狀態下進行編碼處理。因此，依本揭示的第2態樣之編碼裝置100，能刪減標頭區域的編碼量，因此使可提高編碼效率的可能性變高。
又，依本揭示的第2態樣之解碼裝置200，藉由使用圖53及圖54來說明的構成，就能針對只將包含處理對象區塊所含的複數個轉換係數當中一部 分的轉換係數的區域作為有效的轉換係數區域的區塊尺寸的處理對象區塊，在無須浪費地從串流中讀取與成為無效的區域的QM有關的訊號的狀態下進行解碼處理。因此，依本揭示的第2態樣之解碼裝置200，能刪減處理量，因此使可提高處碼效率的可能性變高。
進而，依本揭示的第2態樣的變形例之編碼裝置100，藉由使用圖56及圖57來說明的構成，即使在具有各式各樣的形狀的長方形區塊的編碼方式中，亦無須將對應於各個形狀的長方形區塊的QM記述在串流中，只將對應於正方形區塊的QM記述在串流中，以此能進行編碼處理。也就是說，依本揭示的第2態樣的變形例之編碼裝置100，可從對應於正方形區塊的QM，來產生對應於長方形區塊的QM，因此能一邊刪減標頭區域的編碼量，一邊也對長方形區塊使用適當的QM。因此，依本揭示的第2態樣的變形例之編碼裝置100，能對各式各樣的長方形區塊有效率地進行量化，使可提高編碼效率的可能性變高。
又，依本揭示的第2態樣之解碼裝置200，藉由使用圖56及圖57來說明的構成，即使在具有各式各樣的形狀的長方形區塊的解碼方式中，亦無須從串流中讀取與各個形狀的長方形區塊對應的QM，只要將與正方形區塊的QM有關的訊號從串流中讀出，以此就能進行解碼處理。也就是說，依本揭示的第2態樣之解碼裝置200，就能從與正方形區塊對應的QM來產生與對應於長方形區塊的QM對應的QM，因此能一邊刪減標頭區域的編碼量，一邊也對長方形區塊使用適當的QM。因此，依本揭示的第2態樣的變形例之解碼裝置200，對各式各樣的形狀的長方形區塊有效率地進行反量化，因此使能提高處理效率的可能性變高。
亦可將本態樣與本揭示中的其他的態樣的至少一部分組合來實施。又，亦可將本態樣的流程圖中記載的一部分處理、裝置的一部分構成或者語法的一部分等與其他的態樣組合來實施。
[第3態樣]
以下，針對本揭示的第3態樣之編碼裝置100、解碼裝置200、編碼方法及解碼方法來說明。
[編碼處理及解碼處理的第3例]
圖62是顯示第3態樣之編碼裝置中已使用量化矩陣(QM)的編碼處理流程的一例的流程圖。在此，編碼裝置100依已將畫面分割的正方形或者長方形的區塊的每一個進行編碼處理。
首先，在步驟S701中，量化部108產生與處理對象區塊的對角成分對應的QM(以下亦稱為只有對角成分的QM)，在作為處理對象區塊的正方形區塊或者各式各樣的形狀的長方形區塊的各區塊尺寸中，從只有對角成分的QM的量化加權係數的值，使用以下說明的共通的方法，來產生與處理對象區塊對應的QM。換言之，量化部108從對於處理對象區塊中所含的複數個轉換係數之中於處理對象區塊中的對角方向連續配置的複數個轉換係數的量化矩陣的對角成分，來產生對於處理對象區塊的量化矩陣。另，使用共通的方法意指：不管區塊的形狀及尺寸，對全部的處理對象區塊使用共通的方法。又，對角成分意指，例如，從處理對象區塊的低域側朝高域側的對角線上的複數個係數。
熵編碼部110將在步驟S701所產生的與只有對角成分的QM有關的訊號記述在串流中。換言之，熵編碼部110將上述的與量化矩陣的對角成分有關的訊號編碼到位元流中。
另，量化部108將上述的只有對角成分的QM的量化加權係數的值，亦可從使用者定義而設定在編碼裝置100的值來產生，亦可使用已經編碼的圖片的編碼資訊來適應地產生。又，上述的與只有對角成分的QM有關的訊號亦可被編碼到串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或者儲存其他的參數的區域。另，上述的與只有對角成分的QM有關的訊號亦 不可記述在串流中。此時，量化部108亦可使用已事先在規格中定義的預設(default)來作為上述的只有對角成分的QM。
另，步驟S701的處理，如已在圖62說明的，亦可成為在序列處理開始時、在圖片處理開始時、或者是在切片處理開始時一併進行的構成，亦可成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S701中產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。
另，在圖62所示的處理流程中，步驟S701以外的處理是區塊單位的迴路處理，和使用圖47來說明的第1例的處理同樣。
藉此，不將各區塊尺寸的處理對象區塊的QM的量化加權係數全部記述在串流中，只將對角成分的QM的量化加權係數記述在串流中，以此能進行處理對象區塊的編碼處理。因此，在已使用包含長方形區塊的多數形狀的區塊的編碼方式中，也可不讓標頭區域的編碼量大幅增加而產生與處理對象區塊對應的QM，並使用該QM，因此使能提高編碼效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
圖63是顯示使用了第3態樣之解碼裝置中的量化矩陣(QM)的解碼處理流程的一例的流程圖。在此，解碼裝置200在已將畫面分割的正方形或者長方形的區塊的每一個進行解碼處理。
首先，在步驟S801中，熵解碼部202從串流中將與只有對角成分的QM有關的訊號解碼，使用已解碼的與只有對角成分的QM有關的訊號，使用以下說明的共通的方法，來產生與正方形區塊及長方形區塊等之各式各樣的形狀的處理對象區塊的各區塊尺寸對應的QM。另，上述的與只有對角成分的QM有 關的訊號，亦可從串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或者儲存其他參數的區域來解碼。又，上述的與只有對角成分的QM有關的訊號亦可不從串流中解碼。此時，例如，亦可使用已事先在規格中定義的預設的值，來作為上述的只有對角成分的QM。
另，步驟S801的處理，如已在圖63說明的，亦可成為在序列處理開始時、在圖片處理開始時、或是在切片處理開始時一併進行的構成，亦可成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S801中熵解碼部202產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。
另，在圖63所示的處理流程中，步驟S801以外的處理是區塊單位的迴路處理，和使用圖48來說明的第1例的處理同樣。
藉此，就算不從串流中將處理對象區塊的各區塊尺寸的QM的量化加權係數全部讀出，只要將處理對象區塊的只有對角成分的QM的量化加權係數從串流中讀出，就能進行解碼處理。因此能刪減標頭區域的編碼量，因此使能提高處理效率的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
圖64是用來說明在圖62的S701及圖63的S801中，在各區塊尺寸的處理對象區塊中從只有對角成分的QM的量化加權係數的值，使用以下說明的共通的方法，來產生處理對象區塊的QM的方法的一例的圖。另，在此說明的處理是在編碼裝置100及解碼裝置200中共通的處理。
本揭示的第3態樣之編碼裝置100及解碼裝置200使處理對象區塊的對角成分的複數個矩陣元素(所謂的量化加權係數)之每一個朝水平方向及垂 直方向重複，藉此產生處理對象區塊的QM。更具體來說，編碼裝置100及解碼裝置200將對角成分的QM的量化加權係數的值原封不動地往上方向與左方向拉長，也就是說連續配置相同的值，以此產生處理對象區塊的QM。
另，在此說明了針對處理對象區塊為正方形區塊時的處理對象區塊的QM的產生方法的例子，但是針對處理對象區塊為長方形區塊時，亦與圖64的例子同樣，亦可從對角成分的QM的量化加權係數的值，來產生處理對象區塊的QM。
圖65是用來說明在圖62的步驟S701及圖63的步驟S801中，在各區塊尺寸的處理對象區塊中，從只有對角成分的QM的量化加權係數的值，使用以下說明的共通的方法，來產生處理對象區塊的QM的其他例子的圖。另，在此說明的處理是編碼裝置100及解碼裝置200當中共通的處理。
本揭示的第3態樣之編碼裝置100及解碼裝置200亦可使處理對象區塊的對角成分的複數個矩陣元素(所謂的量化加權係數)之每一個朝斜方向重複，藉此產生處理對象區塊的量化矩陣。更具體來說，編碼裝置100及解碼裝置200將對角成分的QM的量化加權係數的值原封不動地往左下方向與右上方向拉長，也就是說連續配置相同的值，以此產生處理對象區塊的QM。
此時，編碼裝置100及解碼裝置200亦可除了對角成分的量化係數，還使用對角成分的近鄰成分的加權量化係數，使各量化加權係數朝斜方向重複，藉此來產生處理對象區塊的QM。換言之，處理對象區塊的QM亦可從對角成分的複數個矩陣元素及位於對角成分的近鄰的矩陣元素來產生。藉此，就算在難以做到只有對角成分來填補處理對象區塊全部的量化加權係數的情形下，若使用對角成分的近鄰成分的量化加權係數，也能填補全部的量化加權係數。另，對角成分的近鄰成分，例如為與從處理對象區塊的低域側往高域側的對角線上的複數量化加權係數的任一個鄰接的成分。
例如，對角成分的近鄰成分的量化加權係數為圖65所示的位置的量化加權係數。編碼裝置100及解碼裝置200亦可設定為把與對角成分的近鄰成分的量化加權係數相關的訊號編碼到串流及從串流中解碼，亦可設定在不編碼到串流及不從串流中解碼的狀態下，從對角成分的量化加權係數之中相鄰的量化加權係數的值，使用線性內插等來進行內插，藉此來導出。
另，在此說明了針對處理對象區塊為正方形區塊時的處理對象區塊的QM的產生方法的例子，但是針對處理對象區塊為長方形區塊的情形，亦和圖65的例子同樣，亦可從對角成分的QM的量化加權係數的值，來產生處理對象區塊的QM。
[編碼處理及解碼處理的第3例的其他變形]
在圖64及圖65的例子中，已說明了從對角成分的QM的量化加權係數來產生處理對象區塊整體的QM的量化加權係數的例子，但亦可作為從對角成分的QM的量化加權係數，只產生處理對象區塊當中一部分QM的量化加權係數的構成。例如，亦可針對與處理對象區塊的低域的區域對應的QM，將該QM所含的全部的量化加權係數編碼到串流以及從串流中解碼，只將與處理對象區塊的中域及高域的區域對應的QM的量化加權係數，從處理對象區塊的對角成分的QM的量化加權係數產生。
另，從正方形區塊用的QM來產生長方形區塊用的QM的方法亦可作為將使用圖62及圖63來說明的第3例與使用圖47及圖48來說明的第1例組合的構成。例如，正方形區塊用的QM，如在第3例說明的，亦可從正方形區塊的只有對角成分的QM的量化加權係數的值，使用上述的2個共通的方法任一者來產生，而長方形區塊用的QM，如在第1例說明的，亦可使用所產生的正方形區塊用的QM來產生。
另，從正方形區塊用的QM來產生長方形區塊用的QM的方法，亦 可為將使用圖62及圖63說明的第3例與使用圖53及圖54使用的第2例組合的構成。例如，亦可使用上述的共通的方法任一者，來從有效的轉換係數區域的只有對角成分的QM的量化加權係數的值，產生與處理對象區塊的各區塊尺寸中的有效的轉換係數區域的尺寸對應的QM。
[編碼處理及解碼處理的第3例的效果]
依本揭示的第3態樣之編碼裝置100，藉由使用圖62及圖63來說明的構成，就算處理對象區塊的各區塊尺寸的QM的量化加權係數沒有全部記述在串流中，只要將處理對象區塊的只有對角成分的QM的量化加權係數記述在串流中，也能進行編碼處理。因此，依本揭示的第3態樣之編碼裝置100，能刪減標頭區域的編碼量，因此使能提高編碼效率的可能性變高。
又，依本揭示的第3態樣之解碼裝置200，藉由使用圖62及圖63來說明的構成，就算不將處理對象區塊的各區塊尺寸的QM的量化加權係數全部從串流中讀出，只要將處理對象區塊的只有對角成分的QM的量化加權係數從串流中讀出，也能進行解碼處理。因此，依本揭示的第3態樣之解碼裝置200，能刪減處理量，因此使可提高處理效率的可能性變高。
亦可將本態樣與本揭示中的其他的態樣的至少一部分組合來實施。又，亦可將本態樣的流程圖中記載的一部分處理、裝置的一部分構成或者語法的一部分等與其他的態樣組合來實施。
[第4態樣]
以下，針對本揭示的第4態樣之編碼裝置100、解碼裝置200、編碼方法及解碼方法來說明。
[編碼處理及解碼處理的第4例]
在第4態樣之編碼處理中，對編碼對象區塊(以下亦稱為處理對象區塊)，因應正交轉換(所謂的一次轉換)及二次轉換等的頻率轉換處理(以下也被簡稱為轉 換處理)的適用有無，來切換量化處理的方法。又，在第4態樣之解碼處理中，對於解碼對象區塊(以下亦稱為處理對象區塊)，因應反正交轉換及反二次轉換等的反頻率轉換處理(以下也被簡稱為反轉換處理)的適用有無，來切換反量化處理的方法。在第4態樣之編碼處理及解碼處理中，在量化處理及反量化處理有特徵。
首先，一邊參考圖66，一邊說明第4態樣之編碼裝置的量化處理。圖66是顯示第4態樣之編碼裝置的量化處理的動作的一例的流程圖。
如圖66所示，編碼裝置100，首先判定是否對於編碼對象區塊已略過一次轉換處理(步驟S901)。
在轉換處理中，轉換部106亦可對處理對象區塊(更具體來說，對於處理對象區塊的空間域的預測殘差)進行DCT(離散餘弦轉換)等的預定的正交轉換，亦可從複數個轉換類型之中適應性地選擇轉換類型，且使用對應於所選擇的轉換類型之轉換基底函數(transform basis function)，對處理對象區塊進行一次轉換。又，編碼裝置100亦可判定對於處理對象區塊，以區塊單位(也就是說按每個區塊)來切換是否略過一次轉換。此時，例如編碼裝置100亦可將區塊單位的旗標資訊(例如轉換略過旗標)等編碼，且傳訊(signaling)是否對處理對象區塊進行一次轉換。
如圖66所示，編碼裝置100在已判定對於處理對象區塊已略過一次轉換處理時(在步驟S901，是)，也就是說，編碼裝置100在對於處理對象區塊不進行一次轉換時，對於已取得的處理對象區塊的空間域中的預測殘差，不使用QM來量化(步驟S904)。另一方面，編碼裝置100在已判定為對於處理對象區塊未略過一次轉換處理時(在步驟S901，否)，也就是說，編碼裝置100在對處理對象區塊進行一次轉換時，判定是否對處理對象區塊已略過二次轉換處理(步驟S902)。在第4態樣中，亦可讓編碼裝置100在進行DCT等的一次轉換之後，對於一次轉換後的係數值進行二次性的轉換(也就是說，二次轉換)。例如，二次轉換 亦可為NSST。NSST亦被稱為LFNST(Low Frequency non-separable transform/低頻不可分離轉換)。
編碼裝置100在已判定為對處理對象區塊未略過二次轉換處理時(在步驟S902，否)，也就是說，在編碼裝置100對處理對象區塊的複數個轉換係數來進行二次轉換時，對處理對象區塊不使用QM而進行處理對象區塊的量化(步驟S904)。二次轉換後的係數分布是和DCT等的正交轉換的係數分布不同，因此亦可對於已適用二次轉換的處理對象區塊，不使用QM而量化。不使用QM而進行的量化處理亦可為根據從量化參數等所求的量化寬度來將轉換係數量化的處理。另，在不使用QM而進行的量化處理中，亦可對量化寬度，乘上對於區塊內的全部的二次轉換係數成為共通的預定的值。
另一方面，編碼裝置100在已判定為已對處理對象區塊略過二次轉換處理時(在步驟S902，是)，也就是說，在編碼裝置100對處理對象區塊不進行二次轉換時，對已取得的處理對象區塊的複數個轉換係數，使用QM來量化(步驟S903)。在使用QM時，例如按每個轉換係數使用QM的值，來將從量化參數等所求取的量化寬度等縮放(scaling)。
另，編碼裝置100亦可因應處理對象區塊的尺寸，來切換是否讓轉換處理(也就是說，上述的一次轉換處理及二次轉換處理)的略過為有效。例如，編碼裝置100在短邊的尺寸超過32的處理對象區塊中始終將轉換處理的略過作為無效等。
另，在內預測中，亦可將處理對象區塊分割成複數個子分區，參考編碼完畢的子分區的預測圖像或者重構圖像，按每個子分區依序進行內預測(將此稱為幀內子分區(Intra Sub-Partition)模式)。在已適用幀內子分區模式的處理對象區塊的編碼處理中，按每個子分區進行量化處理。在這情形下，編碼裝置100亦可以區塊單位(按每個區塊)來指定是否略過轉換處理。例如，亦可在對 處理對象區塊已略過一次轉換處理時，對於處理對象區塊內的全部的子分區，不使用QM而進行量化處理。
另，亦可在不進行預測處理的狀態下，藉由DPCM(差分脈衝編碼調變)等的手法，直接將編碼對象圖像的像素值編碼。也就是說，亦可在處理對象區塊的像素值藉由DPCM等的手法來編碼時，亦不使用QM而進行處理對象區塊的量化處理。
在此，處理對象區塊只要是包含複數個像素的處理單位即可，亦可為包含複數個CU的處理單位。
QM將正交轉換等的轉換後的domain的係數(所謂的一次轉換係數)的量化寬度等縮放，以此產生調整主畫質的效果，因此在已略過轉換處理時，會有即使適用QM亦不能得到足夠的效果的可能性。因此，在第4態樣的編碼處理中，在已略過區塊的轉換處理時，不使用QM而進行量化處理，以此有可減少主觀性的畫質劣化的可能性。
另，本處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。又，例如，第4態樣的編碼處理不只是第1態樣，亦可對第2態樣或者第3態樣的編碼處理適用。也就是說，第4態樣的編碼處理亦可適用在對於上述的第1態樣至第3態樣所記載之長方形區塊的編碼處理。進而，第4態樣之編碼處理亦可對不使用長方形區塊(也就是說，對於長方形區塊以外的區塊)的編碼處理適用。
接著，針對第4態樣之解碼處理來說明。圖67是顯示第4態樣之解碼裝置的反量化處理的動作的一例的流程圖。
如圖67所示，解碼裝置200，首先判定是否對解碼對象區塊(以下，處理對象區塊)略過反一次轉換處理(步驟S1001)。
在反一次轉換處理中，反轉換部206將來自反量化部204的輸入即 轉換係數反轉換，藉此將預測殘差復原。
例如當從編碼位元流解讀的資訊表示適用EMT或AMT時(例如AMT旗標為真)，反轉換部206根據已解讀之表示轉換類型的資訊，將解碼對象區塊的轉換係數反轉換。又例如，當從編碼位元流解讀的資訊表示適用NSST時，反轉換部206對轉換係數適用反再轉換(所謂的反二次轉換)。
又，解碼裝置200亦可以區塊單位(也就是說按每個區塊)來切換是否對處理對象區塊略過反一次轉換處理。此時，例如解碼裝置200亦可將處理對象區塊單位的旗標資訊(例如，反轉換略過旗標)等解碼，且解讀是否對處理對象區塊進行反一次轉換處理。
在解碼處理中，根據上述的旗標資訊，判定預測殘差是否已轉換。另，亦可藉由SPS或者PPS等的標頭資訊的識別資訊來識別是否將反轉換略過設為有效。
如圖67所示，解碼裝置200在已判定為對處理對象區塊略過反一次轉換處理時(在步驟S1001，是)，也就是說，解碼裝置200在對處理對象區塊不進行反一次轉換時，對處理對象區塊(更具體來說，對處理對象區塊的複數個量化係數)不使用量化矩陣(QM)而反量化(步驟S1004)。
在反量化處理中，解碼裝置200的反量化部204將來自熵解碼部202的輸入即解碼對象區塊的量化係數反量化。具體來說，反量化部204針對解碼對象區塊的量化係數的每一個，根據與該量化係數對應的量化參數，來將該量化係數反量化。接著，反量化部204將解碼對象區塊的已被反量化的量化係數(也就是說，轉換係數)輸出到反轉換部206。
另一方面，解碼裝置200在已判定為對處理對象區塊不略過反一次轉換處理時(在步驟S1001，否)，也就是說，解碼裝置200在對處理對象區塊進行反一次轉換時，判定是否對處理對象區塊略過反二次轉換處理(步驟S1002)。例 如，解碼裝置200從已編碼的位元流解讀的資訊表示適用二次轉換處理(例如，NSST)時，解碼裝置200判定對處理對象區塊進行反二次轉換處理。
解碼裝置200在已判定為對處理對象區塊不略過反二次轉換處理時(在步驟S1002，否)，也就是說，解碼裝置200在對處理對象區塊的複數個二次轉換係數進行反二次轉換時，對處理對象區塊，不使用QM而進行處理對象區塊的反量化(步驟S1004)。
另一方面，解碼裝置200在已判定為對處理對象區塊略過反二次轉換處理時(在步驟S1002，是)，也就是說，解碼裝置200在對處理對象區塊不進行反二次轉換時，對處理對象區塊使用QM來反量化(步驟S1003)。
另，解碼裝置200亦可因應處理對象區塊的尺寸來切換是否將反轉換處理(也就是說，上述的反一次轉換處理及反二次轉換處理)的略過設為有效。例如，解碼裝置200在短邊的尺寸超過32的處理對象區塊中始終將反轉換處理的略過作為無效等。
另，在內預測中，亦可將處理對象區塊分割成複數個子分區，參考解碼完畢的子分區的預測圖像或者重構圖像，按每個子分區依序進行內預測(所謂的幀內子分區(Intra Sub-Partition)模式)。在已適用幀內子分區模式的處理對象區塊的解碼處理中，按每個子分區進行反量化處理。在這情形下，解碼裝置200亦可以處理對象區塊單位(按每個區塊)來指定是否略過反轉換處理。例如，亦可在對處理對象區塊已略過反一次轉換處理時，對於處理對象區塊內的全部的子分區，不使用QM而進行反量化處理。
在此，處理對象區塊只要包含複數個像素的處理單位即可，亦可為包含複數個CU的處理單位。
在第4態樣的解碼處理中，在已略過區塊的反轉換處理時，不使用QM而進行反量化處理，以此有可減少主觀性的畫質劣化的可能性。
另，本處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。又，例如，第4態樣的編碼處理不只是第1態樣，亦可對於第2態樣或者第3態樣的編碼處理適用。也就是說，第4態樣的編碼處理亦可適用在對於上述的第1態樣至第3態樣之長方形區塊的編碼處理。進而，第4態樣之編碼處理亦可對於不使用長方形區塊(也就是說，對於長方形區塊以外的區塊)的編碼處理適用。
[編碼處理及解碼處理的第4例的效果]
如上述，量化矩陣把一次轉換後的domain的係數的量化寬度等縮放，以此能展現出調整主觀畫質的效果，因此在對編碼對象區塊不進行一次轉換時，有即使對編碼對象區塊內的複數個像素值的預測殘差適用量化矩陣亦不能得到足夠的效果的可能性。又，在對編碼對象區塊進行一次轉換及二次轉換時，一次轉換後的編碼對象區塊內的複數個轉換係數藉由二次轉換而被再轉換，因此有即使對已再轉換的係數適用量化矩陣亦不能得到足夠的效果的可能性。為此，依本揭示的第4態樣之編碼裝置100，藉由使用圖66來說明的構成，對有即使適用量化矩陣也不能得到足夠的主觀畫質的調整效果的可能性的編碼對象區塊，不使用量化矩陣而進行量化，因此會使處理量減少。又，依本揭示的第4態樣之編碼裝置100，能對一次轉換後的編碼對象區塊的複數個預測殘差適當地適用量化矩陣，因此會獲得主觀畫質的調整效果。因此，依本揭示的第4態樣之編碼裝置100，能對編碼對象區塊適當地決定是否在量化處理中使用量化矩陣，所以能在量化矩陣的適用及非適用兩者當中，一邊抑制主觀畫質的降低，一邊提昇編碼效率。
又，依本揭示的第4態樣之解碼裝置200，藉由使用圖67來說明的構成，對有即使適用量化矩陣也不能得到足夠的主觀畫質的調整效果的可能性的解碼對象區塊，不使用量化矩陣而進行反量化，因此會使處理量減少。又， 依本揭示的第4態樣之解碼裝置200，能對在一次轉換後量化且編碼的解碼對象區塊適當地適用量化矩陣，所以會獲得主觀畫質的調整效果。因此，依本揭示的第4態樣之解碼裝置200，能對解碼對象區塊適當地決定是否在反量化處理中使用量化矩陣，所以能在量化矩陣的適用及非適用兩者當中，一邊抑制主觀畫質的降低，一邊提昇處理效率。
[編碼處理及解碼處理的第4例的變形例]
在第4態樣之編碼處理或者解碼處理中，亦可適用以下的處理。
例如，是否將已使用量化矩陣(QM)的縮放處理作為有效的資訊亦可藉由SPS或者PPS等的標頭資訊內的旗標資訊來表示。
又，例如是否將轉換處理及反轉換略過作為有效亦可因應編碼對象區塊及解碼對象區塊的尺寸來決定。例如，對於預定的尺寸以上的處理對象區塊，轉換處理及反轉換處理的略過亦可始終為無效。
又，例如，是否使轉換處理及反轉換處理的略過為有效，亦可在處理對象區塊內的亮度訊號與色差訊號設定不同的條件。例如，轉換處理及反轉換處理的略過亦可只對亮度訊號適用。此時，對於亮度訊號，亦可根據是否對處理對象區塊適用轉換處理及反轉換處理的略過的資訊，來判定是否進行已使用QM的縮放處理。又，此時，對於色差訊號，轉換處理及反轉換處理的略過始終為無效，因此無須依據是否對處理對象區塊適用轉換處理及反轉換處理的略過(也就是說，有效或者無效)，就進行已使用QM的縮放處理。或是，轉換處理及反轉換處理的略過亦可對於量度訊號及色差訊號兩者適用。此時，亦可對處理對象區塊的亮度訊號，只要轉換處理及反轉換處理的略過為有效，就使對色差訊號也使轉換處理及反轉換處理的略過為有效等，將與對於亮度訊號和色差訊號的轉換處理及反轉換處理的略過有關的傳訊共通化。又，亦可對於亮度訊號與色差訊號分別且個別地傳訊。此時，例如，能讓對於亮度訊號，使轉換 處理及反轉換處理的略過為有效，且對於色差訊號，使轉換處理及反轉換處理的略過為無效等的控制為可能。若對於亮度訊號與色差訊號的轉換處理略過的傳訊為共通時，亦可根據共通的傳訊資訊來判定是否進行已使用QM的縮放處理。另一方面，在分別獨立地對亮度訊號及色差訊號傳訊時，亦可根據對於亮度訊號的傳訊資訊及對於色差訊號的傳訊資訊，對亮度訊號及色差訊號的每一個，個別地適用轉換處理的略過。例如，亦可在對亮度訊號略過轉換處理時，被控制為對於亮度訊號不進行已使用QM的縮放處理。
又，如上述，編碼裝置100可不進行上述的轉換處理，就將編碼對象圖像的像素值，藉由DPCM(差分脈衝編碼調變)或者PCM(脈衝編碼調變)等的手法直接編碼。此時，編碼裝置100亦可不將編碼對象圖像的像素值直接編碼，而是在進行了預測處理之後再將原圖像與預測圖像的殘差訊號直接編碼。又，編碼裝置100亦可構成為可選擇是否將已直接編碼的訊號量化。此時，亦可在編碼裝置100將已直接編碼的訊號量化時，適用已使用QM的縮放處理，在不將已直接編碼的訊號量化時，讓已使用QM的縮放處理始終為無效。或是，編碼裝置100就算在將已直接編碼的訊號量化時，亦可讓已使用QM的縮放處理始終為無效。進而，在編碼裝置100將已直接編碼的訊號量化時，亦可使用內預測用的QM及間預測用的QM任一者，亦可設定獨自的QM來編碼到SPS標頭或者PPS標頭。
另，上述的處理亦可適用在第1態樣迄至第3態樣的各態樣的編碼處理及解碼處理。
亦可將本態樣與本揭示中的其他的態樣的至少一部分組合來實施。又，亦可將本態樣的流程圖中記載的一部分處理、裝置的一部分構成或者語法的一部分等與其他的態樣組合來實施。
[第5態樣]
以下，針對本揭示的第5態樣之編碼裝置100、解碼裝置200、編碼方法及解 碼方法來說明。
[編碼處理及解碼處理的第5例]
圖68是顯示第5態樣之編碼裝置中已使用量化矩陣(QM)的編碼處理流程的一例的流程圖。在此，編碼裝置100依已將畫面分割的正方形或者長方形的區塊的每一個進行編碼處理。
首先，在步驟S1101中，量化部108在正方形區塊的各區塊尺寸當中，從低中域用的QM的量化加權係數的值及高域用的QM的量化加權係數的值來產生QM。另，上述的低中域用的QM的係數值及高域用的QM的係數值亦可從使用者定義且設定在編碼裝置的值來產生，亦可使用已經編碼的圖片的編碼資訊來適應地產生。
熵編碼部110將已在步驟S1101中所產生的與低中域用的QM有關的訊號及與高域用的QM有關的訊號記述在串流中。在此，在與低中域用的QM有關的訊號及與高域用的QM有關的訊號，對於尺寸較QM的矩陣還大的區塊，將該QM的量化加權係數縮放時的縮放的倍率是不同的。又，具有上述的低中域用的QM的係數值與高域用的QM的係數值的QM，也就是說，已在步驟S1101所產生的與處理對象區塊的QM有關的訊號亦可被編碼到串流的SPS等的序列標頭區域、PPS等的圖片標頭區域、切片標頭區域、輔助資訊區域或者儲存其他的參數的區域。又，亦可編碼到儲存以APS(Adaptation Parameter Set；自適應參數集)等與序列及圖片不同的單位來切換的資訊的區域。又，與具有上述的低中域用的QM的量化加權係數的值以及高域用的QM的量化加權係數的值的QM有關的訊號亦可不記述在串流中。此時，量化部108亦可使用已事先在規格中定義的預設(default)的正方形區塊的QM的值。
另，步驟S1101的處理，如已在圖68說明的，亦可成為在序列處理開始時、在圖片處理開始時、或者是在切片處理開始時一併進行的構成，亦可 成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S1101中產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。例如，如同幀內區塊複製，對於適用參考相同圖片內的區塊來預測編碼的工具的區塊，亦可使用畫面內預測區塊用的QM。或者，亦可使用畫面間預測區塊用的QM。
另，在圖68例示的處理流程中，步驟S1101以外的處理是區塊單位的迴路處理，和使用圖47來說明的第1例的處理同樣。
藉此，將處理對象區塊的各區塊尺寸的QM的量化加權係數的值分成低中域用的QM的量化加權係數的值及高域用的QM的量化加權係數的值，以此使低中域中的量化的粒度的調整變得容易。因此使能一邊抑制標頭區域的編碼量的增加一邊提高處理效率、以及提高主觀畫質的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
另，在第5態樣中顯示了編碼裝置100分成低中域用及高域用的2種量化加權係數的值來產生處理對象區塊的QM的例子，但不限於此。例如，編碼裝置100在處理對象區塊的QM的產生當中，亦可分成低域、中域及高域等3種以上的量化加權係數的值，更普遍來說，亦可因應適用QM的對象的特性，將對應2個以上的群組的量化加權係數的值編碼。
另，在第5態樣中顯示了編碼裝置100對處理對象區塊的各區塊尺寸定義縮放的倍率相異的複數個群組的例子，但亦可只對特定的區塊尺寸的處理對象區塊，來定義縮放的倍率相異的複數個群組。例如，編碼裝置100亦可只在處理對象區塊的長邊的尺寸為64以上的情形下，使用被定義為縮放的倍率相異的複數個群組的QM的矩陣的量化加權係數的值來進行縮放，在處理對象區塊 的長邊的尺寸不到64的情形下，使用被定義為縮放的倍率相同的複數個群組的QM的矩陣的量化加權係數的值來縮放。
圖69是顯示第5態樣的解碼裝置中已使用量化矩陣(QM)的解碼處理流程的一例的流程圖。在此，解碼裝置200依已將畫面分割的正方形或者長方形的區塊的每一個進行解碼處理。
首先，在步驟S1201中，熵解碼部202使用已從串流中解碼的與低中域用的QM有關的訊號及與高域用的QM有關的訊號，使用以下說明的共通的方法，來產生已與處理對象區塊的各區塊尺寸對應的QM。另，上述的與低中域用及高域用的QM有關的訊號亦可從串流的SPS等的序列標頭區域、PPS等的圖片標頭區塊、切片標頭區域、輔助資訊區域、或者儲存其他的參數的區域解碼。又，亦可在儲存以APS(Adaptation Parameter Set)等與序列及圖片不同的單位切換的資訊的區域解碼。又，熵解碼部202亦可不從串流中將上述的與低中域用及高域用的QM有關的訊號解碼，使用以規格事先定義的預設的值。
另，步驟S1201的處理，如已在圖68說明的，亦可成為在序列處理開始時、在圖片處理開始時、或者是在切片處理開始時一併進行的構成，亦可成為在區塊單位的處理當中每次都進行一部分處理的構成。又，在步驟S1201中熵解碼部202產生的QM亦可成為因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他的條件，來對於相同區塊尺寸的區塊產生複數個種類的QM的構成。例如，如同幀內區塊複製，對於適用參考相同圖片內的區塊來預測編碼的工具的區塊，亦可使用畫面內預測區塊用的QM。或者，亦可使用畫面間預測區塊用的QM。
另，在圖69例示的處理流程中，步驟S1201以外的處理和使用圖48來說明的第1例的處理同樣。
藉此，將處理對象區塊的各區塊尺寸的QM的量化加權係數的值分 成低中域用的QM的量化加權係數的值與高域用的QM的量化加權係數的值，以此就能讓低中域中的量化的粒度的調整變得容易。因此使能一邊抑制標頭區域的編碼量的增加一邊提高處理效率、以及提高主觀畫質的可能性變高。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。
圖70是用來說明在圖68的步驟S1101及圖69的步驟S1201中，從各區塊尺寸的處例對象區塊中，低中域及高域用的QM的量化加權係數的值，使用以下說明的共通的方法來產生處理對象區塊的QM的方法的一例的圖。另，在此說明的處理是編碼裝置100及解碼裝置200當中共通的處理。
本揭示的第5態樣之編碼裝置100及解碼裝置200分成低中域用及高域用2種的量化加權係數的值，產生處理對象區塊的量化矩陣(QM)。在圖70的例子中，編碼裝置100及解碼裝置200從8×8的低中域用的QM的量化加權係數的值，來產生64×64的低中域用的QM，且從4×4×3的高域用的QM的量化加權係數的值，來產生32×32×3的高域用的QM，以此產生64×64的正方形區塊用的QM。更具體來說，在64×64的處理對象區塊中，對於左上的32×32的區域的QM的量化加權係數的值是將上述的8×8的低中域用的QM的量化加權係數的值放大到4倍而產生。又，在64×64的處理對象區塊中，對於左上的32×32區域以外的區域(也就是說，32×32×3的區域)的QM的量化加權係數的值是將上述的4×4×3的高域用的QM的量化加權係數的值放大到8倍而產生。在這情形下，低中域用的QM把每1個係數4×4的尺寸的轉換係數當作為QM的適用對象，高域用的QM是把每1個係數8×8的尺寸的轉換係數當作為QM的適用對象。
在此，從編碼量的觀點來看，希望減少被編碼到串流的QM的量化加權係數的值的個數，但一把縮放的倍率變大，則調整主觀畫質等的時候的自由度就降低。因此亦可對於32×32以下的正方形區塊，將8×8的QM的量化加權係 數的值縮放來產生，對於64×64的正方形區塊，以參考圖70說明的方法，來產生QM的量化加權係數的值。如此一來，針對在主觀畫質的調整等變得尤其重要的低中域，QM的縮放的倍率最大為4倍。又，針對長方形區塊，亦可將長邊的尺寸與一邊的尺寸相等的正方形區塊的QM的量化加權係數的值向下取樣(down sampling)，來產生長方形區塊的QM的量化加權係數值。
另，記載於圖70的低中域用的QM及高域用的QM的尺寸只是一個例子，亦可構成為能使用除此以外的尺寸。
另，在圖70的例子中，把正方形區塊全部的區域當作為有效的轉換係數區域來記載，但是亦可為例如將正方形區塊的高域的一部分區域全部的轉換係數為零(換言之，用零填補)，藉此使該區域作為轉換係數無效的區域(所謂無效區域)。
圖71是用來說明在圖68的步驟S1101及圖69的步驟S1201中，在各區塊尺寸的處理對象區塊中從低中域用及高域用的QM的量化加權係數的值，使用以下說明的共通的方法，產生處理對象區塊的QM的方法的另一例的圖。
在圖71的例子中，編碼裝置100及解碼裝置200從8×8的低中域用的QM的量化加權係數的值來產生64×64的低中域用的QM，從4×4×2的高域用的QM的量化加權係數的值來產生32×32×2的高域用的QM，以此產生將高域的一部分區域作為無效區域的64×64的正方區塊尺寸用QM。此時，例如，編碼裝置100亦可在與正方形區塊用的QM有關的訊號的編碼中，對於無效區域的高域用的QM的量化加權係數的值不進行傳訊，在正方形區塊用的QM的產生中，以零填補該無效區域的QM的量化加權係數的值。
圖72是顯示產生高域用的QM的量化加權係數的值以零來填補的正方形區塊用的QM及長方形區塊用的QM的方法的第1例的圖。圖72的(a)是顯示正方形區塊用的QM的產生方法的一例的圖。圖72的(b)、圖72的(c)及圖72的(d) 是顯示從正方形區塊用的QM來產生長方形區塊用的QM的方法的一例的圖。
如圖72的(a)所示，編碼裝置100及解碼裝置200對64×64的正方形區塊，在正交轉換後的全部的係數(所謂一次轉換係數)之中，只將左上的(也就是說，低中域的)32×32的區域的一次轉換係數作為有效，強制地將其他的區域(也就是說，高域)的一次轉換係數設定為零(換言之，以零填補)。其結果，由於64×64的正方形區塊用的量化矩陣(QM)的量化加權係數亦只有32×32的區域的係數成為必要，因此編碼裝置100及解碼裝置200將低中域用的QM的量化加權係數縮放，產生32×32的區域的QM的係數。在這情形下，64×64的正方形區塊用的QM亦可對於低域的32×32的區域，適用32×32的正方形區塊用的QM，且對於低域的32×32以外的區域，讓量化加權係數以零來填補。
另一方面，編碼裝置100及解碼裝置200對於長邊的尺寸為32以上的長方形區塊，將長邊的尺寸與一邊的尺寸相等的正方形區塊用的QM的量化加權係數向下取樣，來產生長方形區塊用的量化矩陣(QM)的量化加權係數。首先，產生在圖72的(b)例示的64×64的正方形區塊用的QM。64×64的正方形區塊由於全部的區域的轉換係數為有效，因此使用低中域用的QM的量化加權係數及高域用的QM的量化加權係數，產生對於64×64的區域的QM(也就是說，64×64的正方形區塊用的QM)的量化加權係數。其後，如圖72的(c)所示，編碼裝置100及解碼裝置200將在圖72的(b)例示的正方形區塊用的QM的量化加權係數的值於垂直方向及水平方向分別向下取樣成1/2。其結果，產生對於32×32的有效的轉換係數區域的QM。接著，編碼裝置100及解碼裝置200以零填補已產生該QM的32×32的區域以外的區域的量化加權係數的值。藉此來產生64×32的長方形區塊用的QM。又，如圖72的(d)所示，編碼裝置100及解碼裝置200將在圖72的(b)例示的正方形區塊用的QM的量化加權係數的值於垂直方向向下取樣成1/2，於水平方向向下取樣1/4。其結果，產生對於32×16的有效的轉換係數區域的QM。接著，編碼裝置100 及解碼裝置200以零來填補產生該QM的32×16的區域以外的區域的量化加權係數的值。藉此產生64×16的長方形區塊用的QM。在上述的長方形區塊用的QM的產生方法中，如圖72的(c)及圖72的(d)所示，各自只有32×32的區域及32×16的區域的轉換係數成為有效，因此長方形區塊用的量化矩陣(QM)的量化加權係數也只對該等有效轉換係數區域產生即可。
圖73是顯示產生高域用的QM的量化加權係數的值以零來填補的正方形區塊用的QM及長方形區塊用的QM的方法的第2例的圖。圖73的(a)是顯示正方形區塊用的QM的產生方法的一例的圖。圖73的(b)、圖73的(c)及圖73的(d)是顯示從正方形區塊用的QM來產生長方形區塊用的QM的方法的一例的圖。
在此，與圖72的例子同樣地，編碼裝置100及解碼裝置200對於64×64的正方形區塊，產生對應於低中域的32×32的有效的轉換係數區域的QM，且以零來填補對應於高域的無效區域的QM的量化加權係數的值。換言之，編碼裝置100是將對於64×64的正方形區塊的量化加權係數成為不要的區域(所謂的無效區域)的產生成為必要的QM的量化加權係數的值不編碼，解碼裝置200將對該無效區域的產生成為必要的QM的量化加權係數的值不解碼。
另，在於圖72的(b)、圖72的(c)及圖72的(d)所示的例子中，使用在64×64的正方形區塊的全部的轉換係數為有效時的正方形區塊用的QM，產生了長方形區塊用的QM，但是在圖73的(b)、圖73的(c)及圖73的(d)所示的例子中，不同的是使用讓高域的一部分(右下)的區域的量化加權係數的值以零來填補(換言之，高域的一部分(右下)的區域為無效區域)64×64的正方形區塊用的QM，來產生長方形區塊用的QM之點。在此，與圖72的(b)至圖72的(d)所示的例子同樣地，編碼裝置100及解碼裝置200將64×64的正方形區塊用的QM的量化加權係數的值於垂直方向及水平方向分別向下取樣，產生對於32×32的有效的轉換係數區域的QM及對於32×16的有效的轉換係數區域的QM，且產生使其他的區域作為無 效區域的64×32的長方形區塊的QM及64×16的長方形區塊的QM。
亦可將本態樣與本揭示中的其他的態樣的至少一部分組合來實施。又，亦可將本態樣的流程圖中記載的一部分處理、裝置的一部分構成或者語法的一部分等與其他的態樣組合來實施。
[第6態樣]
以下，針對本揭示的第6態樣之編碼裝置100、解碼裝置200、編碼方法及解碼方法來說明。
[編碼處理及解碼處理的第6例]
在第6態樣之編碼處理中，在對編碼對象區塊(以下亦稱為處理對象區塊)能適用二次轉換時，對編碼對象區塊不使用量化矩陣而進行量化處理，在對編碼對象區塊不可適用二次轉換時，決定是否對編碼對象區塊適用量化矩陣，根據該決定，來進行編碼對象區塊的量化。又，在第6態樣之解碼處理中，在對解碼對象區塊(以下亦稱為處理對象區塊)能適用二次轉換時，對解碼對象區塊不使用量化矩陣進行反量化處理，在對解碼對象區塊不可適用反二次轉換時，決定是否對解碼對象區塊適用量化矩陣，根據該決定，來進行解碼對象區塊的反量化。在第6態樣之編碼處理及解碼處理中，在量化處理及反量化處理有特徵。
首先，一邊參考圖74，一邊說明第6態樣之編碼裝置的量化處理。圖74是顯示第6態樣之編碼裝置的量化處理中的動作的一例的流程圖。在此，顯示編碼裝置100在不只是正方形區塊，對長方形區塊也能適用量化矩陣(QM)的第1態樣之編碼處理中，根據NSST等的二次轉換是否為有效，來切換是否將QM作為有效(作為能適用)的動作例。
如圖74所示，編碼裝置100首先判定是否對編碼對象區塊能適用二次轉換(步驟S1301)。編碼裝置100在已判定為對編碼對象區塊能適用二次轉換時(在步驟S1301，是)，不使用量化矩陣(QM)而將編碼對象區塊量化(步驟S1302)。 更具體來說，在編碼處理中表示能適用NSST等的二次轉換的旗標資訊，換言之，表示NSST等的二次轉換為有效的旗標資訊等被設定在SPS等的標頭時，編碼裝置100將QM作為無效(也就是說，在量化處理中不使用QM)。也就是說，在NSST等的二次轉換為有效時，不管是否以編碼對象區塊單位適用NSST等的二次轉換，編碼裝置100仍將QM作為無效。
另一方面，編碼裝置100在已判定為不是對編碼對象區塊能適用二次轉換時(在步驟S1301，否)，判定是否對編碼對象區塊適用量化矩陣(QM)(步驟S1303)。更具體來說，在編碼處理中表示不是能適用NSST等的二次轉換的旗標資訊，換言之，表示NSST等的二次轉換為無效的旗標資訊等被設定在SPS等的標頭時，編碼裝置100可在編碼時選擇是否將QM作為有效。也就是說，編碼裝置100根據表示是否對編碼對象區塊能適用量化係數(QM)的旗標資訊，將編碼對象區塊量化。例如，編碼裝置100在已判定為對編碼對象區塊能適用量化矩陣時(在步驟S1303，是)，使用量化矩陣來將編碼對象區塊量化(步驟S1304)。
另一方面，編碼裝置100在已判定為不是對編碼對象區塊能適用量化矩陣時(在步驟S1303，否)，不使用量化矩陣而將編碼對象區塊量化(步驟S1305)。
另，編碼裝置100亦可構成為，若是在SPS等的標頭中表示二次轉換(例如NSST)為有效的旗標被設定為1時，在SPS等的標頭中將表示QM為有效的旗標設定為0等。此時，表示在預定的單位當中二次轉換為有效的旗標資訊已被編碼到位元流時，亦可不讓表示在該預定的單位當中QM是否有效的旗標資訊編碼到位元流中。
另，在將QM作為有效時，編碼裝置100亦可動作來讓二次轉換為無效。
另，亦可構成為就算二次轉換為有效，仍讓QM為有效，且對適用 二次轉換的區塊不適用QM。此時，雖然對於不適用NSST的區塊，能使用QM來調整量化步距(也就是說，量化寬度)，但在適用二次轉換的區塊中，不能適用QM。因此，在包含二次轉換為有效的區塊的區域中，讓QM適用的區塊及不適用的區塊相混在一起，有造成畫質降低的可能性。
另，針對是否讓轉換略過(也就是說，一次轉換處理的略過)為有效，亦可和上述的二次轉換同樣處置。例如，在轉換略過為有效時，不管是否以區塊單位來適用轉換略過，仍讓QM為無效。
若只對適用二次轉換的編碼對象區塊讓QM為無效，則因應二次轉換的使用(適用)的有無，會讓QM適用的區塊與不適用的區塊相混在一起，而可能成為主觀的畫質劣化的原因。在此，在第6態樣的編碼處理中，若二次轉換為有效，則讓QM為無效，以此可以防止在包含二次轉換為有效的區塊的區域當中QM適用的區塊與不適用的區塊相混的情形，有可減輕畫質劣化的可能性。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。例如，亦可對第1態樣迄至第4態樣的編碼處理適用。進而，第6態樣之編碼處理亦可對於不使用長方形區塊(也就是說對於長方形區塊以外的區塊)的編碼處理適用。
接著，針對第6態樣之解碼處理來說明。圖75是顯示第6態樣之解碼裝置的反量化處理中的動作的一例的流程圖。在此，顯示解碼裝置200在不只是正方形區塊也能對長方形區塊適用量化矩陣(QM)的第1態樣之解碼處理中，根據反二次轉換是否為有效，來切換是否將QM作為有效(作為可適用)的動作例。
如圖75所示，解碼裝置200首先判定是否對解碼對象區塊能適用反二次轉換處理(步驟S1401)。解碼裝置200在已判定為對解碼對象區塊能適用反二次轉換時(在步驟S1401，是)，不使用量化矩陣(QM)而將解碼對象區塊反量化(步驟S1402)。在解碼處理中，在按每個解碼對象區塊編碼時，判定是否適用NSST 等的二次轉換，若適用，則不適用QM而進行反量化。
另一方面，解碼裝置200在已判定為不是對解碼對象區塊能適用反二次轉換時(在步驟S1401，否)，判定是否對解碼對象區塊適用量化矩陣(QM)(步驟S1403)。
解碼裝置200在已判定為對解碼對象區塊能適用量化矩陣時(在步驟S1403，是)，使用量化矩陣來將解碼對象區塊反量化(步驟S1404)。
另一方面，解碼裝置200在已判定為不能對解碼對象區塊能適用量化矩陣時(在步驟S1403，否)，不使用量化矩陣，而將解碼對象區塊反量化(步驟S1405)。
另，解碼裝置200亦可構成為若是在SPS等的標頭中表示反二次轉換為有效的旗標被設定為1時，在SPS等的標頭中將表示QM為有效的旗標設定為0等。此時，表示在預定的單位當中反二次轉換為有效的旗標資訊已被從位元流解碼時，亦可不讓表示在該預定的單位當中QM是否有效的旗標資訊被從位元流中解碼。
另，在將QM作為有效時，解碼裝置200亦可動作來讓反二次轉換為無效。
另，亦可構成為就算反二次轉換為有效仍讓QM為有效，且對適用反二次轉換的區塊不適用QM。此時，雖然對於不適用反二次轉換的區塊，能使用QM來調整反量化步距(也就是說，反量化寬度)，但在適用反二次轉換的區塊中，不能適用QM。因此，在包含反二次轉換為有效的區塊的區域中，讓QM適用的區塊及不適用的區塊相混在一起，有造成畫質降低的可能性。
另，針對是否讓反轉換略過(也就是說，反一次轉換處理的略過)為有效，亦可和上述的反二次轉換同樣處置。例如，在反轉換略過為有效時，不管是否以區塊單位來適用反轉換略過，仍讓QM為無效。
若只對適用反二次轉換的解碼對象區塊而讓QM為無效，則因應反二次轉換的使用有無，會讓QM適用的區塊與不適用的區塊相混在一起，而可能成為主觀的畫質劣化的原因。在此，在第6態樣的解碼處理中，若反二次轉換為有效，則讓QM為無效，以此可以防止在包含反二次轉換為有效的區塊的區域當中QM適用的區塊與不適用的區塊相混的情形，有可減輕畫質劣化的可能性。
另，該處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。例如，第6態樣之解碼處理亦可對第1態樣迄至第4態樣的解碼處理適用。進而，第6態樣之解碼處理亦可對於不使用長方形區塊(也就是說對於長方形區塊以外的區塊)的解碼處理適用。
亦可將本態樣與本揭示中的其他的態樣的至少一部分組合來實施。又，亦可將本態樣的流程圖中記載的一部分處理、裝置的一部分構成或者語法的一部分等與其他的態樣組合來實施。
[第7態樣]
以下，針對本揭示的第7態樣之編碼裝置100、解碼裝置200、編碼方法及解碼方法來說明。
[編碼處理及解碼處理的第7例]
在第7態樣之編碼處理中，於對編碼對象區塊不進行二次轉換的情形下，在滿足預定的條件時，決定對編碼對象區塊適用量化矩陣，對編碼對象區塊的複數個一次轉換係數使用量化矩陣來進行量化，在對編碼對象區塊進行二次轉換的情形下，於滿足預定的條件時，決定對編碼對象區塊適用量化矩陣，對編碼對象區塊的複數個二次轉換係數使用量化矩陣來進行量化。
又，在第7態樣之解碼處理中，在對解碼對象區塊不進行反二次轉換的情形下，於滿足預定的條件時，決定對解碼對象區塊適用量化矩陣，對解 碼對象區塊的複數個量化係數使用量化矩陣來進行反量化，在對解碼對象區塊進行反二次轉換的情形下，於滿足預定的條件時，決定對解碼對象區塊適用量化矩陣，對解碼對象區塊的複數個量化係數使用量化矩陣來進行反量化。在第7態樣之編碼處理及解碼處理中，在量化處理及反量化處理有特徵。
首先，一邊參考圖76，一邊說明第7態樣之編碼裝置的量化處理。
圖76是顯示第7態樣之編碼裝置的量化處理中的動作的一例的流程圖。在此，編碼裝置100在不只是正方形區塊，對長方形區塊也能適用量化矩陣(QM)的第1態樣之編碼處理中，對於適用二次轉換(例如NSST)的編碼對象區塊也能適用QM。接著，編碼裝置100，例如對於編碼對象區塊的二次轉換適用後的係數(所謂二次轉換係數)，適用與對於該區塊的一次轉換係數適用的QM相同的QM。
如圖76所示，編碼裝置100首先判定是否對編碼對象區塊適用量化矩陣(QM)(步驟S1501)。編碼裝置100在已判定為對編碼對象區塊不適用量化矩陣時(在步驟S1501，否)，不使用量化矩陣而將編碼對象區塊量化。
另一方面，編碼裝置100在已判定為對編碼對象區塊適用量化矩陣時(在步驟S1501，是)，判定是否對編碼對象區塊進行二次轉換(步驟S1502)。編碼裝置100在已判定為對編碼對象區塊不進行二次轉換時(在步驟S1502，否)，對編碼對象區塊的複數個一次轉換係數適用量化矩陣，來進行量化處理(步驟S1503)。
另一方面，編碼裝置100在已判定為對編碼對象區塊進行二次轉換時(在步驟S1502，是)，對於編碼對象區塊的複數個二次轉換係數適用量化矩陣，來進行量化處理(步驟S1504)。
另，編碼裝置100在對編碼對象區塊進行二次轉換的情形以及不進行二次轉換的情形兩者當中滿足預定的條件時，亦可決定在編碼對象區塊的量 化處理中適用量化矩陣。
預定的條件包含：(i)在SPS標頭包含表示已使用量化矩陣(QM)的量化處理為有效的旗標資訊；(ii)在切片標頭包含表示有量化矩陣(QM)存在的旗標資訊；及(iii)對於編碼對象區塊不略過一次轉換。另，預定的條件包含上述的(i)、(ii)及(iii)的至少1者即可。
另，如上述，在NSST等的二次轉換中，進而將對於編碼對象區塊中的預測殘差等藉由DCT等正交轉換的係數(所謂的一次轉換係數)轉換。二次轉換亦可只對於正交轉換後的一部分的一次轉換係數來進行，亦可對於全部的一次轉換係數來進行。
又，在對CU等的編碼對象區塊適用二次轉換時，編碼裝置100對於編碼對象區塊的二次轉換後的轉換係數(所謂的二次轉換係)適用一次轉換用(也就是說，一次轉換係數用)的QM，來進行量化。也就是說，對編碼對象區塊的二次轉換後的係數適用的QM亦可和被適用在一次轉換後的係數的QM(所謂的一次轉換用的QM)相同。另，編碼裝置100亦可將不成為二次轉換的適用對象的正交轉換係數(也就是說一次轉換係數)的值強制性地設定為零。在這情形下也是，編碼裝置100亦可對於編碼對象區塊的二次轉換後的轉換係數(所謂的二次轉換係數)適用一次轉換用的QM，來進行量化。在編碼對象區塊的量化使用的QM亦可根據編碼對象區塊的尺寸(M×N像素)、圖片類型(幀內、幀間、或是IBC(Intra Block Copy；幀內區塊複製)等)、亮度或者色差的各成分(Y、U、V等)等，以與決定對於一次轉換係數的QM的方法同樣的方法來決定。
另，編碼裝置100亦對編碼對象區塊的複數個二次轉換係數能適用與一次轉換用的QM不同的QM作為二次轉換用(也就是說，二次轉換係數用)的QM。在這情形下，編碼裝置100以對於二次轉換係數使用與對於一次轉換係數的QM不同的QM來說，亦可將與二次轉換用的QM有關的訊號編碼，來作為SPS 等的標頭資訊。又，例如，編碼裝置100在只對正交轉換後的一部分的一次轉換係數進行二次轉換時，對於二次轉換係數使用二次轉換用的QM，對於一次轉換係數則使用一次轉換用的QM，來進行編碼對象區塊的量化。另，二次轉換的適用對象亦可不依據CU的尺寸，而設為CU中的一次轉換後的係數(一次轉換係數)的低域側的8×8的範圍內。進而，亦可對16×16、32×32、32×16等比8×8更大尺寸的CU，也只對低域側的8×8的範圍內的一次轉換係數適用二次轉換。
在第7態樣之編碼處理中，對二次轉換後的轉換係數(二次轉換係數)也能適用QM，以此不管於對各區塊的二次轉換的適用有無，仍可使用QM來將編碼對象區塊量化，因此有能將二次轉換為有效來編碼時的主觀畫質提高的可能性。
另，本處理流程只是一個例子，亦可改變記載中的處理的順序，亦可移除記載中的處理的一部分，亦可追加不在記載中的處理。例如，亦可對第1態樣迄至第4態樣的編碼處理及解碼處理適用。進而，亦可適用在不使用長方形區塊的編碼及解碼。
圖77是顯示第7態樣之解碼裝置的反量化處理中的動作的一例的流程圖。在此，解碼裝置200在不只是正方形區塊也能對長方形區塊適用量化矩陣(QM)的第1態樣之解碼處理中，對適用反二次轉換的解碼對象區塊也能適用QM。接著，解碼裝置200，例如對適用反二次轉換的解碼對象區塊的量化係數，適用與對適用反一次轉換的解碼對象區塊的量化係數適用的QM相同的QM。
如圖77所示，解碼裝置200首先判定是否對解碼對象區塊適用量化矩陣(QM)(步驟S1601)。解碼裝置200在已判定為對解碼對象區塊不適用量化矩陣時(在步驟S1601，否)，不使用QM而將解碼對象區塊反量化。
另一方面，解碼裝置200在已判定為對解碼對象區塊適用量化矩陣時(在步驟S1601，是)，判定是否對解碼對象區塊進行反二次轉換(步驟S1602)。 解碼裝置200在已判定為對解碼對象區塊不進行反二次轉換時(在步驟S1602，是)，使用量化矩陣來對解碼對象區塊的複數個量化係數進行反量化(步驟S1603)。
另一方面，解碼裝置200在已判定為對解碼對象區塊進行反二次轉換時(在步驟S1602，是)，使用量化矩陣來對解碼對象區塊的複數個量化係數進行反量化(步驟S1604)。
另，解碼裝置200亦可在對解碼對象區塊進行反二次轉換的情形、及不進行反二次轉換的情形之兩者當中，於滿足預定的條件時，決定在解碼對象區塊的反量化處理中適用量化矩陣。
預定的條件包含：(i)在SPS標頭包含表示已使用量化矩陣(QM)的反量化處理為有效的旗標資訊；(ii)在切片標頭包含表示有量化矩陣(QM)存在的旗標資訊；及(iii)對於解碼對象區塊不略過反一次轉換。
另，本處理流程只是一個例子，亦可改變已記載的處理的順序，亦可移除已記載的處理的一部分，亦可追加未記載的處理。例如，亦可對從第1態樣迄至第4態樣的編碼處理及解碼處理適用。進而，亦可適用在不使用長方形區塊的編碼及解碼。
[對一次轉換後的一部分係數進行二次轉換的例子]
圖78是顯示於對一次轉換適用後的處理對象區塊的一部分區域的係數適用二次轉換時的量化或者反量化的例子的圖。圖78的(a)是顯示對一次轉換適用後的處理對象區塊的一部分(低域)的係數適用二次轉換的例子。圖78的(b)是顯示對圖78的(a)所示的一次轉換適用後的處理對象區塊的一部分的區域適用二次轉換的例子。
如圖78的(a)所示，例如，編碼裝置100在一次轉換適用後的32×32的處理對象區塊中，若對低頻側的8×8的一次轉換係數適用NSST等的二次轉 換，如圖78的(b)所示，則將4×4的NSST的轉換係數(所謂的二次轉換係數)輸出。在這情形下，編碼裝置100對4×4的二次轉換係數，使用對應於32×32的一次轉換係數的一次轉換用的QM的低域側的4×4的量化加權係數(所謂的矩陣元素)來量化。更具體來說，如圖78的(b)所示，適用二次轉換的8×8的區域之中，存在二次轉換係數的左上的4×4的區域以外的區域的二次轉換係數的值成為零，因此對於8×8的區域之中的4×4的區域以外的轉換係數的量化加權係數也變成零。因此，對該4×4的區域以外的區域(圖中之被記載為「零」的區域)不進行QM的適用處理。另，編碼裝置100亦可對不成為二次轉換的適用對象的左上的8×8的區域以外的區域(圖中之被記載為「一次轉換係數」的區域)的一次轉換係數適用QM來量化，也可用零來填補該左上的8×8的區域以外的區域的一次轉換係數的值，不進行對於該區域的QM的適用處理。
另，針對解碼裝置200的動作，例如，如圖78的(b)所示，解碼裝置200使用對於適用反一次轉換的32×32的量化係數的QM的低域側的4×4的加權量化係數來對適用反二次轉換的4×4的區域的量化係數反量化。此時，亦可用零來填補該4×4的區域以外的區域的量化係數的值。
[具備其他的態樣的組合]
亦可以將在此揭示的1個以上的態樣與本揭示中的其他態樣的至少一部分組合來實施。又，亦可以將在此所揭示的1個以上的態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合來實施。
例如，編碼裝置100及解碼裝置200亦可針對量化處理及反量化處理，執行切換第4態樣、第6態樣及第7態樣的動作。
另，上述的全部的處理/要素並非必要。該裝置/方法亦可包含處理/要素的一部分。又，上述的處理和編碼裝置同樣地，亦可藉由解碼裝置來執行。
[代表性的安裝例]
以下顯示上述顯示的編碼裝置100及解碼裝置200的處理的代表性的安裝例。
圖79是顯示編碼裝置100進行的動作的流程圖。編碼裝置100具備：電路；及連接於電路的記憶體。編碼裝置100所具備的電路及記憶體亦可對應於圖40所示的處理器a1及記憶體a2。編碼裝置100的電路在動作中進行以下的處理。
編碼裝置100判定是否執行第一編碼處理(步驟S1701)。編碼裝置100在已判定為不執行第一編碼處理時(在步驟S1701，否)，判定是否執行第二編碼處理(步驟S1709)。編碼裝置100在已判定執行第二編碼處理時(在步驟S1709，是)，開始第二編碼處理(步驟S1710)。編碼裝置100在第二編碼處理中，執行圖74所示的步驟S1301之後的處理。另一方面，編碼裝置100在已判定為不執行第二編碼處理時(在步驟S1709，否)，開始第三編碼處理(步驟S1711)。編碼裝置100在第三編碼處理中，執行圖66所示的步驟S901之後的處理。
在步驟S1701中，編碼裝置100在已判定為執行第一編碼處理時(在步驟S1701，是)，開始第一編碼處理。
例如，編碼裝置100的電路在第一編碼處理中，於對編碼對象區塊不進行二次轉換的情形下(在步驟S1702，否)，在滿足預定的條件時(在步驟S1703，是)，決定對編碼對象區塊適用量化矩陣，對編碼對象區塊的複數個一次轉換係數，使用量化矩陣來進行量化(步驟S1705)，在對編碼對象區塊進行二次轉換的情形下(在步驟S1702，是)，於滿足預定的條件時(在步驟S1706，是)，決定對編碼對象區塊適用量化矩陣，對編碼對象區塊的複數個二次轉換係數使用量化矩陣來進行量化(步驟S1707)。
藉此，編碼裝置100不管二次轉換的適用可否，在滿足預定的條件時，仍對已適用二次轉換的編碼對象區塊適用量化矩陣，因此可提高主觀畫質。
另一方面，在第一編碼處理中，在對編碼對象區塊不進行二次轉換的情形下(在步驟S1702，否)，在未滿足預定的條件時(在步驟S1703，否)，決定對編碼對象區塊不適用量化矩陣，對編碼對象區塊的複數個一次轉換係數不使用量化矩陣來進行量化(步驟S1704)，在對編碼對象區塊進行二次轉換的情形下(在步驟S1702，是)，在未滿足預定的條件時(在步驟S1706，否)，決定對編碼對象區塊不適用量化矩陣，對編碼對象區塊的複數個二次轉換係數不使用量化矩陣來進行量化(步驟S1708)。
例如，編碼裝置100的電路亦可進而切換第一編碼處理與第二編碼處理，在第二編碼處理中，在對編碼對象區塊可適用二次轉換的情形下(在圖74的步驟S1301，是)，對編碼對象區塊不使用量化矩陣來進行量化處理(步驟S1302)，在對編碼對象區塊不可適用二次轉換的情形下(在步驟S1301，否)，決定是否對編碼對象區塊適用量化矩陣(步驟S1303)，根據決定，來進行編碼對象區塊的量化(步驟S1304或者步驟S1305)。
藉此，編碼裝置100在可適用二次轉換的編碼處理中，不管編碼對象區塊各自的二次轉換的適用有無，仍在不使用量化矩陣的狀態下進行量化，因此可提高主觀畫質。又，編碼裝置100在不可適用二次轉換的編碼處理中，因應編碼對象區塊的一次轉換的適用有無，決定量化矩陣的適用可否，因此可對編碼對象區塊適當地進行量化。又，編碼裝置100可切換第二編碼處理與上述的第一編碼處理，因此可因應編碼對象圖片，來更適當地執行量化處理。因此，編碼裝置100可在量化矩陣的適用及非適用的兩者當中，一邊抑制主觀畫質的降低，且一邊提高編碼效率。
例如，預定的條件亦可包含：(i)在SPS標頭包含表示已使用量化矩陣的量化處理為有效的旗標資訊；(ii)在切片標頭包含表示有量化矩陣存在的旗標資訊；及(iii)對於編碼對象區塊不略過一次轉換。
藉此，編碼裝置100在於量化矩陣為有效的情形，且在對編碼對象區塊不略過一次轉換處理時，可向編碼對象區塊適用量化矩陣來進行量化。因此，編碼裝置100可對編碼對象區塊適當地適用量化矩陣。
例如，編碼裝置100的電路亦可進而切換前述第一編碼處理、第二編碼處理與第三編碼處理，在第三編碼處理中，對編碼對象區塊進行一次轉換(在圖66的步驟S901，否)，且在不進行二次轉換(在步驟S902，是)的情形下，對編碼對象區塊的複數個轉換係數使用量化矩陣來進行量化(步驟S903)，在編碼對象區塊不進行一次轉換的情形(在步驟S901，是)、以及進行一次轉換及二次轉換的兩者的情形下(在步驟S901，否；及在步驟S902，否)，不使用量化矩陣而進行編碼對象區塊的量化(步驟S904)。
藉此，編碼裝置100在第三編碼處理中，對即使適用量化矩陣亦不能獲得足夠的主觀畫質的調整效果的可能性的編碼對象區塊，在不使用量化矩陣的狀態下進行量化，因此能減少處理量。又，編碼裝置100可對正交轉換後的編碼處理區塊的複數個預測殘差適當地適用量化矩陣，因此能獲得主觀畫質的調整效果。又，編碼裝置100可切換第三編碼處理、上述的第一編碼處理與上述的第二編碼處理，因此能因應編碼對象圖片，更適當地執行量化處理。因此，編碼裝置100可在量化矩陣的適用及非適用之兩者當中，一邊抑制主觀畫質的降低，一邊提高編碼效率。
例如，編碼裝置100的電路亦可在已決定在編碼對象區塊的量化處理中適用量化矩陣時，於編碼對象區塊為長方形區塊的情形下，轉換對於正方形區塊的第1量化矩陣，藉此產生對於長方形區塊的第2量化矩陣，並對長方形區塊使用第2量化矩陣來進行量化。
藉此，編碼裝置100可從對應於正方形區塊的第1量化矩陣來產生對應於長方形區塊的第2量化矩陣，因此沒有必要將對應於長方形區塊的第2量 化矩陣編碼。進而，編碼裝置100不增加編碼量，也能對長方形區塊使用適當的量化矩陣。因此，編碼裝置100能有效率地對各式各樣的形狀的長方形區塊進行量化，因此能提高編碼效率。
圖80是顯示解碼裝置200進行的動作的流程圖。例如，解碼裝置200具備：電路；及連接於電路的記憶體。解碼裝置200所具備的電路及記憶體亦可對應於圖46所示的處理器b1及記憶體b2。解碼裝置200的電路在動作中進行以下的處理。
解碼裝置200判定是否執行第一解碼處理(步驟S1801)。解碼裝置200在已判定為不執行第一解碼處理時(在步驟S1801，否)，判定是否執行第二解碼處理(步驟S1809)。解碼裝置200在已判定執行第二解碼處理時(在步驟S1809，是)，開始第二解碼處理(步驟S1810)。解碼裝置200在第二解碼處理中，執行圖75所示的步驟S1401之後的處理。另一方面，解碼裝置200在已判定為不執行第二解碼處理時(在步驟S1809，否)，開始第三解碼處理(步驟S1811)。解碼裝置200在第三解碼處理中，執行圖67所示的步驟S1001之後的處理。
在步驟S1801中，解碼裝置200在已判定為執行第一解碼處理時(在步驟S1801，是)，開始第一解碼處理。
又，解碼裝置200的電路在第一解碼處理中，於對解碼對象區塊不進行反二次轉換的情形下(在步驟S1802，否)，在滿足預定的條件時(在步驟S1803，是)，決定對解碼對象區塊適用量化矩陣，對解碼對象區塊的複數個量化係數使用量化矩陣來進行反量化(步驟S1805)，在對解碼對象區塊進行反二次轉換的情形下(在步驟S1802，是)，於滿足預定的條件時(在步驟S1806，是)，決定對解碼對象區塊適用量化矩陣，對解碼對象區塊的複數個量化係數使用量化矩陣來進行反量化(步驟S1807)。
藉此，解碼裝置200不管反二次轉換的適用可否，在滿足預定的條 件時，仍對適用反二次轉換的解碼對象區塊適用量化矩陣，因此可提高主觀畫質。
另一方面，在第一解碼處理中，在對解碼對象區塊不進行反二次轉換的情形下(在步驟S1802，否)，在未滿足預定的條件時(在步驟S1803，否)，決定對解碼對象區塊不適用量化矩陣，對解碼對象區塊的複數個量化係數不使用量化矩陣來進行反量化(步驟S1804)，在對解碼對象區塊進行反二次轉換的情形下(在步驟S1802，是)，在未滿足預定的條件時(在步驟S1806，否)，決定對解碼對象區塊不適用量化矩陣，對解碼對象區塊的複數個量化係數不使用量化矩陣來進行反量化(步驟S1808)。
例如，解碼裝置200的電路亦可進而切換第一解碼處理與第二解碼處理，在第二解碼處理中，在對解碼對象區塊可適用二次轉換的情形下(在圖75的步驟S1401，是)，對解碼對象區塊不使用量化矩陣來進行反量化處理(步驟S1402)，在對解碼對象區塊不可適用反二次轉換的情形下(在步驟S1401，否)，決定是否對解碼對象區塊適用量化矩陣(步驟S1403)，根據決定，來進行解碼對象區塊的反量化(步驟S1404或者步驟S1405)。
藉此，解碼裝置200在可適用反二次轉換的編碼處理中，不管解碼對象區塊各自的反二次轉換的適用有無，仍在不使用量化矩陣的狀態下進行反量化，因此可提高主觀畫質。又，解碼裝置200在不可適用反二次轉換的解碼處理中，因應解碼對象區塊的反一次轉換的適用有無，決定量化矩陣的適用可否，因此可對解碼對象區塊適當地進行反量化。又，解碼裝置200可切換第二解碼處理與上述的第一解碼處理，因此可因應解碼對象圖片，來更適當地執行反量化處理。因此，解碼裝置200可在量化矩陣的適用及非適用的兩者當中，一邊抑制主觀畫質的降低，一邊提高處理效率。
例如，預定的條件亦可包含：(i)在SPS標頭包含表示已使用量化矩 陣的反量化處理為有效的旗標資訊；(ii)在切片標頭包含表示有量化矩陣存在的旗標資訊；及(iii)對於解碼對象區塊不略過反一次轉換。
藉此，解碼裝置200在於量化矩陣為有效的情形，且在對解碼對象區塊不略過反一次轉換處理時，可向解碼對象區塊適用量化矩陣來進行反量化。因此，解碼裝置200可對解碼對象區塊適當地適用量化矩陣。
例如，解碼裝置200的電路亦可進而切換第一解碼處理、第二解碼處理與第三解碼處理，在第三解碼處理中，對解碼對象區塊進行反一次轉換(在圖67的步驟S1001，否)，且不進行反二次轉換(在步驟S1002，是)的情形下，對解碼對象區塊的複數個量化係數使用量化矩陣來進行反量化(步驟S1003)，在對解碼對象區塊不進行反一次轉換的情形下(在步驟S1001，是)、以及進行反一次轉換及反二次轉換之兩者的情形下(在步驟S1001，否，及在步驟S1002，否)，不使用量化矩陣而進行解碼對象區塊的反量化(步驟S1004)。
藉此，解碼裝置200在第三解碼處理中，對有著即使適用量化矩陣也不能獲得足夠的主觀畫質的調整效果的可能性的解碼對象區塊，在不使用量化矩陣的狀態下進行反量化，因此使處理量減少。又，解碼裝置200可以對於正交轉換後量化並編碼的解碼對象區塊適當地適用量化矩陣，因此能獲得主觀畫質的調整效果。又，解碼裝置200可以切換第三解碼處理、上述的第一解碼處理與上述的第二解碼處理，因此可因應解碼對象圖片，更適當地執行反量化處理。因此，解碼裝置200在量化矩陣的適用及非適用的兩者當中，可一邊抑制主觀畫質的降低，一邊提高處理效率。
例如，解碼裝置200的電路亦可以在解碼對象區塊的反量化處理中已決定適用量化矩陣時，於解碼對象區塊為長方形區塊的情形下，轉換對於正方形區塊的第1量化矩陣，藉此產生對於長方形的第2量化矩陣，並對長方形區塊使用第2量化矩陣來進行反量化。
藉此，解碼裝置200可從對應於正方形區塊的第1量化矩陣來產生對應於長方形區塊的第2量化矩陣，因此沒有將對應於長方形區塊的第2量化矩陣解碼的必要。進而，解碼裝置200可在不增加處理量的狀態下，對於長方形區塊也能使用適當的量化矩陣。因此，解碼裝置200能對於各式各樣形狀的長方形區塊有效率地進行量化，所以能提高處理效率。
又，如上述，各構成要素亦可為電路。該等電路亦可使整體構成為1個電路，亦可分別為個別的電路。又，各構成要素亦可以通用的處理器來實現，亦可以專用的處理器來實現。
又，亦可讓別的構成要素來執行特定的構成要素所要執行的處理。又，亦可變更要執行處理的順序，亦可並行地執行複數個處理。又，編碼解碼裝置亦可具備編碼裝置100及解碼裝置200。
以上，針對編碼裝置100及解碼裝置200之態樣，已根據複數個例子來說明，但編碼裝置100及解碼裝置200的態樣並不限於該等例子。只要不脫離本揭示的宗旨，所屬技術領域中具有通常知識者將可思及之各種變形施加在各例、或者將不同例子的構成要素組合而構建的形態，亦可都包含在編碼裝置100及解碼裝置200之態樣的範圍內。
[實施及應用]
在以上之各實施形態中，功能性或者是作用性的方塊之每一個通常可藉MPU(micro proccessing unit/微處理單元)及記憶體等來實現。又，功能方塊之每一個所進行的處理，也能夠以讀出記錄在ROM等之記錄媒體的軟體(程式)並執行的處理器等之程式執行部來實現。該軟體亦可以被分發。該軟體亦可記錄在半導體記憶體等各式各樣的記錄媒體。另，亦可以藉由硬體(專用電路)來實現各功能方塊。可採用硬體及軟體的各式各樣的組合。
又，在各實施形態中所說明的處理亦可以藉由使用單一裝置(系 統)進行集中處理來實現，或者亦可以藉由使用複數個裝置進行分散處理來實現。又，執行上述程式的處理器亦可為單數個，亦可為複數個。即，可進行集中處理，或者亦可進行分散處理。
本揭示的態樣並不限於以上的實施例，可做各種變更，該等也包含在本揭示的態樣之範圍內。
進而在此，說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或者動態圖像解碼方法(圖像解碼方法)之應用例及實施該應用例之各種系統。如此的系統之特徵亦可在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、或具備兩者之圖像編碼解碼裝置。針對如此的系統的其他構成，可配合情況適當地變更。
[使用例]
圖81是顯示實現內容(contents)發布服務之適當的內容供給系統ex100之整體構成的圖。將通訊服務之提供區域(area)分割成期望的大小，並於各細胞(cell)內分別設置圖示例中的固定無線台即基地台ex106、ex107、ex108、ex109、ex110。
在此內容供給系統ex100中，電腦ex111、遊戲機ex112、攝像機ex113、家電ex114及智慧型手機ex115等各機器是透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110而連接到網際網路ex101。該內容供給系統ex100亦可組合上述任何裝置並加以連接。在各種實施中，各機器亦可不透過基地台ex106至ex110，而是透過電話網或近距離無線等直接地或間接地相互連接。進而，串流伺服器ex103亦可透過網際網路ex101等，與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流伺服器ex103亦可透過衛星ex116，與飛機ex117內之熱點內的終端等連接。
另，亦可使用無線存取點或熱點等來取代基地台ex106至ex110。又，串流伺服器ex103可不透過網際網路ex101或網際網路服務提供者ex102而直 接與通訊網ex104連接，亦可不透過衛星ex116而直接與飛機ex117連接。
攝像機ex113是數位相機等可拍攝靜止圖及拍攝動態圖的機器。又，智慧型手機ex115為支援2G、3G、3.9G、4G以及今後稱為5G的移動通訊系統的方式之智慧型話機、行動電話或PHS(Personal Handy-phone System/個人手持電話系統)等。
家電ex114為冰箱或家庭用燃料電池汽電共生系統所包含的機器等。
在內容供給系統ex100中，具有攝影功能的終端可透過基地台ex106等而連接於串流伺服器ex103，藉此實現實況發布等。在實況發布中，終端(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等)可對使用者使用該終端所拍攝的靜止圖或動態圖內容，進行上述各實施形態所說明的編碼處理，亦可將藉由編碼所獲得的影像資料、及對應於影像的聲音被編碼後的聲音資料進行多工，亦可將獲得的資料發送至串流伺服器ex103。亦即，各終端是作為本揭示之一態樣的圖像編碼裝置來發揮功能。
另一方面，串流伺服器ex103將發送給有要求的客戶端的內容資料進行串流發布。客戶端為可將上述編碼處理後的資料解碼的電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或飛機ex117內的終端等。接收到已發布之資料的各機器亦可將接收到的資料進行解碼處理並播放。亦即，各機器亦可作為本揭示之一態樣的圖像解碼裝置來發揮功能。
[分散處理]
又，串流伺服器ex103亦可為複數台伺服器或複數台電腦，且將資料分散處理、記錄、發布。例如，亦可藉由CDN(Contents Delivery Network/內容傳遞網路)來實現串流伺服器ex103，藉由將分散在全世界的眾多邊緣伺服器彼此之間加以連繫的網際網路來實現內容發布。在CDN中，可因應於客戶端而動態地分配物 理上較接近的邊緣伺服器。且，藉由在該邊緣伺服器快取及發布內容，可減少延遲。又，在發生多種類型的錯誤時或通訊狀態因流量增加等而改變時，由於能以複數台邊緣伺服器來分散處理、或將發布主體切換成其他邊緣伺服器、或繞過發生障礙的網路部分來持續發布，因此可實現高速且穩定的發布。
又，不僅止於發布本身的分散處理，已拍攝之資料的編碼處理亦可在各終端進行，亦可在伺服器側進行，亦可互相分擔進行。舉一例而言，一般在編碼處理中是進行2次處理迴路。在第1次的迴路中，檢測出以幀或場景為單位的圖像之複雜度或編碼量。又，在第2次的迴路中，進行維持畫質並且提升編碼效率的處理。例如，終端進行第1次的編碼處理，收到內容的伺服器側進行第2次的編碼處理，藉此可減少在各終端的處理負載，並且可提升內容的品質及效率。此情況下，若有幾乎即時接收並解碼的要求，亦可由其他終端接收並播放終端進行過的第一次的編碼完畢資料，因此更靈活的即時發布也是可能的。
舉另一例來說，攝像機ex113等從圖像擷取特徵量(特徵或特性的量)，將有關特徵量的資料壓縮成元資料(metadata)並發送至伺服器。伺服器例如從特徵量來判斷目標(object)的重要性並切換量化精度等，因應圖像的意義(或內容的重要性)來進行壓縮。特徵量資料對於在伺服器再度壓縮時的移動向量預測之精度及效率提升尤其有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，在伺服器進行CABAC(前文參考之適應性二值算術編碼方式)等處理負載大的編碼。
進一步舉另一例來說，在體育場、購物中心或工廠等，有時會有藉由複數個終端拍攝幾乎相同的場景而存在複數個影像資料的情況。此情況下，是使用進行攝影的複數個終端、因應需要而未拍攝的其他終端及伺服器，以例如GOP(Group of Picture/圖片群組)單位、圖片單位或圖片分割後的圖塊單位等，將編碼處理各自分配來進行分散處理。藉此，可減少延遲，更實現即時性。
由於複數個影像資料是幾乎相同的場景，因此亦可由伺服器來管理及/或指示互相參考各終端所拍攝的影像資料。又，亦可讓伺服器接收來自各終端的編碼完畢資料，在複數個資料間變更參考關係或補正、替換圖片本身後，再重新編碼。藉此，可產生提高一個個資料的品質及效率的串流。
進而，伺服器亦可在進行變更影像資料的編碼方式之轉碼(transcode)後，再發布影像資料。例如，伺服器可將MPEG系統的編碼方式轉換成VP系統(例如VP9)，亦可將H.264轉換成H.265等。
就像這樣，可藉由終端或1個以上的伺服器來進行編碼處理。所以，以下雖使用「伺服器」或「終端」等記載來作為進行處理的主體，但亦可由終端來進行由伺服器所進行的處理之一部分或全部，且亦可由伺服器來進行由終端所進行的處理之一部分或全部。又，關於該等處理，就解碼處理來說也是同樣的。
[3D、多角度]
將彼此幾乎同步的複數個攝像機ex113及/或智慧型手機ex115等終端所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合並利用的情況逐漸增加。各終端所拍攝的影像可根據另外取得之終端間的相對位置關係、或影像包含的特徵點為一致的區域等來進行整合。
伺服器亦可不僅編碼2維的動態圖像，還根據動態圖像的場景分析等而自動地、或於使用者指定的時刻編碼靜止圖，並發送至接收終端。進而，伺服器在可取得攝影終端間的相對位置關係時，不僅根據2維的動態圖像，還根據從不同角度拍攝同一場景的影像，來產生該場景的3維形狀。伺服器可另外編碼藉由點雲(point cloud)等所產生的3維資料，亦可使用3維資料來辨識或追蹤人物或目標，並根據辨識或追蹤的結果，從複數個終端所拍攝的影像中選擇、或重構並產生要發送至接收終端的影像。
如此，使用者可任意地選擇對應於各攝影終端的各影像來欣賞場景，亦可欣賞從使用複數個圖像或影像來重構的3維資料切出選擇視點的影像的內容。進而，聲音也與影像一起從複數個相異的角度收音，伺服器亦可將來自特定角度或空間的聲音與對應的影像進行多工，並發送多工後的影像與聲音。
又，近年來Virtual Reality(VR/虛擬實境)及Augmented Reality(AR/擴增實境)等讓現實世界與虛擬世界相對應的內容亦日益普及。在VR圖像的情況下，伺服器可分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding(MVC/多視角編碼)等來進行容許在各視點影像間參考的編碼，亦可不互相參考而編碼成不同的串流。當解碼不同的串流時，以因應使用者的視點重現虛擬的3維空間的方式，讓串流彼此同步播放即可。
在AR圖像的情況下，伺服器亦可根據3維性質的位置或使用者的視點移動，而將虛擬空間上的虛擬物體資訊重疊到現實空間的攝像機資訊。解碼裝置亦可取得或保持虛擬物體資訊及3維資料，並因應使用者的視點移動來產生2維圖像，藉由平滑地接合該等來製作重疊資料。或，解碼裝置亦可除了虛擬物體資訊的請求以外，還將使用者的視點移動發送至伺服器。伺服器亦可配合從保持於伺服器的3維資料接收到的視點移動來製作重疊資料，將重疊資料編碼並發布至解碼裝置。另，重疊資料典型而言除了RGB以外，還具有表示穿透度的α值，伺服器亦可將從3維資料製作的目標以外的部分之α值設定成0等，並在該部分為穿透的狀態下編碼。或者，伺服器亦可像色度鍵(chroma key)一樣將背景設定成預定之值的RGB值，並產生目標以外的部分皆設為背景色的資料。預定之值的RGB值亦可事先決定。
同樣地，已發布之資料的解碼處理可在客戶端(例如終端)進行，亦可在伺服器側進行，亦可互相分擔進行。舉一例而言，亦可是某終端先對伺服器送出接收要求，再由其他終端接收因應於其要求的內容並進行解碼處理， 且對具有顯示器的裝置發送解碼完畢的訊號。藉由不依賴可通訊的終端本身的性能而是將處理分散並選擇適當的內容，可播放畫質佳的資料。又，舉另一例來說，亦可由電視等接收大尺寸的圖像資料，並且在鑑賞者的個人終端將圖片經分割後的圖塊等一部分區域解碼顯示。藉此，可共享整體圖像，並且可在手邊確認自己的負責領域或想更詳細確認的區域。
在屋內外之近距離、中距離或長距離的無線通訊可使用複數個的狀況下，利用MPEG-DASH等發布系統規格無縫地(seamless)接收內容也許是可能的。使用者亦可一邊自由地選擇使用者的終端、配置於屋內外的顯示器等解碼裝置或顯示裝置，一邊即時地切換。又，可使用自身的位置資訊等，一邊切換要解碼的終端及要顯示的終端一邊進行解碼。藉此，在使用者往目的地移動的期間，變得可在內嵌有可顯示的器件之一旁的建築物之壁面或地面的一部分映射及顯示資訊。又，亦可根據在網路上之對編碼資料的存取容易性，來切換接收資料的位元率(bit rate)，前述對編碼資料的存取容易性是指編碼資料被快取到可在短時間內從接收終端存取的伺服器、或被複製到內容傳遞服務(Contents Delivery Service)中的邊緣伺服器等。
[可調式編碼]
關於內容之切換，使用圖82所示之應用上述各實施形態所示的動態圖像編碼方法而進行壓縮編碼的可調式串流來加以說明。伺服器若具有複數個內容相同、質不同的串流來作為個別串流雖然無妨，但亦可如圖示般構成為分層進行編碼，藉此實現時間的/空間的可調式串流，並活用該可調式串流的特徵來切換內容。也就是說，解碼側因應於性能這種內在要因與通訊頻帶狀態等之外在要因，來決定解碼哪個層，藉此，解碼側可自由地切換低解析度的內容與高解析度的內容並解碼。例如，使用者在移動中以智慧型手機ex115收看的影像之後續，例如回家後想在網際網路電視等機器上收看時，該機器只要將相同的串流 解碼到不同的層即可，因此可減輕伺服器側的負擔。
進而，如上述，除了依每層將圖片編碼且以基本層的上位之增強層來實現可調性(scalability)的構成以外，增強層亦可包含有以圖像之統計資訊等為基準的元資訊。解碼側亦可根據元資訊來將基本層的圖片進行超解析，藉此產生高畫質化的內容。超解析亦可為維持及/或擴大解析度，並提升SN比。元資訊包含有用以特定出類似超解析處理中使用的線性或非線性濾波係數的資訊，或特定出超解析處理中使用的濾波處理、機械學習、或最小平方運算中之參數值的資訊等。
或，亦可提供因應於圖像內的目標等的意義來將圖片分割成圖塊等之構成。解碼側藉由選擇要解碼的圖塊來解碼僅一部分的區域。進而，藉由將目標的屬性(人物、車輛、球等)及影像內的位置(同一圖像中之座標位置等)儲存成元資訊，解碼側可根據元資訊特定出期望的目標的位置，且決定包含有該目標的圖塊。例如，如圖83所示，亦可使用HEVC中之SEI(supplemental enhancement information/補充增強資訊)訊息等與像素資料不同的資料儲存構造來儲存元資訊。此元資訊用來表示例如主目標的位置、尺寸或色彩等。
亦可以串流、序列或隨機存取單位等由複數張圖片所構成的單位來儲存元資訊。解碼側可取得特定人物出現在影像內的時刻等，藉由對照圖片單位的資訊與時間資訊，可特定出目標存在的圖片，且可決定目標在圖片內的位置。
[網頁最佳化]
圖84是顯示電腦ex111等中之網頁的顯示畫面例的圖。圖85是顯示智慧型手機ex115等中之網頁的顯示畫面例的圖。如圖84及圖85所示，網頁有時包含有複數個連結至圖像內容的連結(link)圖像，依瀏覽的器件，其觀看方式亦會不同。當畫面上可看到複數個連結圖像時，直到使用者明確地選擇連結圖像為止，或 直到連結圖像靠近畫面中央附近或連結圖像整體進入畫面內為止，顯示裝置(解碼裝置)可顯示各內容所具有的靜止圖或I圖片來作為連結圖像，亦可以複數個靜止圖或I圖片等來顯示像gif動畫一樣的影像，亦可僅接收基本層並解碼及顯示影像。
在由使用者選擇了連結圖像時，顯示裝置例如將基本層設為最優先同時進行解碼。另，當構成網頁的HTML中有表示其為可調式內容的資訊時，顯示裝置亦可解碼至增強層。進而，為了保證即時性，在被選擇前或通訊頻帶非常吃緊時，顯示裝置僅解碼及顯示參考前方的圖片(I圖片、P圖片、僅參考前方的B圖片)，藉此，可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始為止的延遲)。又進而，顯示裝置亦可刻意忽視圖片的參考關係，令全部的B圖片及P圖片參考前方並粗略地解碼，隨著時間經過且接收到的圖片增加，再進行正常的解碼。
[自動行駛]
又，為了車輛之自動行駛或支援行駛而發送、接收類似2維或3維的地圖資訊等靜止圖或影像資料時，接收終端除了接收屬於1個以上的層之圖像資料，亦可接收天氣或施工資訊等來作為元資訊，並使該等相對應來予以解碼。另，元資訊可屬於層，亦可單純與圖像資料進行多工。
在此情況下，由於包含有接收終端的車輛、無人機(drone)或飛機等會移動，因此接收終端藉由發送該接收終端的位置資訊，可一邊切換基地台ex106至ex110一邊實現無縫的接收及解碼之執行。又，接收終端可因應使用者的選擇、使用者的狀況及/或通訊頻帶的狀態，來動態地切換元資訊要接收到何種程度、或地圖資訊要逐漸更新到何種程度。
在內容供給系統ex100中，客戶端可即時地接收使用者所發送之已編碼的資訊來解碼並播放。
[個人內容的發布]
又，在內容供給系統ex100中，不僅是來自影像發布業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容亦可進行單播或多播發布。可認為這樣的個人內容今後也會逐漸增加。為了將個人內容做成更優良的內容，伺服器亦可進行編輯處理後再進行編碼處理。此可使用例如以下構成來實現。
在攝影時即時或累積到攝影後，伺服器從原圖資料或編碼完畢資料進行攝影錯誤、場景搜尋、意義分析及目標檢測等辨識處理。接著，伺服器根據辨識結果，手動或自動地進行以下編輯：補正模糊或手震等、刪除亮度比其他圖片低或焦點未對準的場景等重要性低的場景、強調目標的邊緣、變化色調等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時刻過長收視率會下降，伺服器亦可如上述般，除了重要性低的場景，還將動態較少的場景等根據圖像處理結果自動地剪輯，以因應攝影時間而成為特定的時間範圍內的內容。或，伺服器亦可根據場景的意義分析的結果來產生摘要(digest)並編碼。
個人內容有就這樣放著會寫入侵害著作權、著作人格權或肖像權等物的案例，也有共享的範圍超過了意圖的範圍等對個人而言較不便的情況。所以，伺服器例如亦可將畫面周邊部的人臉或家中等刻意變更成焦點不對準的圖像再編碼。進而，伺服器亦可辨識編碼對象圖像內是否顯現與事先登錄的人物不同的人物的臉，並在顯現的情況下，進行對臉的部分加上馬賽克等的處理。或，使用者亦可基於著作權等的觀點，指定圖像中想加工的人物或背景區域，來作為編碼的前處理或後處理。伺服器亦可進行將指定的區域置換成別的影像或模糊焦點等處理。若是人物，則可在動態圖像中追蹤人物並置換人物的臉的部分的影像。
資料量較小的個人內容之收看由於非常要求即時性，因此雖然視頻帶寬而定，但解碼裝置首先亦可最優先接收基本層，進行解碼及播放。解碼 裝置亦可在此期間中接收增強層，且於循環播放等播放2次以上的情況下，包含增強層在內播放高畫質的影像。只要是像這樣進行可調式編碼的串流，便可提供如下體驗：在未選擇時或剛開始觀看的階段雖然是粗略的動態圖，但串流慢慢地智慧化(smart)且圖像受到改善。除了可調式編碼以外，將第1次播放的粗略串流與參考第1次動態圖來編碼的第2次串流構成為1個串流，亦可提供相同的體驗。
[其他實施應用例]
又，該等編碼或解碼處理一般而言是在各終端所具有的LSIex500中處理。LSI(large scale integration circuitry/大型積體電路)ex500(參考圖81)是單晶片或由複數個晶片組成的構成均可。另，亦可將動態圖像編碼或解碼用的軟體裝入能以電腦ex111等讀取的某種記錄媒體(CD-ROM、軟性磁碟或硬碟等)，並使用該軟體進行編碼或解碼處理。進而，在智慧型手機ex115附帶攝像機的情況下，亦可發送以該攝像機取得的動態圖資料。此時的動態圖資料亦可為在智慧型手機ex115所具有的LSIex500中進行過編碼處理的資料。
另，LSIex500亦可為下載應用軟體並啟用(activate)的構成。此情況下，終端首先判定該終端是否對應於內容的編碼方式、或是否具有特定服務的執行能力。當終端不對應於內容的編碼方式時，或不具有特定服務的執行能力時，終端亦可下載編解碼器(codec)或應用軟體，之後再取得內容及播放。
又，不限於透過網際網路ex101的內容供給系統ex100，在數位廣播用系統中，亦可裝入上述各實施形態的動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一者。由於是利用衛星等讓廣播用的電波承載已將影像與聲音進行多工的多工資料來進行發送、接收，因此相對於內容供給系統ex100是容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，則可進行同樣的應用。
[硬體構成]
圖86是更詳細顯示圖81所示之智慧型手機ex115的圖。又，圖87是顯示智慧型手機ex115的構成例的圖。智慧型手機ex115具備：天線ex450，用以在其與基地台ex110之間發送、接收電波；攝像機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由攝像機部ex465所拍攝的影像、及由天線ex450所接收的影像等被解碼後的資料。智慧型手機ex115進一步具備：操作部ex466，為觸控面板等；聲音輸出部ex457，為用以輸出聲音或音響的揚聲器等；聲音輸入部ex456，為用以輸入聲音的微音器等；記憶體部ex467，可保存拍攝的影像或靜止圖、錄音的聲音、接收到的影像或靜止圖、郵件等編碼後的資料或解碼後的資料；及插槽部ex464，為與SIMex468的介面部，前述SIMex468是用來特定使用者，對以網路為首的各種資料之存取進行認證。另，亦可使用外接記憶體來取代記憶體部ex467。
可統籌地控制顯示部ex458及操作部ex466等的主控制部ex460，與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467是透過同步匯流排ex470來連接。
當藉由使用者之操作而使電源鍵為開啟狀態時，電源電路部ex461將智慧型手機ex115起動成可動作的狀態，並從電池組(battery pack)對各部供給電力。
智慧型手機ex115根據具有CPU、ROM及RAM等的主控制部ex460之控制，進行通話及資料通訊等處理。通話時，將由聲音輸入部ex456收音的聲音訊號以聲音訊號處理部ex454轉換成數位聲音訊號，並以調變/解調部ex452施以展頻處理，再以發送/接收部ex451施以數位類比轉換處理及頻率轉換處理，將其結果之訊號透過天線ex450發送。又，將接收資料放大，施以頻率轉換處理及 類比數位轉換處理，以調變/解調部ex452進行解展頻處理，以聲音訊號處理部ex454轉換成類比聲音訊號後，將此訊號從聲音輸出部ex457輸出。資料通訊模式時，可根據主體部之操作部ex466等的操作，將文字、靜止圖或影像資料透過操作輸入控制部ex462而在主控制部ex460的控制下送出。進行同樣的發送、接收處理。在資料通訊模式時發送影像、靜止圖、或影像及聲音的情況下，影像訊號處理部ex455藉由上述各實施形態所示的動態圖像編碼方法，將保存於記憶體部ex467的影像訊號或從攝像機部ex465輸入的影像訊號進行壓縮編碼，並將已編碼的影像資料送出至多工/分離部ex453。聲音訊號處理部ex454將以攝像機部ex465拍攝影像或靜止圖時被聲音輸入部ex456收音到的聲音訊號進行編碼，並將已編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453將編碼完畢影像資料與編碼完畢聲音資料以預定的方式進行多工，再以調變/解調部(調變/解調電路部)ex452及發送/接收部ex451施以調變處理及轉換處理，透過天線ex450發送。預定的方式亦可事先決定。
在接收附加於電子郵件或聊天內容的影像、或接收連結到網頁的影像時等，為了解碼透過天線ex450接收到的多工資料，多工/分離部ex453藉由分離多工資料來將多工資料分成影像資料之位元流及聲音資料之位元流，且透過同步匯流排ex470將編碼後的影像資料供給至影像訊號處理部ex455，並且將編碼後的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來將影像訊號解碼，並透過顯示器控制部ex459，從顯示部ex458顯示連結到的動態圖像檔案所包含的影像或靜止圖。聲音訊號處理部ex454將聲音訊號解碼，從聲音輸出部ex457輸出聲音。由於即時串流越來越普及，因此依使用者的狀況，聲音的播放也有可能不合乎社會禮儀。因此，作為初始值，僅播放影像資料而不播放聲音訊號的構成較理想，亦可只在使用者進行點擊影像資料等操作時，才同步播放聲音。
又，在此雖以智慧型手機ex115為例加以說明，但作為終端，除了具有編碼器及解碼器雙方的發送接收型終端以外，亦可考慮僅具有編碼器的發送終端、及僅具有解碼器的接收終端這些其他的安裝形式。已說明在數位廣播用系統中接收或發送影像資料中多工有聲音資料之多工資料的情況。然而除了聲音資料以外，亦可將與影像相關聯的文字資料等多工於多工資料中。又，亦可接收或發送影像資料本身，而不是多工資料。
另，雖已說明包含CPU的主控制部ex460控制編碼或解碼處理的情況，但各種終端具備GPU的情況也很多。所以，亦可為如下之構成：藉由在CPU與GPU之間共通化的記憶體、或位址受管理以便共通地使用的記憶體，來活用GPU的性能，一次性地處理廣大的區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。特別是不利用CPU，而利用GPU，以圖片等為單位一次性地進行移動搜尋、解區塊濾波、SAO(Sample Adaptive Offset/樣本適應性偏移)及轉換/量化的處理時，是有效率的。
[產業上之可利用性]
本揭示可利用於例如電視機、數位視訊錄影機、汽車導航系統、行動電話、數位攝像機、數位攝影機、視訊會議系統或電子鏡等。
S901,S1301,S1701至S1711:步驟

Claims (2)

  1. 一種編碼裝置，具備：記憶體；及處理器，連接於前述記憶體，在第一編碼處理中，前述處理器在第一情形與第二情形的兩種情形下，使用第1量化矩陣來量化當前區塊，前述第一情形是前述處理器對前述當前區塊進行一次轉換，且前述處理器對前述當前區塊不進行二次轉換的情形，前述第二情形是前述處理器對前述當前區塊進行前述一次轉換及前述二次轉換之二種轉換的情形，在第二編碼處理中，前述處理器在第三情形下，使用第2量化矩陣來量化前述當前區塊，前述第三情形是前述處理器對前述當前區塊進行前述一次轉換，且前述處理器對前述當前區塊不進行前述二次轉換的情形，在第三編碼處理中，前述處理器在第四情形與第五情形的兩種情形下，不使用量化矩陣，而量化前述當前區塊，前述第四情形是對前述當前區塊略過前述一次轉換與前述二次轉換之兩種轉換的情形，前述第五情形是對前述當前區塊進行前述一次轉換及前述二次轉換之兩種轉換的情形。
  2. 一種解碼裝置，具備：記憶體；及處理器，連接於前述記憶體，在第一解碼處理中，前述處理器在第一情形與第二情形的兩種情形下，使用第1量化矩陣來反量化當前區塊，前述第一情形是前述處理器對前述當前區塊進行反一次轉換，且前述處理器對前述當前區塊不進行反二次轉換的情形，前述第二情形是前述處理器對前述當前區塊進行前述反一次轉換及前述反二次轉換之兩種反轉換的情形， 在第二解碼處理中，前述處理器在第三情形下，使用第2量化矩陣來反量化前述當前區塊，前述第三情形是前述處理器對前述當前區塊進行前述反一次轉換，且前述處理器對前述當前區塊不進行前述反二次轉換的情形，在第三解碼處理中，前述處理器在第四情形與第五情形的兩種情形下，不使用量化矩陣，而反量化前述當前區塊，前述第四情形是對前述當前區塊略過前述反一次轉換與前述反二次轉換之兩種反轉換的情形，前述第五情形是對前述當前區塊進行前述反一次轉換及前述反二次轉換之兩種反轉換的情形。
TW109113672A 2019-04-26 2020-04-23 編碼裝置及解碼裝置 TWI877165B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962839016P 2019-04-26 2019-04-26
US62/839,016 2019-04-26

Publications (2)

Publication Number Publication Date
TW202101987A TW202101987A (zh) 2021-01-01
TWI877165B true TWI877165B (zh) 2025-03-21

Family

ID=72941636

Family Applications (2)

Application Number Title Priority Date Filing Date
TW114107456A TW202527550A (zh) 2019-04-26 2020-04-23 編碼裝置、解碼裝置、及非暫時性記憶媒體
TW109113672A TWI877165B (zh) 2019-04-26 2020-04-23 編碼裝置及解碼裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW114107456A TW202527550A (zh) 2019-04-26 2020-04-23 編碼裝置、解碼裝置、及非暫時性記憶媒體

Country Status (3)

Country Link
US (1) US20220030241A1 (zh)
TW (2) TW202527550A (zh)
WO (1) WO2020218564A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336482A (zh) * 2019-08-20 2024-01-02 北京字节跳动网络技术有限公司 变换跳过模式的信令通知
US11792824B2 (en) * 2020-03-30 2023-10-17 Qualcomm Incorporated Multicast feedback and retransmission for transport block grouping

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063446A1 (en) * 2012-06-12 2015-03-05 Panasonic Intellectual Property Corporation Of America Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, and moving picture decoding apparatus
WO2019022099A1 (ja) * 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
EP3484151A1 (en) * 2017-11-13 2019-05-15 Thomson Licensing Method and apparatus for generating quantization matrices in video encoding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063446A1 (en) * 2012-06-12 2015-03-05 Panasonic Intellectual Property Corporation Of America Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, and moving picture decoding apparatus
WO2019022099A1 (ja) * 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Also Published As

Publication number Publication date
TW202101987A (zh) 2021-01-01
TW202527550A (zh) 2025-07-01
US20220030241A1 (en) 2022-01-27
WO2020218564A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
TWI868968B (zh) 編碼裝置及解碼裝置
TWI844624B (zh) 編碼裝置
CN113678443B (zh) 编码装置、解码装置、编码方法、解码方法和记录介质
CN112400317A (zh) 编码装置、解码装置、编码方法和解码方法
TWI866967B (zh) 編碼裝置
CN113056909A (zh) 编码装置、解码装置、编码方法和解码方法
CN118042117A (zh) 编码装置、解码装置、编码方法、解码方法和计算机可读取介质
TW202415073A (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
TW202431854A (zh) 編碼裝置、解碼裝置及非暫時性電腦可讀取之媒體
CN112292857A (zh) 编码装置、解码装置、编码方法和解码方法
JP7004835B2 (ja) 符号化装置、復号装置、符号化方法、および復号方法
TWI852987B (zh) 編碼裝置及解碼裝置
TWI850330B (zh) 編碼裝置及解碼裝置
TWI850328B (zh) 編碼裝置及解碼裝置
TWI877165B (zh) 編碼裝置及解碼裝置
CN113475066B (zh) 编码装置、解码装置、编码方法和解码方法
CN118694940A (zh) 编码方法、解码方法以及生成比特流的方法
TWI846782B (zh) 編碼裝置及解碼裝置