WO2009011442A1

WO2009011442A1 - 画像処理方法、画像処理装置及びコンピュータ読取り可能な記録媒体

Info

Publication number: WO2009011442A1
Application number: PCT/JP2008/063089
Authority: WO
Inventors: Eiji Furukawa; Masatoshi Okutomi; Masayuki Tanaka
Original assignee: Olympus Corp; Tokyo Institute of Technology NUC
Current assignee: Olympus Corp; Tokyo Institute of Technology NUC
Priority date: 2007-07-19
Filing date: 2008-07-15
Publication date: 2009-01-22
Anticipated expiration: 2010-01-19
Also published as: JP5098081B2; US8964843B2; US20100183074A1; JP2009027443A

Abstract

画像処理方法は、基準フレームおよび参照フレームを選択するフレーム選択ステップと、参照フレームと基準フレームとの間の画像変位量を算出する画像変位量算出ステップと、参照フレームの符号化の種類および符号化された動画像データの動き情報のうち少なくとも一方を用いて重み係数を生成する重み係数生成ステップと、画像変位量算出ステップで算出された画像変位量と、重み係数生成ステップで生成された重み係数を用いて基準フレームを画質改善する画質改善ステップと、を有する。

Description

明細書画 iw^法、画^0^^¾ぴコンピュータり可能な媒体癒分野

本努明は、画像処理に関し、特に動き情報を持つ符号化された動画像データから得られるフレーム画像の画質を改善することのできる画 ί繞理に関する。背景技術

従来の撮像装置には、撮像した画像を高角? i s化する際に複数の参照画像を重み付けすることで画像の高^^化を行うものがあった（JP2006— 140886 Aの第 1頁、図 1、図 2) 。この撮難置では、基箱像から時間的に近い参照画像ほど大きい重み係数を付与し、 ¾¾S像から時間的に遠い参照画像ほど小さい重み係数を付与するようにしていた。発明の開示

し力し、例えば MP EG (Moving Picture Expert Group) や H. 26 x (H. 26 1、 H. 263、 H. 264等）のようにフレーム毎に符号化の觀が異なる複数の復号フレーム（復号画像）を位置合わせして画質改 ^高角? i^®像の生成を行う^ \ 従来の撮像装置（JP2006— 140886 Α) のような時間関係のみを考慮した重み付けを行うと復号フレームの画質にばらつきがあるため、低画質のフレーム画像に対して大きな重み係数を付加し、高画質のフレーム画像に対して小さな重み係数を付加してしまうことがあり、適切な重み付けができないという問題点があった。

また、 M P E Gや H. 2 6 Xのような動画像データの複数の復号フレームと動画像データに!^されている動き情報（動きベクトル）を用いて参照フレームと難フレームの位置合わせを行って高角? iti ®像を^^するような^^、参照フレームと »フレームとの間の画像変位量は、動画像データに記録されている動きベクトルを用いて参照フレームから基準フレームまで追従を行レヽ、この追従に棚した動きべクトルを累勸 Π算することによって求めることができる。このようにして求められた画 it¾位量は累算回数が多レ、ほと ^差が大きいと考えられるが、 MP EG等の符号化された動画像データでは、追従における累積回数と基準フレームまでの時間的は必ずしも一致しない。そのため、従来の撮 ¾置 ( J P 2 0 0 6 - 1 4 0 8 8 6 A) の技術を利用すると、適切な重み付けができないという問題点があつた。

本発明のある態様によれば、動き' lf を持つ符号化された動画像データを処理する画像処 ffi^去であって、符号化された動画像データを復号化して得られるフレーム画像の中から基準フレームおよび参照フレームを選択するフレーム選択ステップと、参照フレームと基準フレムとの間の画像変位量を算出する画像変位量算出ステップと、参照フレームの符号化の誦および符号化された動画像データの動き' If#のうち少なくとも一方を用レヽて重み係数を生^ る重み係ステップと、画像変位量算出ステップで算出された画像変位量と、重み係» ^ステップで ^^された重み係数を用いて基準フレームを画質改善する画質改善ステップと、を有する画«¾ ^法がされる。

本発明の別の態様によれば、動き 'ffl(¾を持つ符号化された動画像データを用いる画脑 a¾置であって、嫌夺号化された動画像データを復号化して得られるフレーム画像の中から ¾2pフレムおよび参照フレームを選択するフレーム 51 ^部と、 |ίί|Β 照フレームと |ίί|5¾ ^フレームとの間の画 ίβί立量を算出する画像変位量算出部と、 Ι ΐΒ 照フレームの符号化の觀およひ Wfisr夺号化された動画像データの動きのうち少なくとも一方を用いて、藤己参照フレームの各画素に対して重み係数を生針る重み係 ½成部と、鎌己画像変位量算出部によって算出された画 ί象変位量と、 Ml己重み係^^ β¾¾によって^ ¾された重み係数を用いて tfifflS準フレームを画質改善する画質改理部と、を備える画像処雌置がされる。

本発明のさらに別の嫌によれば、動き' ftmを持つ符号化された動画像データを用いる画象処理をコンピュータに実させるコンピュータプログラムを »したコンピュータ読み取り可能な言 5^媒体であって、 t&f己コンピュータプログラムは、籠夺号ィ匕された動画像データを復号化して得られるフレーム画像の中から »フレームおよび参照フレームを選択するフレーム選択ステップと、 ΙΐΠΕ 照フレームと ttifSS準フレームとの間の画像変位量を算出する画像変位量算出ステップと、 ΐ 照フレームの符号化の觀およひ mia 符号化された動画像データの動き' w#のうち少なくとも一方を用いて重み係数を生^ る重み係ステップと、 tiilB画 i ¾位量算出ステップで算出された画像変位量と、嫌己重み係 » ^ステップで生成された重み係数を用いて tfiias ^フレームを画質改善する画質改善ステップと、を嫌己コンピュータに紫亍させる、コンピュータ読み取り可畫な言媒体が^^される。図面の簡単な説明

図 1は、本発明の^ ί形態 1に係る画 ί»¾^法をする画置の構成を示すプロック図である。

図 2は、 »形態 1に係る画像処 S^†去で行われる処理を示すフローチヤ一トである。図 3は、 MP EG 4の復号ィブロックの構成を示すプロック図である。

図 4は、本実施形態のフレーム指定にぉ、て者が基準フレームおよび参照フレームを指定する際の指定を示した図である。

図 5は、本 »形態の位置合わせ処理を行うための画像変位體出麵の概要を示した図である。

図 6は、図 2の画 ί象変位出処理の内容を示すフローチャートである。

図 7は、図 2の画位量算出の内容を示すフ口一チヤ一トである。

図 8は、爾練鍵にぉヽて画 ί艇位量を f Tる雄を示した図である。図 9は、図 6における処理 (1 ) 乃至 (9) の； ¾！理内容を示した図である。

図 1 0 A、 1 0 Bは、動き補償時の予測方向と、動き補償によつて各フレーム力 S持つ動きべクトルの方向を例示する図である。

図 1 1は、各フレーム符号化タィプの各マクロブロック符号化モードと各モードにおヽてそのマクロブロックカ S持つ動きべクトルを示す図である。

図 1 2は、画 ίβί立出処理における追従の例を示す図である。

図 1 3は、画 ί練位量算出麵における追従の他の例を示す図である。

図 1 4 A— 1 4 Cは、図 1 3の例において ¾ ^画素に対応する画素およひ！!]きべクトルを探す^去を示す図である。

図 1 5は、図 2の重み係数^ ¾処理の内容を説明するための図である。

図 1 6は、位置合わせ処理部で行われる位置合わせ処理と高角? « ίί 化部で行われる高角科讓ヒ達のアルゴリズムを示すフローチヤ一トである。

図 1 7は、本発明の^形態 2にお!/、て画 ί«位量算出処理で行われる画像変位量の算出方法を示したフローチヤ一トである。図 1 8は、画像変ィ立量算出の S 3 0 7において求められた類似度曲線の例を示す図である。発明をるための最良の开態

以下、図面を参照しながら本発明の ¾¾开態 1に係る画 ί»¾¾·法およひ Βίί»»置について説明する。

図 1は、本発明の態 1に係る画 i M^法を難する画像処»置の構成を示すブロック図である。図 1に示す！H W^置 1は、動き情報付き動画像データ力 s入力される動画 i A力部 1 1、動画像復 2、画像変位量算出部 1 3、 ^¾ からのフレーム指定が入力されるフレーム選択部 1 5、位置合わせ処理部 1 6、高解 i S化処理部 1 8、メモリ 1 9、重み係成咅! 32 0、およひ Τϋί象表示眘 1を備えており、ィ立置合わせ処理部 1 6と高角科 i 化処理部 1 8は画質改 «部 2 2として機倉する。なお画像表示部 2 1は、爾^] 置 1と一体にしてもよく、另 IJ体として設けるようにしてもよレヽ。なお本難形態では、動き' Iff g付き動画像データ ¾|¾に雜しているものとし、フレーム画像間の動き情報（動きベクトル ft報）を持つあらゆる動画像データのことを意味するものとする。例えば、難一般的な動き' lf 付き動画像データとして、 MP EG (Moving Picture Expert Group) 1、 MP EG 2. MP EG 4や、 H. 2 6 1、 H. 2 6 3、 H. 2 6 4などの符号化された動画像データがある。

動き 'lt¾付き動画像データ力 S動爾 A力部 1 1に入力された後、動画像復^^ 1 2で連続するフレーム画像を復号化しメモリ 1 9に保存する。ここで、例えば: MP EGの、動画像復 2はフレーム画像の復号化をすると共にフレーム画像間の動きべクトスレ[# 報を複号化し変換することで動きべクトルを抽出する。 MP EGに識されている動きべクトノレ [f¾は、となるブロック（後に説明する）の動きベクトルと難するブロックの動きべクトルの値を Ιϊ»号化しているため、動きべクトノレ [f報を復号化した後に離するプロックの動きべクトルに^ H直を加算することで変換を行い、となるプロックの動きべクトルを抽出する。また動画像復^ 1 1 2は、後财る図 3の MP EG 4の復に対応する。

保存された復号化データは、画像表示部 2 1で動画表示することができ、使用者は画像表示部 2 1で表示された画像を閲覧し、例えば解讓匕などの画質改 »®を行いたい基準フレームと画質改»¾に使用する参照フレームを指定することが可言 gである。者からのフレーム指定により、フレーム選択部 1 5は画像変位量算出部 1 3 定フレーム情報を出力する。画 i ¾位量算出部 1 3は、例えば ¾J画像復^ ¾ 1 2によって抽出された動きべクトルをメモリ 1 9経由又は動画像復 |U 2経由で取得し、その動きべクトルを累算することによりフレーム指定された各参照フレームから,フレームまでの画麵鍾を算出する。

動画像復^ ¾ 1 2で復号化された各フレーム画像の符号化の觀（後に説明する）と、画像変位量算出部 1 3における動きべクトルの累働ロ算回数は、重み係 152 0に入力され、重み係 ¾ ^部 2 0はこれらのデータを用レ、て高角？ i lS化処理部 1 8へ出力する重み係数を^ Tる。

画像変位量算出部 1 3で算出された画像変位量は位置合わせ部 1 6に入力され、この画像変位量を用いて ¾ ^フレームと各参照フレームの位 g¾f応を画素ごとに求める。なお位置合わせ処理部 1 6は、メモリ 1 9に保存されている復号化されたフレーム画像へのアクセスが自由にできるようになっている。位応力 S求められた基準フレームと各参照フレームのデータは、高麟嫉化鍵部 1 8へ入力される。高角 ff應匕処理部 1 8は、位 g¾ "応が求められた ¾ ^フレームと各参照フレームのデータと重み係 ¾ ^部 2 0で^ ¾ された重み係数を用いて画質改»¾を行う。本 ¾形態では、画質改 »理として高解 ί讓匕麵を行ヽ、動画像復^ ¾ 1 2で復号化されたフレーム画像よりも角? (鍵の高レ、高解 «Ρί像をして、この高解鍵画像をメモリ 1 9へ保存する。なお高角? ί維化処理部 1 8で用いる重み係数のデータは、重み係» ^部 2 0から纖高角滅化纏部 1 8 に入力するようにしてもよいし、メモリ 1 9を介して高解 «化処理部 1 8に入力するようにしてもよい。メモリ 1 9に ί呆存された高角科画像は、画像表示部 2 1に表示すること力 Sでき、 ^ffi者は画像表示部 2 1で高角? iti ®像を、することができる。

図 2は、本魏形態に係る爾狭 ¾¾¾で行われる麵を示すフローチヤ一トである。本実施形態に係る符号化された動画像データの持つ動き情報を利用する画像処¾ ^法では、ま Τ»き' f餽付き動画像データ入力処理 (s i o i ) により動画像データの入力を行う。次に、入力した動画像データを動画像データ復号麵 (S 1 0 2) により動きべクトルと镜するフレーム画像 ^号化する。それから、麵者のフレーム指定に基づいてフレーム選 i M (S I 0 3 ) により、フレーム画像中の高角？ (嫉化の ¾f ^となる基準フレームと高角 I脑匕に翻する参照フレームを遠尺する。

そして画像変位量算出処理 (S 1 0 4) において、 S 1 0 2の動画 ί象データ復号処理で復号化された動きべクトルを用いて 1または複数のフレーム画像間を画素ごとに追ることにより参照フレームと基準フレームとの間の画像変位量を算出した後、重み係成処理 (S 1 0 5) において、参照フレームの各画素に対して重み係数をする。このとき、動画像データ復号処理 (S 1 0 2) で復号化された各参照フレームの符号化の觀と、画像変位纏出処理 (S 1 0 4) における動きべクトルの累勸ロ算回数を用いて重み係数を生^ Tる。それから爾 β位量算出処理 (S 1 0 4) において算出された画 «位量を用いて £^フレームと参照フレームの位置合わせ (S I 0 6) を行った後、重み係#«鍵（S 1 0 5) において生成された重み係数を用いて高解 ί纏匕処理（S 1 0 7) を行い、高角 ?βΐϋ像を^ Τる。

図 3は、 MP EG 4の復号化処理プロックの構成を示すプロック図である。本難形態におレヽて図 1の動画像復 1 2は、図 3に示す MP EG 4の復号化 «プロックにおける復 1 0 0と対応する。また動き' 付き動画像データは、図 3の符号化信号 1 0 8 と対応する。復"^ 1 0 0に入力された符号化信号 1 0 8は、長複号化ブロック 1 0 1で復号化され、象データは逆量子化ブロック 1 0 2へ、動き情報データは動きべクトル復号化ブロック 1 0 5へそれぞれ出力される。その後、映像データは逆 D C T (Discrete Cosine Transfo )ブロック 1 0 3で逆 D C丁される。動きべクトル復号化ブロック 1 0 5で復号された動きべクトルは動き補償ブロック 1 0 6でメモリ 1 0 7に保存されて、る前のフレーム画像の纖プロックに対し動き補償し、逆 D C Tされた象データに加算することで復号画像 1 0 9を^ Tる。

図 4は、本¾ ^態のフレーム指定にぉレ、て棚者が基準フレームおよび参照フレームを指定する際の指 ^去を示した図である。図 4に示すように、基準フレームおよ照フレームを指定するための表示画面 2 0 1において、翻者は復号画像 2 0 2の表示を復号画像表示フレーム切り替えつまみ 2 0 3を動かしながら確、し、高角 ?{維化したい基準フレームのフレーム番号を指定フレーム設定タブ 2 0 4の基準フレーム設定タブ 2 0 5 に、高解艇化に ^ffiする参照フレームのフレーム番号を^ ϋフレーム設定タブ 2 0 6に設定することで ¾ ^フレームおよ Ό渗照フレームを指定できる。

図 5は、本実施形態の位置合わせ処理 (S 1 0 6 ) を行うための画像変位量算出処理 (S I 04) の概要を示した図である。図 5に示すように、使用者のフレーム指定に基づいてフレーム (SI 03) で尺された £2pフレームと使用する各参照フレーム力 S持つ動きベクトル（図 5の MV1から MV9) を方向を考慮して累¾¾ロ算することで各参照フレームと基準フレームとの間の画像変位量（累勸ロ算された動きベクトル）を求め、その画像変位量で各参照フレームを変形することで基準フレームと各参照フレームの位置合わせができる。これらの画 ί«位量を求める画 ί»ί立量算出処理を、フレーム画像の各画素に対して行う。なお、これとは逆に、画像変位量算出纏で求めた画 ί錢位量の方向を全て反転した値で挪フレームを変形することで各参照フレームに対して位置合わせすることもできる。このように、各フレーム画像が持つ動きベクトルを用いて 1または複数のフレーム画像間を画素ごとに追¾1~ることにより、あるフレーム画像から他のフレーム画像への画像変位量を求めて、複数のフレーム画像を位置合わることができる。図 6および図 7は、図 2の画像変位量算出 (S 104) の内容を示すフローチヤ一トである。なお図 6における β (1) 乃至 (9) の処理内容は、図 9に示されている。また以下の説明において、 Iとは「Iフレーム（Intra- coded Frame)/ I -P i c t u r e / I -VOP (Intra— coded Video Object Plane) 」、 Pとは「Pフレーム（Predicted Frame) /P-P i c t u r e/P-VOP (Predicted Video Object Plane) 」、 Bとは「Bフレーム（Bidirectional predicted Frame) /B - P i c t u r e/B-VOP (Bidirectional predicted Video Object Plane) 」を示すものとし、フレーム画像のことを単にフレームと呼ぶものとする。なお、 Iフレーム（I—VOP)、 Pフレーム（P -VOP) および Bフレーム（B— VOP) については後に説明する。以下、画像変位量算出 « (S 104) について説明する。

画像変位量算出処理 (S 104) における画像変位量の算出では、フレーム選択処理 (S I 03) で選択された基準フレームと参照フレームのうち、 ¾ ^フレーム以外のフレーム分（参照フレーム分）のループ（S01、 S 25) と各参照フレーム内全画素分のループ（SO 2、 S 24) で麵される。

ノ]^プ内処理として、ま - ¾^フレーム . ¾ (^画素設定 ^¾ (SO 3) で元フレームとフレームを参照フレームに、元 * ^画素と画素を参照フレーム内の ^画素に設定する。なおここで驗フレームとは、上記のように動きベクトルを用いて途中まで追従した画素（追 ¾tfjの最初の画素を含む）がその時点で属しているフレームのことであり、元 ¾ ^フレームとは、それ以前に追従中の画素が属してレヽたフレームのことである。また画素とは、途中まで追従したその時点の画素（追の最初の画素を含む）のことであり、画素とは、それ以前の追従中の画素のことである。

フレーム .対象画素設定処理 (SO 3) を行った後、対象フレームと基準フレームとの前後（時間の前後）関係を判定 (SO 4) し、麵 (1) (SO 5、 SI 2) で基準フレームの符号化タイプと処理 (2) (SO 6、 SO 7、 SI 3、 S 14) でフレームの化タイプを判別する。

その後、各符号化タイプの組み合わせを考慮して処理（3) 乃至（9) (S08、 S0 9、 S10、 S l l、 SI 5、 SI 6、 S 17、 S 18) で判別 '選讓理を行う。図 9 に示すように « (3) 乃至 (9) では動きベクトルを用いて ¾ ^フレームから基準フレムへ追従するために、対象画素に対応する画素を探索し所定の範囲内で対象画素に対応する画素のするフレームが見つかった^には、追従先の画素としてその画素とその画素力 S被するフレームを遨尺する。なお、麵（3) 乃至（9) において纖画素に対応する画素が見つかった:^ (YES) には、追従可倉 gな動きべクトノレが^ &することとなる。処理（3) 乃至（9) (SO 8、 SO 9、 S 10、 S 11、 S 15、 S 16、 S 17、

SI 8) で、通画素に対応する画素および対応するフレーム力 S選択されない（NO) 場合には、画像変位量なし（図 7の S 26) として保存 (S23) し、参照フレーム内全画素分ノプエンド（S24) へ進む。

処理 (3) 乃至 (9) (S08、 S09、 S 10、 Sl l、 S 15、 S 16、 S17、 S I 8) で驗画素に対応する画素および対応するフレーム力 S選択される（YES) には、画 ί艘 ίϊΛΜΙΜ (S 19) で動きべクトルを方向を考慮して累働ロ算することにより画像変 ίί*を Hf Tる。

図 8は、爾 β位量 Mff処理（S19) において画像変位量を ffTる雄を示した図である。画像変位量を: Hffする方法には 2觀あり、図 8における Hff;½feAは、邀尺されたフレーム内の画素に対応する画素から ¾ フレームの画素への動きべクトルを方向を考慮して累働 Π算するものである。図 8の ff½feBは、 ¾ ^フレームの画素から選択されたフレーム内の ¾^画素に対応する画素への動きべクトルを方向を考慮して累働ロ算するものである。 Hf她の選択は、図 8に示すように舰フレーム、選択されたフレームの符号化タイプと纖フレーム、挪フレームとの前後（時間の繊）関係カゝら決定される。

その後、選択されたフレームと基準フレームの比較処理 (S20) を行い、一致していれば参照フレームの画素からフレームの画素に対応する画素までの画像変位量が求められたことになるのでその画像変位量を保存 (S23) し、参照フレーム内全画素分ループエンド（S24) へ進む。一致していなければ、対象フレーム.対象画素更新処理 (S21) において対象フレームを処理 (3) 乃至 (9) で選択されたフレームに更新し、 ¾ ^画素を処理 (3) 乃至 (9) で潘尺された画素に: Effして、フレームと基準フレームの前後関係判定処理 (SO 4) へ戻る。これらのノ^"プ内鍵を各参照フレーム内全画素分のノプ（SO 2、 S 24) と参照フレーム分のノプ（S01、 S 25) とで »Τることにより画 «位量算出 « (S 104) を終了する。

以上の画像変位量算出処理 (S 104) の詳細を、いくつかのパターンを例に説明する。まずその説明の ft ^として、 MP EG 4によるフレームの符号化タイプと各符号化タィプ内のマク口プロック符号化タイプにつレヽて説明する。

MPEG4のフレームには、上記のように I一 VOP、 P— VOP、 B— VOPの 3種類がある。 I一 VOPはイントラ符号化と呼び、 I一 VOP自体の符号化時には、フレーム内で夺号化が結するため他のフレームとの予測を必要としなレ、。 P— VO Pと B _ V OPは、インター符号ィ匕と呼び、 P—VOP自体の符号化時には、前方の I一 VOPまたは P— VOPから予測符号化をする。 B— VOP自体の符号化時には、双方向（前後方向）の I— VOPまたは P—VOPから予測符号化をする。

図 10A、 10Bは、動き補償時の予測方向と、動き補償によって各フレームが持つ

(各フレーム内に符号化記録される）動きベクトルの方向（どのフレームに ¾~ る動きべタトルか）を例示する図である。なお図 10 Aは、動き補償時の予測方向を示しており、図 10 Bは、図 10 Aの例にぉレ、て各フレームが持つ動きべクトルの方向を示して、る。また図 10Bの矢印は、的に図 1 OAの矢印と逆向きとなっている。

例えば、図 10 Aの左から 4番目の I -VO Pは他のフレーム予測には麵されるが I -VO P自体の符号化に他のフレームからの予測は必要としなレ、。つまり図 10 Bに示すように、左から 4番目の I一 VOPからの動きベクトルは i¾しないので 11一 VOP自体は動きべクトルを持たない。

また図 1 OAの左から 7番目の P— VOPは左から 4番目の I— VOPから予測される。つまり図 1 OBに示すように、左から 7番目の P— VOPからの動きべクトル ¾fcから 4番目の I一 VOPへの動きべクトルがするので P— VOP自体は動きべクトルを持つ。

さらに図 1 OAの左から 5番目の B— VOPf^feから 4番目の I一 VOPと左から 7番目の P— VOPから予測される。つまり図 10Bに示すように左から 5番目の B— VOP からの動きべクトル ttfeから 4番目の I一 VOPと左から 7番目の P— VOPへの動きべクトルがするので; B—VOP自体は動きべクトルを持つ。

しかし、 MP E G 4などの符号化はフレーム全体を一度に符号化するわけではなくフレ一ム内を複数のマク口プロックに分けて符号ィ匕をする。この際、各マクロブロックの符号化にはいくつカゝのモードが設けられているため、必ずしも上記のような方向への動きべクトルを持つとは限らなレ、。

図 11は、各フレーム符号化タイプの各マク口プロック符号化モードと各モ"ドにおレヽてそのマクロプロック; ^持つ動きべクトルを示す図である。図 11に示すように、 I一 V OPのマクロプロック符号化タイプは I NTRA (+Q) モードのみで 16X16ピクセルのフレーム内符号化を行うので動きべクトルはしなレヽ。

P— VOPのマクロブロック符号化タイプは I NTRA (+Q) 、 INTER (+ Q) 、 I NTER4V, NOT CODEDの 4種類のモードがある。 INTER (+ Q) は 16 X 16ピクセルのフレーム内符号化を行うので動きべクトルは；! しなレ、。 I NTER (+Q) は 16X 16ピクセルの前方向予測符号化を行うので前予測フレームへの動きベクトルを 1つ持つ。 11^丁£1 4¥は16 16ピクセルを4分割した8 8ピクセルごとに前方向予測符号化を行うので前予測フレームへの動きべクトルを 4つ持つ。 NOT CODEDは前予測フレームとの散が小さいため符号化せず、前予測フレームの同 f立置におけるマク口プロックの画像データをそのまま使用するので、実際には動きベタトノレは持たないが、本^^態においては前予測フレームへの動きべクトル値 "0" を 1つ持つと考えることができる。

B— VO Pのマクロブロック符号化タイプは I NTE R P O LAT E、 F ORWAR D、 BACKWARD, D I RE CTの 4種類のモードがある。 I NTERP O LATE は 1 6 X 1 6ピクセルの双方向予測符号化を行うので前後予測フレームへの動きべクトルをそれぞれ 1つずつ持つ。 FORWARDは 1 6 X 1 6ピクセルの前方向予測符号化を行うので前予測フレームへの動きべクトルを 1つ持つ。 BACKWARDは 1 6 X 1 6ピクセルの後方向予測符号化を行うので後予測フレームへの動きべクトルを 1つ持つ。 D I R E CTは 1 6 X 1 6ピクセルを 4分割した 8 X 8ピクセルごとに前後方向予測符号化を行うので前後予測フレームへの動きべクトルをそれぞれ 4つずつ持つ。

以上の前提を元に画 ί象変位量算出処理 (S 1 0 4) の詳細を、いくつかのパターンを例に図 1 2乃至図 1 4 Cを用ヽて説明する。

図 1 2は、画像変位量算出麵 (S 1 0 4) における追従の例を示す図である。図 1 2 の例において、 1フレーム目は I一 VO P、 2フレーム目と 3フレーム目は P— VOPであり、基準フレームを 1フレーム目、参照フレームを 3フレーム目とする。 3フレーム目の参照フレーム内の画素を斜線の画素として、まずその画素力 S含まれるマク口プロックの持つ動きベクトルを探す。この例の:^、マクロブロック符号化タイプは I NT ERでこのマクロプロックが持つ動きべクトルは MV 1なので対象画素の {立置を MV 1を使って移動する。移動した画素の位置を 2フレーム目の P—VO Pのフレーム内の位置に対応させ、対応した 2フレーム目の¾ ^画素の位置に対して同様に舰画素力 S含まれるマク口プロックが持つ動きべクトルを探す。この例の：^、マクロブロック符号ィ匕タイプは I NTER 4 Vでこのマクロプロック力 S持つ動きべクトルは 4っする力画素が含まれている 8 X 8ピクセルのプロックが持つ動きべクトル ¾MV 4なので追従中の纖画素の位置をさらに MV 4を使って移 »ΤΤる。そして移動した画素の ί立置を 1フレーム目の I一 VO Ρのフレーム内の位置に対応させる。この例の ¾\ 1フレーム目が基準フレームなので、参照フレームの象画素は基準フレームまで追従できたことになり、追従時に使用した初期値 0と MV 1と MV 4を累働 tl算することで参照フレームの文豫画素から »フレームの画素に対応する画素までの歸«位量を求めることができる。

図 1 3は、画像変位量算出処理 (S 1 0 4) における追従の他の例を示す図である。図 1 3の例において、 1フレーム目は I—VO P、 2フレーム目と 3フレーム目は P— VO Pとし、 ¾ ^フレームを 3フレーム目、参照フレームを 1フレーム目とする。 1フレーム目の参照フレーム内の * ^画素を斜線の画素として、まず 1フレーム目への動きべクトルを持つ 2フレーム目の P— V O Pの全画素から 1フレーム目の^画素に対応する画素を探す。対応する画素が見つかったら、その画素力 S含まれる 2フレーム目のマクロプロックが持つ動きベクトル（この例の^ " I NTER 4 Vで MV 3) の方向を反転した一 MV 3 で画素の位置を移動し、移動した画素の位置を 2フレーム目の P—VO Pのフレーム内の位置に対応させ、対応した 2フレーム目の ¾ ^画素の位置に対して同様に 3フレーム目の Ρ— VO Ρの全画素から 2フレーム目の画素に対応する画素を探す。対応する画素が見つかったらその画素力 S含まれる 3フレーム目のマクロブロックが持つ動きべクトル (この例の^ NTERで MV 5) の方向を反転した一 MV 5での位置を移動し、移動した画素の位置を 3フレーム目の Ρ— VO Ρのフレーム内の位置に対応させる。この例の;^、 3フレーム目が基準フレームなので、参照フレームの刘象画素は基準フレームまで追従できたことになり、追従時に TOした初期値 0と一 MV 3と一MV 5を累積加算することで参照フレームの画素からフレームの画素に対応する画素までの画 ίβ位量を求めることができる。

図 1 4 Α— 1 4 Cは、図 1 3の例におレヽて画素に対応する画素およひ ¾きべクトルを探す方法を示す図である。なお図 1 4 A— 1 4 Cでは、図 1 3のような例において 1フレーム目への動きべクトルを持つ 2フレーム目の P— VO Pの全画素から 1フレーム目の画素に対応する画素を探す方¾^、 3フレーム目の P— V O Pの全画素から 2フレーム目の ¾ ^画素に対応する画素を探す;^去にっヽて示している。図 1 4 Aの例では、左から 4番目の参照フレーム（I—VO P) の¾ ^画素力 S左から 7番目の挪フレーム（P— VO P) のどの画素と対応する力 \ およびその画素力 s含まれるマクロブロックが持つ動きベクトル（図 1 4の MV 1 ) を探す。

図 1 4 Bのように、まず基準フレーム（P) の全てのマクロプロック（全画素）を各マクロプロック（全画素）カ持つ動きベクトルで位置を移動する。移動した結果が図 1 4 B の左図である。この位靜動された画像領域内にぉレ、て、参照フレームの通画素がどの位置にあたるかをマークし、その位置にあるフレームを移動させた画素が対象画素に対応する画素となる。図 1 4 Bの例では、マクロブ口ック 2の中のある一つの画素力画素に対応する画素となるため、元のマクロブロック 2内の対応する画素とマクロプロック 2の動きべクトルが選択される。このようにして^ If素と対応する画素を探すことができる。

図 1 4 Cは、 ^画素をマークした位置に基準フレームを移動した画素力 S複数 &するであり、どれを凝尺してもよレヽ。例えば図 1 4 Cの例では、纖画素をマークした位置がマク口プロック 1と 6のある画素に対応しているが、マクロプロック 1の方が中心に近いのでマクロブ口ック 1内の対応する画素を藤尺するようにしてもよい。また処理の都合上、ラスタスキャン順に処理を行いフラグを上書きしているようなには、順番の遅いマクロブロック 6を尺するようにしてもよい。

図 15は、図 2の重み係処理 (S 105) の内容を説明するための図である。図 15の例では 7つのフレーム画像があり、一番左の I— VOPを基準フレーム、右から 3 番目の B— VOPを参照フレームとして、右から 3番目の参照フレーム内の画素について重み係数を生成するを示している。図 15の例では、繊画素が含まれる参照フレームの符号化の,は B—VOPである。また、参照フレーム内の ^画素から,フレームの刘象画素に対応する画素までの画像変位量を図 6および図 7に示す画像変位量算出処理（S104) によって算出した場合、動きベクトルの累働ロ算回数が 3回であったとする。

本!^形態では、 ¾ ^画素力含まれる参照フレームの符号化の觀を麵して重み係数 ce_kを^^する。このとき、まず符号化された動画像データ全体が ififfiilか高縮かを判断する。そして重み係数 a_kを、 #¾縮時は「I—VOP>P—VOP>B—VOP」の大小関係になるように、高圧縮時は「P—VOP>I— VOP≥B— VOP」または「P 一 VOP>B— VOP≥I_VOP」の大小関係になるように決定する。これは符号化された動画像データ力 ©£縮のときは I一 VOPの画質力 S—番高く、高 j¾のときは P— V OPの画質が一番高いためである。 ®£縮か高 j¾縮かを判るには、例えば、符号化された動画像データのビットレートが閾値より大きいは閾値以下のは高圧縮と判断してもよいし、符号化された動画像デタの縮率（符号化された動画像データの符¾ /動画像データが非謹時の符の値が閾値より大きレヽは縮、閾値以下の齢は高 IB縮と判断してもよい。

また本難形態では、画像変位量算出処理 (S 104) における動きべクトルの累働ロ算回数を^ jiして重み係数 jを^ る。このとき重み係数 jを、画 ίβί立量算出処理（S 104) における動きべクトルの累働 Π算回数が少ないほど大きくなるように、画像変算出処理 (S104) における動きベクトルの累徹ロ算回数が多いほど小さくなるように決定する。

なお、重み係数 a _kは参照フレームの符号化のによって決まるため参照フレームごとに決定され、重み係数 j3； jは参照フレーム内の画素によって決まるため参照フレームの各画素ごとに決定されることになる。重み係 ½成処理（S 105) で生成された重み係数および重み係数 uは、以下の高角 K讓匕達 (S107) で^ fflされる。図 16は、 ί立置合わせ処理き 16で、行われる立置合わせ処理 (S 106) と高角科纏匕処理部 18で行われる高解 ft ヒ鍾 (S 107) のァルゴリズムを示すフ口一チヤ一トである。以下、図 16に示すアルゴリズムの流れに添って位置合わせ処理 (S 106) おょぴ麵を用レヽた高解缠匕麵 (S107) の説明を行う。

まず、基準フレームの画像データと参照フレームの画像データを読み込む（S 20 1) 。なお参照フレームは、フレーム指定おょぴフレーム選 iR« (SI 03) において複縦夂を藤するようにし、 S 201におヽて複»：分の参照フレームの画象データを読み込むのが望ましい。次に、講フレームを翻？ ί簡匕処理のターゲット画像として、このターゲット画像に対レィリニア捕間やバイキュービック補間等の補^ «を行って初期画像 ζ₀を作成する（S202) 。なおこの補間処理は、 ^により省略することができる。それから、画像変位量算出処理 (S104) で算出された画像変錄を用いて、タ一ゲット画像と各参照フレームの位 g¾ "応を画素ごとに算出する（S203)。

次に、光学伝達関数（OTF、 Op t i c a 1 Tr an s f e r Func t i o n)、 CCDアパーチャ（CCD開口）等の撮像特性を考慮した点広がり関数（PS F、 P o i n t S r e a d F u n c t i o n)を求める（S 204) 。この P S Fは、以下の式（1) における行列 A_k (i、反映され、例えば簡易的に Ga u s s関数を用いることができる。それから、 S 203で算出されたターゲット画像と各参照フレームの位觀応と S 204で求められた P S Fを用いて、以下の式 ( 1 ) で表される爾面関数 f (z) の最小化を行レ、（S 205) 、 f (z) カ最小化されたかどうかを判定する（S 2 06) 。

式（1) において、 kは参照フレームの ϋ@υ番号、 iと jは参照フレーム内における対象画素の座標、 a_kは参照フレームの符号化のを用いて生成した重み係数、は画像変位量算出 β (S 104) における動きべクトルの累¾¾口算回数を用いて «した重み係数、 y_k (i、 j ) は参照フレーム（翻像度画像）の画像データを表す列べタトル、 zはターゲット画像を高角? «化した高角 if ei像の画像データを表す列べクトル、

A_k (i、 j ) はターゲット画像と各参照フレームの位応、光学系の点像分布関数、サンプリング開口によるぼけ、カラーモザイクフィルタ（CFA) による各色コンポネント等 ¾ ^めた撮像システムの特をあらわす画像変衡？列である。また、 g (z) は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、 λは重み係数である。式 (1) で表される諮面関数 f (z) の最小化には、例えば聽降下法を用いることができる。；降下法を用いる齢には、 f (z) を zの各嫌で偏微分した値を計算して、それらの値を要素とするベクトルを^^する。そして以下の式（2) に示すように、偏微分した値を要素とするベタトルを _zに付加することにより、高解 «画像 _Zをさせていき（S 207) 、 f (z) 力 S最小となる zを求める。 · · · ( 2)

式（2) において、 z _nは n回目の更新を行った高解像度画像の画像データを表す列べクトルであり、 αは更 f¾の歩み幅である。なお、最初の s 2 0 5の; wでは、 m . 画像 zとして S 2 0 2で求められた初期画像 z。を用いることができる。 S 2 0 6におレヽて f ( z ) が最小化されたと判定されたには処理を終了し、そのときの z _nを最終的な高角? f M像としてメモリ 1 9等に言する。このようにして、基準フレーム^ 照フレームなどのフレーム画像よりも角科象の高、高角? f«li像を得ることができる。

なお; Φ«形態では、画質改難理部 2 2の高角? (滅ィ理部 1 8において高角？ [嫉画像をするようにしているが、例えば解艇化処理 (S 1 0 7 ) の代わりに、上記の重み係数を用いて加重平均による骨化 «を行い、ランダムノイズを {© することで基準フレームを画質改善するようにしてもよい。

本 ¾开態では、参照フレームの符号化の觀およひ 1K像変位量算出処理 (S 1 0 4) における動きベクトルの累働口算回数を用いて重み係数 a _k、 ]3 を生成し、この重み係数 a _k、 β および参照フレームと基準フレームとの間の画像変位量を用いて基準フレームを画質改善 mmi ) するため、参照フレームの各画素に対して適切な重み付けを行うことができ、扉フレームに対して高精度な画質改難理を行うこと力 s可能となる。

図 1 7は、本発明の実施形態 2において画像変位量算出理 (S 1 0 4) で行われる画像変位量の算出去を示したフローチャートである。なお、本形態に係る画置の構成およひ法の内容は、以下に示す点を除レ、て形態 1に係る爾維理； ^去およひ置と同様であり、異なる部分にっレ、てのみ説明する。

本^ ½形態では、動きべクトルを累働 13算するのではなく基準フレームと参照フレームをピクセノ!^ツチングすることにより参照フレームと »フレームとの間の画 ί«ί立量を算出する。

まず、 ,フレームを読み込み（S301) 、フレームを複数の画 it¾位パラメ一タで変形させ、画像列を^^する（S 302) 。それから、フレーム選択処理 (S 10 3) で選択された参照フレームを読み込む（S303) 。そして、領域ベースマッチング手法等のピクセルマツチングを用いて基準フレームと参照フレームとの間で大まかな画素 (立置の対応付けを行う（S304) 。

次に、 S302で基準フレームを麵さすることにより ^^された画像列と参照フレームとの間の類似度値を算出する（S 305) 。この類似度は、例えば SSD (Sum of Squared Difference) や SAD (Sum of Absolute Difference) 等の画像列と参照フレームとのとして求めることができる。そして S 302におレヽて画 it ^を生成した際の画像変位パラメータと、 S305で算出した類 ί 値との関係を用、て、 β的な類似度マップを作成する（S306) 。それから、 S306で作成した离撒的な類似度マップを補完して赚的な類継曲線を求め、この連続的な類搬曲線にぉ、て類似度値の極値を探索する（S 307) 。匿的な類似度マップを補完して;^的な類難曲線を求める方法としては、例えばパラボラフィッティングゃスプライン補間法がある。この铳的な類似度曲線にぉレ、て類 ί¾¾値が極値になるときの画像変位パラメータ力御フレームと参照フレームとの間の画 ί緩位量として算出される。

その後、高角? (贿匕麵 (S 107) で用いられるすべての参照フレームについて画像変位量の算出力 S行われたかどうかを判定し（S308) 、すべての参照フレームについて画像変位量の算出が行われて、なレ、には、他の参照フレームを次の参照フレームとして（S309) 、 S303力ら S308までの処理を繰り返す。 S 308において、高解 ί 化処理（S I 07) で用いられるすべての参照フレームについて画像変位量の算出が行われたと判定された齢には麵を終了する。

図 18は、画像変位量算出処理 (S 104) の S307において求められた類曲線の例を示す図である。図 18において、縦軸は瀕似度値を、横軸は図 17の S 302にお V、て画 i ^を «した際の画 ί象変 f立パラメ一タを示してレ、る。図 18の例では、画像列と参照画像との間の鍵腿が S SDで算出されており、類似度曲線が謹的な類鍵マップをパラボラフィッティングで補完することにより求められているため、類似度値が小さいほど類似度が高くなる。このように、离 1¾的な類似度マップを補完して繞的な類似度曲線を求め、その極値（図 18の例では ¾J、値）を探索することにより、腳フレームと参照フレームとの間の画 ¾位量をサブピクセノレレベルで求めることができる。

この後、 miと同様に重み係 »^処理（s ι o 5)、 ί立置合わせ処理（s ι。

6) およひ! ¾角 ff ¾化処理 (S 107) を行うが、画像変位量算出処理 (S 104) において動きべクトルの累働ロ算を行っていないため、動きべクトルの累働 Π算回数を用いてまされる重み係数 )3 は求められない。そこで本 »开態では、図 16に示す高角化麵の S205におレヽて以下の式 ( 3 ) で表される f面関数 f ( z ) を最小化することにより基準フレームを高解 ί鍵化する。なお式 (3) では、参照フレームの符号化の觀を用、て^^した重み係数 a _kだけを■して重み付けしている。

z) = - A _Z|f}+ (_Z) · · · (3)

k

式（3) において、 kは参照フレームの調 IJ番号、 o!_kは参照フレームの符号化の觀を用いて^^した重み係数、 y_kは参照フレーム（iS^it 画像）の画像データを表す列べクトル、 zはタゲット画像を高解 ti化した高解 MS像の画像データを表す列べクトル、 A_kはターゲット画像と各参照フレームの位置対応、光学系の点像分布関数、サンプリング開口によるぼけ、カラーモザイクフィルタ（CFA) による各色コンポネント等を含めた撮像システムの特性をあらわす画像変衡亍列である。また、 g (z) は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、は重み係数である。効果につ!/、ては ^態 1に係る W^法およひ置とほぼ同様である。

m m?>)

本発明の実施形態 3では、図 16に示す高解像度化処理の S 205におレ、て以下の式 (4) で表される諮面関数 ί (ζ) を最小化することにより基準フレームを高角? f 匕する。なお式（4) では、画像変位量算出処理 (S 104) における動きべクトルの累働ロ算回数を用レ、て算出した重み係数 β i jだけを棚して重み付けしてレ、る。その他の点については、 ¾ ^^態 1に係る画去およひ ϋί««置と同様である。

/(ζ) =∑{∑∑{ (ζ·,力- Α ) ₂||²}} + ） · · · (4)

し ¹' ゾ J

式（4) において、 kは参照フレームの調 IJ番号、 iと； jは参照フレーム内における対象画素の座標、 J3 i〗は画像変位量算出処理 (S 104) における動きべクトルの累働ロ算回数を用いて生成した重み係数、 y_k (i j ) は参照フレーム（g*i ¾画像）の画像データを表す歹 (Jベクトノレ、 zはターゲット画像を高解 i ^化した高解像の画像データを表す列ベクトル、 A_k (i、 j ) はターゲット画像と各参照フレームの位置対応、光学系の点像分布関数、サンプリング開口によるぼけ、カラーモザイクフィルタ (CFA) による各色コンポネント等を含めた撮像システムの特性をあらわす画像変衡亍列である。また、 g (z) は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、は重み係数である。効果にっレ、ては雄形態 1に係る画 ί繞 a ^法およひ面置とほぼ同様である。なお、本発明は上記した^形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良力 S含まれることは言うまでもな!/、。例えば上記の »形態では、画質改 «部 2 2の位置合わせ鍾部 1 6と高角糖匕麵部 1 8を別々に設けているがこれらを一体としてもよく、また画置 1の構成は図 1に示すものに限定されない。さらに、例えば »形態 1のように画像変位量算出鍵 (S 1 0 4) において動きベクトルを累働ロ算して画像変位量を求めた後、態 2の式 ( 3) で表される諮面関数 f (z) を用いて鮮フレームを高解 i S化するようにしてもよレ、。

また、 ¾ϋした开態の説明では、画像^ «置が行う処理としてハードウェアによる処理をとしていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。

この ^、画像処«置は、 C PU、 RAM等の主記' lt¾置、上記処理の全て或いは一部を^!させるためのプログラム力 S記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画 i eプログラムと呼ぶ。そして、 C PUが上記記'慮媒体に記憶されている画 i Mプログラムを読み出して、 '隨の加工 ·演算処理を H f1~ ることにより、上記画 ί集置と同様の鍵を難させる。

ここで、コンピュータ読み取り可能な言晦媒体とは、磁気ディスク、雄気ディスク、 CD-ROM, DVD-ROM, ^体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当麵像処理プログラムを^ f亍するようにしても良い。

ffiは 2007年 7月 19日に日本国特許疔に出願された特願 2007 - 188351に基づく概権を主張し、これらの出願の全ての內容は参照により本明細書に組み込まれる。

Claims

請求の範囲

1. 動き 'lf¾を持つ符号化された動画像データを用いる画 ^去であって、

tiil¾ ^化された動画像データを復号化して得られるフレーム画像の中から基準フレームおよび参照フレームを謝尺するフレーム邀尺ステップと、

ΙΐίΙΕ参照フレームと ΙΐίΙ2¾準フレームとの間の画像変位量を算出する画 «位量算出ステツプと、

filB参照フレームの符号化のおよひ夺号化された動画像データの動き '[f#のうち少なくとも一方を用いて重み係数を^ る重み係 » ^ステップと、

鎌己画像変位量算出ステップで算出された画像変位量と、 ΙϋΙΒΜみ係 te¾ステップで賊された重み係数を用いて ΙϋΙΒ»フレームを画質改善する画質改善ステップと、を有する歸 t«m

2. ΙίίΙΒ画像変位量算出ステップにおいて、歸 B夺号化された動画像データに識されてレ、るフレーム画像間の動きべクトルを方向を考慮して累働ロ算することにより、 IS 照フレームと tfna¾準フレームとの間の画像変位量を算出する請求項 1に記載の画 i M^ 法。

3. tins重み係¾成ステップにおいて、 ttriB画像変位量算出ステップにおける tiiia動きべクトルの累積加算回数を用いて ffflB重み係数を生成する請求項 2に記載の画像処

4. itiBaみ係成ステップにおいて、 t&ia 照フレームの符号化の觀ぉょひ mis画像変算出ステップにおける iilH動きべクトルの累¾¾ロ算回数の両方を用レ、て ΙΐίΙΞΜみ係数を^ る請求項 2に記載の商 tern

5. ttit己重み係成ステップにおいて、 |¾夺号化された動画像データのビットレートまたは i£¾率と、 Ιίί|Ε 照フレームの符号化の觀に応じて異なる重み係数を^する請求項 1に記載の画 i M*?去。

6. 前記画質改善ステップにおいて、前 IS¾準フレームに対して高解像度化処理を行う請求項 1に記載の画 i M¾¾o

7. 動き鎌を持つ化された動画像データを用いる画» ^置であって、

謙夺号化された動画像データを復号化して得られるフレーム画像の中から基準フレームおよび参照フレームを選キ尺するフレーム尺部と、

fiifE 照フレームと廳5¾準フレームとの間の画像変位量を算出する歸緩位量算出部と、

tfjfs 照フレームの符号化のおよ υ¾ίίΐΒί夺号化された動画像データの動き' のうち少なくとも一方を用ヽて、媚2 照フレームの各画素に対して重み係数を^ Τる重み係戈部と、

tiff己画像変ィ «算出部によって算出された画像変位量と、 tiiiasみ係 te¾部によってされた重み係数を用いて ΙϋΐΒ»フレームを画質改善する画質改 «部と、を備える蘭 «¾

8. 動きを持つ符号化された動画像データを用いる] 1ί»理をコンピュータに紫亍させるコンピュータプログラムをしたコンピュタ読み取り可能な記繊某体であって、前記コンピュータプログラムは、

ttl 夺号化された動画像データを復号化して得られるフレーム画像の中から ¾ ^フレームおよび参照フレームを激尺するフレームステップと、

lfltE 照フレームと IES準フレームとの間の画像変位量を算出する画 it¾位量算出ステツプと、

ffifB 照フレームの符号化の,およひ tiff己符号化された動画像データの動き',のうち少なくとも一方を用いて重み係数を^^する重み係ステップと、

ΙΐίΙ己画像変位量算出ステップで算出された画像変位量と、 lift己重み係¾«ステツプで «された重み係数を用レ、て ΙίΠΒ»フレームを画質改善する画質改善ステップと、を ΙίίΙΒコンピュータに実行させるコンピュータ読み取り可能な記録媒体。