WO2001065847A1

WO2001065847A1 - Dispositif et procede de traitement de donnees, support d'enregistrement et programme correspondant

Info

Publication number: WO2001065847A1
Application number: PCT/JP2001/001525
Authority: WO
Inventors: Tetsujiro Kondo; Kazutaka Ando
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-29
Filing date: 2001-02-28
Publication date: 2001-09-07
Anticipated expiration: 2002-08-29
Also published as: EP1176824A4; US20080240599A1; EP1176824A1; CN101370131B; EP1755344A2; EP1755344A3; CN100477779C; US7679678B2; EP1176824B1; US20030103668A1; DE60141734D1; KR20010113047A; CN101370131A; CN1366769A

Description

明細書データ処理装置及び方法、並びに記録媒体及びプログラム技術分野本発明は、データ処理装置及び方法、並びに記録媒体及びプログラムに関し、特に、例えば、各種の画質の画像を提供すること等ができるようにするデータ処理装置及び方法、並びに記録媒体及びプログラムに関する。背景技術近年、わが国においても、ケーブルテレビジョン放送や、ディジタル衛星放送といった、有料での番組放送サービスの提供が浸透しつつある。

ところで、有料での番組放送サービスにおいては、視聴可能な番組に応じて、あるいは実際に視聴した番組に応じて、課金が行われるのが一般的であるが、さらに、番組としての画像の画質を、ユーザが支払う視聴料等に応じて変えることができれば、よりきめ細やかなサービスを提供することができる。発明の開示本発明は、このような状況に鑑みてなされたものであり、各種の画質の画像を提供すること等ができるようにするものである。

本発明に係るデータ処理装置は、デ一夕の品質を向上させるための向上情報を生成する向上情報生成手段と、データに対して向上情報を埋め込む埋込手段とを備える。

向上情報生成手段は、データの品質を向上させた品質向上データの予測値を予測するのに用いる予測係数を、向上情報として生成するようにしてもよい。向上情報生成手段は、予測係数を所定のクラスごとに生成するようにしてもよい

向上^報生成手段は、教師となる教師データのうちの注目している注目教師デ —夕のクラスを求めるのに fflいるクラスタヅブを、生徒となる生徒データを用いて構成するクラスタップ構成手段と、クラスタップに基づいて、注目教師デ一夕のクラスを求めるクラス分類を行うクラス分類手段と、注目教師データを予測するのに、予測係数とともに川いる予測タップを、生徒データを用いて構成する予測タップ構成手段と、教師データ及び予測タップを用いて、クラスごとの予測係数を求める予測係数演算手段とを備えるようにしてもよい。

向上惜報生成手段は、複数種類の向上情報を生成するようにしてもよい。向上†r 報生成手段は、異なるクラス数についての予測係数を、複数種類の向上情報として生成するようにしてもよい。

向上情報生成手段は、 ¾なる品質の生徒データ又は教師データを用いることにより求められる複数種類の予測係数を、複数種類の向上情報として生成するようにしてもよい。

向上情報生成手段は、少なくとも、予測係数と、線形補間を行うための情報とを、複数種類の向上悄報として生成するようにしてもよい。

向上情報生成手段は、異なる構成のクラスタップ又は予測タッブを用いることにより求められる複数種類の予測係数を、複数種類の向上情報として生成するようにしてもよい。

向上情報生成手段は、クラス分類を異なる方法で行うことにより求められる複数種類の予測係数を、複数種類の向上情報として生成するようにしてもよい。向上情報生成手段は、データの品質を向上させた品質向上データの予測値を予測するのに用いる、データのクラスを表すクラスコードを、向上情報として生成するようにしてもよい。

向上情報生成手段は、学習の教師となる教師データのうちの注目している注目教師データを予測するのに用いる予測タッブを、学習の生徒となる生徒データを用いて構成する予測タップ構成手段と、学習を行うことにより求められたクラスコードごとの予測係数を記憶する予測係数記手段と、予測タップ及び予測係数を用いて、 s教師データの予測値を求める予測演算手段と、注目教師データの予測値を最小にする測係数のクラスコ一ドを検出するクラスコ一ド検出手段とを備え、クラスコード検出手段において検出されたクラスコードを、向上情報として出力するようにしてもよい。

向上 ½報生成段は、習の教師となる教師データのうちの注目している注目教師データのクラスを求めるのに fflいるクラス夕ッブを、教師デ一夕を用いて構成するクラスタップ構成手段と、クラスタップに基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段とを備え、クラス分類手段において求められたクラスに対応するクラスコードを、向上情報として出力するようにしてもよい。

.込！¹段は、データが^するエネルギの偏りを利 fflして、データ及び向上情報を元に戻すことができるように、データに向上 ½報を埋め込むようにしてもよい c 埋込手段は、スペクトラム拡散を行うことにより、データに向上情報を埋め込むようにしてもよい。

埋込手段は、データの 1 ビット以上を、向上情報に変更することにより、デ一夕に向上情報を ϋめ込むようにしてもよい。

データは、画像データであり、向上情報は、画像データの画質を向上させる情報であるようにしてもよい。

本発明に係るデータ処方法は、データの品質を向上させるための向上情報を生成する上 ·報成ステツプと、データに対して向上情報を埋め込む埋込ステップとおする。

本発明に係る記録媒体は、データの品質を向上させるための向上情報を生成する向上情報生成ステツプと、データに対して向上情報を埋め込む埋込ステツブとを有するプログラムが記されている。

本発明に係るプログラムは、データの品質を向上させるための向上情報を生成する向上報生成ステップと、データに対して向上情報を埋め込む埋込ステップとを有する。

本発明に係るデータ処理装は、埋込デ一夕から向上情報を抽出する抽出手段と、データの ι„ を h t,'j を川いて向上させる向上手段とを備える。

向上怙報は、データの品を向上させた品質向上データの予測値を予測するのに用いる予測係数であるようにしてもよく、この場合、向上手段は、データ及び予測係数を用いることにより、品質向上データの予測値を求めるようにしてもよい。

向上情報は、所定のクラスごとに求められた予測係数であるようにしてもよく、この場合、向上手段は、データ及びクラスごとの予測係数を用いることにより、品質向上データの予測値を求めるようにしてもよい。

向上手段は、注目している品質向上データである注目品質向上データのクラスを求めるのに用いるクラスタップを、データを用いて構成するクラスタツブ構成手段と、クラスタップに基づいて、注目品質向上データのクラスを求めるクラス分類を行うクラス分類手段と、注目品質向上データを予測するのに、予測係数とともに用いる予測タップを、データを用いて構成する予測タップ構成手段と、注目品質向上データの予測値を、その注目品質向上データのクラスの予測係数と、予測タップとを用いて求める予測手段とを備えるようにしてもよい。

向上情報は、データの品質を向上させた品質向上データの予測値を予測するのに用いる所定のクラスごとの予測係数の、そのクラスを表すクラスコ一ドであるようにしてもよく、この場合、向上手段は、データ及びクラスコードに対応する予測係数を用いることにより、品質向上データの予測値を求めるようにしてもよい。

向上手段は、注 tlしている品質向上データである注目品質向上データを予測するのに、予測係数とともに fflいる予測タップを、データを用いて構成する予測タップ構成手段と、注目品質向上データの予測値を、向上情報としてのクラスコードに対応する予測係数と、予測タップとを用いて求める予測手段とを備えるようにしてもよい。

埋込データには、複数種類の向上情報が埋め込まれるようにしてもよい。

埋込データには、異なるクラス数についての予測係数が、複数種類の向上情報として埋め込まれるようにしてもよい。

予測係数は、生徒となる生徒データと、教師となる教師データとを用いて生成されるようにしてもよく、この場合、埋込データには、異なる品質の生徒データ又は教師データを用いることにより求められる複数種類の予測係数が、複数種類の向上情報として埋め込まれるようにしてもよい。

埋込データには、少なくとも、予測係数と、線形補間を行うための情報とが、複数種類の向上情報として埋め込まれるようにしてもよい。

埋込データには、異なる構成のクラスタップ又は予測タップを用いることにより求められる複数種類の予測係数が、複数種類の向上情報として埋め込まれるようにしてもよい。

埋込データには、クラス分類を¾なる方法で行うことにより求められる複数種類の予測係数が、複数種類の向上情報として埋め込まれるようにしてもよい。本発明に係るデータ処理装置は、複数種類の向上情報から、データの品質を向上させるのに用いるものを選択する向上情報選択手段をさらに備えるようにしてもよい。

抽出手段は、データが有するエネルギの偏りを利用して、埋込データから向上情報を抽出するようにしてもよい。

抽出手段は、逆スペクトラム拡散を行うことにより、埋込データから向上情報を抽出するようにしてもよい。

抽出手段は、埋込データの 1 ビット以上を、向上情報として抽出するようにしてもよい。

本発明に係るデータ処理方法は、埋込データから向上情報を抽出する抽出ステップと、データの品質を向上情報を用いて向上させる向上ステツプとを有する。本発明に係る記録媒体は、埋込データから向上情報を抽出する抽出ステツプと、データの品質を向上情報を用いて向上させる向上ステップとを有するプログラムが記録されている。

本発明に係るプログラムは、埋込データから向上情報を抽出する抽出ステツプと、データの品質を向上情報を用いて向上させる向上ステップとを有する。

本発明に係るデ一夕処理装置は、データの品質を向上させるための複数種類の向上情報を生成する向上情報生成手段と、データと、 1種類以上の向上情報とを送信する送信手段とを備える。本発明に係るデータ処理装置は、複数種類の向上 ½報の中から、データとともに送信するものを選択する向上情報選択手段をさらに備えるようにしてもよい。向上報透択丁:段は、データを受信する受信装 Eからの要求に応じて、向上情報を選択するようにしてもよい。

本発明に係るデータ処理装置は、向上情報選択手段が選択する向上情報に応じて、課金処理を行う課金手段をさらに i えるようにしてもよい。

向上情報生成手段は、少なくとも、データの品質を上させた品質向上データの予測値を予測するのに用いる予測係数を、向上情報として生成するようにしてもよい。

向上情報生成！段は、予測係数を所定のクラスごとに生成するようにしてもよレ、。

向上 ½報生成段は、教師となる教師データのうちの注目している注目教師デ —夕のクラスを求めるのに用いるクラスタップを、生徒となる生徒データを用いて構成するクラスタップ構成手段と、クラスタップに基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段と、注目教師データを予測するのに、？測係数とともに用いる予測タップを、生徒データを用いて構成する予測.タップ構成手段と、教師データ及び予測タップを用いて、クラスごとの予測係数を求める ]''測係数演^了ニ段とを備えるようにしてもよい。

向上情報生成-丁:段は、 Kなるクラス数についての予測係数を、複数種類の向上情報として生成するようにしてもよい。

向上情報生成手段は、 κなる品質の生徒データ又は教師データを用いることにより求められる複数種類の予測係数を、複数種類の向上情報として生成するようにしてもよい。

向上情報生成手段は、少なくとも、予測係数と、線形補問を行うための情報とを、複数種類の向上' i報として生成するようにしてもよい。

向上情報生成手段は、異なる構成のクラスタップ又は予測夕ップを用いることにより求められる複数種類の予測係数を、複数種類の向上情報として生成するようにしてもよい。

向上情報生成手段は、クラス分類を異なる方法で行うことにより求められる複数種類の予測係数を、 ¾数極類の向上報として ' 成するようにしてもよい。送段は、データが ίίするエネルギの (0りを利川して、データ及び向上情報を元に Κすことができるように、データに向上報^め込んで、データ及び 1種類以上の向上^報を送 ϋするようにしてもよい。

送 ί 手段は、スペクトラム拡散を行うことにより、データに向上情報埋め込んで、データ及び I f 類以ヒの向上情報を送信するようにしてもよい。

送段は、データの 1 ビット以上を、向上悄報に変更することにより、データに向ヒ½報埤め込んで、データ及び 1種類以上の向上情報を送信するようにしてもよい。

送^丁:段は、データと、複数砘類の上情報のすべてを送するようにしてもよい。

データは、画像データであり、向上怙報は、画像データの画質を向上させる情報であるようにしてもよい。

本発明に係るデータ処理/ J法は、データの品質を向上させるための複数種類の向上情報を生成する向上' 報 ' 成ステツプと、データと、 1種類以上の向上情報とを送信する送信ステップとを冇する。

本発明に係る記録媒体は、データの品質を向上させるための複数種類の向上情報を生成する向 h怙報 'Γ:成ステップと、デ一夕と、 1種類以上の向上情報とを送する送 βステップとをィ ίするプログラムが記録されている。

本発明に係るプログラムは、データの品質を向上させるための複数種類の向上情報を生成する ίή卜報 ΐ成ステツプと、デ一夕と、 1種類以上の向上情報とを送信する送信ステツプとを冇する。

本発明に係るデータ処 J 装 ΪΗは、デ一夕及び 1種類以上の向上情報を受信する受信手段と、データの,¹ π',質を、 1種類以上の向上情報のうちのいずれかを用いて向上させる上手段と、データの品質を向上させるのに川し、た向上情報に応じて、課金処理を irう, 段とを備える。

受信手段は、 ¾数砘類の ] 報を受信するようにしてもよく、この場合、本発明に係るデータ処 P1!装 IRは、複数種類の向ヒ ^: 報の中から、データの品質を向ヒさせるのに川いるものを選択する向上' 報選択手段をさらに ( えるようにしてもよい。

向上情報選択手段は、ュ一ザからの要求に応じて、向上情報を選択するようにしてもよい。

本発明に係るデータ処理装置は、データの品質を向上させるのに用いる向上情報を、データ及び 1種類以上の向上情報を送信する送信装置に要求する要求手段をさらに備えるようにしてもよく、この場合、受信手段は、送信装置が要求手段の要求に応じて送してくる向上情報を受信するようにしてもよい。

向上情報は、データの品質を向上させた品質向上データの予測値を予測するのに用いる予測係数であるようにしてもよく、この場合、向上手段は、データ及び予測係数を用いることにより、品質向上データの予測値を求めるようにしてもよい。

向上† 報は、所定のクラスごとに求められた予測係数であるようにしてもよく、この場合、向上手段は、データ及びクラスごとの予測係数を用いることにより、品質向上データの予測値を求めるようにしてもよい。

向上手段は、注目している品質向上データである注目品質向上データのクラスを求めるのに用いるクラスタップを、データを用いて構成するクラスタップ構成手段と、クラスタップに基づいて、注目品質向上データのクラスを求めるクラス分類を行うクラス分類手段と、注目品質向上データを予測するのに、予測係数とともに fflいる予測タップを、データを用いて構成する予測タップ構成手段と、注目品質向上データの予測値を、その注目品質向上データのクラスの予測係数と、予測タップとを用いて求める予測手段とを備えるようにしてもよい。

受信手段は、複数種類の向上情報を受信するようにしてもよい。

受信手段は、異なるクラス数についての予測係数を、複数種類の向上情報として受信するようにしてもよい。

予測係数は、生徒となる生徒デ一夕と、教師となる教師データとを用いて生成されるようにしてもよく、この場合、受信手段は、異なる品質の生徒データ又は教師データを用いることにより求められる複数種類の予測係数を、複数種類の向上情報として受信するようにしてもよい。

受信手段は、少なくとも、予測係数と、線形補間を行うための情報とを、複数種類の向上情報として受信するようにしてもよい。

受信手段は、 Sなる構成のクラスタップ又は予測タップを用いることにより求められる複数種類の予測係数を、複数種類の向上情報として受信するようにしてもよい。

受信手段は、クラス分類を異なる方法で行うことにより求められる複数種類の予測係数を、複数種類の向上情報として受信するようにしてもよい。

受信手段は、データに、 1種類以上の向上情報が ¾め込まれた埋込データを受 ί言するようにしてもよく、この場合、データ処理装置は、埋込データから向上情報を抽出する抽出手段をさらに備えるようにしてもよい。

本発明に係るデータ処理方法は、データ及び 1種類以上の向上情報を受信する受信ステップと、データの品質を、 1種類以上の向上情報のうちのいずれかを用いて向上させる向上ステップと、データの品質を向上させるのに用いた向上情報に応じて、課金処理を行う課金ステツブとを有する。

本発明に係る記録媒体は、データ及び 1種類以上の向上情報を受信する受信スチップと、データの品質を、 1種類以上の向上情報のうちのいずれかを用いて向上させる向上ステップと、データの品質を向上させるのに用いた向上情報に応じて、課金処理を行う課金ステップとを有するプログラムが記録されている。本発明に係るプログラムは、データ及び 1種類以上の向上情報を受信する受信ステップと、データの品質を、 1種類以上の向上情報のうちのいずれかを用いて向上させる向上ステップと、データの品質を向上させるのに用いた向上情報に応じて、課金処理を行う課金ステップとを有する。本発明に係るデータ処理装置及び方法、並びに^録媒体及びプログラムにおいては、データの品質を向上させるための向上情報が^成され、データに対して向上情報が ifめ込まれる。

本発明に (系るデータ処理装置及び方法、並びに記録媒体及びプログラムにおいては、埋込データから向上情報が抽出され、デ一夕の品質が、向上情報を用いて向上される。

本発明に係るデータ処理装及び方法、並びに記録媒体及びプログラムにおいては、データの品 Kを向上させるための複数種類の向上情報が生成され、デ一夕と、 1 類以上の向上情報とが送信される。

本発明に係るデータ処理装 ϋ及び方法、並びに記録媒体及びプログラムにおいては、データ及び 1種類以ヒの向上情報が受信され、データの品質が、 1種類以上の向上^報のうちのいずれかを用いて向上される一方、そのデータの品質を向上させるのに fflいた向上情報に応じて、課金処理が行われる。図面の簡単な説明図 1は、本発明を適用した放送システムの一実施の形態の構成例を示す図である。

図 2は、送^ [S 1 の構成例を示すブロック図である。

図 3は、送信装^ 1の処理を説明するフ口一チヤ一トである。

図 4は、受信装 ^ 3の構成例を示すブロック図である。

図 5は、受信装置 3の処理を説明するフローチヤ一トである。

図 6は、向上情報生成部 1 1の第 1の構成例を示すブロック図である。

図 7は、予測タップ（クラスタップ）の構成を示す図である。

図 8 A , 8 B , 8 。及び8 0は、方式選択信号と向上方式との対応関係を示す図である。

図 9は、図 6の向上佶報生成部 1 1 の処理を説明するフローチャートである。図 1 ◦は、向上報生成部 1 1の第 2の構成例を示すブロック図である。図 1 1は、図 1 0の向上報生成部 1 1 の処理を説明するフローチャートである。

m l 2：ま、品 fr>] ヒ部 2 4の^ l の構成例を示すブロック図である。

図 1 3は、 m 1 2の,', , f|向上部 2 4の処理を説明するフローチャートである。図 1 4は、向上報成部 1 1の第 3の構成例を示すブロック図である。

図 1 5は、図 1 4の向上 ½報生成部 1 1の処理を説明するフローチャートである。

図 1 6は、 Γ'測係数を求める :習装匿の第 1の構成例を示すブロック図である図 1 7：ま、品質向ヒ; 2 4の第 2の構成例を示すブロック図である。

図 1 8は、図 1 7の品 fi i I: i¾ 2 4の処现を説明するフローチャートである。図 1 9は、 ίή] ヒ '\ 成部 1 1の第 4の構成例を示すブロック図である。

図 2 0：ま、図 1 9の I:† 報生成部 1 1 の処理を説明するフローチャートである。

図 2 1は、品質 [ ] ヒ部 2 4の第 3の構成例を示すプロック図である。

図 2 2は、予測係数を求める学習装置の第 2の構成例を示すブロック図である, 図 2 3は、統合部 1 2の構成例を示すブロック図である。

図 2 4は、図 2 4の統合部 1 2の処理を説明するフローチヤ一トである。

図 2 5 乃至 2 5 Κは、両像の列の入れ替えを説明する図である。

図 2 6：ま、抽出部 2 2の構成例を示すブロック図である。

図 2 7ば、 [X] 2 6の杣出¾ 2 2の処理を説明するフローチャートである。

図 2 8 :ま、統合部 1 2の他の構成例を示すブロック図である。

図 2 9は、抽出部 2 2の他の構成例を示すブロック図である。

図 3 0は、本発明を適川したコンピュータの一実施の形態の構成例を示すプロック図である。允明を^施するためのの形態図 1は、本 ¾ Π刀を適川したディジタル衛星放送システム（システムとは、複数の装 ISが論理的に ίβ合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）のづ施の形態の構成例を示している。送信装置 1では、番組放送に対応する電波としての衛星放送波が、アンテナ (パラボラアンテナ） 1 Aから衛星 2に送出される。衛星（通信衛星又は放送衛星） 2は、送信装置 1からの衛星放送波を受信し、その衛星放送波に対して、増幅その他の必要な処理を行って送出する。

衛星 2から送出された衛星放送波は、受信装置 3のアンテナ（パラボラアンテナ） 3 Aで受され、表示等される。

また、送信 i 1 と受信装置 3 とは、例えば、公衆回線、インタ一ネット、 C A T V ( Cab l e Te levi s i on) 網、無線通信網等の双方向の通信が可能なネットヮーク 4を介して通信可能となっており、送信装置 1 と受信装置 3との間では、ネッ卜ワーク 4を介しての課金の情報のやりとり等の課金処理が行われる。

なお、図 1の実施の形態では、説明を簡単にするために、 1つの受信装置 3 しか図示していないが、受信装置 3 と同一構成の受信装置は、複数設けることが可能である。

次に、図 2は、図 1の送信装置 1の構成例を示している。

向上情報生成部 1 1には、番組として放送される画像データ（以下、適宜、放送用画像データという）、又はその放送用画像データと内容が同一で、画質がより高い画像データ（高画質の画像データ）が入力されるようになっている。向上情報生成部 1 1は、受信装置 3において、放送用画像データの画質を向上させるための.向上情報を生成する。

即ち、向上情報生成部 1 1には、放送用画像データの画質を向上させる向上方式を選択する方式選択信号も供給されるようになっている。向上情報生成部 1 1 は、そこに供給される方式選択信号に従って、 1種類以上の向上情報を生成する。向上情報生成部 1 1 が生成する向上情報は、統合部 1 2に供給されるようになつている。

統合部 1 2には、向上情報生成部 1 1 から向上情報が供給される他、放送用画像データも ί共給されるようになっている。統合部 1 2は、放送用画像データと向上情報を統合し、統合信号を生成して、送信部 1 3に供給する。

ここで、放送用画像データと向上情報の統合の方法としては、例えば、時分割多重化や、周波数多重化の他、後述するような埋込（embedded coding) 等を用いることが可能である。また、放送用画像データと向上情報を統合せずに、別の番組として送信することも可能である。

送信部 1 3は、統合部 1 2が出力する統合信号に対して、変調、増幅、その他の必要な処理を施して、アンテナ 1 Aに供給する。

課金処理部 1 4は、通信ィンタフエース 1 5及びネットワーク 4を介して、受信装置 3と通 ί言することにより、受信装置 3への番組提供に対する課金処理を行ラ。

通信ィンタフヱ一ス 1 5は、ネットワーク 4を介しての通信制御を行う。次に、図 3のフローチャートを参照して、図 2の送信装置 1で行われる番組の送信処理について説明する。

まず最初に、ステップ S 1において、向上情報生成部 1 1は、そこに供給される方式選択信号に従って、放送用画像データの画質を向上させるための 1種類以上の向上情報を生成し、統合部 1 2に供給する。ここで、向上情報を生成する放送用画像データの単位（以下、適宜、向上情報生成単位という）は、例えば、 1 フレーム単位でもよいし、 1番組単位等でもよい。

統合部 1 2は、向上情報生成部 1 1から向上情報が供給されると、ステップ S 2において、放送用画像データと向上情報を統合し、統合信号を生成して、送信部 1 3に供給する。送信部 1 3では、ステツプ S 3において、統合部 1 2が出力する統合信号に対して、変調、増幅、その他の必要な処理を施して、アンテナ 1 Αに供給する。これにより、統合信号は、衛星放送波として、アンテナ 1 Aから送出される。

その後、ステップ S 1 に戻り、以下、同様の処理が繰り返される。

次に、図 4は、図 1の受信装置 3の構成例を示している。

衛星 2を介して放送されている衛星放送波は、アンテナ 3 Aで受信され、その受信信号は、受信部 2 1 に供給されるようになっている。受信部 2 1は、アンテナ 3 Aからの受信信号に対して、増幅、復調、その他の必要な処理を施し、統合信号を得て、抽出部 2 2に供給する。

抽出部 2 2は、受信部 2 1からの統合信号から、放送用画像データと、 1種類以上の向上情報とを抽出し、放送用画像データを、品質向上部 2 4に供給するとともに、 1種類以上の ί 上怙報を、選択部 2 3に供給する。

選択部 2 3は、抽出部 2 2からの 1種類以上の向上報から、 _u 金処理部 2 7 からの画 !レベル信 Sに対応する種類のものを選択し、その向上情報とともに、その向上情報によって画質を向上させる向上方式を選択する方式選択信号を、品質向上部 2 4に供給する。

品質向上部 2 4は、抽出部 2 2から供給される放送 ffl i像データに対して、方式選択信号が示す方式の処理を、選択部 2 3から供給される向上情報を用いて施す。これにより、品質向上部 2 4は、画質を向上させた画像データを得て、表示部 2 5に供給する。衷示部 2 5は、例えば、 C R T ( Cathode Ray Tube) や、液晶パネル、 D M D ( Dynami c Mi rror Dev i ce) で構成され、品質向上部 2 4から供給される画像データに対応する画像を表示する。

操作部 2 6は、表示部 2 5に表示される画像の画質を選択するとき等に、ュ一ザによって操作され、その操作に対応する操作信号は、 _u 金処理部 2 7に供給されるようになっている。

課金処理部 2 7は、操作部 2 6からの操作信号に基づいて、ユーザが選択した画質に対する課金処理を行う。 βΠち、課金処理部 2 7は、操作部 2 6からの操作信号に基づいて、ユーザが要求する画質を識別し、その画質の程度を表す画質レベル信号を、選択部 2 3に ί 給する。これにより、選択部 2 3では、ユーザが要求する画質を得るのに適した向上情報を遗択する。さらに、金処理部 2 7は、画質レベル ίί!号を、通信ィンタフヱース 2 8及びネッ卜ワーク 4を介して、送信装置 1 に送信する。

ここで、このようにして、課金処理部 2 7から送信装 ϋ 1に対して送信される画質レベル信号は、送信装置 1 (図 2 ) において、通信ィン夕フヱ一ス 1 5を介して、課金処理部 1 4で受信される。課金処理部 1 4では、その画質レベル信号に応じて、受信装置 3のユーザに対する課金が行われる。即ち、課金処理部 1 4 は、例えば、ユーザごとの視聴料金を計算し、送信装置 1側の口座番号、ユーザの口座番号、及び ¾ ^された視聴料金を少なくとも含む課金 ίΓί号を、通信インタフェース 1 5及びネットワーク 4を介して、図示せぬ課金センタ（銀行センタ）に送信する。 _π 金センタは、 ^金信号を受信すると、視聴料金に対応する金額を、ユーザの口座から引き落とすとともに、送信装置 1側の口座に入金するような決济処理を行う。

通信インタフェース 2 8は、ネットワーク 4を介しての通制御を行う。

次に、図 5のフローチャートを参照して、図 4の' 装置 3で行われる番組の受信処理について説明する。

アンテナ 3 Aが衛星放送波を受信することにより出力する受信信号は、受信部 2 1 に供給される。受信部 2 1では、ステップ S 1 1 において、その受信信号が受信され、統合^ に変換される。この統合 ί Τ号は、抽出部 2 2に供給される。抽出部 2 2では、ステップ S 1 2において、受信部 2 1からの統合信号から、放送 ffl l l像データと、 1稀類以 I：の向 h情報とが抽出される。そして、放送用画像データは、品 i \ΰ]上部 2 4に供給され、 1種類以上の向上情報は、選択部 2 3 に供給される。

選択部 2 3は、ステップ S 1 3において、抽出部 2 2からの 1種類以上の向上情報から、課金処理部 2 7からの画質レベル ί言号に対応する種類のものを選択し、その向上' til報とともに、その向上情報によって画質を向上させる向上方式を示す方式選択^号を、品質向上部 2 4に供給する。

品質向七部 2 4は、ステップ S 1 4において、抽出部 2 2から供給される放送用画像データに対して、 //式選択信号が示す方式の処理を、選択部 2 3から供給される向上怙報を川いて施す。これにより、品質向上部 2 4は、画質を向上させた画像データを得て、部 2 5に供給して表示させる。そして、ステップ S 1 1 に戻り、以下、同様の処理が繰り返される。

以上の受信処理において、課金処理部 2 7が出力する画質レベル信号は、ュ一ザが操作部 2 6を操作することにより要求した画質に対応したものである。したがって、 ^示部 2 5では、ユーザが要求する画質の画像が衷示されることになる次に、 I®像データの画質を向上させる手法としては、例えば、本件出願人が先に提案した特開平 8— 5 1 6 2 2号公報記載のクラス分類適応処理を用いることができる。

クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性 Κに基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理は、以下のような手法のものである。

即ち、適応処理では、例えば、標準解像度あるいは低解像度の S D (Standard Definition) 画像を構成する画素（以下、適宜、 S D画素という）と、所定の予測係数との線形結合により、その S D画像の解像度を向上させた H D (High Def inition) 画像の画素の予測値を求めることで、その S D画像の解像度を向上させた画像が得られる。

具体的には、例えば、いま、ある H D画像を教師データとするとともに、その H D画像の画素数を少なくする等して解像度等の画質を劣化させた S D画像を生徒データとする。そして、 HD画像を構成する画素（以下、適宜、 HD画素という）の画素値 yの予測値 E [y ] を、幾つかの S D画素（SD画像を構成する画素）の画素) ϋχΐ, χ2， . · ' の集合と、所定の予測係数 wl， w2, · · · の線形結合により規定される線形 1次結合モデルにより求めることを考える。この場合、予測値 E [y] は、次式で表すことができる。

E [y ] = wlx 1 + W2X2+ · · ·

… ( 1 ) 式（ 1 ) を一般化するために、予測係数 wjの集合でなる行列 W、生徒データ X Uの集合でなる行列 X、及び予測値 E [yj] の集合でなる行列 Y' を、

で定義すると、次のような観測方程式が成立する

X W= Υ '

( 2 ) ここで、行列 Xの成分 xijは、 i件目の生徒データの集合（ i件目の教師データ yiの予測に用いる生徒データの集合）の中の j番目の生徒データを意味し、行列 Wの成分 wjは、生徒データの集合の中の j番目の生徒データとの積が演算される予測係数を表す。また、 yiは、 i件目の教師データを表し、したがって、 E [y i] は、 i件目の教師データの予測値を表す。なお、式（ 1 ) の左辺における yは、行列 Yの成分 yiのサフィックス iを省略したものであり、また、式（ 1 ) の右辺における xl, χ2, · · ' も、行列 Xの成分 X ijのサフィックス iを省略したものである。

式（ 2 ) の観測方程式に最小自乗法を適用して、 HD画素の画素値 yに近い予測値 E [y] を求めることを考える。この場合、教師データとなる HD画素の真の画素値 yの集合でなる行列 Y、及び H D画素の画素値 yに対する予測値 E

[y] の残差 eの集合でなる行列 Eを、

で定義すると、式（2 ) から、次のような残差方程式が成立する

XW= Y+E

(3)

この場合、 HD画素の画素値 yに近い予測値 E [y ] を求めるための予測係数 wjは、自乗誤差

を最小にすることで求めることができる。

したがって、上述の自乗誤差を予測係数 wjで微分したものが 0になる場合、即ち、次式を満たす予測係数 wjが、 HD画素の画素値 yに近い予測値 E [y] を求めるため最適値ということになる。

0(/= 1,2,...,J)

• · · (4) そこで、まず、式（ 3 ) を、予測係数 w jで微分することにより、次式が成立する。

e.

■ = x . - = . = χ ,( = !, 2, ...,/)

Λ'

( 5) 式（ 4 ) 及び（ 5 ) より、式（ 6 ) が得られる ^^e,^xn = ⁰ ,∑ , . = 0, ... ,∑ , ,..

6) さらに、（ 3 ) の残；力程式における生徒データ X ij、予測係数 w j、教師デ —タ yi及び残^ e iの関係を考慮すると、式（ 6 ) から、次のような正規方程式を得ることができる。

(7) 式（7 ) の正規方程式を構成する各式は、生徒データ X ij及び教師データ y iのセットを、ある程度の数だけ用意することで、求めるべき予測係数 _W jの数 jと同じ数だけ立てることができる。したがって、式（ 7 ) を解くことで（但し、式

( 7 ) を解くには、式（ 7 ) において、？測係数 w jに係る係数で構成される行列が正則である必要がある）、最適な予測係数 w jを求めることができる。なお、式

( 7 ) を解くに当たっては、例えば、掃出し法（ Gayss- Jordanの消去法等）などを用いればよい。

以上のようにして、最適な予測係数 w jを求めておき、さらに、その予測係数 W- jを用い、式（ 1 ) により、 H D画素の画素値 yの予測値 E [y] を求めるのが適応処理である。

なお、適応 ¾ は、 S D両像にはまれていないが、 H D lfi像に含まれる成分が丙現される点で、例えば、 ^f なる袖問処 ¾とは 5 なる。即ち、適応処理では、式（ 1 ) だけをる限りは、いわゆる補問フィルタを川いての補間処理と同一であるが、その補間フィル夕のタップ係数に相当する予測係数 wが、教師データ y を用いての、いわゆる学習により求められるため、 H D画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処ということができる。

また、ここでは、適応処について、解像度を向上させる場合を例にして説明したが、適応処は、その他、例えば、適応処理 ¾と後とで Ιίΐί素数が変わらなくても構わす、両像からノィズやぼけを除去した画像の '測値を求めること等に用いることができる。こ

適応処 ί¾1によれば、ノイズの除去や、ぼけの改善等の阀 !の向上を 1ることが "J能となる。

図 6は、以上のようなクラス分類適応処理により、「ή]上情報として、予測係数を求める場合の、図 2の向 Ι: ·報生成部 1 1の構成例を示している。

なお、図 6の突施の形態においては、放送用画像データと同一内容の高画質の画像データが存在し、これが、予測係数を学習するための教師データとして、向ヒ情報生成部 1 1 に fj 給されるものとする。

教師データとしての A l f!の闹像データは、例えば、フレーム単位で、フレームメモリ 3 1 に供給され、フレームメモリ 3 1は、そこに供給される教師データを順次記憶する。

ダウンコンバータ 3 2は、フレームメモリ 3 1 に記憶された教師データを、例えば、フレーム ^位で読み出し、 L P F ( Low Pass F i l ter) をかけたり、間引き等を行うことで、本的には、放送 ffl画像データと同一画質、即ち、ここでは低画質の画像データを、 f'測係数を学習するための生徒データとして ΐ成し、フレ —ムメモリ 3 3に供給する。

フレームメモリ 3 3は、ダウンコンバ一タ 3 2が出力する生徒データとしての低画質の画像データを、例えば、フレーム準位で順次記 t する。

予測タソプ構成回路 3 4は、フレームメモリ 3 1 に記憶された教師データとしての画像（以下、適宜、教師画像という）を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する、生徒デ一夕としての画像（以下、適宜、生徒画像という）の位置から空間的又は時間的に近い位置にある幾つかの生徒データの画素（以下、適宜、生徒画素という）を、制御回路 4 0からの制御信号に従って、フレームメモリ 3 3から読み出し、予測係数との乗算に用いる予測タップとして構成する。

即ち、例えば、図 7に示すように、生徒画像が、教師画像の画素を、 1 / 4に間引いたものであるとすると、予測タップ構成回路 3 4は、制御回路 4 0からの、ある制御信^に従って、例えば、注目画素の位置に対応する、生徒画像の位置から空間的に近い位置にある 4つの生徒画素 a , b， c， dを、予測タップとする _t また、予測タップ構成回路 3 4は、制御回路 4 0からの、他の制御信号に従って、例えば、；' t冃画素の位置に対応する、生徒画像の位置から空間的に近い位置にある 9つの生徒画素 a , b， c , d， e， f , g , h， iを、予測タヅプとする。なお、基本的には、予測タップとして、 4つの生徒画素 a乃至 dを用いるよりは、 9つの生徒画素を用いる方が、教師画素の予測精度が高くなり、より高画質の画像（を得るための予測係数）が得られる。

ここで、予測タップ（後述するクラスタップについても同様）は、図 7に示したように、長方形状となる画素で構成する他、十字形状、ひし形状、その他の任意の形状となる画素で構成することが可能である。また、予測タップは、隣接する画素ではなく、 1つおき等の画素で構成することも可能である。

図 6に戻り、予測タップ構成回路 3 4で構成された予測タップは、正規方程式加算回路 3 7に供給されるようになっている。

クラスタップ構成回路 3 5は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる生徒画素を、フレームメモリ 3 3から読み出す。即ち、クラスタップ構成回路 3 5は、注目画素の位置に対応する、生徒画像の位置から空間的又は時間的に近い位置にある幾つかの生徒画素を、制御回路 4 0からの制御信号に従って、フレームメモリ 3 3から読み出し、クラス分類に用いるクラスタップとして、クラス分類回路 3 6に供給する。

なお、測タップとクラスタップとは、同一の生徒画素で構成することもできるし、異なる生徒画素で構成することもできる。

クラス分類回路 3 6は、クラスタップ構成回路 3 5からのクラスタップに基づき、制御回路 40からの制御信号に従った方法で、注目画素をクラス分類し、その結果得られる注 Ξ画素のクラスに対応するクラスコードを、正規方程式加算回路 3 7に供給する。

ここで、クラス分類を行う方法としては、例えば、閾値を用いる方法や、 AD R C (Adaptive Dynamic Range Coding) を用レヽる方云等力 ^sある。

閾値を用いる方法では、例えば、クラスタップを構成する生徒画素の画素値力所定の閾値より大きいか（閾値以上か）否かによって 2値化され、その 2値化結果に従って、注目画素のクラスが決定される。

また、 ADR Cを用いる方法では、クラスタップを構成する生徒画素が、 AD R C処理され、その結果得られる ADR Cコードに従って、注目画素のクラスが決定される。

なお、 Kビット A D R Cにおいては、例えば、クラスタヅブを構成する生徒画素の画素値の最大値 MAXと最小値 M I Nが検出され、 DR = MAX— MI Nを、クラスタツプの局所的なダイナミックレンジとされる。そして、このダイナミツクレンジ D Rに基づいて、クラスタツプを構成する生徒画素が Kビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値 M I N が減算され、その減算値が D R/ 21 (で除算（量子化）される。したがって、クラスタップが、例えば、 1 ビット A D R C処理された場合には、そのクラスタップを構成する各生徒画素の画素値は 1 ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタヅブを構成する各画素についての 1 ビットの画素値を、所定の順番で並べたビット列が、 A D R Cコードとして出力される。

したがって、 ADR Cによれば、クラスタップが、 N個の生徒画素で構成され、そのクラスタップの Kビヅト A D R C処理結果がクラスコードとされる場合には、注目画素は、（ 2N) Kクラスのうちのいずれかのクラスにクラス分類されることになる。

正規方程式加算回路 3 7は、フレームメモリ 3 1から、注目画素となっている教師画素を読み出し、測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とした足し込みを行う。

即ち、正規方程式加^回路 3 7は、クラス分類回路 3 6から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（ 7 ) の正規方程式の左辺における、予測係数の乗数となっている、生徒画素どうしの乗算 ( x in x X ini) と、サメ一シヨン（∑) に相当する演算を行う。

さらに、正規方程式加算回路 3 7は、やはり、クラス分類回路 3 6から供給されるクラスコードに対応するクラスごとに、予測夕ッブ（生徒画素）及び注目画素（教師画素）を用い、式（ 7 ) の正規方程式の右辺における、生徒画素と注目画素（教師画素）の乗算（x i n x y i ) と、サメーシヨン（∑ ) に相当する演算を行う。

正規方程式加算回路 3 7は、以上の足し込みを、フレームメモリ 3 1 に記憶された教師画素すベてを、注 5画素として行い、これにより、クラスごとに、式 ( 7 ) に示した正規方程式がたてられる。そして、この正規方程式に基づいて、所定の教師画素数ごとに向上情報が生成される。

予測係数決定回路 3 8は、正規方程式加算回路 3 7においてクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ 3 9 の、各クラスに対応するアドレスに供給する。メモリ 3 9は、予測係数決定回路 3 8から供給される子測係数を、向上情報として記憶し、必要に応じて、統合部 1 2 (図 2 ) に供給する。

なお、正規方程式加算回路 3 7において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得る。予測係数決定回路 3 8は、そのようなクラスについては、例えば、デフォルトの予測係数（例えば、比較的多くの教師画像を用いて、予め求められた予測係数など）を出力する。

制御回路 4 0には、放送用画像データの画質を向上させる向上方式を選択する方式選択信号（図 2 ) が供給されるようになっている。制御回路 4 0は、その方式選択信号が示す向上方式によって、放送用画像データの画質を向上させるのに必要な向上情報が生成されるように、予測タップ構成回路 3 4、クラスタップ構 - 成回路 3 5及びクラス分類回路 3 6を制御する。ここで、本実施の形態では、受信装置 3で使用される向上方式（に用いられる向上 '報）によって、課金処理部 1 4が課金する金額（視聴料等）が異なるようになっている。

課金される金額（^金額）は、向上方式として、例えば、クラス分類処理を使 fflするかどうかによつて設定することができる。即ち、例えば、図 8 Aに示すように、向上:な式として、線形補間を使用する場合、適応処理のみを使用する場合、クラス分類適応処理を使川する埸台の 3つの場合で、課金額を異なる額にすることができる。

なお、適応処理のみを使川する埸合とは、クラス分類を行わずに、適応処理のみを行う ¾合を, S味し、したがって、クラス分類適応処理におけるクラスが 1つ (モノクラス）しかない ¾合に ffl する。

また、向ヒ方式として、線形補問を使川する場合には、了測係数は必要ないため、向上情報生成部 1 1 では、特に処理は行われず、例えば、線形補間を指示する旨が、向上情報として出力される。

課金額は、さらに、向上方式として使用するクラス分類適応処理におけるクラス数によって設定することもできる。即ち、例えば、図 8 Bに示すように、向上方式として、線形補問を使 ]]する場合、クラス数の少ないクラス分類適応処理を使用する場合、クラス数の多いクラス分類適応処理を使用する場合の 3つの場合で、課金 lを異なる額にすることができる。

また、課金額は、向上方式として使用するクラス分類適応処理における予測係数を生成するのに川いる^徒 I面像又は教師画像の画質によって設定することもできる。即ち、例えば教師 L面像の画質が良い場合には、放送用画像データの画質を大きく向上させることのできる、いわば性能の高い予測係数が得られるし、逆に、教師画像の画質があまり ^くない場合には、放送 ffl画像データの画質を少ししか向上させない、いわば性能の低い予測係数が得られる。そこで、例えば、図 8 C に示すように、向上方式として、線形補間を使用する場合、性能の低い予測係数によるクラス分類適応処理を使用する場合、性能の高い予測係数によるクラス分類適応処理を使用する場合の 3つの場合で、課金額を異なる額にすることができる。さらに、課金額は、向上方式として使用するクラス分類適応処理において構成されるクラスタップや予測タップによって設定することも可能である。即ち、クラスタップや予測タップの構成の仕方（タップの形状や、タップを構成する画素数、空問方向若しくは時問方向の一方又は両方の画素から夕ップを構成する等）によっては、上述したように、得られる画像の画質が異なるので、この構成の仕方によって、課金額を異なる額にすることができる。

また、，金額は、向上方式として使用するクラス分類適応処理におけるクラス分類の方法によって設定することも可能である。即ち、図 8 Dに示すように、向上方式として、線形補間を使用する場合、上述の閾値によるクラス分類を用いた適応処理を使用する場合、 A D R C処理によるクラス分類を用いた適応処理を使用する場合の 3つの場合で、課金額を異なる額とすることができる。

向上方式と方式選択^号は、例えば、図 8 A乃至 8 Dに示すように対応付けることができ、制御回路 4 0は、そこに供給される方式選択信号に対応する向上方式に用いる向上情報が得られるように指示を行う制御信号を、予測タップ構成回路 3 4、クラスタップ構成回路 3 5及びクラス分類回路 3 6に出力する。なお、向上方式としては、上述したものの複数の組み合わせを採用することも可能である。

次に、図 9のフローチャートを参照して、図 6の向上情報生成部 1 1 により行われる、向上情報を生成する向上情報生成処理について説明する。

まず最初に、ステップ S 2 1 において、向上情報生成単位に相当する分の教師画像がフレームメモリ 3 1 に記憶される。そして、ステップ S 2 2に進み、制御回路 4 ◦は、そこに供給される方式選択信号に対応する向上方式に用いる向上情報が得られるように指示を行う制御信号を、予測タップ構成回路 3 4、クラスタップ構成回路 3 5及びクラス分類回路 3 6に供給する。これにより、予測タップ構成回路 3 4、クラスタップ構成回路 3 5及びクラス分類回路 3 6は、制御信号に従った向上方式に用いる向上情報としての予測係数が得られるような処理を行うように設定される。

なお、制御回路 4 0に供給される方式選択信号には、複数の向上方式を表す情報が含まれており、制御回路 4 0は、その複数の向上方式に対応する制御信号を、ステップ S 2 2の処理が行われるごとに、順次出力する。

また、制御回路 4 0が出力する制御信号が、線形補間を表す場合には、メモリ 3 9に、線形補間を指示する旨が、向上情報として記憶される。そして、ステツプ S 2 3乃至 S 2 8の処理はスキヅプされ、ステップ S 2 9に進む。

ステップ S 2 2の処理後は、ステップ S 2 3に進み、ダウンコンバータ 3 2において、フレームメモリ 3 1に記憶された教師画像に対して、必要に応じて、 L P F ( Low Pass F i l ter) がかけられ、あるいは間引きが行われ、放送用画像デ一夕と同一画質の画像が、生徒画像として生成されて、フレームメモリ 3 3に供給されて記憶される。

なお、生徒画像は、放送用画像データと異なる画質の画像とすることもでき、その場合には、その旨の制御信号が、制御回路 4 0からダウンコンバータ 3 2に供給され、ダウンコンバータ 3 2では、制御回路 4 0からの制御信号に従った画質の生徒画像が生成される。

そして、ステップ S 2 4に進み、フレームメモリ 3 1に記憶された教師画素のうちの、まだ注目画素とされていないものが、注目画素とされ、予測タップ構成回路 3 4において、制御回路 4 ◦からの制御信号に従った構成の、注目画素についての予測夕ップが、フレームメモリ 3 3に記憶された生徒画素を用いて構成される。さらに、ステツプ S 2 4では、クラスタツプ構成回路 3 5において、制御回路 4 0からの制御信号に従った構成の、注目画素についてのクラスタツプが、フレームメモリ 3 3に記憶された生徒画素を用いて構成される。そして、予測夕ップは、正規方程式加算回路 3 7に供給され、クラスタップは、クラス分類回路 3 6に供給される。

クラス分類回路 3 6は、ステップ S 2 5において、クラスタップ構成回路 3 5 からのクラスタップに基づき、制御回路 4 0からの制御信号に従った方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路 3 7に供給し、ステップ S 2 6に進む。

ステップ S 2 6では、正規方程式加算回路 3 7において、フレームメモリ 3 1 から、注目画素となっている教師画素が読み出され、予測タップ（を構成する生- 徒画素）、注目画素（教師画素）を対象として、上述したような足し込みが行われる。

そして、ステップ S 2 7に進み、制御回路 4 0により、フレームメモリ 3 1 に記憶された、向上情報生成 i! の教師画素すベてを画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを S画素として、足し込みを行っていないと判定された場合、ステップ S 2 4に戻る。この場合、まだ注目画素とされていない教師画素のうちの 1つが、新たに注目画素とされ、ステツブ S 2 4乃至 S 2 7の処理が繰り返される。

また、ステップ S 2 7において、制御回路 4 0により、向上情報生成単位の教師画素すベてを注目画素として、足し込みを行ったと判定された場合、即ち、正規方程式加算回路 3 7においてクラスごとの正規方 R式が得られた場合、ステツプ S 2 8に進み、予測係数決定回路 3 8は、そのクラスごとに生成された正規方程式をそれそれ解くことにより、クラスごとの予測係数を求め、メモリ 3 9の、各クラスに対応するアドレスに供給する。メモリ 3 9は、予測係数诀定回路 3 8 から供給される予測係数を、向上情報として記憶する。

なお、メモリ 3 9は、複数バンクを有しており、これにより、複数種類の向上情報を同時に記憶することができるようになつている。

その後、ステップ S 2 9に進み、制御回路 4 0は、そこに供給された方式選択信号に含まれる複数の向上方式のすべてについて、向上情報が得られたかどうかを判定する。

ステツプ S 2 9において、方式選択信号に含まれる複数の向上方式に用いられる複数の向上情報の中で、まだ得られていないものがあると判定された場合、ステツブ S 2 2に戻り、制御回路 4 0は、まだ向上情報が得られていない向上方式に対応する制御信号を出力し、以下、上述の場合と同様の処理が繰り返される。一方、ステップ S 2 9において、方式選択信号に含まれる複数の向上方式のすベてについて、向上報が得られたと判定された場合、即ち、方式選択信号に含まれる複数の向上方式それそれに用いられる複数種類の向上情報が、メモリ 3 9 に記憶された場合、ステップ S 3 0に進み、メモリ 3 9から、その複数種類の向上情報が読み出され、統合部 1 2 (図 2 ) に供給されて処理を終了する。

なお、図 9の向上情報生成処理は、フレームメモリ 3 1 に、向上情報生成単位分の教師画像が供給されるごとに繰り返し行われる。

ところで、図 6の施の形態においては、放送川闹像データと同一内容の高画 !の雨像データが^在することを前提としたが、そのような β両質の画像データが存在しない場合（例えば、几の U面像をそのまま放送 ffl画像データとして用いる場合）がある。この場合には、教師画像が存在しないこととなるため、図 6の向上 ' i報生成部 1 1 では、向 h怙報としての予測係数を生成することができないことになる。

そこで、冈 1 0は、送信装^ 1 が原両像と同じサイズの画像を送出する際、教師両像となる高画のゆ i像データなしで、向上情報としての予測係数を生成可能な向 h† 報 ΐ成部 1 1の他の構成例をしている。なお、冈中、図 6における場合と対応する部分については、 ']一の符^を付してあり、以下では、その説明は、適宜 ¾略する。即ち、図 1 0の^ ヒ怙報^成部 1 1は、ダウンコンバータ 3 2が設けられておらず、フレームメモリ 4 1、特徴量推定回路 4 2、仮教師データ生成回路 4 3及び仮生徒データ生成回路 4 4が新たに設けられている他は、基本的に、図 6における場合と同様に構成されている。

図 1 0の向上^報生成部 1 1では、 ¾の教師画像が存在しないため、真の教師画像と、生徒画像としての放送用画像データとの関係と同様の関係となるような仮の教師画像と、仮の面像（以下、適宜、それそれを、仮教師画像と、仮生徒画像という）とを、放送川像データから生成し、これらの仮教師画像及び仮生徒画像を用いて、向上 'i報としての予測係数を生成するようになつている。即ち、フレームメモリ 4 1 には、放送 ffl画像データが供給されるようになっており、フレームメモリ 4 1は、そこに供給される放送用画像データを、向上情報生成単位で記憶するようになっている。

特徴量推定回路 4 2は、フレームメモリ 4 1 に記憶された放送用画像データの特徴を求め、仮教師データ生成回路 4 3及び仮生徒デ一夕生成回路 4 4に供給するようになっている。

ここで、放送用画像データの特徴量としては、例えば、水平方向や、垂直方向の自桕関係数、両素値のヒストグラム、隣接する画素どうしの差分値のヒストグラム（アクティビティのヒストグラム）等を用いることができる。仮教師データ生成回路 4 3は、特徴量推定回路 4 2からの放送用画像データの特徴量に基づいて、放送用画像データに対する本来の教師画像（真の教師画像）の特徴 ffi (以下、適宜、推定教帥特徴量という）を推定する。さらに、仮教師デ —夕生成回路 4 3は、フレームメモリ 4 1に記憶された放送用画像データに対して、 L P Fをかけ、さらに間引き等を行うことで、推定教師特徴量と同様の特徴量を有する画像を生成し、その画像を、仮教師画像として、フレームメモリ 3 1 及び仮生徒データ生成回路 4 4に供給する。

仮生徒データ生成回路 4 4は、仮教師データ生成回路 4 3から供給される仮教師画像に対して、 L P Fをかけることで、特徴量推定回路 4 2から供給される、本来の生徒画像である放送用画像データの特徴量と同様の特徴量を有する画像を生成し、その画像を、仮生徒画像として、フレームメモリ 3 3に供給する。

次に、図 1 1のフローチヤ一トを参照して、図 1 ◦の向上情報生成部 1 1 により行われる、向上情報を生成する向上情報生成処理について説明する。

フレームメモリ 4 1に、放送用画像データが供給されて記憶されると、まず最初に、ステップ S 4 1において、特徴量推定回路 4 2は、フレームメモリ 4 1に記憶された放送用画像データの特徴量を抽出し、仮教師データ生成回路 4 3及び仮生徒データ生成回路 4 4に供給する。

仮教師データ生成回路 4 3は、特徴量推定回路 4 2から放送用画像データの特徴量が供給されると、ステップ S 4 2において、その特徴量に基づいて、放送用画像データに対する本来の教師画像の特徴量（推定教師特徴量）を推定し、ステップ S 4 3に進む。ステツプ S 4 3では、仮教師データ生成回路 4 3は、推定教師特徴量に基づいて、推定教師特徴量と同様の特徴量を有する画像を放送用画像データから得るための、 L P Fのフィル夕特性と間引き幅（間引き率）を設定し、ステップ S 4 4に進む。

ステップ S 4 4では、仮教師データ生成回路 4 3は、設定された間引き幅で、フレームメモリ 4 1 に記憶された放送用画像データを間引き、さらに、その間引き後の画像に対して、設定されたフィルタ特性の L P Fをかけ、仮教師画像を生成する。

ここで、ステップ S 4 4において、放送用画像データを間引くのは、高画質の画像は、それより画質の低い同じサイズの画像に比較して、自己相関の形状が急峻になることから、空間周波数が高く、自己相関の形状が急峻になるような画像を、仮教師画像として得るためである。

ステップ S 4 4の処理後は、ステップ S 4 5に進み、仮教師データ生成回路 4 3は、ステップ S 4 4で生成した仮教師画像の特徴量を求め、その特徴量が、推定教師特徴量に近似するかどうかを判定する。ステップ S 4 5において、仮教師画像の特徴量が、推定教師特徴量に近似していないと判定された場合、ステップ S 4 6に進み、仮教師データ生成回路 4 3は、放送用画像デ一夕にかける L P F のフィルタ特性又は問引き幅の設定値を変更し、ステップ S 4 4に戻る。これにより、仮教師画像の生成をやり直す。

一方、ステップ S 4 5において、仮教師画像の特徴量が、推定教師特徴量に近似すると判定された場合、その仮教師画像を、フレームメモリ 3 1 に供給して記憶させるとともに、仮生徒データ生成回路 4 4に供給し、ステップ S 4 7に進む _c ステップ S 4 7では、仮^徒データ生成回路 4 4は、仮教師データ生成回路 4 3から供給される仮教師画像に対してかける L P Fのフィルタ特性を設定し、ステツブ S 4 8に進む。

ステップ S 4 8では、仮生徒データ生成回路 4 4は、仮教師画像に対して、設定されたフィルタ特性の L P Fをかけ、仮生徒画像を生成する。

そして、ステップ S 4 9に進み、仮生徒デ一夕生成回路 4 4は、ステップ S 4 8で生成した仮生徒画像の特徴量を求め、その特徴量が、特徴量推定回路 4 2から供給される放送用画像データの特徴量に近似するかどうかを判定する。ステツプ S 4 9において、仮生徒画像の特徴量が、放送用画像データの特徴量に近似していないと判定された場合、ステップ S 5 0に進み、仮生徒データ生成回路 4 4 は、仮教師画像にかける L P Fのフィルタ特性の設定値を変更し、ステップ S 4 8に戻る。これにより、仮生徒画像の生成をやり直す。

一方、ステップ S 4 9において、仮生徒画像の特徴量が、放送用画像データの特徴量に近似すると判定された場合、その仮生徒画像を、フレームメモリ 3 3に供給して記憶させ、ステップ S 5 1 に進む。

ステップ S 5 1乃至 S 5 8では、フレームメモリ 3 1 に記憶された仮教師画像を、本来の教師画像とするとともに、フレームメモリ 3 3に記憶された仮生徒画像を、本来の ΐ徒画像として、図 9のステップ S 2 2 , S 2 4乃至 S 3 0における場合とそれぞれ同様の処 I が行われ、これにより、複数種類の向上情報が生成され、メモリ 3 9に記憶される。そして、この複数種類の向上† 報が、メモリ 3 9から読み出され、統合部 1 2 (図 2 ) に供給されて処理を終了する。ここで、図 1 1 の実施の形態においては、教師画像と生徒 lifii像のサイズが同一であるため、構成されるクラスタップ及び予測タップは、図 7に^した場合と異なる力教師画像の中の;: E H画素の位 iSの周辺に位置する生徒画像の複数の画素から、クラス夕ップ及び 7'測タップを構成する点については、図 9の実施の形態における場合と同様である。

なお、図 1 1の向上情報生成処理も、図 9における場合と同様に、フレームメモリ 4 1 に、向上^報生成^位分の放送用画像データが供給されるごとに繰り返し行われる。

次に、図 1 2は、送信装置 1 (図 2 ) の向上情報生成部 1 1力図 6や図 1 0 に示したように構成される場合の、受信装置 3 (図 4 ) の品質向上部 2 4の構成例を示している。

フレームメモリ 5 1には、抽出部 2 2 (図 4 ) が出力する放送用画像データが供給されるようになっている。フレームメモリ 5 1は、その放送用画像データを、向上 ½報生成^位で^^する。

予測タ 'ノプ構成回路 5 2は、制御回路 5 7からの制御信に従い、図 6の予測タップ構成回路 3 4 と同様の処理を行い、これにより、フレームメモリ 5 1 に記憶された放送用画像データを用いて、？測タップを構成し、予測演算回路 5 6に供給する。

クラスタツプ構成回路 5 3は、制御回路 5 7からの制御信号に従い、図 6のクラスタップ構成回路 3 5 と同様の処理を行い、これにより、フレームメモリ 5 1 に記憶された放送 ffl画像データを用いて、クラスタップを構成し、クラス分類回路 5 4に供給する。

クラス分類回路 5 4は、制御回路 5 7からの制御信号に従い、図 6のクラス分類回路 3 6 と同様の処理を行い、これにより、クラスタップ構成回路 5 3からのクラスタップを fflいたクラス分類結 ¾としてのクラスコードを、アドレスとしてメモリ 5 5に給する。

メモリ 5 5は、選択部 2 3 (図 4 ) から ί共給される向上報としての予測係数を記 t,Sする。さらに、メモリ 5 5は、クラス分類回路 5 4からのクラスコードに対応するアドレスに, icitSされている予測係数を読み出し、予測演算回路 5 6に供給する。

予測演算回路 5 6は、 ί'測タップ構成回路 5 2から供給される予測タップと、メモリ 5 5から供給される子測係数とを用いて、式（ 1 ) に示した線形予測演算 (積和演^ ) を行い、その結！ β られる画素値を、放送 ffl画像データの画質を向ヒさせた画 ΤΪ幽像 (教師両像 ) の ί'測値として出力する。

制御问路 5 7には、遗択部 2 3 (図 4 ) が出力する方式選択号が供給されるようになつている。制御 Μ路 5 7は、その方式選択信^に基づいて、図 6の制御回路 4 0における J¾合と Iri] の制御 ί を、予測タップ構成回路 5 2、クラスタップ構成回路 5 3及びクラス分類回路 5 4に出力する。

ここで、選択部 2 3から制御回路 5 7に供給される方式選択信号は、図 6の制御回路 4 0に供給される方式選択信号に含まれる複数の向上方式を表す情報のうち、ユーザの要求に応じて金処理部 2 7 (図 4 ) が出力する画質レベル信号に対応する 1つの ' 報だけをむものである。したがって、制御回路 5 7は、ユーザが要求する画 f!の litjj像がられるように、予測タップ構成回路 5 2、クラスタップ構成回路 5 3及びクラス分類回路 5 4を制御する。

次に、図 1 3のフローチャートを参照して、図 1 2の品質向上部 2 4において行われる、放送 m両像の画 Kを向上させる品質向上処理について説明する。受信装匿 3 ( M 4 ) において、抽出部 2 2から品質向上部 2 4に対して、向上情報生成単位の放送川画像データが供給されると、選択部 2 3から品質向上部 2 4に対して、複数の |ή]上. ½報の中から、画質レベル信号に基づいて選択された 1 種類（ 1セット）の向ヒ怡報が、その向上情報を fflいて画質を向上させる向上方式を示す方式選択とともに供給される。

そして、ステップ S 6 1 において、フレームメモリ 5 1 に、抽出部 2 2から供給される放送幽像データが、上情報生成単位で記憶される。また、ステップ S 6 1では、選択部 2 3から供給される向上情報が、メモリ 5 5に記憶される。さらに、ステップ S 6 1では、制御回路 5 7は、選択部 2 3から方式選択信号が供給され、その方式選択信号に対応する向上方式によって、放送用画像データの画質を向上させるように指示を行う制御信号を、予測タップ構成回路 5 2、クラスタップ構成回路 5 3及びクラス分類回路 5 4に供給する。これにより、予測夕ップ構成问路5 2、クラスタップ構成回路 5 3及びクラス分類回路 5 4は、制御回路 5 7からの制御信号が示す向上方式に従った処理を行うように設定される。なお、本実施の形態では、制御回路 5 7に供給される方式選択信号が、線形補問を表す場合を除いて、メモリ 5 5に記憶される向上† 報は、予測係数である。また、制御回路 5 7に供給される方式選択信号が、線形補間を表す場合には、制御回路 5 7は、予測演算回路 5 6に対して、フレームメモリ 5 1 に記憶された放送川画像データを線形補問することを指示する制御信号を供給する。この場合、予測演算回路 5 6は、フレームメモリ 5 1 に記憶された放送用画像データを、予測タップ構成冋路 5 2を介して読み出し、線形補間を行って出力する。そして、この場合、ステップ S 6 2以降の処理は行われない。

ステップ S 6 1の処理後は、ステップ S 6 2に進み、フレームメモリ 5 1に記憶された放送用画像データの画質を向上させた高画質画像を構成する画素のうちの、まだ注目画素とされていないものの 1つが、注目画素とされ、予測タップ構成回路.5 2において、制御回路 5 7からの制御信号に従った構成の、注目画素についての予測タップが、フレームメモリ 5 1に記憶された放送用画像データの画素を用いて構成される。さらに、ステップ S 6 2では、クラスタップ構成回路 5 3において、制御回路 5 7からの制御信号に従った構成の、注目画素についてのクラスタツプが、フレームメモリ 5 1 に記憶された放送用画像データの画素を用いて構成される。そして、予測タップは、予測演算回路 5 6に供給され、クラスタップは、クラス分類回路 5 4に供給される。

クラス分類回路 5 4は、ステップ S 6 3において、クラスタップ構成回路 5 3 からのクラスタップを用いて、制御回路 5 7からの制御信号に従った方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、メモリ 5 5に対して、アドレスとして供給し、ステップ S 6 4に進む。ステップ S 6 4では、メモリ 5 5において、ステップ S 6 1で記憶された向上情報としての予測係数のうち、クラス分類回路 5 4からのクラスコードで表示されるアドレスに記憶されているものが読み出され、予測演算回路 5 6に供給される。

予測演算回路 5 6は、ステップ S 6 5において、予測タップ構成回路 5 2から供給される予測タップと、メモリ 5 5から供給される予測係数とを用いて、式

( 1 ) に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、一時記憶する。

そして、ステップ S 6 6に進み、制御回路 5 7により、フレームメモリ 5 1 に記憶された放送用画像データのフレームに対応する高画質画像のフレ一ムを構成する画素すベてを注目画素として、その予測値を求めたかどうかが判定される。ステップ S 6 6において、高画質画像のフレームを構成する画素すベてを注目画素として、まだ予測値を求めていないと判定された場合、ステップ S 6 2に戻り、高画質画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。

一方、ステップ S 6 6において、高画質画像のフレームを構成する画素すベてを注目画素として、予測値を求めたと判定された場合、ステップ S 6 7に進み、予測演算回路 5 6は、それまでに求めた予測値でなる高画質の画像を、表示部 2 5 (図.4 ) に順次出力し、処理を終了する。

なお、図 1 3の品質向上処理は、フレームメモリ 5 1に、向上情報生成単位分の放送用画像データが供給されるごとに繰り返し行われる。

以上のように、送信装置 1から、複数種類の向上情報を送信し、受信装置 3において、その複数種類の向上情報から、ユーザの要求に応じた画質に対応するものを選択し、その選択した向上情報を用いて、画質を向上させるようにしたので、ユーザの要求に応じた画質の画像の提供が可能となり、さらに、ユーザに提供した画像の画質に応じて、きめ細かな課金を行うことができる。

なお、上述の場合においては、送信装置 1から、複数種類の向上情報を送信し、受信装置 3において、その複数種類の向上情報から、ユーザの要求に応じた画質に対応するものを選択するようにしたが、その他、例えば、送信装置 1 においては、受信装匿 3からユーザの要求を、前もって受け付け、その要求に応じた画質に対応する向上 ^報だけを、受信装置 3に送信するようにすることが可能である ₍ この場、図 2に点線で示したように、課金処理部 1 4からの制御に従って、統合部 1 2において、ユーザからの要求に応じた画質に対応する向上情報だけが、統合に含められる。

さらに、上述の場合には、 ¾数種類の向上情報として、複数種類の予測係数や線形補問を指示する Rを送信するようにしたが、その他、例えば、複数種類の予測係数は、送信装 Ε 1から送信せずに、受信装^ 3のメモリ 5 5に予め求めた予測係数を記憶させておき、複数種類の向上情報としては、メモリ 5 5に記億された複数稀類の予測係数のいずれを用いるかに関する情報を送^するようにすることが可能である。

また、ヒ述の場合には、向ヒ方式として、クラス分類適応処理及び線形補間を用いるようにしたが、その他の処理を、向上方式として採用することも可能である。

さらに、上述の場合には、向上情報生成部 1 1 において、予測係数を向上情報として生成し、品質向上部 2 4において、その予測係数を用いてクラス分類適応処理を行うことにより、画像の画質を向上させるようにしたが、その他、例えば、向上情報生成部 1 1では、 Θ画素の予測に用いるのに適切な予測係数のクラスコードを、上 ½報として求め、品質向上部 2 4では、そのクラスコードの予測係数を用いて適応処理をうことにより、画像の画質を向上させることが可能である。

即ち、向上愦報生成部 1 1及び品質向上部 2 4には、予め学習を行うことにより得られる、クラスごとの予測係数を記憶させておく。そして、向上情報生成部 1 1では、め記憶している各クラスの予測係数を用いて、適応処理を行うことにより、高画質の画像の予測値を求め、各画素ごとに、最も真値に近い予測値が得られたときの f'測係数のクラスコードを、向上情^として求める。一方、品質向上部 2 4では、予め記憶している予測係数のうち、向上情報としてのクラスコードに対応するものを用いて、高画質の画像の予測値を求め、画質を向上させた画像を得る。この場合、受信装置 3では、送 ί言装置 1 (向上情報生成部 1 1 ) において得られるのと同一 liii] f!の画像が得られることになる。

なお、この ¾ vには、上怙報生成部 1 1 及び品 K向上部 2 4において、上述したようなクラス分類は、われないことになる。即ち、向上 ½報生成部 1 1では、 f'測値を求めるのに適切な予測係数のクラスコードが、例えば、すべてのクラスの予測係数を用いて適応処 ( '測演^ ) を行うことにより求められ、品質向上部 2 4では、そのようなクラスコードを向上 tr!報として、そのクラスコードの T'測係数を川いて適応処を行うことにより、像の品質が向上されるので、向上^報 ΐ成部 1 1 及び品質向上部 2 4のいずれにおいても、クラス分類を行う必要がない。

即ち、 Μ 1 4は、； i.: β'ι Μの予測に Π 'るのに適切な '測係数のクラスコードを、向上 ·银として求める '' J ヒ ff 報 ΐ成部 1 1 の構成例を示している。なお、図中、図 6における ¾ と対応する部分については、同一の符号を付してあり、以下では、その説明は、適 'fY f 略する。

メモリ 1 0 1 には、後述する学習装^ (図 1 6 ) において学習が行われることにより求められるクラスごとの予測係数が記憶されている。メモリ 1 0 1は、制御回路 4 0により制御され、各クラスの予測係数を、順次読み出し、予測演算回路 1 ◦ 2に ί共給する。

予測演冋路 1 0 2には、メモリ 1 0 1 から了'測係数が供給される他、予測タッブ構成回路 3 4から測タップが供給されるようになつている。予測演算回路 1 0 2は、図 1 2の f M 57.回路 5 6 と同様に、予測タップ構成回路 3 4から供給される予測タップと、メモリ 1 0 1 から供給される予測係数とを用いて、式

( 1 ) に示した線形？"，測演 n (積和演算）を行う。但し、予測演算回路 1 0 2は、ある予測タップについて、メモリ 1 0 1 から順次供給される各クラスの予測係数それぞれとの線形 f'測演を行い、教師画素の予測値を求める。したがって、予測演算回路 1 0 2では、教師画素について、全クラス数と同一の数の予測値が求められることになる。

予測演算回路 1 0 2で求められた Γ'測値は、比較回路 1 0 3に供給されるようになっている。さらに、比'晈回路 1 0 3には、フレームメモリ 3 1 から教師画像も供給されるようになつている。比敉回路 1 ◦ 3は、フレームメモリ 3 1から供給される教師画像を構成する教師画素と、予測演算回路 1 0 2から供給される、その教師画素の、各クラスの予測係数から求められた予測値それそれとを比較することにより、予測誤差を求め、検出回路 1 0 4に供給する。

検出回路 1 0 4は、比較回路 1 0 3から供給される予測誤差を最も小さくする教師画素の f'測値を検出する。さらに、検出回路 1 0 4は、その予測値が得られたときの予測係数のクラスを表すクラスコ一ドを検出し、向上情報として出力する。

次に、図 1 5のフローチャートを参照して、図 1 4の向上情報生成部 1 1により行われる、向上情報を生成する向上情報生成処理について説明する。

まず最初に、ステップ S 1 1 1 において、向上情報生成単位に相当する分の教師画像がフレームメモリ 3 1に記憶される。そして、ステップ S 1 1 2に進み、制御回路 4 0は、そこに供給される方式選択信号に対応する向上方式に用いる向上情報が得られるように指示を行う制御信号を、予測夕ップ構成回路 3 4に供給する。これにより、予測タップ構成回路 3 4は、制御信号に従った向上方式に用いる向上情報としてのクラスコードが得られるような処理を行うように設定される。

なお、制御回路 4 0に供給される方式選択信号には、複数の向上方式を表す情報が含まれており、制御回路 4 0は、その複数の向上方式に対応する制御信号を、ステップ S 1 1 2の処理が行われるごとに、順次出力する。

また、制御回路 4 0が出力する制御信号が、線形補間を表す場合には、メモリ 3 9に、線形補間を指示する旨が、向上情報として記憶される。そして、ステツプ S 1 1 3乃至 S 1 2 2の処理はスキップされ、ステップ S 1 2 3に進む。

ステップ S 1 1 2の処理後は、ステップ S 1 1 3に進み、ダウンコンバ一タ 3 2において、フレームメモリ 3 1 に記憶された教師画像に対して、必要に応じて、 L P F ( Low Pass F i l ter) がかけられ、あるいは間引きが行われ、放送用画像デ一夕と同一画質の画像が、生徒画像として生成されて、フレームメモリ 3 3に供給されて記億される。

なお、図 1 5の実施の形態においても、図 9の実施の形態と同様に、生徒画像は、放送用画像データと異なる画質の画像とすることもでき、その場合には、その旨の制御信号が、制御回路 4 0からダウンコンバータ 3 2に供給され、ダウンコンバータ 3 2では、制御回路 4 0からの制御信号に従った画質の生徒画像が生成される。

そして、ステップ S 1 1 4に進み、フレームメモリ 3 1 に記憶された教師画素のうちの、まだ注目画素とされていないものが、；'主目画素とされ、予測タップ構成回路 3 4において、制御回路 4 0からの制御信号に従った構成の、注目画素についての予測タ 'ソプが、フレームメモリ 3 3に記憶された生徒画素を用いて構成される。この予測タップは、予測演算回路 1 0 2に供給される。

その後、ステップ S 1 1 5に進み、制御回路 4 0は、クラスをカウントする変数 iに、初期値としての 0をセットし、ステップ S 1 1 6に進む。ステップ S 1 1 6では、制御回路 4 0力変数 iをァドレスとして、メモリ 1 ◦ 1 に与える。これにより、ステップ S 1 1 6では、メモリ 1 0 1から、クラスコード # iに対応する予測係数が読み出され、予測演算回路 1 ◦ 2に供給される。

予測演算回路 1 0 2は、ステップ S 1 1 7において、予測タップ構成回路 3 4 から供給される予測タップと、メモリ 1 0 1から供給される予測係数とを用いて、式（ 1 ) に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、比較回路 1 0 3に供給する。

比較回路 1 0 3は、ステップ S 1 1 8において、注目画素の画素値を、フレー厶メモリ 3 1から読み出し、予測演算回路 1 0 2からの予測値と比較することで、その予測値の予測誤差を求める。さらに、ステップ S 1 1 8において、比較回路 1 0 3は、了，測誤差を、検出回路 1 0 4に供給し、ステップ S 1 1 9に進む。ステップ S 1 1 9では、制御回路 4 0力変数 iを 1だけインクリメントして、ステップ S 1 2 0に進む。ステップ S 1 2 0では、制御回路 4 0力変数 iが、全クラス数である N未満であるかどうかを判定し、変数 iが N未満であると判定した場合、ステップ S 1 1 6に戻り、以下、同様の処理を繰り返す。

また、ステップ S 1 2 0において、変数 iが N未満でないと判定された場合、即ち、注目画素について、すべてのクラスに対応する予測係数を用いて、予測値の予測誤差が求められた場合、ステップ S 1 2 1 に進み、検出回路 1 0 4は、注目画素について、その予測誤差を最小にする予測係数のクラスを検出し、そのクラスに対応するクラスコードを、向上情報として記憶する。

そして、ステップ S 1 2 3に進み、制御回路 4 0は、そこに供給された方式選択信号に含まれる複数の向上方式のすべてについて、向上情報が得られたかどうかを判定する。

ステップ S 1 2 3において、方式選択信号に含まれる複数の向上方式に用いられる複数の向上情報の中で、まだ^られていないものがあると判定された場合、ステップ S 1 1 2に戻り、制御回路 4 0は、まだ向上情報が得られていない向上方式に対応する制御信を出力し、以下、上述の場合と同様の処理が繰り返される。

- - 、ステップ S 1 2 3において、方式選択 ί言号に含まれる複数の向ヒ方式のすべてにつて、向上情報が ί られたと判定された場合、即ち、方式選択信号に含まれる複数の向上方式それそれに川いられる複数種類の向上佶報が、検出回路 1 0 4に記憶された場合、ステップ S 1 2 4に進み、検出回路 1 0 4から、その複数種類の向上情報が^み出され、統合部 1 2 (図 2 ) に供給されて処理を終了する。

なお、図 1 5の向上情報生成処理は、図 9の実施の形態と同様に、フレームメモリ 3 1 ：こ、向上情報生成単位分の教師画像（例えば、 1 フレーム分の教師画像）が供給されるごとに繰り返し行われる。

次に、図 1 6は、 [ 1 4のメモリ 1 0 1 に記憶させるクラスごとの予測係数を求める学習装置のー¾施の形態の構成例を示している。

図 1 6の実施の形態において、フレームメモリ 1 1 1、ダウンコンバータ 1 1 2、フレームメモリ 1 1 3、？測タツプ構成回路 1 1 4、クラスタツブ構成回路 1 1 5、クラス分類回路 1 1 6、正規方程式加算回路 1 1 7、予測係数決定回路 1 1 8、メモリ 1 1 9は、図 6に示した向上情報生成部 1 1のフレームメモリ 3 1、ダウンコンバータ 3 2、フレームメモリ 3 3、予測タップ構成回路 3 4、クラスタップ構成回路 3 5、クラス分類回路 3 6、正規方程式加算回路 3 7、予測係数決定回路 3 8、メモリ 3 9 とそれそれ同様に構成されている。

したがって、図 1 6の学習装置では、基本的には、図 6の向上情報生成部 1 1 と同様の理が行われることにより、クラスごとの予測係数が求められる。図 1 4のメモリ 1 0 1 には、 1 1 6の装 Eにおいて； r'め学習を行うことにより求められたクラスごとの予測係数が記憶されている。

なお、 1 6の '上施の形態では、ダウンコンバータ 1 1 2、了'測タップ構成回路 1 1 4、クラスタツプ構成 W路 1 1 5及びクラス分類回路 1 1 6を制御することにより、タップ構成やクラス分類方法を変えて、浚数嵇類の予測係数を求めることが能である。

次に、図 1 7は、報生成部 1 1が図 1 4に示したように構成される場合の、 ' 装 3 ( ¾ 4 ) の品 t' |nj I：部 2 4の構成例を示している。なお、図中、図 1 2における場合と対応する分については、 ^一の符号を付してあり、以下では、その説明は、適: 略する。

クラスコード記惊部 1 2 1は、上^報としてのクラスコードを記憶する。即ち、いまの合、送 ίΓί装^ 1 からは、放送) Π画像データの画質を向上させた高画質画像の^ liiし斗ごとに、クラスコードが、向上報として送信される。この向上情報としてのクラスコードは、 '3信装 IS 3 (図 4 ) の選択部 2 3から品質向上部 2 4 (図 1 7 ) に供給され、クラスコード記憶部 1 2 1は、この向上情報としてのクラスコードを記億する。そして、クラスコード記憶部 1 2 1は、記憶したクラスコードを、制御回路 5 7からの制御に従って、メモリ 1 2 2にアドレスとしてえる。

メモリ 1 2 2は、 1 1 6の "^ ?装 ISにおいて求められたクラスごとの予測係数を記†,'3しており、クラスコード d憶部 1 2 1からアドレスとして与えられるクラスコードに対応する予測係数をみ出し、予測演^回路 5 6に供給する。

次に、冈 1 8のフローチャートを参照して、図 1 7の品質向上部 2 4において行われる、放送 ffl両像の質を向上させる品質向上処理について説明する。受信装置 3 (図 4 ) において、抽出部 2 2から品質向上部 2 4に対して、向上情報成単位の放送川両像データが供給されると、透択部 2 3から品質向上部 2 4に対して、複数の r【',J ヒ怙報から、画質レベル信号に基づいて選択された 1種類 ( 1セット）の向上' 報が、その向上情報を用いて画質を上させる向上方式を示す式選択とともに供給される。

そして、ステップ S 1 3 1 において、フレー厶メモリ 5 1には、抽出部 2 2カら供給される放送用画像データが、向上情報生成単位で記億される。また、ステップ S 1 3 1では、選択部 2 3から供給される向上情報が、メモリ 1 2 1に記憶される。さらに、ステップ S 1 3 1では、制御回路 5 7は、選択部 2 3から方式選択信号が供給され、その方式選択信号に対応する向上方式によって、放送用画像データの画質を向上させるように指示を行う制御信号を、予測タップ構成回路 5 2に供給する。これにより、予測タップ構成回路 5 2は、制御回路 5 7からの制御信号が示す向上方式に従った処理を行うように設定される。

なお、本実施の形態では、制御回路 5 7に供給される方式選択信号が、線形補間を表す場合を除いて、メモリ 1 2 1に記憶される向上情報は、クラスコードである。

また、制御回路 5 7に供給される方式選択信号が、線形補間を表す場合には、制御回路 5 7は、予測演算回路 5 6に対して、フレームメモリ 5 1に記憶された放送用画像データを線形補間することを指示する制御信号を供給する。この場合、予測演算回路 5 6は、フレームメモリ 5 1 に記憶された放送用画像データを、予測タップ構成回路 5 2を介して読み出し、線形補間を行って出力する。そして、この場合、ステップ S 1 3 2以降の処理は行われない。

ステップ S 1 3 1の処理後は、ステップ S 1 3 2に進み、フレームメモリ 5 1 に記憶された放送用画像データの画質を向上させた高画質画像を構成する画素のうちの、まだ注目画素とされていないものの 1つが、注目画素とされ、予測タツブ構成回路 5 2において、制御回路 5 7からの制御信号に従った構成の、注目画素についての予測タップが、フレームメモリ 5 1 に記憶された放送用画像データの画素を用いて構成される。この予測タップは、予測演算回路 5 6に供給されるそして、ステツプ S 1 3 3に進み、制御回路 5 7は、注目画素に対する向上情報としてのクラスコードを読み出すように、クラスコード記憶部 1 2 1 を制御する。これにより、クラスコード記憶部 1 2 1からは、注目画素に対する向上情報としてのクラスコードが読み出され、メモリ 1 2 2に供給される。

メモリ 1 2 2では、ステップ S 1 3 3において、クラスコ一ド記憶部 1 2 1からのクラスコ一ドで示されるァドレスに記憶されている予測係数が読み出され、予測演算回路 5 6に供給される。予測演算回路 5 6は、ステップ S 1 3 5において、予測タップ構成回路 5 2から供給される予測タップと、メモリ 5 5から供給される予測係数とを用いて、式 ( 1 ) に示した線形予測演算を行い、その結果得られる画素値を、 ί主目画素の予測値として、一時記憶する。

そして、ステップ S 1 3 6に進み、制御回路 5 7により、フレームメモリ 5 1 に記憶された放送用画像データのフレームに対応する高画質画像のフレームを構成する画素すベてを注目両素として、その予測値を求めたかどうかが判定される _t ステップ S 1 3 6において、高画質画像のフレームを構成する画素すベてを注目画素として、まだ予測値を求めていないと判定された場合、ステップ S 1 3 2に戻り、高画質画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。

一方、ステップ S 1 3 6において、高画質画像のフレームを構成する画素すベてを注目画素として、予測値を求めたと判定された場合、ステップ S 1 3 7に進み、予測演算回路 5 6は、それまでに求めた予測値でなる高画質の画像を、表示部 2 5 (図 4 ) に順次出力し、処理を終了する。

なお、図 1 8の品質向上処理は、図 1 3の実施の形態と同様に、フレームメモリ 5 1に、向上情報生成単位分の放送用画像データが供給されるごとに繰り返し行われる。

次に、図 1 4及び図 1 7の実施の形態において、図 1 4のメモリ 1 0 1及び図 1 7のメモリ 1 2 2に共通して記憶させておく予測係数は、図 1 6の学習装置において、クラスタップを、 S D画像を用いて構成してクラス分類を行うことにより得られたものであるが、メモリ 1 0 1及び 1 2 2に共通して記憶させておく予測係数は、 S D画像ではなく、 H D画像を用いて、クラスタップを構成してクラス分類を行うことにより得られるものを採用することができる。この場合、向上情報生成部 1 1 において、向上情報とするクラスコードは、上述したように、各クラスの予測係数それそれ用いて、注目画素の予測値を求めることなく得ることが可能である。即ち、この場合は、向上情報生成部 1 1において、 H D画像を構成する各画素について、その H D画像を用いてクラス夕ップを構成してクラス分類を行い、その結果得られるクラスコードを、向上情報とすればよい。そこで、図 1 9は、 H D画像（教師画像）からクラスタップを構成してクラス分類を行うことにより、向上報としてのクラスコードを求める向上佶報生成部 1 1の構成例をしている。なお、図中、図 6：こおける場合と c、応ずる部分については同一の符¾を付してあり、以下では、その説明は、適宜 ¾略する。即ち、図 1 9の向上情報生成部 1 1は、ダウンコンバータ 3 2、フレームメモリ 3 3、予測タップ構成「"1路 3 4、規方式加算回路 3 7及び了，測係数決定回路 3 8が設けられていない他は、図 6における場合と同様に構成されている。

次に、図 2 0のフローチャートを参照して、図 1 9の向上情報生成部 1 1 により行われる、向上 f_f 報を .成する向上情報生成 ¾ ί^[Ι-'について説明する。

まず最初に、ステップ S 1 4 1 において、向上情報生成単位に相する分の教師画像がフレームメモリ 3 1に記憶される。そして、ステップ S 1 4 2に進み、制御回路 4 0は、そこに供給される方式選択信号に対応する向上方式に用いる向上情報が得られるように指示を行う制御信 ^を、クラスタツプ構成回路 3 5及びクラス分類回路 3 6に供給する。これにより、クラスタップ構成回路 3 5及びクラス分類回路 3 6は、制御信号に従った向上方式に用いる向上情報としてのクラスコードが得られるような処理を行うように設定される。

なお、制御回路 4 ◦に供給される方式選択信号には、上述した場合と同様に、複数の向上方式をす f 報が含まれており、制御回路 4 0は、その複数の向上方式に対.応する制御信を、ステップ S 1 4 2の ¾理が行われるごとに、順次出力する。

また、制御回路 4 0が出力する制御信号が、裸形補間を衷す場合には、メモリ 3 9に、線形補間を指示する旨が、向上情報として記億される。そして、ステツブ S 1 4 3乃至 S 1 4 5の処理はスキップされ、ステップ S 1 4 6に進む。ステップ S 1 4 2の処理後は、ステップ S 1 4 3に進み、フレームメモリ 3 1 に記憶された教師画^のうちの、まだ注目画素とされていないものが、注目画素とされ、クラスタップ構成回路 3 5において、 ^御回路 4 0からの制御信号に従つた構成の、；目画素についてのクラスタップが、フレームメモリ 3 1 に記憶された教師画素を川いて構成される。そして、クラスタップは、クラス分類回路 3 6に供給される。クラス分類回路 3 6は、ステップ S 1 4 4において、クラスタツプ構成回路 3 5からのクラスタップに ½づき、（御冋路 4 0からの制御 i, '}に従った方法で、 i t li両をクラス分類し、その結 βίϋられるクラスに対応するクラスコードを、メモリ 3 9に供給して ^tSさせ、ステップ S 1 4 5に進む。

ステップ S 1 4 5では、制御回路 4 0により、フレームメモリ 3 1 に記憶された、向上報 ;成 ^位の教師阀素すべてを注画素として、クラス分類を行ったかどうかが判^され、まだ、教師画桌のすベてを □画素として、クラス分類を ίίつていないと判定された場合、ステップ S 1 4 3にる。この場合、まだ注目闹桌とされていない教師阀^のうちの 1 つが、新たに;' t El画素とされ、ステップ S 1 4 4及び S 1 4 5の処 ¾が繰り返される。

また、ステップ S 1 4 5において、制御回路 4 0により、向上情報生成単位の教師幽— ^すべてを;' Έ \ } m ^として、足し込みを行ったと判定された場合、ステツプ S 1 4 6に進み、制御 M路 4 0は、そこに供給された方式選択信^に含まれる複数の向上方式のすべてについて、向上報が得られたかどうかを判定する。ステップ S 1 4 6において、方式選択信号に含まれる複数の向上方式に用いられる複数の上怙報の中で、まだ得られていないものがあると判定された場合、ステップ S 1 4 2に戻り、制御回路 4 0は、まだ向上情報が得られていない向上方式に対応する制御 f_t 1 ' を出力し、以下、上述の場合と同様の処理が繰り返される。

一/ i、ステップ S 1 4 6において、式選択信に含まれる複数の向上方式のすべてについて、上 ½報としてのクラスコードが得られたと判定された場合、即ち、方式選択に^まれる複数の向上方式それそれに用いられる複数種類の向上情報としてのクラスコードが、メモリ 3 9に記憶された場合、ステップ S 1 4 7に進み、メモリ 3 9から、その複数嵇類の向上情報がみ出され、統合部 1 2 (図 2 ) に供給されて処理を終了する。

なお、 W 2 0の向ヒ情報 ΐ成処理も、フレームメモリ 3 1 に、向上情報生成単位分の教帥 LiHl像が給されるごとに繰り返し行われる。

次に、 2 1は、 ]上† 報成部 1 1 が図 1 9に示したように構成される場合の、受 β装 i 3 ( [¾ι 4 ) の品 fnj 卜-部 2 4の構成例を示している。なお、図中、図 1 7における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 2 1の品質向上部 2 4は、メモリ 1 2 2に替えて、メモリ 1 3 1が設けられている他は、図 1 7における場合と同様に構成されている。

図 1 7の実施の形態では、メモリ 1 2 2に、図 1 6の学習装置において、生徒画素から構成されるクラスタップを用いてクラス分類を行う学習を行うことにより得られるクラスごとの予測係数が記憶されていたが、図 2 1の実施の形態では、メモリ 1 3 1 に、教師画素から構成されるクラスタップを用いてクラス分類を行う学習を行うことにより得られるクラスごとの予測係数が記憶されている。

即ち、図 2 2は、教師画素から構成されるクラスタップを用いてクラス分類を行う学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図 1 6における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 2 2の学習装置は、基本的に、図 1 6 における場合と同様に構成されている。

但し、図 2 2の学習装置においては、クラスタップ構成回路 1 1 5力;、フレームメモリ 1 1 3に記憶された生徒画像ではなく、フレームメモリ 1 1 1 に記憶された教師画像からクラスタップを構成するようになっている。なお、クラスタツプ構成回路 1 1 5は、図 1 9の向上情報生成部 1 1 を構成するクラスタップ構成回路 3 5と同一のクラスタップを構成する。

以上のように、向上情報として、クラスコードを用いる場合においても、ユーザの要求に応じて画質を向上させることができる。したがって、この場合も、ュ —ザの要求に応じた画質の画像の提供が可能となり、さらに、ユーザに提供した画像の画質に応じて、きめ細かな課金を行うことができる。

なお、上述のように、向上情報としてクラスコードを用いる場合も、放送用画像データと同一内容の高画質の画像データが存在しないケースに対し、向上情報として予測係数を用いる場合と同様にして対処可能である。

次に、 t述したように、放送用画像データと向上情報は、例えば、時分割多重化や周波数多重化等によって統合 ί言号とすることが可能であるが、放送用画像デ —夕に対して向上情報を埋め込む（embed) ことによって、統合信号とすることも可能である。

そこで、放送用画像データに対して向上情報を埋め込む埋込方法、及びその方法によって埋め込まれた向上情報を復号する復号方法について説明する。

一般に、情報と呼ばれるものは、エネルギ（エントロピ一）の偏り（普遍性）を有し、この偏り力、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると人によって認識されるのは、画像（画像を構成する各画素の画素値など）力その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。

したがって、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を操作して得られる操作結果データは、その情報が有する本来のエネルギの偏りを利用して、元の価値ある情報に復号することができる。ここで、情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性がある。

情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。例えば、画像の相関性を表すものとしては、画像のライン間の相関があり、この相関を表す相関値としては、例えば、 2つのラインにおける、対応する各画素値の差分の 2乗和等を用いることができる（この場合、相関値が小さいことは、ライン間の相関が大きいことを表し、相関値が大きいことは、ライン間の相関が小さいことを表す）。

即ち、画像については、例えば、その上から 1行目のライン（第 1 ライン）と、他のラインとの相関は、一般に、第 1 ラインとの距離が近いラインほど大きくなり、第 1 ラインとの距離が遠いラインほど小さくなる。したがって、第 1 ラインから近いほど、第 1 ラインとの相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある。

そこで、いま、第 1 ラインから比較的近い第 Mラインと、第 1 ラインから比較的遠い第 Nラインとの画素値を入れ替える操作を行い（ 1 < M < N ) 、その入れ替え後の画像について、 51 1 ラインと、他のラインとの相関を計算値すると、第 1 ラインから近い第 Mライン（入れ替え前の第 Nライン）との相関が小さくなり , 第 1 ラインからい第 Nライン（入れ替え前の第 Mライン）との相関が大きくなる。

したがって、入れ替え後の画像では、第 1 ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りが破壊されている。しかしながら、画像については、一般に、第 1 ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りを利用することにより、破壊された相関性のりを復元することができる。即ち、人れ替え後の画像において、第 1 ラインから近い第 Mラインとの相関が小さく、第 1 ラインから遠い第 Nラインとの相関が大きいのは、画像が有する本来の相関性の偏りからすれば、明らかに不自然であり（おかしく）、第 Mラインと第 Nラインとは入れ替えるべきである。そして、入れ替え後の画像における第 Mラインと第 Nラインとを入れ替えることで、本来の相関性の偏りを有する画像、即ち、元の画像を復号することができる：この場合、例えば、画像の何ライン Ξを移動するかや、どのラインどうしを入れ替えるかなどが、向上情報に従って決定され、そのようなラインの移動や入れ替え力画像に向上情報を埋め込むことになる。また、そのようにして向上情報が埋め込まれた画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像及び向上情報を復号することとなる。即ち、元の画像に戻すときに、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出すること力、向上情報を復号することになる。

以上のように、画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像に対して、向上情報を埋め込む場合には、その埋込が行われた画像を、元の画像が有するエネルギの偏りを利用することにより、復号のためのオーバへッドなしで、元の画像及び向上情報に復号することができる。

また、画像に対して、向上情報を埋め込むことにより得られる画像（以下、適宜、埋込画像という）は、元の画像と異なる画像とされ、人が価値ある情報として認識することのできる画像ではなくなることから、元の画像については、ォ一バへッドなしの暗- -化を: ^現することができる。

次に、図 2 3は、上述のように、放送用画像データに対して向上情報を埋め込むことにより統合 ί,? ¹を '上成する図 2の統合部 1 2の構成例を^している。

フレームメモリ 6 1は、放送用画像データを、例えば、 1 フレーム単位で記憶する。なお、フレームメモリ 6 1は、複数バンクで構成され、バンク切り替えを行うことにより、そこに ί -給される放送川画像データの記憶、後述するような列の入れ替え、及びフレー厶メモリ 6 1 からのデータの出を、同時に行うことができるようになっている。

スワップ怡報' 成部 6 2は、 Ιή]上報生成部 1 1 (図 2 ) から向上^報が供給され、その ^上報に ½づいて、フレームメモリ 6 1 に記憶された 1 フレームの ILfii像（放送川両像データ）の各列の位匿を、どのように入れ替えるかを表すスヮップ · ¾を成する。 !)ち、フレームメモリ 6 1 に記億された 1 フレームの画像が、 Μ行 Ν列の幽素で構成される場合において、その画像の第 η列（左から η番目の列）を、第 η，列に入れ替えるときには、スワップ情報生成部 6 2において、 ηと η ' とが対応付けられたスワップ情報が生成される（η， η ' は、 1以上 Ν 以下の整数）。

ここで、 1 フレー厶の^像の列数が Ν列である場合、その人れ替え方は、そのすべての列を人れ^えの対象とすると、 Ν ! ( ！は、階乗を表す）通りだけある。したがって、この場、 1 フレームには、最大で、 1 0 g 2 ( Ν ！ ) ビットの向上 † 報の埋込が可能となる。

スヮップ怡報生成部 6 2で生成されたスヮップ情報は、スヮッビング部 6 3に供給されるようになっており、スワッピング部 6 3は、スヮップ情報生成部 6 2 から供給されるスヮヅプ報に従って、フレームメモリ 6 1 に記憶された 1 フレ —ムの画像の^列の位;^:を入れ替える。これにより、フレームメモリ 6 1 に記憶された放送 ffl画像デ一夕に、向上情報が埤め込まれる。

次に、図 2 4のフローチャートを参照して、図 2 3の統合部 1 2において行われる埋込処について説明する。

フレームメモリ 6 1 には、放送用画像データが供給され、フレームメモリ 6 1 では、その放送用画像データが、順次記憶される。

一方、スワップ情報生成部 6 2 では、ステップ S 7 1 において、 1 フレームの画像（放送用画像データ）に埋込可能なデ一夕量の向上情報が、向上情報生成部 1 1から供給される。即ち、例えば、上述したように、 1 フレームの放送用画像データの列数が N列であり、そのすベての列を入れ替えの対象とする場合には、 1 フレームには、最大で、 l o g 2 ( N ! ) ビットの向上情報の埋込が可能であるから、そのようなビット数（以下）の向上情報が供給される。

そして、スワップ情報生成部 6 2は、ステップ S 7 2に進み、ステップ S 7 1 で供給された向上情報に基づいて、スワップ情報を生成する。即ち、スワップ情報生成部 6 2は、向上情報に基づき、フレームメモリ 6 1 に記憶された埋込処理の対象となっているフレーム（以下、適宜、処理対象フレームという）の第 1列乃至第 N列のうちの、例えば、第 1列を除く第 2列乃至第 N列それぞれを、第何列に入れ替えるかを表すスワップ情報を生成する。このスワップ情報は、スヮッビング部 6 3に供給される。

スヮッビング部 6 3は、スヮッブ情報生成部 6 2からスヮップ情報が供給されると、ステップ S 7 3に進み、そのスワップ情報に従って、フレームメモリ 6 1 に記憶された処理対象フレームの各列の位置を入れ替える。これにより、処理対象フレームに、向上情報が埋め込まれ、このようにして向上情報が埋め込まれた放送 ffl画像デ一夕（埋込画像）は、フレームメモリ 6 1から読み出され、統合信号として、送信部 1 3 (図 2 ) に供給される。

なお、フレームの各列の位置の入れ替えは、フレームメモリ 6 1 における画像データ（を構成する画素）の記億位置を変更することで行うことができるが、その他、例えば、フレームメモリ 6 1 からフレームを読み出すときのアドレスを制御することによって、結果として、列の位置の入れ替えが行われたフレームが、フレームメモリ 6 1から読み出されるようにしてもよい。

また、本実施の形態では、上述したように、スワップ情報には、第 2列乃至第 N列それそれを、第何列に入れ替えるかを表す情報が含まれているが、第 1列を、第何列に入れ替えるかを表す情報は含まれていない。したがって、スワッピング部 6 3 ?では、第 2列乃至第 N列それぞれの入れ替えは行われるが、第 1列の入れ替えは行われない。この理由については後述する。

処理対象フレームの第 2列乃至第 N列すベての入れ替えが終了すると、ステツプ S 7 4に進み、フレームメモリ 6 1 に、まだ処理対象フレームとされていない放送用画像データのフレームが記憶されているかどうかが判定され、記憶されていると判定された場合、ステップ S 7 1 に戻り、まだ処理対象フレームとされていないフレームを新たに処理対象フレームとして、以下、同様の処理が繰り返される。

また、ステップ S 7 4において、フレームメモリ 6 1 に、処理対象フレームとされていないフレームが記憶されていないと判定された場合、埋込処理を終了する。

以上のような埋込処理によれば、ある 1 フレームの画像（ここでは、放送用画像データ）は、次のような埋込画像としての統合信号とされる。

即ち、いま、向上情報が、例えば、図 2 5に示すように、 N列（図 2 5 A ) の処理対象フレームの第 2列を第 6列に（図 2 5 B ) 、第 3列を第 9列に（図 2 5 C ) 、第 4列を第 7列に（図 2 5 D ) 、第 5列を第 3列に（図 2 5 E ) 、第 6列を第 8列に（図 2 5 F ) 、第 7列を第 4列に（図 2 5 G ) 、第 8列を第 5列に (図 2 5 H ) 、第 9列を第 2列に（図 2 5 I ) 、 · · · 、第 N列を第 N列に、それそれ入れ替えるものに対応するとすると、そのような入れ替えを表すスヮップ情報が _、スワップ情報生成部 6 2 において生成される。そして、スワッピング部 6 3では、例えば、図 2 5 Jに示すようなフレームが、上述のようなスワップ情報に従い、第 2列が第 6列に、第 3列が第 9列に、第 4列が第 7列に、第 5列が第 3列に、第 6列が第 8列に、第 7列が第 4列に、第 8列を第 5列に、第 9列が第 2列に、 · · · 、第 N列が第 N列に、それそれ入れ替えられる。その結果、図 2 5 Jの画像は、図 2 5 Kに示すような埋込画像とされる。

以上のように、フレームメモリ 6 1 に記憶された画像を構成する 1以上の画素の集合としての、各列の画素の位置を、向上情報に対応して入れ替えることにより、各列に、向上情報を埋め込む場合には、その逆の入れ替えを行うことで、元の画像を復号することができ、さらに、どのような入れ替えを行ったかということが向上情報となる。したがって、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に向上報を埋め込むことができる。

即ち、向上報が ±1め込まれた画像である、列の位;！の人れ替えが行われた画像の各列は、その画像の ffl関性、即ち、ここでは、元の両像と冋様の正しい位置にある列との問の ffl llを利用することにより、オーバへッドなしで、元の位置に入れ替えることができ、さらに、その入れ替え方により、向上情報を復号ことができる。したがって、その結 ¾得られる復号画像（再生画像）には、基本的に、 i'''J上情報を埋め込むことによる画質の劣化は生じない。

なお、埋込画像に、正しい位匿にある列が存在しない場合には、ヒ述のように画像の ffl関性を利用して、画像と向上情報を復号するのは困難である。そこで、ここでは、図 2 4の埋込処理において、各フレームの第 1列は、入れえを行わないようにしている。

但し、第 1列を含むすべての列を入れ替えの対象として、埋込を行うことも可能であり、この場合、入れ锊ぇ後の列の少なくとも 1以！:の元の位置を、オーバヘッドとして、埋込画像としての統合信号に含めることで、画像と向上情報の復号が容易に可能となる。

また、向上情報は、列を、順次入れ替えることにより、画像に埋め込んでいくことも可能であるし、すべての列を一度に入れ替えることにより、画像に埋め込むことも可能である。 βΠち、向上情報に基づいて、ある列を入れ替え、次の向上情報に基づいて、次の列を人れえるといったことを繰り返すことで、向上情報を画像に埋め込むことも ¾能であるし、すべての列の人れ替えパターンを、向上情報に基づいて決定し、そのような入れ替えを一度に行うことで、向上情報を画像に埋め込むことも可能である。

次に、図 2 6は、送信装置 1 (図 2 ) の統合部 1 2が図 2 3に示したように構成される場合の、受信装 ? 3 (図 4 ) の抽出部 2 2の構成例を示している。

フレー厶メモリ 7 1は、図 2 3のフレームメモリ 6 1 と同様に構成されており、受信部 2 1 (図 4 ) が出力する統合信号としての埋込画像を、例えば、フレーム単位で順次記憶する。

スヮ 'ソピング部 7 2は、フレームメモリ 7 1 に記憶された埋込画像のうちの、処理の対象となっているフレーム（処理対象フレーム）における、既に元の位置に入れ^えられた it新の列と、他の列（まだ元の位 ίΞに戻されていない列）との相関を計^し、その相関にづいて、処理対象フレームの中の、まだ元の位置に

^されていない列の位を入れえることで元に Κす（列の位匠を復号する）。さらに、スワッピング部 7 2は、フレームの各列をどのように入れ替えたかを表すスヮップ情報を、スヮソプ^報変換部 7 3に供給する。

スヮップ½報変換部 7 3は、スヮッピング部 7 2からのスヮップ情報、即ち、処理対象フレームの各列の、人れえ前の位置と、入れ^え後の位置との対応関係に^づいて、込 m像に押.め込まれた向上† 報を復号する。

次に、 ['ズ 1 2 7のフローチャートを参照して、図 2 6の抽出部 2 2において行われる、 ^込 ^像を復して、几の放送用画像データと向上情報を抽出する復号処理について説明する。

フレームメモリ 7 1では、そこに供給される埋込画像（符号化データ）が、例えば、 1 フレーム単位で她 1次 ^ される。

一方、スワッピング部 7 2では、ステップ S 8 1 において、フレームの列数をカウントするための変数 nに、初期値としての、例えば、 1がセットされ、ステップ S 8 2に進み、変数 nが、フレームの列数である Nから 1 を減算した N— 1 以下であるかどうかが判定される。

ステップ S 8 2において、変数 nが N— 1以下であると判定された場合、ステップ S 8 3に進み、スワッピング部 7 2は、フレームメモリ 7 1 に記憶された処理対象のフレームから、 ί?¾ η列の凼尜（画素列）を読み出し、その第 η列の各画素（の画素値）を要素として並べたベクトル（以下、適宜、列ベクトルという） v nを生成する。ここで、本実施の形態では、上述したように、フレームが M行の画素で構成されるから、列ベクトル v n (後述する列ベクトル v kも同様）は、 M 次元のべクトルとなる。

その後、ステップ S 8 4において、第 n列より右側にある列をカウントするための変数 kに、初期値としての n + 1がセットされ、ステップ S 8 5に進み、スヮッビング部 7 2は、第 k列の画素を読み出し、その第 k列の画素を要素とする列ベクトル V kを生成して、ステップ S 8 6に進む。

ステップ S 8 6では、スワッピング部 7 2において、列ベクトル v n及び v kを用いて、第 n列と第 k列との相関が求められる。

即ち、スワッピング部 72では、列ベクトル vnと vkとの距離 d (n, k) が、次式に従って計算される。

d n, k ) = I v n— v k I

= (∑ (A (m, n) 一 A (m， k) ) 2) 1/2

• · · ( 8 )

但し、上式において、 ∑は、 mを、 1から Mに変化させてのサメ一シヨンを表す _c また、また、 A ( i， j ) は、処理対象になつているフレームの第 i行第 j列の画素（画素値）を表す。

そして、スワッピング部 72では、列ベクトル vnと vkとの距離 d (n, k ) の逆数 1 /d (n, k) せ、第 n列と第 k列との相関（を表す相関値）として求められる。

第 n列と第 k列との相関の算出後は、ステップ S 87に進み、変数 kが、フレ —ムの列数である Nから 1を減算した N— 1以下であるかどうかが判定される。ステップ S 8 7において、変数 kが N— 1以下であると判定された場合、ステツプ S 8 8に進み、変数 kが 1だけインクリメントされ、ステップ S 8 5に戻り、以下、ステップ S 87において、変数 kが N— 1以下でないと判定されるまで、ステップ S 8 5乃至 S 88の処理を繰り返す。即ち、これにより、第 n列と、それより右側にある埋込画像の列それそれとの相関が求められる。

その後、ステップ S 87において、変数 kが N— 1以下でないと判定されると、ステップ S 88に進み、スワッピング部 7 2において、第 n列との相関を最大にする kが求められる。そして、第 n列との相関を最大にする kを、例えば Kと表すと、スワッピング部 72は、ステップ S 90において、フレームメモリ 7 1に記憶された処理対象のフレームの第 n+ 1列と第 K列とをスヮッビング、即ち、第 K列を、第 n列の右隣の第 n + 1列に入れ替える。

その後、ステツプ S 9 1において、変数 nが 1だけィンクリメントされ、ステヅプ S 82に戻り、以下、ステップ S 8 2において、変数 nが N— 1以下でないと判定されるまで、ステップ S 8 2乃至 S 9 1の処理を繰り返す。

ここで、本実施の形態では、埋込画像の第 1列は、元の画像の第 1列のままであるから、変数 nが、初期値である 1のときは、第 1列との相関が最も高い埋込画像の列が、第 1列の右隣の第 2列に入れ替えられる。第 1列との相関が最も高い列は、画像の相関性から、基本的に、元の画像の第 2列であるから、この場合、埋込処理において、埋込画像のどこかの列に入れ替えられた元の画像の第 2列は、元の位置に戻される（復号される）ことになる。

そして、変数 nが 2 となると、上述したようにして元の位置に入れ替えられた第 2列との相関が最も高い埋込画像の列が、その第 2列の右隣の第 3列に入れ替えられる。第 2列との相関が最も高い列は、やはり、画像の相関性から、基本的に、元の画像の第 3列であるから、この場合、埋込符^化処理において、埋込画像のどこかの列に入れ替えられた元の画像の第 3列は、元の位置に戻されることになる。

以下、同様にして、フレームメモリ 7 1 に記憶された埋込画像は、元の画像 (放送用画像データ）に復号されていく。

そして、ステップ S 8 2において、変数 nが N— 1以下でないと判定された場合、即ち、埋込画像を構成する第 2列乃至第 N列すべてが、画像の相関性を利用して元の位置に戻され、これにより、フレームメモリ 7 1に記憶された埋込画像が、元の画像（放送用画像データ）が復号された場合、ステップ S 9 2に進み、その復号された画像が、フレームメモリ 7 1から読み出される。さらに、ステツプ S 9 .2では、スワッピング部 7 2力埋込画像を元の画像に復号した際の、埋込画像の第 2列乃至第 N列それそれの入れ替え方を表すスヮッブ情報が、スヮップ情報変換部 7 3に出力される。そして、スワップ情報変換部 7 3では、スヮッビング部 7 2からのスヮップ情報に基づいて、埋込画像に埋め込まれていた向上情報が復号されて出力される。

その後、ステップ S 9 3に進み、フレームメモリ 7 1 に、まだ処理の対象とされていない埋込画像のフレームが記憶されているかどうかが判定され、記憶されていると判定された場合、ステップ S 8 1 に戻り、まだ処理の対象とされていなぃ埋込画像のフレームを新たに処理対象として、以下、同様の処理が繰り返される。

また、ステップ S 9 3において、フレームメモリ 7 1 に、処理の対象とされていないフレームが記憶されていないと判定された場合、復号処理を終了する。以上のように、向上' t 報が埋め込まれた画像である埋込画像を、画像の相関性を利用して、元の両像と向上報に復号するようにしたので、その復号のためのオーバヘッドがなくても、埋込画像を、元の画像と向上情報に復号することができる。したがって、その復号画像には、基本的に、向上情報を埋め込むことによる画 Rの劣化は生じない。

なお、図 2 7の復号処理においては、既に復号された最新の 1列（例えば、 n = 1の場合においては、 fl!込時に入れ^えられていない第 1列）と、まだ復号されていない列との相関を求め、その相関に基づいて、既に復号された最新の列の右隣の位に入れ ¾えられるべき列を検出するようにしたが、その他、例えば、既に復号された複数の列と、まだ復^されていない列との相関を演算することにより、既に復号された最新の列の右隣に人れ替えられるべき列を検出するようにすることも可能である。

また、上述の場合には、列の入れ替えにより、放送用画像データに向上情報を埋め込むようにしたが、埋込は、行の入れ替えや、時間方向に並ぶ所定数のフレームの同一位置にある画素列の位置の入れ替え、さらには、列と行の両方の入れ替え等によって行うことも可能である。

さらに、埋込は、列等を人れ替えるという操作ではなく、画素値を、向上情報に基づいて操作したり、水'] ^ライン等を、向上情報に基づいてローテシヨンしたりすること等によって行うことも可能である。いずれの場合にも、エネルギの偏りを利用して、元の情報を復号することができる。

なお、このように、エネルギの偏りを利用して、元の情報を復号することができるように埋込を行う方法については、本件出願人が先に提案した、例えば、特願平 1 0— 2 0 0 0 9 3 や、特願平 1 0— 2 2 2 9 5 1 、特願平 1 0— 3 3

3 7 0 0号、特願平 1 1 — 1 2 9 9 1 9号、特願平 1 1 — 1 6 0 5 2 9号、特願平 1 1 一 1 6 0 5 3 0号、特願平 1 1 — 2 8 4 1 9 8号（特願平 1 0— 2 8 5 3 1 0号を基礎とする国内優先権主張出願）、特願平 1 1 — 2 8 4 1 9 9号（特願平 1 0— 2 8 5 3 0 9号を基礎とする国内優先権主張出願）、特願平 1 1 一 2 8

4 2 0 0号（特願平 1 0— 2 8 5 3 0 8号を基礎とする国内優先権主張出願）等に、その細が, kl , I されており、これらに ^載されている方法は、統合部 1 2及び抽出部 2 2において採川することができる。

次に、放送用画像データに対して向上 ½報を埋め込む埋込方法としては、スぺクトラム拡散を採 ίΠすることもできる。

そこで、 1 2 8は、スペクトラム拡散を利 fflして、放送 ffl画像データに向上情報を埋め込む ¾合の、送 ^装^ (図 2 ) の統合部 1 2の構成例を示している。向上 ' 報 ¾成部 1 1 ( 2 ) が出力する向上愔報は、スペクトラム拡散信号生成回路 8 1 に供給されるようになっており、スペクトラム拡散 ί言号生成回路 8 1 は、所定のタイミングで、例えば、 Μ系列等の P N ( Pseudo random No ise) 符号列を顺次成する。そして、スペクトラム拡散信 ^ ΐ成回路 8 1は、その Ρ Ν符号列によって、ヒをスぺクトラ厶拡散し、スぺクトラ厶拡散信を得て、加算冋路 8 2に ift給する。

加算回路 8 2には、スぺクトラム拡敗^ 成回路 8 1 からスぺクトラム拡散信号が供給される他、放送川画像データも供給されるようになっており、加算回路 8 2は、放送川画像データに、スペクトラム拡散信号を重畳し、これにより、放送用画像データに向上 ½報を现め込んだ統合 ί言^を得て、送信部 1 3 (図 2 ) に出力する。

なお、放送川隨像データ及びスペクトラム拡散

は、 D / A ( D i gi tal to A nal og) 変換した後に、加^问路 8 2に供給するようにすることもできる。

次に、図 2 9は、送信装^ 1 (図 2 ) の統合部 1 2が図 2 8に示したように構成される場合の、 ' 装^ 3 (図 4 ) の抽出部 2 2の構成例を示している。

受信部 2 1 (図 4 ) が出力する統合 ί 号は、逆スぺクトラ厶拡散回路 9 1 と復号回路 9 2に供給されるようになつている。

逆スぺクトラ厶拡改回路 9 1は、図 2 8のスぺクトラム拡散信号生成回路 8 1 が生成するのと様の P N符^列を生成し、その P N符号列に基づいて、統合信号を逆スペクトラム拡敗し、これにより、向上情報を復号する。この復号された向上†, 報は、選択部 2 3 (図 4 ) に供給される。

さらに、逆スペクトラム拡散回路 9 1 は、生成した P N符号列を、 ¾号回路 9 2に供給する。復号回路 9 2は、逆スぺクトラ厶拡散回路 9 1からの PN符号列に基づいて、統合信号に重畳されているスペクトラム拡散信号を除去し、これにより、放送用画像データを復号する。この復号された放送用画像データは、品質向上部 24 (図 4 ) に供給される。

なお、図 2 9において、抽出部 2 2は、復号回路 9 2を設けずに構成することが可能である。この場合、品質向上部 24に対しては、スペクトラム拡散信号が重畳された放送用画像データが供給されることになる。

以上、エネルギの偏りを利用して、元の情報を復号することができるように埋込を行う方法と、スぺクトラム拡散を利用して埋込を行う方法について説明した力、放送用画像データに対する向上情報の埋込には、その他、例えば、従来の電子透かしを利用することも可能である。

即ち、放送用両像データを構成する画素の、例えば、下位 1 ビットや 2ビット等を、向上情報に変更（置換）することで、放送用画像データに向上情報埋め込むことが可能である。

次に、上述した一連の処理は、ハードゥヱァにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図 3 0は、上述した一連の処理を実行するプログラムがインスト一ルされるコンピュー夕の一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードデイスク 20 5や ROM2 03に予め記録しておくことができる。

あるいはまた、プログラムは、フロッピ一ディスク、 CD— ROM (Compact Disc Read Only Memory) , MO (Magneto optical) ディスク， DVD (Digita 1 Versatile Disc) 、磁気ディスク、半導体メモリなどのリム一バブル記録媒体 2 1 1に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリム一バブル記録媒体 2 1 1は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリム一バブル記録媒体 2 1 1からコンビユー夕にインストールする他、ダウン口一ドサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、 LAN (Local Area N etwork) 、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンビュ一夕では、そのようにして転送されてくるプログラムを、通信部 2 0 8で受信し、内蔵するハ一ドディスク 2 0 5にインストールすることができる。

コンピュータは、 C P U (Central Processing Unit) 2 02を内蔵している。 C P U 2 0 2には、バス 2 0 1を介して、入出力インタフェース 2 1 0が接続されており、 CPU 2 02は、入出力インタフェース 2 1 0を介して、ユーザによつて、キーボードゃマウス等で構成される入力部 2 07が操作されることにより指令が入力されると、それに従って、 ROM (Read Only Memory) 2 03に格納されているプログラムを実行する。あるいは、また、 CPU 2 0 2は、ハードデイスク 2 0 5に格納されているプログラム、衛星若しくはネットワークから転送され、通信部 2 08で受信されてハードディスク 2 0 5にィンストールされたブログラム、又はドライブ 2 09に装着されたリム一バブル記録媒体 2 1 1から読み出されてハ一ドディスク 20 5にインストールされたプログラムを、 RAM

(Random Access Memory) 204にロードして実行する。これにより、 CPU 2 0 2は、上述したフローチャートに従った処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、 CPU 202は、その処理結果を、必要に応じて、例えば、入出力ィンタフエース 2 1 0を介して、 L CD (Liquid C ryStal Display) やスピーカ等で構成される出力部 20 6から出力、あるいは、通信部 2 0 8から送信、さらには、ハードディスク 20 5に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチヤ一トとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理

(例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、 1のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュー夕に転送されて実行されるものであつてもよい。なお、本^施の形態においては、画像データを対象としたが、本発明は、その他、例えば、オーディオデ一夕等を対象とすることも可能である。

さらに、本実施の形態では、 ¾込画像を、衛星回線を介して提供する場合について説明したが、埋込画像の提供は、その他、地上波や、インターネット、 C A T V網等の種の伝送媒体を介して行うことも可能であるし、光ディスクゃ光磁 ¾デイスク、磁気テープ、半導体メモリ等の各種の録媒体に記録して行うことも "J能である。産業上の利用可能性本発明に係るデータ処理装匿及び方法、並びに記録媒体及びプログラムによれば、データの品質を向上させるための向上怡報が生成され、データに対して向上情報がはめ込まれる。したがって、例えば、向上情報が埤め込まれた状態のデータ、向上情報が抽出された状態のデータ、向上情報によって品質が向上されたデ —タ等の提供が可能となる。

また、本発明に係るデータ処理装置及び方法、並びに記録媒体及びプログラムによれば、埋込データから向上情報が抽出され、データの品質が、向上情報を用いて向上される。したがって、品質の高いデータの提供を受けることが可能となる。

さらに、本発明に係るデータ処理装置及び方法、並びに記録媒体及びプログラムによれば、データの品贾を向上させるための複数種類の向上情報が生成され、データと、 1種類以上の向上情報とが送信される。したがって、複数の品質のデ —夕の提供が可能となる。

さらにまた、本発明に係るデータ処理装置及び方法、並びに記録媒体及びプログラムによれば、データ及び 1種類以上の向上情報が供給され、データの品質力、 1種類以上の向上情報のうちのいずれかを用いて向上される一方、そのデータの品質を向上させるのに用いた向上情報に応じて、課金処理が行われる。したがつて、支払額に応じた品質のデータの提供を受けることが可能となる。

Claims

^求の範囲 l . データの 11を [ ヒさせるための向上 ½ を ΐ成する向上 t 報生成手段と、データに対して、 iiij„ΐ [nJ上報を^め込む埤込手段とを備えるデータ処理装置。

2 . J ,ΐΰ [nj―ヒ f,¹]報 ' t成手段は、 iitj記データの品 Πを向ヒさせた品質向上データの測 iを測するのに川いる f'測係数を、 - 向ヒ情報として生成することを特徴とする求の範 iffl ^! 1項に記載のデータ処理装^。

3 . i id向上怙報 ΐ成手段は、前記 7'測係数を所定のクラスごとに生成することを特徴とする^求の [ffl n 2頌に^載のデータ処现装^。

4 , [w

成段は、

教師となる教帥データのうちの注している目教師データのクラスを求めるのに川いるクラスタップを、 'ii徒となる生徒データを用レ、て構成するクラスタツブ構成手段と、

前記クラスタップに基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類手段と、

前記注 H教師データを予測するのに、前記予測係数とともに fflいる予測タップを、 m ,id生徒データを川いて構成する予測タッブ構成手段と、

ι 記教師データ及び測タップを川いて、前^クラスごとの前記予測係数を求める f測係数演 ^手段とを^えることを特徴とする請求の範囲第 3項に記載のデ一夕処理装置。

5 . 前記向上怙報生成手段は、俊数極類の前記向上 ' 報を生成することを特徴とする求の範囲第 4 ifiに載のデータ処理装置。

6 . iiij記向上情報 'fe成段は、 Kなるクラス数についての前記予測係数を、前記複数稀類の向ヒ怙報として ΐ成することを特徴とする詰求の範囲第 5 i lに記載のデータ処理装匿。

7 . nil記向ヒ ' i银成丁:段は、なる品の前生徒データ又は教師データを用いることにより求められる拔数砘類の測係数を、前記複数種類の向上情報として ΐ成することを特徴とする求の範囲第 5项に , 載のデータ処理装置。

8 . 前記向上情報生成手段は、少なくとも、前記予測係数と、線形補間を行うための情報とを、前記複数種類の向上†fl報として生成することを特徴とする請求の範囲第 5項に記載のデータ処理装置。

9 . 前記向上情報生成手段は、異なる構成の前記クラスタップ又は予測タップを用いることにより求められる複数種類の予測係数を、前記複数種類の向上情報として生成することを特徴とする請求の範囲第 5項に記載のデータ処理装置。

1 0 . 前記向上情 ffi生成手段は、前記クラス分類を異なる方法で行うことにより求められる複数種類の予測係数を、前記複数種類の向上情報として生成することを特徴とする請求の範囲第 5項に記載のデータ処理装置。

1 1 . 前記向上悄報生成手段は、前記データの品質を向上させた品質向上データの予測値を予測するのに用いる、データのクラスを表すクラスコードを、前記向上情報として生成することを特徴とする請求の範囲第 1項に記載のデータ処理装置。

1 2 . 前記向上情報生成手段は、

学習の教師となる教師データのうちの注目している注目教師データを予測するのに用いる予測夕ップを、学習の生徒となる生徒デ一夕を用いて構成する予測夕ッブ構成手段と、

学習を行うことにより求められた、前記クラスコ一ドごとの予測係数を記憶する予測係数記億手段と、

前記予測タッブ及び予測係数を用いて、前記注目教師データの予測値を求める予測演算手段と、

前記注目教師データの予測値を最小にする前記予測係数のクラスコードを検出するクラスコード検出手段とを備え、

前記クラスコード検出手段において検出された前記クラスコ一ドを、前記向上情報として出力することを特徴とする請求の範囲第 1 1項に記載のデータ処理装

1 3 . 前記向上情報生成手段は、

学習の教師となる教師データのうちの注目している注目教師データのクラスを求めるのに fflいるクラスタヅプを、前記教師データを用いて構成するクラスタッブ構成手段と、

前記クラスタヅプに基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類手段とを備え、

前記クラス分類手段において求められたクラスに対応するクラスコードを、前記向上情報として出力することを特徴とする請求の範囲第 1 1項に記載のデータ処理装置。

1 4 . 前記埋込手段は、前記データが有するエネルギの偏りを利用して、前記デ一夕及び向上情報を元に戻すことができるように、前記データに、前記向上情報を埋め込むことを特徴とする請求の範囲第 1項に記載のデータ処理装置。

1 5 . 前記埋込手段は、スペクトラム拡散を行うことにより、前記データに、前記向上情報を埋め込むことを特徴とする請求の範囲第 1項に記載のデータ処理装置。

1 6 . 前記埋込手段は、前記データの 1 ビット以上を、前記向上情報に変更することにより、前記データに、前記向上情報を埋め込むことを特徴とする請求の範囲第 1項に記載のデータ処理装置。

1 7 . 前記データは、画像データであり、前記向上情報は、前記画像データの画質を向上させる情報であることを特徴とする請求の範囲第 1項に記載のデータ処理装置。

1 8 . デ一夕の品質を向上させるための向上情報を生成する向上情報生成ステツブと、

前記データに対して、前記向上情報を埋め込む埋込ステツブと有するデータ処理方法。

1 9 . コンピュータに実行させるプログラムが記録されている記録媒体であって、データの品質を向上させるための向上情報を生成する向上情報生成ステツプと、前記データに対して、前記向上情報を埋め込む埋込ステツプとを有するプログラムが記録されている記録媒体。

2 0 . コンピュータに実行させるプログラムであって、

データの品質を向上させるための向上情報を生成する向上情報生成ステツプと、 - 前記データに対して、前記向上情報を埋め込む埋込ステップとを有するプログラム。

2 1 . データに対して、そのデータの品質を向上させるための向上情報が埋め込まれた埋込データを処理するデータ処理装 :であって、

前記埋込データから、前記向上情報を抽出する抽出手段と、

前記データの品質を、前記向上情報を用いて向上させる向上手段とを備えるデ

—タ処理装^。

2 2 . 前記向上怙報は、記データの品 Γίを向上させた品質向上データの予測値を予測するのに Iいる予測係数であり、前記向上手段は、前記データ及び予測係数を用いることにより、前記品質向ヒデ一夕の測値を求めることを特徴とする請求の範囲第 2 1 ¾ に記載のデータ処理装匿。

2 3 . 前記向上情報は、所定のクラスごとに求められた前記予測係数であり、前記向上手段は、前記データ及びクラスごとの予測係数を用いることにより、前記品質向上データの予測値を求めることを特徴とする請求の範囲第 2 2項に記載のデータ処理装置。

2 4 . 前記向上手段は、

注目している前記品質向上データである注目品質向上データのクラスを求めるのに用いるクラスタップを、前記データを用いて構成するクラスタッブ構成手段と、

前記.クラス夕ップに基づいて、前記注 S品質向上データのクラスを求めるクラス分類を行うクラス分類手段と、

前記注目品質向上データを予測するのに、前記予測係数とともに用いる予測夕ップを、前記データを用いて構成する予測タップ構成手段と、

前記注目品質向上データの予測値を、その注目品質向上データのクラスの前記予測係数と、前記予測タップとを用いて求める予測手段とを備えることを特徴とする請求の範囲第 2 3項に記載のデータ処理装置。

2 5 . 前記向上情報は、前記データの品質を向上させた品質向上データの予測値を予測するのに fflいる所定のクラスごとの予測係数の、そのクラスを表すクラスコ一ドであり、前記向上手段は、前記データ及び前記クラスコードに対応する予測係数を用いることにより、前記品質向上データの予測値を求めることを特徴とする^！求の範囲第 2 1 Jfiに^战のデータ処理装置。

2 6 . ιΙ ΰ 上手段は、

注 [Ίしている前 JL品 ft向ヒデ一夕である □品 K in] tデータを？測するのに、 []ίί記了，測係数とともに川いる予測タップを、前記データを川いて構成する予測夕ップ構成 ^段と、

前^ Π品質向上データの^測 tfiを、前記向上佶報としてのクラスコードに対応ずる f'測係数と、 | JD了'測タップとを fflいて求める予測手段とを備えることを特徴とする求の範 Iffl ^ 2 5項に^載のデータ処 ¾装置。

2 7 . ijij ,记埤込データには、浚数種類の前記向上怙報が ¾め込まれていることを特徴とする求の範 Pfl第 2 4 に^載のデータ処理装置。

2 8 . ι¼ 埋込データには、 Wなるクラス数についての前 ΰ 測係数が、前記複数種類の向 htil報として埤め込まれていることを特徴とする^求の範囲第 2 7項に記載のデータ処理装 [5。

2 9 . 前記予測係数は、 _ 徒となる生徒データと、教師となる教師データとを用いて生成されるものであり、前記埋込データには、異なる品質の前記生徒データ又は教師データを用いることにより求められる複数種類の予測係数が、前記複数種類の向ヒ情報として埋め込まれていることを特徴とする請求の範囲第 2 7項に記載のデータ処¾装^。

3 0 . nil ,Id埋込データには、少なくとも、前 3 測係数と、線形補間を行うための情報とが、 I'iil d複数種類の向上怙報として埋め込まれていることを特徴とする詰求の範 ffl第 2 7 ¾1に„ 載のデータ処理装置。

3 1 . ί¾—,记埋込データには、異なる構成の前記クラスタップ又は予測タップを用いることにより求められる複数種類の予測係数が、前記複数種類の向上情報として埋め込まれていることを特徴とする請求の範囲第 2 7項に記載のデータ処理装置。

3 2 . 前 t i]埋込データには、前記クラス分類を異なる方法で行うことにより求められる ¾数種類の測係数が、 1記複数種類の向上怡報として埋め込まれていることを特徴とする求の範囲第 2 7項に; 載のデータ処 ί 装。

3 3 . ι¾ ^数 ί'ίί類のヒ報から、記データの品質を向上させるのに用いるものを選択する向上†i 報選択手段をさらに備えることを特徴とする請求の範囲第 2 7 ¾に記載のデータ処理装置。

3 4 . 前記抽出手段は、前記データが有するエネルギの偏りを利用して、前記埋込データから、前記向上情報を抽出することを特徴とする詰求の範囲第 2 1項に記載のデータ処理装置。

3 5 . 前記抽出手段は、逆スペクトラム拡散を行うことにより、前記埋込データから、前記向上情報を抽出することを特徴とする請求の範囲第 2 1項に記載のデ一夕処理装置。

3 6 . 前記抽出手段は、前記埋込データの 1 ビット以上を、前記向上情報として抽出することを特徴とする^求の範囲第 2 1項に記載のデータ処理装置。

3 7 . 前記データは、画像データであり、前記向上情報は、前記画像データの画質を向上させる情報であることを特徴とする請求の範囲第 2 1項に記載のデータ処理装置。

3 8 . データに対して、そのデータの品質を向上させるための向上情報が埋め込まれた埋込データを処理するデータ処理方法であって、

前記埋込データから、前記向上情報を抽出する抽出ステツプと、

前記データの品質を、前記向上情報を用いて向上させる向上ステツプとを有するデータ処理方法。

3 9 . データに対して、そのデータの品質を向上させるための向上情報が埋め込まれた埋込データを処理するのに、コンピュー夕に実行させるプログラムが記録されている記録媒体であって、

前記埋込デ一夕から、前記向上情報を抽出する抽出ステップと、

前記データの品質を、前記向上情報を用いて向上させる向上ステツプと有するプログラムが記録されている記録媒体。

4 0 . デ一夕に対して、そのデ一夕の品質を向上させるための向上情報が埋め込まれた埋込データを処理するのに、コンピュータに実行させるプログラムであつて、

前記データの品質を、前記向上情報を用いて向上させる向上ステツプとを有するプログラム。

4 1 . データの品質を向上させるための複数種類の向上情報を生成する向上情報生成手段と、

前記データと、 1種類以上の前記向上情報とを送信する送信手段とを備えるデ一夕処理装置。

4 2 . 前記複数種類の向上情報の中から、前記データとともに送信するものを選択する向上情報選択手段をさらに i える請求の範四第 4 1項に記載のデータ処理装置。

4 3 . 前記向上情報選択手段は、前記データを受信する受信装置からの要求に応じて、前記向上情報を選択することを特徴とする請求の範囲第 4 2項に記載のデ —夕処理装置。

4 4 . 前記向上情報選択手段が選択する前記向上情報に応じて、課金処理を行う課金手段をさらに備えることを特徴とする請求の範囲第 4 3項に記載のデータ処理装置。

4 5 . 前記向上情報生成手段は、少なくとも、前記データの品質を向上させた品質向上データの予測値を予測するのに用いる予測係数を、前記向上情報として生成することを特徴とする請-求の範囲第 4 1項に記載のデータ処理装置。

4 6 . 前記向上情報生成手段は、前記予測係数を所定のクラスごとに生成することを特徴とする請求の範囲第 4 5項に記載のデータ処理装置。

4 7 . 前記向上情報生成手段は、

教師となる教師データのうちの注目している注目教師データのクラスを求めるのに用いるクラスタップを、生徒となる生徒データを用いて構成するクラスタヅブ構成手段と、

前記クラスタツプに基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類手段と、

前記注目教師データを予測するのに、前記予測係数とともに用いる予測タップを、前記生徒データを用いて構成する予測タッブ構成手段と、

前記教師データ及び予測タップを用いて、前記クラスごとの前記予測係数を求める予測係数演算手段とを備えることを特徴とする請求の範囲第 4 6項に記載のデータ処理装置。

4 8 . ι'ιίί E向上†_r 報生成手段は、 5 なるクラス数についての前記了'測係数を、前記複数種類の向ヒ怙報として生成することを特徴とする ^求の範囲第 4 7項に記載のデータ処理装置。

4 9 . ΓιίΙ記向上情報生成丁:段は、異なる品質の前記生徒データ又は教師データを用いることにより求められる複数種類の予測係数を、前記複数種類の向上情報として生成することを特徴とする^求の範囲第 4 7項に 3己載のデータ処理装置。

5 0 . 前記向ヒ情報生成手段は、少なくとも、前記予測係数と、線形補間を行うための愔報とを、前記複数種類の向上情報として生成することを特徴とする請求の範囲第 4 7項に,记載のデータ処理装置。

5 1 . 前記向上情報生成手段は、異なる構成の前記クラスタップ又は 7'測夕ップを用いることにより求められる複数種類の？測係数を、前記複数種類の向上情報として生成することを特徴とする詰求の範囲第 4 7項に記載のデータ処理装置。

5 2 . 前記向上情報生成手段は、前記クラス分類を異なる方法で行うことにより求められる複数種類の予測係数を、前記複数種類の向上情報として生成することを特徴とする求の範囲第 4 7項に記載のデータ処理装置。

5 3 . 前記送信手段は、前記データが有するエネルギの偏りを利用して、前記デ一夕及び向上怙報を元に戻すことができるように、前記データに、記向上情報を埋め込んで、前記データ及び 1種類以上の向上情報を送信することを特徴とする請求の範囲第 4 1 ¾1に記載のデータ処理装置。

5 4 . 前記送信手段は、スペクトラム拡散を行うことにより、前記データに、前記向上情報を埋め込んで、前記データ及び 1種類以上の向上情報を送信することを特徴とする請求の範囲第 4 1項に記載のデータ処理装置。

5 5 . 前記送信手段は、前記データの 1 ビット以上を、前記向上情報に変更することにより、前記データに、前記向上情報を埋め込んで、前記データ及び 1種類以上の向上情報を送 i することを特徴とする請求の範囲第 4 1項に記載のデータ処理装置。

5 6 . 前記送信手段は、前記データと、前記複数種類の向上' 報のすべてを送信することを特徴とする求の範囲第 4 1項に記載のデータ処理装置。

5 7 . 前記データは、 l!fii像データであり、 ι¾記向上^報は、前記画像データの画を向上させる ti'i報であることを特徴とする求の範第 4 1項に記載のデータ処 ¾装^。

5 8 . データの ^を向 hさせるための複数種類の向ヒ情報を生成する向上情報生成ステップと、

ι ί記データと、 1種類以 hの m記向上情報とを送信する送信ステツプとを有するデータ処理方法。

5 9 . コンピュータにリ i行させるプログラムが記録されている記録媒体であって、データの品 ftを hさせるための ¾数種類の向上情報を生成する向上情報生成ステップと、

f¾記データと、 1稀類以卜の前^向上情報とを送信する送信ステツブとを有するプログラムが記録されている錄媒休。

6 0 . コンピュータに ¾行させるプログラムであって、

データの品質を向上させるための複数種類の向上情報を生成する向上情報生成ステップと、

前記データと、 1種類以 hの前記向上情報とを送信する送信ステップとを有するプログラム。

6 1 . データと、そのデータの品を向上させるための 1種類以上の向上情報とを受 βして処理するデータ処理装甲であって、

前記データ及び 1種類以 hの向上情報を受信する受信手段と、

前記データの品質を、 ι -【 ΰ 1種類以上の向上情報のうちのいずれかを用いて向上させる向ヒ手段と、

前記デ一夕の品 ftを向 1:させるのに用いた前記向上情報に応じて、課金処理を行う課金手段とを ( えるデータ処装置。

6 2 . 记受信手段は、 ¾数種類の向上情報を受信し、

前記複数種類の向 t愔報の中から、前記データの品質を向上させるのに用いるものを遗択する上 ½報選択手段をさらに^える請求の範囲第 6 1項に記載のデ一夕処理装 g。

6 3 . []ίί ,ίΰ inj上 ½ ffi選択 ^段は、ユーザからの要求に応じて、前記向上情報を選択することを特徴とする請求の範面第 6 2項に記載のデータ処理装置。

6 4 . 前記データの品質を向上させるのに用いる前記向上情報を、前記データ及び 1種類以上の向上情報を送する送信装置に要求する要求手段をさらに備え、前記受信手段は、前記送信装置が、要求手段の要求に応じて送信してくる前記向上情報を受信することを特徴とする請求の範囲第 6 1項に記載のデータ処理装 ϋ。

6 5 . 前記向上情報は、前記データの品質を向上させた品質向上データの予測値を予測するのに用いる予測係数であり、前記向上手段は、前記データ及び予測係数を用いることにより、前記品質向上データの予測値を求めることを特徴とする請求の範囲第 6 1项に ¾載のデータ処理装置。

6 6 . 前記向上情報は、所定のクラスごとに求められた前記予測係数であり、前記向上手段は、前記データ及びクラスごとの予測係数を用いることにより、前記品質向上データの予測値を求めることを特徴とする請求の範囲第 6 5項に記載のデータ処理装置。

6 7 . 前記向上手段は、

注目している前記品質向上データである注目品質向上データのクラスを求めるのに用いるクラスタップを、前記データを用いて構成するクラスタップ構成手段と、

前記クラスタップに基づいて、前記注目品質向上データのクラスを求めるクラス分類を行うクラス分類手段と、

前記注目品質向上データを予測するのに、前記予測係数とともに用いる予測タップを、前記デ一夕を用いて構成する予測タップ構成手段と、

前記目品質向上データの予測値を、その注目品質向上データのクラスの前記予測係数と、前記予測タップとを用いて求める予測手段とを備えることを特徴とする請求の範囲第 6 6項に記載のデータ処理装置。

6 8 . 前記受信手段は、複数種類の前記向上情報を受信することを特徴とする請求の範囲第 6 7項に記載のデータ処理装置。

6 9 . 前記受信手段は、 ¾なるクラス数についての前記予測係数を、前記複数種類の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデー夕処理装置。

7 0 . 前記予測係数は、生徒となる生徒データと、教師となる教師データとを用いて生成されるものであり、前記受信手段は、異なる品質の前記生徒データ又は教師データを用いることにより求められる複数種類の予測係数を、前記複数種類の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデ一夕処理装置。

7 1 . 前記受信手段は、少なくとも、前記予測係数と、線形補間を行うための情報とを、前記複数種類の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデータ処理装置。

7 2 . 前記受信手段は、異なる構成の前記クラスタップ又は予測タップを用いることにより求められる複数種類の予測係数を、前記複数種類の向上情報として受信することを特徴とする^求の範囲第 6 8項に記載のデータ処理装置。

7 3 . 前記受信手段は、前記クラス分類を異なる方法で行うことにより求められる複数種類の予測係数を、前記複数種類の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデータ処理装置。

7 4 . 前記受信手段は、前記データに、前記 1種類以上の向上情報が埋め込まれた埋込データを受信し、

前記埋込データから、前記向上情報を抽出する抽出手段をさらに備える請求の範囲第.6 1項に記載のデータ処理装置。

7 5 . 前記抽出手段は、前記データが有するエネルギの偏りを利用して、前記埋込データから、前記向上情報を抽出することを特徴とする請求の範囲第 7 4項に記載のデータ処理装置。

7 6 . 前記抽出手段は、逆スペクトラム拡散を行うことにより、前記埋込データから、前記向上情報を抽出することを特徴とする請求の範囲第 7 4項に記載のデ一夕処理装置。

7 7 . 前記抽出手段は、前記埋込データの 1 ビット以上を、前記向上情報として抽出することを特徴とする請求の範囲第 Ί 4項に記載のデータ処理装置。

7 8 . 前記データは、画像データであり、前記向上情報は、前記画像データの画質を向上させる情報であることを特徴とする請求の範囲第 6 1項に記載のデータ処理装置。

7 9 . デ一夕と、そのデータの品を向上させるための 1種類以上の向上情報とを受信して処理するデータ処理方法であって、

前記データ及び 1種類以上の向上惜報を受 illする受信ステップと、

前記データの品質を、前記 1種類以上の向上情報のうちのいずれかを用いて向上させる向上ステツプと、

前記データのん',質を向上させるのに fflいた i l E向上† 報に応じて、課金処理を行う課金ステップとを有するデータ処理方法。

8 0 . データと、そのデータのを向上させるための 1種類以上の向上情報とを受 ί Ϊして処 ίΐするのに、コンピュータに; ¾行させるプログラムが記録されている記録媒体であって、

前記データ及び 1種類以 hの向上 1,5報を' 3 する受信ステップと、

前記データの品質を、前記 1極類以上の向上情報のうちのいずれかを用いて向上させる向上ステツプと、

前記データの品質を向上させるのに fflいた前記向上情報に応じて、課金処理を行う課金ステップとを有するプログラムが記録されている記録媒体。

8 1 . データと、そのデータの品質を向上させるための 1種類以上の向上情報とを受信して処理するのに、コンピュータに実行させるプログラムであって、前記データ及び 1種類以上の上愔報を受信する受信ステツプと、

前記データの品質を、記 1種類以上の向上情報のうちのいずれかを fflいて向上させる向上ステップと、

前記データの品質を向上させるのに fflいた前記向上情報に応じて、課金処理を行う課金ステップとを有するプログラム。