JP4099555B2

JP4099555B2 - Image information converter

Info

Publication number: JP4099555B2
Application number: JP25158098A
Authority: JP
Inventors: 哲二郎近藤; 渉新妻; 靖立平; 真史内田; 伸幸朝倉; 卓夫守村; 賢井上; 一隆安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-04
Filing date: 1998-09-04
Publication date: 2008-06-11
Anticipated expiration: 2018-09-04
Also published as: JP2000083224A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
クラス分類適応処理において、予測生成に係る演算処理は、クラス毎に所定の演算によって決定される予測係数を用いてなされる。従って、予測係数を表現する予測係数データを装置内のメモリに記憶しておく必要がある。
【０００４】
予測生成されるべき画素の集合体であるラインデータは、入力画像信号内の走査線との位置関係の違い等によって一般に２種類以上がある。ラインデータの種類は、入力画像信号の信号形式と出力画像信号の信号形式との組合わせによって決まる。そして、ラインデータの種類によって、予測生成のために使用される係数の種類が異なる。従って、予測係数データを記憶するメモリには、ラインデータの種類毎に、２種類またはそれ以上の種類の予測係数データを記憶する必要がある。
【０００５】
一般に、各々の種類のラインデータに対応する予測係数データのデータ量は、それぞれ異なる。このため、予測係数データを記憶するメモリ内で、複数種類のラインデータに対応する予測係数データに対応して、複数個の異なる記憶容量を有する領域を割り当てる必要がある。さらに、上述したように、ラインデータの種類は、入力画像信号の信号形式と出力画像信号の信号形式との組合わせによって決まる。このため、入力画像信号の信号形式と出力画像信号の信号形式との２個以上の組合わせに係る画像情報変換処理を行うためには、各組合わせにおいて予測生成する必要があるラインデータの各々に係る予測係数データを記憶する必要がある。従って、メモリ内に、各予測係数データに対応して記憶容量が可変となる記憶領域を設定する必要がある。
【０００６】
【発明が解決しようとする課題】
このような記憶領域を設定するために、メモリ内に、同等の記憶容量を有する、ラインデータの種類数に等しい個数の記憶領域を予め設ける構成が従来から用いられている。この場合、各記憶領域は、想定される全ての画像情報変換処理において予測生成すべきラインデータに対応する予測係数データの内、最大のデータ量となるものを記憶するために充分な記憶容量を有する必要がある。
【０００７】
このため、最大のデータ量となる予測係数データ以外の予測係数データを記憶する場合には、割り当てられている領域の一部のみが予測係数データを記憶するために使用されることになり、使用されない部分に相当する記憶容量が無駄となる。従って、無駄となる記憶容量の分だけ、メモリの記憶容量を大きく設定する必要があった。このことがコストの削減を妨げる要因となっていた。
【０００８】
従って、この発明の目的は、特に入力画像信号の信号形式と出力画像信号の信号形式との複数種類の組合わせに係る画像情報変換処理を行うに際して、予測係数データを記憶するメモリの総記憶容量を削減することができる画像情報変換装置を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、入力画像信号中に存在するラインと同一位置のライン上に画素を生成する第１の変換と、入力画像信号中に存在するラインとは異なる位置のライン上に画素を生成する第２の変換とを行う第１の変換モードと、入力画像信号中に存在するラインとは異なる位置の複数のライン上に画素を生成し、入力画像信号中に存在するラインよりもライン数を増加させる第２の変換モードとを選択的に行うことが可能とされている画像情報変換装置において、
所定の注目点に対して時間的および空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
入力画像信号から、注目点を含み、注目点に対して時間的および空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
空間クラス毎に予め決定された、出力画像信号を推定するための予測係数データを記憶し、記憶した予測係数データを空間クラス検出手段によって決定された空間クラスコードに従って出力する、同一の記憶容量を有する複数個のメモリモジュールと、
選択されている第１の変換モードおよび第２の変換モードのいずれか一方のモードと、空間クラスコードとに従って、メモリモジュールから出力される予測係数を選択的に出力するデータ供給先選択手段と、
データ供給先選択手段から出力される予測係数データと、第２の画像データ選択手段によって得られる画像データとの積和演算によって、注目点に対する画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数データは、複数個のメモリモジュールに分割して記憶され、
複数個のメモリモジュールは、第１の変換モードおよび第２の変換モードのそれぞれにおいて、予測係数データを記憶するために必要とされる記憶容量の最大値を総記憶容量として備え、
複数個のメモリモジュールのそれぞれは、第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、複数個のメモリモジュール内で使用される記憶容量の公約数、またはその付近の値を記憶容量として備え、
予測係数と第２の画像データ選択手段によって選択された画像データとの線型一次結合の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が定められることを特徴とする画像情報変換装置である。
【００１０】
請求項２の発明は、入力画像信号中に存在するラインと同一位置のライン上に画素を生成する第１の変換と、入力画像信号中に存在するラインとは異なる位置のライン上に画素を生成する第２の変換とを行う第１の変換モードと、入力画像信号中に存在するラインとは異なる位置の複数のライン上に画素を生成し、入力画像信号中に存在するラインよりもライン数を増加させる第２の変換モードとを選択的に行うことが可能とされている画像情報変換装置において、
所定の注目点に対して時間的および空間的に近傍に位置する複数の画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点と時間的および空間的に近傍に位置する複数の画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
空間クラスコードと動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に対して時間的および空間的に近傍に位置する複数の画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された、出力画像信号を推定するための予測係数データを記憶し、記憶した予測係数データをクラス合成手段によって生成されたクラスコードに従って出力する、同一の記憶容量を有する複数個のメモリモジュールと、
選択されている第１の変換モードおよび第２の変換モードのいずれか一方のモードと、クラスコードとに従って、メモリモジュールから出力される予測係数を選択的に出力するデータ供給先選択手段と、
データ供給先選択手段から出力される予測係数データと、第３の画像データ選択手段によって得られる画像データとの積和演算によって、注目点に対する画素を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数データは、複数個のメモリモジュールに分割して記憶され、
複数個のメモリモジュールは、第１の変換モードおよび上記第２の変換モードのそれぞれにおいて、予測係数データを記憶するために必要とされる記憶容量の最大値を総記憶容量として備え、
複数個のメモリモジュールのそれぞれは、第１の変換モードおよび第２の変換モードのそれぞれにおいて、複数個のメモリモジュール内で使用される記憶容量の公約数、またはその付近の値を記憶容量として備え、
予測係数と第３の画像データ選択手段によって選択された画像データとの線型一次結合の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が定められることを特徴とする画像情報変換装置である。
【００１１】
以上のような発明によれば、予測係数を記憶するメモリ上で無駄となる記憶容量を削減することができる。
【００１２】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について以下に説明する。かかる処理は、入力画像信号である、標準解像度のディジタル画像信号（以下、入力ＳＤ信号と表記する）を高解像度の出力画像信号（ＨＤ信号と称されることがある）に変換するものである。この際の入力ＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、出力画像信号としては、ライン数が５２５本でプログレッシブ方式の画像信号（以下、５２５ｐ信号と表記する）、ライン数が１０５０本でインターレス方式の画像信号（以下、１０５０ｉ信号と表記する）等が用いられる。
【００１３】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１４】
上述したような画像情報変換処理を行うための一般的な構成の一例を図１に示す。入力ＳＤ信号がタップ選択回路１、６、７に供給される。タップ選択回路１は、入力ＳＤ信号から複数の画素が含まれる領域を切り出し、切り出した領域から推定予測演算回路４によってなされる演算処理に使用されるＳＤ画素（以下、予測タップと表記する）を選択する。そして、選択した予測タップを推定予測演算回路４に供給する。なお、予測精度を向上させるために、予測タップの選択は、クラスに対応する予測タップ位置情報を参照してなされる。
【００１５】
また、推定予測演算回路４は、後述する係数メモリ１１から演算処理に使用される予測係数データを供給される。供給される予測係数データには、ｙ１，ｙ２の予測生成に使用される２種類がある。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００１６】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋‥‥＋ｗ_n×ｘ_n （１）
ここで、ｘ₁，‥‥，ｘ_nが各予測タップであり、ｗ₁，‥‥，ｗ_nが各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、出力画像信号内の２種類のラインデータｙ１、ｙ２（これらについては後述する）が予測生成される。
【００１７】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータｙ１、ｙ２にライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、例えば５２５ｐ信号等の出力画像信号を表示することが可能であるように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この画像情報変換処理系の一例をテレビジョン受像機等に内蔵することができる。
【００１８】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。
【００１９】
クラス合成回路１０は、空間クラスコードと動きクラスコードとを合成し、合成されたクラスコードを係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラスコードによって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２０】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラスコードを生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２１】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２２】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝（２）
但し、｛｝は切り捨て処理を意味する。
【００２３】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラスコードを検出する。
【００２４】
【数１】

【００２５】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラスコードが決定される。例えば、ｐａｒａｍ≦２の場合には動きクラスコード０、２＜ｐａｒａｍ≦４の場合には動きクラスコード１、４＜ｐａｒａｍ≦８の場合には動きクラスコード２、ｐａｒａｍ＞８の場合には動きクラスコード３というように動きクラスコードが生成される。動きクラスコード０が動きが最小（静止）であり、動きクラスコード１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００２６】
次に、予測係数の生成に係る処理について説明する。図２に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００２７】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００２８】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した動きクラスコードをクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラスコードおよび動きクラスコードを合成し、合成したクラスコードを正規方程式加算回路２７に供給する。
【００２９】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。正規方程式加算回路２７の出力は、予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００３０】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ₁，‥‥，ｗ_nが未定係数である。学習は、クラス毎に複数の入力データ（上述したように出力画像信号と同じ信号形式を有する既知の信号）を入力することによって行う。かかる入力データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００３１】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ₁，‥‥，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅ_kを以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００３２】
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝（５）
（ｋ＝１，２，‥‥ｍ）
【００３３】
【数２】

【００３４】
式（６）のｅ²を最小とする予測係数を求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i(i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを定めれば良い。
【００３５】
【数３】

【００３６】
式（７）から各予測係数ｗ_iを定める具体的な手順について説明する。式（８）、（９）のようにＸ_ji，Ｙ_iを定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００３７】
【数４】

【００３８】
【数５】

【００３９】
【数６】

【００４０】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力データに基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸ_ji，Ｙ_iの値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗ_iを算出する。
【００４１】
このような処理によって得られる画像信号についてより詳細に説明する。まず、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を図３に示す。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００４２】
なお、図３は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。図３から分かるように、５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００４３】
ここで、ｙ１は５２５ｉ信号のラインに対応する位置にあるラインデータであるのに対し、ｙ２は５２５ｉ信号のラインに対応しない位置にあるので、新たに予測することによって生成されるポイントである。従って、ｙ２を予測生成する方がｙ１を予測生成するよりも困難である。このため、ｙ２を予測生成する場合には、ｙ１を予測生成する場合よりも多くのクラス数を割り当て、それによってよりきめ細かな予測係数が使用できるようにする必要がある。従って、係数メモリ１１においても、ｙ１の予測生成に係る予測係数を記憶する記憶領域よりも、ｙ２の予測生成に係る予測係数を記憶する記憶領域の方が大きくなるように設定される必要がある。
【００４４】
一方、図４は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての１０５０ｉ信号に変換する画像情報変換処理における画素の配置の一例を示す略線図である。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが１０５０ｉ信号の画素を示す。ここで、実線で示したラインデータｙ１，ｙ２は、あるフレームの奇数フィールドの画素配置である。他のフィールド（偶数フィールド）のラインは、点線で示すように空間的に０．５ラインずれたものであり、ラインデータｙ１’，ｙ２’の画素が形成される。
【００４５】
図４においては、ラインデータｙ１、ｙ２の各々について、それらを予測生成する際の困難さは同等である。このため、ｙ１、ｙ２をそれぞれ予測生成する場合に割り当てるべきクラス数は両者について同等とすれば良い。従って、係数メモリ１１においても、ｙ１、ｙ２の予測生成にそれぞれ係る予測係数を記憶する記憶領域も、互いに同等な大きさを有するように設定される必要がある。
【００４６】
図３、図４を参照して上述したことから、入力ＳＤ信号の信号形式と出力画像信号の信号形式との２種類以上の組合わせに対して画像情報変換を行うためには、係数メモリ１１において、ｙ１、ｙ２の予測生成にそれぞれ係る予測係数を記憶する記憶領域の大きさの配分を切換える必要があることがわかる。入力ＳＤ信号の信号形式と出力画像信号の信号形式との２種類以上の組合わせに応じた、記憶領域の大きさの配分等に係る設定を、以下の説明においては画像情報変換のモードと称する。
【００４７】
また、以下の説明においては、画像情報変換のモードの例として、入力ＳＤ信号としての５２５ｉ信号を出力画像信としての５２５ｐ信号に変換する画像情報変換のモード（以下、モードＡと表記する）、および入力ＳＤ信号としての５２５ｉ信号を出力画像信としての１０５０ｉ信号に変換する画像情報変換のモード（以下、モードＢと表記する）を用いる。
【００４８】
まず、図１を参照して上述した一般的な画像情報変換処理系中の係数メモリ１１について、図５を参照して説明する。係数メモリ１１は、ｙ１、ｙ２の予測生成にそれぞれ係る予測係数を記憶するための２つの同等な記憶容量を有するメモリモジュール１１ａ，１１ｂを含み、メモリモジュール１１ａ，１１ｂがそれぞれラインデータｙ１、ｙ２の予測生成に係る予測係数を記憶するために割り当てられる。このような構成において、予測係数データの記憶のために、各メモリモジュールが以下のように使用される。
【００４９】
以下の説明において参照する図面中で、ｙ１の予測生成に係る係数データを記憶する領域には斜線を付して示し、また、ｙ２の予測生成に係る係数データを記憶する領域には網かけを付して示すことにする。図５Ａには、モードＡにおける各メモリモジュールの使用状況の一例を示す。ここでは、ｙ１の予測生成に係る係数データを記憶する領域が６４バイトであるのに対し、ｙ２の予測生成に係る係数データを記憶する領域が５１２バイトである。一方、図５Ｂには、モードＢにおける各メモリモジュールの使用状況の一例を示す。ここでは、ｙ１，ｙ２の予測生成に係る係数データが共に２５６バイトである。
【００５０】
従って、モードＡ，Ｂにおいてｙ１またはｙ２の予測生成に係る予測係数データのデータ量は最大で５１２バイトとなる。かかる状況に対応できるように、メモリモジュール１１ａ，１１ｂの記憶容量が５１２バイトに設定される。この場合、係数メモリ１１の総記憶容量は、５１２×２＝１０２４バイトとなる。
【００５１】
以上のような構成を有する係数メモリ１１において、モードＡを行う場合には、メモリモジュール１１ａにおいて５１２−６４＝４４８バイトが無駄となる。また、モードＢにおいては、図５Ｂに示すように、メモリモジュール１１ａにおいて５１２−２５６＝２５６バイトが無駄となり、全体として５１２バイトが無駄となる。
【００５２】
このように、一般的な画像情報変換処理系においては、特に複数個の画像情報変換のモードを行う場合において、係数メモリ内に無駄となる記憶領域が生じる。このため、無駄な記憶領域の分だけ、係数メモリの総記憶容量を、各モードにおいて記憶する必要がある予測係数データの総データ量に比して大きく設定する必要がある。このことが装置のコスト低減を妨げる要因となっていた。
【００５３】
そこで、この発明は、係数メモリ内で無駄となる記憶領域を削減することにより、係数メモリの総記憶容量を削減するようにしたものである。以下、この発明の一実施形態について説明する。
【００５４】
図６に、この発明の一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図１等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。図１中の係数メモリ１１の代わりに係数メモリ１１０が使用される。なお、予測係数生成処理系としては、例えば、図２等を参照して上述した一般的な予測係数生成処理系と同様な構成を用いることができる。
【００５５】
係数メモリ１１０について、図７を参照して説明する。係数メモリ１１０は、同等の記憶容量を有する複数個のメモリモジュールを有する。説明の都合上、これらのメモリモジュールをメモリモジュール１１１₁，１１１₂，・・・，１１１_nと表記する。メモリモジュール１１１₁，１１１₂，・・・，１１１_nには、それぞれ、上述したようにしてクラス合成回路１０からクラスコードが供給される。そして、供給されるクラスコードに応じて、メモリモジュール１１１₁〜１１１_nが記憶している予測係数データをデコーダ・セレクタ１１２に供給する。デコーダ・セレクタ１１２には、さらに、クラスコードと、モード信号とが供給される。
【００５６】
ここで、モード信号は、画像情報変換のモードを示す信号である。デコーダ・セレクタ１１２は、メモリモジュール１１１₁〜１１１_nから出力される予測係数データを、クラスコードとモード信号とに従って選択的に出力する。かかる選択的な出力について以下に説明する。この発明の一実施形態では、メモリモジュール１１１₁〜１１１_nにおけるアドレッシングは、ｙ１、ｙ２に関して共通とされる。このようなアドレッシングを用いる場合には、供給されるクラスコードに対応してメモリモジュール１１１₁〜１１１_nの何れかからクラスコードに従って出力される予測係数データは、ラインデータｙ１，ｙ２の何れを予測生成する演算においても使用されるものである。
【００５７】
このような予測係数データを供給されるデコーダ・セレクタ１１２は、クラスコードとモード信号とに従って、各時点において予測生成されるべきラインデータｙ１，ｙ２に的確に対応づけられるように、予測係数データａまたは予測係数データｂとして選択的に出力する。すなわち、予測係数データａ、予測係数データｂは、それぞれ、推定予測演算回路４におけるラインデータｙ１，ｙ２の各々についての予測係数データの入力部に供給される。
【００５８】
モードＡにおいてラインデータｙ１，ｙ２のそれぞれを予測生成するための予測係数データのデータ量の割り当て方の一例を図８Ａに示す。ここでは、ｙ１の予測生成に係る係数データを記憶する領域が６４バイトであるのに対し、ｙ２の予測生成に係る係数データを記憶する領域が５１２バイトである。一方、モードＢにおいて、ラインデータｙ１，ｙ２のそれぞれを予測生成するための予測係数データのデータ量の割り当て方の一例を図８Ｂに示す。ここでは、ｙ１，ｙ２の予測生成に係る係数データが共に２５６バイトである。
【００５９】
モードＡ，モードＢの両方を行うことができる、係数メモリ１１０内のメモリモジュールの設置の仕方の一例を図９に示す。ここでは、６４バイトの記憶容量を有するメモリモジュールを９個有する場合（すなわち、図７においてｎ＝９である場合）を示す。この場合、総記憶容量は、６４×９＝５７６バイトとなる。モードＡにおける記憶容量の割り当て方（図８Ａ参照）においては、１個のメモリモジュール（従って６４×１＝６４バイト）がｙ１の予測生成に係る係数データの記憶に割り当てられ、また、８個のメモリモジュール（従って６４×８＝５１２バイト）がｙ２の予測生成に係る係数データの記憶に割り当てられる（図９Ａ参照）。一方、モードＢにおける記憶容量の割り当て方（図８Ｂ参照）においては、４個のメモリモジュール（従って６４×４＝２５６バイト）がｙ１，ｙ２の予測生成に係る係数データの記憶に割り当てられる（図９Ｂ参照）。
【００６０】
ここで、メモリモジュールの記憶容量６４バイトは、上述した各モードにおいて必要とされる記憶容量（モードＡでは６４＋５１２＝５７６バイト、モードＢでは２５６＋２５６＝５１２バイト）の最大公約数として得られる。より一般的には、使用され得る全ての画像情報変換のモードにおいて予測係数データを記憶するために必要とされる総記憶容量の公約数またはその付近となるように、メモリモジュールの記憶容量を設定すれば良い。また、メモリモジュールの記憶容量は、総記憶容量の公約数に厳密に等しい容量に限定されるものでは無く、総記憶容量の公約数付近の記憶容量をメモリモジュールの記憶容量として設定しても良い。
【００６１】
また、メモリモジュールの個数は、予測係数データを記憶するために必要とされる最大の記憶容量をメモリモジュールの記憶容量で割ることによって得られる商またはその付近の値とすれば良い。特に、メモリモジュールの記憶容量を、各ラインデータの予測生成に係る予測データを記憶するために使用される記憶容量の最大公約数とすれば、メモリモジュールの個数を最小とすることができる。
【００６２】
図９に示すように、この発明の一実施形態においては、モードＡにおいては、記憶容量が無駄となることが無い（図９Ａ参照）。また、モードＢにおいても、メモリモジュールの１個分、すなわち６４バイトのみが無駄となるに過ぎない（図９Ｂ参照）。このように、図５を参照して一般的な画像情報圧縮処理系の場合に比較して、無駄となる記憶容量を削減することができる。また、総記憶容量は、一般的な画像情報圧縮処理系中の係数メモリにおいて１０２４バイトであるのに対し、この発明の一実施形態においては、５７６バイトである。このように、この発明の一実施形態においては、一般的な係数メモリに比して、無駄となる記憶容量、および総記憶容量を削減することができる。
【００６３】
なお、上述したこの発明の一実施形態では、メモリモジュール１１１₁〜１１１_nにおけるアドレッシングがｙ１、ｙ２について共通とされるが、メモリモジュール１１１₁〜１１１_nにおけるアドレッシングをｙ１、ｙ２についてそれぞれ独立としても良い。
【００６４】
また、この発明の一実施形態は、画像情報変換のモードとして、上述したモードＡ，モードＢの計２種類を行うものであるが、画像情報変換のモードとして３種類以上を行う場合にも、この発明を適用することができる。
【００６５】
さらに、この発明の一実施形態においては、予測生成されるべき出力画像信号中のラインデータがｙ１，ｙ２の２種類である場合について説明したが、ラインデータの種類は、２種類に限定されるものではない。入力ＳＤ信号と、出力画像信号の組合わせによっては予測生成されるべきラインデータの種類が２種類以外となる場合もあり、そのような場合にもこの発明を適用することができる。
【００６６】
【発明の効果】
上述したように、この発明は、クラス分類適応処理を用いる画像情報変換を行うに際して、予測係数データを記憶するメモリ内に、同一の記憶容量を有し、記憶している予測係数データをクラスコードに応じて出力する機能を有する複数個のメモリモジュールと、これら複数個のメモリモジュールの出力の供給先を、画像情報変換のモードを示す信号に従って選択するデータ供給先選択回路とを備えるようにしたものである。
【００６７】
このため、予測係数を記憶するメモリ内で無駄となる記憶容量を削減することができ、無駄となる記憶容量の削減分に相当する、メモリの総記憶容量の削減を実現することができる。
【００６８】
これにより、メモリについてのコストを低減することができ、装置全体のコスト削減に寄与することができる。
【図面の簡単な説明】
【図１】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図２】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図３】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図４】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の他の例を示す略線図である。
【図５】一般的な画像情報変換処理系の構成の一例における係数メモリの使用状況の一例を示す略線図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【図７】この発明の一実施形態における画像情報変換処理系の一部の構成の一例を示すブロック図である。
【図８】この発明の一実施形態における画像情報変換処理系の構成の一例における係数メモリの使用状況の一例を示す略線図である。
【図９】この発明の一実施形態における画像情報変換処理系の構成の一例における係数メモリの使用状況の他の例を示す略線図である。
【符号の説明】
１１０・・・係数メモリ、１１１₁〜１１１_n・・・メモリモジュール、１１２・・・デコーダ・セレクタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image information conversion apparatus having a function of generating an image signal having a higher resolution from an input image signal.
[0002]
[Prior art]
For the purpose of obtaining an image signal having a higher resolution than the input image signal, an image information conversion process for forming an output image signal having a scanning line structure different from that of the input image signal is performed. As the image information conversion process, there is a class classification adaptive process in which class division is performed according to the three-dimensional (spatio-temporal) distribution of the signal level of the input image signal, and pixel prediction is performed by referring to the class value obtained thereby. Proposed.
[0003]
In the class classification adaptive processing, calculation processing related to prediction generation is performed using a prediction coefficient determined by a predetermined calculation for each class. Therefore, it is necessary to store prediction coefficient data representing the prediction coefficient in a memory in the apparatus.
[0004]
There are generally two or more types of line data, which are aggregates of pixels to be predicted and generated, depending on the positional relationship with the scanning lines in the input image signal. The type of line data is determined by a combination of the signal format of the input image signal and the signal format of the output image signal. The type of coefficient used for predictive generation differs depending on the type of line data. Therefore, it is necessary to store two or more types of prediction coefficient data for each type of line data in the memory that stores the prediction coefficient data.
[0005]
In general, the amount of prediction coefficient data corresponding to each type of line data is different. Therefore, it is necessary to allocate a plurality of areas having different storage capacities corresponding to the prediction coefficient data corresponding to a plurality of types of line data in the memory storing the prediction coefficient data. Furthermore, as described above, the type of line data is determined by a combination of the signal format of the input image signal and the signal format of the output image signal. For this reason, in order to perform image information conversion processing related to two or more combinations of the signal format of the input image signal and the signal format of the output image signal, each line data that needs to be predicted and generated in each combination It is necessary to store the prediction coefficient data according to. Accordingly, it is necessary to set a storage area in the memory in which the storage capacity is variable corresponding to each prediction coefficient data.
[0006]
[Problems to be solved by the invention]
In order to set such a storage area, a configuration in which a number of storage areas having the same storage capacity and equal to the number of types of line data is previously provided in the memory has been used. In this case, each storage area has a sufficient storage capacity to store the prediction coefficient data corresponding to the line data to be predicted and generated in all assumed image information conversion processes, and to store the maximum data amount. It is necessary to have.
[0007]
For this reason, when storing prediction coefficient data other than the prediction coefficient data with the maximum data amount, only a part of the allocated area is used for storing the prediction coefficient data. The storage capacity corresponding to the part that is not used is wasted. Therefore, it is necessary to set the storage capacity of the memory as large as wasted storage capacity. This was a factor that hindered cost reduction.
[0008]
Accordingly, an object of the present invention is to provide a total storage capacity of a memory that stores prediction coefficient data, particularly when performing image information conversion processing related to a combination of a plurality of types of signal formats of an input image signal and a signal format of an output image signal. It is an object of the present invention to provide an image information conversion apparatus capable of reducing the above-mentioned problem.
[0009]
[Means for Solving the Problems]
  The invention of claim 1A first transformation that generates a pixel on a line at the same position as a line present in the input image signal, and a second transformation that generates a pixel on a line at a position different from the line present in the input image signal; And a second conversion mode for generating pixels on a plurality of lines at positions different from the lines existing in the input image signal and increasing the number of lines as compared to the lines existing in the input image signal. It is possible to selectively perform conversion modesIn the image information converter,
  For a given point of interestMultiple temporally and spatially located nearbyFirst image data selection means for selecting a pixel from an input image signal;
  Space class detecting means for detecting a level distribution pattern from image data selected by the first image data selecting means and determining a space class code indicating a space class to which the point of interest belongs based on the detected pattern;
  From the input image signal, including the attention point,Multiple temporally and spatially located nearbySecond image data selection means for selecting pixels;
  Predetermined for each space classFor estimating the output image signalStore the prediction coefficient data,A plurality of memory modules having the same storage capacity for outputting the stored prediction coefficient data according to the space class code determined by the space class detection means;
  Data supply destination selection means for selectively outputting a prediction coefficient output from the memory module in accordance with one of the selected first conversion mode and second conversion mode and the space class code;
  From data supply destination selection meansoutputPrediction coefficient dataAnd image data obtained by the second image data selecting meansSum of productsCalculationTo predict and generate pixels for the point of interestArithmetic processing means for performing arithmetic processing for
  The prediction coefficient data is divided and stored in a plurality of memory modules,
  The plurality of memory modules include, as a total storage capacity, a maximum storage capacity required for storing prediction coefficient data in each of the first conversion mode and the second conversion mode.
  Each of the plurality of memory modules uses the common divisor of the storage capacity used in the plurality of memory modules or a value in the vicinity thereof as the storage capacity in each of the first conversion mode and the second conversion mode. Prepared,
  Minimizing the difference between the calculated value of linear linear combination of the prediction coefficient and the image data selected by the second image data selection means and the true pixel value in the predetermined image signal corresponding to the output image signal Predictive coefficient is determinedThis is an image information conversion device characterized by the above.
[0010]
  The invention of claim 2A first transformation that generates a pixel on a line at the same position as a line present in the input image signal, and a second transformation that generates a pixel on a line at a position different from the line present in the input image signal; And a second conversion mode for generating pixels on a plurality of lines at positions different from the lines existing in the input image signal and increasing the number of lines as compared to the lines existing in the input image signal. It is possible to selectively perform conversion modesIn the image information converter,
  For a given point of interestMultiple temporally and spatially located nearbyFirst image data selection means for selecting a pixel from an input image signal;
  A space class detection unit that detects a level distribution pattern from the image data selected by the first image data selection unit, and determines a space class code indicating a space class to which the point of interest belongs based on the detected pattern;
  From the input image signal, in a plurality of frames in the input image signal,Multiple temporally and spatially located nearbySecond image data selection means for selecting pixels;
  A motion class detection means for calculating a sum of absolute differences between frames from image data selected by the second image data selection means, and determining a motion class code representing motion based on the calculation result;
  Class synthesis means for synthesizing the space class code and the motion class code to generate a class code;
  From the input image signal, including the attention point,Multiple temporally and spatially located nearbyThird image data selection means for selecting pixels;
  Pre-determined for each classFor estimating the output image signalStore the prediction coefficient data,A plurality of memory modules having the same storage capacity for outputting the stored prediction coefficient data in accordance with the class code generated by the class synthesis means;
  Data supply destination selection means for selectively outputting a prediction coefficient output from the memory module according to one of the selected first conversion mode and second conversion mode and the class code;
  From data supply destination selection meansoutputPrediction coefficient dataAnd image data obtained by the third image data selection means,Sum of productsCalculationTo predict and generate pixels for the point of interestArithmetic processing means for performing arithmetic processing for
  The prediction coefficient data is divided and stored in a plurality of memory modules,
  The plurality of memory modules include, as a total storage capacity, a maximum storage capacity required for storing prediction coefficient data in each of the first conversion mode and the second conversion mode.
  Each of the plurality of memory modules includes a common divisor of the storage capacity used in the plurality of memory modules or a value in the vicinity thereof as the storage capacity in each of the first conversion mode and the second conversion mode. ,
  The difference between the calculated value of linear linear combination of the prediction coefficient and the image data selected by the third image data selection means and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. Predictive coefficient is determinedThis is an image information conversion device characterized by the above.
[0011]
According to the invention as described above, it is possible to reduce the storage capacity that is wasted on the memory that stores the prediction coefficient.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Prior to the description of one embodiment of the present invention, image information conversion processing that is the premise thereof will be described below. Such processing is to convert a standard resolution digital image signal (hereinafter referred to as an input SD signal), which is an input image signal, into a high resolution output image signal (sometimes referred to as an HD signal). . As the input SD signal at this time, for example, an interlaced image signal (hereinafter referred to as a 525i signal) having 525 lines is used. Further, as an output image signal, the number of lines is 525, a progressive image signal (hereinafter referred to as 525p signal), and the number of lines is 1050, an interlaced image signal (hereinafter referred to as 1050i signal). Etc. are used.
[0013]
In such image information conversion processing, resolution is being improved by class classification adaptation processing according to the proposal of the present applicant. The class classification adaptive processing is different from that in which high resolution signals are formed by conventional interpolation processing. That is, the class classification adaptive processing performs class division according to the three-dimensional (spatio-temporal) distribution of the signal level of the input SD signal, and stores the predicted count value obtained by learning in advance for each class in a predetermined storage unit. This is a process of outputting an optimum estimated value by a calculation based on the prediction formula. With the class classification adaptive processing, it becomes possible to obtain a resolution higher than the resolution of the input SD signal.
[0014]
An example of a general configuration for performing the image information conversion process as described above is shown in FIG. The input SD signal is supplied to the tap selection circuits 1, 6 and 7. The tap selection circuit 1 cuts out an area including a plurality of pixels from the input SD signal, and uses SD pixels (hereinafter referred to as prediction taps) used for calculation processing performed by the estimated prediction calculation circuit 4 from the cut-out area. select. Then, the selected prediction tap is supplied to the estimated prediction calculation circuit 4. In order to improve prediction accuracy, selection of a prediction tap is performed with reference to prediction tap position information corresponding to a class.
[0015]
The estimated prediction calculation circuit 4 is supplied with prediction coefficient data used for calculation processing from a coefficient memory 11 described later. There are two types of prediction coefficient data to be used for predictive generation of y1 and y2. Based on the prediction tap supplied from the tap selection circuit 1 and the prediction coefficient supplied from the coefficient memory 11, the estimated prediction calculation circuits 4 and 5 sequentially predict and generate pixel values y according to the following equation (1).
[0016]
y = w₁X₁+ W₂X₂+ ... + w_nX_n      (1)
Where x₁, ..., x_nIs each prediction tap, w₁, ..., w_nIs each prediction coefficient. That is, Expression (1) is an expression for predicting and generating the pixel value y using n prediction taps. As the column of pixel values y, two types of line data y1 and y2 (these will be described later) in the output image signal are predicted and generated.
[0017]
The estimated prediction calculation circuit 4 supplies the line data y1 and y2 to the line order conversion circuit 5. The line order conversion circuit 5 performs line double speed processing on the supplied line data y1 and y2 to generate a high resolution signal. This high resolution signal is used as a final output image signal. Although not shown, an output image signal is supplied to the CRT display. The CRT display is configured with a synchronous system so that an output image signal such as a 525p signal can be displayed. As the input SD signal, a broadcast signal or a reproduction signal of a reproduction device such as a VTR is supplied. That is, an example of this image information conversion processing system can be built in a television receiver or the like.
[0018]
On the other hand, the tap selection circuit 6 selects an SD pixel (hereinafter referred to as a space class tap) necessary for detecting a space class from the input SD signal. The output of the tap selection circuit 6 is supplied to the space class detection circuit 8. The tap selection circuit 7 selects an SD pixel (hereinafter referred to as a motion class tap) necessary for detecting a motion class from the input SD signal. The output of the tap selection circuit 7 is supplied to the motion class detection circuit 9. The space class detection circuit 8 detects a space class code based on the supplied space class tap and supplies the detected space class code to the class synthesis circuit 10. The motion class detection circuit 9 detects a motion class code based on the supplied motion class tap and supplies the detected space class code to the class synthesis circuit 10.
[0019]
The class synthesis circuit 10 synthesizes the space class code and the motion class code, and supplies the synthesized class code to the coefficient memory 11. The coefficient memory 11 stores a prediction coefficient determined in advance by learning described later. Then, the prediction coefficient data specified by the synthesized class code supplied from the class synthesis circuit 10 is output to the estimated prediction calculation circuit 4. In order to perform such output, a method of storing prediction coefficient data in the coefficient memory 11 along an address specified by the synthesized class information may be used.
[0020]
Here, the space class detection will be described in more detail. In general, the spatial class detection circuit detects a spatial pattern of the level distribution of image data based on the level distribution pattern of the spatial class tap, and generates a spatial class code based on the detected spatial pattern. In this case, in order to prevent the number of classes from becoming enormous, processing for compressing 8-bit input pixel data into data having a smaller number of bits is performed for each pixel. As an example of such information compression processing, ADRC (Adaptive Dynamic Range Coding) can be used. Moreover, DPCM (predictive coding), VQ (vector quantization), etc. can also be used as information compression processing.
[0021]
ADRC is an adaptive requantization method originally developed for high-efficiency coding for VTR (Video Tape Recoder), but it can efficiently express local patterns of signal level with a short word length. In this form, ADRC is used to generate codes for spatial classification. In ADRC, the maximum value MAX and the minimum value are expressed by the following equation (2), where DR is the dynamic range of the space class tap, n is the bit allocation, L is the data level of the pixel of the space class tap, and Q is the requantization code. Requantization is performed by equally dividing the MIN with a specified bit length.
[0022]
DR = MAX-MIN + 1
Q = {(L−MIN + 0.5) × 2 / DR} (2)
However, {} means a truncation process.
[0023]
Next, motion class detection will be described in more detail. The motion class detection circuit 21 calculates the average value param of the inter-frame difference absolute value according to the following equation (3) based on the supplied motion class tap. Then, the motion class code is detected based on the calculated param value.
[0024]
[Expression 1]

[0025]
In Equation (3), n is the number of motion class taps, and can be set to n = 6, for example. Then, a motion class code that is a motion index is determined by comparing the value of param with a preset threshold value. For example, motion class code 0 if param ≦ 2, motion class code 1 if 2 <param ≦ 4, motion class code 2 if 4 <param ≦ 8, motion if param> 8 A motion class code such as class code 3 is generated. It is determined that the motion class code 0 has the minimum motion (still), and the motion class codes 1, 2, and 3 indicate that the motion is large. Note that a motion vector may be detected, and a motion class may be detected based on the detected motion vector.
[0026]
Next, processing related to generation of a prediction coefficient will be described. FIG. 2 shows an example of the configuration of the prediction coefficient generation processing system. A known signal (for example, a 525p signal) having the same signal format as the output image signal is supplied to the thinning filter 20 and the normal equation adding circuit 27. The thinning filter 51 generates an SD signal (for example, a 525i signal) having the number of pixels halved in the horizontal direction and the vertical direction and having a ¼ pixel number of the signal supplied as a whole.
[0027]
As such processing, for example, the pixels are thinned out by a vertical thinning filter so that the frequency in the vertical direction of the input image signal is halved, and further, the pixels by the horizontal thinning filter so that the frequency in the horizontal direction is halved. Processing such as thinning out is performed. The SD signal generated by the thinning filter 51 is supplied to the

tap selection circuits

21, 22, and 23. By changing the characteristic of the thinning filter 20, the characteristic of learning can be changed, and thereby the image quality of the image obtained by conversion can be controlled.
[0028]
The tap selection circuit 21 selects a prediction tap and supplies the selected prediction tap to the normal equation addition circuit 27. The tap selection circuit 22 selects a prediction tap and supplies the selected prediction tap to the space class detection circuit 24. On the other hand, the tap selection circuit 23 selects a prediction tap and supplies the selected prediction tap to the motion class detection circuit 25. The space class detection circuit 24 detects a space class code based on the supplied space class tap, and supplies the detected space class code to the class synthesis circuit 26. The motion class detection circuit 24 detects a motion class code based on the supplied motion class tap and supplies the detected motion class code to the class synthesis circuit 26. The class synthesis circuit 26 synthesizes the supplied space class code and motion class code, and supplies the synthesized class code to the normal equation addition circuit 27.
[0029]
The normal equation adding circuit 27 calculates data used for calculation processing for solving a normal equation having a prediction coefficient as a solution. That is, the normal equation addition circuit 27 performs an addition process based on the input SD signal, the output of the tap selection circuit 21, and the output of the class synthesis circuit 26, so that the prediction used for the prediction generation of the line data y 1 and y 2 is performed. Data necessary for solving a normal equation with a coefficient as a solution is calculated. The output of the normal equation addition circuit 27 is supplied to the prediction coefficient determination circuit 28. The prediction coefficient determination circuit 28 performs a calculation process for solving a normal equation based on the supplied data, and calculates a prediction coefficient used for prediction generation of the line data y1 and y2. The calculated prediction coefficient is supplied to the coefficient memory 29 and stored therein.
[0030]
Here, the normal equation will be described. As described above, using n prediction taps, the pixels constituting the line data y1 and y2 are sequentially predicted and generated by the above equation (1). In equation (1), the prediction coefficient w before learning₁, ..., w_nIs an undetermined coefficient. Learning is performed by inputting a plurality of input data (known signals having the same signal format as the output image signal as described above) for each class. When the total number of input data is expressed as m, the following equation (4) is set according to equation (1).
[0031]
y_k= W₁X_k1+ W₂X_k2+ ... + w_nX_kn (4)
(K = 1, 2,..., M)
If m> n, prediction coefficient w₁, ..., w_nIs not uniquely determined, the element e of the error vector e_kIs defined by the following equation (5), and the prediction coefficient is determined so as to minimize the error vector e defined by equation (6). That is, the prediction coefficient is uniquely determined by a so-called least square method.
[0032]
e_k= Y_k-{W₁X_k1+ W₂X_k2+ ... + w_nX_kn} (5)
(K = 1, 2, ... m)
[0033]
[Expression 2]

[0034]
E in equation (6)²As a practical calculation method for obtaining the prediction coefficient that minimizes²Prediction coefficient w_i(i = 1, 2...) is partially differentiated (equation (7)), and each prediction coefficient w is set so that the partial differential value becomes 0 for each value of i._iShould be determined.
[0035]
[Equation 3]

[0036]
From Equation (7), each prediction coefficient w_iA specific procedure for determining the above will be described. X as in equations (8) and (9)_ji, Y_i(7) can be written in the form of the determinant of equation (10).
[0037]
[Expression 4]

[0038]
[Equation 5]

[0039]
[Formula 6]

[0040]
Equation (10) is generally called a normal equation. Based on the class information supplied from the class synthesizing circuit 26, the prediction tap supplied from the prediction tap selection circuit 21, and the input data, the normal equation adding circuit 27, that is, normal equation data, that is, equations (8) and (9 X following_ji, Y_iIs calculated. Then, the calculated normal equation data is supplied to the prediction coefficient determination unit 28. Based on the normal equation data, the prediction coefficient determination unit 28 performs a calculation process for solving the normal equation in accordance with a general matrix solution method such as a sweep-out method and the prediction coefficient w_iIs calculated.
[0041]
The image signal obtained by such processing will be described in detail. First, FIG. 3 shows an example of pixel arrangement in image information conversion processing for converting a 525i signal as an input SD signal into a 525p signal as an output image signal by enlarging a part of an image of one field. Here, a large dot indicates a pixel of the 525i signal, and a small dot indicates a pixel of the 525p signal. Line data y1 (shown as small black dots) at the same position as the line of the 525i signal and line data y2 (shown as white small dots) between the upper and lower lines of the 525i signal are formed. As a result, a 525p signal is predicted and generated.
[0042]
FIG. 3 shows a pixel arrangement in an odd field of a certain frame. In the other field (even field), each line of the 525i signal and the 525p signal is spatially shifted by 0.5 lines. As can be seen from FIG. 3, line data y1 at the same position as the line of the 525i signal (shown as small black dots) and line data y2 at the middle position between the upper and lower lines of the 525i signal (shown as white small dots) And 525p signal is predicted and generated.
[0043]
Here, y1 is line data at a position corresponding to the line of the 525i signal, whereas y2 is at a position not corresponding to the line of the 525i signal, and thus is a point generated by a new prediction. Therefore, predicting and generating y2 is more difficult than predicting and generating y1. For this reason, when y2 is predicted and generated, it is necessary to allocate a larger number of classes than when y1 is predicted and generated so that a finer prediction coefficient can be used. Therefore, the coefficient memory 11 also needs to be set so that the storage area for storing the prediction coefficient for y2 prediction generation is larger than the storage area for storing the prediction coefficient for y1 prediction generation. .
[0044]
On the other hand, FIG. 4 is an abbreviation showing an example of pixel arrangement in image information conversion processing for converting a 525i signal as an input SD signal into a 1050i signal as an output image signal by enlarging a part of an image of one field. FIG. Here, a large dot indicates a pixel of a 525i signal, and a small dot indicates a pixel of a 1050i signal. Here, the line data y1 and y2 indicated by solid lines are pixel arrangements of odd fields of a certain frame. The other field (even field) lines are spatially shifted by 0.5 lines as shown by dotted lines, and pixels of line data y1 'and y2' are formed.
[0045]
In FIG. 4, the difficulty in predicting and generating each of the line data y1 and y2 is the same. For this reason, what is necessary is just to make the number of classes which should be allocated when predicting and generating each of y1 and y2 about both. Therefore, also in the coefficient memory 11, the storage areas for storing the prediction coefficients related to the prediction generation of y1 and y2 need to be set so as to have the same size.
[0046]
As described above with reference to FIGS. 3 and 4, in order to perform image information conversion for two or more combinations of the signal format of the input SD signal and the signal format of the output image signal, the coefficient memory 11 It is understood that it is necessary to switch the distribution of the size of the storage area for storing the prediction coefficients related to the prediction generation of y1 and y2. The setting relating to the allocation of the size of the storage area according to the combination of two or more of the signal format of the input SD signal and the signal format of the output image signal is referred to as an image information conversion mode in the following description. .
[0047]
In the following description, as an example of an image information conversion mode, an image information conversion mode (hereinafter referred to as mode A) for converting a 525i signal as an input SD signal into a 525p signal as an output image signal, An image information conversion mode (hereinafter referred to as mode B) for converting a 525i signal as an input SD signal into a 1050i signal as an output image signal is used.
[0048]
First, the coefficient memory 11 in the general image information conversion processing system described above with reference to FIG. 1 will be described with reference to FIG. The coefficient memory 11 includes memory modules 11a and 11b having two equivalent storage capacities for storing prediction coefficients related to prediction generation of y1 and y2, respectively, and the memory modules 11a and 11b respectively store line data y1 and y2. Assigned to store prediction coefficients for prediction generation. In such a configuration, each memory module is used as follows for storing the prediction coefficient data.
[0049]
In the drawings referred to in the following description, an area for storing coefficient data related to y1 prediction generation is indicated by hatching, and an area for storing coefficient data related to y2 prediction generation is shaded. I will show it. FIG. 5A shows an example of the usage status of each memory module in mode A. FIG. Here, the area for storing coefficient data related to y1 prediction generation is 64 bytes, whereas the area for storing coefficient data related to y2 prediction generation is 512 bytes. On the other hand, FIG. 5B shows an example of the usage status of each memory module in mode B. Here, the coefficient data relating to the prediction generation of y1 and y2 are both 256 bytes.
[0050]
Therefore, the data amount of prediction coefficient data related to y1 or y2 prediction generation in modes A and B is 512 bytes at the maximum. In order to cope with such a situation, the storage capacity of the memory modules 11a and 11b is set to 512 bytes. In this case, the total storage capacity of the coefficient memory 11 is 512 × 2 = 1024 bytes.
[0051]
In the coefficient memory 11 having the above configuration, when mode A is performed, 512-64 = 448 bytes are wasted in the memory module 11a. In mode B, as shown in FIG. 5B, the memory module 11a has 512-256=256Bytes are wasted and 512 bytes are wasted as a whole.
[0052]
As described above, in a general image information conversion processing system, a wasteful storage area is generated in the coefficient memory particularly when a plurality of image information conversion modes are performed. For this reason, it is necessary to set the total storage capacity of the coefficient memory larger than the total data amount of the prediction coefficient data that needs to be stored in each mode by the amount of useless storage areas. This has been a factor that hinders cost reduction of the apparatus.
[0053]
Therefore, the present invention reduces the total storage capacity of the coefficient memory by reducing a useless storage area in the coefficient memory. Hereinafter, an embodiment of the present invention will be described.
[0054]
FIG. 6 shows an example of the configuration of a prediction coefficient generation processing system in one embodiment of the present invention. Here, the same code | symbol was attached | subjected to the component similar to the component in the general prediction coefficient production | generation processing system mentioned above with reference to FIG. A coefficient memory 110 is used instead of the coefficient memory 11 in FIG. As the prediction coefficient generation processing system, for example, the same configuration as the general prediction coefficient generation processing system described above with reference to FIG. 2 and the like can be used.
[0055]
The coefficient memory 110 will be described with reference to FIG. The coefficient memory 110 includes a plurality of memory modules having an equivalent storage capacity. For convenience of explanation, these memory modules are referred to as memory modules 111.₁, 111₂, ..., 111_nIs written. Memory module 111₁, 111₂, ..., 111_nThe class code is supplied from the class synthesis circuit 10 as described above. Then, according to the supplied class code, the memory module 111₁~ 111_nIs supplied to the decoder / selector 112. The decoder / selector 112 is further supplied with a class code and a mode signal.
[0056]
Here, the mode signal is a signal indicating a mode of image information conversion. The decoder / selector 112 includes a memory module 111.₁~ 111_nThe prediction coefficient data output from is selectively output according to the class code and the mode signal. Such selective output will be described below. In one embodiment of the present invention, the memory module 111₁~ 111_nThe addressing in is common to y1 and y2. When such addressing is used, the memory module 111 corresponds to the supplied class code.₁~ 111_nThe prediction coefficient data output according to the class code from any of the above is used in the calculation for predicting and generating any of the line data y1 and y2.
[0057]
The decoder / selector 112 to which such prediction coefficient data is supplied corresponds to the prediction coefficient data a so as to be accurately associated with the line data y1 and y2 to be predicted and generated at each time point according to the class code and the mode signal. Alternatively, it is selectively output as prediction coefficient data b. That is, the prediction coefficient data a and the prediction coefficient data b are respectively supplied to the prediction coefficient data input units for the line data y1 and y2 in the estimated prediction calculation circuit 4.
[0058]
An example of how to allocate the data amount of the prediction coefficient data for predicting and generating each of the line data y1 and y2 in mode A is shown in FIG. 8A. Here, the area for storing coefficient data related to y1 prediction generation is 64 bytes, whereas the area for storing coefficient data related to y2 prediction generation is 512 bytes. On the other hand, FIG. 8B shows an example of how to allocate the data amount of the prediction coefficient data for predicting and generating each of the line data y1 and y2 in mode B. Here, the coefficient data relating to the prediction generation of y1 and y2 are both 256 bytes.
[0059]
FIG. 9 shows an example of how to install memory modules in the coefficient memory 110 that can perform both mode A and mode B. Here, a case where nine memory modules having a storage capacity of 64 bytes are included (that is, n = 9 in FIG. 7) is shown. In this case, the total storage capacity is 64 × 9 = 576 bytes. In the method of allocating storage capacity in mode A (see FIG. 8A), one memory module (and thus 64 × 1 = 64 bytes) is allocated to store coefficient data related to y1 prediction generation, A memory module (and thus 64 × 8 = 512 bytes) is allocated to store coefficient data for y2 prediction generation (see FIG. 9A). On the other hand, in the method of allocating the storage capacity in mode B (see FIG. 8B), four memory modules (accordingly, 64 × 4 = 256 bytes) are allocated to store coefficient data related to y1 and y2 prediction generation (FIG. 8). 9B).
[0060]
Here, the storage capacity of 64 bytes of the memory module is the storage capacity required in each mode described above (64 + 512 = 576 bytes in mode A, and in mode B).256+256= 512 bytes) as the greatest common divisor. More generally, the memory capacity of the memory module is set to be at or near the common divisor of the total memory capacity required to store the prediction coefficient data in all image information conversion modes that can be used. Just do it. Further, the storage capacity of the memory module is not limited to a capacity that is strictly equal to the common divisor of the total storage capacity, and a storage capacity near the common divisor of the total storage capacity may be set as the storage capacity of the memory module. .
[0061]
The number of memory modules may be a quotient obtained by dividing the maximum storage capacity required to store the prediction coefficient data by the storage capacity of the memory module or a value in the vicinity thereof. In particular, the number of memory modules can be minimized if the storage capacity of the memory module is the greatest common divisor of the storage capacity used for storing the prediction data related to the prediction generation of each line data.
[0062]
As shown in FIG. 9, in one embodiment of the present invention, the storage capacity is not wasted in mode A (see FIG. 9A). Also in mode B, only one memory module, that is, only 64 bytes is wasted (see FIG. 9B). As described above, it is possible to reduce a useless storage capacity as compared with the case of a general image information compression processing system with reference to FIG. The total storage capacity is 1024 bytes in a coefficient memory in a general image information compression processing system, whereas in the embodiment of the present invention, it is 576 bytes. As described above, in the embodiment of the present invention, it is possible to reduce the useless storage capacity and the total storage capacity as compared with a general coefficient memory.
[0063]
In the above-described embodiment of the present invention, the memory module 111₁~ 111_nIs common to y1 and y2, but the memory module 111₁~ 111_nThe addressing may be independent for y1 and y2.
[0064]
Further, according to an embodiment of the present invention, two types of the mode A and the mode B described above are performed as image information conversion modes. However, when three or more types of image information conversion modes are performed, The present invention can be applied.
[0065]
Furthermore, in the embodiment of the present invention, the case where there are two types of line data y1 and y2 in the output image signal to be predicted generated has been described, but the types of line data are limited to two types. It is not a thing. Depending on the combination of the input SD signal and the output image signal, the types of line data to be predicted and generated may be other than two types, and the present invention can also be applied to such a case.
[0066]
【The invention's effect】
As described above, when performing image information conversion using class classification adaptive processing, the present invention has the same storage capacity in a memory for storing prediction coefficient data, and stores the stored prediction coefficient data in a class code. And a data supply destination selection circuit for selecting a supply destination of outputs of the plurality of memory modules according to a signal indicating an image information conversion mode. Is.
[0067]
For this reason, it is possible to reduce the storage capacity that is wasted in the memory that stores the prediction coefficient, and it is possible to realize a reduction in the total storage capacity of the memory that corresponds to the reduction in the storage capacity that is wasted.
[0068]
As a result, the cost for the memory can be reduced, which can contribute to the cost reduction of the entire apparatus.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a general image information conversion processing system.
FIG. 2 is a block diagram illustrating an example of a configuration of a general prediction coefficient calculation processing system.
FIG. 3 is a schematic diagram illustrating an example of a pixel arrangement in an image information conversion process performed according to an embodiment of the present invention.
FIG. 4 is a schematic diagram illustrating another example of the pixel arrangement in the image information conversion process performed according to the embodiment of the present invention.
FIG. 5 is a schematic diagram illustrating an example of a usage state of a coefficient memory in an example of a configuration of a general image information conversion processing system.
FIG. 6 is a block diagram showing an example of the configuration of an image information conversion processing system in one embodiment of the present invention.
FIG. 7 is a block diagram illustrating an example of a partial configuration of an image information conversion processing system according to an embodiment of the present invention.
FIG. 8 is a schematic diagram illustrating an example of a usage state of a coefficient memory in an example of a configuration of an image information conversion processing system according to an embodiment of the present invention;
FIG. 9 is a schematic diagram illustrating another example of the usage state of the coefficient memory in an example of the configuration of the image information conversion processing system according to the embodiment of the present invention;
[Explanation of symbols]
110: Coefficient memory, 111₁~ 111_n... Memory modules, 112 ... Decoders / selectors

Claims

A first transformation that generates a pixel on a line at the same position as a line present in the input image signal, and a second transformation that generates a pixel on a line at a position different from the line present in the input image signal; And a second conversion mode for generating pixels on a plurality of lines at positions different from the lines existing in the input image signal and increasing the number of lines as compared to the lines existing in the input image signal. In the image information conversion apparatus capable of selectively performing the conversion mode ,
First image data selection means for selecting, from an input image signal, a plurality of pixels located in the vicinity of a predetermined point of interest temporally and spatially ;
A space class detection unit that detects a level distribution pattern from the image data selected by the first image data selection unit, and determines a space class code indicating a space class to which the attention point belongs based on the detected pattern. When,
Second image data selection means for selecting, from the input image signal, a plurality of pixels that include the attention point and are located in the vicinity of the attention point in terms of time and space ;
Predicted prediction coefficient data for estimating an output image signal determined in advance for each space class , and outputting the stored prediction coefficient data in accordance with the space class code determined by the space class detecting means. A plurality of memory modules having a storage capacity of
Data supply for selectively outputting the prediction coefficient output from the memory module according to any one of the selected first conversion mode and second conversion mode and the space class code First selection means,
An arithmetic process for predictively generating a pixel for the target point is performed by a product-sum operation of the prediction coefficient data output from the data supply destination selection unit and the image data obtained by the second image data selection unit. Arithmetic processing means,
The prediction coefficient data is divided and stored in the plurality of memory modules,
The plurality of memory modules include a maximum storage capacity required for storing the prediction coefficient data as a total storage capacity in each of the first conversion mode and the second conversion mode,
Each of the plurality of memory modules has a common divisor of a storage capacity used in the plurality of memory modules or a value in the vicinity thereof in each of the first conversion mode and the second conversion mode. As a storage capacity,
The difference between the linear linear combination of the prediction coefficient and the image data selected by the second image data selection means and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. An image information conversion apparatus characterized in that the prediction coefficient is determined .

A first transformation that generates a pixel on a line at the same position as a line present in the input image signal, and a second transformation that generates a pixel on a line at a position different from the line present in the input image signal; And a second conversion mode for generating pixels on a plurality of lines at positions different from the lines existing in the input image signal and increasing the number of lines as compared to the lines existing in the input image signal. In the image information conversion apparatus capable of selectively performing the conversion mode ,
First image data selection means for selecting, from an input image signal, a plurality of pixels located in the vicinity of a predetermined point of interest temporally and spatially ;
A space class detection unit that detects a level distribution pattern from the image data selected by the first image data selection unit, and determines a space class code indicating a space class to which the attention point belongs based on the detected pattern. When,
Second image data selection means for selecting, from the input image signal, a plurality of pixels located in the vicinity of the point of interest temporally and spatially in a plurality of frames in the input image signal;
A motion class detecting means for calculating a sum of absolute differences between frames from the image data selected by the second image data selecting means, and determining a motion class code representing motion based on the calculation result;
Class synthesis means for synthesizing the space class code and the motion class code to generate a class code;
Third image data selection means for selecting, from the input image signal, a plurality of pixels that include the attention point and are located in the vicinity of the attention point in terms of time and space ;
Predetermined prediction coefficient data for estimating the output image signal for each class, and storing the stored prediction coefficient data according to the class code generated by the class synthesizing means A plurality of memory modules,
A data supply destination for selectively outputting the prediction coefficient output from the memory module in accordance with one of the selected first conversion mode and second conversion mode and the class code A selection means;
An arithmetic process for predictively generating a pixel for the target point is performed by a product-sum operation of the prediction coefficient data output from the data supply destination selection unit and the image data obtained by the third image data selection unit. Arithmetic processing means,
The prediction coefficient data is divided and stored in the plurality of memory modules,
The plurality of memory modules include a maximum storage capacity required for storing the prediction coefficient data as a total storage capacity in each of the first conversion mode and the second conversion mode,
Each of the plurality of memory modules has a common divisor of a storage capacity used in the plurality of memory modules or a value in the vicinity thereof in each of the first conversion mode and the second conversion mode. As a storage capacity,
The difference between the calculated value of linear linear combination of the prediction coefficient and the image data selected by the third image data selection means and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. An image information conversion apparatus characterized in that the prediction coefficient is determined .

In claim 2 ,
Each of the plurality of memory modules is
The storage capacity includes the greatest common divisor of the storage capacity used in the plurality of memory modules in each of the first conversion mode and the second conversion mode , or a value in the vicinity thereof. A featured image information conversion apparatus.

In claim 2,
The first conversion mode is
Image information conversion characterized in that it is a mode related to a process for converting an interlaced image signal having 525 scanning lines as an input image signal into a progressive image signal having 525 scanning lines as an output image signal. apparatus.

In claim 2,
The second conversion mode is
Image information characterized by a mode relating to processing for converting an interlaced image signal having 525 scanning lines as an input image signal into an interlaced image signal having 1050 scanning lines as an output image signal Conversion device.