JP5161311B2 - 画像をスケーリングするシステムおよび方法 - Google Patents

Description

本開示は、一般に、ディジタル画像処理および表示システムに関し、より詳細には、画像をスケーリングするシステムおよび方法であって、画像のサイズを増大させた後に、当該アップスケーリングした画像をフィルタリングしてエイリアシング・アーチファクトを除去するシステムおよび方法に関する。

アップスケーリング、すなわちアップ変換では、垂直方向および水平方向の走査線の数を増やすことによって、画像の解像度を増大させる。アップスケーリングは、多くのポストプロダクション・アプリケーションに重要な問題である。例えば、従来のテレビジョン番組および映画の多くのフォーマットは、ＳＤ（標準画質）フォーマットである。現在のＨＤ（高精細度）ディスプレイまたはテレビジョンでＳＤの映画を再生するためには、ＳＤの映画を、ＳＤフォーマットより解像度の高いＨＤフォーマットに変換することが望ましい。他に、アップスケーリングの適用分野の例としては、入力画像のサイズをディスプレイ固有の解像度に変換するためのアップスケーリング構成要素を必要とする、ディスプレイ制御装置も挙げられる。

アップスケーリング・プロセスでは、得られる画像のサイズの方が元の画像のサイズより大きいので、追加のピクセルを画像に挿入しなければならず、その結果、目に見えるアーチファクトが生じる可能性がある。従来の方法では、アップスケーリングを行う前にフィルタを適用して、ピクセル挿入によって生じるアーチファクトを除去している。しかし、従来の多くのアップスケーリング・アルゴリズムでは、エッジなど画像の局所的な内容に関わらず、画像面全体に一様にフィルタを適用しており、その結果、細部にぼけが生じる。

従って、不要なアーチファクトを生じることなく画像をスケーリングする技術が必要とされている。さらに、画質を損なうことなく画像をアップスケーリングする技術も必要とされている。

画像をスケーリングするシステムおよび方法を提供する。画像のサイズを増大させた後で、そのアップスケーリング済み画像をフィルタリングしてエイリアシング・アーチファクトを除去する、アップスケーリング・アルゴリズムまたは機能を利用する。フィルタリング・プロセスでは、アップスケーリング済み画像中のオブジェクトの複数のエッジを検出し、それら検出した複数のエッジに対して、異なるフィルタ周波数応答を適用する。検出した複数のエッジに対して異なるフィルタ周波数応答を適用することで、線画像の細部がより多く保存される。本開示のシステムおよび方法では、局所的な幾何学的形状、すなわち検出したエッジに従って、追加のピクセルを画像に挿入することによって画像のサイズを増大させ、画像の細部を保存する、適応型アップスケーリング・アルゴリズムまたは機能を利用する。

本開示の１つの特徴によれば、画像をスケーリングする方法が提供され、この方法は、第１のサイズの画像を取得するステップと、画像の幾何学的形状を検出するステップと、画像を第２のサイズにスケーリングするステップと、検出した幾何学的形状に基づいて、少なくとも１つのフィルタを用いて、上記のスケーリングした画像をフィルタリングするステップとを含む。

１つの特徴では、上記の検出ステップは、画像中のオブジェクトのエッジを検出するステップを含む。別の特徴では、上記の検出ステップは、画像中の各ピクセルのエッジ振幅を含む第１のエッジ・マップを生成するステップと、画像中の各ピクセルのエッジ方向を含む第２のエッジ・マップを生成するステップとをさらに含む。

別の特徴では、上記の方法はそれぞれ異なる方向を有する複数のフィルタを生成するステップをさらに含み、上記のフィルタリング・ステップは、各ピクセルごとに、当該ピクセルのエッジ方向と実質的に同じエッジ方向を有する少なくとも１つのフィルタを選択するステップを含む。複数のフィルタを生成する上記のステップは、第１の遮断周波数を有する１次元水平フィルタを生成するステップと、第１の周波数より低い第２の遮断周波数を有する１次元垂直フィルタを生成するステップと、水平フィルタと垂直フィルタに対して外積関数を適用して２次元フィルタを生成するステップと、２次元フィルタを複数の異なる方向に回転させ、それらの複数の異なる方向のそれぞれについて少なくとも１つのフィルタを記憶するステップとを含む。

本開示の別の特徴によれば、第１のサイズの画像をスケーリングするシステムが提供される。このシステムは、画像の幾何学的形状を検出するように構成された幾何学的形状検出器と、画像を第２のサイズにスケーリングするように構成されたスケーラ・モジュールと、検出した幾何学的形状に基づいて、少なくとも１つのフィルタを用いて、上記のスケーリングした画像をフィルタリングするように構成されたサンプリング・モジュールとを備える。

本開示の別の特徴では、機械によって実行可能な命令のプログラムを実装して画像をスケーリングするための方法ステップを実行する、機械によって可読なプログラム記憶デバイスが提供される。上記の方法は、第１のサイズの画像を取得するステップと、画像の幾何学的形状を検出するステップと、画像を第２のサイズにスケーリングするステップと、検出した幾何学的形状に基づいて、少なくとも１つのフィルタを用いて、上記のスケーリングした画像をフィルタリングするステップとを含む。

以下、本開示の上記その他の特徴、特色および利点について説明する。以下で説明しないものについても、以下の好ましい実施例の詳細な説明を添付の図面と併せて読めば、明らかになるであろう。

すべての図面を通じて、同じ参照番号は同様の要素を指すものとする。

標準的な画像スケーリングを行う一般的なシステムを示す図である。 スケーリングおよびフィルタリングした結果得られた画像を示す図であって、最適な遮断周波数でフィルタリングして得られた画像を示す図である。 スケーリングおよびフィルタリングした結果得られた画像を示す図であって、最適な遮断周波数より低い遮断周波数でフィルタリングして得られた画像を示す図である。 スケーリングおよびフィルタリングした結果得られた画像を示す図であって、最適な遮断周波数より高い遮断周波数でフィルタリングして得られた画像を示す図である。 画像スケーリング中の信号の周波数応答の変化を示す図である。 従来の画像スケーリングを行う方法を示す流れ図である。 スケーリング・フィルタの２次元（２Ｄ）周波数応答を示す図である。 スケーリング・フィルタの２次元（２Ｄ）周波数応答を示す図である。 スケーリング・フィルタの２次元（２Ｄ）周波数応答を示す図である。 標準的なスケーリング・フィルタで処理して得られた画像を示す図である。 本開示による回転スケーリング・フィルタで処理して得られた画像を示す図である。 本開示による画像をスケーリングする例示的なシステムを示す図である。 本開示の１つの特徴による画像をスケーリングする例示的な方法を示す流れ図である。 本開示の１つの特徴による２Ｄスケーリング・フィルタを生成する例示的な方法を示す流れ図である。 本開示の１つの特徴による画像の２Ｄサンプリング／フィルタリングを行う例示的な方法を示す流れ図である。 従来のスケーラで処理して得られる画像を示す図である。 本開示のシステムおよび方法で処理して得られる画像を示す図である。

図面は、本開示の概念を例示するためのものに過ぎず、必ずしも本開示を説明する唯一の可能な構成ではないことを理解されたい。

図面に示す要素は、ハードウェア、ソフトウェア、またはそれらの組合せといった様々な形態で実装することができることを理解されたい。これらの要素は、プロセッサと、メモリと、入出力インターフェースとを備えることができる１つまたは複数の適当にプログラムされた汎用装置において、ハードウェアとソフトウェアの組合せとして実装されることが好ましい。

本明細書では、本開示の原理を説明する。従って、本明細書に明示的には記述または図示していなくても、本開示の原理を実施し、本発明の趣旨および範囲内に含まれる様々な構成を、当業者なら考案することができることを理解されたい。

本明細書に記載するすべての例および条件に関する表現は、本開示と、当技術分野をさらに進歩させるために発明者が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであり、これらの具体的に列挙した例および条件に限定されないものと解釈されたい。

さらに、本開示の原理、特徴および実施例ならびに本開示の具体的な例について本明細書で述べるすべての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する将来開発される任意の要素も含まれるものとする。

従って、例えば、当業者なら、本明細書に示すブロック図が本開示の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示される場合もされない場合もあるコンピュータまたはプロセッサによって実行される様々なプロセスを表すことも理解されたい。

図面に示す様々な要素の機能は、専用のハードウェア、および適当なソフトウェアと連動してソフトウェアを実行することができるハードウェアを使用して実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実施することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。

従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、開発担当者が、前後関係から適宜判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含む、当該機能を実行する任意の態様を含むものとする。特許請求の範囲によって定義される本開示は、記載した様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

画像をスケーリングするシステムおよび方法を提供する。画像のサイズを増大させた後で、そのアップスケーリングした画像をフィルタリングしてエイリアシング・アーチファクトを除去する、アップスケーリング・アルゴリズムまたは機能を利用する。フィルタリング・プロセスでは、アップスケーリング済み画像中の複数のオブジェクトの複数のエッジを、例えば幾何学的検出によって検出し、これらの検出した複数のエッジに対して、異なるフィルタ周波数応答を用意する。提案するアップスケーリング・アルゴリズムまたは機能は、周波数領域の信号保存という点で最適な、従来のマルチレート２Ｄ信号処理を基本とするサイズ変更アルゴリズムを拡張したものである。その結果として、幾何学的検出が正確であるかぎり、本開示のアップスケーリング・アルゴリズムまたは機能は、標準的なマルチレート信号処理のみに基づく以前のアルゴリズムよりも性能が向上する。

以下では、マルチレート信号処理理論に基づく従来のスケーリング・アルゴリズムまたは機能について説明し、その後、本開示によるマルチレート信号処理原理に基づく改良されたアップスケーリング・アルゴリズムまたは機能を利用したシステムおよび方法について説明する。

マルチレート信号処理に基づく画像スケーリングでは、画像のサイズ変更は、画像からピクセルを除去する、または画像にピクセルを挿入することによって実施される。そのため、必然的に、サイズ変更プロセス中に情報の欠損が生じることになる。本開示のスケーリング・アルゴリズムまたは機能の設計の原理は、画像信号を最大限保存し、元の画像に属さない余計な信号が導入されることを避けることである。空間領域より、周波数領域で作業する方が好都合である。周波数領域においては、この原理は、元の画像の周波数成分を保存し、余計な周波数成分の導入を避けることである。この原理は、信号のサンプリング・レートの変更に関するマルチレート信号処理理論の基本である。

具体的には、一般的な画像スケーラは、図１に示すアップサンプリング、フィルタリング、およびダウンサンプリングの３つのステップをたどる。スケーリング率によって、作業の流れが若干変化することもある。例えば、スケーリングがアップスケーリングである場合には、この３ステップ・プロセスを、アップサンプリングおよびフィルタリングのみからなる２ステップ・プロセスに変更する。スケーリングがフラクショナル・スケーリング（ｆｒａｃｔｉｏｎａｌ ｓｃａｌｉｎｇ）である場合には、アップサンプリングとダウンサンプリングが両方とも必要である。本開示では、アップサンプリングとは、ゼロ強度のピクセルを画像に挿入して、より大きなサイズの画像を生成することであり（１次元の例を図１に示す）、ダウンサンプリングとは、画像中のピクセルを破棄して、より小さなサイズの画像を生成することである。フィルタリングは、エイリアシング・アーチファクトが再サンプリングによって生じることを避けるために使用され、理論的には、理想低域フィルタであると最適である。

マルチレート信号処理理論によれば、スケーリング率がＮ／Ｍ（ＮとＭは互いに素）である場合には、理想低域フィルタの最適な遮断周波数は、π／ｍａｘ（Ｍ、Ｎ）となる。Ｎ／Ｍは、一意的なスケーリング比を規定する。例えば、１／２は２分の１のダウンスケーリングを意味し、２／１は２倍のアップスケーリングを意味する。

図２は、スケーリングおよびフィルタリングによって得られる画像をいくつか示した図である。図２Ａは、最適な遮断周波数でフィルタリングして得られた画像を示す図であり、図２Ｂは、最適な遮断周波数より低い遮断周波数でフィルタリングして得られた画像を示す図であり、図２Ｃは、最適な遮断周波数より高い遮断周波数でフィルタリングして得られた画像を示す図である。図２Ｂから分かるように、遮断周波数が最適な遮断周波数より低い場合には、例えばぼけなどによって画像の細部が失われる可能性がある。一方、スケーリング・フィルタの遮断周波数が最適な遮断周波数より高い場合には、エイリアシング・アーチファクトが目に見えるようになる可能性がある。

図３に、標準的なスケーリング・システムの処理の進行に伴う周波数応答の変化を、１Ｄで、すなわち１次元で示す。フィルタリングは、周波数領域でも空間領域でも実行することができる。周波数領域でフィルタリングを実行する際の問題点は、計算が複雑になることと、フィルタの改変が不可能であることである。従って、スケーリング・フィルタリングを実行する標準的な方法では、周波数領域の理想低域フィルタを空間フィルタ・カーネルに変換して、空間フィルタリングを適用する。理想低域フィルタの空間カーネルは、Ｓｙｎｃ関数（例えばｓｉｎ（ｘ）／ｘ）である。Ｓｙｎｃ関数は無限の台を有するので、窓関数を適用して、フィルタに有限のサイズを持たせなければならない。窓関数は、フィルタの設計に使用される標準的な技術である。ディジタル・フィルタには、ＦＩＲフィルタとＩＩＲフィルタがある。前者のフィルタは、有限のタップを有し、後者のフィルタは、しばしば無限のタップを有する。コンピュータにＩＩＲフィルタを実装するためには、無限のフィルタ・サイズを有限のフィルタ・サイズに変更する必要がある。窓関数は、無限フィルタの各係数に対して切り捨ておよび重み付けを行って、有限フィルタにする。

従来のスケーリング・システムで利用されるスケーリング・アルゴリズムまたは機能を、図４に示す。最初に、ステップ１０で、Ｍ×Ｌのサイズを有するソース画像を取得する。ステップ１２で、元の画像からスケーリングするサイズとして、例えばＮ×Ｐを選択する。次に、ステップ１４で、ＭおよびＮを互いに素になるようにし、ＬおよびＰも互いに素になるようにする。

ステップ１６で、π／ｍａｘ（Ｍ、Ｎ）に等しい遮断周波数を有する水平フィルタを生成する。ステップ１８では、ｘ方向、すなわち水平方向にスケーリングを行い、水平フィルタを適用する。次に、ステップ２０で、π／ｍａｘ（Ｌ、Ｐ）に等しい遮断周波数を有する垂直フィルタを生成する。ステップ２２では、ｙ方向、すなわち垂直方向にスケーリングを行い、垂直フィルタを適用する。次いで、ステップ２４で、各ピクセルにおける各フィルタの出力を各ピクセル位置で記憶して、結果画像を生成する。

図４に示す従来のスケーリング・アルゴリズムでは、水平方向と垂直方向とで別々にフィルタリングを行うので、それらを組み合わせたフィルタリング効果の２Ｄ周波数応答は、図５Ａに示すように、２Ｄ周波数空間では矩形になる。しかし、画像中のオブジェクトは、様々な幾何学的形状を有している可能性があり、従って、様々な局所周波数応答を有している可能性がある。例えば、直線の周波数応答は、２Ｄ周波数空間では直線である（図５Ｂを参照されたい。左側は直線の画像、右側はその周波数応答である）。この図から分かるように、この直線の周波数応答は、２Ｄ周波数空間内の反転対角線沿いに非常に集中している。従って、この直線の画像に対しては、矩形応答よりも、例えば直角応答など、図５Ｃに示すように回転した周波数応答を有するフィルタの方が適している。直角フィルタ応答を生成するためには、エッジまたは直線と同じ方向にフィルタを回転させることになる。回転周波数応答を有する２Ｄフィルタは、直線画像の細部をより多く保存し、エイリアシング成分を除去するのにより適している。回転周波数応答を有するフィルタを用いて生成した結果画像の例を、図６に示す。図６Ａは、従来のスケーリング・フィルタで処理した結果画像を示す図であり、図６Ｂは、回転スケーリング・フィルタで処理した結果画像を示す図である。

本開示のシステムおよび方法では、フィルタの周波数応答を画像コンテンツの局所的な幾何学的形状に適応させることによってより多くの細部を保存し、より効果的にエイリアシング成分を除去する、適応型アップスケーリング・アルゴリズムまたは機能を利用する。例えば、局所的な幾何学的形状が直線またはエッジである場合には、当該エッジと同じ方向を有するように、または当該エッジと平行になるようにフィルタを回転させ、それにより、エッジ方向に対して直角な細長い周波数応答（例えばフーリエ変換振幅）を得るものとする。フィルタの周波数応答の配向をエッジ方向に対して直角にして、フィルタの帯域幅がエッジ方向に沿って小さくなるようにする。

図面を参照すると、本開示の実施例による例示的なシステム構成要素が、図７に示してある。走査デバイスまたは装置１０３は、例えばカメラで露光されたフィルムのネガなどのフィルム・プリント１０４を走査して、例えばＣｉｎｅｏｎやＳＭＰＴＥ ＤＰＸのファイルなどのディジタル・フォーマットにするために設けることができる。走査デバイス１０３は、例えば、ビデオ出力を有するＡｒｒｉ社製ＬｏｃＰｒｏ（商標）など、フィルムからビデオ出力を生成するテレシネまたは任意のデバイスを備えることができる。あるいは、ポストプロダクション・プロセスまたはディジタル映画のファイル１０６（例えば既にコンピュータ可読形式になっているファイル）を、直接使用してもよい。コンピュータ可読ファイルのソースとしては、ＡＶＩＤ（商標）エディタ、ＤＰＸファイル、Ｄ５テープなどがある。

走査されたフィルム・プリントは、例えばコンピュータなどの後処理装置１０２に入力される。このコンピュータは、１つまたは複数の中央処理装置（ＣＰＵ）などのハードウェアと、ランダム・アクセス・メモリ（ＲＡＭ）および／または読取り専用メモリ（ＲＯＭ）などのメモリ１１０と、キーボードやカーソル制御デバイス（例えばマウス、ジョイスティック）などの１つまたは複数の入出力（Ｉ／Ｏ）ユーザ・インターフェースと、ディスプレイ・デバイスとを有する、様々な既知のコンピュータ・プラットフォームの何れかに実装される。このコンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備える。本明細書に記載する様々なプロセスおよび機能は、オペレーティング・システムを介して実行される、マイクロ命令コードの一部、またはソフトウェア・アプリケーション・プログラムの一部（あるいはそれらの組合せ）にすることができる。一実施例では、ソフトウェア・アプリケーション・プログラムは、プログラム記憶デバイスに実装され、後処理装置１０２など任意の適当な機械にアップロードして実行することができる。さらに、パラレル・ポートやシリアル・ポート、ユニバーサル・シリアル・バス（ＵＳＢ）など様々なインターフェースおよびバス構造によって、その他の様々な周辺デバイスをこのコンピュータ・プラットフォームに接続することができる。その他の周辺デバイスとして、追加の記憶デバイス１２４およびプリンタ１２８を備えることもできる。プリンタ１２８は、例えばＨＤ版のフィルムなど、フィルム１２６を修正またはマーク付けしたものを印刷するために使用することができる。

あるいは、既にコンピュータ可読形式になっているファイル／フィルム・プリント１０６（例えば外付けハード・ディスク・ドライブ１２４に記憶することができるディジタル映画）を、直接コンピュータ１０２に入力することもできる。本明細書で使用する「フィルム」という用語は、フィルム・プリントを指すこともあれば、ディジタル映画を指すこともあることに留意されたい。

ソフトウェア・プログラムは、メモリ１１０に記憶される、画像のスケーリングを行うスケーラ・モジュール１１４を含む。スケーラ・モジュール１１４は、第１のサイズ（Ｍ×Ｌ）から第２のサイズ（Ｎ×Ｐ）に画像をスケーリングするように構成される。スケーラ・モジュール１１４は、画像中のオブジェクトの幾何学的形状を検出する幾何学的形状検出器１１６を備える。一実施例では、幾何学的形状検出器１１６は、エッジ検出器として構成してもよい。エッジ検出器は、各画像ごとに２つのエッジ・マップ、すなわち振幅マップおよび配向マップを生成する。各マップは、元の画像の各ピクセルごとの情報を含む。

それぞれ方向の異なる複数のフィルタを生成するフィルタ生成器１１８が設けられている。スケーラ・モジュール１１４は、スケーリング済みの画像を、検出した幾何学的形状に基づいて少なくとも１つのフィルタを用いてフィルタリングするサンプリング・モジュール１２０も備える。

図８は、本開示の１つの特徴による画像をスケーリングする例示的な方法を示す流れ図である。最初に、ステップ２０２で、後処理装置１０２が、Ｍ×Ｌのサイズを有する２次元（２Ｄ）画像を少なくとも１つ取得する。後処理装置１０２は、上述のように、コンピュータ可読フォーマットのディジタル・マスタ・ビデオ・ファイルを取得することによって、少なくとも１つの２Ｄ画像を取得する。ディジタル・ビデオ・ファイルは、ディジタル・ビデオ・カメラで時系列ビデオ画像を取り込むことによって取得することができる。あるいは、ビデオ・シーケンスは、従来のフィルム式カメラで取り込んでもよい。この場合には、走査デバイス１０３でフィルムを走査する。

フィルムを走査する場合も、最初からディジタル・フォーマットである場合も、フィルムのディジタル・ファイルは、フレーム番号などフレームの位置を示す指示または情報や、フィルムの開始からの時間を示す指示または情報などを含むことを理解されたい。ディジタル・ビデオ・ファイルは、各フレームが１つの画像、例えばＩ_１、Ｉ_２、．．．Ｉ_ｎなどを含む。

１つまたは複数の画像を取得した後は、幾何学的形状検出経路、フィルタ生成経路、および画像スケーリング経路の、３つの処理経路がある。以下で述べるように、幾何学的形状検出およびフィルタ生成は、画像スケーリング経路のサンプリング・プロセスおよびフィルタリング・プロセスの前に行われる。

幾何学的形状検出経路では、ステップ２０４で、幾何学的形状検出器１１６によって、例えばキャニー・エッジ（ｃａｎｎｙ ｅｄｇｅ）検出機能などのエッジ検出機能を適用して、画像中のエッジを検出する。画像中の各ピクセルごとに振幅および配向の情報を含む画像のエッジ・マップを生成する。２つのエッジ・マップ、すなわち２つのグレイスケール画像、振幅マップおよび方向マップを、各画像に対して生成する。アップスケーリングを行う場合は、ステップ２０６で、得られる画像と同じサイズにエッジ・マップを拡大しなければならない。エッジ・マップのサイズ変更は、任意の従来の画像サイズ変更器によって実施することができる。ステップ２０８で、エッジ・マップをクランプする、すなわち、エッジ振幅にしきい値を設定する。エッジ振幅がこのしきい値より低い場合には、振幅をゼロに設定する。これは、エッジ振幅が小さい場合のスプリアス・エッジを回避するためである。

フィルタ生成経路は、フィルタ生成器１１８を介して様々な方向を有するフィルタを生成するために使用される。最初に、ステップ２１０で、元の画像をスケーリングするサイズ、例えばＮ×Ｐなどを選択する。ステップ２１２で、ＭとＮが互いに素になるようにし、ＬとＰが互いに素になるようにする。Ｍ、Ｎ、Ｌ、Ｐは、スケーリング比を指定する。スケーリング比は、水平方向にＭ／Ｎ、垂直方向にＬ／Ｐである。多くのマルチメディア分野では、スケーリング中に画像のアスペクト比が保存されなければならないので、通常はＭ＝Ｎ、およびＬ＝Ｐである。

ステップ２１４で、異なる方向を有する２Ｄフィルタの列を生成する。２Ｄフィルタの数は、経験的に決定される。数が多くなると計算量が増えることになるが、数が少なくなるとアーチファクトが生じる可能性がある。使用する方向または配向の数が８である場合には、９個のフィルタを生成する必要がある。９個のフィルタのうちの１つは、エッジが検出されない場合の通常のフィルタリング用、すなわち非回転フィルタである。フィルタ生成手続きを図９に示す。２Ｄフィルタは、２つの１Ｄフィルタ（例えば水平フィルタと垂直フィルタ）の外積をとることによって生成する。ステップ３０２で、π／ｍａｘ（Ｍ、Ｎ）に等しい最適な遮断周波数を有する水平フィルタを生成し、ステップ３０４で、最適な遮断周波数の６０％の遮断周波数を有する垂直フィルタを生成する。Ｍ＝Ｎ、Ｌ＝Ｐであると仮定すると、垂直フィルタはπ／ｍａｘ（Ｍ、Ｎ）の６０％となる。次いで、ステップ３０６で、これら２つのフィルタ、すなわち水平フィルタと垂直フィルタの外積（すなわち畳み込み）をとって、２Ｄフィルタを生成する。フィルタ生成の最終ステップは、ステップ３０８で、この２Ｄフィルタを回転させて、回転周波数応答を有する２Ｄフィルタを生成することである。ここで、この２Ｄフィルタを８つの異なる方向または配向に回転させて、８個のフィルタを生成する。それぞれ異なる回転周波数応答を有する各フィルタを記憶して、以下で述べるように適用する。

画像スケーリング経路では、ステップ２１６で、最初に、画像を指定サイズになるように再サンプリングする。この再サンプリング・ステップでは、ゼロ値（すなわち黒色またはグレイスケール）のピクセルを画像に挿入する。次いで、ステップ２１８で、図１０に示すように、生成したエッジ・マップを使用して、この画像の各ピクセルをサンプリングして、サンプリングした各ピクセルごとに最適なフィルタリングを決定する。エッジ振幅を使用して、方向性フィルタを使用するか通常のフィルタ（配向なしのフィルタ）を使用するかを決定し、エッジ配向を使用して、どの方向性フィルタを使用するかを決定する。ステップ４０２で、サンプリング・モジュール１２０がピクセル位置を決定し、ステップ４０３で、このピクセル位置のエッジ・マップからエッジ振幅を読み取る、またはサンプリングする。ステップ４０４でエッジが存在する場合には、ステップ４０６で、正しい配向を有するフィルタを２Ｄフィルタリング用に選択する。選択したフィルタは、当該ピクセルにおけるエッジの配向または方向に最も近い配向または方向を有するものとする。次いで、ステップ４０８で、２Ｄフィルタリングの結果を、得られる画像に書き込む。ステップ４０４で当該ピクセルにエッジが存在しない場合には、ステップ４１０で、通常のフィルタ（配向なしのフィルタ）を使用して２Ｄフィルタリングを実行し、ステップ４０８で、その結果を、得られる画像に書き込む。

このサンプリング方法を、画像中の各ピクセルに対して繰り返し、ステップ２２０で、すべてのピクセルの結果を、得られる画像に記憶させる。その後、複数のアップスケーリング済み画像を、高精細度フィルム１３０として記憶装置１２４に記憶してもよい。

本開示のアップスケーリング・アルゴリズムまたは機能はＣ＋＋で実施しているが、その他のプログラミング言語および方法を利用して、本開示の原理を実施することもできる。図１１は、従来のスケーリング・フィルタを用いた場合（図１１Ａ）と、本開示のアップスケーリング・フィルタを用いた場合（図１１Ｂ）の、結果の比較を示す図である。図１１Ｂから分かるように、本開示のシステムおよび方法で生成された画像は、オブジェクトおよび文字のエッジの周囲のジグザグのアーチファクトが少ない。図１１Ｂの拡大図から分かるように、本開示のシステムおよび方法は、画像中に存在するオブジェクトの黒と白の境界のエッジをより滑らかにする。

本明細書では、本開示の教示を組み込んだ実施例を詳細に図示し、説明したが、当業者なら、これらの教示を組み込んだ改変実施例を、他にも数多く容易に考案することができる。画像をスケーリングするシステムおよび方法の好ましい実施例について（制限ではなく例示を目的として）説明したが、当業者なら、上記の教示に照らして様々な修正および改変を加えることができることに留意されたい。従って、本明細書に記載した本開示の具体的な実施例には、添付の特許請求の範囲に概説する本開示の範囲を逸脱することなく、様々な変更を加えることができることを理解されたい。

Claims (19)

1. 画像をスケーリングする方法であって、
   第１のサイズの画像を取得するステップと、
   前記画像の幾何学的形状を検出するステップと、
   前記画像を第２のサイズにスケーリングするステップと、
   第１の遮断周波数を有する１次元水平フィルタを生成するステップと、
   前記第１の遮断周波数より低い第２の遮断周波数を有する１次元垂直フィルタを生成するステップと、
   前記水平フィルタと前記垂直フィルタに対して外積関数を適用して、２次元フィルタを生成するステップと、
   前記２次元フィルタを複数の異なる方向に回転させ、前記複数の異なる方向のそれぞれについて少なくとも１つのフィルタを記憶するステップと、
   前記検出した幾何学的形状に基づいて、前記記憶されたフィルタの少なくとも１つを用いて、前記スケーリングした画像をフィルタリングするステップと、
   を含む、前記方法。
2. 前記検出ステップが、前記画像中のオブジェクトのエッジを検出するステップを含む、請求項１に記載の方法。
3. 前記検出ステップが、
   前記画像中の各ピクセルのエッジ振幅を含む第１のエッジ・マップを生成するステップと、
   前記画像中の各ピクセルのエッジ方向を含む第２のエッジ・マップを生成するステップと
   をさらに含む、請求項１に記載の方法。
4. 前記第１および第２のエッジ・マップを、前記第２のサイズにサイズ変更するステップと、
   前記第１のエッジ・マップをクランプするステップとをさらに含み、第１のしきい値未満の前記第１のエッジ・マップの各ピクセルをゼロ値に設定する、請求項３に記載の方法。
5. それぞれ異なる方向を有する複数のフィルタを生成するステップをさらに含み、前記フィルタリング・ステップが、各ピクセルごとに、当該ピクセルのエッジ方向と実質的に同じエッジ方向を有する少なくとも１つのフィルタを選択するステップを含む、請求項４に記載の方法。
6. 前記第１の遮断周波数が、前記第１のサイズから前記第２のサイズへのサイズ変更比に基づく、請求項１に記載の方法。
7. 前記第２の遮断周波数が、前記第１の遮断周波数の約６０パーセントである、請求項１に記載の方法。
8. 前記画像中のあるピクセルのエッジ振幅が第２のしきい値未満である場合に、非回転２次元フィルタを用いて当該ピクセルをフィルタリングする、請求項１に記載の方法。
9. 前記スケーリング・ステップが、ゼロ値を有するピクセルを前記画像に挿入するステップを含む、請求項１に記載の方法。
10. 第１のサイズの画像をスケーリングするシステムであって、
    前記画像の幾何学的形状を検出するように構成された幾何学的形状検出器と、
    前記画像を第２のサイズにスケーリングするように構成されたスケーラ・モジュールと、
    第１の遮断周波数を有する１次元水平フィルタを生成し、前記第１の周波数より低い第２の遮断周波数を有する１次元垂直フィルタを生成し、前記水平フィルタと前記垂直フィルタに対して外積関数を適用して２次元フィルタを生成し、前記２次元フィルタを複数の異なる方向に回転させる、フィルタ生成器と、
    前記複数の異なる方向のそれぞれについて少なくとも１つのフィルタを記憶するメモリと、
    前記検出した幾何学的形状に基づいて、前記記憶されたフィルタの少なくとも１つを用いて、前記スケーリングした画像をフィルタリングするように構成されたサンプリング・モジュールと、
    を備える、前記システム。
11. 前記幾何学的形状検出器が、前記画像中のオブジェクトのエッジを検出するように構成されたエッジ検出器である、請求項１０に記載のシステム。
12. 前記幾何学的形状検出器が、前記画像中の各ピクセルのエッジ振幅を含む第１のエッジ・マップを生成し、前記画像中の各ピクセルのエッジ方向を含む第２のエッジ・マップを生成するように構成されたエッジ検出器である、請求項１０に記載のシステム。
13. 前記スケーラ・モジュールが、前記第１および第２のエッジ・マップを前記第２のサイズにサイズ変更し、前記第１のエッジ・マップをクランプするようにさらに構成され、第１のしきい値未満の前記第１のエッジ・マップの各ピクセルをゼロ値に設定する、請求項１２に記載のシステム。
14. 前記フィルタ生成器は、それぞれ異なる方向を有する複数のフィルタを生成するようにさらに構成され、前記サンプリング・モジュールが、各ピクセルごとに、当該ピクセルのエッジ方向と実質的に同じエッジ方向を有する少なくとも１つのフィルタを選択するように構成される、
    請求項１３に記載のシステム。
15. 前記第１の遮断周波数が、前記第１のサイズから前記第２のサイズへのサイズ変更比に基づく、請求項１０に記載のシステム。
16. 前記第２の遮断周波数が、前記第１の遮断周波数の約６０パーセントである、請求項１０に記載のシステム。
17. 前記サンプリング・モジュールが、前記画像中のあるピクセルのエッジ振幅が第２のしきい値未満である場合に、非回転２次元フィルタを用いて当該ピクセルをフィルタリングするように構成される、請求項１０に記載のシステム。
18. 前記スケーラ・モジュールが、ゼロ値を有するピクセルを前記画像に挿入するようにさらに構成される、請求項１０に記載のシステム。
19. 機械によって実行可能な命令のプログラムを実装して画像をスケーリングするための方法ステップを実行する、機械によって可読なプログラム記憶デバイスであって、
    前記方法が、
    第１のサイズの画像を取得するステップと、
    前記画像の幾何学的形状を検出するステップと、
    前記画像を第２のサイズにスケーリングするステップと、
    第１の遮断周波数を有する１次元水平フィルタを生成するステップと、
    前記第１の遮断周波数より低い第２の遮断周波数を有する１次元垂直フィルタを生成するステップと、
    前記水平フィルタと前記垂直フィルタに対して外積関数を適用して、２次元フィルタを生成するステップと、
    前記２次元フィルタを複数の異なる方向に回転させ、前記複数の異なる方向のそれぞれについて少なくとも１つのフィルタを記憶するステップと、
    前記検出した幾何学的形状に基づいて、前記記憶されたフィルタの少なくとも１つを用いて、前記スケーリングした画像をフィルタリングするステップと、
    を含む、前記プログラム記憶デバイス。

Images