JP4982331B2 - 画像評価装置、および画像評価プログラム - Google Patents

Description

本発明は、入力された動画像データを評価するための画像評価装置、および画像評価プログラムに関する。

次のようなデータ解析装置が知られている。このデータ解析装置は、画質の評価対象となる画像と、画質を評価するためのパラメータと、評価結果を示す図表またはグラフと、種々の制御ボタンとを同時に表示する（例えば、特許文献１）。

特開２００５−１０７７６６号公報

しかしながら、従来のデータ解析装置では、画像の評価に用いる閾値を使用者が任意に設定することはできなかった。

請求項１に記載の画像評価装置は、入力された動画像データの各フレームの水平方向および垂直方向の微分画像を合成したエッジ画像の標準偏差であるエッジ度、並びに前記各フレームの各画素ごとに輝度成分および色差成分をそれぞれ算出する特徴量算出手段と、前記動画像データを構成する複数のフレームの中から動画像データのエンコード時の不具合によるぼやけ画像を抽出するための閾値の最小値および最大値の設定、並びに動画像データのエンコード時の不具合による単色調画像を抽出するための閾値として、前記輝度成分および色差成分の最小値および最大値の設定をそれぞれ受け付ける閾値受付手段と、前記特徴量算出手段による算出結果が前記ぼやけ画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに、そのフレームを前記ぼやけ画像として抽出し、並びに前記単色調画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに前記単色調画像としてそれぞれ抽出する特徴画像抽出手段と、前記特徴量算出手段による算出結果を数値または図形により画面上に表示する表示制御手段と、を備え、動画像データのエンコード時の不具合による画像劣化を評価することを特徴とする。
請求項２に記載の画像評価装置は、請求項１に記載の画像評価装置において、前記特徴画像抽出手段は、前記フレーム内に設定した少なくとも１つの領域内の全画素において、前記特徴量算出手段が算出した前記輝度成分および色差成分が前記最小値と前記最大値とで示される範囲内にあるときに、そのフレームを部分単色調画像として抽出することを特徴とする。
請求項３に記載の画像評価装置は、請求項１または２に記載の画像評価装置において、前記表示制御手段は、入力された前記動画像データを表示した第１の表示領域、前記特徴画像抽出手段が抽出した前記特徴画像を表示した第２の表示領域、前記特徴量算出手段による算出結果を数値または図形により表示し、さらに各フレームごとに前記特徴画像か否かの判定結果を表示した第３の表示領域、および前記動画像データの評価結果をグラフ表示した第４の表示領域を一画面上に表示することを特徴とする。
請求項４に記載の画像評価装置は、請求項３に記載の画像評価装置において、前記表示制御手段は、前記第１の表示領域、前記第２の表示領域、前記第３の表示領域、および前記第４の表示領域のそれぞれの表示領域への表示内容を同期させることを特徴とする。
請求項５に記載の画像評価装置は、請求項３または４に記載の画像評価装置において、前記表示制御手段は、使用者からの指示に基づいて、前記第１の表示領域、前記第２の表示領域、前記第３の表示領域、および前記第４の表示領域のいずれか１つ以上を非表示にすることを特徴とする。
請求項６に記載の画像評価プログラムは、入力された動画像データの各フレームの水平方向および垂直方向の微分画像を合成したエッジ画像の標準偏差であるエッジ度、並びに前記各フレームの各画素ごとに輝度成分および色差成分をそれぞれ算出する特徴量算出手順と、前記動画像データを構成する複数のフレームの中から動画像データのエンコード時の不具合によるぼやけ画像を抽出するための閾値の最小値および最大値の設定、並びに動画像データのエンコード時の不具合による単色調画像を抽出するための閾値として、前記輝度成分および色差成分の最小値および最大値の設定とをそれぞれ受け付ける閾値受付手順と、前記特徴量算出手順による算出結果が前ぼやけ画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに、そのフレームを前記ぼやけ画像として抽出し、並びに前記単色調画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに前記単色調画像として抽出する特徴画像抽出手順と、前記特徴量算出手順による算出結果を数値または図形により画面上に表示する表示制御手順とをコンピューターに実行させ、動画像データのエンコード時の不具合による画像劣化を評価することを特徴とする。

本発明によれば、画像の評価に用いる閾値を使用者が任意に設定することができる。

図１は、本実施の形態における画像評価装置の一実施の形態の構成を示すブロック図である。画像評価装置１００は、例えばパソコン（パーソナルコンピュータ）であって、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。

操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラやビデオカメラと有線接続を行うためのＵＳＢインターフェースや、無線接続を行うための無線ＬＡＮモジュールなどが使用される。本実施の形態では、例えば、この接続ＩＦ１０２を介して動画撮影が可能なデジタルカメラ、またはビデオカメラから動画像データが取り込まれる。

ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた動画像データや、制御装置１０３で実行される種々のプログラム等を記録するための記録装置である。本実施の形態では、ＨＤＤ１０４には、動画像データは、例えば、動画撮影機能付きのデジタルカメラやデジタルビデオカメラで撮影された所定フォーマットの動画像データが記録されているものとする。なお、本実施の形態では、動画像データのフォーマットは、ＹＵＶフォーマットであるものとする。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される表示用データを表示する。

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画質評価部１０３ａと、評価結果出力部１０３ｂとを機能的に備えている。画質評価部１０３ａは、ＨＤＤ１０４に記録されている動画像データを構成する複数フレームの中から、特徴的なフレーム（特徴的な画像）を抽出する。本実施の形態では、特徴的なフレームとして、ぼやけた画像、フレーム全体が単色調の画像、およびフレーム内の一部の領域が単色調の画像を抽出する。

ここで、フレーム全体が単色調の画像とは、フレーム全体が、所定範囲内の輝度、色、または濃度であることにより、単色の画像とみなすことができる画像をいう。本実施の形態では、動画像データを構成する複数フレームの中から、エンコード時の不具合により、ブラックアウトしたフレームを抽出することを目的とする。なお、エンコード時の不具合により発生するブラックアウトしたフレームは、必ずしも画像全体が黒色の単一色であるとは限らず、画像全体として黒っぽい場合や、緑っぽい場合などもある。このため、本実施の形態では、後述するようにブラックアウトしたフレームとして判定するための閾値を使用者が任意に設定できるようにする。

そして、画質評価部１０３ａは、フレーム中の全画素の画素値が、閾値によって設定された範囲内にある場合には、そのフレームはフレーム全体が単色調の画像であり、ブラックアウトしたフレームであると判断する。また、フレーム内の一部の領域が単色調の画像とは、フレーム内の一部の領域内の画像が上述した単色調の画像であるフレームをいう。なお、本実施の形態では、ぼやけた画像をぼやけ画像、フレーム全体が単色調の画像をブラックアウト画像、フレーム内の一部の領域が単色調の画像を部分ブラックアウト画像と呼ぶことにする。

評価結果出力部１０３ｂは、図２に示すようなメイン画面をモニタ１０５上に表示する。このメイン画面上には、評価対象となる動画像データ（入力映像）を表示するための評価画像表示ウィンドウ２ａと、評価画像表示ウィンドウ２ａに表示中のフレームから抽出された特徴的な画像を表示するための特徴画像表示ウィンドウ２ｂと、画質評価部１０３ａによる動画像データの評価結果をリスト表示するための評価結果リスト表示ウィンドウ２ｃと、画質評価部１０３ａによる動画像データの評価結果をグラフ表示するための評価結果グラフ表示ウィンドウ２ｄとが配置されている。

なお、特徴画像表示ウィンドウ２ｂ内に、上述したぼけ画像、ブラックアウト画像、および部分ブラックアウト画像のいずれの特徴画像を表示するかは、使用者が切り替え可能である。また、使用者は、これらのウィンドウのうち、いずれか１つ以上を選択して非表示に設定することができる。評価結果出力部１０３ｂは、使用者によって非表示にするように設定されたウィンドウを、画面上から消去して非表示する。

評価結果出力部１０３ｂは、このメイン画面上の各ウィンドウの表示内容の同期をとる。すなわち、評価画像表示ウィンドウ２ａに動画像データを構成する１フレームが表示されている場合には、特徴画像表示ウィンドウ２ｂには、そのフレームから抽出した特徴画像を表示する。また、評価結果リスト表示ウィンドウ２ｃには、そのフレームについての評価結果を表示し、評価結果グラフ表示ウィンドウ２ｄのグラフをそのフレームについての評価結果を加えたものに更新する。そして、評価結果出力部１０３ｂは、評価画像表示ウィンドウ２ａに表示されるフレームが次にフレームに切り替わると、他のウィンドウの表示も同時に次のフレームに関するものに切り替える。

なお、図２に示す例では、ピクセル値表示ウィンドウ２ｅおよびメインコンソール２ｆもメイン画面上に配置されているが、これらは本発明の特徴的部分ではないため、説明を省略する。

以下、画質評価部１０３ａが動画像データを構成する複数フレームの中から、（Ａ）ぼやけ画像、（Ｂ）ブラックアウト画像、および（Ｃ）部分ブラックアウト画像のそれぞれを抽出する方法について説明する。なお、以下の説明では、各フレームの画像サイズは、Ｍ×Ｎ（ｐｉｘｅｌ）であるものとする。

本実施の形態では、使用者は、各フレームに対して、ぼやけ画像を抽出するためのぼやけ度評価、ブラックアウト画像を抽出するためのブラックアウト評価、および部分ブラックアウト画像を抽出するための部分ブラックアウト評価のいずれを実行するかをあらかじめ設定する。例えば、使用者は、図３に示す設定画面上に表示された各評価項目の中から、評価を行いたい項目を選択し、操作部材１０１を操作してチェック欄３ａにチェックを入れる。画質評価部１０３ａは、この図３の設定画面上で使用者によって選択された評価項目について、以下の処理を実行して評価を行う。

なお、この図３に示す設定画面上では、使用者は、評価値算出方法選択欄３ｂで評価値の算出方法を選択することができる。本実施の形態では、使用者は、後述するように閾値に基づいて評価値を算出する方法（閾値から求める）、係数に基づいて閾値を算出する方法（係数から求める）、および評価値を算出しない（求めない）のいずれかを選択することができる。また、使用者は、「ファイルに保存」ボタン３ｃを押下してこの設定画面上での設定内容をファイルに保存することができ、「ファイルから読込」ボタン３ｄを押下して、既に設定内容を保存してあるファイルを読み込んで、その設定内容を反映させることもできる。使用者は、設定が完了した場合には、「ＯＫ」ボタン３ｅを押下して設定を確定する。

（Ａ）ぼやけ画像の抽出方法
画質評価部１０３ａは、各フレームに対して図４（ａ）に示す水平方向Ｓｏｂｅｌフィルタをかけて、垂直方向の成分を検出した画像Ｖ（ｉ，ｊ）を得る。また、画像に対して図４（ｂ）に示す垂直方向Ｓｏｂｅｌフィルタをかけて、水平方向の成分を検出した画像Ｈ（ｉ，ｊ）を得る。そして、次式（１）により、この画像Ｖ（ｉ，ｊ）とＨ（ｉ，ｊ）とに基づいて、水平方向および垂直方向の微分画像を合成したエッジ画像Ｒ（ｉ，ｊ）を算出する。

そして、このエッジ画像Ｒ（ｉ，ｊ）を用いて、次式（２）により、フレーム内のエッジの度合いを示す特徴量であるエッジ度ＳＩを算出することができる。

なお、このエッジ度ＳＩは、エッジ画像Ｒ（ｉ，ｊ）の標準偏差であり、その値が大きいほどぼやけの度合いは低く、その値が大きいほどぼやけの度合いが高くなる。

したがって、画質評価部１０３ａは、式（２）により算出したエッジ度ＳＩが、設定された閾値によって決定される範囲内にある場合には、そのフレームはぼやけ画像であると評価し、そのフレームをぼやけ画像として抽出する。なお、ぼやけ画像とするか否かの判断度合いは、人によって異なるため、このときに用いる閾値は、使用者が任意に設定できるものとする。例えば、使用者は、図５に示す設定画面上で、ぼやけ画像として判定する最小の閾値Ｕ１と、最大の閾値Ｕ２を入力して指定することができる。画質評価部１０３ａは、算出したエッジ度ＳＩが、ここで指定された閾値Ｕ１からＵ２の範囲内にある場合には、そのフレームはぼやけ画像であると判定する。

なお、この図５に示した設定画面上では、使用者は、後述するように、評価結果出力部１０３ｂが、ぼやけ度の評価結果をインジケーターを用いて表示するために用いる閾値５ａから５ｇと、評価結果出力部１０３ｂが、ぼやけ度の評価結果を評価値を用いて表示するために用いる閾値５ｈから５ｏを設定することができる。

評価結果出力部１０３ｂは、図２の評価結果リスト表示ウィンドウ２ｃ内のインジケーター表示欄２ｇ内に、エッジ度ＳＩの大きさに基づいてぼやけ度を複数段階に色分けしたインジケーターを表示する。このため、使用者は、図５に示した設定画面上で、インジケーターの色が変化する境界の値を閾値として設定する。図５では、インジケーターは、領域５ｐから領域５ｕの各領域がそれぞれ異なる色で表示され、表示されるインジケーターが長いほどエッジ度ＳＩは低い、すなわちフレームのぼやけ度は高いことを示す。逆に、表示されるインジケーターが短いほど、エッジ度ＳＩは高い、すなわちフレームのぼやけ度は低いことを示す。

この図５の例では、使用者は、領域５ｐの最小値を閾値５ａに設定し、領域５ｐと５ｑとの境界を閾値５ｂに設定する。同様に、領域５ｑと５ｒとの境界を閾値５ｃに設定し、領域５ｒと５ｓとの境界を閾値５ｄに設定し、領域５ｓと５ｔとの境界を閾値５ｅに設定する。また、領域５ｔと５ｕとの境界を閾値５ｆに設定し、領域５ｕの最大値を閾値５ｇに設定する。

また、使用者は、閾値５ｈから５ｏには、エッジ度ＳＩに基づいてぼやけ度の評価結果を評価値により表示するために用いる閾値を設定する。この評価値の閾値は、上述したインジケーターの閾値に対応して設定される。すなわち、図５の例では、エッジ度ＳＩが閾値５ａ以下のときの評価値を閾値５ｈに設定する。また、エッジ度ＳＩが閾値５ａ以上５ｂ未満のときの評価値を閾値５ｉに設定する。同様に、エッジ度ＳＩが閾値５ｂ以上５ｃ未満のときの評価値を閾値５ｊに、エッジ度ＳＩが閾値５ｃ以上５ｄ未満のときの評価値を閾値５ｋに、エッジ度ＳＩが閾値５ｄ以上５ｅ未満のときの評価値を閾値５ｌに設定する。また、エッジ度ＳＩが閾値５ｅ以上５ｆ未満のときの評価値を閾値５ｍに、エッジ度ＳＩが閾値５ｆ以上５ｇ未満のときの評価値を閾値５ｎに、エッジ度ＳＩが閾値５ｇ以上のときの評価値を閾値５ｏに設定する。

使用者は、この設定画面上での設定が完了した場合には、「ＯＫ」ボタン５ｗを押下することによって、設定内容を確定することができる。また、「キャンセル」ボタン５ｘを押下することによって、設定内容を確定せずに設定画面を閉じることができる。また、「初期値に戻す」ボタン５ｖを押下することによって、設定内容をキャンセルして各入力欄の値を初期値に戻すことができる。

評価結果出力部１０３ｂは、画質評価部１０３ａによる各フレームごとのぼやけ画像か否かの判定結果を、図２に示したメイン画面上の評価結果リスト表示ウィンドウ２ｃ内のＮＧ判定表示欄２ｈ内に表示する。例えば、評価結果出力部１０３ｂは、ぼやけ画像と判定されたフレームに対応するＮＧ判定表示欄２ｈ内に「ＮＧ」を表示する。このとき、評価結果出力部１０３ｂは、対応するフレームを表示行の背景色を変更したり、文字の表示色を変更したり、文字を点滅表示させるなどしてもよい。

また、評価結果出力部１０３ｂは、画質評価部１０３ａによって算出されたエッジ度ＳＩの大きさ、および図５の設定画面上で設定された閾値５ａから５ｇに基づいて、フレームのぼやけ度の大きさを示すインジケーターを、図２に示した評価結果リスト表示ウィンドウ２ｃ内のインジケーター表示欄２ｇ内に表示する。また、評価結果出力部１０３ｂは、画質評価部１０３ａによって算出されたエッジ度ＳＩの大きさ、図５の設定画面上で設定された閾値５ａから５ｇ、および閾値５ｈから５ｏに基づいて、フレームのぼやけ度の大きさを示す評価値を、図２に示した評価結果リスト表示ウィンドウ２ｃ内の評価値表示欄２ｉ内に表示する。

これによって、評価結果出力部１０３ｂは、画質評価部１０３ａによる算出結果を、図形（インジケーター）および数値（評価値）により表して表示することができる。なお、本実施の形態では、画質評価部１０３ａによる算出結果をインジケーターと評価値とを用いて表す例について説明したが、いずれか一方のみを用いて表すようにしてもよい。

（Ｂ）ブラックアウト画像の抽出方法
画質評価部１０３ａは、各フレームの全画素の画素値が、図６で後述する設定画面上で使用者によって設定された閾値の範囲内である場合に、そのフレームはブラックアウト画像であると評価し、そのフレームをブラックアウト画像として抽出する。ここで使用者による閾値の設定方法について説明する。図６は、ブラックアウト画像を抽出するための閾値を設定するための設定画面である。なお、この図６の設定画面で設定される閾値は、（Ｃ）で後述する部分ブラックアウト画像を抽出するための閾値としても用いられる。使用者は、図６に示す設定画面上のＮＧ判定対象選択欄６ｇ内で、設定した閾値を用いてブラックアウト画像、部分ブラックアウト画像のそれぞれを抽出対象とするかを設定することができる。

なお、上述したように、動画像データのフォーマットはＹＵＶフォーマットであるため、図６に示す設定画面では、使用者は、輝度成分であるＹと、色差成分であるＵおよびＶのそれぞれについて閾値を設定する。本実施の形態では、使用者は、図６に示す設定画面でＹ、Ｕ、Ｖの閾値を複数通り設定することができ、それぞれの閾値の組に名前を付して管理することができる。

なお、閾値の設定方法としては、「下限値−上限値」のように、閾値のとり得る範囲を「−」（ハイフン）で区切って入力する。このとき、使用者は、数値の前に「−」を付することによって、閾値の下限値を０に設定することができる。例えば、閾値を「−１６」と入力した場合には、閾値の範囲を０以上１６未満に設定できる。また、数値の後に「−」を付することによって、閾値の上限値を２５６に設定することができる。例えば、閾値を「２４０−」と入力した場合には、閾値の範囲を２４０以上２５６未満に設定できる。数値の前後に「−」を付さない場合には、その数値自体が閾値として設定される。

具体的には、使用者は、「追加」ボタン６ａを押下することによって、名前を付した閾値の組を追加することができ、追加した内容は画面上の一覧に追加される。また、使用者は、一覧の中から閾値を変更したいレコードを選択した後、「編集」ボタン６ｂを押下することによって、閾値を変更することができる。また、使用者は、一覧の中から削除したいレコードを選択した後、「削除」ボタン６ｃを押下することによって、レコードを削除することができる。

例えば、図６では、使用者は、黒色の単色調とみなすことができる画像（黒色調画像）をブラックアウト画像として抽出するための閾値の組に「Ｂｌａｃｋ」という名前を付して閾値を設定している。この黒色調画像を抽出するための閾値としては、Ｙ成分の閾値として０以上１６未満、Ｕ成分の閾値として１２８、Ｖ成分の閾値として１２８が設定されている。

また、使用者は、緑の単色調とみなすことができる画像（緑色調画像）をブラックアウト画像として抽出するための閾値の組に「Ｇｒｅｅｎ」という名前を付して閾値を設定し、マゼンダの単色調とみなすことができる画像（マゼンダ調画像）をブラックアウト画像として抽出するための閾値の組に「Ｍａｇｅｎｄａ」という名前を付して閾値を設定している。なお、それぞれの名称に対する閾値の設定内容は、図示した通りであるため、説明を省略する。

使用者は、この図６に設定する画面上で閾値を設定した後、「初期値に戻す」ボタン６ｄを押下することによって、設定した閾値をリセットして、それぞれの値を初期値に戻すことができる。また、「ＯＫ」ボタン６ｅを押下することによって、閾値の設定内容を確定することができる。これに対して「キャンセル」ボタン６ｆを押下することによって、閾値の設定内容をキャンセルして、設定画面を閉じることができる。

画質評価部１０３ａは、使用者によって設定された閾値に基づいて、各フレームがブラックアウト画像であるか否かを判断する。このために、画質評価部１０３ｂは、フレーム内の全画素を対象として、Ｙ成分の閾値、Ｕ成分の閾値、およびＶ成分の閾値を用いた判定処理を実行する。具体的には、画質評価部１０３ｂは、次のように処理する。

画質評価部１０３ｂは、各画素の輝度値（Ｙ成分の値）と設定されたＹ成分の閾値、各画素の青色成分との色差値（Ｕ成分の値）と設定されたＵ成分の閾値、および各画素の赤色成分の色差値（Ｖ成分の値）と設定されたＶ成分の閾値をそれぞれ比較する。このとき、画質評価部１０３ｂは、図６に示したように、異なる名称が付された複数の閾値の組が設定されている場合には、それぞれの組の閾値と各画素の輝度値および色差値とを比較する。

そして、画質評価部１０３ｂは、フレーム内の全ての画素が、次式（３）から（５）に示す条件を満たす場合には、そのフレームはブラックアウト画像であると評価し、そのフレームをブラックアウト画像として抽出する。
Ｖ１≦輝度値＜Ｖ２ ・・・（３）
Ｖ３≦青色成分の色差値＜Ｖ４ ・・・（４）
Ｖ５≦赤色成分の色差値＜Ｖ６ ・・・（５）

なお、式（３）における閾値Ｖ１およびＶ２は、図６の設定画面で設定されたＹ成分の閾値に基づいて決定され、式（４）における閾値Ｖ３およびＶ４は、図６の設定画面で設定されたＵ成分の閾値に基づいて決定され、式（５）における閾値Ｖ５およびＶ６は、図６の設定画面で設定されたＶ成分の閾値に基づいて決定される。例えば、「Ｂｌａｃｋ」として設定された閾値を例に説明すると、図６の設定画面で設定されたＹ成分の閾値は−１６であるため、閾値Ｖ１＝０、閾値Ｖ２＝１６と決定される。また、Ｕ成分の閾値は１２８であるため、閾値Ｖ３＝１２８、閾値Ｖ４＝１２８＋１＝１２９と決定される。Ｖ成分の閾値も同様に１２８であるため、閾値Ｖ５＝１２８、閾値Ｖ６＝１２８＋１＝１２９と決定される。

このように、本実施の形態では、閾値を使用者が任意に設定できることから、閾値の設定方法によっては、フレーム全体が真っ白となったホワイトアウト画像を抽出することもできる。また、その他の色の単色調の画像も抽出することができる。

評価結果出力部１０３ｂは、画質評価部１０３ａによる各フレームごとのブラックアウト画像か否かの判定結果を、図２に示したメイン画面上の評価結果リスト表示ウィンドウ内のブラックアウト表示欄２ｊ内に表示する。例えば、評価結果出力部１０３ｂは、ブラックアウト画像と判定されたフレームに対応するブラックアウト表示欄２ｊ内に「○」を表示する。このとき、評価結果出力部１０３ｂは、対応するフレームを表示行の背景色を変更したり、文字の表示色を変更したり、文字を点滅表示させるなどしてもよい。

（Ｃ）部分ブラックアウト画像の抽出方法
画質評価部１０３ａは、フレーム内のｍ×ｎ（０＜ｍ≦Ｍ、０＜ｎ≦Ｎ）の小領域を対象として、ブラックアウト画像と同様の抽出処理を行うことで、各小領域がブラックアウトしているかいなかを判断する。そして、フレーム内にあらかじめ設定された数、例えば１つのブラックアウト領域が含まれている場合には、そのフレームは部分ブラックアウト画像であると判断する。

評価結果出力部１０３ｂは、画質評価部１０３ａによる各フレームごとの部分ブラックアウト画像か否かの判定結果を、図２に示したメイン画面上の評価結果リスト表示ウィンドウ内の部分ブラックアウト表示欄２ｋ内に表示する。例えば、評価結果出力部１０３ｂは、部分ブラックアウト画像と判定されたフレームに対応する部分ブラックアウト表示欄２ｋ内に「○」を表示する。このとき、評価結果出力部１０３ｂは、対応するフレームを表示行の背景色を変更したり、文字の表示色を変更したり、文字を点滅表示させるなどしてもよい。

図７は、本実施の形態における画像評価装置１００の処理を示すフローチャートである。図７に示す処理は、使用者によって評価対象の動画像データが指定され、処理の実行が指示されると起動するプログラムとして制御装置１０３によって実行される。なお、上述した図３に示した設定画面上での評価項目の選択、および図５、６の各設定画面上での閾値の設定は、使用者によってあらかじめ行われているものとする。

ステップＳ１０において、画質評価部１０３ａは、使用者によって設定された閾値を読み込んで、ステップＳ２０へ進む。ステップＳ２０では、画質評価部１０３ａは、動画像データの最初のフレームを読み込んで、ステップＳ３０へ進む。

ステップＳ３０では、画質評価部１０３ａは、（Ａ）ぼやけ画像の抽出方法で上述したように、式（２）により算出したエッジ度ＳＩと使用者によって設定された閾値Ｕ１およびＵ２とを比較して、現在のフレームがぼやけ画像であるか否かを判定する。その結果、ぼやけ画像であると判定した場合には、そのフレームをぼやけ画像として抽出する。その後、ステップＳ４０へ進む。

ステップＳ４０では、画質評価部１０３ａは、（Ｂ）ブラックアウト画像の抽出方法で上述したように、式（３）から（５）に基づいて、現在のフレームがブラックアウト画像であるか否かを判定する。その結果、ブラックアウト画像であると判定した場合には、そのフレームをブラックアウト画像として抽出する。その後、ステップＳ５０へ進む。

ステップＳ５０では、画質評価部１０３ａは、画質評価部１０３ａは、（Ｃ）部分ブラックアウト画像の抽出方法で上述したように、フレーム内に設定した複数のｍ×ｎの小領域の中に、少なくとも１つのブラックアウト領域が含まれているか否かを判定することによって、現在のフレームが部分ブラックアウト画像であるか否かを判定する。その結果、部分ブラックアウト画像であると判定した場合には、そのフレームを部分ブラックアウト画像として抽出する。その後、ステップＳ６０へ進む。

ステップＳ６０では、評価結果出力部１０３ｂは、画質評価部１０３ａによる上記処理の結果に基づいて、上述したように図２に示したメイン画面内の各ウィンドウへの表示結果を更新する。すなわち、評価結果出力部１０３ｂは、各ウィンドウ内の表示を画質評価部１０３ａによる評価結果を反映させた最新の状態に更新する。その後、ステップＳ７０へ進み、画質評価部１０３ａは、現在入力されているフレームが、動画像データの最終フレームであるか否かを判断する。否定判断した場合には、ステップＳ８０へ進み、画質評価部１０３ａは、動画像データの次フレームを読み込んで、ステップＳ３０へ戻る。これに対して、肯定判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画質評価部１０３ａは、入力された動画像データの各フレームの特徴量を算出し、この算出結果、および設定画面上で使用者から受け付けた閾値に基づいて、複数のフレームの中から特徴的な画像を抽出する。評価結果出力部１０３ｂは、画質評価部１０３ａによる算出結果を数値（評価値）または図形（インジケーター）により画面上に表示する。これによって、使用者は、動画像データを構成する複数フレーム内に含まれる特長的な画像を容易に特定することができる。また、使用者は閾値を任意に設定できるため、使用者の望む画像を特徴的な画像として抽出することができる。

（２）特徴的な画像は、ぼやけ画像、単色調画像（ブラックアウト画像）、および画像の一部に単色調な領域を含む部分単色調画像（部分ブラックアウト画像）のいずれかであるようにした。これによって、動画像データのエンコード時の不具合によって画質が劣化したフレームを抽出することができる。

（３）画質評価部１０３ａは、フレームごとにぼやけ度を表す特徴量としてのエッジ度ＳＩを算出し、設定画面上でエッジ度の閾値の最小値および最大値の設定を受け付け、エッジ度ＳＩが閾値の最小値と最大値とで示される範囲内にあるときに、そのフレームをぼやけ画像として抽出するようにした。これによって、ぼやけ画像とするか否かの判断度合いは人によって異なることを加味して、使用者がぼやけ画像として抽出したいエッジ度の範囲を任意に設定できるようにすることができる。

（４）画質評価部１０３ａは、フレームの各画素ごとに単色調画像を表す特徴量として、Ｙ、Ｕ、Ｖ各成分の値を算出し、設定画面上で各色成分ごとの閾値の最小値および最大値の設定を受け付け、フレーム内の全画素において、全ての色成分の値が閾値の最小値と最大値とで示される範囲内にあるときに、そのフレームをブラックアウト画像として抽出するようにした。これによって、ブラックアウトしたフレームは、必ずしも画像全体が黒色の単一色であるとは限らず、画像全体として黒っぽい場合や、緑っぽい場合などもあることを加味して、使用者が閾値を任意に設定することができる。

（５）画質評価部１０３ａは、フレームの各画素ごとに部分単色調画像を表す特徴量として、Ｙ、Ｕ、Ｖ各成分の値を算出し、設定画面上で各色成分ごとの閾値の最小値および最大値の設定を受け付け、フレーム内に設定した少なくとも１つの領域内の全画素において、全ての色成分の値が閾値の最小値と最大値とで示される範囲内にあるときに、そのフレームを部分ブラックアウト画像として抽出するようにした。これによって、部分ブラックアウトしたフレームは、必ずしも画像内の所定領域内が黒色の単一色であるとは限らず、画像内の一部の領域が黒っぽい場合や、緑っぽい場合などもあることを加味して、使用者が閾値を任意に設定することができる。

（６）評価結果出力部１０３ｂは、入力された動画像データ（入力映像）を表示するための評価画像表示ウィンドウ２ａと、特徴的な画像を表示するための特徴画像表示ウィンドウ２ｂと、画質評価部１０３ａによる動画像データの評価結果をリスト表示するための評価結果リスト表示ウィンドウ２ｃと、画質評価部１０３ａによる動画像データの評価結果をグラフ表示するための評価結果グラフ表示ウィンドウ２ｄとを画面上に表示するようにした。これによって、使用者は、同一画面上で必要な情報を確認することができる。

（７）評価結果出力部１０３ｂは、上記各ウィンドウへの表示内容を同期させるようにした。これによって、動画像データのフレームが切り替わるごとに、全てのウィンドウ内の表示内容を最新の内容に更新することができる。

（８）評価結果出力部１０３ｂは、使用者からの指示に基づいて、上記各ウィンドウのいずれか１つ以上を非表示にするようにした。これによって、使用者は、好みに応じていずれかのウィンドウを非表示にすることができる。

―変形例―
なお、上述した実施の形態の画像評価装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画質評価部１０３ａは、各画素のＹ成分、Ｕ成分、およびＶ成分のそれぞれについて閾値と比較を行って、ブラックアウト画像および部分ブラックアウト画像を抽出する例について説明した。しかしながら、画質評価部１０３ａは、ＲＧＢ等の別の色空間の画素値を閾値と比較することによって、ブラックアウト画像および部分ブラックアウト画像を抽出するようにしてもよい。

（２）上述した実施の形態では、画像評価装置１００としてパソコンを用いる例について説明した。しかしながら、本発明における画像評価装置１００は、動画像データを再生して表示することができる他の機器に適用することもできる。例えば、動画再生機能を備えたデジタルカメラや携帯電話に適用することで、これらの機器上でも画質の評価を行うことができるようになる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

画像評価装置の一実施の形態の構成を示すブロック図である。 メイン画面の具体例を示す図である。 評価項目を選択するための設定画面の具体例を示す図である。 水平方向Ｓｏｂｅｌフィルタおよび垂直方向Ｓｏｂｅｌフィルタの具体例を示す図である。 ぼやけ画像を抽出するための閾値を設定するための設定画面の具体例を示す図である。 ブラックアウト画像および部分ブラックアウト画像を抽出するための閾値を設定するための設定画面の具体例を示す図である。 画像評価装置１００の処理を示すフローチャート図である。

符号の説明

１００ 画像評価装置、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０３ａ 画質評価部、１０３ｂ 評価結果出力部、１０４ ＨＤＤ、１０５ モニタ

Claims (6)

1. 入力された動画像データの各フレームの水平方向および垂直方向の微分画像を合成したエッジ画像の標準偏差であるエッジ度、並びに前記各フレームの各画素ごとに輝度成分および色差成分をそれぞれ算出する特徴量算出手段と、
   前記動画像データを構成する複数のフレームの中から動画像データのエンコード時の不具合によるぼやけ画像を抽出するための閾値の最小値および最大値の設定、並びに動画像データのエンコード時の不具合による単色調画像を抽出するための閾値として、前記輝度成分および色差成分の最小値および最大値の設定をそれぞれ受け付ける閾値受付手段と、
   前記特徴量算出手段による算出結果が前記ぼやけ画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに、そのフレームを前記ぼやけ画像として抽出し、並びに前記単色調画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに前記単色調画像としてそれぞれ抽出する特徴画像抽出手段と、
   前記特徴量算出手段による算出結果を数値または図形により画面上に表示する表示制御手段と、を備え、動画像データのエンコード時の不具合による画像劣化を評価することを特徴とする画像評価装置。
2. 請求項１に記載の画像評価装置において、
   前記特徴画像抽出手段は、前記フレーム内に設定した少なくとも１つの領域内の全画素において、前記特徴量算出手段が算出した前記輝度成分および色差成分が前記最小値と前記最大値とで示される範囲内にあるときに、そのフレームを部分単色調画像として抽出することを特徴とする画像評価装置。
3. 請求項１または２に記載の画像評価装置において、
   前記表示制御手段は、入力された前記動画像データを表示した第１の表示領域、前記特徴画像抽出手段が抽出した前記特徴画像を表示した第２の表示領域、前記特徴量算出手段による算出結果を数値または図形により表示し、さらに各フレームごとに前記特徴画像か否かの判定結果を表示した第３の表示領域、および前記動画像データの評価結果をグラフ表示した第４の表示領域を一画面上に表示することを特徴とする画像評価装置。
4. 請求項３に記載の画像評価装置において、
   前記表示制御手段は、前記第１の表示領域、前記第２の表示領域、前記第３の表示領域、および前記第４の表示領域のそれぞれの表示領域への表示内容を同期させることを特徴とする画像評価装置。
5. 請求項３または４に記載の画像評価装置において、
   前記表示制御手段は、使用者からの指示に基づいて、前記第１の表示領域、前記第２の表示領域、前記第３の表示領域、および前記第４の表示領域のいずれか１つ以上を非表示にすることを特徴とする画像評価装置。
6. 入力された動画像データの各フレームの水平方向および垂直方向の微分画像を合成したエッジ画像の標準偏差であるエッジ度、並びに前記各フレームの各画素ごとに輝度成分および色差成分をそれぞれ算出する特徴量算出手順と、
   前記動画像データを構成する複数のフレームの中から動画像データのエンコード時の不具合によるぼやけ画像を抽出するための閾値の最小値および最大値の設定、並びに動画像データのエンコード時の不具合による単色調画像を抽出するための閾値として、前記輝度成分および色差成分の最小値および最大値の設定とをそれぞれ受け付ける閾値受付手順と、
   前記特徴量算出手順による算出結果が前ぼやけ画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに、そのフレームを前記ぼやけ画像として抽出し、並びに前記単色調画像を抽出するための閾値の前記最小値および前記最大値とで示される範囲内にあるときに前記単色調画像として抽出する特徴画像抽出手順と、
   前記特徴量算出手順による算出結果を数値または図形により画面上に表示する表示制御手順とをコンピューターに実行させ、動画像データのエンコード時の不具合による画像劣化を評価するための画像評価プログラム。
   

Images