JP5086711B2 - 映像表示装置 - Google Patents

Description

本発明は、映像を管理するための映像表示装置に関し、特に、サムネイルとして動画を表示する際に、効率良く動画サムネイルの候補を選択・表示する映像表示装置に関する。

近年、ネットワーク技術の発達やデータストレージの大容量化に伴って、大量の映像コンテンツを保持し、それに基づいてコンテンツを視聴することが可能になっていきている。放送局や制作会社などのコンテンツホルダーが保持する大量の映像のみではなく、ハードディスクレコーダ等の普及による保存された大量のコンテンツ、インターネット上の膨大な映像コンテンツなど、今後さらに映像コンテンツが増えていくことが予想されおり、効率的な映像提示・管理技術がより求められている。

現在、映像の再生及び録画機器、例えば、ＤＶＤプレーヤ、ハードディスクレコーダなど、あるいは、放送やネットワーク経由で取得される映像の録画・再生機能を有するＰＣ等において、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｋ）、ＨＤ ＤＶＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＤＶＤ）、ＳＤメモリカード、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）など様々な記録媒体に記録された多数の映像を効率的に提示・管理する手段として、サムネイル表示が多く用いられている。

サムネイルとは、その映像を代表する小画像（通常は元の画像の縮小画像）を指し、映像の代わりに表示されるものである。また、サムネイル表示とは、その複数映像のサムネイル（代表縮小画像）による一覧表示形式を指す。通常、サムネイルは静止画であるが、静止画でなく動画で表示する、いわゆる動画サムネイル表示も機器の処理能力の向上に伴って一般的な機能になりつつある。

特許文献１は、選択された動画と選択されなかった動画の再生フレームレートを異なるように表示制御する表示制御手段を備えることを特徴としている。具体的には，選択された映像の再生フレームレートを選択されなかった映像の再生フレームレーよりも高くすること、もしくは、選択された映像は動画として再生し、選択されなかった動画は、静止画として表示する例が示されている。また、画面に表示される動画の数に応じて、再生フレームレートを決定する例も示されている。

また、特許文献２は、ユーザが所定時間以上、注視していた部分を視線検出装置で検出することにより、その注視した部分に対応した動画の映像、もしくは、音声の再生を制御することを特徴としている。具体的には、ユーザが所定時間以上、注視していた部分は動画として再生し、それ以外の部分は静止画として表示する例が示されている。

なお、該特許文献２の視線方向を検出する方法として、ユーザを撮影した画像データから両目の輪郭を検出し、目の両端および鼻孔の位置の幾何学的な位置関係から、眼球の中心位置及び半径を推定し、視線方向を検出する方法が示されている。

また、視線方向を検出する他の方法としては、非特許文献１及び２に示すような方法が開示されており、公知の技術となっている。非特許文献１は、画像解析を用いた視線測定法として、ＣＣＤカメラ画像中から顔領域の切り出しを行い、顔発見テンプレートとのモデルフィッティングを行った後、頭部位置・姿勢を求め、眼球中心位置の推定を行い、視線方向をリアルタイムに検出するという手法が示されている。

さらに、非特許文献２では、近赤外線を用いた視線測定法として、赤外線カメラを用いて、人の眼球形状に関する３次元モデルと、観察された瞳孔像およびプルキニエ像から真の瞳孔位置およびプルキニエ像の位置を推定し、視線方向を算出するという方法が示されている。
特開２００４−０３２５３５号公報 特開２０００−１３８８７２号公報 松本吉央、怡土順一、竹村憲太郎、小笠原司、リアルタイム顔・視線計測システムの開発と知的インタフェースへの応用、情報処理学会論文誌コンピュータビジョンとイメージメディア、ｖｏｌ．４７、Ｎｏ．ＳＩＧ１５（ＣＶＩＭ１６）、ｐｐ．１０−２１、２００６／１０ 大野健彦、視線を用いたインタフェース、情報処理，Ｖｏｌ．４４、Ｎｏ．７、ｐｐ．７２６−７３２、２００３ 池田光男（著）、眼は何を見ているのかー視覚系の情報処理、平凡社、１９８８ 池田光男（著）、視覚の心理物理学、森北出版、１９７５

しかしながら、前述の如く、動画サムネイル表示は、一覧表示される動画の中から、所望の動画を選択する際に利用されるものであって、従来の逐一カーソルをあててサムネイルを動画再生させるといった形式では、その都度カーソルを移動させて、動画の内容を確認する必要があり、素早く効率的に動画の選択を行うことができなかった。

また、全てのサムネイルを常に動画表示すれば上記の問題は回避されるが、全サムネイルを動画表示することは機器に高い処理負荷をかけることになる。特許文献１の方法には、各動画のフレームレートを落とすことでそのような負荷を軽減することが示されているが、表示する動画サムネイルの数が増えるとそれぞれの動画サムネイルのフレームレートも減ってしまい、動画表示する利点が失われてしまう。このように、表示数が多ければ多いほど静止画の表示と変わらなくなるという課題が残っていた。

一方、特許文献２の方法では、上記説明したように、動画サムネイルを表示させるために、その都度特別な操作を行ってカーソルを移動させる必要はなく、また、動画表示する利点が失われてしまうという問題点もなく、再生させたい動画を注視するだけで済む。

しかしながら、視線検出装置により視線位置が得られたとしても、その視線位置が変わる度に、映像の再生停止（視線移動前位置）及び映像の再生開始（視線移動後位置）の処理を行う必要があるため、頻繁に映像の再生・停止処理が起こり、かえってシステムの負荷が増大するという課題が内在していた。

さらに、得られた視線位置だけでは、注視対象の映像のみを集中して見ているのか、それとも、複数のサムネイル表示全体を漠然として見ているのか分からない。その結果、ディスプレイの中央位置に視線を置き、漠然と全体を眺めていた場合には、中央位置の一つの映像だけが再生され、他の部分は静止画という状態になってしまう。このように、特許文献２で開示された技術では、常に視線位置の対象映像に集中（注視）している必要があり、複数のサムネイル映像を見るためには、一つずつの映像に所定時間以上注視して眺めていかなければならない。従って、この方法では、サムネイル全体を漠然と眺めることができず、ユーザに負担を強いることになる。

つまり、視線検出装置により注視対象を特定し、注視対象の動画は高フレームレートで再生し、注視対象以外の動画は低フレームレートで再生したとしても、ユーザの注視対象がサムネイル表示全体なのか、特定の動画なのかは不明確であるため、ユーザが注視した対象が見やすくなることはなく、動画サムネイル表示のシステムの処理負荷も軽くなることはない。

更に、本発明者が実際に実験で観察し、上記問題点について検討した結果、次のような新たな課題があることが分かった。すなわち、たとえ、注視対象の映像を集中して見ようと（注視）していても、注視対象以外の映像に気を取られて（主に映像のシーンチェンジ等による輝度変化が影響）、集中して注視対象の映像を見ることができない。これは、人間の視覚特性が周辺視では色の知覚よりも輝度の知覚に敏感（周辺視では色は分からない）（非特許文献３、ｐｐ．２０９参照）であるためである。

また、このような状況は、人間の有効視野が横に長い楕円の特性（非特許文献４、ｐｐ．１９６、図１０．３参照）を有しているが、有効視野の左右よりも、有効視野からはずれる上下に配置されている映像に強く影響されることが分かった。

以上説明したように、視線位置の検出のみによる方法では、所望の動画サムネイル映像を確実に選択することは困難である。

そこで、本発明は、上記の問題を鑑みてなされたものであり、必要以上に機器に処理負荷をかけることなく、ユーザが容易に個々の映像を確認させ、効率的に複数のサムネイルの中から候補のサムネイルを選択し、動画表示を行うことができる映像表示装置を提供するものである。

本発明は、上記問題点を解消するために、以下に記載する構成を備えるとともに、以下の特徴を有する。

すなわち、本発明に係る映像表示装置は、複数の映像にそれぞれ対応する複数のサムネイルを画面に一覧表示する映像表示装置であって、ユーザの目を中心とする顔の画像を撮影する撮影部と、撮影された画像を解析してユーザの視線位置を検出する注視対象検出部と、検出された視線位置から得られる注視対象位置を中心とした前記サムネイルの注視対象範囲を算出する注視対象範囲算出部と、算出された前記注視対象範囲の大きさと所定の閾値とを比較し、算出された前記注視対象範囲の大きさが所定の閾値より小さいと判断した場合に、前記注視対象範囲内のサムネイルの映像のみを高品質で再生し、前記注視対象範囲外の周辺視部のサムネイルの映像は、低品質で再生する表示品質調整部と、前記表示品質調整部により、表示品質調整された前記サムネイルの映像に対して、ユーザが視聴している視聴距離の有効視野範囲に応じた人間の有効視野形状に、前記有効視野範囲における視力の度合いを重ね合わせて生成された重み付け関数を用いて、出力最大値を１以下とする重み付けをしたガンマ補正を行うことにより、前記有効視野範囲内にあるサムネイルの映像フレーム間の輝度変化を抑制する処理を行う表示特性変更部と、を備えたことを特徴とする。
こうして、むやみにサムネイル全体を高品質再生することなく、注視しているサムネイルを相対的に見やすくすることができるとともに、動画サムネイル再生の処理負荷の低減を図ることができる。

また、本発明に係る映像表示装置において、前記注視対象検出部は、さらに撮影された画像を解析して、単位時間当たりのユーザの体の動き量である体動率と、単位時間当たりのユーザの瞬きの回数である瞬き率を検出し、前記注視対象範囲算出部は、前記注視対象範囲を算出する際に、前記体動率、前記瞬き率のパラメータの内、少なくとも１つ以上のパラメータにより、これらの率が小さいほど前記注視対象範囲を大きく算出し、ユーザの前記視線位置とから前記注視対象範囲を特定することを特徴とする。

また、本発明に係る映像表示装置において、前記表示品質調整部は、算出された前記注視対象範囲の大きさと前記所定の閾値とを比較し、算出された前記注視対象範囲の大きさが前記所定の閾値より小さいと判断した場合に、表示調整処理を行い、算出された前記注視対象範囲の大きさが前記所定の閾値以上と判断した場合に、複数のサムネイル表示全体を漠然として見ているものと判断して、表示調整を行わないことを特徴とする。

また、本発明に係る映像表示装置において、前記算出された前記注視対象範囲の大きさが所定の閾値より小さいと判断した場合に、前記表示品質調整部は、前記注視対象範囲内の前記サムネイルに対して、拡大処理、高画質処理、高フレームレート再生処理、高色再現処理を少なくとも１つ以上の処理を含む前記高品質画像処理を行う一方、前記注視対象範囲外の前記サムネイルに対して、縮小処理、低画質処理、低フレームレート再生処理、低色再現処理を少なくとも１つ以上の処理を含む前記低品質画像処理を行い、動画サムネイル再生の処理負荷の低減を図ることを特徴とする。

また、本発明に係る映像表示装置において、前記表示品質調整部は、前記注視対象範囲内のサムネイルに対して前記高品質画像処理を行った場合には、前記注視対象範囲外の前記サムネイルに対して前記低品質画像処理の実行を省略し、前記注視対象範囲外の前記サムネイルに対して前記低品質画像処理を行った場合には、前記注視対象範囲内のサムネイルに対して前記高品質画像処理の実行を省略することにより、動画サムネイル再生の処理負荷の低減を図ることを特徴とする。

また、本発明に係る映像表示装置において、前記表示特性変更部は、前記表示品質調整部により、前記複数のサムネイル表示全体を漠然として見ているものと判断された場合であっても、前記輝度変化の抑制を行い、表示されている前記サムネイル全体から所望のサムネイルを選択・表示するようにしたことを特徴とする。

以上のように構成された本発明に係る映像表示装置によれば、ユーザの視線位置から得られる注視対象位置を中心とした前記サムネイルの注視対象範囲を算出し、注視範囲を限定することによって、むやみにサムネイル全体を高品質再生することなく、適切な注視対象範囲内の映像のみを高品質で再生し、注視対象範囲外の周辺視部の映像は、低品質で再生することで、注視しているサムネイルを注視対象外のサムネイルに対して、相対的に見やすくすることができるとともに、動画サムネイル再生の処理負荷の低減を図ることが可能になる。

また、人間の有効視野形状に合わせた輝度変化を抑制することにより、注視対象範囲内のサムネイル映像を注視している場合に、注視対象範囲外のサムネイル映像に気を取られることなく、集中して注視対象の映像を見ることが可能になる。

また、本発明に係る映像表示装置によれば、複数のサムネイル表示全体を漠然として見ている場合にも、人間の有効視野形状に合わせた輝度変化を抑制することにより、サムネイル表示全体を見やすくすることが可能になる。

以下、本発明に係る映像表示装置の一実施形態について図１乃至図８を用いて説明する。

図１から図８は、本発明に係る映像表示装置の一実施形態を説明する図であって、それぞれの図において、同じの符号を付した部分は同一物を表すものである。

まず、図１を用いて、本発明に係る映像表示装置１００の概略構成について簡単に説明する。
図１は、本発明に係る映像表示装置の一構成例を示す機能ブロック図である。

図１に示すように、映像表示装置１００は、多数の映像を記録したハードディスクＨＤ装置１０１、若しくは、ＭＯ、ＣＤ、ＤＶＤなどの光記録媒体を駆動する記録再生装置１０２と、上記記録媒体に映像データを読み書きするためのインタフェースであるＩ／ＯＩ／Ｆ１０３と、本映像表示装置１００の特徴部分である視認性を向上した動画サムネイル映像を生成する映像表示処理部１０７と、映像表示処理部１０７が後述する注視対象範囲の算出・決定等を行う際に使用する注視対象情報を検出する注視対象情報検出部１０８と、生成された動画サムネイル映像等を表示するディスプレイＩ／Ｆ１０９に接続されたディスプレイ１１０と、映像に音声が含まれている場合は、音声を出力するＡＶＩ／Ｆ１１１に繋がれたスピーカ１１２と、装置全体の統括制御を行うＣＰＵ１０５と、この制御等を実行するためのプログラムを記憶しているメモリ１０４と、を備えて構成される。

また、さらに、通信ポートから映像を取り込む通信用Ｉ／Ｆ１０６と、Ｖｉｄｅｏ、Ｍｉｃ等から音声を取り込むＡＶＩ／Ｆ１１１と、を備えて構成してもよい。

なお、映像表示処理部１０７による動画サムネイルの生成処理は、全てハードウェアで実行しても良い。また、映像表示処理部１０７により、生成された表示用の動画サムネイルは、メモリ１０４に一旦格納され、ディスプレイＩＦ１０９を介して、ディスプレイ１１０に出力するようにしてもよいし、生成された動画像サムネイルを格納するメモリを映像表示処理部１０７内に設けるようにしてもよい。

ここで、サムネイル表示に用いられる静止画データ、動画データは、そのサムネイルが代表する元の映像データから直接得られるものでも、元の映像データとは別に与えられるものでもよい。

また、これらサムネイル表示用の静止画データ、動画データが、いつ、どのように用意されるかについては特に限定しない。例えば、サムネイル表示の度に、元の映像データからサムネイル表示用の動画データを生成する構成でもよいし、元の映像データが蓄積された段階でサムネイル表示用の動画データを生成し別途蓄積しておく構成でもよい。無論、動画サムネイル表示用の動画データとして元の映像データを用いることも可能である。

次に、上記のように構成された本発明に係る映像表示装置１００の特徴部位である映像表示処理部１０７の基本構成及びその動作概念について簡単に説明する。

一覧表示されるサムネイルを動画表示する、いわゆる動画サムネイル表示において、一画面に一覧表示される複数のサムネイルに対し、人間の生理学的な視覚特性を反映した映像のサムネイル表示を行い、注視対象の映像のみを集中して見ていると判断した場合には、視線位置方向の所定の領域の映像のみを見やすく、また、複数のサムネイル表示全体を漠然として見ていると判断した場合にも、サムネイル表示全体を見やすくさせるという特徴を備えるようにするために、映像表示装置１００の映像表示処理部１０７は、以下の３つの主要構成要素から成り立っている。

図２は、本発明に係る映像表示装置１００の映像表示処理部１０７の構成例を示す機能ブロック図である。

図２に示すように、注視対象情報検出部１０８から検出される視線位置と、ユーザの体動率、ユーザの瞬き率の少なくとも一つ以上の情報を組み合わせて注視対象範囲を特定する注視対象範囲算出部２００と、特定した注視対象範囲内の動画サムネイルを高品質で表示し、注視対象範囲外の動画サムネイルを低品質で表示する表示品質調整部２１０と、表示されている全体のサムネイルに対して、動画サムネイル表示を人間の視覚特性を考慮した表示特性に変更する表示特性変更部２２０と、を備えて構成されている。

まず、注視対象範囲算出部２００の基本的な動作概念について説明する。

注視対象範囲算出部２００は、注視対象が視線位置方向のサムネイル映像なのか、視線位置を中心としたサムネイル表示全体なのかを判別するための注視対象範囲を特定する。すなわち、注視対象範囲算出部２００は、注視対象情報検出部１０８から検出される体動率及び瞬き率から視線位置方向の映像に対する興味度を算出し、この算出した興味度及び視線位置を基に注視対象範囲を特定する。

注視対象検出部１０８は、例えば、ユーザの目を中心とする顔の部分をカメラで捉え、得られた画像を画像解析することよって、視線位置、体動率、瞬き率を検出するのが一般的である。

ここで、上記興味度と、視線位置とから注視対象範囲を特定する具体的な算出方法については、後述するが、体動率、瞬き率および興味度との関係及び注視対象範囲との関係について簡単に以下に説明する。

研究報告（多田英興，山田冨美雄，福田恭介（編），まばたきの心理学，北大路書房，１９９１，ｐｐ．４０，ｐｐ．９６，ｐｐ．９７参照、以下、「研究報告１」という）では、人間が刺激対象を注視する際の瞬きの変化に関する研究報告が示されており、怒りや恐怖といった情動状態や筋緊張では瞬きが多くなる。一方、興味のある刺激に注目する場合や、情報処理中（思考中）においては、瞬きは少なくなり、その刺激の終了や処理の終了に伴い、一時的に瞬きが増加すると述べている（ｐｐ．４９参照）。

また、番組視聴時と休憩時の瞬きの関係について実験を行った結果も示されており（ｐｐ．１９７）、ビデオ刺激系列の実験から、興味ある番組と興味の持てない番組とでは瞬目（瞬き）率に差が出てくること、しかも、これは逆相関の関係になることが確認されている。

なお、瞬き率は、単位時間当たりに行う瞬きの回数であり、上記研究報告１によれば、人間は通常、１分間に２０回程度であるという報告がなされている。この数値を瞬き率対興味度の関係に反映することができる。

また、体動は、低興味条件で増加する傾向があることが記載されており、体動率（体が動く割合）は、単位時間当たりの体の動き量を定量化したもので、動きが大きい、または、激しければ、大きい値になり、静止していれば小さい値となる。

以上説明したように、人間が一般的に、低興味環境下にある場合、体動が増加する傾向があること、興味のある刺激物に注目したり、思考したりしている時は、瞬きは少なくなることから、ユーザが興味のある番組を見ているときは、体動が少なくなり、瞬きが少なくなることが容易に予想され、瞬目と体動の両者を併用することで、興味の指標として、より妥当性の高いものになると思われると述べている（研究報告１、ｐｐ．２０６参照）。このことから、瞬目と体動の両者を用いて興味度を算出するものとする。

このように算出された興味度から算出される注視対象範囲の大きさは、高興味度であれば、その注視対象範囲の大きさは小さく、低興味度であれば、その注視対象範囲の大きさは、大きくなる。なぜなら、高興味度の場合、注視位置の映像を集中して視聴することになり、おのずと注視対象範囲は狭くなる。

一方、低興味度の場合、注視位置を中心とした広い範囲を漠然と視聴することになるため、注視対象範囲は広くなる。

以上説明したように、注視対象範囲算出部２００は、得られた視線位置を中心として、注視対象の映像のみを集中して見ているのか、複数のサムネイル表示全体を漠然として見ているのかを判定するための注視対象範囲を決定する手段を備えており、注視対象の映像のみを集中して見ている場合には、注視位置方向の狭い領域のサブネイルの映像だけを見やすく、また、複数のサムネイル表示全体を漠然として見ている場合にも、サムネイル表示全体の見やすくするための注視対象範囲の領域決定の情報を提供することができる。この情報によって、必要以上に機器に処理負荷をかけるようなことを避けることが可能である。

次に、表示品質調整部２１０の基本動作概念について説明する。

表示品質調整部２１０は、注視位置方向の狭い領域のサブネイルの映像だけを見ているのか、または、複数のサムネイル表示全体を漠然として見ているのかを判別するために、上記注視対象範囲算出部２００によって、生成された注視対象範囲の大きさと所定の閾値とを比較し、比較した結果、注視対象範囲の大きさが所定の閾値より小さい場合に、サブネイル全体の表示品質の調整を行う。

表示品質調整処理として、注視対象範囲内のサムネイルには、拡大調整，高画質調整、高フレームレート調整、高色再現（フルカラー）調整の高品質調整処理を行い、注視対象範囲外のサムネイルには、縮小調整、低画質調整、低フレームレート調整、低色再現（モノクロ）調整の低品質調整処理を行う。

ここで、各品質調整処理の内容を簡単に説明する。

拡大調整処理とは、その対象の映像の拡大処理を行うこといい、縮小調整処理とは、映像の縮小処理を行うことをいう。

また、高画質調整とは、簡易化しないデコード処理であり、高画質な映像で再生することをいい、低画質調整とは、デコード時にＩピクチャのみを再生もしくは、デコード時の動き補償フィルタもしくは、平滑化フィルタを省略することをいう。

さらに、高フレームレート調整は、フレームレート変換をしない映像そのものが持つフレームレートで映像を更新することをいい、低フレームレート調整とは、停止（静止画）もしくは、Ｉピクチャのみ、もしくは、ＩピクチャＰピクチャのみを再生するようなフレームレートを下げることをいう。

また、高色再現調整とは、映像そのものが持つ色をそのまま再現することをいい、低色再現とは、グレイスケール（モノクロ）で再生することをいう。なお、人間の視覚は，小さいものや周辺視野では、色の知覚がしにくいという特性を持つ（非特許文献４，ｐｐ．２０９）ため、注視位置の周辺で縮小表示された映像をグレイスケール（モノクロ）で表示したとしても、一般的には違和感は少ない（個人差はある）。

なお、拡大処理は、注視対象範囲内の映像と比較して、相対的に拡大することを目的とするため、注視対象範囲外の映像が縮小された場合は、拡大処理自体は何も行わず、そのまま元のサイズで表示することも含まれる。同様に、注視対象範囲外の映像が縮小された場合は、拡大処理自体は何も行わず、そのまま元のサイズで表示することも含まれる。

また、高画質処理は、低画質化したものに対して、相対的に高画質の映像を得ることを目的とするため、注視対象範囲外の映像に低画質処理を施した場合には、高画質処理自体何も行わず、そのまま出力することも含まれる。同様に、注視対象範囲外の映像が低画質処理を施された場合は、高画質処理自体は何も行わず、そのまま出力することも含まれる。

なお、一連の拡大処理、高画質処理、高色再現処理、高フレームレート変換処理は，高品質の映像を得るための処理であり、この順番には依存しない。同様に、一連の縮小処理、低画質処理、低色再現処理、低フレームレート処理は、本発明の映像表示装置及び方法の処理負荷軽減を目的として、低品質の映像を得るため、この順番には依存しない。また、全ての処理を行う必要もなく、例えば、拡大処理のみ実行するなどのように、ある特定の処理の組み合わせであってもよい。

また、高品質および低品質は、相対的に比較されるため、高品質処理のみの場合、低品質処理のみの場合、両者を同時に行う場合も含まれる。

以上説明したように、注視対象範囲内の映像のみを集中して見ている場合には、視線位置方向の映像のみを高品質で再生し、注視対象範囲外の周辺視部の映像は、低品質で再生することで、動画サムネイル再生の処理負荷の低減を計ることができる。

次に、表示特性変更部２２０の基本動作概念について説明する。

上述したように、注視対象範囲内の動画は高フレームレートで再生し、注視対象範囲外の動画を低フレームレートで再生する場合もしくは、注視対象範囲内と注視対象範囲外の動画サムネイルを同じフレームレートで再生する場合、たとえ、注視対象範囲内の映像を注視して見ようとしていても，注視対象範囲外の映像に気を取られて（主に映像のシーンチェンジ等による輝度変化が影響）、集中して注視対象の映像を見ることができないという課題が発明者の実験から明らかになったことは前述した通りであるが、これは、人間の視覚特性が，周辺視では色の知覚よりも輝度の知覚に敏感（非特許文献４、ｐｐ．２０９）であることに起因している。

そこで、表示特性変更部２２０では、この課題の解決のために、注視対象範囲内の映像の表示に人間の視覚特性を利用した表示変更手段を備える。すなわち、人間の有効視野が横に長い楕円形状であり、視力が中心萵から離れるに従って、急激に低下するという特性を利用し、この有効視野形状に合わせた輝度変化抑制方法を用いる。

輝度変化抑制方法の一つとして、ガンマ特性そのものを変更する方法（ガンマ補正）が上げられる。ディスプレイには、入力された信号に応じて画像が表示されるが、ディスプレイの特性によっては、表示される明るさや彩度が異なってくるという問題を持っている。そのため、それらの誤差を補正するためにガンマ補正が一般的に用いられる。

ガンマ特性とは、入力された画像データの信号の強さと出力時の信号の強さとの関係をいい、例えば、ディスプレイでは、入力されたディスプレイの輝度信号と、実際のディスプレイ上の蛍光帯の輝度の関係がガンマ特性となる。

また、ガンマ補正とは、ディスプレイに表示される画像などの彩度や明るさを修正するための処理のことであり、通常、一番暗い部分から一番明るい部分まで、どのようなカーブ（ガンマカーブ）で変化させるかを補正する処理のことをいう。このように、ガンマ補正は、ディスプレイから出力されるカラー情報と実際の出力される情報の相対関係を調整し、通常は、自然に近い表示を得るために色補正を行う。ガンマ値は、画像の明るさの変化に対する電圧換算値の変化の比を表したものである。

図７は、入力と出力が１対１に対応した特性（ガンマカーブ）であり、補正を行わないカーブを示している。一方、図８は、特性が直線であること、入力１に対する出力値は０．８であり、全ての入力に対して０．８倍の出力特性に補正されたガンマカーブを示している。

この時、図９のように、ガンマカーブの上部だけをカット（入力０〜０．８までは、出力も０〜０．８に対応するカーブであるが、入力が０．８以上では、いくら大きな入力が与えられても出力値は１となっている）する特性では、輝度値が高い部分（明るい部分）は、ガンマ補正により輝度値が抑えられるが、入力に対する出力の階調特性が均一ではなくなり、色の変化が起こる。しかし、図８のように、入力に対する出力の特性を線形に保ったまま、全体的に輝度を下げた場合は、輝度値が入力に対して出力が線形になり、かつ、全体的に輝度が低く補正され、階調特性が保存される。

この表示特性変更部２２０で行われるガンマ補正により、輝度値そのものを低くし、動的輝度変化を抑えることができる。さらに、このガンマ補正により輝度値を低く設定することで、映像の暗い部分の階調や色合いを豊かに表現できるという効果も生まれる。

また、他の方法として、動的輝度変化発生時に、該当する前後の複数のフレームをぼかす（モーションブラーなど）ことでも実現可能である。さらに、輝度変化の上限値（リミッタ）を設け、ある一定以上の大きさの輝度変化が発生した場合は，その時の輝度をガンマ補正により、動的コントラストを抑える方法も考えられる。しかし、これらの方法は、オリジナルの映像に著しい変化を与え、作品の意図もしくは、作品の著作そのものを侵害する可能性もあるため、好ましい方法とは言えない。

なお、グレイスケール変換は、輝度値そのものは変化しないため，動的輝度変化も抑制することはできない。

次に、上記動的輝度変化も抑制するためのガンマ補正値を適用する有効視野形状に基づく重み付け関数について説明する。

図１０は、人間の有効視野範囲に、その有効視野における視力（有効視力範囲）を重ね合わせたものである。図１０に示す３００ａは、上限を１．０、下限を０．０とする有効視力の度合いを表示した３次元表示部分であり、３００ｂは、有効視力を等高線表示した部分である。言い換えると、図１０は、有効視野を有効視力で重み付けした重み付け関数を３次元表示した図である。

また、図１０は、細かいものを見ることのできる視力を０．３以上とした場合の有効視力範囲（非特許文献４、ｐｐ．１９４）と考えてもよく、視野の中心部で１．１程度の視力が，視野中心部から５度ずれただけで、視力は０．３になり、１０度ずれると視力は０．１にまで落ち込むような状態を表している。

つまり、視野の中心部は視力がきわめてよいが、中心から少しでもはずれると急激に視力が落ちることを示している。

従って、図１０は、この特性を表現したガンマ補正の出力最大値の重みの分布を示す図であり、ガンマ特性の出力最大値は、ユーザの視線位置を中心とした左右に長い楕円の円錐型の重み関数として与えられる。

すなわち、この重み関数は、上記ガンマ特性による出力最大値（入力値１．０に対する出力値、例えば、図７では１．０、図８では０．８）を人間の有効視野における相対視力（非特許文献４、図１０．１、図１０．２を参照）を当てはめたものである。

なお、Ｘ座標（ｄｅｇｒｅｅ）は、ディスプレイを直視したときを０とした左右方向の視野角、Ｙ座標（ｄｅｇｒｅｅ）は、同様に上下方向の視野角を示し、ｖａｌｕｅは、出力最大値（図７、８、９の入力１に対する出力値）を示す。

また、人間の有効視野を角度で示しているため、実際の映像へのガンマ補正処理は、厳密には、視聴距離に応じてその値が変わる。具体的なガンマ補正処理の内容については後述する。

以上、説明したように、上記重み関数に基づきガンマ補正を行い、各動画サムネイルが持つ各フレーム画像に対して行うことにより、動的輝度変化が抑えられた動画サムネイルを生成することができる。

次に、図３及び図４から図６を用いて、図１に示す映像表示処理部１０７の動作処理の流れについて詳細に説明する。

図３は、図１に示す映像表示処理部の概略動作を示すフローチャート図である。

図３に示すように、映像表示処理部１０７は、下記の３段階の処理ステップに分かれている。

まず、ステップＳ２１において、注視対象範囲算出部２００は、注視対象情報検出部１０８から検出される視線位置、ユーザの体動率・瞬き率とから、注視位置の映像の興味度を算出し、注視対象範囲を特定する。その後、ステップＳ２２において、表示品質調整部２１０は、特定された注視範囲が所定の大きさと比較し、注視位置の映像へのユーザの興味度が高い、すなわち、注視対象範囲が狭いと判断した場合に、注視対象範囲内の動画サブネイルを高品質で表示し、注視対象範囲外の動画サブネイルを低品質で表示する。そして、ステップＳ２３において、表示特性変更部２２０は、注視位置の映像へのユーザの興味度が高い、すなわち、注視対象範囲が狭い場合に、注視対象の動画サムネイルが見やすいように、注視対象以外の動画サムネイル表示を人間の視覚特性を考慮した表示特性に変更する。

次に、図４、５及び６を用いて、更に詳しく各ステップ（Ｓ２１，２２，２３）について動作説明する。

図４は、図３で説明した注視対象範囲の抽出処理（ステップＳ２１）の処理動作を詳細に説明したフロー図である。
図５は、図３で説明した表示品質調整処理（ステップＳ２２）の処理動作を詳細に説明したフロー図である。
図６は、図３で説明した表示特性変更処理（ステップＳ２３）の処理動作を詳細に説明したフロー図である。

まず、ステップＳ２１において、注視対象範囲算出部２００は、注視対象情報検出部１０８によって、検出されたユーザの体動率を取得し（ステップＳ３０２）、同じく、検出されたユーザの瞬き率を取得する（ステップＳ３０３）。取得した２つのパラメータを用いて、興味度の算出を行う（ステップＳ３０４）。例えば、体動率をｂ，瞬き率をｄとした場合，興味度ｆは、下記に示す式（１）により算出することができる。
ｆ＝ｗｂ×（ｒｂ／ｂ）＋ｗｄ×（ｒｄ／ｄ）、（ｗｂ＋ｗｄ＝１） （１）
ここで、ｒｂは、体動率を興味度算出で用いるために変換する係数（例えば、体動率が０，…，１００の範囲の値が得られる場合、そのダイナミックレンジを０、…、１の範囲に抑えるようにするには、ｒｂ＝０．０１とすればよい）であり、ｒｄは、瞬き率を興味度算出で用いるために変換する係数である。また、ｗｂ、ｗｄは、興味度算出の際、体動率、瞬き率のどちらを重視して算出するかの重み係数であり、両者の係数を足すと１．０（ｗｂ＋ｗｄ＝１）になる。

なお、上記式（１）においてｂ＝０及びｄ＝０にならないように、予め０．１などの微小な値以下の値を取り扱わないようにする必要がある。また、ｂは体動率、ｄは瞬き率であるから、負の値になることはない。

このように、体動率が低い、又は瞬き率が低い時には，興味度ｆが大きいと判断され、体動率が高い、又は、瞬き率が高い場合には、興味度ｆが小さいと判断される。なお、興味度ｆの算出では、ｂ及びｄは、そのままの係数を掛けるのではなく、逆数をとって、興味度ｆを算出することになる。

次に、算出された興味度ｆと注視位置ｅとを用いて、注視対象範囲ｇ（例えば、注視位置ｅを中心とする半径ｒの円形範囲）の算出を行う（ステップＳ３０５）。従って、注視対象範囲ｇは、次のように算出できる。
ｇ＝ｅ±ｗ_ｆ／ｆ （２）
ここで、上記式（２）で示す注視対象範囲ｇは、注視位置ｅと範囲量（ｗ_ｆ／ｆ）によって概念的に表記したもので、注視位置ｅを基準に、範囲量（ｗ_ｆ／ｆ）の範囲が注視対象範囲となる意味を示している。また、上述したように、範囲量（ｗ_ｆ／ｆ）は、興味度ｆとは逆の関係となるから、興味度ｆの逆数に比例する。

また、上記の例では、注視対象範囲の形状を円形とした例を示したが、例えば、矩形であってもよい。

ステップＳ３０５の処理が終了すると、ステップＳ２２（記号Ａ）の処理に移行する。

次に、ステップＳ２１で決定された注視対象範囲に基づいて、ステップＳ２２の表示品質調整ステップでは、表示品質調整部２１０により、ディスプレイ上に表示されている全ての動画サムネイル表示品質の調整が行われる。

まず、表示品質調整部２１０は、注視対象範囲の範囲量（ｗ_ｆ／ｆ）と所定の閾値との比較判断を行い（ステップＳ３０６）、注視対象範囲の範囲量（ｗ_ｆ／ｆ）が閾値に対して小さい場合には（ステップＳ３０６；Ｙｅｓ）、ディスプレイ上に表示されている全ての動画サムネイルの中から１つだけ選択する（ステップＳ３０７）。そして、その選んだ動画サムネイルが注視対象範囲内に入っているかどうかを判断する（ステップＳ３０８）。

なお、注視対象範囲の範囲量（ｗ_ｆ／ｆ）が閾値に対して大きい場合には（ステップＳ３０６；Ｎｏ）、本処理を終了する（ステップＳ２２）。

注視対象範囲内と判断した場合（ステップＳ３０８；Ｙｅｓ）、拡大処理（ステップＳ３０９）、高画質処理（ステップＳ３１０）、高色再現処理（ステップＳ３１１）、高フレームレート変換処理（ステップＳ３１２）を行い、全ての動画サムネイルを処理したかを判定し（ステップＳ３１７）、全ての動画サムネイルが終了していない場合は（ステップＳ３１７；Ｎｏ）、ステップＳ３０７に処理を戻す。また、全ての動画サムネイルを処理終了した場合には（ステップＳ３１７；Ｙｅｓ）、ステップ２３に移行する（記号Ｂ）。

また、ステップＳ３０８で、選んだ動画サムネイルが注視対象範囲に入っていなかった場合には（ステップＳ３０８；Ｎｏ）、縮小処理（ステップＳ３１３）、低画質化処理（ステップＳ３１４）、低色再現処理（Ｓ３１５）、低フレームレート変換処理（ステップＳ３１６）を行う。

次に、ステップＳ２３において、表示特性変更部２２０により、映像のフレーム間の輝度変化（以下、動的輝度変化）を抑制するために、人間の有効視野が横に長い楕円形状を有するという特性を利用し、人間の有効視野形状に合わせた輝度変化を抑制し、表示特性変更処理を行う。

通常、人間の有効視野は角度で与えられているため、実際の有効視野の範囲は、厳密には、視聴距離によって決まり、ユーザの視線位置を中心として、左右に長い楕円となる。そのため、まず、ステップＳ３１８で、上記注視対象情報検出部１０８により検出された視聴距離を取得する。注視対象情報検出部１０８による視聴距離を検出する方法として、例えば、距離センサでユーザとディスプレイとの距離を直接検出してもよく、カメラが複数台ある場合には、三角測量の技術を用いて、それぞれのカメラの対応点からユーザとディスプレイとの距離を算出してもよい。これらは、公知の技術として公開されている（例えば、非特許文献１）。

ステップＳ３１９では、ステップＳ３１８で得られた視聴距離から、左右方向の有効視野範囲の算出を以下の式により算出する。視聴範囲をｄとし、視野角を２×θとした場合、有効視野範囲ｅは、下記の（３）式で与えられる。
ｅ＝２×ｄ×ｔａｎ（θ） （３）
図１１を用いて説明する。

図１１では、視聴距離ｄをｄ１、視野角を２×θとした場合、有効視野範囲ｅはｅ１となる。

また、視聴距離ｄをｄ２、視野角を２×θとした場合、有効視野範囲ｅはｅ２となる。

なお、ディスプレイ８０１と８０２は同じサイズである。この視聴距離（ｄｉｓｔａｎｃｅ）と有効視野範囲（ｖｉｅｗ ａｒｅａ）の関係を表したものが図１２である。視聴距離ｄが近ければ（ｄ１）、有効視野範囲は狭く、視聴距離が遠ければ（ｄ２）、有効視野範囲は広くなることが分かる。

なお、ここでは有効視野範囲の上限を比率（１．０）として表現しており、２０インチディスプレイや４５インチディスプレイなどのディスプレイサイズが異なるものは、そのサイズに比例した有効視野範囲となる。

例えば、図１１に示すように、視聴距離が近ければ（視聴距離ｄ１の位置にあるディスプレイ８０１を注視した場合）、有効視野範囲ｅ１は、注視位置の中心から狭い範囲（黒い矩形部分８０３）だけとなり、それ以外の画面の隅は有効視野から外れる。逆に、視聴距離が遠ければ（視聴距離ｄ２の位置にあるディスプレイ８０２を注視した場合）、有効視野範囲ｅ２は、注視位置の中心からディスプレイ８０２のサイズ（黒い矩形部分８０４）より広い範囲となる。

ステップＳ３２０では、図１０で与えられる重み関数を元に、ガンマ補正における出力最大値（入力値１．０に対する出力値、例えば、図７では１．０、図８では０．８）を算出する。例えば、注視位置の中心では、重み１をガンマ補正の出力最大値とし、注視位置周辺では、分布のｖａｌｕｅ値に応じた重みをガンマ補正の出力最大値とする。

実際に動画サムネイル映像にガンマ補正を行う場合、最大出力値を低く設定した線形補正によりガンマ補正を行うため、例えばＲＧＢ画像の場合、以下の計算式によって行うことができる（通常は、最小出力値０．０、最大出力値１．０に設定し、非線形補正を行う）。
Ｌ１＝Ｌ０×ｇ （４）
Ｌ０は、ガンマ補正前の各画素の各ＲＧＢ値の明度（０≦Ｌ０≦２５５、８ｂｉｔの場合）であり、Ｌ１は、ガンマ補正後の各画素の各ＲＧＢ値の明度（０≦Ｌ１≦２５５、８ｂｉｔの場合）ある。ｇは、各ＲＧＢ値の明度の出力値係数（０≦ｇ≦１）である。この処理を各動画サムネイルが持つ各フレーム画像に対して行うことにより、動的輝度変化が抑えられた動画サムネイルを生成することが可能になる。

視聴距離の違いによるディスプレイ上でのガンマ補正結果の３次元分布を表示したものを図１３、図１４に示す。図１３では、図１１、図１２に示す視聴距離ｄ１の有効視野範囲に図１０に示す重み関数を用いたガンマ補正結果の分布を示しており、図１４では、図１１、図１２に示す視聴距離ｄ２の有効視野範囲に図１０の重み関数を用いたガンマ補正結果の分布を表している。

図１３及び図１４のＸ座標、Ｙ座標は、実際の画面の大きさ（例えばインチなど）を表現しており、図１１、図１２に示す視聴距離ｄである場合は（視聴距離が近い）、図１３のように狭い範囲でガンマ補正が行われることを示しており、図１１、図１２に示すように視聴距離ｄ２である場合（視聴距離が遠い）は、図１４のように広い範囲でガンマ補正が与えられることを示している。

また、視線位置検出技術による視線位置、ユーザの体動率、ユーザの瞬き率は、カメラ画像から検出されることを想定したが、すべてカメラ画像から検出する必要はなく、それぞれ専用の装置を用いて検出するようにしてもよい。

また、視聴距離により有効視野範囲が変わるため、本実施形態では、視聴距離検出を行っていたが、家庭内でのリビング等のディスプレイを設置する環境を考慮すると、実際の視聴距離は、画面の高さの二倍から三倍の距離に収まり、視聴距離の違いによる実際の視聴範囲は、ほぼ誤差の範囲となり、事実上、視聴距離を考慮しない固定した視聴範囲としても問題ない。この場合は、図６に示すステップＳ３１８は省略でき、ステップＳ３１９の有効視野範囲は、固定された値となる。

このように、実際の家庭内の視聴環境を考慮して、視聴距離を固定とみなした場合、図２の表示特性変更処理ステップＳ２３の処理の一部が省略されるため、システムの負荷を軽減することができる。

また、上記説明したように、注視対象範囲を特定することによって、ディスプレイ上に表示されている映像の情報などを表示する文字情報、ステレオ音声記号などの記号情報、再生状態記号・停止状態記号などのコントロール記号情報等のサムネイル画像以外の映像情報の表示等の制御を行うことも可能である。すなわち、複数のサムネイルを漠然と見ている場合、文字情報やコントロール記号情報を表示しないようにし、複数のサムネイル画像全体を見やすくすることができる。さらに、ある特定のサムネイルを注視している場合には、最初は文字情報等を表示しているが、そのまま注視し続けるとコントロール情報を表示して、自動的に停止などの操作を行うようにすることもでき、ユーザの視聴状態（漠然とみているのか、あるサムネイルに注視しているのかの状態）を考慮したサムネイル表示を行うことが可能である。

なお、ここで開示した実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。よって、本実施形態による映像表示装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。さらに、本実施例で述べた各処理もしくは、処理内の各ステップは、コンピュータに実行させるためのプログラムであっても良く、そのプログラムは記録するコンピュータ読みとり可能な記録媒体で提供されても良い。

本発明に係る映像表示装置の一構成例を示す機能ブロック図である。 本発明に係る映像表示装置の映像表示処理部の構成例を示す機能ブロック図である。 図１に示す映像表示処理部の概略動作を示すフローチャート図である。 注視対象範囲部の詳細動作を示すフローチャート図である。 表示品質調整部の詳細動作を示すフローチャート図である。 表示特性変更部の詳細動作を示すフローチャート図である。 ガンマ特性（補正なし）を示す図である。 ガンマ特性（線形補正）を示す図である。 ガンマ特性（非線形補正）を示す図である。 有効視野範囲に有効視力範囲を重ね合わせて３次元表示した図である。 視聴距離と視野角の関係を表す図である。 視聴距離と有効視野範囲の関係を表す図である。 視聴距離が近い場合の表示特性変更結果の３次元表示した図である。 視聴距離が遠い場合の表示特性変更結果の３次元表示した図である。

符号の説明

１００ 映像表示装置
１０１ ＨＤＤ
１０２ 記録再生装置（ＭＯ、ＣＤ、ＤＶＤ）
１０３ Ｉ／Ｏ Ｉ／Ｆ
１０４ メモリ
１０５ ＣＰＵ
１０６ 通信用Ｉ／Ｆ
１０７ 映像表示処理部
１０８ 注視対象情報検出部
１０９ ディスプレイＩ／Ｆ
１１０ ディスプレイ
１１１ ＡＶ Ｉ／Ｆ
１１２ スピーカ
２００ 注視対象範囲算出部
２１０ 表示品質調整部
２２０ 表示特性変更部
３００ａ 有効視力の３次元表示部分
３００ｂ 有効視力の等高線表示部分
８００ 視野範囲
８０１ 視聴距離ｄ１に設置されたディスプレイ
８０２ 視聴距離ｄ２に設置されたディスプレイ
８０３、８０４ 黒い矩形部分

Claims (6)

1. 複数の映像にそれぞれ対応する複数のサムネイルを画面に一覧表示する映像表示装置であって、
   ユーザの目を中心とする顔の画像を撮影する撮影部と、
   撮影された画像を解析してユーザの視線位置を検出する注視対象検出部と、
   検出された視線位置から得られる注視対象位置を中心とした前記サムネイルの注視対象範囲を算出する注視対象範囲算出部と、
   算出された前記注視対象範囲の大きさと所定の閾値とを比較し、算出された前記注視対象範囲の大きさが所定の閾値より小さいと判断した場合に、前記注視対象範囲内のサムネイルの映像のみを高品質で再生し、前記注視対象範囲外の周辺視部のサムネイルの映像は、低品質で再生する表示品質調整部と、
   前記表示品質調整部により、表示品質調整された前記サムネイルの映像に対して、ユーザが視聴している視聴距離の有効視野範囲に応じた人間の有効視野形状に、前記有効視野範囲における視力の度合いを重ね合わせて生成された重み付け関数を用いて、出力最大値を１以下とする重み付けをしたガンマ補正を行うことにより、前記有効視野範囲内にあるサムネイルの映像フレーム間の輝度変化を抑制する処理を行う表示特性変更部と、
   を備えたことを特徴とする映像表示装置。
2. 前記注視対象検出部は、さらに撮影された画像を解析して、単位時間当たりのユーザの体の動き量である体動率と、単位時間当たりのユーザの瞬きの回数である瞬き率を検出し、
   前記注視対象範囲算出部は、前記注視対象範囲を算出する際に、前記体動率、前記瞬き率のパラメータの内、少なくとも１つ以上のパラメータにより、これらの率が小さいほど前記注視対象範囲を大きく算出し、ユーザの前記視線位置とから前記注視対象範囲を特定することを特徴とする請求項１に記載の映像表示装置。
3. 前記表示品質調整部は、
   算出された前記注視対象範囲の大きさと前記所定の閾値とを比較し、
   算出された前記注視対象範囲の大きさが前記所定の閾値より小さいと判断した場合に、表示調整処理を行い、
   算出された前記注視対象範囲の大きさが前記所定の閾値以上と判断した場合に、複数のサムネイル表示全体を漠然として見ているものと判断して、表示調整を行わないことを特徴とする請求項１または請求項２に記載の映像表示装置。
4. 前記算出された前記注視対象範囲の大きさが所定の閾値より小さいと判断した場合に、前記表示品質調整部は、前記注視対象範囲内の前記サムネイルに対して、拡大処理、高画質処理、高フレームレート再生処理、高色再現処理を少なくとも１つ以上の処理を含む前記高品質画像処理を行う一方、前記注視対象範囲外の前記サムネイルに対して、縮小処理、低画質処理、低フレームレート再生処理、低色再現処理を少なくとも１つ以上の処理を含む前記低品質画像処理を行い、動画サムネイル再生の処理負荷の低減を図ることを特徴とする請求項１から請求項３のいずれか１項に記載の映像表示装置。
5. 前記表示品質調整部は、前記注視対象範囲内のサムネイルに対して前記高品質画像処理を行った場合には、前記注視対象範囲外の前記サムネイルに対して前記低品質画像処理の実行を省略し、前記注視対象範囲外の前記サムネイルに対して前記低品質画像処理を行った場合には、前記注視対象範囲内のサムネイルに対して前記高品質画像処理の実行を省略することにより、動画サムネイル再生の処理負荷の低減を図ることを特徴とする請求項４に記載の映像表示装置。
6. 前記表示特性変更部は、
   前記表示品質調整部により、前記複数のサムネイル表示全体を漠然として見ているものと判断された場合であっても、前記輝度変化の抑制を行い、表示されている前記サムネイル全体から所望のサムネイルを選択・表示するようにしたことを特徴とする請求項３に記載の映像表示装置。

Images