JP6591667B2 - 画像処理システム、画像処理装置、及びプログラム - Google Patents

Description

本発明は、表示装置を含む画像処理システム、ユーザの頭部に装着される表示装置に接続される画像処理装置、及びプログラムに関する。

近年、ヘッドマウントディスプレイなど、ユーザが頭部に装着して使用する表示装置が普及しつつある。このような表示装置は、家庭用ゲーム機やパーソナルコンピュータ（ＰＣ）等から表示の対象となる画像データを受け入れ、この画像データが表す画像を、ユーザの目の前に結像させることで、その画像をユーザに閲覧させる。また近年では、表示装置にて表示する画像の解像度がますます高くなっており、これに伴って、表示装置に対して家庭用ゲーム機等から送出する画像データのデータ量も増大しつつある。

そこで、ユーザに高精細な画像を視認させつつ、伝送する画像データのデータ量を低減する、データ量低減技術が望まれている。

本発明は上記実情に鑑みて為されたもので、ユーザに高精細な画像を視認させつつ、伝送する画像データのデータ量を低減できる画像処理システム、画像処理装置、及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、表示装置に接続される画像処理装置を含む。この画像処理装置は、表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、前記生成した歪像画像データを出力する出力手段と、を有する。

本発明の実施の形態に係る画像処理システムの構成例を表すブロック図である。 本発明の実施の形態に係る画像処理システムの表示装置の表示部の形状例を表す説明図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が生成する歪像画像データの画素配列例を表す説明図である。 本発明の実施の形態に係る画像処理装置に接続される中継制御装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理システムの動作例を表す説明図である。 本発明の実施の形態に係る画像処理システムのもう一つの動作例を表す説明図である。

以下では、本発明の実施の形態に係る画像処理装置にて処理した画像データを、ユーザの頭部に装着する表示装置に表示する構成例について説明する。このような表示装置ではその光学的特性により、視野角を広くするほど、表示される画像の中心部では解像度が比較的高くなり、周辺部では解像度が比較的低くなる。また、人間の目の有効視野（高い解像度が必要とされる範囲）は、視野中心の近くだけで、視野周辺部の解像度は比較的低くても認識に問題がないことが知られている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１０を含む画像処理システム１は、図１に例示するように、画像処理装置１０と、操作デバイス２０と、中継制御装置３０と、表示装置４０と、を含んで構成されている。

画像処理装置１０は、表示装置４０が表示すべき画像を表す画像データを供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等である。図１に示されるように、この画像処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムを実行する。本実施の形態では、この制御部１１は、表示装置４０において表示される画像を表す画像データの画素配列を変換した歪像画像データを生成し、この生成した歪像画像データに表示装置４０に出力する処理を行っている。この歪像画像データの内容、並びに、制御部１１の詳しい動作については、後に述べる。

記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラムを格納する。また、この記憶部１２は制御部１１のワークメモリとしても動作し、制御部１１がプログラム実行の過程で使用するデータを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。

インタフェース部１３は、操作デバイス２０や中継制御装置３０との間で画像処理装置１０の制御部１１がデータ通信を行うためのインタフェースである。画像処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０や中継制御装置３０等と接続される。一例として、このインタフェース部１３は、画像処理装置１０が供給する歪像画像データや音声を中継制御装置３０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのマルチメディアインタフェースを含んでよい。また、中継制御装置３０経由で表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、操作デバイス２０に対するユーザの操作入力の内容を示す信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでよい。

操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザが画像処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザの操作入力の内容は、有線又は無線のいずれかにより画像処理装置１０に送信される。なお、操作デバイス２０は必ずしも画像処理装置１０と別体でなくてもよく、画像処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。

中継制御装置３０は、表示装置４０と接続されており、画像処理装置１０から供給される歪像画像データを受け付ける。そして中継制御装置３０は、入力された歪像画像データを、後に述べる、表示装置４０の映像表示素子５１における表示部Ｄの画素の配列に並べ替えた画像データを生成し、さらに必要に応じて、供給された画像データが表す画像に対して、表示装置４０の光学系によって生じる歪みを補正する処理などを実行し、補正された画像を表す映像信号を出力する。この中継制御装置３０の具体的な動作の内容については後に述べる。

なお、中継制御装置３０から表示装置４０に出力される映像信号は、左目用のものと右目用のものとの二つの映像信号を含んでいる。また、中継制御装置３０は、映像信号以外にも、音声データや制御信号など、画像処理装置１０と表示装置４０との間で送受信される各種の情報を中継する。

表示装置４０は、ユーザが頭部に装着して使用する表示デバイスであって、中継制御装置３０から入力される映像信号に応じた映像を表示し、ユーザに閲覧させる。本実施形態では、表示装置４０はユーザの右目と左目とのそれぞれの目の前に、それぞれの目に対応した映像を表示するものとする。この表示装置４０は、図１に示したように、映像表示素子５１、及び光学素子５２を含んで構成される。

映像表示素子５１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継制御装置３０から入力される映像信号に従って映像を表示する。この映像表示素子５１は、左目用の映像と右目用の映像とを一列に並べて表示する１つの表示素子であってもよいし、左目用の映像と右目用の映像とをそれぞれ独立に表示する一対の表示素子を含んで構成されてもよい。本実施の形態では、左目用と右目用の映像が表示される部分がそれぞれ本発明の表示部に相当する。本実施の形態の一例では、左目用と右目用の映像が表示される部分である表示部Ｄは、図２に例示するように、それぞれ半径Ｒの円形をなし（図２（Ａ））、この円形の範囲内に格子状に画素を配列したものであってもよい。また、この表示部Ｄは、各辺を外側へ凸とした矩形（図２（Ｂ））内に、画素を矩形格子状に配列したものであってもよい。また、各表示部Ｄは、矩形内に、画素を矩形格子状に配列したものであってもよい（図２（Ｃ））。表示部Ｄが円以外の形状である場合、その中心は、表示部Ｄの形状の外接円（半径Ｒとする）の中心としておけばよい。また、スマートフォン等のディスプレイ画面が、そのまま映像表示素子５１として用いられてもよい。この場合、スマートフォン等が、中継制御装置３０から入力される映像信号に従って映像を表示することとなる。また表示装置４０は、ユーザの網膜に直接映像を投影する網膜照射型（網膜投影型）の装置であってもよい。この場合、映像表示素子５１は、光を発するレーザーとその光を走査するＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどによって構成されてもよい。

光学素子５２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザの目の前に配置され、映像表示素子５１が表示する映像の光を透過又は屈折させて、ユーザの目に入射させる。具体的に、この光学素子５２は、左目用光学素子５２Ｌと、右目用光学素子５２Ｒとを含んでもよい。この場合、映像表示素子５１が表示する左目用の映像は、左目用光学素子５２Ｌを経由してユーザの左目に入射し、右目用の映像は右目用光学素子５２Ｒを経由してユーザの右目に入射するようにしてもよい。これによりユーザは、表示装置４０を頭部に装着した状態で、左目用の映像を左目で、右目用の映像を右目で、それぞれ見ることができるようになる。なお、本実施形態において表示装置４０は、ユーザが外界の様子を視認することができない非透過型の表示装置であるものとする。

次に、画像処理装置１０の制御部１１の動作について説明する。本実施の形態では、この制御部１１は機能的には、図３に例示するように、画像生成部２１と、出力部２２とを含んで構成される。画像生成部２１は、表示の対象となる画像データを生成する。具体的にこの画像生成部２１は、表示装置４０の表示部Ｄ内の各画素を、映像表示素子５１における、左目用の映像または右目用の映像が表示されている部分（表示部）の画素配列とは異なり、表示部Ｄの中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する。

具体的に、この歪像画像データは、図４に例示するように、互いに交差する第１の軸ｒと、第２の軸θとを有する座標系内に格子状に配された画素で表現される。本実施の形態の一例では、この第１の軸ｒと第２の軸θとは互いに直交する。画像生成部２１が生成する歪像画像データの歪像画素配列は、表示装置４０において中心から動径方向に配列して表示される一連の画素を、第１の軸ｒに沿って（少なくともｒ≦Ｒの範囲で）配列し、表示装置４０において角度方向（０から２π（ラジアン））に配列して表示される一連の画素を、上記座標系内の第２の軸θに沿って配列したものである。この画素の配列を以下では「歪像画素配列」と呼ぶ。

この配列はつまり、極座標系中に配列した表示部Ｄに外接する円内の各画素を、直交座標系に写像したものであり、中心（ｒが小さい）側に、θ軸に沿って配列されるＮ個の画素ほど周方向の画素の密度が高く、外（ｒが大きい）側に、θ軸に沿って配列されるＮ個の画素ほど周方向の画素の密度は低く（周長が大きくなるため）なっている。隣接画素との間隔は２πｒ／Ｎであり、ｒに比例して大きくなるためである。このように、図４の画素配列は、表示部の中心からの距離が短いほど画素の密度が高くなる配列となっている。このように表示部の中心からの距離が短いほど画素の密度が高くなる配列であれば、第１の軸ｒと、第２の軸θとは必ずしも直交しなくてもよい。

画像生成部２１は、三次元的な物体の形状データや、配置位置を表すデータ、並びに、仮想的なライトの位置及び方向のデータと、仮想的なカメラの位置と視線方向のデータを受け入れて、広く知られた方法でレンダリング処理（仮想的なカメラの視野中の画素ごとの画素値を決定する処理）を実行する。この際、画像生成部２１は、図４に例示した歪像画素配列で、画素値を決定した画素を配列して歪像画像データを生成する。画像生成部２１は、上記の処理を左目用と右目用との双方について行い、複数の歪像画像データを得て出力部２２に出力する。出力部２２は、画像生成部２１が生成した歪像画像データ（左目用と右目用との双方）を受け入れ、これらを中継制御装置３０へ出力する。

また中継制御装置３０は、図１に例示したように、制御部３１と、記憶部３２と、入出力部３３とを含んで構成される。この制御部３１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムを実行する。本実施の形態では、この制御部３１は、画像処理装置１０から供給される歪像画像データを受け付け、表示装置４０の映像表示素子５１における表示部Ｄの画素の配列に並べ替えた画像データを生成し、当該画像データが表す映像信号を出力する処理を実行する。また、この制御部３１は、音声データや制御信号などが画像処理装置１０から入力されると、当該データや制御信号等を表示装置４０へ送出する。また、表示装置４０から受信したデータを画像処理装置１０へ送出する。この制御部３１の動作の内容は後に述べる。

記憶部３２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部３１が実行するプログラムを格納する。また、この記憶部３２は制御部３１のワークメモリとしても動作し、制御部３１がプログラム実行の過程で使用するデータを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部３２に格納されたものであってもよい。

入出力部３３は、有線又は無線のいずれかで画像処理装置１０が供給する歪像画像データや音声を受信する。またこの入出力部３３は表示装置４０の映像表示素子５１に対して映像信号を出力して映像を表示させる。

ここで中継制御装置３０の制御部３１の動作について説明する。この制御部３１は、機能的には、図５に例示するように、データ受入部４１と、変換処理部４２と、補正処理部４３と、信号生成部４４とを含んで構成される。

データ受入部４１は、画像処理装置１０から供給される歪像画像データを受け付けて、変換処理部４２に出力する。変換処理部４２は、画像処理装置が出力した歪像画像データを、映像表示素子５１の表示部Ｄにおける画素配列を有する画像データに変換する。具体的にこの変換処理部４２は、映像表示素子５１の表示部Ｄ（左目用または右目用の映像を表示する部分）に配列された各画素（ここではＸＹ直交座標系内に格子状に配列されているものとする）を、所定の順序に選択する。この順序は例えばスキャンライン順でよい。つまりＸ軸方向に配列された一連の画素をラインとして、表示部Ｄで最も上にあるラインから順に、当該ライン内では左から右へ画素を選択し、次に一つ下のラインにおいて当該ライン内では左から右へ画素を選択し…というように、表示部Ｄの右下隅の画素まで各画素を順次選択していけばよい。

変換処理部４２は、選択した画素の中心を、表示部Ｄの中心を中心とする極座標系で表した値（ｒn，θn）を得る。そして変換処理部４２は、歪像画像データ中で、ここで得た座標（ｒn，θn）に最も近い画素を検索する。変換処理部４２は、この検索の結果、見出した画素の画素値を選択した画素の画素値に設定する。なお、ここでは得た座標（ｒn，θn）に最も近い画素の画素値を用いて処理を行う例としたが、本実施の形態はこれに限られるものではなく、変換処理部４２は、得た座標（ｒn，θn）に近接する複数の画素の平均の画素値を用いる処理等、画像データの座標変換において広く知られた処理により、選択した画素の画素値を定めればよい。変換処理部４２は、これにより、映像表示素子５１の表示部Ｄ（左目用または右目用の映像を表示する部分のそれぞれ）内の各画素の画素値を定め、表示部Ｄの画素配列に対応した画像データ（表示用画像データと呼ぶ）を生成する。

補正処理部４３は、左目用と右目用のそれぞれの表示用画像データに対して、表示装置４０の光学系によって生じる歪みを補正する処理を実行する。この処理は、例えば樽型の歪みを補正する処理等であり、表示装置４０の光学系に応じて適宜、広く知られた画像データの補正処理を組み合せて用いればよいので、ここでの詳しい説明を省略する。

信号生成部４４は、補正処理部４３にて補正された表示用画像データ（左目用、右目用のそれぞれ）を受け入れて、左目用と右目用とのそれぞれの映像信号を生成する。この映像信号は、例えば上述のＨＤＭＩの映像信号のフォーマットに従ったものであり、画像データからこの映像信号を生成する処理については広く知られている処理を採用すればよい。

本実施の形態は、以上の構成を備えており、次のように動作する。画像処理装置１０は、例えばゲームプログラムの処理過程において、ゲーム内に登場する三次元的な物体の形状データや、その配置位置を表すデータ、並びに、仮想的なライトの位置及び方向のデータと、仮想的なカメラの位置及び方向（左目用の処理と右目用の処理とで互いに異なる位置及び方向に設定する）のデータを用いてレンダリング処理を実行する。このとき画像処理装置１０は、表示装置４０の表示部Ｄにおいて、その中心から動径方向に配列して表示される一連の画素を、第１の軸ｒに沿って配列し、表示装置４０の表示部Ｄにおいてその角度方向（０から２π（ラジアン））に配列して表示される一連のＮ個（Ｎ＞１）の画素を、第１の軸ｒに直交する第２の軸θに沿って配列した画像データの記憶領域を左目用と右目用との２つ確保する。そして、ここで確保した左目用の画像データ内の各画素の画素値を、左目用のレンダリング処理により決定する。同様に、右目用の画像データ内の各画素の画素値を、右目用のレンダリング処理により決定する。これにより、画像処理装置１０は、左目用及び右目用のそれぞれについて図４に例示したような歪像画素配列の歪像画像データを得る（図６（Ｓ１））。なお、図６では、説明のため、左目用または右目用の一方の画像データのみを示す。

画像処理装置１０は、この歪像画像データを中継制御装置３０に出力する。中継制御装置３０は、画像処理装置１０から供給される歪像画像データを受け付け、この歪像画像データを、表示装置４０の表示部Ｄにおける画素配列を有する表示用画像データに変換する（図６（Ｓ２））。本実施の形態の一例では、表示装置４０の表示部ＤではＸＹ直交座標系内に格子状に配列されているものとする。中継制御装置３０は、表示装置４０の左目用の映像を表示する表示部Ｄ内の各画素をスキャンライン順に選択し、選択した画素の中心を、表示部Ｄの中心を中心とする極座標系で表した値（ｒn，θn）を得る。そして、中継制御装置３０は、左目用の歪像画像データ中で、ここで得た座標（ｒn，θn）に最も近い画素を検索し、検索の結果、見出した画素の画素値を選択した画素の画素値に設定する。中継制御装置３０は、また、右目用の映像を表示する表示部Ｄの各画素についてもスキャンライン順に選択し、選択した画素の中心を、表示部Ｄの中心を中心とする極座標系で表した値（ｒn，θn）を得る。そして、右目用の歪像画像データ中で、ここで得た座標（ｒn，θn）に最も近い画素を検索し、検索の結果、見出した画素の画素値を選択した画素の画素値に設定する。

中継制御装置３０は、この処理により、表示装置４０の左目用及び右目用の映像を表示する各表示部Ｄ内の各画素の画素値を定め、左目用及び右目用の表示用画像データを生成する。このとき、歪像画像データ内の画素は、ｒnが小さいほど周方向の画素の密度が高く、ｒnが大きいほど周方向の画素の密度は低くなっている（各隣接画素の間隔は２πｒn／Ｎであり、ｒnに比例して大きくなるためである）。このため、表示部Ｄの中心に近い位置にある二つの画素の画素値は、歪像画像データ中の互いに異なる画素に基づいてそれぞれ画素値が決定されるが、表示部Ｄの中心から離れた位置にある二つの画素の画素値は、歪像画像データ中の同じ画素に基づいてそれぞれ画素値が決定される、といったことが生じる。つまり表示部Ｄの中心ほど解像度が高く、中心から離れるほど解像度が下がる表示用画像データが得られることとなる。

中継制御装置３０は、左目用と右目用とのそれぞれの表示用画像データに対して、表示装置４０の光学系によって生じる歪みを補正する処理を実行し、補正後の各表示用画像データに基づいて、左目用と右目用との双方のＨＤＭＩの映像信号を生成し、表示装置４０に出力する。表示装置４０は、中継制御装置３０から入力される映像信号により、映像表示素子５１を駆動して、左目用と右目用との各表示部Ｄにそれぞれ、左目用と右目用との映像を表示する。

これによりユーザは、表示部Ｄの中心ほど解像度が高く、中心から離れるほど解像度が下がる映像を目にすることとなる。このように、ユーザの注視する表示部Ｄの中心ほど解像度が高くなっているので、ユーザには高精細な画像を視認させることが可能となっており、一方で表示部Ｄの中心から離れたところでは解像度が低下する歪像画像データが伝送されているため、伝送されるデータ量を低減できることとなる。

［歪像画像データの中心］
なお、ここまでの説明では、画像処理装置１０は表示部Ｄの中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成することとしたが、歪像画像データの中心は、表示装置４０の表示部Ｄの中心でなくてもよい。一例として、本実施の形態の表示装置４０は、着用しているユーザの瞳孔を撮影して、その向きを検出する視線検出部を有し、表示部Ｄ中の画素であってユーザの視線の中心の画素Ｃ（視線中心画素Ｃと呼ぶ）の位置を特定する情報を出力する。

このとき画像処理装置１０は、表示装置４０が出力する情報で特定される表示部Ｄ内の視線中心画素Ｃからの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成してもよい。

つまり、この例の画像処理装置１０が生成する歪像画像データの各画素は、表示部Ｄの視線中心画素Ｃの位置を中心とし、表示部Ｄに外接する円内であって、極座標系中に配列した各画素を、直交座標系に写像したものであり、視線中心画素Ｃに近い（ｒが小さい）側に、θ軸に沿って配列されるＮ個の画素ほど周方向の画素の密度が高く、視線中心画素Ｃから離れた（ｒが大きい）側に、θ軸に沿って配列されるＮ個の画素ほど周方向の画素の密度は低くなっている。

画像生成部２１は、上記各画素の画素値をレンダリング処理により決定して、歪像画像データを生成する。画像生成部２１は、上記の処理を左目用と右目用との双方について行い、複数の歪像画像データを得て出力部２２に出力する。出力部２２は、画像生成部２１が生成した歪像画像データ（左目用と右目用との双方）を受け入れ、これらを中継制御装置３０へ出力する。

この場合、中継制御装置３０は、表示装置４０の表示部Ｄ内の各画素をスキャンライン順に選択し、選択した画素の中心を、表示部Ｄの視線中心画像Ｃの位置を中心とする極座標系で表した値（ｒn，θn）を得る。そして中継制御装置３０は、歪像画像データ中で、ここで得た座標（ｒn，θn）に最も近い画素を検索し、検索の結果、見出した画素の画素値を選択した画素の画素値に設定して表示用画像データを生成する。

［中心部のみ別に生成する例］
また、本実施の形態の例において、画像処理装置１０は、表示装置４０の表示部Ｄの中心近傍の画像データを、中心部以外の画像データとは別に生成してもよい。この場合画像処理装置１０は、中心近傍外の画像データを、上述の歪像画像データとする。具体的に、この例では、画像生成部２１は、図７に例示するように、表示部Ｄ内の所定の領域として、表示部Ｄの中心と、その中心（対角線が交差する点）とが一致し、一辺の長さがｄであるような正方形状の部分に表示される正方形状の部分画像データ（左目用と右目用とのそれぞれ）をレンダリング処理により生成する（Ｓ１１）。また画像生成部２１は、少なくともｄ≦ｒ≦Ｒの範囲の歪像画像データ（左目用と右目用とのそれぞれ）をレンダリング処理により生成する（Ｓ１２）。

画像処理装置１０は、この部分画像データと歪像画像データとを中継制御装置３０に出力する。中継制御装置３０は、画像処理装置１０から供給される歪像画像データを受け付ける。そして中継制御装置３０は、歪像画像データを、表示装置４０の表示部Ｄにおける画素配列を有する画像データに変換する（Ｓ１３）。そして中継制御装置３０は、変換して得た画像データの画素値のうち、表示部Ｄ内で部分画像データの各画素に対応する画素Ｐの画素値を、対応する部分画像データ中の画素の画素値で上書きして、表示用画像データを得る（Ｓ１４）。

中継制御装置３０は、この処理により、表示装置４０の左目用及び右目用の映像を表示する各表示部Ｄ内の各画素の画素値を定め、左目用及び右目用の表示用画像データを生成する。このとき、表示部Ｄの中心から上下左右にｄ／２の範囲にある各画素については、各画素に対応する画素値を有する（表示部Ｄの最大の解像度の画素配列に対応する）部分画像データにより画素値が定められ、それ以外の範囲については、歪像画像データに基づいて、表示部Ｄの中心に近いほど解像度が高く、中心から離れるほど解像度が下がる表示用画像データが得られることとなる。

［部分画像データの位置］
なお、部分画像データも表示部Ｄの中心部の画像データではなく、視線中心画素Ｃの中心から上下左右にｄ／２の範囲の画像データとしてもよい。この例では、画像処理装置１０は、表示装置４０から表示部Ｄ中の視線中心画素Ｃの位置を特定する情報を、部分画像データが対応する表示部内の領域に係る指示として受け入れる。

そして画像処理装置１０は、当該指示が表す表示装置４０の表示部Ｄの視線中心画素Ｃの中心から上下左右にｄ／２の範囲の画像データを、当該範囲以外の画像データとは別に生成する。具体的に画像処理装置１０は、当該範囲以外の画像データを、上述の歪像画像データとする。具体的にこの例では、画像生成部２１は、表示部Ｄ内の所定の領域として、表示部Ｄの視線中心画素Ｃの中心から上下左右にｄ／２の範囲の正方形状の部分に表示される正方形状の部分画像データ（左目用と右目用とのそれぞれ）をレンダリング処理により生成する。また画像生成部２１は、少なくともｄ≦ｒの範囲の歪像画像データ（左目用と右目用とのそれぞれ）をレンダリング処理により生成する（ｒは視線中心画素Ｃの中心からの距離）。

この例でも中継制御装置３０は、歪像画像データを、表示装置４０の表示部Ｄにおける画素配列を有する画像データに変換する。そして中継制御装置３０は、変換して得た画像データの画素値のうち、表示部Ｄ内で部分画像データの各画素に対応する画素の画素値を、対応する部分画像データ中の画素の画素値で上書きして、表示用画像データを得る。

［部分画像データのサイズ］
なお、部分画像データのサイズ（ｄ）は、可変となっていてもよい。具体的に画像生成部２１は、視線中心画素Ｃ近傍の範囲を部分画像データとして生成する場合、視線中心画素Ｃが表示部Ｄの中心から離れるほどサイズｄを小さくするなどとしてもよい。またこのサイズｄは、画像生成装置１０が実行するゲームのプログラムの指示に従って変更してもよい。

［カメラからの映像］
また本実施の形態では、歪像画像データはレンダリング処理により生成することとしていたが、本実施の形態はこれに限られない。例えば、画像処理装置１０は、カメラ等で撮像された画像に基づいて歪像画像データを生成してもよい。この例では、画像処理装置１０は、歪像画素配列の各画素を順次選択し、カメラが有する各撮像素子のうち、歪像画素配列から選択した画素に対応する位置にある撮像素子が得ている画素値（例えばＲＧＢ色空間中の各色の輝度情報）を取得して、選択した画素の画素値を定め、歪像画像データを生成すればよい。

この例によると、カメラからの画像取得時のデータ伝送においても、表示部Ｄの中心（あるいは視線中心画素Ｃの位置）に近いほど解像度が高く、表示部Ｄの中心（あるいは視線中心画素Ｃの位置）から離れるほど、解像度が低下する画像データが伝送されることとなるので、ユーザが注視する範囲である表示部Ｄの中心（あるいは視線中心画素Ｃ）近傍の範囲では、ユーザに比較的解像度が高く、高精細な画像を視認させることが可能となっており、一方で表示部Ｄの中心（あるいは視線中心画素Ｃ）から離れたところでは解像度が低下しているので、伝送されるデータ量は全体として低減できることとなる。

［変形例］
ここまでに述べた本発明の実施の形態は一例であり、本実施の形態はここに述べた例に限られない。例えば、画像データを配信するサーバが、矩形格子状に配列された画素により表される配信対象の画像データを受け入れ、当該受け入れた画像データの少なくとも一部（例えば当該画像データの中心から所定半径の円内）を、所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データに変換し、この変換により得られた歪像画像データを、ネットワークを介して配信してもよい。ここで配信される画像データは静止画像の画像データに限られず、複数の静止画像を含む動画像の画像データであってもよい。動画像データが例えばＭＰＥＧ（Motion Picture Experts Group）の規定により符号化されている場合は、Ｉフレーム（フレーム間予測を用いないで符号化されるフレーム）のみ、その少なくとも一部をこの歪像画像データに変換してもよい。また、歪像画像データに変換されていない部分がある場合は当該部分については従来通りの符号化方法で符号化して残差画像データとして配信する。

この場合、配信された画像データを受け入れた再生側（例えばパーソナルコンピュータ等の端末）では、所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データを受信して受けいれ、この受け入れた歪像画像データを、矩形格子状に配列された画素により表される画像データの少なくとも一部に変換する。そして変換により得られた画像データを出力する。なお、歪像画像データに変換されていない部分がある場合は歪像画像データとともに受信した残差画像データを、歪像画像データを変換して得た画像データに合成して（残差画像データを背景として、その中心などもともと歪像画像データに変換された画像データの部分に相当する範囲に、ここで変換して得られた画像データを上書して）、当該合成後の画像データを出力する。このように本実施の形態はネットワークを介した配信においても有効に利用できる。

［実施形態の効果］
本発明によると、ユーザに高精細な画像を視認させつつ、伝送する画像データのデータ量を低減できる。

１０ 画像処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 操作デバイス、２１ 画像生成部、２２ 出力部、３０ 中継制御装置、３１ 制御部、３２ 記憶部、３３ 入出力部、４０ 表示装置、４１ データ受入部、４２ 変換処理部、４３ 補正処理部、４４ 信号生成部、５１ 映像表示素子、５２ 光学素子。

Claims (9)

1. 表示装置と、
   当該表示装置に接続される画像処理装置とを含み、
   前記画像処理装置は、
   表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
   前記生成した歪像画像データを出力する出力手段と、
   を有し、
   前記表示装置は、
   前記画像処理装置が出力した歪像画像データを、前記表示部における画素配列を有する画像データに変換する表示装置である、
   画像処理システム。
2. 表示部を備えた表示装置に接続され、
   表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
   前記生成した歪像画像データを出力する出力手段と、
   を有し、
   前記歪像画像データを、前記表示装置における、前記表示部の画素配列を有する画像データに変換する処理に供する画像処理装置。
3. 表示装置に接続され、
   表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
   前記生成した歪像画像データを出力する出力手段と、
   を有し、
   前記画像生成手段は、
   前記表示装置において動径方向に配列して表示される画素を、互いに交差する第１、第２の軸を有する座標系内の前記第１の軸に沿って配列し、前記表示装置において角度方向に配列して表示される画素を、前記座標系内の前記第２の軸に沿って配列した歪像画像データであって、前記表示装置において表示される各画素を、前記表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する手段と、
   前記生成した歪像画像データを出力する出力手段と、
   を含む画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記座標系は、前記第１、第２の軸が互いに直交する直交座標系である画像処理装置。
5. 請求項２から４のいずれか一項に記載の画像処理装置であって、
   前記画像生成手段は、さらに、前記表示装置の表示部内の所定の領域内に表示される部分画像データを、前記歪像画像データとは別に生成し、
   前記出力手段は、当該部分画像データと歪像画像データとを出力する画像処理装置。
6. 請求項５記載の画像処理装置であって、
   前記画像生成手段は、前記部分画像データが対応する表示部内の領域に係る指示を受け入れて、当該受け入れた指示に従って、前記部分画像データを生成する画像処理装置。
7. 矩形格子状に配列された画素により表される画像データを受け入れる手段と、
   前記受け入れた画像データの少なくとも一部を、所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データに変換する手段と、
   当該変換により得られた歪像画像データを出力する手段と、
   を含む画像処理装置。
8. 所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データを受け入れる手段と、
   前記受け入れた歪像画像データを、矩形格子状に配列された画素により表される画像データの少なくとも一部に変換する手段と、
   当該変換により得られた画像データを出力する手段と、
   を含む画像処理装置。
9. 表示部を備えた表示装置に接続される画像処理装置を、
   表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
   前記生成した歪像画像データを出力する出力手段と、
   として機能させ、
   前記歪像画像データを、前記表示装置における、前記表示部の画素配列を有する画像データに変換する処理に供するプログラム。

Images