WO2019163031A1

WO2019163031A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2019163031A1
Application number: PCT/JP2018/006283
Authority: WO
Inventors: 大介倉田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-02-21
Filing date: 2018-02-21
Publication date: 2019-08-29
Anticipated expiration: 2020-08-21
Also published as: US20210144359A1; US11202059B2; JPWO2019163031A1; JP6975309B2

Abstract

画像処理装置は、表示対象の画像データを取得し（Ｓ１０）、初期画像を生成してヘッドマウントディスプレイに出力する（Ｓ１２）。さらに水平方向に離間した２視点から見たオブジェクトの像を表す、左目用画像および右目用画像からなる基準画像を生成する（Ｓ１４）。ユーザの頭部の傾斜角が０°以外の場合（Ｓ１６のＹ）、左目用画像および右目用画像を、ビュースクリーン上で定めた一点を共通の軸として、頭部の傾斜と逆周りに回転させる（Ｓ１８）。回転の有無に関わらず画像のデータをヘッドマウントディスプレイに出力する（Ｓ２０）。表示が終了するまでＳ１４～Ｓ２０の処理を繰り返す。

Description

画像処理装置および画像処理方法

　本発明は、立体映像を表示するための画像処理装置および画像処理方法に関する。

　近年、映像を立体的に提示できる３Ｄテレビやヘッドマウントディスプレイ等の３次元表示デバイスが普及している。携帯電話や携帯ゲーム機等の携帯端末機において映像を立体視できるデバイスも開発されており、一般のユーザが立体映像を視聴する機会が増えてきている。

　３次元表示デバイスは、ユーザの左右の目に視差を有する画像を見せることで立体視を可能にする。左右の目に視差のある異なる画像を提示するため、特殊な光学メガネを利用する方式や、光学メガネを使わずにパララックスバリアやレンチキュラーレンズを用いる方式などが実用化されている。ヘッドマウントディスプレイを用いる場合は、左右の目の前に位置する画面領域のそれぞれに、左目用画像と右目用画像を個別に表示する。

　歪みのない立体映像を見せるためには、左右の目の位置に基づく正確な視差画像を生成する必要がある。またヘッドマウントディスプレイを用いて仮想世界に没入した状態を演出する場合、ユーザ頭部の動きに応じて左右の画像の視野を変化させる必要もある。このため厳密には、仮想３次元空間にオブジェクトを配置し、表示画面に対応する左右のビュースクリーンを頭部の動きに合わせて動かしたうえ、オブジェクトを透視投影するといった処理が必要になる。しかしながら画像の質や精度を追求するほど、そのような処理に要する時間が増え、表示が頭部の動きに追随しにくくなる。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイにおいて立体画像を容易かつ好適に提示させ続けられる技術を提供することにある。

　本発明のある態様は画像処理装置に関する。この画像処理装置は、ヘッドマウントディスプレイにより立体画像を提示する画像処理装置であって、水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得する基準画像取得部と、ヘッドマウントディスプレイを装着したユーザの頭部の垂直軸の、画面に平行な平面における鉛直方向からの傾斜角を取得する傾斜角取得部と、傾斜角に基づき、左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行う画像変換部と、変換処理が施された左目用画像および右目用画像のデータを、ヘッドマウントディスプレイに出力する出力部と、を備えたことを特徴とする。

　本発明の別の態様は画像処理方法に関する。この画像処理方法は、ヘッドマウントディスプレイにより立体画像を提示する画像処理装置による画像処理方法であって、水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得するステップと、ヘッドマウントディスプレイを装着したユーザの頭部の垂直軸の、画面に平行な平面における鉛直方向からの傾斜角を取得するステップと、傾斜角に基づき、左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行うステップと、変換処理が施された左目用画像および右目用画像のデータを、ヘッドマウントディスプレイに出力するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、ヘッドマウントディスプレイにおいて立体画像を容易かつ好適に提示できる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。本実施の形態における画像表示システムの構成図である。本実施の形態の画像表示システムによって実現される表示の形態を説明するための図である。本実施の形態の表示形態において、オブジェクトを立体視させるために準備する原画像について説明するための図である。本実施の形態において、準備した原画像をヘッドマウントディスプレイに表示させた状態を模式的に示す図である。本実施の形態における画像処理装置の内部回路構成を示す図である。本実施の形態における画像処理装置の機能ブロックの構成を示す図である。ヘッドマウントディスプレイを装着したユーザの頭部の傾斜に応じて、画像平面の中心で表示画像を回転させたときの変遷を模式的に示す図である。本実施の形態における、頭部の傾きに応じたヘッドマウントディスプレイの表示画面の回転の様子を模式的に示す図である。本実施の形態において、頭部の傾斜に応じて基準画像を回転させる概念を説明するための図である。本実施の形態において、共通の軸により表示画像を回転させたときの変化を模式的に示す図である。本実施の形態において、画像処理装置がユーザの頭部の傾斜に応じて適切な立体画像を生成、出力する処理手順を示すフローチャートである。

　本実施の形態は、ヘッドマウントディスプレイにおいて、オブジェクトを立体視させる技術に関する。図１は、ヘッドマウントディスプレイの外観の例を示している。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。

　図２は、本実施の形態における画像表示システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００で画像処理装置２００に接続される。画像処理装置２００は、表示画像のデータを生成し、ヘッドマウントディスプレイ１００に送信する。ここで生成される画像の内容や表示の目的は特に限定されず、動画であっても静止画であってもよいし、撮影画像であってもコンピュータグラフィクスであってもよい。

　いずれにしろ画像処理装置２００は、同じオブジェクトの像が視差を伴って表れている左目用表示画像と右目用表示画像の対のデータを生成する。そしてヘッドマウントディスプレイ１００を装着したユーザの左目および右目に対応する画面領域のそれぞれに、各画像が表示されるように制御することにより、オブジェクトが立体視されるようにする。このような立体画像表示の基本的な技術は従来知られている。

　なお画像処理装置２００は、さらにネットワークを介して図示しないサーバに接続されてもよい。その場合、サーバは、立体画像の表示を伴う電子コンテンツのデータを画像処理装置２００に提供してもよい。画像処理装置２００は画像再生装置、コンテンツ処理装置、ゲーム装置、パーソナルコンピュータ、携帯端末などのいずれでもよい。また画像処理装置２００とヘッドマウントディスプレイ１００とを一体的に構成してもよい。

　図３は、画像表示システムによって実現される表示の形態を説明するための図である。本実施の形態ではユーザ５４が、仮想３次元空間における場５２上に存在するオブジェクト５０を、ビュースクリーン５６を介して鑑賞する状態を作り出す。ここでビュースクリーン５６は、ヘッドマウントディスプレイ１００に表示される画像の視野に対応する。

　ユーザ５４がオブジェクト５０を見ながら首をかしげるなど頭部に傾きが生じた場合、表示画像を逆方向に傾けることにより、オブジェクト５０自体は固定されて見えるため、場５２に実在するかのような感覚を与えることができる。なお場５２は仮想空間の３次元の座標系を表象しているに過ぎず、形状などを限定する主旨ではない。また必ずしも表示させなくてよい。

　図４は、図３で示した表示形態において、オブジェクト５０を立体視させるために準備する原画像について説明するための図である。本実施の形態では、オブジェクト５０を表す、適切な視差を有する画像をあらかじめ準備しておく。例えば図示するように、オブジェクト５０をステレオカメラ６０で撮影することにより、左目用原画像５８ａ、右目用原画像５８ｂを取得する。ステレオカメラ６０は、所定の間隔で水平方向に配置された２つのカメラで構成される一般的な装置である。

　両カメラの光軸が水平方向に離間していることにより、同じオブジェクト５０の像が左目用原画像５８ａでは右寄りに、右目用原画像５８ｂでは左寄りに表れる。例えばステレオカメラ６０の両カメラの間隔を、人の両目の瞳孔の間隔と略同一とすれば、左目用原画像５８ａと右目用原画像５８ｂに表れる像は、実際にオブジェクト５０を見たときの、左目および右目における結像状態と同等となる。この場合、左右の目による総合的な視野は、左目用原画像５８ａと右目用原画像５８ｂを合わせた領域であり、それが図３のビュースクリーン５６に対応する。

　なお上述のとおり原画像は撮影されたものに限らず、コンピュータグラフィックスでもよいし、撮影画像上にコンピュータグラフィックスを描画したものでもよい。また静止画でも動画でもよいし、ユーザの声や動きなど何らかの入力情報に対し、オブジェクトがインタラクションするような画像でもよい。いずれにしろ図示するように、所定距離を有する左右の視点から共通の空間を見た状態を表す一対の画像を準備する。これを表示に用いることにより、３次元空間におけるオブジェクト５０をビュースクリーンに透視投影するといった処理をその場で繰り返すことによる処理の負荷を軽減できる。

　図５は、準備した原画像をヘッドマウントディスプレイ１００に表示させた状態を模式的に示している。ヘッドマウントディスプレイ１００の画面６２において、ユーザの左目に正対する左側の領域には左目用表示画像６４ａを、右目に正対する右側の領域には右目用表示画像６４ｂを、それぞれ表示する。左目用表示画像６４ａおよび右目用表示画像６４ｂにおけるオブジェクトの像の位置を、各画像の左端からの距離ｘ_Ｌ、ｘ_Ｒとして表すと、両者にはｘ_Ｌ－ｘ_Ｒ＝Δｘの視差が生じている。この視差Δｘにより、それを両眼で見たユーザにはオブジェクトが立体的に視認される。

　厳密には適正な視差Δｘは、左右の瞳孔の間隔と仮想空間におけるオブジェクトまでの距離によって決定される。そのため上述のとおり、ステレオカメラ６０の左右のカメラにより構成される各視錐台が、仮想空間におけるユーザの視点により構成される左右の視錐台とおよそ一致するような条件で原画像を取得することにより、左目用表示画像６４ａ、右目用表示画像６４ｂとして、左目用原画像５８ａ、右目用原画像５８ｂを用いることができる。

　なおヘッドマウントディスプレイ１００の画面６２とユーザの目の間には、表示された画像が広い視野で視認されるようにレンズを配置してよい。この場合、実際の表示画像は、レンズを介して見た時に歪みのない画像が視認されるように、レンズ歪みの逆補正を施しておく。当該補正は一般的な技術であるため、以後、説明は省略する。また左右の表示画像の出力方式は図示するものに限らず、パララックスバリアやレンチキュラーレンズ方式などを採用してもよい。

　このような表示形態において、ヘッドマウントディスプレイ１００を装着したユーザが首をかしげるなどして頭部の垂直軸に傾きが生じた場合、画面のフレームは傾いても仮想世界におけるオブジェクト５０の像自体は傾かないようにする必要がある。頭部を意図的に傾けずとも、無意識な微動に対し追随するように像が動いては、オブジェクトの実在感が損なわれる。そこで画像処理装置２００は、ヘッドマウントディスプレイ１００に設けられたモーションセンサの計測値を取得し、頭部の傾きに対応するように表示画像に変換処理を施したうえでヘッドマウントディスプレイ１００に送信する。

　図６は画像処理装置２００の内部回路構成を示している。画像処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

　入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図７は、本実施の形態における画像処理装置２００の機能ブロックの構成を示している。なお同図で示した機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像処理装置２００の機能のうち少なくとも一部を、ネットワークを介して画像処理装置２００に接続されたサーバに実装してもよい。また画像処理装置２００を、ゲーム機やパーソナルコンピュータなどの情報処理装置の一部としてもよい。

　同図は画像処理装置２００が有する機能のうち、主に表示画像を生成する機能に着目したブロック図を描いている。これらの機能ブロックは、ハードウェア的には、図６に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像処理装置２００は、ユーザ操作に係る情報を取得する入力情報取得部２５０、ユーザの頭部の傾斜角を取得する傾斜角取得部２５６、頭部に傾斜のない状態に表示されるべき基準画像のデータを生成する基準画像取得部２５４、基準画像のデータを生成するのに用いる各種データを格納する画像データ記憶部２５２、頭部の傾斜に応じて基準画像に変換処理を施す画像変換部２５８、顔面の所定の部位の位置関係に係る情報を記憶する顔面情報記憶部２６０、および、表示画像のデータを出力する出力部２６２を含む。

　入力情報取得部２５０は、ヘッドマウントディスプレイ１００あるいは図示しない入力装置から、ユーザ操作に係る情報を取得する。例えばヘッドマウントディスプレイ１００にアイコンを表示させ、視線の移動による選択入力を実現する場合、入力情報取得部２５０はヘッドマウントディスプレイ１００のモーションセンサによる加速度、角速度を取得することにより視線の方向を特定する。入力情報取得部２５０はそのほか、一般的なコントローラ、撮像装置、マイクロフォンなどから適宜情報を取得することにより、ユーザ操作の内容を特定してもよい。

　基準画像取得部２５４は、ユーザ操作に従い基準画像を取得する。ここで基準画像とは図５で例示したように、水平方向に視差を有する一対の表示画像を左右に並べた画像である。すなわち基準画像取得部２５４は、水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得する。ユーザの頭部が直立している状態では、基準画像をそのまま表示させることにより、オブジェクトが本来の姿勢で立体的に視認される。画像データ記憶部２５２には、基準画像取得部２５４が基準画像の取得に用いるデータを格納しておく。本実施の形態では、表示する画像のフォーマットや種類は限定されない。

　例えばあらかじめ撮影または描画しておいた静止画や動画を圧縮符号化したデータを画像データ記憶部２５２に格納しておき、基準画像取得部２５４はそれを復号伸張するのみでもよい。あるいは画像データ記憶部２５２には、画像の描画規則やそれに用いる基本的な要素画像のデータを格納しておき、ユーザ操作などに応じて基準画像取得部２５４がその場で生成してもよい。左右の撮影画像のそれぞれに、仮想オブジェクトを重畳させて描画してもよい。画像データは画像データ記憶部２５２に格納しておくほか、上述のとおりネットワークを介して接続したサーバから取得してもよいし、図示しないステレオカメラがその場で撮影したデータを、入力情報取得部２５０を介して取得してもよい。

　傾斜角取得部２５６は、ヘッドマウントディスプレイ１００が備える加速度センサの計測値に基づき、ユーザの頭部の傾斜角を取得する。ここで頭部の傾斜角とは、画面と平行な面における、鉛直方向に対する頭部の垂直軸の角度とする。頭部が直立した状態では傾斜角は０°であり、傾斜角が増加するほど左右の瞳孔をつないだ線が水平から乖離していくため、視差も当該線の方向に発生させる必要がある。画像変換部２５８は頭部の傾斜角に応じて基準画像を変換する。基本的には頭部の傾斜と反対方向に、基準画像を構成する左目用表示画像、右目用表示画像をそれぞれ回転させることにより、ユーザから見てオブジェクトが固定されているようにする。

　ここで、視差を有する左目用表示画像と右目用表示画像を、頭部が傾斜した状態でも適正に立体視できるようにするため、両表示画像の回転軸を適切に設定する。すなわち画像変換部２５８は、頭部の傾斜角に基づき、左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行う。具体例は後に述べる。顔面情報記憶部２６０は回転軸の設定に用いる、ユーザごとの顔に係る情報（顔面の部位の位置関係に係る情報）を格納する。ただし平均顔を想定して回転軸を設定する場合、顔面情報記憶部２６０は省いてよい。また頭部の傾斜角度が０°の場合、画像変換部２５８は変換処理を実施しなくてよい。

　出力部２６２は、頭部の傾斜角に応じて変換処理が施された表示画像のデータを画像変換部２５８から取得し、ヘッドマウントディスプレイ１００に送信する。この際、上述のとおりレンズ歪みを考慮した補正を実施してもよい。また動画像を表示させるときは当然、所定のレートで生成された表示画像のデータを順次、出力する。

　次に本実施の形態の効果を明らかにするため、頭部の傾斜に応じて基準画像を構成する左右の表示画像を、単純に画像中心で回転させた場合の問題点を説明する。図８は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の傾斜に応じて、画像平面の中心で表示画像を回転させたときの変遷を模式的に示している。同図右側には、ユーザ５４の頭部の傾斜を、背後からの様子で模式的に示している。

　上段の（ａ）はユーザの頭部が直立している、すなわち傾斜角が０°の状態である。この場合、表示画像は基準画像そのものであり、原画像と同等の左目用表示画像６４ａと右目用表示画像６４ｂを左右に並べればよい。ここで左目用表示画像６４ａと右目用表示画像６４ｂの各中心を、それぞれの画像平面の原点Ｏａ、Ｏｂとする。上述のとおり左右の表示画像には視差があるため、左目用表示画像６４ａの原点Ｏａはオブジェクトの像の左より、右目用表示画像６４ｂの原点Ｏｂはオブジェクトの像の右寄りに位置する。

　中段の（ｂ）は、ユーザ５４が頭部を４５°右側に傾けた状態を示している。これに対応するように左目用表示画像６６ａ、右目用表示画像６６ｂを、原点Ｏａ、Ｏｂを中心として逆方向に４５°回転させると、オブジェクトの像は直立したままの状態として視認される。一方、このようにすると、図示するように左目用表示画像６６ａではオブジェクトの像が上寄りに、右目用表示画像６６ｂではオブジェクトの像が下よりに表示される結果、ユーザから見て縦方向にΔｙ１のずれが生じてしまう。下段の（ｃ）のようにさらに頭部を傾け、傾斜角が９０°になったときは、縦方向のずれΔｙ２がさらに大きくなる。

　つまり視差Δｘのオブジェクトを観測するとき、図示するような画像の回転によれば、頭部の傾きθに対し、左右の表示画像におけるオブジェクトの像が縦方向にΔｘｓｉｎθだけずれることになる。これは頭部に傾きを生じせしめる実際の回転軸を考慮せずに、表示画像のローカルな座標系のみを考慮して独立に回転させていることに起因する。このような操作を、画像上の各画素の位置座標の変換式として表すと次のようになる。
　Ｐ’＝ＰＲ（θ）　　　（式１）

　ここでＰは回転前の基準画像における各画素の位置座標、Ｐ’は回転後の位置座標、Ｒ（θ）は頭部の傾斜角を－θとした場合の画像原点周りの回転行列である。この変換式により得られた左右の表示画像を見た場合、ユーザ５４には、オブジェクトが上下にぶれた２重の像として視認される。その結果、オブジェクトの立体感が損なわれるほか、映像酔いの原因にもなり得る。そこで本実施の形態では頭部の実際の回転軸を加味し、左右の表示画像に共通の回転軸を設定する。

　図９は、頭部の傾きに応じたヘッドマウントディスプレイ１００の表示画面の回転の様子を模式的に示している。同図（ａ）、（ｂ）、（ｃ）はそれぞれユーザの頭部の顔面側を示しており、ヘッドマウントディスプレイ１００の画面における、左右の画像の表示領域の対７０ａ、７０ｂ、７０ｃを矩形で表している。図示するように表示領域の対７０ａ、７０ｂ、７０ｃは、ユーザの両眼に正対するように位置する。図８で示したのと同様、頭部の傾斜角は、（ａ）が０°、（ｂ）が４５°、（ｃ）が９０°である。

　図示するように左右の画像の表示領域の対７０ａ、７０ｂ、７０ｃは、ユーザの顔中心などを共通の軸として公転する。この特性を考慮して、表示領域の対７０ａ、７０ｂ、７０ｃに表す画像を、対応する軸を中心に逆方向に回転させれば、頭部の傾斜を正確に反映させつつオブジェクトが固定された画像を表示できる。なお図８で示した態様は、表示領域の対７０ａ、７０ｂ、７０ｃのそれぞれを自転させた状態に対応し、実際の表示領域の回転を反映していないことがわかる。

　図示したような表示領域の回転に対し、基準画像を相対的に逆方向に回転させるため、次の変換式を導入する。
　Ｐ_ｌ’＝Ｐ_ｌＴ_ｌ（ｖ_ｌ）Ｒ（θ）Ｔ_ｌ ^－１（ｖ_ｌ）
　Ｐ_ｒ’＝Ｐ_ｒＴ_ｒ（ｖ_ｒ）Ｒ（θ）Ｔ_ｒ ^－１（ｖ_ｒ）　　　　（式２）
ここでＰ_ｌ、Ｐ_ｒはそれぞれ、回転前の基準画像における左目用表示画像、右目用表示画像の各画素の位置座標、Ｐ_ｌ’、Ｐ_ｒ’はそれぞれ、回転後の左目用表示画像、右目用表示画像の各画素の位置座標である。またＲ（θ）は頭部の傾斜角を－θとした場合の回転軸周りの回転行列、ｖ_ｌ、ｖ_ｒはそれぞれ、図示するように左目、右目の瞳孔から回転軸までのベクトル、Ｔ（ｖ_ｌ）、Ｔ（ｖ_ｒ）はそれぞれ、ベクトルｖ_ｌ、ｖ_ｒに対応する平行移動行列である。

　なお画像の回転軸を決定づける頭部の回転軸とは、実際の頭部の回転を厳密に測定する意図ではなく、鼻の頭など顔面の中心近傍の所定の箇所を基準点として位置決めして差し支えない。あるいは両眼の瞳孔の中点で近似することにより演算を簡略化してもよい。いずれにしろ、顔面上の基準位置によって、その先に存在するオブジェクトの見え方を良好にさせる効果があるため、顔面の垂直方向の中心線上の一点を選択することにより、ユーザと正対しているオブジェクトを適切に視認させることができる。

　瞳孔からそのような基準点へのベクトルｖ_ｌ、ｖ_ｒは、厳密には人によって様々となる。したがって初期のキャリブレーション処理によりユーザごとに測定したデータを顔面情報記憶部２６０に格納しておき、運用時に読み出して式２を調整することにより、人によらず安定的な表示を実現できる。あるいは年代や性別などの属性に対応づけて一般的な値を格納しておき、ユーザのプロフィールに応じて対応するデータを読み出してもよい。または上述のとおり、平均的な顔におけるデータを唯一、設定しておいてもよい。

　図１０は、頭部の傾斜に応じて共通の軸により基準画像を回転させる概念を説明するための図である。同図は仮想空間におけるユーザの両眼７４とビュースクリーンの関係を模式的に示している。図４で説明したように、ビュースクリーンは左目用表示画像と右目用表示画像の視野の和集合である。傾斜角が０°の場合の左目用表示画像６４ａ、右目用表示画像６４ｂはこれまで述べたとおりであり、これらが基準画像を構成する。このとき両眼の視線がビュースクリーンと交わる点は、左右の表示画像の中心である。

　一方、図９で示したようにヘッドマウントディスプレイ１００の左右の表示領域の回転に対応するように表示画像を回転させるには、同図太線矢印で示したように、頭部の回転軸、すなわち顔中心など顔面の所定の位置からビュースクリーンへの垂線の足の位置（同図では点７６）を画像の回転軸とすればよい。各表示画像の中心から点７６までのベクトルは、顔面における両眼の瞳孔から顔中心など頭部の回転軸までのベクトルｖ_ｌ、ｖ_ｒと同一である。結果として式２により適正な変換を実現できる。

　図１１は、式２により表示画像を回転させたときの変化を模式的に示している。なおここではわかりやすさのため、頭部の回転軸を両眼の中点で近似している。上段の（ａ）は、元の基準画像における左目用表示画像６４ａ、右目用表示画像６４ｂを示している。まず式２の移動行列Ｔ_ｌ（ｖ_ｌ）、Ｔ_ｒ（ｖ_ｒ）により、両目の中点に対応するビュースクリーン上の位置Ｏａ’、Ｏｂ’が、各画像平面の原点となるように画像を平行移動する。位置Ｏａ’、Ｏｂ’は図１０の点７６に対応する。このときの各画像の水平方向の移動量は視差Δｘの１／２となる。

　そのうえで式２の回転行列Ｒ（θ）により、下段の（ｂ）に示すように、頭部の傾斜角に対応する逆方向の角度θだけ各表示画像７８ａ、７８ｂを回転させる。図示する例はθ＝９０°としている。さらに移動行列Ｔ_ｌ（ｖ_ｌ）、Ｔ_ｒ（ｖ_ｒ）の逆行列Ｔ_ｒ ^－１（ｖ_ｒ）、Ｔ_ｌ ^－１（ｖ_ｌ）により、（ａ）で平行移動させた分を元に戻せば、適切な視差を有する表示画像が得られる。また図から明らかなように、共通の軸で左右の表示画像を回転させたことにより、オブジェクトの像に図８で示したような縦方向のずれが生じない。

　結果として、頭部の傾斜角によらずオブジェクトを適切に立体視させ続けることができる。なお図１１は説明のために段階的な操作を表したが、実際には式２によって、画素ごとに変換後の位置座標を直接導出できる。また（ｂ）では回転の様子を表すため、（ａ）に示した画像の枠を踏襲する枠を示しているが、実際には適宜トリミングしヘッドマウントディスプレイの表示領域に収まるように表示画像を生成する。

　これまで述べた例は、仮想空間において顔中心からビュースクリーンへの垂線の足を画像の回転軸とすることで、ユーザと正対しているオブジェクトの視差を一旦解消したうえで回転させていると捉えることができる。一方、仮想空間において異なる距離に別のオブジェクトが存在する場合、視差が異なるため縦方向の像のずれが解消されないことが考えられる。しかしながらヘッドマウントディスプレイの場合、ユーザが注目しているオブジェクトが顔中心に正対している可能性が高いため、当該オブジェクトを基準として画像全体を回転させることにより、認識上、最も容易に高い効果が得られる。

　なお場合によっては、オブジェクトごとに回転軸の位置を切り替えたり、平行移動の操作を省略したりすることも考えられる。例えば仮想空間において遠くにいるオブジェクトは、元々視差が小さいため、手前にいるオブジェクトを基準とした平行移動により却って回転後の像がずれてしまうことが考えられる。この場合、遠くにいるオブジェクトについては式１による変換を実施することも考えられる。すなわちユーザに正対しているオブジェクトとの奥行き方向の距離の差にしきい値を設け、それより大きい差を有するオブジェクトについては回転操作の変換式を切り替えてもよい。

　次に、これまで述べた構成によって実現される画像処理装置２００の動作を説明する。図１２は、本実施の形態において、画像処理装置がユーザの頭部の傾斜に応じて適切な立体画像を生成、出力する処理手順を示すフローチャートである。このフローチャートは、ヘッドマウントディスプレイを装着したユーザによって電子コンテンツが選択されるなどし、入力情報取得部２５０が表示対象の画像データに係る情報を取得した状態で開始される。また傾斜角取得部２５６は随時、ヘッドマウントディスプレイから加速度センサの計測値を受信し、頭部の傾斜角度を取得しているとする。

　この状態において基準画像取得部２５４は、表示対象の画像のデータを取得する（Ｓ１０）。上述のとおりこの処理は、圧縮符号化された画像のデータを画像データ記憶部２５２から読み出す場合のほか、ゲームや情報処理など画像表示を伴うプログラムを読み出して処理する場合なども含まれる。また画像データを、ネットワークを介してサーバから取得してもよい。次に基準画像取得部２５４は、取得した画像データを用いて初期画像を生成し、ヘッドマウントディスプレイ１００に出力する（Ｓ１２）。

　さらに基準画像取得部２５４は、取得した画像データを用いて、後続フレームの基準画像を生成する（Ｓ１４）。基準画像には左目用表示画像、右目用表示画像が含まれる。なお表示画像が静止画の場合などは適宜Ｓ１４の処理を省略する。傾斜角取得部２５６が取得する頭部の傾斜角度が０°の場合（Ｓ１６のＮ）、画像変換部２５８は回転処理を行わず、出力部２６２は生成された基準画像のデータをヘッドマウントディスプレイ１００に出力する（Ｓ２０）。頭部の傾斜角度が０°以外の場合（Ｓ１６のＹ）、画像変換部２５８は基準画像の左右の画像をそれぞれ回転させる（Ｓ１８）。

　すなわち両眼の瞳孔から顔中心など顔の所定の位置までのベクトルを用いて、式２により各画素の位置を変換する。ユーザ個人の顔の造作を反映させる場合、画像変換部２５８は顔面情報記憶部２６０から必要なデータを読み出したうえで変換式を生成する。そして出力部２６２は、回転後の画像のデータをヘッドマウントディスプレイ１００に出力する（Ｓ２０）。ユーザ操作や動画、ゲームの終了などにより表示処理を終了させる必要がなければ（Ｓ２２のＮ）、Ｓ１４からＳ２０の処理を繰り返す。表示処理を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２２のＹ）。

　以上述べた本実施の形態によれば、視差を有する左目用画像、右目用画像をヘッドマウントディスプレイの左右の画面領域に表示させることによりオブジェクトを立体視させる技術において、ユーザの頭部の傾斜角に応じて表示画像を制御する。具体的には、画面と平行な面における頭部の垂直軸の、鉛直方向からの角度に応じて、画像を逆周りに回転させる。この際、頭部、ひいてはディスプレイの実際の傾きを生じせしめる回転軸を考慮し、左右の表示画像に共通の回転軸を一つ定める。例えば仮想空間において顔の中心または両眼の中点からの垂線がビュースクリーンと交差する点を軸とする。

　これを実現するため、ディスプレイにおける左右の画像の表示領域の中心が当該軸の位置になるように表示画像をずらし、頭部の傾斜角に応じて回転させたうえ、ずらした分だけ元に戻す、といった操作を計算上で実施する。これにより、オブジェクトの像が縦方向にずれることなく適切な視差で表示できるため、オブジェクトの立体視を違和感なく継続できる。また、ユーザ個々の顔の大きさや瞳孔から顔中心までの距離を加味し、それぞれの顔に係るデータを変換処理に反映させることにより、より厳密な表示画像を生成できる。

　回転処理は画像平面に対する平易な演算で実現できるため、仮想３次元空間においてオブジェクトの位置を設定し、ビュースクリーンに透視投影するといった処理と比較し格段に軽い負荷で、ユーザの頭部の動きを許容した立体画像表現を実現できる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　１００　ヘッドマウントディスプレイ、　２００　画像処理装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２５０　入力情報取得部、　２５２　画像データ記憶部、　２５４　基準画像取得部、　２５６　傾斜角取得部、　２５８　画像変換部、　２６０　顔面情報記憶部、　２６２　出力部。

　以上のように本発明は、コンテンツ処理装置、ゲーム装置、画像表示装置、画像再生装置、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。

Claims

　ヘッドマウントディスプレイにより立体画像を提示する画像処理装置であって、
　水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得する基準画像取得部と、
　前記ヘッドマウントディスプレイを装着したユーザの頭部の垂直軸の、画面に平行な平面における鉛直方向からの傾斜角を取得する傾斜角取得部と、
　前記傾斜角に基づき、前記左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行う画像変換部と、
　前記変換処理が施された前記左目用画像および右目用画像のデータを、前記ヘッドマウントディスプレイに出力する出力部と、
　を備えたことを特徴とする画像処理装置。
　前記画像変換部は、ユーザの顔面上の基準位置から、仮想空間において前記左目用画像および右目用画像が規定されるビュースクリーンへの垂線の足を前記共通の軸として、画像を回転させることを特徴とする請求項１に記載の画像処理装置。
　前記画像変換部は、顔の中心または両眼の中点を前記基準位置とすることを特徴とする請求項２に記載の画像処理装置。
　前記画像変換部は、Ｐ_ｌ、Ｐ_ｒをそれぞれ、回転前の前記左目用画像および右目用画像の各画素の位置座標、Ｐ_ｌ’、Ｐ_ｒ’をそれぞれ、回転後の前記左目用画像および右目用画像の各画素の位置座標、Ｒ（θ）を、前記傾斜角を－θとした場合の、前記共通の軸周りの回転行列、ｖ_ｌ、ｖ_ｒをそれぞれ、ユーザの両眼の瞳孔から前記基準位置までのベクトル、Ｔ（ｖ_ｌ）、Ｔ（ｖ_ｒ）をそれぞれ、ベクトルｖ_ｌ、ｖ_ｒに対応する平行移動行列としたとき、
　Ｐ_ｌ’＝Ｐ_ｌＴ_ｌ（ｖ_ｌ）Ｒ（θ）Ｔ_ｌ ^－１（ｖ_ｌ）
　Ｐ_ｒ’＝Ｐ_ｒＴ_ｒ（ｖ_ｒ）Ｒ（θ）Ｔ_ｒ ^－１（ｖ_ｒ）
なる変換式により、前記変換処理を実施することを特徴とする請求項２または３に記載の画像処理装置。
　顔面の部位の位置関係に係る情報をユーザごとに対応づけて格納する顔面情報記憶部をさらに備え、
　前記画像変換部は、前記ヘッドマウントディスプレイを装着したユーザに対応する情報を前記顔面情報記憶部から読み出し、前記左目用画像および右目用画像における前記共通の軸の位置を決定することを特徴とする請求項２から４のいずれかに記載の画像処理装置。
　前記画像変換部は、前記ビュースクリーンにおいて前記垂線の足に表されるオブジェクトと異なるオブジェクトの、仮想空間における奥行き方向の距離に応じて、当該オブジェクトの像の回転規則を切り替えることを特徴とする請求項２から５のいずれかに記載の画像処理装置。
　ヘッドマウントディスプレイにより立体画像を提示する画像処理装置による画像処理方法であって、
　水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得するステップと、
　前記ヘッドマウントディスプレイを装着したユーザの頭部の垂直軸の、画面に平行な平面における鉛直方向からの傾斜角を取得するステップと、
　前記傾斜角に基づき、前記左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行うステップと、
　前記変換処理が施された前記左目用画像および右目用画像のデータを、前記ヘッドマウントディスプレイに出力するステップと、
　を含むことを特徴とする画像処理方法。
　ヘッドマウントディスプレイにより立体画像を提示するコンピュータに、
　水平方向に離間した２視点から見たオブジェクトを表す、左目用画像および右目用画像の対からなる基準画像を取得する機能と、
　前記ヘッドマウントディスプレイを装着したユーザの頭部の垂直軸の、画面に平行な平面における鉛直方向からの傾斜角を取得する機能と、
　前記傾斜角に基づき、前記左目用画像および右目用画像を、オブジェクトを含む仮想空間における共通の軸周りに回転させる変換処理を行う機能と、
　前記変換処理が施された前記左目用画像および右目用画像のデータを、前記ヘッドマウントディスプレイに出力する機能と、
　を実現させることを特徴とするコンピュータプログラム。