JP7767355B2 - 情報処理装置制御方法、およびプログラム - Google Patents

Description

本開示は、仮想視点画像におけるカメラパスを生成する情報処理装置に関する。

近年、異なる位置に配置された複数のカメラにより被写体を撮影して得られた複数画像から、ユーザが指定した仮想視点からの見えを表す画像を生成することができる画像処理システムがある。以下、ユーザが指定した仮想視点からの見えを表す画像を仮想視点画像という。このような画像処理システムは、人物などの撮影対象の形状を推定して被写体モデルを作成し、視点を任意に変更可能な仮想視点画像を生成する。仮想視点画像では、仮想カメラの位置や方向を変化させながら連続で仮想視点画像を生成することで、仮想視点画像を生成することも可能である。

このような仮想視点画像は、特に競技スポーツの中継放送（いわゆるスポーツ中継）等において、より臨場感の高い映像表現のために使用されている。スポーツ中継では、試合中の印象的なシーンのリプレイとして、仮想視点画像によるクリップ映像を生成することがある。仮想視点画像を用いたクリップ映像を生成するためのカメラパスを生成する手法の一つに、キーフレーム方式がある。これは、ユーザが任意の時刻・位置・姿勢の仮想カメラパラメータをキーフレームとして複数登録し、それらを予め決められた方法で補間することでカメラパスを生成するという手法である。

特許文献１では、指定したキーフレーム間をスプライン補間により補間してカメラパスを生成することが記載されている。

特開２００７－２５９７９号公報

しかしながら、特許文献１の手法では、プリセット位置に移動する場合に、冗長なカメラパスを生成してしまうことがある。

本開示では、適切なカメラパスを生成することを目的とする。

情報処理装置は、ユーザ操作を取得する取得手段と、複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置及び姿勢を、前記取得手段によって取得したユーザ操作によって設定する設定手段と、複数の仮想カメラの位置および姿勢からカメラパスを生成する生成手段とを有し、前記生成手段は、前記設定手段によって設定された複数の仮想カメラの位置および姿勢を用いてカメラパスを生成する場合と、現在の仮想カメラの位置および姿勢、並びに仮想カメラのプリセット位置および姿勢を用いてカメラパスを生成する場合とで、カメラパスを生成する手順を異ならせ、前記生成手段は、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合よりも、前記プリセット位置を用いてカメラパスを生成する場合のほうが経路が短くなるようにカメラパスを生成する。

本発明によれば、適切なカメラパスを生成できる。

２点間の仮想カメラを補間する例を示す図 画像処理システム２０の全体構成を説明する図 本発明の第１の実施形態における図２に記載の情報処理装置２０３について説明する図 情報処理装置２０３のハードウェア構成について説明する図 本発明の第１の実施形態における情報処理装置２０３の機能構成例を示す図 情報処理装置２０３の操縦モードとその状態遷移について説明する図 仮想カメラのキーフレームとその補間について説明する図 プリセット位置へ移動する仮想カメラの経路について説明する図 第１の実施形態におけるクリップ映像用のカメラパスを生成する処理フローを示す図 第１の実施形態におけるクリップ映像を再生する処理フローを示す図 第１の実施形態におけるプリセット移動ボタンを押下したときの処理フローを示す図 第１の実施形態におけるプリセットへ移動する処理フローを示す図 第２の実施形態における図２に記載の情報処理装置２０３のＧＵＩ３０８について説明する図 第２の実施形態における情報処理装置２０３の機能構成例を示す図 第２の実施形態におけるクリップ映像用のカメラパスを生成する処理フローを示す図 第２の実施形態におけるプリセット移動ボタンを押下したときの処理フローを示す図

［第１の実施形態］
第１の実施形態について詳細に説明する。本実施形態では、画像処理システムは、仮想視点画像におけるキーフレーム間の補間手順と、仮想視点の現在位置から仮想カメラのプリセット位置への補間手順が予め決まっており、決められた補間手順に従ってカメラパスを生成する。

ここで、仮想視点とは、仮想空間の三次元空間上におけるユーザにより指定される視点である。また、以下の説明においては、説明の便宜のため、仮想視点の位置に仮想的に配置されるカメラ（仮想カメラ）を使用して説明を行う。すなわち、仮想視点の位置及び仮想視点からの視線方向は、それぞれ、仮想カメラの位置及び姿勢に対応する。また、仮想視点からの視界（視野）は、仮想カメラの画角に対応する。この仮想視点はユーザが自由に（任意に）指定可能である。

また、本実施形態における仮想視点画像は、ユーザが自由に（任意に）指定した視点に対応する映像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明する。仮想視点画像は、仮想カメラにより撮像される映像であるといえる。

本実施形態における画像処理システムは、例えば放送カメラ等、実際に撮像を行うための撮像装置（以降、実カメラという）の撮像映像（以降、実カメラ映像ともいう）と、仮想視点に対応する仮想視点画像とを切り替えて出力する機能を有する。

図２は、仮想視点画像を生成する画像処理システム２０の全体構成を説明する図である。画像処理システム２０は、撮影システム２０１、画像処理装置２０２、情報処理装置２０３から構成される。

撮影システム２０１は、複数のデジタルカメラ（撮像装置）を、撮影領域を取り囲むように（周囲に）それぞれ異なる位置に設置し、時刻同期して撮影する。多視点から同期撮影した複数画像を、画像処理装置２０２に送信する。この時、送信される複数画像は、例えばＬＡＮケーブル等の通信媒体を介して伝送される。また、撮影領域は、仮想視点画像を制作するための撮影が行われる撮影スタジオや、スポーツ競技が行われる競技場や演技が行われる舞台などである。

画像処理装置２０２は、複数カメラから同期撮影した複数画像を元に、被写体の三次元形状データを生成する。三次元形状データの生成は、例えばＶｉｓｕａｌ Ｈｕｌｌ手法が用いられる。この処理の結果、被写体の３次元形状を表現した３Ｄ点群（３次元座標を持つ点の集合）が得られる。なお、撮影画像から被写体の３次元形状を導出する方法はこれに限らない。この三次元形状データと、指定した背景モデルから、仮想カメラに対応した仮想視点画像を生成する。背景モデルは、例えば撮影システム２０１が有する物理カメラ群が設置されている競技場などの、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）モデルである。この背景モデルは、予め作成されて画像処理装置２０２内に保存されている（例えば、後述する図４のＲＯＭ４０３に保存されている）。また、仮想視点画像の生成方式としては、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を用いることができる。この処理により、仮想カメラの位置・方向から見た三次元形状データの画像を生成できる。なお、仮想視点画像の生成方法はこれに限らない。仮想カメラの位置や方向などの情報は、後述する情報処理装置２０３が決定するカメラパラメータによって表現される。なお、本実施形態では、画像処理装置２０２が被写体の三次元形状データの生成および仮想視点画像の生成の両方を行うが、それぞれのデータの生成は複数の画像処理装置で分担されてもよい。

図３は情報処理装置２０３の例を説明する図である。情報処理装置２０３には、仮想カメラを制御するためのジョイスティック３０１ａおよび３０１ｂが接続されている。ユーザは、ジョイスティック３０１ａおよびジョイスティック３０１ｂを操作することによって仮想カメラの視点を表すカメラパスを設定（決定）する。本実施形態では、ジョイスティック３０１ａの複数の操作部材には、仮想空間における三次元座標での仮想カメラの位置を示すパラメータ（ｘ、ｙ、ｚ）を制御するためのコマンドが割り当てられている。また、ジョイスティック３０１ｂの複数の操作部材には、仮想空間における仮想カメラの姿勢を表すパン、チルト、ロール方向のパラメータ（Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ）を制御するためのコマンドが割り当てられている。

また、情報処理装置２０３には、キーボード３０２が接続されている。キーボード３０２のそれぞれのキーには、仮想視点画像を生成するためのコマンドが割り当てられている。例えば、キー３０３にはキーフレームを登録するためのコマンド、キー３０４には登録したキーフレームからクリップ映像用のカメラパスを生成するためのコマンドが割り当てられている。また、キー３０５にはプリセットを登録するためのコマンド、キー３０６にはクリップ映像の再生をキャンセルするコマンドが割り当てられている。

なお、情報処理装置２０３に格納されている仮想視点画像を生成するためのアプリケーションは、コマンドをジョイスティック３０１ａ、ジョイスティック３０１ｂ、およびキーボード３０２のうち、任意の操作部材に任意のコマンドを割り当てる機能を有する。ユーザは、その機能を用いて任意のコマンドを任意の操作部材に設定することができる。

さらに、本実施形態では、情報処理装置２０３は２つ以上の表示部が接続されている。本実施形態では、情報処理装置２０３は、画像処理装置２０２で生成された仮想視点画像を画像処理装置２０２から取得し、表示部３０７に表示する。また、情報処理装置２０３は、仮想視点画像のクリップ映像を生成するためのカメラパスや仮想カメラのパラメータ（プリセットなど）等の情報を表示するＧＵＩ３０８を表示部３０９に表示する。ＧＵＩ３０８は、仮想視点画像を生成するためのアプリケーションのＧＵＩに相当する。

図３（ｂ）を用いて、表示部３０９に表示されるＧＵＩ３０８の詳細について説明する。ＧＵＩ３０８には、クリップリスト３１０、キーフレームリスト３１１、プリセットリスト３１２が含まれる。

最初に、キーフレームの登録・クリップ映像の生成・再生時のＧＵＩ３０８上での操作方法について説明する。ユーザは、仮想視点画像の任意の時刻（タイムコード）において、仮想カメラの位置および姿勢を設定し、キー３０３を押下する。情報処理装置２０３は、その操作を受けて、キーフレームリスト３１１にキーフレームＩＤ、仮想カメラのカメラパラメータおよびタイムコードの情報を持つキーフレームが追加する。キーフレームＩＤは、ユーザに追加された順に連番で付与される。ただし、ユーザはキーフレームＩＤの順番を任意に変更できる。キーフレームリスト３１１にキーフレームが１つ以上設定された状態で、ユーザがキー３０４を押下すると、情報処理装置２０３は、キーフレームリスト３１１に含まれるキーフレームからカメラパスを生成する。本実施形態では、情報処理装置２０３は、を、キーフレームＩＤの順番に、仮想カメラのカメラパラメータを用いて仮想カメラの位置・姿勢を補間することで、カメラパスを生成する。この生成されたカメラパスはクリップリスト３１０に、生成されるたびに追加される。例えばユーザがクリップリスト３１０の任意のカメラパスをクリックする（選択する）ことで、クリックしたカメラパスを適応した仮想視点画像（クリップ映像）が表示部３０７に表示される。

次に、ＧＵＩ３０８での、プリセットの登録方法およびプリセットの適用方法について説明する。まずプリセットの登録方法について説明する。ユーザが任意の位置および姿勢に仮想カメラを設定し、キー３０５を押下すると、プリセットリスト３１２にプリセットＩＤ、および仮想カメラのカメラパラメータの情報を持つプリセットが追加される。このこれによって、ユーザは所定の位置・姿勢の仮想カメラの配置を情報処理装置２０３に記録できる。次にプリセットの適用方法について説明する。ユーザがプリセットリスト３１２の任意のプリセットをクリックする（選択する）ことで、仮想カメラの現在の状態（位置・姿勢）からプリセットの状態に遷移する。本実施形態では、情報処理装置２０３は、仮想カメラの現在の状態（位置・姿勢）からプリセットの状態に遷移するためのカメラパスを生成し、そのカメラパスに従って仮想カメラの位置・姿勢を変更する（仮想カメラを移動する）。

なお、情報処理装置２０３は、キーボード３０２の任意のキーにプリセットを割り当てることができる。この場合、例えば、ユーザが仮想カメラのプリセット位置が割り当てられたキーを押下したときに、情報処理装置２０３は、押下されたキーと対応するプリセットへ仮想カメラを移動させる。

そして、情報処理装置２０３は、ユーザの操作によって選択された仮想カメラのカメラパスを画像処理装置２０２へ送信する。画像処理装置２０２は、情報処理装置２０３から受信したカメラパスに基づいて仮想視点画像を生成する。

ここで、カメラパス生成における、２点のキーフレーム間の補間の例について、図１に示す。図１では、開始点と終了点におけるカメラパラメータのうちの一つの値ｐについて補完する方法を示している。ユーザが開始点における時刻およびパラメータをそれぞれｔ１・ｐ１、終了点における時刻およびパラメータをそれぞれｔ２・ｐ２と設定した時、ｔ１からｔ２の間に値ｐは図１のグラフのように補間される。このように補間される仮想カメラのパラメータは、位置座標（ｘ、ｙ、ｚ）、姿勢（Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ）、拡大率Ｚｏｏｍなどがある。

この時登録されるキーフレームは、Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌなどの姿勢を表すパラメータにおいて、値の上限・下限を無制限にすることで、少ないキーフレームで所望のカメラパスを生成できることがある。例えば、注視点を任意の位置に設定し、注視点方向を向いたまま２回転するカメラパスを生成する場合を考える。回転角の上限・下限を無制限にする場合、開始点のパラメータ０°、終了点のパラメータ７２０°の２点を設定するだけで生成できる。一方で、最小値０°、最大値３５９°に定められている場合、３６０°以上の回転角を設定できないため、３点以上のキーフレームを打つ必要がある。本実施形態では、値の上限・下限を無制限にされたキーフレームを用いてカメラパスが生成される。以下、キーフレームを用いたカメラパスの生成方法をキーフレーム方式とも記載する。

他方で、ほかの用途でカメラパスを生成する場合、上記のキーフレーム方式によるクリップ映像用のカメラパスを生成するときと同様の補間手順を用いると、ユーザにとって望まないカメラパスになる場合がある。例えば、仮想カメラを現在位置からあらかじめ登録された位置・姿勢（プリセット位置）に移動する場合などが考えられる。例えば、リアルタイムでの野球の試合の中継放送でのユースケースがある。中継放送では、フィールド上のマウンドからの視点や、キャッチャーの位置からの視点などは臨場感ある映像を得やすい。リアルタイムでの中継放送では、頻繁にそれらの視点の切り替えが求められるので、プリセット位置を複数登録しておき、仮想カメラの位置を所望のプリセット位置に切り替える機能が求められる。ここで、仮想カメラを現在位置からプリセット位置に遷移させるとき、一瞬で切り替えてしまうと、仮想カメラを操作しているユーザでも切り替わった位置が所望のプリセット位置かどうかの判別に時間を要する恐れがある。そのため、仮想カメラを現在位置からプリセット位置まで移動するカメラパスを生成し、移動させる様子を表示するなどの工夫が必要である。しかし、上記のキーフレーム補間と同様の方法で現在位置とプリセットの間を補間してカメラパスを生成すると、不必要に回転してしまうなど、冗長なカメラパスを生成してしまうことがある。そのため、現在位置からプリセット位置まで移動するカメラパスを生成する際には、位置関係を考慮してカメラパスを生成する必要がある。

図４は、本実施形態に係る、仮想視点画像のカメラパスを生成・編集することが可能な情報処理装置２０３のハードウェア構成の一例を示す図である。情報処理装置２０３は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、入出力デバイス部４０４で構成される。なお、仮想視点画像では、視聴者やカメラオペレータ等のユーザが自由に仮想カメラの位置及び姿勢を操作することができる。また仮想視点画像は、動画であっても、静止画であっても良い。

ＣＰＵ４０１は、ＲＡＭ４０２をワークメモリとして、ＲＯＭ４０３に格納されたプログラムを実行し、情報処理装置２０３の各構成部を統括的に制御するプロセッサである。これにより、ＣＰＵ４０１が、各種プログラムを実行することで、後述の図２に示す各処理部の機能が実現される。

ＲＡＭ４０２は、ＲＯＭ４０３から読みだされたコンピュータプログラムや計算の途中結果などを一時的に記憶する。

ＲＯＭ４０３は、変更を必要としないコンピュータプログラムやデータを保持する。またＲＯＭ４０３は、前述のキーフレーム法の補間方法などのカメラパラメータを補間する上で必要なデータや補間方法を決定する上で必要なデータなどを格納する。

入出力デバイス部４０４は、仮想カメラを制御するための複数のコントローラと、仮想カメラの状態などを表示する複数の表示部を有する。複数のコントローラは、キーボードやマウスといったユーザが入力操作を行うための一般的なデバイスの他、仮想カメラを操縦するためのジョイスティック、つまみ、ジョグダイヤル等を含む。表示部は、ユーザに必要な情報を表示するための１又は複数の表示デバイス（以下、「モニタ」と表記）である。

図５は、第１の実施形態における情報処理装置２０３の機能構成の一例を示すブロック図である。情報処理装置２０３は、ユーザ操作により仮想カメラのカメラパスを生成し、仮想視点画像生成装置に送信する。

情報処理装置２０３が搭載する各機能について順に説明する。

操作情報取得部５０１は、ユーザによるジョイスティック３０１に対する操作を毎フレーム取得し、操作量に応じた仮想カメラの位置・姿勢といったパラメータに変換する。このパラメータはフレームごとの仮想カメラパラメータの変化量を表している。また操作情報取得部５０１は、キーボード３０２やＧＵＩ３０８へのユーザ操作（入力）があった場合、その操作に応じた入力信号を操縦モード決定部５０２、キーフレーム保持部５０４、クリップ作成部５０５、仮想カメラパラメータ算出部５１１へ送信する。

操縦モード決定部５０２は複数の操縦モードをユーザの操作に応じて切り替える。操縦モードには、手動操縦モード、クリップ再生モード、およびプリセット移動モードがある。手動操縦モードでは、情報処理装置２０３は、ユーザによるジョイスティック３０１への操作に応じて仮想カメラを移動する。クリップ再生モードでは、情報処理装置２０３は、クリップ映像用に生成されたカメラパスを用いて生成された仮想視点画像を再生する。この仮想視点画像は外部の仮想視点画像生成装置（不図示）によって生成される。プリセット移動モードでは、情報処理装置２０３は、仮想カメラの位置をプリセット位置に移動する。ここで、プリセット移動モードでは、情報処理装置２０３は、仮想カメラの位置をプリセット位置に移動するためのカメラパスを生成し、そのカメラパスを用いて生成された仮想視点画像を表示部で再生する。

操縦モード保持部５０３は現在の操縦モードを保持（記録）する記録部である。保持されている操縦モードは、操縦モード決定部５０２からの切り替え信号が入力された場合に更新される。また、操縦モード保持部５０３は、現在保持している操縦モードを操縦モード決定部５０２へ送信する。

ここで図６に、３つの操縦モードの状態遷移図を示す。本実施形態では、通常は手動操縦モードであり、ユーザによって仮想カメラの操作が行われる。ユーザによってクリップリスト３１０のカメラパスがクリックされた場合、操縦モード決定部５０２は操縦モードをクリップ再生モードへ切り替える。そして、操縦モード保持部５０３および仮想カメラパラメータ算出部５１１に、モードを切り替えたことを通知する信号を送信する。また、ユーザによってプリセットリスト３１２上の任意のプリセットがクリックされた場合、操縦モードをプリセット移動モードへ切り替え、操縦モード保持部５０３および仮想カメラパラメータ算出部５１１に、モードを切り替えたことを通知する信号を送信する。操縦モードがプリセット移動モードの時にプリセットへの移動が終わると、操縦モード決定部５０２は仮想カメラパラメータ算出部５１１から手動操縦モードに切り替えるための信号を受信し、手動操縦モードに切り替える。

キーフレーム保持部５０４はユーザによるキーボード３０２のキー３０３への入力があったときに、操作情報取得部５０１からキーフレームを登録するための入力信号を受け取る。なお、キー３０３にはキーフレームを登録するためのコマンドが割り当てられている。キーフレーム保持部５０４は、入力信号を受け取ると、仮想カメラパラメータ算出部５１１から現在の仮想カメラのパラメータを取得し、キーフレームとして保持する。ここで、キーフレーム保持部５０４は複数のキーフレームを保持することができる。各キーフレームは、それぞれ整数値であるキーフレームＩＤ、仮想カメラの位置・姿勢などの外部パラメータ、光学中心、焦点距離などの内部パラメータ、タイムコード等の時刻情報をパラメータとして保持する。キーフレームＩＤは、キーフレーム保持部がキーフレームを取得したときに各キーフレームに順番に割り当てられる。なおキーフレームＩＤは、ユーザによって変更可能なパラメータである。保持されたキーフレームは、ユーザによるキーボード３０２のキー３０４への入力があった時に、クリップ作成部５０５へ出力し、その後キーフレームをクリアする。なお、キー３０４には登録したキーフレームからクリップ映像用のカメラパスを生成するためのコマンドが割り当てられている。

クリップ作成部５０５はユーザによるキーボード３０２のキー３０４への入力があったときに、操作情報取得部５０１から入力信号を受け取る。クリップ作成部５０５は、入力信号を受け取ると、キーフレーム保持部５０４に保持されている複数のキーフレームを取得し、キーフレーム間を補間してカメラパスを生成する。

図７（ａ），（ｂ）は仮想カメラの位置座標のうちのｘ座標についてキーフレーム間を補間する方法の一例を説明するための図である。図７（ａ）ではタイムコードｔ１～ｔ４において、それぞれの仮想カメラの位置・姿勢が仮想カメラ７０１～７０４のように設定されたている。図７（ａ）のグラフは各時刻ｔ１～ｔ４における仮想カメラのｘ座標を示している。クリップ作成部５０５は、図７（ｂ）に示すように、仮想カメラの移動軌跡が滑らかになるような補間方法を用いて、仮想カメラ７０１～７０４の間を補間するようにカメラパス７０５を生成する。図７（ｂ）のグラフは、生成されたカメラパス７０５のｘ座標の時刻ｔ１～ｔ４の間における遷移を表す。ここで、補間方法は、例えばスプライン補間がある。クリップ作成部５０５は、仮想カメラの位置座標のｙ座標、ｚ座標、姿勢情報であるＰａｎ、Ｔｉｌｔ、Ｒｏｌｌなどに対しても同様に補間する。

クリップ保持部５０６は、クリップ作成部５０５によって生成されたクリップ映像用のカメラパスを保持する。また、クリップ保持部５０６は、ユーザによってクリップリスト３１０の任意のカメラパスがクリックされた（選択された）場合、操作情報取得部５０１から受信した入力信号に応じて、選択されたカメラパスを仮想カメラパラメータ算出部５１１へ送信する。

プリセット保持部５０７は、ユーザによるキーボード３０２のキー３０５への入力があった場合に、仮想カメラパラメータ算出部５１１から仮想カメラのカメラパラメータを取得し、仮想カメラのプリセット位置として保持する。なお、キー３０５にはプリセットを登録するためのコマンドが割り当てられている。

プリセット移動時間保持部５０８は、仮想カメラ位置からプリセットまでの移動時間を保持する。移動時間は、あらかじめユーザがキーボード３０２等を用いて登録（入力）する。このプリセット移動時間は、クリップ映像を生成するときの時間とは異なる移動時間である。

プリセット移動残り時間保持部５０９は、プリセットまで移動する残り時間を保持する。プリセット移動残り時間保持部５０９は、ユーザによってＧＵＩ３０８のプリセットリスト３１２のプリセットがクリックされた（選択された）時に、プリセット移動時間を保持する。その後、プリセット移動残り時間保持部５０９は、仮想視点画像が１フレーム再生されるごとに保持する残り時間も１フレーム分減らす。プリセット移動残り時間保持部５０９は、残り時間を毎フレーム仮想カメラパラメータ算出部５１１へ送信する。

仮想カメラパラメータ保持部５１０は、仮想カメラパラメータ算出部５１１によって算出された仮想カメラパラメータを取得し、保持している。また、仮想カメラパラメータ保持部５１０は、現在のタイムコードにおいて保持している仮想カメラパラメータを仮想カメラパラメータ算出部５１１へ送信する。その後、仮想カメラパラメータ算出部５１１によって算出された次フレームの仮想カメラパラメータを取得して、保持する仮想カメラパラメータを更新する。

仮想カメラパラメータ算出部５１１は、操縦モードが更新された時に操縦モード決定部５０２から信号を受信し、操縦モードに合わせた手法で仮想カメラパラメータを算出（計算）する。以下、それぞれの操縦モードにおける仮想カメラパラメータの算出方法について述べる。

手動操縦モードでは、仮想カメラパラメータ算出部５１１は操作情報取得部５０１から仮想カメラパラメータの変化量と、仮想カメラパラメータ保持部５１０から取得したカメラパラメータを加算し、次のフレームの仮想カメラパラメータを算出する。

クリップ再生モードでは、仮想カメラパラメータ算出部５１１は操作情報取得部５０１からユーザによって選択されたクリップ情報を取得し、クリップ保持部５０６から該当するカメラパスを取得する。ここで取得されるカメラパスは、上述したキーフレーム方式によって生成されたカメラパスである。

プリセット移動モードでは、仮想カメラパラメータ算出部５１１は現在の仮想カメラの位置・姿勢からプリセットまでの経路を示すカメラパスを算出する。具体的には、フレームレートが６０ｆｐｓである場合、仮想カメラパラメータ算出部５１１は以下の数式１を用いて計算を行う。
［数式１］
ｄｐ＝（ｐ＿ｐｒｅ－ｐ（ｔ））／ｆ（ｔ）
ｐ（ｔ－１）＝ｐ（ｔ）＋ｄｐ
ｆ（ｔ－１）＝ｆ（ｔ）－１

ここで、ｔは残り時間保持部５０９から取得された、仮想カメラが現在位置からプリセットまで移動するまでにかかる時間（残り時間）である。本実施形態では、ｔは例えば、ＨＨ：ＭＭ：ＳＳ：ＦＦの形式で表される。ｐ（ｔ）は残り時間ｔにおける仮想カメラパラメータ保持部５１０から取得した現在時刻の仮想カメラパラメータである。ｐ＿ｐｒｅはプリセット保持部５０７から取得したプリセット位置の仮想カメラパラメータである。ｆ（ｔ）は残り時間ｔにおける残りのフレーム数である。ｆ（ｔ）の初期値は、残り時間ｔの初期値を秒数に変換したものに対しフレームレートを乗算して求められる。ｄｐは１フレームあたりの仮想カメラパラメータの変化量である。したがってｄｐは正負のどちらの値もとりうる。この時、ｔ＝０になった時点で仮想カメラパラメータ算出部５１１は操縦モード決定部５０２へ手動操縦モードに切り替えるための信号を送信する。なお、フレームレートが５９．９４ｆｐｓなどの非整数である場合、仮想カメラパラメータ算出部５１１は、上記式に対しドロップフレームも考慮して計算を行う。

また、プリセット移動モード時において、仮想カメラパラメータ算出部５１１は、プリセット保持部５０７からプリセットの仮想カメラパラメータ、仮想カメラパラメータ保持部５１０から仮想カメラパラメータを取得する。そして、２点間の経路が最短になるよう、仮想カメラの姿勢パラメータを補正する。

仮想カメラの姿勢パラメータの補正方法について、図８を用いて説明する。例えば、図８の仮想カメラ位置８０１の位置からプリセット位置８０２の位置に移動させるカメラパスを生成することを考える。仮想カメラ位置８０１、プリセット位置８０２の、注視点８０３方向を向きながら回転する場合におけるＰａｎの値を、それぞれ０°、２７０°とする。この時、キーフレーム間の補間と同様の手法で仮想カメラ位置８０１、プリセット位置８０２の間の経路を補間すると、Ｐａｎの値は０°から２７０°まで単調増加するため、仮想カメラのカメラパスは経路８０４になる。しかし、本実施形態では、プリセット位置はリアルタイムの映像において仮想カメラを所望の位置まで素早く移動するために使用されるものである。すなわち、経路８０４に示されるカメラパスは仮想カメラ位置８０１からプリセット位置８０２まで遠回りをしてしまうカメラパスであり、適切なカメラパスではない。仮想カメラ位置８０１からプリセット位置８０２までのカメラパスは経路８０５のほうが望ましい。そこで、仮想カメラパラメータ算出部５１１は、現在の仮想カメラ位置８０１の位置・姿勢を固定したまま、仮想カメラの姿勢をあらわすパラメータであるＰａｎ、Ｔｉｌｔ、Ｒｏｌｌの値を補正する。具体的には、現在の仮想カメラの位置とプリセット位置でのＰａｎ、Ｔｉｌｔ、Ｒｏｌｌの値のいずれかの差分の絶対値が１８０°より大きい場合、仮想カメラパラメータ算出部５１１は、当該の値について補正を行う。例えば、仮想カメラパラメータ算出部５１１は、プリセット位置との差分が１８０°より大きいパラメータについて、現在の仮想カメラ位置の姿勢パラメータを補正し、差分の絶対値を１８０°以下にする。具体的には、仮想カメラパラメータ算出部５１１は、当該パラメータについて、現在の仮想カメラ位置の値がプリセット位置の値より１８０°より大きい場合は、差が１８０°以下になるように現在のカメラパスの位置の値から３６０°の整数倍の値を減算する。逆に、仮想カメラパラメータ算出部５１１は、当該パラメータについて、現在の仮想カメラの位置の値がプリセット位置の値より１８０°以上小さい場合は、差が１８０°以下になるように現在のカメラパスの位置の値に３６０°の整数倍の値を加算する。このように、仮想カメラパラメータ算出部５１１は、補正を加えるパラメータに対し、３６０°の倍数を加算または減算することで、仮想カメラの位置および姿勢を変えずに、仮想カメラの姿勢パラメータを補正できる。加えて、上記のように差分を１８０°以下にすることで、遠回りをしない経路をとるカメラパスが生成されるようになる。

仮想カメラパラメータ算出部５１１は補正上記の処理を行ったカメラパラメータを、仮想カメラパラメータ提供部５１２へ送信する。

仮想カメラパラメータ提供部５１２は仮想カメラパラメータ算出部５１１から毎フレームカメラパラメータを取得し、仮想視点画像生成装置へ送信する。

タイムコード保持部５１３はタイムコード算出部５１４から現在のタイムコードを取得し、保持する。

タイムコード算出部５１４は毎フレームタイムコードをタイムコード保持部５１３から取得し、更新してタイムコード保持部５１３およびタイムコード提供部５１５へ送信する。

タイムコード提供部５１５はタイムコード算出部５１４からタイムコードを取得し、仮想視点画像生成装置へ送信する。

ディスプレイ５１６は、仮想視点画像生成装置によって生成された仮想視点画像を表示するディスプレイである。ディスプレイ５１６は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等である。

なお、情報処理装置２０３は、画像処理装置２０２とは、不図示の通信部を用いて通信を行う。通信部は例えば、イーサネット等の有線通信規格やＷｉ－Ｆｉ（登録商標）等の無線通信規格に従って通信を行う。

次に、図９を用いて、本実施形態においてクリップ映像用のカメラパスを生成するための処理フローについて説明する。本フローチャートは、例えば、キーボード３０２のキー３０４がユーザによって押下されたことをトリガに開始される。なお、キー３０４には登録したキーフレームからクリップ映像用のカメラパスを生成するためのコマンドが割り当てられている。

ステップＳ９０１において、操作情報取得部５０１は、クリップ作成部５０５にカメラパスを生成するための信号を送信する。

ステップＳ９０２において、クリップ作成部５０５は、操作情報取得部５０１からカメラパスを生成するための信号を受信し、キーフレーム保持部５０４からキーフレームを取得する。クリップ作成部５０５は、各々のキーフレームＩＤ順にキーフレーム間を補間することでカメラパスを生成する。

ステップＳ９０３において、クリップ保持部５０６は、クリップ作成部５０５からカメラパスを取得し、取得したカメラパスをクリップリスト３１０に追加する。

ステップＳ９０４において、キーフレーム保持部５０４は、生成したカメラパスがクリップリスト３１０に追加されたことに応じて、保持しているキーフレーム（キーフレームリスト）をクリアする。

次に、図１０を用いて、本実施形態においてクリップ映像を再生するための処理フローについて説明する。本フローチャートは、例えば、ユーザがＧＵＩ３０８上のクリップリスト３１０から任意のカメラパスをクリックしたことに応じて開始される。なお、このユーザが任意のカメラパスをクリックする操作は、クリップ映像を再生するための操作である。

ステップＳ１００１において、操作情報取得部５０１は、操縦モードをクリップ再生モードに切り替えるための信号を操縦モード決定部５０２へ送信する。

ステップＳ１００２において、操縦モード決定部５０２は、操作情報取得部５０１から信号を受信し、操縦モードをクリップ再生モードに切り替える。操縦モード決定部５０２は、クリップ再生モードに切り替えたことを通知する信号を操縦モード保持部５０３、および仮想カメラパラメータ算出部５１１へ送信する。

ステップＳ１００３において、仮想カメラパラメータ算出部５１１は、操作情報取得部５０１からユーザによって選択されたクリップ情報を取得し、クリップ保持部５０６から該当するカメラパスを取得する。仮想カメラパラメータ算出部５１１は、取得したカメラパスを仮想カメラパラメータ提供部５１２へ送信する。

ステップＳ１００４において、カメラパスを受信した仮想カメラパラメータ提供部５１２は、仮想視点画像生成装置へカメラパスを送信する。また、タイムコード提供部５１５は、タイムコードをタイムコード算出部５１４から取得し、仮想視点画像生成装置へ送信する。ここで、仮想視点画像生成装置において、仮想視点画像が生成される。ここで、情報処理装置２０３は、カメラパスおよびタイムコードは通信部を介して送信する。

ステップＳ１００５において、ディスプレイ５１６は、仮想視点画像生成装置から取得した仮想視点画像を表示する。この表示された仮想視点画像はクリップ映像に相当する。ここで、情報処理装置２０３は、仮想視点画像を通信部を介して取得（受信）する。

次に、図１１を用いて、本実施形態においてユーザがＧＵＩ３０８上のプリセットリスト３１２上の任意のプリセット位置を選択（押下）したときの処理フローについて説明する。本フローチャートの処理は、ユーザが任意のプリセット位置を選択したことに応じて開始される。

ステップＳ１１０１において、操作情報取得部５０１は、操縦モードをプリセット移動モードに切り替えるための信号を操縦モード決定部５０２へ送信する。

ステップＳ１１０２において、操縦モード決定部５０２は、操作情報取得部５０１から操縦モードをプリセット移動モードに切り替えるための信号を受信した時に、操縦モード保持部５０３から現在の操縦モードの情報を取得する。現在の操縦モードがクリップ再生モードの場合、Ｓ１１０３以後の処理は行われない。現在の操縦モードが手動操縦モードまたはプリセット移動モードの場合、操縦モード決定部５０２は、ステップＳ１１０３の処理を行う。

ステップＳ１１０３において、操縦モードが手動操縦モードの場合、操縦モード決定部５０２は、操縦モードをプリセット移動モードに切り替える。操縦モードがプリセット移動モードの場合、操縦モード決定部５０２は、操縦モードをプリセット移動モードのまま維持する。操縦モード決定部５０２は、プリセット移動モードに切り替えたことを通知する信号を操縦モード決定部５０２、および仮想カメラパラメータ算出部５１１へ送信する。

ステップＳ１１０４において、仮想カメラパラメータ算出部５１１は、操縦モード決定部５０２からプリセット移動モードに切り替えたことを通知する信号を受信する。そして、仮想カメラパラメータ算出部５１１は、ユーザによって選択されたプリセット位置のカメラパラメータをプリセット保持部５０７から取得する。また、仮想カメラパラメータ算出部５１１は、現在のカメラパラメータを仮想カメラパラメータ保持部５１０から取得する。仮想カメラパラメータ算出部５１１は、取得したそれぞれの姿勢に係るパラメータ（Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ）について差分の絶対値を計算し、１８０°より大きいかどうか判断する。フローチャートでは、当該パラメータについて、現在の仮想カメラ位置の値を現在姿勢、プリセット位置の値をプリセット姿勢と記載する。

ステップＳ１１０５において、ステップＳ１１０４で差分の絶対値が１８０°より大きいパラメータがある場合、仮想カメラパラメータ算出部５１１は、当該パラメータのそれぞれについてプリセット位置の値と現在の仮想カメラ位置の値を比較する。当該パラメータについて、現在の仮想カメラ位置の値がプリセット位置の値よりも大きい場合、ステップＳ１１０６の処理が実行される。当該パラメータについて、現在の仮想カメラ位置の値がプリセット位置の値以下である場合、ステップＳ１１０６の処理が実行される。

ステップＳ１１０６において、仮想カメラパラメータ算出部５１１は、当該パラメータについて、現在の仮想カメラ位置の値を３６０°減算し、仮想カメラパラメータ保持部５１０が保持する仮想カメラ位置の値に代入する。

ステップＳ１１０７において、仮想カメラパラメータ算出部５１１は、当該パラメータについて、現在の仮想カメラ位置の値を３６０°加算し、仮想カメラパラメータ保持部５１０が保持する仮想カメラ位置の値に代入する。

以上のステップＳ１１０４～Ｓ１１０７の処理は、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌのそれぞれのパラメータについて、仮想カメラパラメータ保持部５１０が保持する値とプリセットの値との差分が１８０°以下になるまで繰り返し行われる。これにより、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌのそれぞれのパラメータについて、カメラパス位置の値から３６０°の整数倍の値が加減算される。

ステップＳ１１０８において、プリセット移動残り時間保持部５０９は、プリセット移動時間保持部５０８からプリセット移動時間を取得し、プリセットまで移動する残り時間として設定する。

以上のステップＳ１１０１からステップＳ１１０８までの処理が、現在の仮想カメラをプリセットの状態まで遷移させる前に行われる処理である。

図１２のフローチャートを用いて、仮想カメラをプリセットの状態まで遷移させる処理フローについて説明する。本フローチャートに示す処理は図１１に示すフローチャートに続いて実行される。なお以下の処理は毎フレーム実行される。

ステップＳ１２０１において、操縦モード決定部５０２は、操縦モード保持部５０３から現在の操縦モードの情報を取得する。操縦モードがクリップ再生モードもしくは手動操縦モードである場合、以下の処理を行わず次フレームの処理に進む。操縦モードがプリセット移動モードの場合、ステップＳ１２０２の処理が実行される。

ステップＳ１２０２において、仮想カメラパラメータ算出部５１１は、プリセット位置のカメラパラメータ、現在の仮想カメラ位置のカメラパラメータ、および移動残り時間を取得し、１フレームにおける移動量を計算する。

ステップＳ１２０３において、仮想カメラパラメータ算出部５１１は、仮想カメラパラメータ保持部５１０から現在の仮想カメラ位置のカメラパラメータを取得し、移動量を加算した新しいカメラパラメータ位置を仮想カメラパラメータ保持部５１０へ送信する。

ステップＳ１２０４において、プリセット移動残り時間保持部５０９は、移動の残り時間を１フレーム分減算し、保持するプリセット移動残り時間を更新する。

ステップＳ１２０５において、仮想カメラパラメータ算出部５１１は、プリセット移動残り時間保持部５０９からプリセット移動残り時間を取得する。プリセット移動残り時間が０の場合ステップＳ１２０６の処理が実行される。プリセット移動残り時間が０ではない場合、次のフレームの処理が実行される。

ステップＳ１２０６において、仮想カメラパラメータ算出部５１１が取得したプリセット移動残り時間が０の場合、仮想カメラパラメータ算出部５１１は、操縦モードを手動操縦モードに切り替えるための信号を操縦モード決定部５０２へ送信する。信号を受信した操縦モード決定部５０２は、操縦モードを手動操縦モードに切り替える。操縦モード決定部５０２は、操縦モードを手動操縦モードに切り替えた後、現在の操縦モード（手動操縦モード）を操縦モード保持部５０３に送信する。

以上の処理フローを毎フレーム行い、仮想カメラの位置をプリセット位置に遷移させる。

本実施例では、クリップ映像用のカメラパスを生成するときとプリセットまで移動するときとで補間手順（カメラパスの生成方法）を変える事例を示した。すなわち、プリセット位置への移動では、２点間の姿勢パラメータの差分を１８０°以下にするようにカメラパラメータ補正処理を加えることにより、カメラパスが冗長にならず、より短い経路が生成される。

［第２の実施形態］
次に、本発明を実施するための第２の実施形態について詳細に説明する。

第１の実施形態では、図８に示すように、リアルタイム映像において、情報処理装置２０３は経路がより短くなるように現在の仮想カメラ位置８０１からプリセット位置８０２へ移動するために、パラメータを補正する処理を行った。しかし、ユーザにとって、カメラパスについて、単に短い経路を通るのではなく、ある領域を映しながら移動したいという状況がある。例えば、注視点８０３にいる被写体の領域８０６に表示したいものがあった場合、経路８０５を通る仮想カメラからは見えないため、経路８０４のほうがユーザにとって好ましいことがある。

また、逆に、クリップ映像を生成するときにおいて、通常通りの補間手順ではなくプリセットへ移動する場合のような短い経路のほうが好ましい場面もある。

そこで、第２の実施形態では、キーフレーム間の補間手順および現在位置とプリセットの間の補間手順をユーザが選択できるようになっており、選択された補間方法に従ってカメラパスを自動生成する。

図１３に第２の実施形態におけるＧＵＩの例を示す。なお、図１３において、図３のＧＵＩの機能と同一の機能を行うものについては、同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。

クリップリスト３１０のそれぞれのカメラパス、およびプリセットリスト３１２のそれぞれのプリセット位置には、経路を最短にするためのパラメータ補正を行うかどうかを示すボタン１３０１、ボタン１３０２が割り当てられている。ユーザはボタン１３０１もしくはボタン１３０２をクリックすることで、パラメータ補正のＯＮ／ＯＦＦを切り替えられる。パラメータ補正がＯＮの場合、情報処理装置２０３は、第１の実施形態と同様に、パラメータＰａｎ、Ｔｉｌｔ、Ｒｏｌｌの値がプリセットと現在の仮想カメラとで１８０°以下になるように現在の仮想カメラのパラメータを補正する処理を行う。そして、情報処理装置２０３は、補正されたパラメータを用いてカメラパス生成を行う。パラメータ補正がＯＦＦの場合、情報処理装置２０３は、パラメータの補正は行わず、カメラパス生成を行う。

図１４に、第２の実施形態における情報処理装置２０３の機能構成を示すブロック図を示す。情報処理装置２０３は、ユーザによって選択された方法で仮想カメラのカメラパスを生成し、仮想視点画像生成装置に送信する。なお、図１４において、図５の情報処理装置の機能と同一の機能を行うものについては、同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。

操作情報取得部５０１は、ユーザによってＧＵＩ３０８上のボタン１３０１への入力情報を取得したときに、パラメータ補正のＯＮ／ＯＦＦを切り替えるための信号を補間切り替え決定部１４０１および仮想カメラパラメータ算出部５１１へ送信する。

補間切り替え決定部１４０１は、操作情報取得部５０１からパラメータ補正のＯＮ／ＯＦＦを切り替える信号を受信する。その後、補間切り替え決定部１４０１は、パラメータ補正のＯＮ／ＯＦＦを切り替えて、切り替え後の設定を補間切り替え保持部１４０２に送信する。また、補間切り替え決定部１４０１は、補間切り替え保持部１４０２から現在のＯＮ／ＯＦＦ情報を取得し、仮想カメラパラメータ算出部５１１へ送信する。

補間切り替え保持部１４０２は、補間切り替え決定部１４０１にＯＮ／ＯＦＦ情報を送信する。また、補間切り替え保持部１４０２は、補間切り替え決定部１４０１によってＯＮ／ＯＦＦが変更されると、その情報を補間切り替え決定部１４０１から取得して、保持する。

仮想カメラパラメータ算出部５１１は、操作情報取得部５０１からパラメータ補正のＯＮ／ＯＦＦを切り替えるための信号を受信すると、補間切り替え決定部１４０１からパラメータ補正のＯＮ／ＯＦＦの情報を取得する。仮想カメラパラメータ算出部５１１は、パラメータ補正ＯＮの情報を取得した場合、第１の実施形態にて説明したように、キーフレーム間もしくは現在の仮想カメラパラメータからプリセットまでが最短で補間されるよう、仮想カメラの姿勢パラメータを補正する。仮想カメラパラメータ算出部５１１は、パラメータ補正ＯＦＦの情報を取得した場合、姿勢パラメータは補正せずに、キーフレーム間もしくは現在の仮想視点からプリセットまでの経路を補間する。

次に、図１５を用いて、本実施形態においてクリップ映像用のカメラパスを生成するための処理フローについて説明する。なお、図１５において、図９の処理フローと同一の機能を行うものについては、同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。

ステップＳ１５０１において、補間切り替え決定部１４０１が補間切り替え保持部１４０２から現在のパラメータ補正設定のＯＮ／ＯＦＦ情報を取得し、クリップ作成部５０５へ送信する。パラメータ補正設定がＯＮの場合、ステップＳ１５０２の処理が実行される。パラメータ補正設定がＯＦＦの場合、ステップＳ９０２の処理が実行される。

ステップＳ１５０２において、クリップ作成部５０５がキーフレーム保持部５０４からキーフレームの一覧を取得する。フレームＩＤ順にキーフレームのＰａｎ，Ｔｉｌｔ，Ｒｏｌｌそれぞれの値を次のフレームＩＤのキーフレームの値との差分をとる。

ステップＳ１５０３において、クリップ作成部５０５が処理対象のキーフレームとその次のキーフレームのＰａｎ，Ｔｉｌｔ，Ｒｏｌｌそれぞれの値の差の絶対値が１８０°より大きい場合、それぞれのパラメータについてどちらの値のほうが大きいか確認する。値の絶対値の差が１８０°以下の場合は、次のフレームの処理に進む。

ステップＳ１５０４において、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌそれぞれの値について、処理対象のキーフレームのほうが大きい場合、クリップ作成部５０５が処理対象のキーフレーム以前のすべてのキーフレームの値を３６０°減算する。

Ｓ１５０５において、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌそれぞれの値について、処理対象のキーフレームのほうが大きい場合、クリップ作成部５０５が処理対象のキーフレーム以前のすべてのキーフレームの値を３６０°加算する。

以上のステップＳ１５０２～Ｓ１５０５の処理は、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌのそれぞれのパラメータについて、２つのキーフレームの値の差分が１８０°以下になるまで繰り返し行われる。これにより、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌのそれぞれのパラメータについて、処理対象のキーフレームの値から３６０°の整数倍の値が加減算される。

次に、図１６を用いて、本実施形態においてユーザがＧＵＩ３０８上のプリセットリスト３１２上の任意のプリセットを押下したときの処理フローについて説明する。なお、図１６において、図１１の処理フローと同一の機能を行うものについては、同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。

ステップＳ１６０１において、補間切り替え決定部１４０１が補間切り替え保持部１４０２から現在のパラメータ補正設定のＯＮ／ＯＦＦ情報を取得し、仮想カメラパラメータ算出部５１１へ送信する。パラメータ補正設定がＯＮの場合、ステップＳ１１０４の処理が実行される。パラメータ補正設定がＯＦＦの場合、ステップＳ１１０８の処理が実行される。

以上、本実施形態では、ＧＵＩ３０８上のすべてのクリップ映像用のカメラパスおよびプリセットについて、仮想カメラのパラメータ補正を行うか否かを選択できるボタンを設け、ユーザによる選択によって異なる補間手順でカメラパスを生成できるようにした。これにより、例えばユーザがキーフレーム間の経路が最短になるように補間したいとき、または例えばプリセット位置までの移動で最短でない経路を通りたいときでもユーザの所望のカメラパスが自動生成される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、上記実施形態において、ＡとＢの少なくとも１つとは、Ａのみでもよいし、Ｂのみでもよいし、ＡとＢでもよい。

本実施形態の開示は、以下の構成および方法を含む。

（構成１）
複数の撮像装置を被写体の周囲に配置して撮影し、撮影された複数の画像から仮想視点画像を生成する画像処理システムにおける情報処理装置であって、
ユーザ操作を取得する取得手段と、
前記仮想視点画像における仮想カメラの位置を保持する保持手段と、
前記保持手段に保持された複数の仮想カメラの位置からカメラパスを生成する生成手段とを有し、
前記保持手段は、前記仮想視点画像を生成するための仮想カメラの位置と、仮想カメラを所定の位置に変更するためのプリセット位置とを保持し、
前記生成手段は、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合と、前記プリセット位置を用いてカメラパスを生成する場合とで、カメラパスを生成する手順を異ならせる
ことを特徴とする情報処理装置。

（構成２）
前記生成手段は、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合よりも、前記プリセット位置を用いてカメラパスを生成する場合のほうが経路が短くなるようにカメラパスを生成することを特徴とする構成１に記載の情報処理装置。

（構成３）
前記保持手段は、仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持することを特徴とする構成１または２に記載の情報処理装置。

（構成４）
前記生成手段は、前記ＩＤの順番に仮想カメラの位置を補間してカメラパスを生成することを特徴とする構成３に記載の情報処理装置。

（構成５）
前記保持手段は、前記プリセット位置を用いてカメラパスを生成するための、前記時刻情報とは異なる移動時間をさらに保持し、
前記生成手段は、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合、前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成し、前記プリセット位置を用いてカメラパスを生成する場合、前記移動時間に基づいてカメラパスを生成する
ことを特徴とする構成３または４に記載の情報処理装置。

（構成６）
前記生成手段は、前記プリセット位置を用いてカメラパスを生成する場合、前記プリセット位置に基づいて、仮想カメラの位置を補正することを特徴とする構成１から５のいずれか１項に記載の情報処理装置。

（構成７）
前記ユーザ操作に応じて、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成するための操縦モードと前記プリセット位置を用いてカメラパスを生成するための操縦モードとを切り替える切り替え手段をさらに有することを特徴とする構成１から６のいずれか１項に記載の情報処理装置。

（構成８）
複数の撮像装置を被写体の周囲に配置して撮影し、撮影された複数の画像から仮想視点画像を生成する画像処理システムにおける情報処理装置であって、
ユーザ操作を取得する取得手段と、
前記仮想視点画像における仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持し、また、前記時刻情報とは異なる移動時間を保持する保持手段と、
前記保持手段に保持された複数の仮想カメラの位置からカメラパスを生成する生成手段と、
前記生成手段が前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成するモードと、前記移動時間を用いてカメラパスを生成するモードとを切り替える切り替え手段とを有する
ことを特徴とする情報処理装置。

（方法１）
複数の撮像装置を被写体の周囲に配置して撮影し、撮影された複数の画像から仮想視点画像を生成する画像処理システムにおける情報処理装置の制御方法であって、
ユーザ操作を取得する取得工程と、
前記仮想視点画像における仮想カメラの位置を保持する保持工程と、
保持された複数の仮想カメラの位置からカメラパスを生成する生成工程とを有し、
前記保持工程では、前記仮想視点画像を生成するための仮想カメラの位置と、仮想カメラを所定の位置に変更するためのプリセット位置とを保持し、
前記生成工程では、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合と、前記プリセット位置を用いてカメラパスを生成する場合とで、カメラパスを生成する手順を異ならせる
ことを特徴とする制御方法。

（方法２）
複数の撮像装置を被写体の周囲に配置して撮影し、撮影された複数の画像から仮想視点画像を生成する画像処理システムにおける情報処理装置の制御方法であって、
ユーザ操作を取得する取得工程と、
前記仮想視点画像における仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持し、また、前記時刻情報とは異なる移動時間を保持する保持工程と、
保持された複数の仮想カメラの位置からカメラパスを生成する生成工程と、
前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成するモードと、前記移動時間を用いてカメラパスを生成するモードとを切り替える切り替え工程とを有する
ことを特徴とする制御方法。

Claims (11)

1. ユーザ操作を取得する取得手段と、
   複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置および姿勢を、前記取得手段によって取得したユーザ操作によって設定する設定手段と、
   複数の仮想カメラの位置および姿勢からカメラパスを生成する生成手段とを有し、
   前記生成手段は、前記設定手段によって設定された複数の仮想カメラの位置および姿勢を用いてカメラパスを生成する場合と、現在の仮想カメラの位置および姿勢、並びに仮想カメラのプリセット位置および姿勢を用いてカメラパスを生成する場合とで、カメラパスを生成する手順を異ならせ、
   前記生成手段は、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合よりも、前記プリセット位置を用いてカメラパスを生成する場合のほうが経路が短くなるようにカメラパスを生成する
   ことを特徴とする情報処理装置。
2. 仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持する保持手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、前記ＩＤの順番に仮想カメラの位置を補間してカメラパスを生成することを特徴とする請求項２に記載の情報処理装置。
4. 前記保持手段は、前記プリセット位置を用いてカメラパスを生成するための、前記時刻情報とは異なる移動時間をさらに保持し、
   前記生成手段は、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合、前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成し、前記プリセット位置を用いてカメラパスを生成する場合、前記移動時間に基づいてカメラパスを生成する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記生成手段は、前記プリセット位置を用いてカメラパスを生成する場合、前記プリセット位置に基づいて、仮想カメラの位置を補正することを特徴とする請求項１に記載の情報処理装置。
6. 前記ユーザ操作に応じて、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成するための操縦モードと前記プリセット位置を用いてカメラパスを生成するための操縦モードとを切り替える切り替え手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
7. ユーザ操作を取得する取得手段と、
   複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持し、また、前記時刻情報とは異なる移動時間を保持する保持手段と、
   前記保持手段に保持された複数の仮想カメラの位置からカメラパスを生成する生成手段と、
   前記生成手段が前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成するモードと、前記移動時間を用いてカメラパスを生成するモードとを、前記取得手段によって取得したユーザ操作に応じて切り替える切り替え手段とを有する
   ことを特徴とする情報処理装置。
8. ユーザ操作を取得する取得工程と、
   複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置および姿勢を、前記取得工程によって取得したユーザ操作によって設定する設定工程と、
   複数の仮想カメラの位置および姿勢からカメラパスを生成する生成工程とを有し、
   前記生成工程では、前記設定工程によって設定された複数の仮想カメラの位置および姿勢を用いてカメラパスを生成する場合と、現在の仮想カメラの位置および姿勢、並びに仮想カメラのプリセット位置および姿勢を用いてカメラパスを生成する場合とで、カメラパスを生成する手順を異ならせ、
   前記生成工程では、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合よりも、前記プリセット位置を用いてカメラパスを生成する場合のほうが経路が短くなるようにカメラパスを生成する
   ことを特徴とする情報処理装置の制御方法。
9. ユーザ操作を取得する取得工程と、
   複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置および姿勢を、前記取得工程によって取得したユーザ操作によって設定する設定工程と、
   複数の仮想カメラの位置および姿勢からカメラパスを生成する生成工程とを有し、
   前記生成工程では、前記設定工程によって設定された複数の仮想カメラの位置および姿勢を用いてカメラパスを生成する場合と、現在の仮想カメラの位置および姿勢、並びに仮想カメラのプリセット位置および姿勢を用いてカメラパスを生成する場合とで、カメラパスを生成する手順を異ならせ、
   前記生成工程では、前記仮想視点画像を生成するための仮想カメラの位置を用いてカメラパスを生成する場合よりも、前記プリセット位置を用いてカメラパスを生成する場合のほうが経路が短くなるようにカメラパスを生成する
   制御方法を情報処理装置に実行させるためのプログラム。
10. ユーザ操作を取得する取得工程と、
    複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持し、また、前記時刻情報とは異なる移動時間を保持する保持工程と、
    保持された複数の仮想カメラの位置からカメラパスを生成する生成工程と、
    前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成するモードと、前記移動時間を用いてカメラパスを生成するモードとを、前記取得工程によって取得したユーザ操作に応じて切り替える切り替え工程とを有する
    ことを特徴とする情報処理装置の制御方法。
11. 複数の撮像装置を被写体の周囲に配置して撮影し、撮影された複数の画像から仮想視点画像を生成する画像処理システムにおける情報処理装置に、
    ユーザ操作を取得する取得工程と、
    複数の撮像装置によって撮影された複数の画像から生成される仮想視点画像における仮想カメラの位置とともにＩＤ、時刻情報および仮想カメラの姿勢情報に係る情報を保持し、また、前記時刻情報とは異なる移動時間を保持する保持工程と、
    保持された複数の仮想カメラの位置からカメラパスを生成する生成工程と、
    前記仮想視点画像を生成するための仮想カメラの位置とともに記録されている時刻情報に基づいてカメラパスを生成するモードと、前記移動時間を用いてカメラパスを生成するモードとを、前記取得工程によって取得したユーザ操作に応じて切り替える切り替え工程と
    を情報処理装置に実行させるためのプログラム。