WO2005071619A1

WO2005071619A1 - 画像生成方法

Info

Publication number: WO2005071619A1
Application number: PCT/JP2005/000582
Authority: WO
Inventors: Fumitoshi Matsuno; Masahiko Inami; Naoji Shiroma
Original assignee: Campus Create Co Ltd
Current assignee: Campus Create Co Ltd
Priority date: 2004-01-21
Filing date: 2005-01-19
Publication date: 2005-08-04
Anticipated expiration: 2006-07-21
Also published as: JP4348468B2; GB2427520A; GB0614065D0; US20070165033A1; JP2005208857A

Abstract

　この発明は、移動体の操作を容易としうる画像生成方法を提供するものである。　この生成方法は、次のステップを含んでいる。（１）移動体に取り付けられた一つまたは複数の空間計測センサ（例えばカメラ）によって取得された環境情報（例えば環境画像）を受け取るステップ；（２）前記環境情報を取得した時の時刻と前記空間計測センサ自身のパラメータ（例えばカメラの位置および姿勢）とを受け取るステップ；（３）前記環境情報と前記時刻と前記パラメータとを示す過去情報を保存するステップ；（４）仮想視点の指定を受け取るステップ；（５）前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づいて生成するステップ。

Description

明細書

画像生成方法

技術分野

[0001] 本発明は、画像生成方法に関するものである。

背景技術

[0002] 従来から、移動体にカメラを取り付け、そのカメラで取得された画像を見ながら移動体を操作することが行われている。移動体は、例えば、遠隔地にある自走ロボットである。移動体が遠隔地にある場合は、画像は、通信ネットワークを介して操作者に送られる。

[0003] ところで、移動体のカメラで取得された画像は、移動体周辺の環境情報をあまり多くは含んでいないことが多い。これは、解像度を維持しながら画角を広くすると、画像の情報量が増え、通信路ゃ情報処理装置への負担が増えるためである。狭い画角の画像を見ながら移動体を適切に操作することは、多くの場合、かなりの困難を伴う。

[0004] 一方、移動体の外部に、移動体カメラとは別の外部カメラを設置し、この外部カメラの画像によって環境画像を取得する方法も考えることができる。し力しながら、移動体カメラの画像と外部カメラの画像の両方を用いることは、やはり、画像の情報量を増大させてしまう。画像の情報量が増えると、一般には、画像の解像度やフレームレートを低く設定して、通信や情報処理における時間遅れを防ぐ必要が発生する。すると、画像品質が劣化することになつてしまう。逆に画像品質を維持しょうとすると、画像が提示されるまでの時間遅れのために、リアルタイムでの移動体操作が難しくなつてしまう。もちろん、通信路ゃ情報処理装置の高速化や情報量の圧縮によりこれらの問題が軽減されることはありうるが、いずれにせよ、取得する画像の情報量が増大することは、通信路を含めたシステムの負担を増加させる。

発明の開示

発明が解決しょうとする課題

[0005] 本発明は、前記の事情に鑑みてなされたものである。本発明の目的は、移動体の操作を容易としうる画像の生成方法を提供することである。課題を解決するための手段

[0006] 本発明に係る画像生成方法は、次のステップを含む：

(1)移動体に取り付けられた一つまたは複数の空間計測センサによって取得された環境情報を受け取るステップ；

(2)前記環境情報を取得した時の時刻と前記空間計測センサ自身のパラメータとを受け取るステップ；

(3)前記環境情報と前記時刻と前記パラメータとを示す過去情報を保存するステップ

(4)仮想視点の指定を受け取るステップ；

(5)前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づ!ヽて生成するステップ。

[0007] この画像生成方法は、さらに以下のステップを含んでも良い：

(6)前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づ、て生成するステップ；

(7)前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体自身の画像と前記仮想環境画像とを含む複合画像を生成するステップ。

[0008] 前記環境情報とは、例えば複数の静止画であるが、動画であってもよ、。

[0009] 前記ステップ（6)における前記移動体自身のパラメータとは、「前記仮想視点を指定した時点またはその近傍から、生成された前記複合画像が提示される時点までの間における、ずれかの時点」におけるものであってもよ！/、。

[0010] 前記移動体は自走可能であってもよ!/、。

[ooii] 前記仮想視点は、前記移動体の周辺の環境および Zまたは操作者が見たい地点の周辺の環境を見る位置に存在して、てもよ、。

[0012] 前記仮想視点は、前記移動体を背後から見る位置に存在して、てもよ、。

[0013] 前記ステップ（2)における「空間計測センサ自身のパラメータ」とは、例えば、「空間計測センサ自身の位置および姿勢」および Zまたは、「空間計測センサ自身により得られたデータ空間と実空間との関係を表すデータ、行列もしくはテーブル」を含むものである。 [0014] 前記ステップ（5)における「過去情報に基づ、て生成する」とは、例えば、「前記環境情報に含まれる、ずれかの画像を、前記環境情報を取得した時の前記空間計測センサ自身の位置と前記仮想視点との近さに基づ、て選択する」ことである。

[0015] 前記ステップ（5)における「過去情報に基づ、て生成する」とは、例えば、「過去情報を用いて新たに生成する」ことである。

[0016] 前記仮想環境画像は、例えば静止画である。

[0017] 前記ステップ（7)における前記複合画像に含まれる前記移動体自身の画像は、透明、半透明、またはワイヤフレームの画像であってもよい。

[0018] 前記移動体自身のパラメータには、前記移動体の位置を含んでいてもよい。

[0019] 前記移動体自身のパラメータには、前記移動体の姿勢をさらに含んでいてもよい。

[0020] 本発明に係る提示方法は、前記した!/ヽずれかの生成方法により生成された複合画像を提示するものである。

[0021] 本発明に係る画像生成システムは、移動体と制御部と情報取得部とを備えて、る。

前記移動体は、環境情報を取得する空間計測センサを備えている。前記制御部は、次の機能を実行するものである：

(a)前記環境情報と、前記環境情報を取得した時の時刻と、前記環境情報を取得した時の前記空間計測センサ自身のパラメータとを示す過去情報を保存する機能；

(b)指定された仮想視点の情報を受け取る機能；

(c)前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づ!ヽて生成する機能。

[0022] 前記画像生成システムは、さらに情報取得部を備えてもよい。前記情報取得部は、前記移動体自身のパラメータを取得するものである。この場合、前記制御部は、さらに次の機能を実行する：

(d)前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づいて生成する機能；

(e)前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体の画像と前記仮想環境画像とを含んだ複合画像を生成する機能。

[0023] 本発明に係るコンピュータプログラムは、前記した!/、ずれかの方法におけるステップをコンピュータに実行させるものである。

[0024] 本発明に係るコンピュータプログラムは、前記システムにおける制御部の機能をコンピュータに実行させるものであってもよい。

[0025] 本発明に係るデータは、前記したいずれかの生成方法によって生成された前記仮想環境画像または前記複合画像を表す情報を含むものである。

本発明に係る記録媒体は、このデータが記録されたものである。

発明の効果

[0026] 本発明によれば、移動体の操作を容易としうる画像生成方法を提供することができる。

発明を実施するための最良の形態

[0027] 本発明の一実施形態に係る画像生成方法を、添付の図面を参照しながら説明する。まず、本実施形態の方法に用いる画像生成システムの構成を図 1に基づいて説明する。

[0028] (システムの説明）

このシステムは、移動体 1と、制御部 2と、情報取得部 3と、画像提示部 4とを主要な要素として備えている。

[0029] 移動体 1は、例えば、自走式の遠隔制御ロボットである。移動体 1は、カメラ 11 (本発明における空間計測センサに対応）と、本体 12と、インタフース部 13と、カメラ駆動部 14と、姿勢センサ 15と、本体駆動部 16とを備えている。

[0030] カメラ 11は、本体 12に取り付けられており、移動体 1から見た環境画像 (外部画像であり、本発明における環境情報に相当）を取得するようになっている。カメラ 11により取得された環境画像は、インタフェース部 13を介して制御部 2に送られるようになつている。カメラ 11は、この実施形態では、静止画を取得するものとなっている力動画を取得するものであってもよい。さらに、この実施形態では、カメラ 11は、各画像を取得した時の時間情報 (タイムスタンプ)を生成する。この時間情報も、インタフェース部 13を介して制御部 2へ送られる。この時間情報の生成は、カメラ 11以外の部分で行つてもよい。

[0031] カメラ 11としては、通常の可視光力メラの他、赤外線カメラ、紫外線カメラ、超音波力メラなどの各種のカメラを用いることができる。カメラ以外の空間計測センサとしては、例えば、レーダレンジファインダや光学式レンジファインダである。空間計測センサとしては、要するに、対象 (外部環境)の 2次元または 3次元（さらに時間などの次元を取得できても良、）の情報（つまり環境情報）を取得できるものであればよ!、。レーダレンジフアインダゃ光学式レンジフアインダによれば、環境中の対象の 3次元位置情報を容易に取得可能である。これらの場合においても、通常は、タイムスタンプを空間計測センサ側で生成して制御部 2に送る。

[0032] インタフェース部 13は、インターネットなどの通信ネットワーク回線（図示せず）に接続されている。インタフェース部 13は、移動体 1で取得した情報を外部に供給し、あるいは、外部からの情報 (例えば制御信号)を移動体 1で受け取る機能を有する部分である。通信ネットワーク回線としては、インターネットの他、 LAN、電話回線など、適宜のものが利用可能である。つまり、ネットワーク回線において用いられるプロトコルや回線やノードには、特に制約はない。ネットワーク回線における通信方式としては、回線交換方式でもパケット方式でもよヽ。

[0033] カメラ駆動部 14は、カメラ 11の位置 (空間中または平面上の位置）および姿勢 (カメラにおける視線の方向ないし光軸の方向）を変化させるものである。カメラ駆動部 14 は、制御部 2からの指示によりカメラ 11の位置および姿勢を変化させるようになつている。このようなカメラ駆動部 14は、例えば、制御用モータなどを用いて容易に製作できるので、これ以上の説明を省略する。

[0034] 姿勢センサ 15は、カメラ 11の姿勢を検出するものである。この姿勢の情報 (例えば光軸角度や視野角や姿勢情報取得時刻など）は、インタフース部 13を介して制御部 2へ送られる。このような姿勢センサ 15自体は容易に構成できるので、これ以上の説明は省略する。

[0035] 本体駆動部 16は、制御部 2からの指示によって移動体 1を自走させるものである。

本体駆動部 16は、例えば、本体 12の下部に取り付けられた車輪 (無限軌道を含む）と、これを駆動する駆動用モータ（図示せず)とを備えている。

[0036] 制御部 2は、インタフェース部 21と処理部 22と記憶部 23と入力部 24とを備えている。インタフェース部 21は、インタフェース部 13と同様に、通信ネットワーク回線（図示せず）に接続されている。インタフェース部 21は、通信ネットワーク回線を介して、制御部 2から外部に情報を供給し、あるいは、外部の情報を制御部 2で受け取る機能を有する部分である。例えばインタフェース部 21は、移動体 1のインタフェース部 13 力も制御部 2へ送られた各種の情報を取得し、あるいは、インタフェース部 13へ制御 ¾号达る。

[0037] 処理部 22は、記憶部 23に格納されたプログラムに従って、下記 (a)— (e)の機能を実行するものである。処理部 22は、例えば CPUである。なお、下記 (a)—（e)の機能は、後述の画像生成方法の説明にお、て詳しく説明する。

(a)環境画像と、この環境画像を取得した時の時刻と、環境画像を取得した時のカメラの位置および姿勢 (パラメータに対応)とを示す過去情報を保存する機能；

(b)指定された仮想視点の情報を受け取る機能；

(c)仮想視点から見た仮想環境画像を、保存された過去情報に基づ!/ヽて生成する機能；

(d)仮想視点から見た移動体自身の画像を、移動体自身の位置または姿勢に基づいて生成する機能；

(e)仮想環境画像と前記移動体自身の画像とを用いて、移動体の画像と仮想環境画像とを含んだ複合画像を生成する機能。

[0038] 記憶部 23は、制御部 2その他の機能要素を動作させるためのコンピュータプロダラムゃ、移動体 1の 3次元モデル情報や、過去情報 (例えば、移動体 1またはカメラ 11 の位置および姿勢情報、あるいはそれらの情報取得時刻など）を格納しておく部分である。記憶部 23は、例えば、半導体メモリゃノヽードディスクなどの任意の記録媒体である。

[0039] 入力部 24は、操作者力制御部 2への入力（例えば仮想視点情報の入力）を受け付ける部分である。

[0040] 情報取得部 3は、移動体 1自身の位置および姿勢（向き）を取得するものである。本実施形態における移動体 1の位置および姿勢は、本発明における「移動体自身のパラメータ」に対応する。なお、「移動体自身のパラメータ」としては、移動体 1の位置および姿勢以外にも、移動体の速度、加速度、角速度、角加速度なのパラメータを用いることができる。これらのパラメータによっても、移動体の位置変化を検出できるからである。

[0041] 移動体 1の位置および姿勢を得るには、例えばジャイロ、加速度計、車輪回転角速度計、 GPS、超音波センサなどの機器を用いた、既存の三次元自己位置推定手法を用いることができる。このような手法自体は既存のものを利用できるので、それにつ V、ての詳し、説明は省略する。

[0042] さらに、情報取得部 3は、移動体 1の位置および姿勢を取得した時の時刻を取得する。ただし、時間情報を取得しない実装も可能である。

[0043] なお、カメラ 11の位置は、カメラ 11が移動体 1に固定されていれば、移動体 1の位置として取得することができる。この実施形態では、情報取得部 3により、本体 1の位置を取得し、本体 1の位置から、これに固定されたカメラ 11の位置を算出している。逆に、カメラ 11の位置を取得して、移動体 1の位置を算出することも可能である。

[0044] 情報取得部 3は、制御部 2および移動体 1と別個のものでも、制御部 2または移動体 1と一体のものでも良い。また、情報取得部 3と姿勢センサ 15とは、一体化された一つの機構または装置として存在してヽても良、。

[0045] 画像提示部 4は、制御部 2の動作により生成された画像 (複合画像)を受け取って提示するものである。画像提示部 4としては、例えばディスプレイやプリンタである。

[0046] なお、本発明における空間計測センサ自身のパラメータとは、例えば、このセンサ力 Sカメラであれば、その位置および姿勢であることが一般である。ただし、このパラメータは、位置および姿勢にカ卩えて、またはこれらに代えて、データ空間と実空間との関係を表すデータ、行列あるいはテーブルであってもよい。この「データ、行列あるいはテーブル」は、「カメラの焦点距離、画像中心の座標、画像面における縦および横方向のスケール 'ファクタ、せん断係数またはレンズ収差」などの要素により算出される。また、空間計測センサがレンジファインダであれば、それ自身のパラメータとは、例えば、その位置、姿勢、奥行き、解像度および画角（データ取得範囲）である。

[0047] (画像生成方法の説明）

つぎに、本実施形態のシステムを用いた画像生成方法を説明する。まず、前提として、移動体 1の位置および姿勢を、情報取得部 3により常時追跡しておくものとする。もちろん、情報取得部 3は、これらの情報を、時間的又は空間的な意味で、離散的に取得しても、連続的に取得しても良い。取得された情報は、制御部 2の記憶部 23に格納される。この情報は、この実施形態では、絶対座標系（移動体に依存しない座標系であり、ワールド座標ともいう）上のデータとして、その情報の取得時刻と共に格納されるものとする。

[0048] (ステップ 2—1)

まず、移動体 1に取り付けられたカメラ 11によって環境画像（図 3a参照）を取得する。さらに、環境画像を取得した時刻（タイムスタンプ)も、カメラ 11で取得する。環境画像を取得する時期は、移動体 1の移動速度、カメラ 11の画角、通信路の通信容量などの条件に対応して設定すればよい。例えば、 3秒毎に静止画を環境画像として取得する、というような設定ができる。取得された画像および時間情報は、制御部 2に送られる。制御部 2は、これらの情報を記憶部 23に格納する。以降、制御部 2に送られた各情報は、記憶部 23にー且格納される。環境画像としては、通常は静止画である力動画であっても良い。

[0049] (ステップ 2— 2)

さらに、情報取得部 3は、環境画像を取得した時点での、移動体 1の位置および姿勢に関する情報を取得して制御部 2に送る。一方、移動体 1の姿勢センサ 15は、カメラ 11の姿勢に関する情報を取得して制御部 2に送る。より詳しくは、情報取得部 3は、カメラ 11の姿勢データを、その時点で取得した各環境画像に対応させて、制御部 2 に送る。

[0050] この実施形態では、環境画像を取得した時点でのカメラ 11の位置データは、情報取得部 3で取得された移動体 1の位置情報 (画像取得時点での位置)力算出される。画像取得時点での移動体 1の位置は、タイムスタンプを用いて検索してもよいし、あるタイムスロット間で得られたデータどうしを対応させる方法で検索してもよい。

[0051] (ステップ 2— 3)

ついで、制御部 2は、環境画像および時間情報と、それを取得した時点でのカメラ 1 1の位置および姿勢を示す情報 (本実施形態では、これらをまとめて過去情報と称する）を、記憶部 23に格納する。これらの情報は、同時に格納されても、異なる時期に格納されても良い。具体的には、環境画像のデータと、カメラ 11の位置および姿勢データとを、時間的に対応させてテーブルに格納する。つまり、これらのデータを、時間情報または位置情報を検索キーとして検索できるようにしておく。また、ここで、位置および姿勢を示す情報とは、位置データや姿勢データそのものでなくても良い。例えば、計算によりこれらのデータを算出できるデータ（またはデータ群)であってもよい

[0052] (ステップ 2— 4)

ついで、仮想視点を指定する。この指定は、通常は、操作者がその必要に応じて、制御部 2の入力部 24により行う。また、仮想視点の位置は、絶対座標上で特定されることが好ましいが、現仮想視点力もの相対位置で指定することも可能である。仮想視点の位置は、例えば、移動体 1の背後から、移動体 1を含む画像を見るものとする。または、仮想視点の位置は、移動体 1を含まない、操作者が見たい地点の周辺の環境を見るものであってもよい。

[0053] (ステップ 2— 5)

ついで、仮想視点から見た仮想環境画像 (図 3b参照)を、既に保存されている過去情報に基づいて生成する。仮想環境画像は、通常は静止画である力動画とすることも可能である。仮想環境画像の生成手法の例を以下説明する。

[0054] (空間的に密に画像が得られる場合）

この場合は、過去情報に含まれる画像 (環境情報)のうちで、仮想視点の近くから撮像された画像を選択する。どの程度の距離をもって近!、と判断するかは適宜設定すればよい。例えば、この判断は、当該画像が撮影された時の位置および姿勢 (角度）あるいは焦点距離などの情報を用いて行うことができる。要するに、操作者が見やすく判りやすい画像を選択できるように設定することが好ましい。前記の通り、過去の画像を撮像した時のカメラ 11の位置および姿勢は記録されて、る。

[0055] (空間的に疎に画像が得られる場合）

この場合も、実際にカメラで撮像した画像を用いることは可能である。しかしながら、画像品質を向上させるためには、仮想視点からの画像を、実際に得られている画像を基に新たに生成することが好ましい。このような画像生成手法には、既存のコンビュータビジョン技術を用いることができる。この実施形態では、実時間性を考慮して、環境モデルを構築せずに、画像ベースでの任意視点画像を生成する手法を説明する。この場合のアルゴリズムの一例は以下のようになる。

(a)仮想視点の近傍における複数の画像を過去情報から選択する。この「近傍」の判断は、「空間的に密に画像が得られる場合」と同様にして行うことができる。

(b)その内の二つの画像間における対応点を求める。

(c)画像間での密な対応点が得られるように、対応点の伝搬を画像間で行う。

(d)対応点を基に、画像間のトライフォーカルテンソル (trifocal tensor)を求める。

(e)トライフォーカルテンソルを使って、二つの原画像で対応のとれた全てのピクセルを、任意視点から見た仮想環境画像へマッピングする。これにより、仮想環境画像を生成することができる。

(f)さらに好ましくは、前記操作を、仮想視点の近傍における他の画像に対しても行う。そのようにすれば、それらの画像も利用することで、より正確な、そして視野の広い仮想環境画像を生成することができる。

[0056] もちろん、環境画像から 3次元環境モデルをー且生成し、そのモデルに基づ、て、任意視点から見える仮想環境画像を生成する手法も可能である。しかし、この場合は、モデル構築のために、多数の環境画像を取得したり、長い計算時間を費やさなければならなヽと、う問題がある。

[0057] (ステップ 2— 6)

ついで、仮想視点から見た移動体 1の画像を、移動体 1の位置および姿勢の情報に基づいて生成する。移動体 1の位置および姿勢の情報は、情報取得部 3により常に追跡されて取得されている（図 3c参照）ので、この情報力も把握することができる。この位置および姿勢の情報は、単なる座標データなので、通信路に対する負担は、画像データに比較してはるかに小さい。この位置および姿勢情報を基に、絶対座標系にお!/ヽて仮想視点から見た移動体 1の画像を生成する。

[0058] ここで生成される移動体 1の画像は、通常は、現在時点にある移動体 1の画像である力予測により生成した、将来の位置にある移動体 1の画像であってもよぐまた、過去のある時点の位置における移動体 1の画像であってもよい。 [0059] (ステップ 2— 7)

このようにして生成した仮想環境画像と移動体 1の画像とを用いて、移動体 1の画像と仮想環境画像とを含む複合画像を生成することができる（図 3d参照)。この画像は、操作者の必要に応じて、画像提示部 4において提示される。また、複合画像データを適宜な記録媒体 (例えば FD、 CD、 MO、 HDなど）に記録することができる。

[0060] 移動体 1の位置または姿勢が変化すると、情報取得部 3により。変化後の移動体 1 の位置および姿勢データが取得され、取得時刻と共に制御部 2の記憶部 23に送られて、データの更新がされる。また、移動後の位置における環境画像を、時間情報（タイムスタンプ）とともに、カメラ 11により取得する。その後、ステップ 2— 2以降の動作が繰り返される。

[0061] 本実施形態の方法では、このように、移動体 1を含む仮想環境画像を生成および提示することができる。すると、移動体 1を見ながら移動体の操作をすることができるので、操作の容易性を向上させることができるという利点がある。

[0062] また、この実施形態では、過去に取得した環境画像に基づ!/、て、仮想視点から見た仮想環境画像を生成してヽるので、外部に環境画像取得用のカメラを設ける必要力ぐ装置の小型化や低コストィ匕を図ることができるという利点がある。

[0063] また、外部に環境画像取得用のカメラを設けたり、カメラの画角を広げた場合には、データ量が増大するために、通信路への負担が大きくなり、しばしば、フレームレートの低下などの問題を生じる。すると、実時間での操作が難しくなる。この実施形態によれば、過去の画像を用いて仮想環境画像を生成しているので、画像情報の取得に時間遅れがあつたとしても、実時間操作に対する支障にならないという利点がある。さらに、過去の画像から 3次元環境モデルを生成せずに仮想環境画像を生成するアルゴリズムを用いれば、仮想環境画像の生成時間が短くなるので、操作の実時間性はさらに向上する。

[0064] さらに、この実施形態では、過去の画像の取得における時間遅れを許容できるので、画像解像度を高くすることができる。このため、得られる仮想環境画像の解像度を高めることができると!/、う利点がある。

[0065] なお、仮想環境画像を用いると却って操作がしづらい場合は、移動体 1のカメラ 11 からの画像に適宜切り替えて操作者に提示すればよい。

実施例 1

[0066] 前記した生成方法についての実施例を図 4一図 6に基づいて説明する。移動体 1 力も連続的に取得される環境画像は、例えば図 4 (a)—（このようになる。これらから生成される仮想環境画像の例を図 5 (a)—（c)に示す。実時間において図 4 (b)の画像をカメラ 11で見て、る移動体 1を、それ自体を含む画像として提示して、るものが図 5 (a)である。図 5 (a)では、図 4 (b)よりも過去の画像である図 4 (a)の画像を仮想環境画像として選んでいる。そして、この仮想環境画像に、移動体 1の画像を複合させている。これにより、現在位置にある移動体 1を背後（仮想視点）から見ている画像を生成し、提示することができる。これによつて、移動体 1自身を見ながら、移動体 1を操作することができる。

[0067] 移動体 1の移動に伴って仮想視点も前進させると、図 5 (b)や (c)に示される画像を得ることができる。これらの画像の生成手法は、前記と基本的に同様である。これらの画像では、仮想視点の変化に伴い、仮想環境画像を図 4 (b)、図 4 (c)と切り替えている。図 4 (d)の画像は、図 5 (c)の画像に含まれている移動体 1のカメラ 11からの画像である。

[0068] もし、通信路の状況が悪ぐフレームレートが低くて、図 5 (b)や (c)のような環境画像を生成するための過去画像すら得られないときは、移動体 1自体を移動させた画像とすればよい（図 6a— d参照)。つまり、これは、仮想視点を固定させて、移動体 1 の画像を変化させていることになる。この実施形態の方法では、移動体 1の位置および姿勢を把握して、るため、位置および姿勢に対応した移動体 1の画像を生成して、仮想環境画像に複合させることができる。したがって、この実施形態の方法は、回線速度が非常に低、場合 (例えば月探査ロボットから地球への無線信号など)でも、実時間での移動体 1の操作が容易となるという利点がある。

[0069] なお、仮想環境画像に複合させる移動体 1の画像を半透明とすることもできる。このようにすれば、仮想視点からの画像において、移動体 1の背後が死角になることを防止でき、移動体 1の操作をより一層容易とすることができる。また、移動体 1の画像を透明とし、非透明の画像と交互に表示することによつても、同様の利点を得ることができる。半透明に代えて、移動体 1をワイヤフレーム画像としても、これらと同様の利点を得ることができる。さらに、複合画像内に移動体 1の影を付加することにより、よりリアリティを増すこともできる。

[0070] さらに、通常、移動体 1に搭載されたカメラ 11からの映像を直接用いる遠隔操作では、移動体 1自身の揺れが画像の揺れに直接つながる。このように揺れている画像を用いて移動体 1の操作を行う操作者は、自分自身が振動を直接受けて、な、のにもかかわらず揺れ画像を用いて移動体 1の操作を行っているため、酔ってしまうことがある。前記した本実施形態の方法では、移動体 1が振動を受けて、カメラ 11での取得画像自体が揺れていたとしても、操作者には、固定された環境 (仮想環境画像)のなかで移動体 1のみが揺れている複合画像を提示することができる。したがって、この方法によれば、操作者のカメラ酔、を防止することができる。

[0071] 前記した実施形態の実行は、当業者にはコンピュータを用いて容易に実行可能である。そのためのプログラムは、コンピュータで読み取り可能な記録媒体、例えば HD 、 FD、 CD、 MOなど、任意のものに格納できる。

[0072] なお、前記実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。実施形態における各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。

[0073] 例えば、前記実施形態では、移動体として自走式ロボットとしたが、これに限らず、遠隔操作されたあるいは操作者が搭乗する移動体（自動車やヘリコプターなど)でもよい。さらには、移動体は、自走式に限らず、外部からの力で移動させられるものでもよい。そのようなものの例としては、内視鏡手術における内視鏡の先端部分や、根元が固定されたマニピュレータの先端部が挙げられる。

[0074] さらに、移動体としては、人間や動物であってもよい。例えば、人間や動物自身に力メラを搭載して、自身の背後力もの映像を取得するためには、相当に大がかりな装置を必要とする。これに対して、本実施形態の方法では、人間等にカメラを搭載して複合画像を生成することにより、自身の背後からの映像を簡単に得ることができる。このため、この方法を、例えばスポーツのトレーニングに活用することもできる。さらには、自身の背後力もの画像を撮影すること自体が困難なであるような活動 (例えばスキーやサーフィン）においても、環境内での自身の状態を実時間に (またはデータを蓄積した上でオンデマンドで)確認することが可能となる。

[0075] また、空間計測センサとして超音波カメラを使った場合には、これを水中移動体や内視鏡へ搭載することにより、水中や体内等での環境情報を取得し、これに基づく仮想環境画像を生成することが可能となる。

[0076] さらに、前記実施形態では、移動体画像を有する複合画像を提示するものとしたが

、移動体画像を複合させずに、仮想環境画像を提示する方法ないしシステムとしてもよい。この場合も、過去情報を用いて広視野の画像を提示できるので、移動体 1の操作の容易性を向上させることができる。

[0077] また、移動体に対する空間計測センサ (例えばカメラ)の配置位置は、移動体の先端に限らず、後部、周縁部など、どこであってもよい。

[0078] さらに、前記実施形態では、移動体を一つとしたが、移動体は複数であってもよい。

この場合、複数の移動体は、前記した移動体の構成を備えているものとする。このようにすれば、環境情報、および、空間計測センサのパラメータを統一的なフォーマットで保存しておく限り、複数の移動体間、あるいは、同種または異種の空間計測センサ間の情報を共有できる。

[0079] これにより、当該移動体自身では行ったことがない環境情報を利用することができ、例えば、他の移動体が取得した画像を用いて、障害物の裏側を透視した仮想環境画像を提示できるなどの利点がある。

[0080] なお、現時点では空間計測センサの死角に入ってしまっている障害物に関しては、単一の移動体自身が過去に取得した環境画像を利用して、このような障害物を含んだ仮想環境画像を提示することが可能である。

[0081] さらに、提示される仮想環境画像または移動体画像は、予測により生成されたものであってもよい。予測は、例えば、移動体 1の速度や加速度に基づいて行うことができる。このよう〖こすると、将来の状況を操作者に提示できるので、移動体の操作性を一層向上させることが可能となる。

[0082] また、前記実施形態のステップ 2— 6では、仮想視点から見た移動体 1の画像を、移動体 1の位置および姿勢の情報に基づいて生成している。しかしながら、移動体の姿勢が重要でない場合は、移動体 1の位置に基づいて移動体 1の画像を生成する場合もありうる。

また、前記実施形態を実現するための各部 (機能ブロックを含む)の具体的手段は、ハードウェア（例えばコンピュータやセンサ）、コンピュータソフトウェア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができる。

さらに、機能ブロックどうしが複合して一つの機能ブロックまたは装置に集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックまたは装置の協働により実現されても良い。

図面の簡単な説明

[0083] [図 1]本発明の一実施形態に係る画像生成システムの概略を示すブロック図である。

[図 2]本発明の一実施形態に係る画像生成方法を説明するためのフローチャートである。

[図 3]本発明の一実施形態に係る画像生成方法において用いられる画像の例を示す説明図である。

[図 4]本発明の実施例に係る画像生成方法において用いられる画像の例を示す説明図である。

[図 5]本発明の実施例に係る画像生成方法において用いられる画像の例を示す説明図である。

[図 6]本発明の実施例に係る画像生成方法において用いられる画像の例を示す説明図である。

符号の説明

[0084] 1 移動体

11 カメラ (空間計測センサ）

12 移動体の本体

13 インタフェース §

14 カメラ駆動部

15 姿勢センサ

16 本体駆動部制御部インタフエ処理部記憶部入力部情報取得部画像提示部

Claims

請求の範囲 [1] 次のステップを含むことを特徴とする画像生成方法：

(4)仮想視点の指定を受け取るステップ；

[2] さらに以下のステップを含むことを特徴とする請求項 1記載の画像生成方法：

[3] 前記環境情報は複数の静止画であることを特徴とする請求項 1または 2に記載の生成方法。

[4] 前記環境情報は動画であることを特徴とする請求項 1一 3のいずれか 1項に記載の生成方法。

[5] 前記ステップ (6)における前記移動体自身のパラメータは、「前記仮想視点を指定した時点またはその近傍から、生成された前記複合画像が提示される時点までの間におけるいずれかの時点」におけるものであることを特徴とする請求項 2— 4のいずれ力 1項に記載の生成方法。

[6] 前記移動体は自走可能であることを特徴とする請求項 1一 5のいずれか 1項に記載の生成方法。

[7] 前記仮想視点は、前記移動体の周辺の環境および Zまたは操作者が見たヽ地点の周辺の環境を見る位置に存在していることを特徴とする請求項 1一 6のいずれか 1 項に記載の生成方法。

[8] 前記仮想視点は、前記移動体を背後から見る位置に存在して、ることを特徴とする請求項 1一 7のいずれか 1項に記載の生成方法。

[9] 前記ステップ（2)における「空間計測センサ自身のパラメータ」とは、「空間計測センサ自身の位置および姿勢」および Zまたは、「空間計測センサ自身により得られたデータ空間と実空間との関係を表すデータ、行列もしくはテーブル」を含むものであることを特徴とする請求項 1一 8のいずれ力 1項記載の生成方法。

[10] 前記ステップ（5)における「過去情報に基づいて生成する」とは、「前記環境情報に含まれるいずれかの画像を、前記環境情報を取得した時の前記空間計測センサ自身の位置と前記仮想視点との近さに基づ、て選択する」ことである請求項 1一 9のヽずれか 1項に記載の生成方法。

[11] 前記ステップ（5)における「過去情報に基づいて生成する」とは、「過去情報を用いて新たに生成する」ことである請求項 1一 9のいずれか 1項に記載の生成方法。

[12] 前記仮想環境画像は静止画であることを特徴とする請求項 1一 11のいずれか 1項に記載の生成方法。

[13] 前記ステップ（7)における前記複合画像に含まれる前記移動体自身の画像は透明

、半透明、またはワイヤフレームの画像であることを特徴とする請求項 2— 12のいずれか 1項に記載の生成方法。

[14] 前記移動体自身のパラメータには、前記移動体の位置を含むことを特徴とする請求項 2— 13のいずれか 1項に記載の生成方法。

[15] 前記移動体自身のパラメータには、前記移動体の姿勢をさらに含むことを特徴とする請求項 14に記載の生成方法。

[16] 請求項 2— 15のいずれか 1項の方法により生成された複合画像を提示する提示方法。

[17] 移動体と制御部と情報取得部とを備えており、

前記移動体は、環境情報を取得する空間計測センサを備えており、

前記制御部は、次の機能を実行するものであることを特徴とする画像生成システム (a)前記環境情報と、前記環境情報を取得した時の時刻と、前記環境情報を取得した時の前記空間計測センサ自身のパラメータとを示す過去情報を保存する機能；

(b)指定された仮想視点の情報を受け取る機能；

[18] さらに情報取得部を備え、前記情報取得部は、前記移動体自身のパラメータを取得するものであり、前記制御部は、さらに次の機能を実行するものであることを特徴とする請求項 17記載の画像生成システム：

[19] 請求項 1一 16のいずれか 1項記載の方法におけるステップをコンピュータに実行させるコンピュータプログラム。

[20] 請求項 17または 18における前記制御部の機能をコンピュータに実行させるコンビユータプログラム。

[21] 請求項 1一 15のいずれか 1項記載の生成方法によって生成された前記仮想環境画像または前記複合画像を表す情報を含むデータ。

[22] 請求項 21記載のデータが記録された記録媒体。