[go: up one dir, main page]

JP3363861B2 - 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 - Google Patents

複合現実感提示装置及び複合現実感提示方法並びに記憶媒体

Info

Publication number
JP3363861B2
JP3363861B2 JP2000004716A JP2000004716A JP3363861B2 JP 3363861 B2 JP3363861 B2 JP 3363861B2 JP 2000004716 A JP2000004716 A JP 2000004716A JP 2000004716 A JP2000004716 A JP 2000004716A JP 3363861 B2 JP3363861 B2 JP 3363861B2
Authority
JP
Japan
Prior art keywords
subjective
objective
viewpoint
virtual object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000004716A
Other languages
English (en)
Other versions
JP2001195601A (ja
Inventor
清秀 佐藤
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000004716A priority Critical patent/JP3363861B2/ja
Priority to US09/658,463 priority patent/US7289130B1/en
Priority to EP00119769A priority patent/EP1117074A3/en
Publication of JP2001195601A publication Critical patent/JP2001195601A/ja
Application granted granted Critical
Publication of JP3363861B2 publication Critical patent/JP3363861B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、仮想物体を現実空
間に重畳表示する複合現実感提示装置及び複合現実感提
示方法並びに記憶媒体に関するものである。
【０００２】特にプレーヤが主観視点で観測している複
合現実感空間を、客観視点から見た映像として生成する
機能を有した複合現実感提示装置及び複合現実感提示方
法並びに記憶媒体に関するものである。
【０００３】
【従来の技術】従来の複合現実感（以下ＡＲ）ゲームシ
ステムはＡＲゲームの制御を行うＡＲゲーム装置と、Ａ
Ｒゲームを行うプレーヤが装着するヘッドマウントディ
スプレイ（以下ＨＭＤ）と、前記プレーヤの主観視点映
像をプレーヤ以外の第三者に提示するディスプレイと、
から構成されている。
【０００４】ＡＲゲーム装置はＡＲゲームの制御を行う
と同時に、仮想物体の描画に関する情報を生成してい
る。また、ＡＲゲーム装置は、この仮想物体の描画に関
する情報を用いて生成される仮想物体の映像と、ＨＭＤ
に装着または内蔵されたカメラによって撮像されるプレ
ーヤの主観視点における現実の空間の映像とを合成した
映像である合成映像を生成する。そしてこの合成映像
は、ＨＭＤの表示画面に表示される。プレーヤはこの合
成映像を見ながらＡＲゲームを行っている。また、プレ
ーヤ以外にもこのＡＲゲームを観戦する第三者にはこの
合成映像である、プレーヤの主観視点の映像を、プレー
ヤ以外の第三者に対して用意されたディスプレイに表示
することで、提示する。
【０００５】またいくつかのテレビの番組において、番
組の舞台のセットを仮想物体によって構成するバーチャ
ルスタジオが使われている。このバーチャルスタジオに
おいての番組の映像は、設定されたカメラにより撮像さ
れた番組の登場人物の実写映像と、このカメラの位置、
姿勢で見えるバーチャルスタジオの映像とを合成するこ
とで生成されている。
【０００６】
【発明が解決しようとする課題】従来のＡＲ（複合現実
感）ゲームシステムでは、プレーヤ以外の第三者（観戦
者）はプレーヤのために生成された映像（主にプレーヤ
の主観視点）しか見ることができない。よって、客観視
点から見たＡＲゲームの全体像や観戦者の希望の視点か
らのＡＲゲームの映像など、プレーヤの主観視点以外か
らの視点によるＡＲゲームの映像を見る事ができず、Ａ
Ｒゲーム全体の状況の把握や観戦者の希望の視点からの
ＡＲゲームの観戦ができなかった。
【０００７】また、バーチャルスタジオを用いた番組の
映像は、番組の登場人物以外の第三者の客観視点映像に
よるものであり、番組の登場人物の主観視点による映像
を生成することはできなかった。
【０００８】よって本発明では、プレーヤの主観視点に
よるＡＲゲームの映像の生成を行うと共に、客観視点か
ら見たＡＲゲームの全体像や観戦者の希望の視点からの
ＡＲゲームの映像の生成を行うことを目的とする。
【０００９】
【課題を解決するための手段】本発明の目的を達成する
ために、本発明の好適な実施形態である請求項１に記載
の複合現実感提示装置は以下の構成を備える。すなわ
ち、仮想物体を現実空間に重畳表示する複合現実感提示
装置であって、プレーヤの主観視点位置からみた前記現
実空間に前記プレーヤの前記主観視点位置からみた前記
仮想物体を重畳表示する複合現実感提示手段と、客観視
点位置からみた前記現実空間の客観視点映像を撮像する
客観視点映像撮像手段と、前記客観視点位置からみた前
記仮想物体の客観視点映像を生成する客観視点映像生成
手段と、前記現実空間の客観視点映像と前記仮想物体の
客観視点映像とから、前記客観視点から見た複合現実感
映像を合成する客観視点映像合成手段とを備える。
【００１０】その結果、複合現実感空間においてプレー
ヤが仮想物体を操作している様子を客観視点位置から見
た映像を生成して、プレーヤ以外の第三者に提示するこ
とができる。
【００１１】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項２に記載の以下の特徴を備え
る。すなわち、前記複合現実感提示手段は更に、前記プ
レーヤの前記主観視点位置からみた前記現実空間の主観
視点映像を撮像する主観視点映像撮像手段と、前記プレ
ーヤの前記主観視点位置からみた前記仮想物体の主観視
点映像を生成する主観視点映像生成手段と、前記現実空
間の主観視点映像と前記仮想物体の主観視点映像とか
ら、前記主観視点から見た複合現実感映像を合成する主
観視点映像合成手段と、前記主観視点位置からみた複合
現実感映像を前記プレーヤに提示する提示手段とを備え
る。
【００１２】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項３に記載の以下の特徴を備え
る。すなわち、前記複合現実感提示手段は更に、前記プ
レーヤの前記主観視点位置からみた前記仮想物体の主観
視点映像を生成する主観視点映像生成手段と、前記現実
空間を透過して目視可能な表示面上において、前記仮想
物体の主観視点映像を前記プレーヤに提示する提示手段
とを備える。
【００１３】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項４に記載の以下の特徴を備え
る。すなわち、前記仮想物体の描画に関する情報を生成
する情報生成手段を更に有し、前記客観視点映像生成手
段と前記主観視点映像生成手段は、共に前記仮想物体の
描画に関する情報を用いて前記仮想物体の映像を生成す
ることを特徴とする。
【００１４】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項５に記載の以下の特徴を備え
る。すなわち、前記情報生成手段は前記仮想物体の描画
に関する情報として、前記仮想物体の外観の情報と、仮
想物体の位置姿勢の情報とを生成することを特徴とす
る。
【００１５】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項６に記載の以下の特徴を備え
る。すなわち、前記客観視点映像撮像手段のパラメータ
は既知であり、前記客観視点映像生成手段は、既知の前
記パラメータにしたがって前記仮想物体の客観視点映像
を生成することを特徴とする。
【００１６】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項７に記載の以下の特徴を備え
る。すなわち、前記客観視点映像撮像手段のパラメータ
の一部は可変であり、前記パラメータの変化を計測する
計測手段をさらに有し、前記客観視点映像生成手段は、
前記計測手段により計測された前記パラメータにしたが
って前記仮想物体の客観視点映像を生成することを特徴
とする。
【００１７】客観視点映像撮像手段のパラメータが変更
される場合には、客観視点映像生成手段は計測手段より
パラメータを入力し、それに応じた客観視点映像を生成
する。
【００１８】更に、本発明の好適な実施形態である複合
現実感提示装置は請求項８に記載の以下の特徴を備え
る。すなわち、前記計測手段が計測する前記客観視点映
像撮像手段の前記パラメータは、少なくとも視点の位置
姿勢、ズーム比率のうち一つを含むことを特徴とする。
【００１９】仮想物体の客観視点映像は、客観視点映像
撮像手段のカメラパラメータ（外部パラメータ（視点の
位置姿勢）と内部パラメータ（ズーム比率、アスペクト
比、光軸中心位置、歪み率））に応じて生成される。計
測手段が計測するカメラパラメータは、これらのパラメ
ータのうち動的に変更されるもの全てを含むことが好適
である。
【００２０】
【発明の実施の形態】以下添付図面に従って、本発明を
適用した好適な実施形態を詳細に説明する。
【００２１】［第１の実施形態］本発明の好適な実施形
態の一つとして、本実施形態ではＡＲ（複合現実感）空
間においてプレーヤがＡＲゲームを行っている様子を、
プレーヤ以外の第三者（以下、観戦者）に提示する複合
現実感提示装置及び複合現実感提示方法を示す。
【００２２】図１に本実施形態を示す。
【００２３】１０１はＡＲ（複合現実感）ゲームを行っ
ているプレーヤで、頭部にヘッドマウントディスプレイ
（以下、ＨＭＤ）１０７を装着している。なお、本実施
形態におけるＨＭＤ１０７はビデオシースルーのタイプ
である。ビデシースルーのタイプのＨＭＤについては公
知の技術のために、ここでの説明は省く。
【００２４】１０２は仮想物体で、ＡＲゲームに登場す
るキャラクタである。この仮想物体１０２はポリゴンに
より構成された三次元仮想物体である。仮想物体１０２
はＡＲゲーム装置１０４により後述する方法によって生
成される。そして、プレーヤ１０１はＨＭＤ１０７を頭
部に装着することで現実空間に仮想物体１０２が重畳さ
れた映像（以下、ＡＲ映像）を主観視点から見ることが
でき、その結果ＡＲゲームを行うことができる。なお、
仮想物体１０２の構成要素はポリゴンに限ったことでは
ない。他にも光線空間データにより構成されていてもよ
い。
【００２５】１０３は客観視点映像撮像カメラ（以下、
カメラ）１０３で、プレーヤ１０１がＡＲゲームを行っ
ている様子を撮像するカメラである。本実施形態におい
てはこのカメラ１０３は所定の位置、姿勢に固定されて
いる。また、カメラ１０３によって撮像された映像（以
下、客観視点実写映像）は図中のケーブルを介してＡＲ
ゲーム装置１０４に送られる。なお、撮像された映像は
実写映像であり、この実写映像に仮想物体１０２は撮像
されていない。
【００２６】１０４はＡＲゲーム装置で、ＡＲゲームの
制御や、仮想物体１０２の映像の生成、ＨＭＤ１０７及
びディスプレイ１０６に出力するＡＲ映像の生成を行っ
ている。ここで、ＡＲゲーム装置１０４がＨＭＤ１０７
に出力する映像は、ＨＭＤ１０７から入力した現実空間
の実写映像（以下、主観視点実写映像）と、主観視点か
ら見た仮想物体１０２の映像（以下、主観視点仮想映
像）とを合成したＡＲ映像（以下、主観視点ＡＲ映像）
である。一方、ＡＲゲーム装置１０４がディスプレイ１
０６に出力する映像は、客観視点から見た仮想物体１０
２の映像（以下、客観視点仮想映像）とカメラ１０３に
より撮像された客観視点実写映像とを合成したＡＲ映像
（以下、客観視点ＡＲ映像）である。
【００２７】１０５はＡＲゲームにおいて使用される現
実物体の台である。
【００２８】１０６はディスプレイで、上述のとうりＡ
Ｒゲーム装置１０４により生成された客観視点ＡＲ映像
を表示することで、プレーヤ１０１がＡＲゲームを行っ
ている様子をプレーヤ１０１以外の第三者に提示する。
【００２９】１０７は上述のＨＭＤで、ＡＲゲーム装置
１０４によって生成された主観視点ＡＲ映像をＨＭＤ１
０７の図５に示す表示画面５０１に表示する。またＨＭ
Ｄ１０７は、プレーヤ１０１の主観視点から見た主観視
点実写映像を撮像する。撮像された映像は図中のケーブ
ルを介してＡＲゲーム装置１０４に送られる。
【００３０】以上の構成に基づいて、ＡＲゲーム装置１
０４がＨＭＤ１０７とディスプレイ１０６とにそれぞれ
主観視点ＡＲ映像、客観視点ＡＲ映像を表示するまでの
処理の流れについて、この処理の流れを示した図２を使
って説明する。
【００３１】２０１はＡＲゲーム装置１０４に内蔵され
ているゲーム状態管理部で、ＡＲゲームの状態（仮想物
体１０２の描画に関する情報、プレーヤ１０１のスコ
ア、ＡＲゲームラウンド数等）を管理する。ここで、仮
想物体１０２の描画に関する情報は、仮想物体１０２の
外観の情報と、世界座標系における仮想物体１０２の位
置姿勢の情報により構成されている。
【００３２】仮想物体１０２の外観の情報は、仮想物体
１０２を構成するポリゴンに関する情報であり、ポリゴ
ンの数、各ポリゴンの座標値、各ポリゴンのカラー等で
ある。仮想物体１０２にテクスチャマッピングが施され
ている場合には、テクスチャの大きさ、テクスチャのフ
ァイル名なども、仮想物体１０２の外観の情報に含まれ
る。
【００３３】２０４はカメラパラメータ計測管理部で、
ＨＭＤ１０７とカメラ１０３のパラメータであるカメラ
パラメータの計測／管理を行っている。カメラパラメー
タ計測管理部２０４が管理するカメラパラメータには、
外部パラメータである視点の位置と姿勢の情報と、内部
パラメータである画角や焦点距離、歪み等の情報が含ま
れる。カメラパラメータ計測管理部２０４は、既知の情
報としてＨＭＤ１０７の内部パラメータを保持すると同
時に、ＨＭＤ１０７の図不示のセンサを制御して、ＨＭ
Ｄ１０７の外部パラメータ（視点の位置と姿勢の情報）
を計測し、ＨＭＤ１０７のカメラパラメータを管理して
いる。またカメラパラメータ計測管理部２０４は、既知
の情報として、カメラ１０３のカメラパラメータを管理
している。
【００３４】２０２はＡＲゲーム装置１０４に内蔵され
ている客観視点映像生成部で、ゲーム状態管理部２０１
から入力される仮想物体１０２の描画に関する情報に基
づいて、客観視点仮想映像を生成する。
【００３５】２０３はＡＲゲーム装置１０４に内蔵され
ている客観視点映像合成部で、客観視点映像生成部２０
２により生成された客観視点仮想映像と、カメラ１０３
から入力される客観視点実写映像とを合成して客観視点
ＡＲ映像を生成する。
【００３６】まず、主観視点映像の生成について説明す
る。
【００３７】ゲーム状態管理部２０１は仮想物体１０２
の描画に関する情報を必要に応じて更新し、更新情報を
主観視点映像生成部２１２に出力する。主観視点映像生
成部２１２は、ゲーム状態管理部２０１から入力した仮
想物体１０２の描画に関する情報と、カメラパラメータ
計測管理部２０４から入力したＨＭＤ１０７のカメラパ
ラメータに基づいて、仮想物体１０２の映像を生成す
る。具体的には仮想物体１０２の位置姿勢の情報と、Ｈ
ＭＤ１０７のカメラパラメータから、後述する方法に基
づいて、物体座標系からＨＭＤ１０７の画像座標系への
座標変換行列Ｍ１を算出する。仮想物体１０２を構成す
る各ポリゴンの物体座標系における頂点座標値に算出し
た座標変換行列Ｍ１を掛けることで、仮想物体１０２を
構成する各ポリゴンの頂点の画像座標値を算出し、ＨＭ
Ｄ１０７の視点位置姿勢から見た仮想物体１０２の映像
（主観視点仮想映像）を生成する。そして生成された主
観視点仮想映像は主観視点映像合成部２１３に出力され
る。
【００３８】主観視点映像合成部２１３には、プレーヤ
１０１がＨＭＤ１０７を介して見る主観視点実写映像が
ＨＭＤ１０７より入力される。そして主観視点映像合成
部２１３はこの主観視点実写映像と主観視点映像生成部
２１２から入力した主観視点仮想映像との合成映像であ
る主観視点ＡＲ映像を生成し、ＨＭＤ１０７にこの主観
視点ＡＲ映像を出力する。主観視点ＡＲ映像はＨＭＤ１
０７の表示画面５０１に表示され、プレーヤ１０１はこ
の主観視点ＡＲ映像を見て、ＡＲゲームを行う。
【００３９】次に客観視点映像の生成について説明す
る。
【００４０】ゲーム状態管理部２０１は、仮想物体１０
２の描画に関する情報を必要に応じて更新し、更新情報
を客観視点映像生成部２０２に出力する。
【００４１】仮想物体１０２の映像の生成については、
主観視点映像の生成においての処理と同じ処理なので、
ここでは説明は省く。
【００４２】客観視点映像生成部２０２は、ゲーム状態
管理部２０１から入力した仮想物体１０２の描画に関す
る情報と、カメラパラメータ計測管理部２０４から入力
されるカメラ１０３のカメラパラメータに基づいて、仮
想物体１０２の映像を生成する。具体的には、仮想物体
１０２の位置姿勢の情報と、カメラ１０３のカメラパラ
メータから、後述する方法に基づいて、物体座標系から
カメラ１０３の画像座標系への座標系変換行列Ｍ２を算
出する。仮想物体１０２を構成する各ポリゴンの物体座
標系における頂点座標値に、算出した座標変換行列Ｍ２
を掛けることで、仮想物体１０２を構成する各ポリゴン
の頂点の画像座標値を算出し、カメラ１０３の視点位置
姿勢から見た仮想物体１０３の映像（客観視点仮想映
像）を生成する。そして生成された客観視点仮想映像は
客観視点映像合成部２０３に出力される。
【００４３】客観視点映像合成部２０３にはカメラ１０
３より客観視点実写映像が入力される。そして客観視点
映像合成部２０３はこの客観視点実写映像と客観視点映
像生成部２０２から入力した客観視点仮想映像との合成
映像である客観視点ＡＲ映像を生成し、ディスプレイ１
０６にこの客観視点ＡＲ映像を出力する。この客観視点
ＡＲ映像はディスプレイ１０６に表示され、観戦者はこ
の客観視点ＡＲ映像を見ることで、ＡＲゲームの全体像
を見ることができ、ＡＲゲームの状況を把握することが
できる。
【００４４】ここで、上述のとうり、各視点（ＨＭＤ１
０７，カメラ１０３）からみた仮想物体１０２を構成す
る各ポリゴンの頂点の画像座標値は、物体座標系から画
像座標系への座標変換行列Ｍ1またはＭ2によって算出可
能である。これらの座標変換行列の生成過程について、
図３に示すブロック図を用いて説明する。
【００４５】仮想物体１０２の位置姿勢の情報に基づい
て、物体座標系から世界座標系への座標変換行列Ｍmが
算出される。また、ＨＭＤ１０７とカメラ１０３のそれ
ぞれのカメラパラメータに含まれるそれぞれの視点の位
置と姿勢の情報に基づいて、世界座標系からカメラ座標
系への座標変換行列Ｍc1、Ｍc2がそれぞれ算出される。
また、ＨＭＤ１０７とカメラ１０３のそれぞれのカメラ
パラメータに含まれるそれぞれの画角や焦点距離、歪み
等の情報に基づいて、カメラ座標系から画像座標系への
透視変換を行なう座標変換行列Ｍd1、Ｍd2がそれぞれ算
出される。以上の各座標変換行列は主観視点映像生成部
２１２または客観視点映像生成部２０２において算出さ
れる。
【００４６】物体座標系からＨＭＤ１０７の画像座標系
への変換行列Ｍ1は、 Ｍ1＝Ｍd1Ｍc1Ｍm によって算出される。一方、物体座標系からカメラ１０
３の画像座標系への変換行列Ｍ2は、 Ｍ2＝Ｍd2Ｍc2Ｍm によって算出される。以上の演算は主観視点映像生成部
２１２または客観視点映像生成部２０２で行われる。
【００４７】ここで、ＡＲゲーム装置１０４の内部の構
成とその動作について、ＡＲゲーム装置１０４の内部の
ブロック図を示した図７を用いて、説明する。
【００４８】７０１はＣＰＵで、ＲＡＭ７０３にロード
されるプログラムコードを実行する。また、プログラム
の実行中にデータを一時的に保存するエリアも備えてい
る。
【００４９】７０２はＲＯＭで、ＡＲゲーム装置１０４
の起動時、起動後の設定や、起動プログラムコードが格
納されている。又、ＡＲゲーム中にＨＭＤ１０７に出力
されるスコアなどを表示画面５０１に表示する際に用い
られる文字コードなども格納されている。
【００５０】７０３はＲＡＭで、外部の記憶媒体である
フロッピーディスクやＣＤ?ＲＯＭ等からロードされる
ＡＲゲームのプログラムコードや、仮想物体１０２を構
成するポリゴンやテクスチャのデータ等を格納する。
又、カメラ１０３の位置、姿勢のデータも格納してい
る。なお、ゲーム状態管理部２０１はＲＡＭ７０３に格
納されている仮想物体１０２を構成するポリゴン（テク
スチャ）のデータを参照し、管理している。
【００５１】７０４はインターフェイス部（以下、Ｉ／
Ｆ）で、ＡＲゲーム装置１０４と外部の装置と接続する
際に用いられる。ＨＭＤ１０７、カメラ１０３、ディス
プレイ１０６はすべてこのＩ／Ｆ７０４を介してＡＲゲ
ーム装置１０４に接続されている。
【００５２】７０５は操作部で、キーボード、マウスな
どのポインティングデバイスにより構成されており、Ａ
Ｒゲーム装置１０４の設定コマンドの入力や、ＡＲゲー
ム装置１０４に接続する周辺機器に対する設定コマンド
の入力を行うことができる。
【００５３】７０６は上述の各部を繋ぐバスである。な
おこのバス７０６に、ゲーム状態管理部２０１，客観視
点映像生成部２０２，客観視点映像合成部２０３，主観
視点映像生成部２１２，主観視点映像合成部２１３，カ
メラパラメータ計測管理部２０４が繋がれており、上述
のとうりＲＡＭ７０３にロードされるプログラムコード
により、バス７０６を介して制御されている。
【００５４】また、ＲＡＭ７０３にロードされたプログ
ラムコードをＣＰＵ７０１が実行することによりゲーム
状態管理部２０１，客観視点映像生成部２０２，客観視
点映像合成部２０３，主観視点映像生成部２１２，主観
視点映像合成部２１３，カメラパラメータ計測管理部２
０４の各部が上述の処理を行い、ＨＭＤ１０７及びディ
スプレイ１０６にそれぞれ主観視点ＡＲ映像、客観視点
ＡＲ映像が出力される。このプログラムコードのフロー
チャートを図８に示し、説明する。
【００５５】ステップＳ８０１において、カメラパラメ
ータ計測管理部２０４が、ＨＭＤ１０７の視点位置姿勢
の情報を更新する。
【００５６】ステップＳ８０２において、ゲーム状態管
理部２０１が、ゲームの状態（仮想物体１０２の描画に
関する情報）を更新する。
【００５７】ステップＳ８０３において、客観視点映像
生成部２０２と主観視点映像生成部２１２が、それぞれ
客観視点仮想映像と主観視点仮想映像を生成する。
【００５８】ステップＳ８０４において、客観視点映像
合成部２０３と主観視点映像合成部２１３が、それぞれ
ＨＭＤ１０７とカメラ１０３で撮像された実写映像を入
力する。
【００５９】ステップＳ８０５において、客観視点映像
合成部２０３と主観視点映像合成部２１３が、それぞれ
客観視点ＡＲ映像と主観視点ＡＲ映像を生成する。
【００６０】ステップＳ８０６において、客観視点映像
合成部２０３と主観視点映像合成部２１３が、それぞれ
客観視点ＡＲ映像をディスプレイ１０６に、主観視点Ａ
Ｒ映像をＨＭＤ１０７に出力する。
【００６１】以上の処理はＡＲゲームが終了するまで実
行される。
【００６２】以上の装置の構成、複合現実感提示方法、
プログラムコードにより、ビデオシースルーのタイプの
ＨＭＤ１０７を用いたＡＲゲームにおいて、プレーヤ１
０１以外の第三者に客観視点ＡＲ映像を提示することが
できる。
【００６３】［第２の実施形態］第１の実施形態では、
ＨＭＤ１０７はビデオシースルーのタイプのＨＭＤであ
ったが、ＨＭＤ１０７は光学シースルーのタイプであっ
てもプレーヤ１０１はＡＲゲームを行うことができる。
【００６４】図１３は光学シースルーのタイプのＨＭＤ
１３０１を示す図である。なお同図におけるＨＭＤ１３
０１は略図であり、ＨＭＤ１３０１は同図において示し
てある大きさ、形状に限ったものではない。
【００６５】１３０１は光学シースルーのタイプのＨＭ
Ｄで、１３０２はプレーヤ１０１の目である。
【００６６】表示画面５０１には仮想物体１０２の映像
（主観視点仮想映像）のみが表示される。一方、現実空
間の映像は目１３０２の位置から見て表示画面５０１の
奥に見える。よって、プレーヤ１０１は表示画面５０１
を見ることで、仮想物体１０２の映像と、目１３０２の
位置から見て表示画面５０１の奥に見える現実空間とを
重ねて見ることができる。
【００６７】本実施形態の処理の流れを表すブロック図
を図１４に示す。
【００６８】ＡＲゲーム装置１０４からＨＭＤ１３０１
に出力される映像は上述の説明のとうり、主観視点仮想
映像だけである。よって、ＨＭＤ１３０１と主観視点映
像生成部２１２とをケーブルを介して電気的に接続し、
主観視点映像生成部２１２において生成されたＨＭＤ１
３０１の位置、姿勢に基づいた主観視点仮想映像を主観
視点映像生成部２１２からＨＭＤ１３０１に送る。な
お、本実施形態では、第１の実施形態における主観視点
映像合成部２１３は存在しない。
【００６９】なお、客観視点ＡＲ映像の生成方法につい
ては第１の実施形態においての説明のとうりの方法であ
る。
【００７０】なお、本実施形態におけるＡＲゲーム装置
１０４の内部のブロック図は、図７の構成から主観視点
映像合成部２１３を除いたものである。
【００７１】なお、本実施形態のフローチャートは図８
のステップＳ８０４、ステップＳ８０５、ステップＳ８
０６を以下のように書き換えたフローチャートである。
【００７２】つまり、ＨＭＤ１３０１に表示する主観視
点ＡＲ映像（本実施形態においては、ＨＭＤ１３０１の
位置、姿勢に基づいた仮想物体１０２の映像のみ）の生
成においては、ステップＳ８０４，ステップＳ８０５は
不要となる。すなわち、ステップＳ８０４において、客
観視点映像合成部２０３がカメラ１０３で撮像された実
写映像を入力する。また、ステップＳ８０５において、
客観視点映像合成部２０３が客観視点ＡＲ映像を生成す
る。また、ステップＳ８０６においては、客観視点映像
合成部２０３が、客観視点ＡＲ映像をディスプレイ１０
６に出力し、主観視点映像生成部２１２が、主観視点仮
想映像をＨＭＤ１３０１に出力する。
【００７３】以上のとうりに図８を変更した結果、でき
たフローチャートが本実施形態におけるフローチャート
であり、本実施形態はこのフローチャートに従ったプロ
グラムコードにより制御されている。
【００７４】以上の装置の構成、複合現実感提示方法、
プログラムコードにより、光学シースルーのタイプのＨ
ＭＤ１３０１を用いたＡＲゲームにおいて、プレーヤ１
０１以外の第三者に客観視点ＡＲ映像を提示することが
可能となる。
【００７５】［第３の実施形態］第１、２の実施形態で
は、カメラ１０３のカメラパラメータは固定されてい
た。つまり、客観視点ＡＲ映像は固定されたカメラ１０
３のカメラパラメータに基づいた映像であった。そして
カメラ１０３のカメラパラメータのデータはＡＲゲーム
装置１０４の内部のＲＡＭ７０３に固定された値として
格納されていた。
【００７６】そこで、カメラ１０３のカメラパラメータ
のうち、視点の位置と姿勢をプレーヤ１０１，もしくは
プレーヤ１０１以外の第三者が希望する位置、姿勢にリ
アルタイムに変更する場合を考える。つまり、カメラ１
０３のカメラパラメータがリアルタイムに変更される場
合を考える。なお、本実施形態において用いるＨＭＤは
第１の実施形態において用いたビデオシースルーのタイ
プを用いる。しかし、本実施形態において用いることが
できるＨＭＤはビデオシースルーのタイプに限定された
ものではなく、光学シースルーのタイプであってもよい
ことは、第２の実施形態及び本実施形態における説明に
より明白である。
【００７７】カメラ１０３の位置、姿勢をリアルタイム
に変更したい場合には、第１の実施形態に、更にカメラ
１０３の位置、姿勢を計測する手段である計測手段を付
け加える必要がある。
【００７８】図４は本実施形態においての処理の流れを
示すブロック図である。以下同図を用いて本実施形態の
処理の流れについて説明する。
【００７９】第１の実施形態と同様に本実施形態におい
ても、カメラパラメータ計測管理部２０４は、ＨＭＤ１
０７のカメラパラメータを計測管理し、既知の情報とし
てカメラ１０３の内部パラメータを保持している。本実
施形態が第１の実施形態と異なるのは、カメラパラメー
タ計測管理部２０４が、カメラ１０３に装着した図不示
のセンサを制御して、カメラ１０３の外部パラメータ
（視点の位置と姿勢の情報）の計測を行なう点である。
【００８０】プレーヤ１０１が図不示のインターフェイ
スによりカメラ１０３の位置、姿勢を変更した場合、カ
メラパラメータ計測管理部２０４はカメラ１０３の位
置、姿勢を計測する。そして、カメラパラメータ計測管
理部２０４による計測結果のデータ（カメラ１０３の位
置、姿勢のデータ）と、既知の情報である内部パラメー
タは客観視点映像生成部２０２に出力される。そして客
観視点映像生成部２０２は、入力されたカメラ１０３の
カメラパラメータに基づいて、第１の実施形態において
の処理と同様に、客観視点仮想映像を生成する。その他
の処理については第１の実施形態と同様である。
【００８１】また、カメラ１０３の位置、姿勢を変化さ
せるインターフェイスの制御プログラムコード、及びカ
メラパラメータ計測管理部２０４の制御プログラムコー
ドはＡＲゲーム装置１０４のＲＡＭ７０３に格納されて
いる。
【００８２】また、本実施形態におけるフローチャート
は図８のフローチャートと同じである。ただし、ステッ
プＳ８０１において、カメラパラメータ計測管理部２０
４は、ＨＭＤ１０７とカメラ１０３の視点の位置と姿勢
の情報を更新する。
【００８３】以上の装置の構成、複合現実感提示方法、
プログラムコードにより、位置、姿勢が変化するカメラ
による客観視点ＡＲ映像の生成が可能になる。
【００８４】［第４の実施形態］第１乃至３の実施形態
においては、カメラは１台しか設定されていない。しか
し、カメラを複数台設定し、使用するカメラを切り替え
ることで、ディスプレイ１０６に、複数の位置、姿勢か
らの客観視点ＡＲ映像を表示することができる。
【００８５】図９は本実施形態におけるカメラシステム
を示しており、以下、同図を用いて、このカメラシステ
ムについて説明する。なお、本実施形態では３つのカメ
ラを設定する。
【００８６】９０１ａ、９０１ｂ、９０１ｃは位置、姿
勢、画角等のカメラパラメータが固定されたカメラ（カ
メラ９０１ａ、カメラ９０１ｂ、カメラ９０１ｃ）であ
る。機能については第１，２の実施形態におけるカメラ
と同じである。３つのカメラのそれぞれのカメラパラメ
ータは図１２に示す構成となっており、この３つのデー
タはＡＲゲーム装置１０４のＲＡＭ７０３にそれぞれ格
納され、カメラパラメータ計測管理部２０４において管
理されている。
【００８７】なお、図１２において１２０１，１２０
２，１２０３はそれぞれカメラ９０１ａ、カメラ９０１
ｂ、カメラ９０１ｃに対する（選択情報）タグで、使用
するカメラを選択する際に用いられる。
【００８８】９０２は、カメラの切り替え装置で、セレ
クタ９０３によって選択されたカメラからの信号（この
カメラにより撮像された現実空間の実写映像）のみを切
り替え装置９０２を通して、映像合成部２０３へ送るゲ
ートウェイとしての機能を持つ。
【００８９】９０３は、上述の機能を持つセレクタで、
３つのカメラにそれぞれ対応した３つのボタン（ボタン
Ａ、ボタンＢ、ボタンＣ）を有し、これらボタンの中か
ら一つを選んで押すことで、使用するカメラの選択を行
う。セレクタ９０３は、いずれのカメラを選択したかを
示す選択情報を、切替え装置９０２と、カメラパラメー
タ制御部２０４へ出力する。なお、図中のボタンＡを押
すとカメラ９０１ａが、ボタンＢを押すとカメラ９０１
ｂが、ボタンＣを押すとカメラ９０１ｃが、それぞれ使
用するカメラとして選択される。
【００９０】カメラパラメータ制御部２０４は、セレク
タ９０３から入力したカメラの選択情報にしたがって、
上述において説明したカメラのタグ（タグ１２０１，タ
グ１２０２，タグ１２０３）を選択し、選択されたカメ
ラのカメラパラメータを客観視点映像生成部２０２に出
力する。例えば、カメラ９０１ｂを使用する場合には、
ボタンＢを押すことにより、タグ１２０２が保持するカ
メラ９０１ｂのカメラパラメータが、客観視点映像生成
部２０２に出力される。
【００９１】本実施形態の処理のフローチャートを図１
０に示す。
【００９２】ステップＳ１００１においては、セレクタ
９０３のボタンが押されているか否かを判定する。な
お、ボタンが押されるまでこの処理を続ける。
【００９３】ステップＳ１００２、ステップＳ１００
３，ステップＳ１００４においては、どのボタンが押さ
れたかを判定する。ここでボタンＢが押されたとする
と、ステップＳ１００３からステップＳ１００６へ進
む。
【００９４】ステップＳ１００５，ステップＳ１００
６，ステップＳ１００７においては、押されたボタンに
対応したカメラにより撮像された実写映像が、切り替え
装置９０２を介して客観視点映像合成部２０３に送られ
る。また、押されたボタンに対応したカメラの選択情報
が、カメラパラメータ計測管理部２０４に送られる。
【００９５】以上のフローチャートに従ったプログラム
コードは、切り替え装置９０２の内部の図不示のメモリ
内に格納されている。
【００９６】なお、本実施形態において３つのカメラの
カメラパラメータは固定されていたが、それぞれのカメ
ラのカメラパラメータがリアルタイムに変化する場合に
おいても上述の装置の構成、複合現実感提示方法、プロ
グラムコードは適用可能である。その場合、第３の実施
形態において、カメラ１０３の代わりに、本実施形態の
カメラシステムをＡＲゲーム装置１０４に接続すること
で解決できる。
【００９７】以上の装置の構成、複合現実感提示方法、
プログラムコードにより、複数台のカメラによる複数の
客観視点ＡＲ映像をディスプレイ１０６に表示すること
ができる。
【００９８】［第５の実施形態］第１乃至４の実施形態
において、客観視点ＡＲ映像はディスプレイ１０６に出
力することで、このディスプレイ１０６を介してプレー
ヤ以外の第三者に提示ていたが、この客観視点ＡＲ映像
はプレーヤ１０１に提示してもよい。つまりプレーヤ１
０１が装着しているＨＭＤ（ビデオシースルーもしくは
光学シースルーのどちらのタイプでもよい）の表示画面
５０１に、図６に示すような表示領域６０１を設け、そ
こに客観視点ＡＲ映像を表示する。同図において、この
表示画面５０１に表示されている映像を以下、複合映像
と呼ぶ。
【００９９】この複合映像を生成するために、表示画面
５０１に表示領域６０１を設定し、その表示領域６０１
に客観視点ＡＲ映像を書き込むプログラムコードを、図
８に示したフローチャートに従ったプログラムコードに
加えて、ＡＲゲーム装置１０４のＲＡＭ７０３に格納す
る。その結果、このプログラムコードを実行すること
で、複合映像を表示画面５０１に表示することができ
る。
【０１００】上述において説明した、表示領域６０１に
客観視点ＡＲ映像を書き込むプログラムコードのフロー
チャートを図１１に示す。
【０１０１】ステップＳ１１０１においては、表示領域
６０１を設けるか否かの判断を行う。表示領域６０１を
設けるか否かの選択は、プレーヤ１０１がＡＲゲームを
行う際に用いる図不示の操作デバイスにこの選択のスイ
ッチを設けることで実現できる。又、操作部７０５か
ら、表示領域６０１を設けるか否かのコマンドの入力に
より行うこともできる。
【０１０２】ステップＳ１１０２においては、表示領域
６０１の表示位置の入力を行う。この入力は操作部７０
５から入力する。又は、プレーヤ１０１が前記操作デバ
イスを用いて入力してもよい。
【０１０３】ステップＳ１１０３においては、表示領域
６０１の大きさの入力を行う。この入力は操作部７０５
から入力する。又は、プレーヤ１０１が前記操作デバイ
スを用いて入力してもよい。
【０１０４】ステップＳ１１０４においては、表示画面
５０１に、ステップＳ１１０２，ステップＳ１１０３に
おいて設定が決まった表示領域６０１を設ける。
【０１０５】ステップＳ１１０５においては、表示領域
６０１に、客観視点映像合成部２０３にて生成された客
観視点ＡＲ映像を描画する。その結果、複合映像を生成
することができる。
【０１０６】なお、この複合映像はディスプレイ１０６
に出力しても良い。
【０１０７】以上の装置の構成、複合現実感提示方法、
プログラムコードにより、プレーヤ１０１に主観視点Ａ
Ｒ映像、客観視点ＡＲ映像の両方を提示することができ
る。 ［第６の実施形態］ＡＲゲームのプレーヤ１０２は複数
人でもよい。その場合、各プレーヤに対して各々の主観
視点からの主観視点ＡＲ映像を提供する必要がある。図
１５に各プレーヤに対して各プレーヤの主観視点からの
主観視点ＡＲ映像を提供するためのＡＲゲーム装置の内
部構成を示す。なおカメラ１０３は固定されており、カ
メラ１０３，ディスプレイに関する処理は第１の実施形
態と同じとする。
【０１０８】この図では３人のプレーヤを対象とした内
部構成を示す。よって３人の各プレーヤａ，ｂ，ｃに対
して、ＨＭＤ１０７Ａ，１０７Ｂ，１０７Ｃ、主観視点
映像合成部２１３Ａ，２１３Ｂ，２１３Ｃ、主観視点映
像生成部２１２Ａ，２１２Ｂ，２１２ＣをＡＲゲーム装
置１０４の内部に備える。そして３人のプレーヤａ，
ｂ，ｃはそれぞれＨＭＤ１０７Ａ，１０７Ｂ，１０７Ｃ
を装着する。また、本実施形態で用いるＨＭＤはビデオ
シースルーのタイプのものであるが、このＨＭＤは光学
シースルーのタイプでもよい。その際には、各ＨＭＤに
対する各主観視点映像合成部を省くことで解決できる。
【０１０９】そしてＡＲゲームが始まれば、各ＨＭＤ、
各主観視点映像生成部、各主観視点映像合成部で第１の
実施形態において説明したとうりの処理を行い、各プレ
ーヤに対して各プレーヤ向けに生成された主観視点ＡＲ
映像を各プレーヤが装着するＨＭＤ１０７Ａ，１０７
Ｂ，１０７Ｃに出力する。
【０１１０】なお、上述の装置の構成及び複合現実感提
示方法はプレーヤの数が３人であることに限定されたも
のではなく、このことは上述の説明より明白である。
【０１１１】また、以上の装置の構成及び複合現実感提
示方法により複数のプレーヤに対して主観視点ＡＲ映像
を提供することができる。
【０１１２】［第７の実施形態］第４の実施形態ではカ
メラ１０３が複数台設定されていても、客観視点ＡＲ映
像を表示するディスプレイ１０６は一つしかなかった。
【０１１３】しかし、このディスプレイ１０６は一つに
限定されたものではなく、複数台あってもよい。つまり
各カメラ１０３からの客観視点ＡＲ映像を複数台のディ
スプレイ１０６に分けて表示することで、すべてのカメ
ラ１０３からの客観視点ＡＲ映像を複数台のディスプレ
イ１０６によりプレーヤ１０１以外の第三者に見せるこ
とができる。
【０１１４】本実施形態では複数のカメラ１０３と複数
台のディスプレイ１０６を設定する場合について述べ
る。図１６に複数のカメラ１０３からの客観視点ＡＲ映
像を複数台のディスプレイ１０６に表示させるためのＡ
Ｒゲーム装置１０４の内部構成を示す。
【０１１５】この図では３つのカメラ１０３Ａ、１０３
Ｂ、１０３Ｃを設定し、それぞれのカメラ１０３Ａ、１
０３Ｂ、１０３Ｃからの客観視点ＡＲ映像を表示するデ
ィスプレイ１０６Ａ、１０６Ｂ、１０６Ｃを設定してい
る。そして各ディスプレイ１０６Ａ、１０６Ｂ、１０６
Ｃに対応した客観視点ＡＲ映像を生成するために各ディ
スプレイ１０６Ａ、１０６Ｂ、１０６Ｃに対応した客観
視点映像生成部２０２Ａ、２０２Ｂ、２０２Ｃ、客観視
点映像生成部２０３Ａ、２０３Ｂ、２０３ＣをＡＲゲー
ム装置１０４の内部に備える。
【０１１６】そしてＡＲゲームが始まれば、各カメラ、
各客観視点映像生成部、各客観視点映像合成部で第１の
実施形態において説明したとうりの処理を行い、各カメ
ラ１０３に対応した各ディスプレイ１０６に各カメラ１
０３からの客観視点ＡＲ映像が表示される。
【０１１７】なお、上述の装置の構成及び複合現実感提
示方法はディスプレイ１０６が３台に限定されたもので
はなく、このことは上述の説明により明白である。
【０１１８】また、以上の装置の構成及び複合現実感提
示方法により複数のカメラ１０３からの客観視点ＡＲ映
像をすべて複数のディスプレイ１０６によりプレーヤ１
０１以外の第三者に見せることができる。
【０１１９】［第８の実施形態］プレーヤ１０１にＡＲ
映像を提供する装置はゲーム装置以外でもよい。つま
り。ＡＲゲーム装置１０４の代わりに、内部の構成はほ
ぼ同じで、搭載されているプログラムコードがゲームの
プログラムコードではなく、ＡＲ空間においてショッピ
ングをするためのプログラムコードを搭載したＡＲ装置
を用いてもよいことは明白である。その結果、プレーヤ
１０１はＡＲ装置からの主観視点ＡＲ映像を見ることで
提示されているショッピングにおける商品を閲覧したり
することができ、ディスプレイ１０６にはその様子が客
観視点ＡＲ映像として表示されている。
【０１２０】なお、この主観視点ＡＲ映像、客観視点Ａ
Ｒ映像の生成については上述の実施形態と同様である。
【０１２１】［第９の実施形態］カメラ１０３の位置姿
勢やズーム率など、カメラパラメータが変化する場合、
センサではなく、カメラ１０３から入力する実写画像か
ら推定してもよい。その場合、カメラパラメータ計測管
理部２０４は実写映像を入力し、カメラパラメータを公
知の方法で推定する。又、この推定の際の誤差も考慮す
ると、センサによるカメラパラメータと、カメラパラメ
ータ計測管理部２０４の推定によるカメラパラメータと
の平均をとるなどの処理を施すことで、最終的に使用す
るカメラパラメータを決定することもできる。
【０１２２】［他の実施形態］上述の実施形態の目的
は、上述した実施形態の機能を実現するソフトウェアの
プログラムコードを記録した記憶媒体（または記録媒
体）を、システムあるいは装置に供給し、そのシステム
あるいは装置のコンピュータ（またはCPUやMPU）が記憶
媒体に格納されたプログラムコードを読み出し実行する
ことによっても、達成されることは言うまでもない。こ
の場合、記憶媒体から読み出されたプログラムコード自
体が上述した実施形態の機能を実現することになり、そ
のプログラムコードを記憶した記憶媒体は上述の実施形
態を構成することになる。
【０１２３】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオペレーテ
ィングシステム(OS)などが実際の処理の一部または全部
を行い、その処理によって上述した実施形態の機能が実
現される場合も含まれることは言うまでもない。
【０１２４】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって上述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【０１２５】以上の実施形態を上記記憶媒体に適用する
場合、その記憶媒体には、先に説明した（図８又は図１
０又は図１１に示す）フローチャートに対応するプログ
ラムコードが格納されることになる。
【発明の効果】プレーヤの主観視点によるＡＲゲームの
映像の生成を行うと共に、客観視点から見たＡＲゲーム
の全体像や観戦者の希望の視点からのＡＲゲームの映像
の生成を行う効果がある。
【図面の簡単な説明】
【図１】 第１の実施形態を示す図である。
【図２】 第１の実施形態の処理の流れを示すブロック
図である。
【図３】 仮想物体の物体座標を、各視点から見た画像
座標へ変換する座標変換行列を生成する過程を示す図で
ある。
【図４】 第３の実施形態の処理の流れを示すブロック
図である。
【図５】 第１乃至４の実施形態においてプレーヤに提
示される映像を示す図である。
【図６】 第５の実施形態においてプレーヤに提示され
る映像を示す図である。
【図７】 ＡＲゲーム装置の内部のブロック図を示す図
である。
【図８】 主観視点ＡＲ映像、客観視点ＡＲ映像を生成
するフローチャートである。
【図９】 第４の実施形態で用いるカメラシステムを示
す図である。
【図１０】 第４の実施形態におけるフローチャートで
ある。
【図１１】 第５の実施形態におけるフローチャートで
ある。
【図１２】 第４の実施形態において、複数のカメラの
カメラパラメータを示した図である。
【図１３】 光学シースルーのタイプのＨＭＤを説明す
る図である。
【図１４】 第２の実施形態の処理の流れを示すブロッ
ク図である。
【図１５】 第６の実施形態を示す図である。
【図１６】 第７の実施形態を示す図である。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−136706（ＪＰ，Ａ) 特開 平７−185130（ＪＰ，Ａ) 特開 平６−176131（ＪＰ，Ａ) 大島登志一 外３名，”ＡＲ２ホッケ ー：協調型複合現実感システムの実 現”，日本バーチャルリアリティ学会論 文誌，日本バーチャルリアリティ学会, 1998年 ６月30日，第３巻，第２号, ｐ．55−60 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 17/40 A63F 13/00 - 13/12 ＣＳＤＢ（日本国特許庁)

Claims (27)

    (57)【特許請求の範囲】
  1. 【請求項１】仮想物体を現実空間に重畳表示する複合現
    実感提示装置であって、 プレーヤの主観視点位置からみた前記現実空間に前記プ
    レーヤの前記主観視点位置からみた前記仮想物体を重畳
    表示する複合現実感提示手段と、 客観視点位置からみた前記現実空間の客観視点映像を撮
    像する客観視点映像撮像手段と、 前記客観視点位置からみた前記仮想物体の客観視点映像
    を生成する客観視点映像生成手段と、 前記現実空間の客観視点映像と前記仮想物体の客観視点
    映像とから、前記客観視点から見た複合現実感映像を合
    成する客観視点映像合成手段とを備えることを特徴とす
    る複合現実感提示装置。
  2. 【請求項２】前記複合現実感提示手段は更に、 前記プレーヤの前記主観視点位置からみた前記現実空間
    の主観視点映像を撮像する主観視点映像撮像手段と、 前記プレーヤの前記主観視点位置からみた前記仮想物体
    の主観視点映像を生成する主観視点映像生成手段と、 前記現実空間の主観視点映像と前記仮想物体の主観視点
    映像とから、前記主観視点から見た複合現実感映像を合
    成する主観視点映像合成手段と、 前記主観視点位置からみた複合現実感映像を前記プレー
    ヤに提示する提示手段とを備えることを特徴とする請求
    項１に記載の複合現実感提示装置。
  3. 【請求項３】前記複合現実感提示手段は更に、 前記プレーヤの前記主観視点位置からみた前記仮想物体
    の主観視点映像を生成する主観視点映像生成手段と、 前記現実空間を透過して目視可能な表示面上において、
    前記仮想物体の主観視点映像を前記プレーヤに提示する
    提示手段とを備えることを特徴とする請求項１に記載の
    複合現実感提示装置。
  4. 【請求項４】前記仮想物体の描画に関する情報を生成す
    る情報生成手段を更に有し、 前記客観視点映像生成手段と前記主観視点映像生成手段
    は、共に前記仮想物体の描画に関する情報を用いて前記
    仮想物体の映像を生成することを特徴とする請求項１乃
    至３に記載の複合現実感提示装置。
  5. 【請求項５】前記情報生成手段は前記仮想物体の描画に
    関する情報として、前記仮想物体の外観の情報と、仮想
    物体の位置姿勢の情報とを生成することを特徴とする請
    求項４に記載の複合現実感提示装置。
  6. 【請求項６】前記客観視点映像撮像手段のパラメータは
    既知であり、 前記客観視点映像生成手段は、既知の前記パラメータに
    したがって前記仮想物体の客観視点映像を生成すること
    を特徴とする請求項１または４に記載の複合現実感提示
    装置。
  7. 【請求項７】前記客観視点映像撮像手段のパラメータの
    一部は可変であり、 前記パラメータの変化を計測する計測手段をさらに有
    し、 前記客観視点映像生成手段は、前記計測手段により計測
    された前記パラメータにしたがって前記仮想物体の客観
    視点映像を生成することを特徴とする請求項１または４
    に記載の複合現実感提示装置。
  8. 【請求項８】前記計測手段が計測する前記客観視点映像
    撮像手段の前記パラメータは、少なくとも視点の位置姿
    勢、ズーム比率のうち一つを含むことを特徴とする請求
    項７に記載の複合現実感提示装置。
  9. 【請求項９】前記客観視点映像撮像手段が複数存在する
    場合、 前記複数の客観視点映像撮像手段から複数の前記現実空
    間の客観視点映像を入力して、選択したひとつの前記客
    観視点映像撮像手段から入力された前記現実空間の客観
    視点映像を前記客観視点映像合成手段に出力する選択手
    段を更に有し、 前記客観視点映像合成手段は、前記選択手段が選択した
    前記客観視点映像撮像手段のパラメータを用いて前記仮
    想物体の客観視点映像を生成することを特徴とする請求
    項１に記載の複合現実感提示装置。
  10. 【請求項１０】仮想物体を現実空間に重畳表示する複合
    現実感提示方法であって、 プレーヤの主観視点位置からみた前記現実空間に前記プ
    レーヤの前記主観視点位置からみた前記仮想物体を重畳
    表示する複合現実感提示工程と、 客観視点位置からみた前記現実空間の客観視点映像を撮
    像する客観視点映像撮像工程と、 前記客観視点位置からみた前記仮想物体の客観視点映像
    を生成する客観視点映像生成工程と、 前記現実空間の客観視点映像と前記仮想物体の客観視点
    映像とから、前記客観視点から見た複合現実感映像を合
    成する客観視点映像合成工程とを備えることを特徴とす
    る複合現実感提示方法。
  11. 【請求項１１】前記複合現実感提示工程は更に、 前記プレーヤの前記主観視点位置からみた前記現実空間
    の主観視点映像を撮像する主観視点映像撮像工程と、 前記プレーヤの前記主観視点位置からみた前記仮想物体
    の主観視点映像を生成する主観視点映像生成工程と、 前記現実空間の主観視点映像と前記仮想物体の主観視点
    映像とから、前記主観視点から見た複合現実感映像を合
    成する主観視点映像合成工程と、 前記主観視点位置からみた複合現実感映像を前記プレー
    ヤに提示する提示工程とを備えることを特徴とする請求
    項１０に記載の複合現実感提示方法。
  12. 【請求項１２】前記複合現実感提示工程は更に、 前記プレーヤの前記主観視点位置からみた前記仮想物体
    の主観視点映像を生成する主観視点映像生成工程と、 前記現実空間を透過して目視可能な表示面上において、
    前記仮想物体の主観視点映像を前記プレーヤに提示する
    提示工程とを備えることを特徴とする請求項１０に記載
    の複合現実感提示方法。
  13. 【請求項１３】前記仮想物体の描画に関する情報を生成
    する情報生成工程を更に有し、 前記客観視点映像生成工程と前記主観視点映像生成工程
    では、共に前記仮想物体の描画に関する情報を用いて前
    記仮想物体の映像を生成することを特徴とする請求項１
    ０乃至１２に記載の複合現実感提示方法。
  14. 【請求項１４】前記情報生成工程では前記仮想物体の描
    画に関する情報として、前記仮想物体の外観の情報と、
    仮想物体の位置姿勢の情報とを生成することを特徴とす
    る請求項１３に記載の複合現実感提示方法。
  15. 【請求項１５】客観視点映像撮像を行う手段のパラメー
    タは既知であり、 前記客観視点映像生成工程では、既知の前記パラメータ
    にしたがって前記仮想物体の客観視点映像を生成するこ
    とを特徴とする請求項１０または１３に記載の複合現実
    感提示方法。
  16. 【請求項１６】客観視点映像撮像を行う手段のパラメー
    タの一部は可変であり、 前記パラメータの変化を計測する計測工程をさらに有
    し、 前記客観視点映像生成工程は、前記計測工程において計
    測された前記パラメータにしたがって前記仮想物体の客
    観視点映像を生成することを特徴とする請求項１０また
    は１３に記載の複合現実感提示方法。
  17. 【請求項１７】前記計測工程において計測される客観視
    点映像撮像を行う手段の前記パラメータは、少なくとも
    視点の位置姿勢、ズーム比率のうち一つを含むことを特
    徴とする請求項１６に記載の複合現実感提示方法。
  18. 【請求項１８】前記客観視点映像撮像を行う手段が複数
    存在する場合、 前記複数の客観視点映像撮像を行う手段から複数の前記
    現実空間の客観視点映像を入力して、選択したひとつの
    前記客観視点映像撮像を行う手段から入力された前記現
    実空間の客観視点映像を前記客観視点映像合成を行う手
    段に出力する選択工程を更に有し、 前記客観視点映像合成工程では、前記選択工程において
    選択された前記客観視点映像撮像を行う手段のパラメー
    タを用いて前記仮想物体の客観視点映像を生成すること
    を特徴とする請求項１０に記載の複合現実感提示方法。
  19. 【請求項１９】コンピュータに読み込ませることで仮想
    物体を現実空間に重畳表示するプログラムコードを格納
    する記憶媒体であって、 プレーヤの主観視点位置からみた前記現実空間に前記プ
    レーヤの前記主観視点位置からみた前記仮想物体を重畳
    表示する複合現実感提示工程のプログラムコードと、 客観視点位置からみた前記現実空間の客観視点映像を撮
    像する客観視点映像撮像工程のプログラムコードと、 前記客観視点位置からみた前記仮想物体の客観視点映像
    を生成する客観視点映像生成工程のプログラムコード
    と、 前記現実空間の客観視点映像と前記仮想物体の客観視点
    映像とから、前記客観視点から見た複合現実感映像を合
    成する客観視点映像合成工程のプログラムコードとを備
    えることを特徴とするプログラムコードを格納する記憶
    媒体。
  20. 【請求項２０】前記複合現実感提示工程のプログラムコ
    ードは更に、 前記プレーヤの前記主観視点位置からみた前記現実空間
    の主観視点映像を撮像する主観視点映像撮像工程のプロ
    グラムコードと、 前記プレーヤの前記主観視点位置からみた前記仮想物体
    の主観視点映像を生成する主観視点映像生成工程のプロ
    グラムコードと、 前記現実空間の主観視点映像と前記仮想物体の主観視点
    映像とから、前記主観視点から見た複合現実感映像を合
    成する主観視点映像合成工程のプログラムコードと、 前記主観視点位置からみた複合現実感映像を前記プレー
    ヤに提示する提示工程のプログラムコードとを備えるこ
    とを特徴とする請求項１９に記載のプログラムコードを
    格納する記憶媒体。
  21. 【請求項２１】前記複合現実感提示工程のプログラムコ
    ードは更に、 前記プレーヤの前記主観視点位置からみた前記仮想物体
    の主観視点映像を生成する主観視点映像生成工程のプロ
    グラムコードと、 前記現実空間を透過して目視可能な表示面上において、
    前記仮想物体の主観視点映像を前記プレーヤに提示する
    提示工程のプログラムコードとを備えることを特徴とす
    る請求項１９に記載のプログラムコードを格納する記憶
    媒体。
  22. 【請求項２２】前記仮想物体の描画に関する情報を生成
    する情報生成工程のプログラムコードを更に有し、 前記客観視点映像生成工程のプログラムコードと前記主
    観視点映像生成工程のプログラムコードは、共に前記仮
    想物体の描画に関する情報を用いて前記仮想物体の映像
    を生成することを特徴とする請求項１９乃至２１に記載
    のプログラムコードを格納する記憶媒体。
  23. 【請求項２３】前記情報生成工程のプログラムコードは
    前記仮想物体の描画に関する情報として、前記仮想物体
    の外観の情報と、仮想物体の位置姿勢の情報とを生成す
    ることを特徴とする請求項２２に記載のプログラムコー
    ドを格納する記憶媒体。
  24. 【請求項２４】前記客観視点映像撮像を行う手段のパラ
    メータは既知であり、 前記客観視点映像生成工程のプログラムコードは、既知
    の前記パラメータにしたがって前記仮想物体の客観視点
    映像を生成することを特徴とする請求項１９または２１
    に記載のプログラムコードを格納する記憶媒体。
  25. 【請求項２５】前記客観視点映像撮像を行う手段のパラ
    メータの一部は可変であり、 前記パラメータの変化を計測する計測工程のプログラム
    コードをさらに有し、 前記客観視点映像生成工程のプログラムコードは、前記
    計測工程で計測された前記パラメータにしたがって前記
    仮想物体の客観視点映像を生成することを特徴とする請
    求項１９または２２に記載のプログラムコードを格納す
    る記憶媒体。
  26. 【請求項２６】前記計測工程で計測する客観視点映像撮
    像を行う手段の前記パラメータは、少なくとも視点の位
    置姿勢、ズーム比率のうち一つを含むことを特徴とする
    請求項２５に記載のプログラムコードを格納する記憶媒
    体。
  27. 【請求項２７】前記客観視点映像撮像を行う手段が複数
    存在する場合、 前記複数の客観視点映像撮像を行う手段から複数の前記
    現実空間の客観視点映像を入力して、選択したひとつの
    前記客観視点映像撮像を行う手段から入力された前記現
    実空間の客観視点映像を前記客観視点映像合成を行う手
    段に出力する選択工程のプログラムコードを更に有し、 前記客観視点映像合成工程のプログラムコードは、前記
    選択工程のプログラムコードが選択した前記客観視点映
    像撮像を行う手段のパラメータを用いて前記仮想物体の
    客観視点映像を生成することを特徴とする請求項１９に
    記載のプログラムコードを格納する記憶媒体。
JP2000004716A 2000-01-13 2000-01-13 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 Expired - Lifetime JP3363861B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000004716A JP3363861B2 (ja) 2000-01-13 2000-01-13 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
US09/658,463 US7289130B1 (en) 2000-01-13 2000-09-08 Augmented reality presentation apparatus and method, and storage medium
EP00119769A EP1117074A3 (en) 2000-01-13 2000-09-11 Augmented reality presentation apparatus and method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000004716A JP3363861B2 (ja) 2000-01-13 2000-01-13 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2001195601A JP2001195601A (ja) 2001-07-19
JP3363861B2 true JP3363861B2 (ja) 2003-01-08

Family

ID=18533473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000004716A Expired - Lifetime JP3363861B2 (ja) 2000-01-13 2000-01-13 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体

Country Status (3)

Country Link
US (1) US7289130B1 (ja)
EP (1) EP1117074A3 (ja)
JP (1) JP3363861B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293453A (ja) * 2006-04-21 2007-11-08 Canon Inc 画像からの色情報の取得方法
JP2007299062A (ja) * 2006-04-27 2007-11-15 Canon Inc 情報処理方法、情報処理装置
EP3136724A1 (en) 2015-08-27 2017-03-01 Canon Kabushiki Kaisha Wearable display apparatus, information processing apparatus, and control method therefor

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052542A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented reality-system zur einhaltung von qualitäts- bzw. sicherheitsanforderungen
JP4649050B2 (ja) 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
JP4878083B2 (ja) * 2001-03-13 2012-02-15 キヤノン株式会社 画像合成装置及び方法、プログラム
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2003346185A (ja) * 2002-05-24 2003-12-05 Olympus Optical Co Ltd 情報表示システム及び携帯情報端末
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
JP4235522B2 (ja) * 2003-09-25 2009-03-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP4125085B2 (ja) * 2002-10-16 2008-07-23 キヤノン株式会社 画像処理装置、画像処理方法
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7693702B1 (en) * 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
AU2003301043A1 (en) * 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
JP3992629B2 (ja) * 2003-02-17 2007-10-17 株式会社ソニー・コンピュータエンタテインメント 画像生成システム、画像生成装置、画像生成方法
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP4027294B2 (ja) * 2003-09-26 2007-12-26 株式会社国際電気通信基礎技術研究所 移動体検出装置、移動体検出方法及び移動体検出プログラム
JP4794453B2 (ja) 2003-10-24 2011-10-19 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
JP2005250748A (ja) * 2004-03-03 2005-09-15 Nippon Hoso Kyokai <Nhk> 映像合成装置、映像合成プログラムおよび映像合成システム
US8194002B2 (en) * 2004-09-14 2012-06-05 The Boeing Company Situational awareness components of an enhanced vision system
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US7774275B2 (en) 2005-02-28 2010-08-10 Searete Llc Payment options for virtual credit
US20060190283A1 (en) 2005-02-04 2006-08-24 Searete Llc Participating in risk mitigation in a virtual world
US8512143B2 (en) 2005-07-18 2013-08-20 The Invention Science Fund I, Llc Third party control over virtual world characters
US8556723B2 (en) 2005-02-04 2013-10-15 The Invention Science Fund I. LLC Third party control over virtual world characters
US8566111B2 (en) 2005-02-04 2013-10-22 The Invention Science Fund I, Llc Disposition of component virtual property rights
US8473382B2 (en) 2006-02-28 2013-06-25 The Invention Science Fund I, Llc Virtual collateral for real-world obligations
US7937314B2 (en) 2005-10-21 2011-05-03 The Invention Science Fund I Disposition of component virtual property rights
US8271365B2 (en) * 2005-02-04 2012-09-18 The Invention Science Fund I, Llc Real-world profile data for making virtual world contacts
US7890419B2 (en) * 2005-02-04 2011-02-15 The Invention Science Fund I, Llc Virtual credit in simulated environments
US7958047B2 (en) * 2005-02-04 2011-06-07 The Invention Science Fund I Virtual credit in simulated environments
US8457991B2 (en) 2005-02-04 2013-06-04 The Invention Science Fund I, Llc Virtual credit in simulated environments
US8060829B2 (en) 2005-04-15 2011-11-15 The Invention Science Fund I, Llc Participation profiles of virtual world players
US7720687B2 (en) * 2005-10-03 2010-05-18 The Invention Science Fund I, Llc Virtual world property disposition after real-world occurrence
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
FR2889761A1 (fr) * 2005-08-09 2007-02-16 Total Immersion Sa Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
US7920165B2 (en) * 2005-09-26 2011-04-05 Adderton Dennis M Video training system
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
JP4834424B2 (ja) * 2006-03-03 2011-12-14 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
EP1837060A1 (en) * 2006-03-21 2007-09-26 In Fusio (S.A.) Method for displaying interactive video content from a video stream in a display of a user device
JP4795091B2 (ja) 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
JP4810295B2 (ja) 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
JP4757115B2 (ja) 2006-06-28 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20110175903A1 (en) * 2007-12-20 2011-07-21 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
US8231465B2 (en) * 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
AU2008365306B2 (en) * 2008-12-19 2014-02-13 Saab Ab System and method for mixing a scene with a virtual scenario
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8379056B2 (en) * 2009-02-27 2013-02-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for providing a video signal of a virtual image
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US20110065496A1 (en) * 2009-09-11 2011-03-17 Wms Gaming, Inc. Augmented reality mechanism for wagering game systems
US8506377B2 (en) 2010-09-30 2013-08-13 Disney Enterprises, Inc. Systems and methods to provide augmented reality for a board game
US20120120214A1 (en) * 2010-11-16 2012-05-17 Braun Gmbh Product Demonstration
US8881059B2 (en) * 2011-03-15 2014-11-04 Panasonic Intellectual Property Corporation Of America Object control device, object control method, computer-readable recording medium, and integrated circuit
US8836771B2 (en) 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US8854282B1 (en) * 2011-09-06 2014-10-07 Google Inc. Measurement method
JP5718197B2 (ja) 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US9155964B2 (en) 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US20130293580A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
EP2879098A4 (en) * 2012-07-27 2016-03-16 Nec Solution Innovators Ltd SYSTEM AND METHOD FOR THE JOINT USE OF THREE-DIMENSIONAL ENVIRONMENTS
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10713846B2 (en) * 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10363486B2 (en) 2013-06-10 2019-07-30 Pixel Press Technology, LLC Smart video game board system and methods
US9579573B2 (en) 2013-06-10 2017-02-28 Pixel Press Technology, LLC Systems and methods for creating a playable video game from a three-dimensional model
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
JP6011567B2 (ja) * 2014-03-10 2016-10-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US20150362733A1 (en) * 2014-06-13 2015-12-17 Zambala Lllp Wearable head-mounted display and camera system with multiple modes
US9846968B2 (en) * 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US9779554B2 (en) * 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
CN105107200B (zh) * 2015-08-14 2018-09-25 济南中景电子科技有限公司 基于实时深度体感交互与增强现实技术的变脸系统及方法
WO2017068824A1 (ja) * 2015-10-21 2017-04-27 シャープ株式会社 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US11163358B2 (en) 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US11181990B2 (en) 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10112111B2 (en) 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
BR112019016820B1 (pt) * 2017-04-11 2022-05-24 Dolby Laboratories Licensing Corporation Método para experiências de entretenimento aumentadas em camadas
US10656704B2 (en) * 2017-05-10 2020-05-19 Universal City Studios Llc Virtual reality mobile pod
JP2018198025A (ja) * 2017-05-25 2018-12-13 株式会社Ｆｉｖｅ ｆｏｒ 画像処理装置、画像処理装置の制御方法及びプログラム
CN109200586A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的游戏实现方法和装置
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
JP6799017B2 (ja) 2017-12-18 2020-12-09 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
WO2019130374A1 (ja) 2017-12-25 2019-07-04 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
JP6857795B2 (ja) 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP7364218B2 (ja) 2017-12-28 2023-10-18 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP6590324B2 (ja) 2017-12-28 2019-10-16 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
CN108159698A (zh) * 2017-12-29 2018-06-15 武汉艺术先生数码科技有限公司 基于ar的室内跑酷游戏模拟系统
CN108176051A (zh) * 2017-12-29 2018-06-19 武汉艺术先生数码科技有限公司 室内跑酷游戏模拟系统
US11870972B2 (en) 2018-10-02 2024-01-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
JP6611145B1 (ja) * 2018-10-05 2019-11-27 ｎｅｔｅｎ株式会社 三人称視点ｖｒシステム及びその使用方法
JP6849709B2 (ja) * 2019-01-17 2021-03-24 株式会社カプコン ゲームプログラムおよびゲームシステム
CN110211238A (zh) * 2019-05-20 2019-09-06 博彦科技（上海）有限公司 混合现实的显示方法、装置、系统、存储介质及处理器
CN110321005B (zh) * 2019-06-14 2025-07-25 深圳传音控股股份有限公司 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质
JP2020204856A (ja) * 2019-06-17 2020-12-24 株式会社バンダイナムコアミューズメント 画像生成システム及びプログラム
JP7029189B2 (ja) * 2020-03-06 2022-03-03 株式会社コナミデジタルエンタテインメント 視点確認システム
US20230260240A1 (en) * 2021-03-11 2023-08-17 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992009949A1 (en) * 1990-11-30 1992-06-11 Vpl Research, Inc. Improved method and apparatus for creating virtual worlds
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
RU2161871C2 (ru) * 1998-03-20 2001-01-10 Латыпов Нурахмед Нурисламович Способ и система для создания видеопрограмм
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大島登志一 外３名，"ＡＲ２ホッケー：協調型複合現実感システムの実現"，日本バーチャルリアリティ学会論文誌，日本バーチャルリアリティ学会，１９９８年 ６月３０日，第３巻，第２号，ｐ．５５−６０

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293453A (ja) * 2006-04-21 2007-11-08 Canon Inc 画像からの色情報の取得方法
JP2007299062A (ja) * 2006-04-27 2007-11-15 Canon Inc 情報処理方法、情報処理装置
US7782320B2 (en) 2006-04-27 2010-08-24 Canon Kabushiki Kaisha Information processing method and information processing apparatus
EP3136724A1 (en) 2015-08-27 2017-03-01 Canon Kabushiki Kaisha Wearable display apparatus, information processing apparatus, and control method therefor

Also Published As

Publication number Publication date
EP1117074A2 (en) 2001-07-18
EP1117074A3 (en) 2004-01-07
JP2001195601A (ja) 2001-07-19
US7289130B1 (en) 2007-10-30

Similar Documents

Publication Publication Date Title
JP3363861B2 (ja) 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
US6945869B2 (en) Apparatus and method for video based shooting game
US6724385B2 (en) Method of replaying game, recording medium, program, and entertainment system
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
JP2019054488A (ja) 提供装置および提供方法、プログラム
JP3625184B2 (ja) ゲーム用３次元画像処理方法、装置、ゲーム用３次元画像処理プログラムを記録した可読記録媒体及びビデオゲーム装置
JP2002251634A (ja) 画像処理装置及びその方法並びにプログラムコード、記憶媒体
JP2002196855A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
WO2005099842A1 (ja) ゲーム装置、コンピュータの制御方法及び情報記憶媒体
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
US20010023201A1 (en) Method of replaying game, recording medium, program, and entertainment system
US20230353717A1 (en) Image processing system, image processing method, and storage medium
JP3723301B2 (ja) 画像作成装置，画像表示装置およびゲーム装置
US20010036860A1 (en) Character display method, information recording medium and entertainment apparatus
WO2019123509A1 (ja) 端末装置、システム、プログラム及び方法
US12491435B2 (en) Rendering an avatar with virtual accessories
TW200820133A (en) Image processing device, controlling method of image processing device and information storing media
JP2007299062A (ja) 情報処理方法、情報処理装置
CN119383447A (zh) 图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法
JP2003141560A (ja) 画像生成方法、記録媒体、画像生成装置及びプログラム
WO2023145571A1 (ja) 情報処理装置、情報処理方法、データ構造及びプログラム
US6633291B1 (en) Method and apparatus for displaying an image
JP2023132320A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP2021182443A (ja) 送信装置および送信方法、プログラム
JP3227860B2 (ja) 電子遊戯機器及びその画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020930

R150 Certificate of patent or registration of utility model

Ref document number: 3363861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071025

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081025

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121025

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131025

Year of fee payment: 11

EXPY Cancellation because of completion of term