JP7023005B2 - 情報処理システム、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法およびプログラムに関する。

近年、仮想空間にオブジェクトを表示し、そのオブジェクトを変化させる技術が考えられている。例えば、特許文献１には、３次元の仮想空間にオブジェクトを表示し、外部からの入力に応じて、その表示態様を変化させる技術が開示されている。

特開２０００－２０７５８３号公報

上述したような技術においては、仮想空間に表示させるオブジェクトは、現実の空間に存在するものとは無関係である。そのため、現実と仮想空間とを関連付けることはできないという問題点がある。

本発明の目的は、現実の空間と関連した仮想空間を得ることができる情報処理システム、情報処理方法およびプログラムを提供することにある。

本発明の情報処理システムは、
撮像部と、
被写体を前記撮像部が撮像した画像と、あらかじめ登録された基準画像とに基づいて、前記被写体を推定する推定部と、
前記推定部が推定した被写体の属性をデータベースから読み出す属性読み出し部と、
前記属性読み出し部が読み出した属性を用いて、前記被写体を仮想空間に設定する仮想空間設定部とを有する。

また、本発明の情報処理方法は、
被写体をカメラが撮像した画像と、あらかじめ登録された基準画像とに基づいて、前記被写体を推定する処理と、
前記推定した被写体の属性をデータベースから読み出す処理と、
前記読み出した属性を用いて、前記被写体を仮想空間に設定する処理とを行う。

また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
コンピュータに、
被写体をカメラが撮像した画像と、あらかじめ登録された基準画像とに基づいて、前記被写体を推定する手順と、
前記推定した被写体の属性をデータベースから読み出す手順と、
前記読み出した属性を用いて、前記被写体を仮想空間に設定する手順とを実行させる。

本発明においては、現実の空間と関連した仮想空間を得ることができる。

本発明の情報処理システムの第１の実施の形態を示す図である。 図１に示した撮像部が被写体を撮像する様子の一例を示す図である。 図１に示した推定部の内部構成の一例を示す図である。 図３に示した被写体学習モデルが所有する教師データの一例を示す図である。 図１に示したデータベースに記憶された対応付けの一例を示す図である。 図１に示した情報処理システムにおける情報処理方法の一例を説明するためにシーケンス図である。 本発明の情報処理システムの第２の実施の形態を示す図である。 図７に示した移動部の動作の様子の一例を示す図である。 図７に示した移動部の動作の様子の一例を示す図である。 図７に示した推定部の内部構成の一例を示す図である。 図７に示した情報処理システムにおける情報処理方法の一例を説明するためにシーケンス図である。

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

図１は、本発明の情報処理システムの第１の実施の形態を示す図である。本形態における情報処理システムは図１に示すように、撮像部１１０と、推定部１２０と、データベース１３０と、属性読み出し部１４０と、仮想空間設定部１５０とを有する。

撮像部１１０は、撮像の対象となる被写体の撮像を行うカメラである。

図２は、図１に示した撮像部１１０が被写体を撮像する様子の一例を示す図である。図２に示すように、撮像部１１０が被写体３００を撮像する。撮像部１１０は、被写体３００を複数の方向（角度）から撮像するものであっても良い。これは、撮像部１１０が撮像した画像を用いて、被写体３００が何であるかを推定部１２０が推定しやすくするためである。例えば、撮像部１１０は、あらかじめ設定された複数の方向から被写体３００を撮像するものであっても良いし、あらかじめ設定された数の方向（例えば、６方向等）から被写体３００を撮像するものであっても良い。このとき、撮像部１１０を操作して被写体３００を撮像する撮像者が、撮像部１１０や被写体３００を動かして、撮像部１１０が被写体３００の画像を複数の方向から撮像できるようにしても良い。図２には、被写体３００がボトルガムである場合を例に挙げて示している。

推定部１２０は、被写体を撮像部１１０が撮像した画像と、あらかじめ登録された基準画像とに基づいて、被写体を推定する。このとき、推定部１２０は、撮像部１１０が撮像した画像およびその画像の深度情報（撮像部１１０から被写体までの距離）と、あらかじめ登録された基準画像とに基づいて、被写体を推定するものであっても良い。また、推定部１２０は、被写体を撮像部１１０が複数の方向からそれぞれ撮像した複数の画像と、あらかじめ登録された複数の基準画像とに基づいて、被写体を推定するものであっても良い。推定部１２０は、被写体を推定するための機械学習を行った学習済みの学習モデルに撮像部１１０が撮像した画像を入力することで、被写体をその学習モデルから取得して推定する。撮像部１１０が、深度情報を得ることができる場合、推定部１２０が被写体の推定にその深度情報も用いることで、推定精度を上げることができる。

図３は、図１に示した推定部１２０の内部構成の一例を示す図である。図１に示した推定部１２０は図３に示すように、被写体学習モデル２００を有する。なお、図３には、図１に示した推定部１２０が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示す。被写体学習モデル２００は、機械学習の学習フェーズで様々な被写体の画像データ（基準画像）とその画像データが何の画像を示すものであるかという情報とが対応付けられて教師データとして記憶されており、適用フェーズで入力された画像データと記憶されている教師データとに基づいて、入力された画像データが何の画像を示すもの（被写体）であるかを推定する。被写体学習モデル２００は、推定した結果を出力する。なお、推定した結果である被写体を示す情報は、被写体固有にあらかじめ付与された被写体識別情報である。また、出力された結果は、被写体学習モデル２００にフィードバックされてさらに学習されるものであっても良い。

図４は、図３に示した被写体学習モデル２００が所有する教師データの一例を示す図である。図３に示した被写体学習モデル２００が所有する教師データは図４に示すように、被写体名と被写体識別情報と複数の画像データ（基準画像）とが対応付けられたものである。被写体名は、被写体の名称である。被写体名は、例えば、商品名、メーカー名、商品番号等であっても良い。被写体識別情報は、被写体を他の被写体から識別可能にするために、それぞれの被写体固有にあらかじめ付与された情報である。被写体識別情報は、数字やアルファベットを用いて表現されるものであっても良い。画像データは、その被写体の画像を示すデータであって、被写体を複数の方向から撮影した画像や、被写体を様々な環境（例えば、明るい屋外や、暗い屋内等）の下で撮影した画像、被写体を様々な状態（例えば、蓋が開いている、閉じている等）で撮影した画像、高精度で作成した３Ｄ－ＣＧ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を様々な照明条件や背景画像と組み合わせて学習させた画像等、大量の画像のデータである。

被写体学習モデル２００は、入力された画像データと図４に示したような教師データとを比較して、入力された画像データが、何が被写体となっているものなのかを推定（判定）する。被写体学習モデル２００は、推定（判定）した結果となる被写体の被写体識別情報を出力する。このような教師データを用いた推定（判定）処理は、一般的なＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）を用いたものと同様のものであって良い。

データベース１３０は、被写体固有に付与された被写体識別情報と、その被写体の属性とをあらかじめ対応付けて記憶する。

図５は、図１に示したデータベース１３０に記憶された対応付けの一例を示す図である。図１に示したデータベース１３０には図５に示すように、被写体識別情報と属性とが対応付けられて記憶されている。被写体識別情報は、被写体を他の被写体から識別可能にするために、それぞれの被写体固有にあらかじめ付与された情報であって、図４に示したものと同じものである。属性は、被写体の性質を示す情報である。例えば、図５に示すように、被写体識別情報「Ａ００１」と属性「ボトルガム、爽快感」とが対応付けられて記憶されている。これは、被写体識別情報が「Ａ００１」である被写体は、ボトルガムであって、爽快感（例えば、ミント系）のある味であることを示している。また、被写体識別情報「Ｂ００１」と属性「炭酸飲料、甘い」とが対応付けられて記憶されている。これは、被写体識別情報が「Ｂ００１」である被写体は、炭酸飲料であって、その味は甘いものであることを示している。また、被写体識別情報「Ｃ００１」と属性「保冷剤、冷たい」とが対応付けられて記憶されている。これは、被写体識別情報が「Ｃ００１」である被写体は、保冷剤であって、冷たいものであることを示している。

属性読み出し部１４０は、推定部１２０が推定した被写体の属性をデータベース１３０から読み出す。このとき、属性読み出し部１４０は、推定部１２０が推定した被写体に付与された被写体識別情報を検索キーとして、この、被写体識別情報と対応付けられている属性をデータベース１３０から読み出す。

仮想空間設定部１５０は、属性読み出し部１４０が読み出した属性を用いて、被写体を仮想空間に設定する。仮想空間設定部１５０は、仮想空間で行うゲームにおいて、被写体を属性に応じた性質を持つアイテムに設定する。例えば、属性読み出し部１４０が読み出した被写体の属性が図５に示した対応付けの「冷たい」である場合、仮想空間で行うゲームにおいて、その被写体を所有すれば熱を冷ますための「冷たい」アイテムとして使用できる。なお、仮想空間設定部１５０は、被写体を仮想空間に設定する際に、被写体の画像そのものまたは類似した画像（例えば、被写体の画像をイラスト化したもの等）を仮想空間に表示させる（表現する）ものであっても良いし、被写体の画像を所定の形状等に変化させて仮想空間に表示させる（表現する）ものであっても良い。また、仮想空間設定部１５０は、仮想空間に設定する被写体の属性に応じた表示を行うものであっても良い。例えば、仮想空間設定部１５０は、仮想空間に設定する被写体の属性がゲーム中に相手と対戦する際に強いアイテムとして使用できるような属性である場合、そのレベルを強度の高いレベルとして表示するものであっても良い。

以下に、図１に示した情報処理システムにおける情報処理方法について説明する。図６は、図１に示した情報処理システムにおける情報処理方法の一例を説明するためにシーケンス図である。

まず、現実空間で、撮像部１１０が被写体を撮像する（ステップＳ１）。続いて、推定部１２０が、撮像部１１０が撮像した被写体の画像を示す画像データを被写体学習モデル２００に入力する（ステップＳ２）。被写体学習モデル２００は、入力された画像データと学習フェーズで得られた教師データとに基づいて、被写体を推定する（ステップＳ３）。続いて、属性読み出し部１４０が、推定された被写体の被写体識別情報を検索キーとして、その被写体識別情報と対応付けられている属性をデータベース１３０から読み出す（ステップＳ４）。すると、仮想空間設定部１５０が、属性読み出し部１４０が読み出した属性を用いて、被写体を仮想空間に設定する（ステップＳ５）。

このように、本形態においては、所有している被写体を撮像部１１０が撮像し、撮像した画像データに基づいて、推定部１２０が被写体を推定し、推定した被写体の属性を属性読み出し部１４０がデータベース１３０から読み出して、仮想空間設定部１５０が仮想空間にその属性を持った被写体を設定する。そのため、現実空間で所有したものを被写体として撮像すれば、仮想空間で行うゲームでその被写体をアイテムとして所有して使用することができる。
（第２の実施の形態）

図７は、本発明の情報処理システムの第２の実施の形態を示す図である。本形態における情報処理システムは図７に示すように、撮像部１１０と、推定部１２１と、データベース１３０と、属性読み出し部１４０と、仮想空間設定部１５０と、移動部１６１とを有する。撮像部１１０、データベース１３０、属性読み出し部１４０および仮想空間設定部１５０は、第１の実施の形態におけるものと同じものである。

移動部１６１は、撮像部１１０が被写体を複数の方向から撮像できるように被写体を移動させる。例えば、移動部１６１は、被写体を所定の方向へ回転させていく。

図８および図９は、図７に示した移動部１６１の動作の様子の一例を示す図である。図８に示すように、移動部１６１には被写体３００が搭載されており、その被写体３００を撮像部１１０が撮像する。そして、図９に示すように、被写体３００を搭載した状態の移動部１６１が所定の角度だけ回転し、その被写体３００を撮像部１１０が撮像する。移動部１６１および撮像部１１０が、この動作を繰り返し行う。撮像部１１０が１つの被写体について、移動部１６１が移動することで複数の方向から被写体を撮像するのは、撮像した画像を用いて、被写体３００が何であるかを推定部１２１が推定しやすくするためである。例えば、撮像部１１０と移動部１６１とが連動して、移動部１６１が所定の角度間隔で被写体３００を回転させて、撮像部１１０が被写体３００を撮像していくものであっても良い。図８および図９には、被写体３００がボトルガムである場合を例に挙げて示している。なお、図８および図９に示した例では、移動部１６１が被写体３００を載せた回転テーブルのように回転するものであるが、移動部１６１は、撮像部１１０が被写体３００を複数の方向から撮像できるものであれば、例えば、被写体３００の天面や底面、側面を撮像できるように被写体３００を移動（回転）させるものであっても良く、これに限らない。

推定部１２１は、移動部１６１が被写体を移動させることで、撮像部１１０が複数の方向からそれぞれ撮像した被写体の複数の画像と、あらかじめ登録された複数の基準画像とに基づいて、被写体を推定する。推定部１２１は、被写体を推定するための機械学習を行った学習済みの学習モデルに、移動部１６１が被写体を移動させて、撮像部１１０が複数の方向からそれぞれ被写体を撮像した複数の画像を入力することで、被写体をその学習モデルから取得して推定する。

図１０は、図７に示した推定部１２１の内部構成の一例を示す図である。図７に示した推定部１２１は図１０に示すように、被写体学習モデル２０１を有する。なお、図１０には、図７に示した推定部１２１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示す。被写体学習モデル２０１は、機械学習の学習フェーズで様々な被写体の画像データ（基準画像）とその画像データが何の画像を示すものであるかという情報とが対応付けられて教師データとして記憶されており、適用フェーズで入力された画像データと記憶されている教師データとに基づいて、入力された画像データが何の画像を示すもの（被写体）であるかを推定する。被写体学習モデル２０１は、推定した結果を出力する。なお、推定した結果である被写体を示す情報は、被写体固有にあらかじめ付与された被写体識別情報である。また、出力された結果は、被写体学習モデル２０１にフィードバックされてさらに学習されるものであっても良い。また、被写体学習モデル２０１は、被写体が移動部１６１によってどのように移動（回転）したかについても教師データとして保有していても良い。この場合、推定部１２１が被写体学習モデル２０１に入力する情報に、移動部１６１による被写体の移動（回転）の量や方向を示す情報が含まれる。なお、被写体学習モデル２０１が所有する教師データは、第１の実施の形態と同様のものである。

以下に、図７に示した情報処理システムにおける情報処理方法について説明する。図１１は、図７に示した情報処理システムにおける情報処理方法の一例を説明するためにシーケンス図である。

まず、現実空間で、撮像部１１０が被写体を所定の方向から撮像する（ステップＳ１１）。すると、撮像部１１０と移動部１６１とが連携して、あらかじめ設定されたすべての方向からの撮像が完了したかどうかを判定する（ステップＳ１２）。すべての方向からの撮像が完了していない場合、移動部１６１は被写体を所定の角度だけ回転（移動）させる（ステップＳ１３）。そして、再度ステップＳ１１にて撮像部１１０が被写体の撮像を行う。

一方、ステップＳ１２にて、すべての方向からの撮像が完了している場合は、推定部１２１が、移動部１６１が被写体を移動させることで撮像部１１０が複数の方向からそれぞれ撮像した被写体の複数の画像を示す画像データを被写体学習モデル２０１に入力する（ステップＳ１４）。被写体学習モデル２０１は、入力された複数の画像データと学習フェーズで得られた教師データとに基づいて、被写体を推定する（ステップＳ１５）。続いて、属性読み出し部１４０が、推定された被写体の被写体識別情報を検索キーとして、その被写体識別情報と対応付けられている属性をデータベース１３０から読み出す（ステップＳ１６）。すると、仮想空間設定部１５０が、属性読み出し部１４０が読み出した属性を用いて、被写体を仮想空間に設定する（ステップＳ１７）。

このように、本形態においては、所有している被写体を移動部１６１が回転（移動）させていき、撮像部１１０が複数の方向から撮像し、撮像した複数の画像データに基づいて、推定部１２１が被写体を推定し、推定した被写体の属性を属性読み出し部１４０がデータベース１３０から読み出して、仮想空間設定部１５０が仮想空間にその属性を持った被写体を設定する。そのため、現実空間で所有したものを被写体として撮像すれば、仮想空間で行うゲームでその被写体をアイテムとして所有して使用することができる。さらに、移動部１６１を用いて被写体を移動させることで、撮像者が被写体を移動させる手間を省くことができる。

なお、上述した第１の実施の形態および第２の実施の形態において、現実空間で被写体を保有し、保有している被写体を撮像した撮像者と、仮想空間でその被写体を使用する使用者とが同一であることが好ましい。そのために、撮像者が現実空間で被写体を撮像して本発明の情報処理システムに入力する際、利用者コードやパスワード等の認証コードを入力しておき、使用者が仮想空間に設定されたその被写体を使用するゲーム等を起動する際に、その認証コードを入力して、その使用者が撮像者であるかどうかの認証を情報処理システムが行うものであっても良い。

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。

上述した情報処理システムが行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を情報処理システムを構成する装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理システムに読み込ませ、実行するものであっても良い。情報処理システムを構成する装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理システムを構成する装置に内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理システムを構成する装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

１１０ 撮像部
１２０，１２１ 推定部
１３０ データベース
１４０ 属性読み出し部
１５０ 仮想空間設定部
１６１ 移動部
２００，２０１ 被写体学習モデル
３００ 被写体

Claims (11)

1. 撮像部と、
   前記撮像部が被写体を複数の方向それぞれから撮像した画像と、あらかじめ登録された複数の基準画像とに基づいて、前記被写体を推定する推定部と、
   前記推定部が推定した被写体の属性をデータベースから読み出す属性読み出し部と、
   前記属性読み出し部が読み出した属性を用いて、前記被写体を仮想空間に設定する仮想空間設定部と、
   前記撮像部が前記被写体を前記複数の方向から撮像できるように前記被写体を移動させる移動部とを有する情報処理システム。
2. 請求項１に記載の情報処理システムにおいて、
   前記推定部は、前記撮像部が前記被写体を撮像した画像および該画像の深度情報と、あらかじめ登録された基準画像とに基づいて、前記被写体を推定する情報処理システム。
3. 請求項１または請求項２に記載の情報処理システムにおいて、
   前記推定部は、前記被写体を推定するための機械学習を行った学習済みの学習モデルに前記撮像部が撮像した画像を入力することで、前記被写体を前記学習モデルから取得して推定する情報処理システム。
4. 請求項１から３のいずれか１項に記載の情報処理システムにおいて、
   前記データベースは、前記被写体に固有に付与された被写体識別情報と、該被写体の属性とをあらかじめ対応付けて記憶し、
   前記属性読み出し部は、前記推定部が推定した被写体の前記被写体識別情報に基づいて、前記属性を前記データベースから読み出す情報処理システム。
5. 請求項１から４のいずれか１項に記載の情報処理システムにおいて、
   前記仮想空間設定部は、前記仮想空間で行うゲームにおいて、前記被写体を前記属性に応じた性質を持つアイテムに設定する情報処理システム。
6. 被写体をカメラが、該カメラが前記被写体を複数の方向から撮像できるように前記被写体を移動させる移動部を用いて、前記複数の方向それぞれから撮像した画像と、あらかじめ登録された複数の基準画像とに基づいて、前記被写体を推定する処理と、
   前記推定した被写体の属性をデータベースから読み出す処理と、
   前記読み出した属性を用いて、前記被写体を仮想空間に設定する処理とを行う情報処理方法。
7. 請求項６に記載の情報処理方法において、
   前記被写体を推定するための機械学習を行った学習済みの学習モデルに前記撮像した画像を入力する処理と、
   前記被写体を前記学習モデルから取得して推定する処理とを行う情報処理方法。
8. 請求項６または請求項７に記載の情報処理方法において、
   前記仮想空間で行うゲームにおいて、前記被写体を前記属性に応じた性質を持つアイテムに設定する処理を行う情報処理方法。
9. コンピュータに、
   被写体をカメラが、該カメラが前記被写体を複数の方向から撮像できるように前記被写体を移動させる移動部を用いて、前記複数の方向それぞれから撮像した画像と、あらかじめ登録された複数の基準画像とに基づいて、前記被写体を推定する手順と、
   前記推定した被写体の属性をデータベースから読み出す手順と、
   前記読み出した属性を用いて、前記被写体を仮想空間に設定する手順とを実行させるためのプログラム。
10. 請求項９に記載のプログラムにおいて、
    前記被写体を推定するための機械学習を行った学習済みの学習モデルに前記撮像した画像を入力する手順と、
    前記被写体を前記学習モデルから取得して推定する手順とを、前記コンピュータに実行させるためのプログラム。
11. 請求項９または請求項１０に記載のプログラムにおいて、
    前記仮想空間で行うゲームにおいて、前記被写体を前記属性に応じた性質を持つアイテムに設定する手順を、前記コンピュータに実行させるためのプログラム。

Images