WO2017033544A1

WO2017033544A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2017033544A1
Application number: PCT/JP2016/068089
Authority: WO
Inventors: 重文田村; 亮介野村; 哲男池田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-08-24
Filing date: 2016-06-17
Publication date: 2017-03-02
Anticipated expiration: 2018-02-24
Also published as: EP3343338A1; EP3343338A4; US20180203661A1; US10545716B2

Abstract

【課題】遠隔地間において各種情報をより好適な態様での共有を可能とする。【解決手段】複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を表示させるための第１の制御情報を取得する取得部と、取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第１の領域とは異なる第２の領域に表示させるための第２の制御情報を生成する生成部と、を備えた情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

　近年では、テレビ会議システム等のような遠隔地間での会議を実現するためのシステムが普及してきている。このようなシステムの中には、ネットワークを介して接続された複数の端末（例えば、ＰＣ：Personal　Computer）に共通の表示画面を表示し、当該表示画面に表示された表示オブジェクトに対して各端末からの操作を可能とすることで、当該端末間での表示画面の共有を可能とするシステムもある。例えば、特許文献１には、ネットワークを介して接続された複数の端末間で表示画面を共有することが可能なシステムの一例が開示されている。

特開２０１４－１３０４２２号公報

　一方で、会議などの場において複数のユーザ間での共有を要する情報は、必ずしも、ＰＣ等の端末の画面内に表示された表示情報のみには限定されず、例えば、紙媒体の資料等のように実空間上に存在する物体（実オブジェクト）上に提示された情報も含まれ得る。そのため、遠隔地間において、例えば端末等の画面内に表示された表示情報と、当該表示情報とは異なる他の情報（例えば、実オブジェクトの情報）との各種情報を、より好適な態様で共有することが可能な仕組みが求められている。

　そこで、本開示では、遠隔地間において各種情報をより好適な態様で共有することが可能な、情報処理装置、情報処理方法、及びコンピュータを提案する。

　本開示によれば、複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を表示させるための第１の制御情報を取得する取得部と、取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第１の領域とは異なる第２の領域に表示させるための第２の制御情報を生成する生成部と、を備えた情報処理装置が提供される。

　また、本開示によれば、撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得する取得部と、取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成する生成部と、を備えた情報処理装置が提供される。

　また、本開示によれば、複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を、当該第１の領域とは異なる第２の領域に表示させるための第１の制御情報を取得することと、プロセッサが、取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第２の領域に表示させるための第２の制御情報を生成することと、を含む情報処理方法が提供される。

　また、本開示によれば、撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得することと、プロセッサが、取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成することと、を含む情報処理方法が提供される。

　また、本開示によれば、コンピュータに、複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を、当該第１の領域とは異なる第２の領域に表示させるための第１の制御情報を取得することと、取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第２の領域に表示させるための第２の制御情報を生成することと、を実行させるプログラムが提供される。

　また、本開示によれば、コンピュータに、撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得することと、取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成することと、を実行させるプログラムが提供される。

　以上説明したように本開示によれば、遠隔地間において、より好適な態様で作業空間を共有することが可能な、情報処理装置、情報処理方法、及びコンピュータが提供される。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの概要について説明するための説明図である。同実施形態に係る情報処理装置の構成例について説明するための説明図である。同実施形態に係る情報処理装置の他の一態様について説明するための説明図である。同実施形態に係る情報処理システムによる、情報共有のための制御の概要について説明するための説明図である。同実施形態に係る情報処理システムによる、情報共有のための制御の概要について説明するための説明図である。同実施形態に係る情報処理システムによる、情報共有のための制御の概要について説明するための説明図である。同実施形態に係る情報処理システムによる、情報共有のための制御の概要について説明するための説明図である。同実施形態に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。変形例１に係る情報処理装置の概要について説明するための説明図である。変形例２に係る情報処理システムの概要について説明するための説明図である。変形例３に係る情報処理システムの一態様について説明するための説明図である。変形例３に係る情報処理システムの他の一態様について説明するための説明図である。変形例３に係る情報処理システムの他の一態様について説明するための説明図である。変形例４に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。変形例５に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。変形例５に係る情報処理システムの機能構成の一例を示したブロック図である。変形例５に係る情報処理システムの概略的なシステム構成の他の一例について説明するための説明図である。同実施形態にかかる情報処理装置のハードウェア構成例を示すブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．概要
　２．システム構成
　３．機能構成
　４．処理
　５．変形例
　　５．１．変形例１：識別情報の提示
　　５．２．変形例２：実オブジェクト上への情報の投影
　　５．３．変形例３：実オブジェクトを示す表示情報の表示制御
　　５．４．変形例４：システム構成例１（マスター／スレーブ構成の一例）
　　５．５．変形例５：システム構成例２（サーバを設ける場合の構成）
　６．ハードウェア構成
　７．まとめ

　＜１．概要＞
　まず、本開示の一実施形態に係る情報処理システムの概要について説明する。例えば、図１は、本開示の一実施形態に係る情報処理システムの概要について説明するための説明図である。図１に示すように、本実施形態に係る情報処理システム１は、ネットワークｎ１１を介して接続された複数の情報処理装置１００（例えば、情報処理装置１００ａ及び１００ｂ）を含み、当該複数の情報処理装置１００間において各種情報を共有可能とする仕組みを提供する。

　具体的には、本実施形態に係る情報処理システム１は、複数の情報処理装置１００間において、共通の表示画面を共有可能とするとともに、一方の作業空間（例えば、表示画面が表示された空間）に存在する実オブジェクト（例えば、紙媒体の書類等のような物体）の情報を、他方の作業空間に表示情報として提示する。

　例えば、図１において、参照符号Ｒ１０ａは、情報処理装置１００ａが、情報処理装置１００ｂとの間で共通の表示画面を表示させるための領域を示している。また、参照符号Ｒ１０ｂは、情報処理装置１００ｂが、情報処理装置１００ａとの間で共通の表示画面を表示させるための領域を示している。

　本実施形態に係る情報処理システム１において、領域Ｒ１０ａと、情報処理装置１００ａと当該領域Ｒ１０ａと間の空間とは、情報処理装置１００ａに対応する作業空間に相当する。また、領域Ｒ１０ｂと、情報処理装置１００ｂと当該領域Ｒ１０ｂとの間の空間とは、情報処理装置１００ｂに対応する作業空間に相当する。

　本実施形態に係る情報処理システム１において、例えば、領域Ｒ１０ａ上に紙媒体の資料等のような実オブジェクトが配置された場合には、情報処理装置１００ａは、当該領域Ｒ１０ａ上に配置された当該実オブジェクトを検出する。そして、情報処理装置１００ｂは、情報処理装置１００ａによる領域Ｒ１０ａ上の実オブジェクトの検出結果を受けて、当該実オブジェクトを示す表示情報を、領域Ｒ１０ｂに提示する。

　このような構成により、情報処理システム１は、遠隔地間において、複数の情報処理装置１００それぞれに対応する作業空間上で視認可能な情報、即ち、画面として表示された表示情報と、実オブジェクトの情報とを共有可能とする。

　そこで、本実施形態に係る情報処理システム１の詳細について説明する前に、当該情報処理システム１の特徴をよりわかりやすくするために、まず、情報処理装置１００の構成例について説明する。

　［１．１．情報処理装置の構成例］
　図２を参照して、本開示の一実施形態に係る情報処理装置１００の構成例について説明する。図２は、本開示の一実施形態に係る情報処理装置の構成例について説明するための説明図である。

　図２に示したように、本開示の一実施形態に係る情報処理装置１００ａは、入力部１１０と、出力部１３０とを含む。図１に示した本開示の一実施形態に係る情報処理装置１００は、テーブル１４０の天面に情報を表示し、テーブル１４０に表示した情報に対して情報処理装置１００を使用するユーザに操作をさせる。なお、以降では、図２に示すようにテーブル１４０の天面に情報を表示する方式を「プロジェクション型」と称する場合がある。また、情報処理装置１００は、入力部１１０と、出力部１３０とのうち、少なくともいずれかが外部装置として外付けされた情報処理システムとして構成されていてもよい。

　入力部１１０は、情報処理装置１００を使用するユーザの操作内容や、テーブル１４０に置かれている物体の形状や模様などを入力するための装置である。図２に示した例では、入力部１１０は、テーブル１４０の上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部１１０は、情報が表示される対象となるテーブル１４０とは離隔して設けられる。入力部１１０としては、例えば１つの撮像光学系（例えば、一連のレンズ群）でテーブル１４０を撮像するカメラや、２つの撮像光学系でテーブル１４０を撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理装置１００を使用するユーザが発する音声や情報処理装置１００が置かれている環境の環境音等の音響情報を集音するための集音デバイス（例えば、マイク等）が用いられ得る。

　入力部１１０として、１つの撮像光学系でテーブル１４０を撮像するカメラが用いられる場合には、情報処理装置１００は、例えば、そのカメラが撮像した画像を解析することで、テーブル１４０に置かれた物体を検出する。また入力部１１０としてステレオカメラが用いられる場合には、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が適用され得る。入力部１１０としてステレオカメラが用いられることで、入力部１１０は、深度情報を取得することが可能となる。入力部１１０が、深度情報を取得することで、情報処理装置１００は、例えばテーブル１４０の上に置かれた手や物体等の実オブジェクトを検出することが可能となる。また入力部１１０が、深度情報を取得することで、情報処理装置１００は、テーブル１４０へのユーザの手のような操作体の接触及び近接や、テーブル１４０からの操作体の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。

　また、入力部１１０としてマイクが用いられる場合、そのマイクは特定の方向からの音響情報（例えば、音声）を収音するためのマイクアレイが用いられ得る。入力部１１０としてマイクアレイが用いられる場合、情報処理装置１００は、マイクアレイの集音方向を任意の方向に調整しても良い。また、情報処理装置１００は、マイクアレイを構成する各マイクによる音響情報の集音結果に応じて、当該音響情報の到来方向を推定してもよい。具体的な一例として、情報処理装置１００は、アレイマイクを構成する各マイクにより集音された音響情報それぞれの音量の比率に応じて、当該音響情報の到来方向を推定してもよい。

　なお、以下では、手などの操作体によるユーザの操作が、入力部１１０によって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部１１０が取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。

　出力部１３０は、入力部１１０によって入力された、情報処理装置１００を使用するユーザの操作内容や、出力部１３０が出力している情報の内容、テーブル１４０に置かれている物体の形状や模様等の情報に応じて、テーブル１４０に情報を表示したり、音声を出力したりするための構成である。出力部１３０としては、例えばプロジェクタやスピーカ等が用いられる。

　図２に示した例では、出力部１３０は、テーブル１４０の上方に、例えば天井から吊り下げられた状態で設けられる。出力部１３０がプロジェクタで構成される場合、出力部１３０は、テーブル１４０の天面に情報を投影する。なお、以降では、出力部１３０により情報（即ち、表示情報）が投影される領域（即ち、投影面）を、「領域Ｒ１０」と称する場合がある。

　また、出力部１３０がスピーカで構成される場合、出力部１３０は、音声信号に基づいて音声を出力する。出力部１３０がスピーカで構成される場合、スピーカの数は１つで合っても良く、複数であっても良い。出力部１３０が複数のスピーカで構成される場合、情報処理装置１００は、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしても良い。

　また、情報処理装置１００が図２に示したようなプロジェクション型である場合、出力部１３０に、照明機器が含まれていても良い。出力部１３０に照明機器が含まれる場合、情報処理装置１００は、入力部１１０によって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御しても良い。

　情報処理装置１００を使用するユーザは、出力部１３０がテーブル１４０に表示する情報に対して、指などをテーブル１４０に置いて操作することが出来る。また、情報処理装置１００を使用するユーザは、テーブル１４０に物体を置いて入力部１１０に認識させることで、その認識させた物体（即ち、実オブジェクト）に関する種々の操作を実行することが出来る。

　なお、図２には図示しないが、情報処理装置１００には他の装置が接続されていても良い。例えば情報処理装置１００には、テーブル１４０を照らすための照明機器が接続されていても良い。情報処理装置１００にテーブル１４０を照らすための照明機器が接続されていることで、情報処理装置１００は、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。

　また、図２に示す例では、情報処理装置１００が、テーブル１４０の天面のように水平方向に延伸する投影面に対して情報を投影する、所謂テーブルトップ型の表示装置と構成されている例について説明した。一方で、情報処理装置１００の利用形態は、図２に示すようなテーブルトップ型の表示装置のみには限定されない。

　例えば、図３は、本実施形態に係る情報処理装置１００の他の一態様について説明するための説明図であり、当該情報処理装置１００の利用形態の一例を示している。図３に示す例では、情報処理装置１００は、壁面１４０’のように鉛直方向に延伸する投影面に対して情報を投影している。この場合には、壁面１４０’のうち、情報処理装置１００により情報が投影される領域Ｒ１０と、当該領域Ｒ１０の前面（即ち、領域Ｒ１０と情報処理装置１００との間の空間）が、当該情報処理装置１００に対応する作業空間に相当する。

　また、本開示における情報処理装置１００の形態は、領域Ｒ１０に情報を表示できれば、図２及び図３に示したプロジェクション型に限定されるものではない。具体的には、情報処理装置１００は、領域Ｒ１０をガラス板や透明プラスチック板等の透明な材質で形成し、領域Ｒ１０の裏面側から当該領域Ｒ１０に情報を投影することで、領域Ｒ１０に情報を表示するように構成されていてもよい（所謂、「リアプロジェクション型」）。また、他の一例として、情報処理装置１００は、領域Ｒ１０がフラットパネルのディスプレイとして構成されていてもよい。

　以上、図２及び図３を参照して、本開示の一実施形態に係る情報処理装置１００の構成例について説明した。

　［１．２．制御の概要］
　次に、図４～図７を参照して、本開示の一実施形態に係る情報処理システム１による、複数の情報処理装置１００間で、画面として表示された表示情報と、実オブジェクトの情報とを共有可能とするための制御の概要について説明する。図４～図７は、本開示の一実施形態に係る情報処理システム１による、情報共有のための制御の概要について説明するための説明図である。なお、本説明では、図１に示すように、情報処理システム１は、情報処理装置１００ａ及び１００ｂを含み、当該情報処理装置１００ａ及び１００ｂ間で各種情報の共有を可能とする場合を例に説明する。

　例えば、図４は、複数の情報処理装置１００のうち、いずれかに対応する作業空間の状態の一例を示している。なお、本説明では、図４は、情報処理装置１００ａに対応する作業空間の状態を示しているものとする。

　図４に示す例では、領域Ｒ１０ａには、表示オブジェクトｖ１１及びｖ１３が提示された表示画面が表示されている。例えば、図５は、図４に示す例において、領域Ｒ１０ａに表示された（即ち、投影された）表示画面を示す画像ｖ１０の一例を示している。なお、図５に示した画像ｖ１０が、情報処理装置１００ａ及び１００ｂ間で共有されている表示画面を示していることとなる。

　また、領域Ｒ１０ａ上には、参照符号ｂ２５で示された実オブジェクト（紙媒体の資料）と、参照符号ｂ２７で示された実オブジェクト（コーヒーカップ）とが配置されている。このような状況下のもと、図４に示す例では、複数のユーザが、それぞれの手を操作体として、所謂タッチ操作により、領域Ｒ１０ａ上に表示された表示画面を操作している。参照符号ｕ２１及びｕ２３は、各ユーザに対応する操作体（即ち、各ユーザの手）を示している。

　情報処理装置１００ａは、入力部１１０（例えば、カメラなどの撮像部）により、自身に対応する作業空間に相当する領域Ｒ１０ａの画像を撮像し、撮像した当該画像を解析することで、領域Ｒ１０上に存在する物体（実オブジェクト）を検出する。例えば、図６は、図４に示した領域Ｒ１０ａの画像に基づき検出された実オブジェクトを示す情報ｖ２０の一例を示している。この場合には、情報処理装置１００ａは、図６に示すように、領域Ｒ１０ａ上に存在する実オブジェクトｂ２５及びｂ２７と、操作体ｕ２１及びｕ２３とを検出することとなる。なお、図６に示す例では、情報処理装置１００ａは、Ｒ１０ａ上に存在する実オブジェクトｂ２５及びｂ２７と、操作体ｕ２１及びｕ２３とのそれぞれの部分画像を、実オブジェクトを示す情報ｖ２０として抽出している。

　次いで、情報処理装置１００ａは、図５に示した表示画面を示す画像ｖ１０を表示させるための制御情報と、検出された実オブジェクトを示す表示情報を表示させるための制御情報とを、ネットワークｎ１１を介して情報処理装置１００ｂに送信する。なお、図６に示した、実オブジェクトを示す情報ｖ２０（例えば、領域Ｒ１０ａ上に存在する実オブジェクトの部分画像）が、検出された実オブジェクトを示す表示情報を表示させるための制御情報に相当し得る。また、以降では、表示画面を示す画像ｖ１０を表示させるための制御情報を、「画面データ」と記載する場合がある。また、検出された実オブジェクトを示す表示情報を表示させるための制御情報を、「中間データ」と記載する場合がある。なお、中間データが、「第１の制御情報」の一例に相当する。

　情報処理装置１００ｂは、情報処理装置１００ａから取得した画面データに基づき、自身に対応する領域Ｒ１０ｂに、例えば、図５に示すような表示画面を示す画像ｖ１０を表示させる。また、情報処理装置１００ｂは、情報処理装置１００ａから取得した中間データに基づき、領域Ｒ１０ｂに表示された表示画面上に、情報処理装置１００ａにより検出された領域Ｒ１０ａ上の実オブジェクトを示す表示情報を重畳表示させる。

　例えば、図７は、情報処理装置１００ｂが、領域Ｒ１０ｂに表示させる画像ｖ３０の一例、即ち、表示画面上に、情報処理装置１００ａにより検出された領域Ｒ１０ａ上の実オブジェクトを示す表示情報を重畳表示させた画像の一例を示している。図７において、参照符号ｖ２１及びｖ２１は、図４に示す例において、領域Ｒ１０ａ上に存在する操作体ｕ２１及びｕ２３を示す表示情報（例えば、画像）の一例を示している。また、参照符号ｖ２５及びｖ２７は、図４に示す例において、領域Ｒ１０ａ上に存在する実オブジェクトｂ２５及びｂ２７を示す表示情報の一例を示している。

　なお、情報処理装置１００ｂは、取得した中間データが示す実オブジェクト（即ち、Ｒ１０ａ上に存在する実オブジェクト）のうち、一部については、表示情報の表示を制限してもよい。例えば、図７に示す例では、情報処理装置１００ｂは、図４に示した領域Ｒ１０ａ上に存在する実オブジェクトのうち、実オブジェクトｂ２７を示す表示情報ｖ２７の表示を制限している。具体的な一例として、情報処理装置１００ｂは、取得した中間データが示す実オブジェクトのうち、所定の条件を満たす実オブジェクトのみを表示対象とし、他の実オブジェクトについては、表示情報の表示を制限してもよい。また、他の一例として、情報処理装置１００ｂは、ユーザ操作に基づき指定された実オブジェクトについては、表示情報の表示を制限してもよい。なお、実オブジェクトに対応する表示情報の表示の制限に係る動作の詳細については、変形例としても別途後述する。

　また、情報処理装置１００ｂは、領域Ｒ１０ａ上に存在する実オブジェクトを示す表示情報ｖ２１～ｖ２７を領域Ｒ１０ｂ上に表示できれば、当該表示情報の表示態様は特に限定されない。具体的な一例として、情報処理装置１００ｂは、図７に示すように、表示情報ｖ２１～ｖ２７を、領域Ｒ１０ａ上の対応する実オブジェクトの画像として領域Ｒ１０ｂ上に表示させてもよい。また、他の一例として、情報処理装置１００ｂは、表示情報ｖ２１～ｖ２７を、領域Ｒ１０ａ上の対応する実オブジェクトの領域を示す表示情報（例えば、影）として表示してもよい。

　また、情報処理装置１００ａから送信される中間データの内容は、情報処理装置１００ｂが所望の表示態様で領域Ｒ１０ｂ上に実オブジェクトを示す表示情報を表示させることが可能であれば、特に限定されない。例えば、情報処理装置１００ｂが、実オブジェクトを示す表示情報として、当該実オブジェクトの領域を示す表示情報（例えば、影）を表示する場合には、情報処理装置１００ａは、当該実オブジェクトの領域を示すベクトル情報を中間データとして送信してもよい。

　また、情報処理装置１００ｂは、自身に対応する領域Ｒ１０ｂに存在する実オブジェクトを検出し、当該実オブジェクトを示す表示情報を表示させるための中間データを、情報処理装置１００ａに送信してもよい。この場合には、情報処理装置１００ａは、情報処理装置１００ｂから取得した中間データに基づき、領域Ｒ１０ａに表示された表示画面上に、情報処理装置１００ｂにより検出された領域Ｒ１０ｂ上の実オブジェクトを示す表示情報を重畳表示させてもよい。

　また、情報処理装置１００ｂは、領域Ｒ１０ｂに表示された各種表示情報（例えば、図７に示した、表示オブジェクトｖ１１及びｖ１３や、表示情報ｖ２１～ｖ２７）に対する操作を受けて、当該操作の内容を示す操作情報を情報処理装置１００ａに送信してもよい。この場合には、情報処理装置１００ａは、情報処理装置１００ｂから取得した操作情報に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面（例えば、図５に示した表示画面を示す画像ｖ１０）を更新してもよい。

　以上のような構成により、本実施形態に係る情報処理システム１に依れば、複数の情報処理装置１００間（例えば、ネットワークｎ１１を介して接続された遠隔地間）において、表示画面と、一方の作業空間に存在する実オブジェクトを示す情報とを、好適な態様で共有することが可能となる。

　以上、図４～図７を参照して、本開示の一実施形態に係る情報処理システム１による、複数の情報処理装置１００間で、画面として表示された表示情報と、実オブジェクトの情報とを共有可能とするための制御の概要について説明した。なお、以降では、本開示の一実施形態に係る情報処理システム１についてさらに詳しく説明する。

　＜２．システム構成＞
　まず、図８を参照して、本開示の一実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明する。図８は、本開示の一実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明するための説明図である。

　図８に示す例では、情報処理システム１は、複数の情報処理装置１００のうち、いずれかの情報処理装置１００がマスターとして動作し、マスターとして動作する情報処理装置１００以外の他の情報処理装置１００がスレーブとして動作する。具体的な一例として、図８に示す例では、情報処理装置１００ａ及び１００ｂのうち、情報処理装置１００ａがマスターとして動作し、情報処理装置１００ｂがスレーブとして動作している。

　図８に示したシステム構成の場合には、マスターとして動作する情報処理装置１００ａが、情報処理装置１００ａ及び１００ｂ間で共有する表示画面の生成及び更新を行う。

　具体的には、情報処理装置１００ａは、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を生成し、生成した表示画面を領域Ｒ１０ａに表示させるとともに、当該表示画面を表示するための画面データを、スレーブとして動作する情報処理装置１００ｂに送信する。情報処理装置１００ｂは、情報処理装置１００ａから取得した画面データに基づき、表示画面を領域Ｒ１０ｂに表示させる。これにより、領域Ｒ１０ａと領域Ｒ１０ｂとに、情報処理装置１００ａ及び１００ｂ間で共通の表示画面が表示される。

　また、図８に示す例では、情報処理装置１００ａは、自身の入力部１１０により撮像された領域Ｒ１０ａの画像を解析し、当該解析結果に基づき、領域Ｒ１０ａ上に存在する実オブエジェク（例えば、操作体や他の物体）を検出する。情報処理装置１００ａは、検出された実オブジェクトを示す表示情報を表示させるための中間データ（換言すると、実オブジェクトの情報）を生成し、生成した中間データを、他の情報処理装置１００ｂに送信する。情報処理装置１００ｂは、情報処理装置１００ａから取得した中間データに基づき、領域Ｒ１０ａ上に存在する実オブジェクトを示す表示情報を、領域Ｒ１０ｂに表示された表示画面上に重畳表示させる。

　同様に、情報処理装置１００ｂは、自身の入力部１１０により撮像された領域Ｒ１０ｂの画像を解析し、当該解析結果に基づき、領域Ｒ１０ｂ上に存在する実オブエジェクを検出する。情報処理装置１００ｂは、検出された実オブジェクトを示す表示情報を表示させるための中間データを生成し、生成した中間データを、他の情報処理装置１００ａに送信する。情報処理装置１００ａは、情報処理装置１００ｂから取得した中間データに基づき、領域Ｒ１０ｂ上に存在する実オブジェクトを示す表示情報を、領域Ｒ１０ａに表示された表示画面上に重畳表示させる。

　また、マスターとして動作する情報処理装置１００ａは、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作を受けて、当該操作の内容に基づき表示画面を更新する。

　具体的には、マスターとして動作する情報処理装置１００ａは、自身の入力部１１０により撮像された領域Ｒ１０ａの画像を解析し、当該解析結果に基づき、当該領域Ｒ１０ａに表示された表示画面に対するユーザ操作の内容を認識する。

　同様に、スレーブとして動作する情報処理装置１００ｂは、自身の入力部１１０により撮像された領域Ｒ１０ｂの画像を解析し、当該解析結果に基づき、当該領域Ｒ１０ｂに表示された表示画面に対するユーザ操作の内容を認識する。そして、情報処理装置１００ｂは、認識した操作内容を示す操作情報を、マスターとして動作する情報処理装置１００ａに送信する。これにより、情報処理装置１００ａは、領域Ｒ１０ｂに表示された表示画面に対するユーザ操作の内容を認識することが可能となる。

　以上のようにして、マスターとして動作する情報処理装置１００ａは、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作の操作内容を認識し、認識した操作内容に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を更新する。そして、情報処理装置１００ａは、更新した表示画面により、領域Ｒ１０ａに表示された表示画面を更新するとともに、当該表示画面を表示するための画面データを、スレーブとして動作する情報処理装置１００ｂに送信する。情報処理装置１００ｂは、情報処理装置１００ａから取得した画面データに基づき、領域Ｒ１０ｂに表示された表示画面を更新する。

　以上のような構成により、本実施形態に係る情報処理システム１に依れば、情報処理装置１００ａ及び１００ｂ間において、共有する表示画面と、各作業空間に存在する実オブジェクトを示す情報とを、好適な態様で共有することが可能となる。以上、図８を参照して、本開示の一実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明した。

　＜３．機能構成＞
　次に、図９を参照して、本開示の一実施形態に係る情報処理システム１の機能構成の一例について説明する。図９は、本開示の一実施形態に係る情報処理システム１の機能構成の一例について示したブロック図である。なお、本説明では、情報処理システム１は、図８に示すように、情報処理装置１００ａ及び１００ｂのうち、情報処理装置１００ａがマスターとして動作し、情報処理装置１００ｂがスレーブとして動作するように構成されているものとして説明する。なお、本説明では、情報処理装置１００ａ及び１００ｂを特に区別しない場合には、単に「情報処理装置１００」と記載する場合がある。

　図９に示すように、情報処理装置１００ａは、入力部１１０と、制御部１２０ａと、出力部１３０とを含む。また、情報処理装置１００ｂは、入力部１１０と、制御部１２０ｂと、出力部１３０とを含む。なお、情報処理装置１００ａ及び１００ｂ間において、入力部１１０及び出力部１３０の構成は同様である。また、図９に示すように、情報処理装置１００ａの制御部１２０ａと、情報処理装置１００ｂの制御部１２０ｂとは、厳密には機能構成が異なるが、制御部１２０ａ及び１２０ｂを特に区別にしない場合には、単に「制御部１２０」と記載する場合がある。

　入力部１１０は、情報処理装置１００を使用するユーザの情報処理装置１００に対する操作内容や、出力部１３０が情報を出力する面（例えば、図２に示したテーブル１４０の天面等の領域Ｒ１０）に置かれている物体の形状や模様などを示す情報を取得するための構成である。情報処理装置１００を使用するユーザの情報処理装置１００に対する操作内容には、情報処理装置１００が情報の表示面に出力する表示画面（例えば、ＧＵＩ）に対する操作内容を含む。

　例えば、入力部１１０に含まれる撮像部１１１は、情報処理装置１００がプロジェクション型の場合に、ユーザの情報処理装置１００に対する操作内容や、領域Ｒ１０に置かれている物体の形状や模様などを示す情報を、画像情報として取得する。具体的には、撮像部１１１は、例えば、領域Ｒ１０の画像を撮像し、撮像した画像を後述する制御部１２０に出力する。なお、撮像部１１１は、例えば、１つの撮像光学系で構成されるカメラや、２つの撮像光学系で構成されるステレオカメラ等により構成され得る。

　また、入力部１１０は、マイク等の集音デバイスにより構成され得る、ユーザが発する音声や、周囲の環境の環境音等の音響情報を、入力情報として集音するための構成を含んでもよい。

　制御部１２０ａは、通信部１２１と、画像解析部１２３と、入力解析部１２５と、画面更新部１２７と、表示制御部１２９ａとを含む。また、制御部１２０ｂは、通信部１２１と、画像解析部１２３と、入力解析部１２５と、表示制御部１２９ｂとを含む。

　まず、制御部１２０ａの、通信部１２１、画像解析部１２３、及び入力解析部１２５について説明する。

　通信部１２１は、制御部１２０ａ内の各構成が、ネットワークｎ１１を介して、外部の情報処理装置１００ｂと通信を行うための通信インタフェースである。ネットワークｎ１１は、例えば、インターネット、専用線、ＬＡＮ（Local　Area　Network）、または、ＷＡＮ（Wide　Area　Network）等により構成され得る。また、ネットワークｎ１１は、無線のネットワークとして構成されていてもよいし、有線のネットワークとして構成されていてもよい。即ち、異なる装置間を接続するネットワークであれば、ネットワークｎ１１の態様は特に限定されない。なお、以降の説明では、制御部１２０ａ内の各構成が、ネットワークｎ１１を介して、外部の情報処理装置１００ｂとの間で情報の送受信を行う場合には、特に設営が無い場合においても、当該通信部１２１を介して当該情報の送受信を行うものとする。

　画像解析部１２３は、撮像部１１１により撮像された領域Ｒ１０ａの画像を取得し、当該画像を解析することで、領域Ｒ１０ａに存在する手等の操作体や、領域Ｒ１０ａに置かれている物体等の実オブジェクトを検出する。なお、このとき画像解析部１２３は、領域Ｒ１０ａに存在する実オブジェクトのうち、所定の条件を満たす実オブジェクトのみを対象として検出してもよい。具体的な一例として、画像解析部１２３は、検出された実オブジェクトのうち、動作する実オブジェクト（即ち、動体）のみを検出してもよい。また、他の一例として、画像解析部１２３は、検出された実オブジェクトのうち、所定の形状特徴を有する実オブジェクトのみを検出してもよい。

　画像解析部１２３は、検出された領域Ｒ１０ａ中の実オブジェクトを示す制御情報（即ち、中間データ）を、入力解析部１２５に出力するとともに、ネットワークｎ１１を介して、外部の情報処理装置１００ｂに送信する。なお、中間データは、領域Ｒ１０ａ中の実オブジェクトの画像情報であってもよい。また、他の一例として、中間データは、例えば、領域Ｒ１０ａ中の実オブジェクトに対応する領域の位置、向き、または範囲等を示すベクトル情報のように、領域Ｒ１０ａ中の実オブジェクトに対応する領域を示す表示情報を表示させる（もしくは、形成する）ための制御情報であってもよい。

　入力解析部１２５は、画像解析部１２３から、検出された領域Ｒ１０ａ中の実オブジェクトを示す中間データを取得する。入力解析部１２５は、取得した中間データに基づき、検出された領域Ｒ１０ａ中の実オブジェクト中から、所定の条件を満たす実オブジェクトを操作体として特定する。具体的な一例として、入力解析部１２５は、検出された実オブジェクトのうち、所定の形状特徴を有する実オブジェクト（例えば、手等）を、操作体として特定する。なお、入力解析部１２５は、例えば、手を操作体として特定する場合においても、手が特定の形状となった場合（例えば、指で物を指定する形状となった場合）にのみ、その手を操作体として認識することも可能である。また、他の一例として、入力解析部１２５は、検出された実オブジェクトのうち、動作する実オブジェクト（即ち、動体）を、操作体として特定してもよい。

　入力解析部１２５は、操作体として特定した実オブジェクトの位置や動きに基づき、当該操作体によるユーザ操作の対象や、当該ユーザ操作の内容を特定する。なお、このとき、情報を表示する領域Ｒ１０の座標と、ユーザの手等の操作体の領域Ｒ１０への接触座標とが一致するように予め校正されることで、例えば、入力解析部１２５は、操作体が、表示画面（例えば、ＧＵＩ）のどの部分に接触したかを検出することが可能となる。

　以上のようにして、入力解析部１２５は、領域Ｒ１０ａ中の手等の操作体によるユーザ操作の内容（具体的には、操作対象や、当該操作の種別）を特定し、特定したユーザ操作の内容を示す操作情報を画面更新部１２７に出力する。

　次に、制御部１２０ｂの、通信部１２１、画像解析部１２３、及び入力解析部１２５について説明する。

　制御部１２０ｂにおける通信部１２１及び画像解析部１２３は、前述した制御部１２０ａにおける通信部１２１及び画像解析部１２３と同様である。

　即ち、制御部１２０ｂの通信部１２１は、制御部１２０ｂ内の各構成が、ネットワークｎ１１を介して、外部の情報処理装置１００ａと通信を行うための通信インタフェースである。なお、以降の説明では、制御部１２０ｂ内の各構成が、ネットワークｎ１１を介して、外部の情報処理装置１００ａとの間で情報の送受信を行う場合には、特に設営が無い場合においても、当該通信部１２１を介して当該情報の送受信を行うものとする。

　また、制御部１２０ｂの画像解析部１２３は、撮像部１１１により撮像された領域Ｒ１０ｂの画像を取得し、当該画像を解析することで、領域Ｒ１０ｂに存在する手等の操作体や領域Ｒ１０ｂに置かれている物体等の実オブジェクトを検出する。そして、画像解析部１２３は、検出された領域Ｒ１０ｂ中の実オブジェクトを示す中間データを、制御部１２０ｂの入力解析部１２５に出力するとともに、ネットワークｎ１１を介して、外部の情報処理装置１００ａに送信する。

　また、制御部１２０ｂの入力解析部１２５は、画像解析部１２３から取得した中間データに基づき操作体を特定し、当該操作体によるユーザ操作の内容（即ち、操作対象や、当該操作の種別）を特定する動作については、前述した制御部１２０ａの入力解析部１２５と同様である。

　即ち、入力解析部１２５は、画像解析部１２３から、検出された領域Ｒ１０ｂ中の実オブジェクトを示す中間データを取得する。入力解析部１２５は、取得した中間データに基づき、検出された領域Ｒ１０ｂ中の実オブジェクト中から、所定の条件を満たす実オブジェクトを操作体として特定する。

　そして、制御部１２０ｂの入力解析部１２５は、特定した操作体の位置や動きに基づき、領域Ｒ１０ｂ中の当該操作体によるユーザ操作の内容（具体的には、操作対象や、当該操作の種別）を特定し、特定したユーザ操作の内容を示す操作情報を、ネットワークｎ１１を介して情報処理装置１００ａに送信する。

　次に、制御部１２０ａの画面更新部１２７及び表示制御部１２９ａと、制御部１２０ｂの表示制御部１２９ｂと、各情報処理装置１００の出力部１３０とについて説明する。

　画面更新部１２７は、情報処理装置１００ａ及び１００ｂ間で共有する表示画面の生成及び更新を行うための構成である。

　具体的には、画面更新部１２７は、各種アプリケーションの動作状況に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を生成する。画面更新部１２７は、生成した表示画面を表示制御部１２９ａに出力するとともに、当該表示画面を表示するための画面データを、ネットワークｎ１１を介して外部の情報処理装置１００ｂに送信する。なお、画面データは、例えば、表示画面を示す画像情報であってもよい。また、他の一例として、画面データは、表示画面中の表示オブジェクトの位置、向き、または範囲等を示すベクトル情報のように、表示画面を表示させる（もしくは、形成する）ための制御情報であってもよい。

　また、画面更新部１２７は、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作を受けて、当該操作の内容に基づき表示画面を更新する。

　具体的には、画面更新部１２７は、領域Ｒ１０ａに表示された表示画面に対するユーザ操作の内容を示す操作情報を、入力解析部１２５から取得する。即ち、画面更新部１２７は、入力解析部１２５から取得した操作情報に基づき、領域Ｒ１０ａに表示された表示画面に対するユーザ操作の内容（具体的には、操作対象や、当該操作の種別）を認識する。

　また、画面更新部１２７は、情報処理装置１００ｂにおいて同様に生成された、領域Ｒ１０ｂに表示された表示画面に対するユーザ操作の内容を示す操作情報を、ネットワークｎ１１を介して当該情報処理装置１００ｂから取得する。

　以上のようにして、画面更新部１２７は、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作の操作内容を認識し、認識した操作内容に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を更新する。そして、画面更新部１２７は、更新した表示画面を表示制御部１２９ａに出力するとともに、当該表示画面を表示するための画面データを、ネットワークｎ１１を介して外部の情報処理装置１００ｂに送信する。

　表示制御部１２９ａは、生成または更新された表示画面を、画面更新部１２７から取得する。また、表示制御部１２９ａは、ネットワークｎ１１を介して情報処理装置１００ｂから、検出された領域Ｒ１０ｂ中の実オブジェクトを示す中間データを取得する。表示制御部１２９ａは、取得した中間データに基づき、領域Ｒ１０ｂ中の実オブジェクトを示す表示情報を生成する。そして、表示制御部１２９ａは、取得した表示画面に、生成した領域Ｒ１０ｂ中の実オブジェクトを示す表示情報を重畳させた画像を生成し、生成した当該画像を出力部１３０に出力させる。これにより、領域Ｒ１０ｂ中の実オブジェクトを示す表示情報が重畳された表示画面が、領域Ｒ１０ａ上に表示される。

　なお、このとき、表示制御部１２９ａは、取得した中間データが示す実オブジェクトのうち、所定の条件を満たす実オブジェクトについてのみ、当該実オブジェクトを示す表示情報を生成してもよい。具体的な一例として、表示制御部１２９ａは、中間データが示す実オブジェクトのうち、動作する実オブジェクト（即ち、動体）についてのみ表示情報を生成してもよい。また、他の一例として、表示制御部１２９ａは、中間データが示す実オブジェクトのうち、所定の形状特徴を有する実オブジェクトについてのみ表示情報を生成してもよい。

　また、表示制御部１２９ｂは、生成または更新された表示画面を表示するための画面データを、ネットワークｎ１１を介して情報処理装置１００ａから取得する。また、表示制御部１２９ｂは、ネットワークｎ１１を介して情報処理装置１００ａから、検出された領域Ｒ１０ａ中の実オブジェクトを示す中間データを取得する。表示制御部１２９ｂは、取得した中間データに基づき、領域Ｒ１０ａ中の実オブジェクトを示す表示情報を生成する。そして、表示制御部１２９ｂは、取得した画面データに基づく表示画面に、生成した領域Ｒ１０ａ中の実オブジェクトを示す表示情報を重畳させた画像を生成し、生成した当該画像を出力部１３０に出力させる。これにより、領域Ｒ１０ａ中の実オブジェクトを示す表示情報が重畳された表示画面が、領域Ｒ１０ｂ上に表示される。

　なお、以降では、表示制御部１２９ａ及び１２９ｂを特に区別しない場合には、単に「表示制御部１２９」と記載する場合がある。また、本構成においては、表示制御部１２９ａ及び１２９ｂのそれぞれが生成する画像（即ち、画面データに基づく表示画面に、実オブジェクトを示す表示情報を重畳させた画像）が、「第２の制御情報」の一例に相当する。

　出力部１３０は、入力部１１０によって入力された操作内容や、当該出力部１３０が出力している情報の内容、また出力部１３０が情報を出力する領域Ｒ１０上の実オブジェクトの情報に応じて制御部１２０が生成した情報を出力する。

　例えば、出力部１３０に含まれる映像出力部１３１は、表示オブジェクトが提示された画面（ＧＵＩ）等の表示情報を出力するための構成である。情報処理装置１００がプロジェクション型として構成されている場合には、映像出力部１３１は、例えば、所望の投影面（即ち、領域Ｒ１０）に向けて表示情報を投影するためのプロジェクタにより構成され得る。

　また、出力部１３０は、スピーカ等の音響デバイスにより構成され得る、効果音、音楽、音声等のような音響情報を、出力情報として出力するための構成を含んでもよい。

　以上、図９を参照して、本開示の一実施形態に係る情報処理システム１の機能構成の一例について説明した。

　＜４．処理＞
　次に、図１０～図１２を参照して、本開示の一実施形態に係る情報処理システム１の一連の処理の流れの一例について説明する。図１０～図１２は、本開示の一実施形態に係る情報処理システム１の一連の処理の流れの一例について示したフローチャートである。なお、本説明では、情報処理装置１００ａ及び１００ｂによる「中間データの生成及び送信」と、情報処理装置１００ａによる「表示画面の更新及び出力」と、情報処理装置１００ｂによる「表示画面の取得及び出力」とに分けて、各処理についてそれぞれ説明する。

　［４．１．中間データの生成及び送信］
　まず、図１０を参照して、情報処理装置１００ａ及び１００ｂのそれぞれが、中間データを生成し、生成した中間データを外部の情報処理装置１００に送信する処理の流れの一例について説明する。なお、本説明では、情報処理装置１００ａの動作に着目して説明するが、情報処理装置１００ｂについても同様であるものとする。

　（ステップＳ１０１）
　情報処理装置１００ａの入力部１１０に含まれる撮像部１１１は、領域Ｒ１０ａの画像を撮像し、撮像した画像を制御部１２０ａに出力する。なお、撮像部１１１が領域Ｒ１０ａの画像を撮像するタイミングや、撮像した画像を制御部１２０ａに出力するタイミングは特に限定されない。具体的な一例として、撮像部１１１は、所定のタイミングごとに領域Ｒ１０ａの画像を撮像し、撮像した画像を制御部１２０ａに逐次出力してもよい。また、他の一例として、撮像部１１１は、所定の処理をトリガとして領域Ｒ１０ａの画像を撮像し、撮像した画像を制御部１２０ａに出力してもよい。

　（ステップＳ１０３）
　画像解析部１２３は、撮像部１１１により撮像された領域Ｒ１０ａの画像を取得し、当該画像を解析することで、領域Ｒ１０ａに存在する手等の操作体や領域Ｒ１０ａに置かれている物体等の実オブジェクトを検出する。

　（ステップＳ１０５）
　画像解析部１２３は、検出結果に基づき、検出された領域Ｒ１０ａ中の実オブジェクトを示す中間データを生成する。なお、中間データは、領域Ｒ１０ａ中の実オブジェクトの画像情報であってもよい。また、他の一例として、中間データは、例えば、領域Ｒ１０ａ中の実オブジェクトに対応する領域の位置、向き、または範囲等を示すベクトル情報のように、領域Ｒ１０ａ中の実オブジェクトを示す表示情報を表示させる（もしくは、形成する）ための制御情報であってもよい。

　（ステップＳ１０７）
　そして、画像解析部１２３は、生成した中間データを入力解析部１２５に出力するとともに、当該中間データを、ネットワークｎ１１を介して、外部の情報処理装置１００ｂに送信する。

　なお、前述した通り、情報処理装置１００ｂの同処理についても上記に示した内容と同様である。即ち、情報処理装置１００ｂ中の画像解析部１２３は、撮像部１１１により撮像された領域Ｒ１０ｂの画像に基づき、当該領域Ｒ１０ｂ中の実オブジェクトを示す中間データを生成する。そして、当該画像解析部１２３は、生成した中間データを入力解析部１２５に出力するとともに、当該中間データを、ネットワークｎ１１を介して、外部の情報処理装置１００ａに送信する。

　以上、図１０を参照して、情報処理装置１００ａ及び１００ｂのそれぞれが、中間データを生成し、生成した中間データを外部の情報処理装置１００に送信する処理の流れの一例について説明した。

　［４．２．表示画面の更新及び出力］
　次に、図１１を参照して、情報処理装置１００ａが、表示画面を生成または更新し、当該表示画面を出力する処理の流れの一例について説明する。

　（ステップＳ２０１）
　入力解析部１２５は、画像解析部１２３から、検出された領域Ｒ１０ａ中の実オブジェクトを示す中間データを取得する。入力解析部１２５は、取得した中間データに基づき、検出された領域Ｒ１０ａ中の実オブジェクト中から、所定の条件を満たす実オブジェクトを操作体として特定する。そして、入力解析部１２５は、操作体として特定した実オブジェクトの位置や動きに基づき、当該操作体によるユーザ操作の対象や、当該ユーザ操作の内容を特定する。

　画面更新部１２７は、領域Ｒ１０ａに表示された表示画面に対するユーザ操作の内容を示す操作情報を、入力解析部１２５から取得する。即ち、画面更新部１２７は、入力解析部１２５から取得した操作情報に基づき、領域Ｒ１０ａに表示された表示画面に対するユーザ操作の内容（具体的には、操作対象や、当該操作の種別）を認識する。

　以上のようにして、画面更新部１２７は、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作の操作内容を認識する。

　（ステップＳ２０３）
　画面更新部１２７は、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作の操作内容の認識結果に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を更新する。そして、画面更新部１２７は、更新した表示画面を表示制御部１２９ａに出力するとともに、当該表示画面を表示するための画面データを、ネットワークｎ１１を介して外部の情報処理装置１００ｂに送信する。

　（ステップＳ２０５）
　表示制御部１２９ａは、ネットワークｎ１１を介して情報処理装置１００ｂから、検出された領域Ｒ１０ｂ中の実オブジェクトを示す中間データを取得する。表示制御部１２９ａは、取得した中間データに基づき、領域Ｒ１０ｂ中の実オブジェクトを示す表示情報を生成する。

　（ステップＳ２０７）
　また、表示制御部１２９ａは、生成または更新された表示画面を、画面更新部１２７から取得する。そして、表示制御部１２９ａは、取得した表示画面に、生成した領域Ｒ１０ｂ中の実オブジェクトを示す表示情報を重畳させた画像を生成し、生成した当該画像を出力部１３０に出力させる。これにより、情報処理装置１００ａ及び１００ｂ間で共有する表示画面に対して、領域Ｒ１０ｂ中の実オブジェクトを示す表示情報が重畳された画像が、領域Ｒ１０ａ上に表示される。

　以上、図１１を参照して、情報処理装置１００ａが、表示画面を生成または更新し、当該表示画面を出力する処理の流れの一例について説明した。

　［４．３．表示画面の取得及び出力］
　次に、図１２を参照して、情報処理装置１００ｂが、操作情報を情報処理装置１００ａに送信し、その結果として、情報処理装置１００ａにより生成または更新された表示画面を取得し、当該表示画面を出力する処理の流れの一例について説明する。

　（ステップＳ３０１）
　情報処理装置１００ｂの入力解析部１２５は、画像解析部１２３から、検出された領域Ｒ１０ｂ中の実オブジェクトを示す中間データを取得する。入力解析部１２５は、取得した中間データに基づき、検出された領域Ｒ１０ｂ中の実オブジェクト中から、所定の条件を満たす実オブジェクトを操作体として特定する。

　（ステップＳ３０３）
　表示制御部１２９ｂは、ネットワークｎ１１を介して情報処理装置１００ａから、生成または更新された表示画面を表示するための画面データを取得する。なお、このとき取得された画面データが示す表示画面は、入力解析部１２５により情報処理装置１００ａに送信された操作情報に基づき更新された表示画面に相当し得る。

　（ステップＳ３０５）
　また、表示制御部１２９ｂは、ネットワークｎ１１を介して情報処理装置１００ａから、検出された領域Ｒ１０ａ中の実オブジェクトを示す中間データを取得する。表示制御部１２９ｂは、取得した中間データに基づき、領域Ｒ１０ａ中の実オブジェクトを示す表示情報を生成する。

　（ステップＳ３０７）
　そして、表示制御部１２９ｂは、取得した画面データに基づく表示画面に、生成した領域Ｒ１０ａ中の実オブジェクトを示す表示情報を重畳させた画像を生成し、生成した当該画像を出力部１３０に出力させる。これにより、情報処理装置１００ａ及び１００ｂ間で共有する表示画面に対して、領域Ｒ１０ａ中の実オブジェクトを示す表示情報が重畳された画像が、領域Ｒ１０ｂ上に表示される。

　以上、図１２を参照して、情報処理装置１００ｂが、操作情報を情報処理装置１００ａに送信し、その結果として、情報処理装置１００ａにより生成または更新された表示画面を取得し、当該表示画面を出力する処理の流れの一例について説明した。

　＜５．変形例＞
　次に、本開示の一実施形態に係る情報処理システム１の変形例について説明する。

　［５．１．変形例１：識別情報の提示］
　まず、変形例１に係る情報処理装置１００について説明する。前述したように、本実施形態に係る情報処理装置１００は、自身に対応する領域Ｒ１０に、他の情報処理装置１００と共有する表示画面と、当該他の情報処理装置１００に対応する領域Ｒ１０に存在する実オブジェクトを示す表示情報とを表示させる。即ち、領域Ｒ１０には、表示画面中に表示された表示オブジェクトと、実オブジェクトを示す表示情報とが混在することとなる。

　そこで、以下に変形例１として、図１３を参照しながら、情報処理装置１００が、表示画面中に表示された表示オブジェクトと、実オブジェクトを示す表示情報とを識別可能に提示する制御の一例について説明する。図１３は、変形例１に係る情報処理装置１００の概要について説明するための説明図であり、表示画面中に表示された表示オブジェクトと、実オブジェクトを示す表示情報とを識別可能に提示するための表示態様の一例について示している。

　図１３において、参照符号ｖ１１及びｖ１３は、表示画面中に表示された表示オブジェクトを示している。また、参照符号ｖ２５及びｖ２７は、実オブジェクトを示す表示情報を示している。即ち、図１３は、表示画面上に、実オブジェクトを示す表示情報が重畳表示させた、領域Ｒ１０に表示される画像ｖ３０の一例を示している。

　即ち、図１３に示す例では、情報処理装置１００は、画像ｖ３０中に表示される情報のうち、実オブジェクトを示す表示情報ｖ２５及びｖ２７に対して、当該表示情報ｖ２５及びｖ２７の外縁を縁取るように、識別情報ｖ４５及びｖ４７を表示させている。

　このような構成により、ユーザは、提示された識別情報ｖ４５及びｖ４７に基づき、領域Ｒ１０に表示された表示画面（即ち、画像ｖ３０）中の、表示オブジェクトｖ１１及びｖ１３と、実オブジェクトを示す表示情報ｖ２５及びｖ２７とを識別することが可能となる。

　なお、表示画面中に表示された表示オブジェクトと、実オブジェクトを示す表示情報とが識別可能に提示されていれば、その態様は必ずしも図１３に示す例には限定されない。具体的な一例として、情報処理装置１００は、実オブジェクトを示す表示情報に対して、疑似的に影を表示させてもよい。これにより、ユーザは、領域Ｒ１０に表示された表示画面に提示された各種情報のうち、影が表示された情報が、実オブジェクトを示す表示情報に相当するものと認識することが可能となる。

　また、上記では、表示画面中の表示オブジェクトと、実オブジェクトを示す表示情報とのうち、実オブジェクトを示す表示情報に対して識別情報（例えば、縁取りや影）を付す例について説明したが、表示オブジェクト側に識別情報を付してもよいことは言うまでもない。

　以上、変形例１として、図１３を参照しながら、情報処理装置１００が、表示画面中に表示された表示オブジェクトと、実オブジェクトを示す表示情報とを識別可能に提示する制御の一例について説明した。

　［５．２．変形例２：実オブジェクト上への情報の投影］
　次に、図１４を参照して、変形例２に係る情報処理システム１について説明する。図１４は、変形例２に係る情報処理システム１の概要について説明するための説明図である。

　変形例２に係る情報処理システム１では、一方の情報処理装置１００に対応する領域Ｒ１０に表示された実オブジェクトを示す表示情報へのユーザ操作に対するインタラクションを、他方の領域に配置された当該実オブジェクト（物体）上にも投影する。

　例えば、図１４に示す例では、情報処理装置１００ａに対応する領域Ｒ１０ａ上に、実オブジェクトｂ２５（紙媒体の書類）が配置されている。また、情報処理装置１００ｂに対応する領域Ｒ１０ｂには、領域Ｒ１０に存在する実オブジェクトｂ２５に対応する表示情報ｖ２５が表示されている。

　ここで、図１４の上側の図に示すように、領域Ｒ１０ｂに表示された表示情報ｖ２５へのユーザ操作に対するインタラクションとして、情報処理装置１００ｂが、当該表示情報ｖ２５上に、表示情報ｖ５１ｂ及びｖ５２ｂを表示させたものとする。このとき、本実施形態に係る情報処理システム１では、図１４の下側の図に示すように、情報処理装置１００ａは、領域Ｒ１０ｂに表示されたに表示情報ｖ５１ｂ及びｖ５２ｂに対応するに表示情報ｖ５１ａ及びｖ５２ａを、実オブジェクトｂ２５上に投影する。

　具体的には、情報処理装置１００ｂは、表示情報ｖ２５に対するユーザ操作の内容に応じて、表示情報ｖ５１ｂ及びｖ５２ｂを領域Ｒ１０ｂ中の当該表示情報ｖ２５上に表示させるとともに、当該ユーザ操作の内容（例えば、操作対象や操作の種別）を示す操作情報を情報処理装置１００ａに送信する。

　そして、情報処理装置１００ａは、情報処理装置１００ｂから取得した操作情報が示す操作の内容に応じて、表示情報ｖ５１ｂ及びｖ５２ｂに対応する表示情報ｖ５１ａ及びｖ５２ａを、領域Ｒ１０ａに配置された実オブジェクトｂ２５上に投影する。

　即ち、変形例２に係る情報処理システム１に依れば、一方の領域において、他方の領域側に存在する紙媒体の資料に対応する表示情報に対して書き込みが施された場合に、当該他方領域側に実体として存在する紙媒体上にも、当該書き込みの内容が投影される。このような構成により、各ユーザは、遠隔地間において、共有された表示画面上の情報（例えば、表示オブジェクト）のみならず、一方の作業空間に存在する媒体（即ち、紙媒体の資料等のような実オブジェクト）を介した情報共有を円滑に進めることが可能となる。

　以上、図１４を参照して、変形例２に係る情報処理システム１について説明した。

　［５．３．変形例３：実オブジェクトを示す表示情報の表示制御］
　次に、変形例３として、本実施形態に係る情報処理システム１における、実オブジェクトを示す表示情報の表示制御の一例について説明する。なお、本説明では、情報処理システム１は、情報処理装置１００ａ及び１００ｂを含み、情報処理装置１００ｂが、情報処理装置１００ａ側の領域Ｒ１０ａに存在する実オブジェクトを示す表示情報を、自身に対応する領域Ｒ１０ｂに表示させるものとして説明する。

　例えば、図１５は、変形例３に係る情報処理システム１の一態様について説明するための説明図である。図１５に示す例では、情報処理装置１００ａ側の領域Ｒ１０ａに実オブジェクトｂ２５が存在しており、情報処理装置１００ｂは、当該実オブエジェクを示す表示情報を、自身に対応する領域Ｒ１０ｂに表示させている。このとき、情報処理装置１００ｂは、実オブジェクトｂ２５を示す表示情報の表示位置を移動したり、当該表示情報を複製または変形できるように提示してもよい。

　例えば、図１５において、参照符号ｖ２５１、ｖ２５２は、実オブエジェクとｂ２５を示す表示情報の一例を示している。また、参照符号ｖ２５’は、領域Ｒ１０ａ中の実オブジェクトｂ２５が存在する位置に対応する、領域Ｒ１０ｂ中の位置を示している。

　図１５に示すように、情報処理装置１００ｂは、例えば、ユーザ操作に応じて、参照符号ｖ２５’の位置に提示された実オブジェクトｂ２５を示す表示情報の複製として、表示情報ｖ２５１及びｖ２５２を、領域Ｒ１０ｂに表示させてもよい。また、このとき情報処理装置１００ｂは、表示情報ｖ２５１として示すように、実際の実オブジェクトｂ２５とは異なる大きさで、当該実オブジェクトｂ２５を示す表示情報を拡大または縮小して表示させてもよい。また、情報処理装置１００ｂは、表示情報ｖ２５２として示すように、実際の実オブジェクトｂ２５とは異なる向きで、当該実オブジェクトｂ２５を示す表示情報を表示させてもよい。

　また、情報処理装置１００ｂは、実オブジェクトｂ２５を示す表示情報の表示位置を移動した場合には、参照符号ｖ２５’に示すように、領域Ｒ１０ａ側における実オブジェクトｂ２５が存在する位置を示す提示情報を、領域Ｒ１０ｂ側に別途提示してもよい。なお、情報処理装置１００ｂは、領域Ｒ１０ａ側の実オブジェクトｂ２５の位置が移動した場合に、実オブジェクトｂ２５が存在する位置を示す提示情報の表示位置を、領域Ｒ１０ａ側における実オブジェクトｂ２５の移動に追従するように制御するとよい。なお、このとき、情報処理装置１００ｂは、複製として表示させた実オブジェクトｂ２５を示す表示情報ｖ２５１及びｖ２５２の位置は、必ずしも移動させなくてもよい。

　また、情報処理装置１００ｂは、表示情報ｖ２５１及びｖ２５２のいずれか一方に対してユーザ操作が行われた場合に、当該ユーザ操作に対するインタラクションを他方にも反映してもよい。具体的な一例として、情報処理装置１００ｂは、表示情報ｖ２５１へのユーザ操作を受け付けた場合に、当該ユーザ操作に対するインタラクションを当該表示情報ｖ２５１に加えて、表示情報ｖ２５２にも反映してもよい。また、このとき情報処理装置１００ａは、実施例２として前述した例と同様に、表示情報ｖ２５１へのユーザ操作に対するインタラクションを、実オブジェクトｂ２５上に投影してもよい。

　また、情報処理装置１００ｂは、実オブジェクトを示す表示情報の表示及び非表示を制御できるように構成されていてもよい。例えば、図１６は、変形例３に係る情報処理システム１の他の一態様について説明するための説明図である。図１６に示す例では、情報処理装置１００ｂは、ユーザ操作を受けて、領域Ｒ１０ｂへの、実オブジェクトｂ２５を示す表示情報ｖ２５の表示を一時的に制限している（即ち、非表示としている）。

　なお、このとき、情報処理装置１００ａは、情報処理装置１００ｂから、実オブジェクトｂ２５を示す表示情報ｖ２５の表示状態を示す情報を取得し、当該表示状態を示す表示情報ｖ６１を、対応する実オブジェクトｂ２５に関連付けて表示させてもよい。

　また、情報処理装置１００ｂは、図１６に示すように、非表示となった表示情報ｖ２５を再度表示させるためのＵＩｖ６３を提示してもよい。この場合には、情報処理装置１００ｂは、ＵＩｖ６３に対する操作を受けて、非表示となった表示情報ｖ２５を再度表示させればよい。

　また、情報処理システム１は、領域Ｒ１０ｂ側に表示された、実オブジェクトｂ２５を示す表示情報ｖ２５の表示態様を、当該実オブジェクトｂ２５が存在する領域Ｒ１０ａ側からの操作に基づき制御できるように構成されていてもよい。

　例えば、図１７は、変形例３に係る情報処理システム１の他の一態様について説明するための説明図である。図１７に示す例では、図１７の上側の図に示すように、情報処理装置１００ａは、ユーザ操作を受けて、領域Ｒ１０ｂ側に表示される表示情報ｖ２５の表示態様を制御するためのＵＩｖ７１を、当該表示情報ｖ２５に対応する実オブジェクトｂ２５に関連付けて表示している。

　この場合には、情報処理装置１００ａは、ＵＩｖ７１に対するユーザ操作を受けて、当該ユーザ操作に基づき指定された態様に基づく表示情報ｖ２５の表示制御を情報処理装置１００ｂに指示してもよい。具体的な一例として、ＵＩｖ７１を介した操作により、ユーザから表示情報ｖ２５の「非表示」が指定された場合には、情報処理装置１００ａは、表示情報ｖ２５を非表示とするように情報処理装置１００ｂに指示する。この指示を受けて、情報処理装置１００ｂは、図１７の下側の図に示すように、領域Ｒ１０ｂへの表示情報ｖ２５の表示を制限すればよい。

　また、ＵＩｖ７１に対する操作に基づく表示情報ｖ２５の表示制御は、当該表示情報ｖ２５の表示及び非表示には限定されず、例えば、当該表示情報ｖ２５の表示態様の切り替えも含み得る。具体的な一例として、情報処理システム１は、ＵＩｖ７１に対する操作に基づき、表示情報ｖ２５を実オブジェクトｂ２５の画像として表示する表示態様と、当該実オブジェクトｂ２５の領域のみを表示する（即ち、影として表示する）表示態様とを切り替えられるように構成されていてもよい。

　また、領域Ｒ１０ａ側に提示されたＵＩｖ７１に対するユーザ操作に基づき、領域Ｒ１０ｂに表示された表示情報ｖ２５の表示を制御できれば、当該表示制御の方法は特に限定されない。例えば、情報処理装置１００ａは、ＵＩｖ７１に対するユーザ操作に基づき、情報処理装置１００ｂへの、表示情報ｖ２５を表示するための中間データの送信を制御してもよい。具体的な一例として、ＵＩｖ７１を介した操作により、ユーザから表示情報ｖ２５の「非表示」が指定された場合には、情報処理装置１００ａは、情報処理装置１００ｂへの、当該表示情報ｖ２５を表示するための中間データ（即ち、実オブジェクトｂ２５に対応する中間データ）の送信を制限してもよい。

　また、情報処理装置１００ａは、ＵＩｖ７１を介した操作により、ユーザから指定された表示態様に応じて、中間データとして送信する情報の内容を切り替えてもよい。例えば、ＵＩｖ７１を介した操作により、表示情報ｖ２５を実オブジェクトｂ２５の画像として表示する表示態様がユーザから指定されたものとする。この場合には、情報処理装置１００ａは、中間データとして、当該実オブジェクトｂ２５の画像を情報処理装置１００ｂに送信してもよい。これに対して、ＵＩｖ７１を介した操作により、実オブジェクトｂ２５の領域のみを表示する表示態様がユーザから指定されたものとする。この場合には、情報処理装置１００ａは、例えば、中間データとして、領域Ｒ１０ａ中の当該実オブジェクトｂ２５に対応する領域の位置、向き、または範囲等を示す情報（例えば、ベクトル情報を送信してもよい。

　以上、変形例３として、図１４～図１７を参照して、本実施形態に係る情報処理システム１における、実オブジェクトを示す表示情報の表示制御の一例について説明した。

　［５．４．変形例４：システム構成例１（マスター／スレーブ構成の一例）］
　次に、変形例４として、図１８を参照して、本実施形態に係る情報処理システム１のシステム構成の一例について説明する。例えば、図１８は、変形例４に係る情報処理システム１の概略的なシステム構成の一例について説明するための説明図である。

　前述した実施形態に係る情報処理システム１（図８参照）では、マスターとして動作する情報処理装置１００ａは、スレーブとして動作する情報処理装置１００ｂに対して、画面データと、領域Ｒ１０ａ中の実オブジェクトに対応する中間データとを送信していた。即ち、当該情報処理システム１では、領域Ｒ１０ｂに表示される画像、即ち、画面データに、領域Ｒ１０ａ中の実オブジェクトを示す表示情報が重畳された画像を、情報処理装置１００ｂが生成していた。

　これに対して、変形例４に係る情報処理システム１では、図１８に示すように、マスターとして動作する情報処理装置１００ａは、領域Ｒ１０ａを撮像した画像（以降では、「撮像データ」と記載する場合がある）を、スレーブとして動作する情報処理装置１００ｂに送信している。なお、この撮像データには、情報処理装置１００ａ及び１００ｂ間で共有する表示画面と、領域Ｒ１０ａに存在する実オブジェクトとが撮像されていることとなる。そして、変形例４に係る情報処理システム１では、スレーブとして動作する情報処理装置１００ｂは、取得した撮像データを、そのまま領域Ｒ１０ｂに表示させればよい。

　このような構成により、変形例４に係る情報処理システム１では、マスターとして動作する情報処理装置１００ａが、領域Ｒ１０ａの撮像データを、ストリーミング方式に基づきスレーブとして動作する情報処理装置１００ｂに配信してもよい。

　なお、スレーブとして動作する情報処理装置１００ｂから、マスターとして動作する情報処理装置１００ａに送信される情報の内容と、当該情報に基づく制御の内容とは、前述した実施形態に係る情報処理システム１（図８参照）と同様のため、詳細な説明は省略する。

　以上のような構成により、変形例４に係る情報処理システム１は、前述した実施形態に係る情報処理システム１に比べて、スレーブとして動作する情報処理装置１００ｂの処理負荷を軽減することが可能となる。以上、変形例４として、図１８を参照して、本実施形態に係る情報処理システム１のシステム構成の一例について説明した。

　［５．５．変形例５：システム構成例２（サーバを設ける場合の構成）］
　次に、変形例５として、本開示の一実施形態に係る情報処理システム１のシステム構成の一例として、情報処理装置１００ａ及び１００ｂ以外に外部サーバを設けるシステム構成の一例について説明する。

　例えば、図１９は、変形例５に係る情報処理システム１の概略的なシステム構成の一例について説明するための説明図である。図１９に示す例では、情報処理システム１は、情報処理装置１００ａ及び１００ｂと、サーバ３００とを含み、サーバ３００が、情報処理装置１００ａ及び１００ｂ間で共有する表示画面の生成及び更新を行う。

　具体的には、サーバ３００は、情報処理装置１００ａから、領域Ｒ１０ａに表示された表示画面に対する操作の内容を示す操作情報を取得する。同様に、サーバ３００は、情報処理装置１００ｂから、領域Ｒ１０ｂに表示された表示画面に対する操作の内容を示す操作情報を取得する。そして、サーバ３００は、情報処理装置１００ａ及び１００ｂのそれぞれから取得した操作情報に基づき表示画面を更新し、当該表示画面を示す画像を表示させるための画面データを、情報処理装置１００ａ及び１００ｂのそれぞれに配信する。

　一方で、図１９に示す例では、情報処理装置１００ａ及び１００ｂ間で共有する表示画面上に実オブジェクトを重畳表示させる制御については、情報処理装置１００ａ及び１００ｂのそれぞれで実行される。

　例えば、情報処理装置１００ａに着目すると、情報処理装置１００ａは、領域Ｒ１０ａに存在する実オブジェクトを検出し、検出した実オブジェクトを示す表示情報を表示させるための中間データを情報処理装置１００ｂに送信する。

　また、情報処理装置１００ａは、情報処理装置１００ｂから、領域Ｒ１０ｂに存在する実オブジェクトを示す表示情報を表示させるための中間データを取得する。情報処理装置１００ａは、サーバ３００から配信される画像データに基づく表示画面に、情報処理装置１００ｂから取得した中間データに基づき、領域Ｒ１０ｂに存在する実オブジェクトを示す表示情報を重畳表示させた画像を生成する。そして、情報処理装置１００ａは、生成した当該画像を領域Ｒ１０ａに投影する。

　なお、情報処理装置１００ｂの動作は、上記に示した情報処理装置１００ａの動作と同様である。即ち、情報処理装置１００ｂは、サーバ３００から配信される画像データと、情報処理装置１００ａからの中間データとに基づき、領域Ｒ１０ａに存在する実オブジェクトを示す表示情報が表示画面に重畳表示された画像を生成し、当該画像を領域Ｒ１０ｂに投影する。

　ここで、図２０を参照して、図１９に示した実施例５に係る情報処理システム１の機能構成の一例について説明する。図２０は、変形例５に係る情報処理システム１の機能構成の一例を示したブロック図である。

　図２０に示すように、サーバ３００は、通信部３０１と、画面更新部３１１とを含む。

　通信部３０１は、サーバ３００内の各構成が、ネットワークｎ１１を介して、外部の情報処理装置１００ａ及び１００ｂと通信を行うための通信インタフェースである。

　また、画面更新部３１１は、図９を参照して説明した情報処理システム１において、マスターとして動作する情報処理装置１００ａの画面更新部１２７に相当する。

　即ち、画面更新部３１１は、各種アプリケーションの動作状況に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を生成する。

　また、画面更新部３１１は、情報処理装置１００ａ及び１００ｂから、領域Ｒ１０ａ及びＲ１０ｂに表示された表示画面に対するユーザ操作の内容を示す操作情報を取得する。そして、画面更新部３１１は、取得した操作情報に基づき、領域Ｒ１０ａ及びＲ１０ｂそれぞれに表示された表示画面に対するユーザ操作の操作内容を認識し、認識した操作内容に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面を更新する。

　以上のようにして、画面更新部３１１は、生成または更新した表示画面を表示するための画面データを、ネットワークｎ１１を介して外部の情報処理装置１００ａ及び１００ｂに配信する。

　また、図２０に示すように、実施例５に係る情報処理システム１は、情報処理装置１００ａ及び１００ｂが同様の機能構成を有する。そのため、情報処理装置１００ａ及び１００ｂの機能構成について、情報処理装置１００ａ側に着目して説明し、情報処理装置１００ｂ側については詳細な説明は省略する。

　図２０に示すように、情報処理装置１００ａは、入力部１１０と、制御部１２０と出力部１３０とを含む。入力部１１０及び出力部１３０は、図９を参照して前述した実施形態に係る情報処理システム１の場合と同様である。また、制御部１２０は、通信部１２１と、画像解析部１２３と、入力解析部１２５と、表示制御部１２９とを含む。

　画像解析部１２３は、図９に示した情報処理システム１における画像解析部１２３に相当する。即ち、画像解析部１２３は、撮像部１１１により撮像された領域Ｒ１０ａの画像を取得し、当該画像を解析することで、領域Ｒ１０ａに存在する手等の操作体や領域Ｒ１０ａに置かれている物体等の実オブジェクトを検出する。そして、画像解析部１２３は、検出された領域Ｒ１０ａ中の実オブジェクトを示す中間データを、入力解析部１２５に出力するとともに、ネットワークｎ１１を介して、外部の情報処理装置１００ｂに送信する。

　また、入力解析部１２５は、図９に示した情報処理システム１における入力解析部１２５に相当する。即ち、入力解析部１２５は、画像解析部１２３から中間データを取得し、取得した中間データに基づき、検出された領域Ｒ１０ａ中の実オブジェクト中から、所定の条件を満たす実オブジェクトを操作体として特定する。そして、入力解析部１２５は、操作体として特定した実オブジェクトの位置や動きに基づき、当該操作体によるユーザ操作の対象や、当該ユーザ操作の内容を特定する。

　以上のようにして、入力解析部１２５は、領域Ｒ１０ａ中の手等の操作体によるユーザ操作の内容（具体的には、操作対象や、当該操作の種別）を特定し、特定したユーザ操作の内容を示す操作情報を、ネットワークｎ１１を介してサーバ３００に送信する。

　表示制御部１２９は、生成または更新された表示画面を、ネットワークｎ１１を介してサーバ３００から取得する。また、表示制御部１２９は、ネットワークｎ１１を介して情報処理装置１００ｂから、検出された領域Ｒ１０ｂ中の実オブジェクトを示す中間データを取得する。表示制御部１２９は、取得した中間データに基づき、領域Ｒ１０ｂ中の実オブジェクトを示す表示情報を生成する。そして、表示制御部１２９は、取得した表示画面に、生成した領域Ｒ１０ｂ中の実オブジェクトを示す表示情報を重畳させた画像を生成し、生成した当該画像を出力部１３０に出力させる。これにより、領域Ｒ１０ｂ中の実オブジェクトを示す表示情報が重畳された表示画面が、領域Ｒ１０ａ上に表示される。

　以上、図１９及び図２０を参照して、変形例５に係る情報処理システム１のシステム構成の一例として、外部のサーバ３００が、情報処理装置１００ａ及び１００ｂ間で共有する表示画面の生成及び更新を行う構成の一例について説明した。

　なお、図１９及び図２０を参照して説明した例はあくまで一例である。即ち、図９を参照して説明した情報処理装置１００ａ及び１００ｂの各処理のうち、少なくとも一部をサーバ３００が処理する構成であれば、変形例５に係る情報処理システム１の機能構成は特に限定されない。

　例えば、図２１は、変形例５に係る情報処理システム１の概略的なシステム構成の他の一例について説明するための説明図である。図２１に示す例では、撮像された領域Ｒ１０ａ及びＲ１０ｂの画像からの実オブジェクトの検出、情報処理装置１００ａ及び１００ｂ間で共有する表示画面の生成及び更新、表示画面に対する実オブジェクトを示す表示情報の重畳表示等、一連の処理をサーバ３００が実行する。

　具体的には、情報処理装置１００ａは、入力部１１０により撮像された領域Ｒ１０ａの画像を、ネットワークｎ１１を介してサーバ３００に送信する。同様に、情報処理装置１００ｂは、入力部１１０により撮像された領域Ｒ１０ｂの画像を、ネットワークｎ１１を介してサーバ３００に送信する。

　サーバ３００は、情報処理装置１００ａから取得した領域Ｒ１０ａの画像を解析することで、領域Ｒ１０ａに存在する手等の操作体や領域Ｒ１０ａに置かれている物体等の実オブジェクトを検出する。同様に、サーバ３００は、情報処理装置１００ｂから取得した領域Ｒ１０ｂの画像を解析することで、領域Ｒ１０ｂに存在する手等の操作体や領域Ｒ１０ｂに置かれている物体等の実オブジェクトを検出する。

　次いで、サーバ３００は、領域Ｒ１０ａ及び領域Ｒ１０ｂのそれぞれから検出した実オブジェクトのうち、所定の条件を満たす実オブジェクトを操作体として特定する。サーバ３００は、操作体として特定した実オブジェクトの位置や動きに基づき、当該操作体によるユーザ操作の対象や、当該ユーザ操作の内容を特定する。そして、サーバ３００は、特定したユーザ操作の内容に基づき、情報処理装置１００ａ及び１００ｂ間で共有する表示画面の生成及び更新を行う。

　次いで、サーバ３００は、生成及び更新した表示画面と、領域Ｒ１０ａ及び領域Ｒ１０ｂに存在する実オブジェクトの検出結果とに基づき、領域Ｒ１０ａ及び領域Ｒ１０ｂに表示させる表示画面の画像を生成する。

　具体的には、サーバ３００は、生成及び更新した表示画面と、領域Ｒ１０ｂに存在する実オブジェクトの検出結果とに基づき、当該表示画面に対して、領域Ｒ１０ｂに存在する実オブジェクトを示す表示情報を重畳表示させた画像を生成する。そして、サーバ３００は、生成した画像を、情報処理装置１００ｂに送信する。

　また、サーバ３００は、生成及び更新した表示画面と、領域Ｒ１０ａに存在する実オブジェクトの検出結果とに基づき、当該表示画面に対して、領域Ｒ１０ａに存在する実オブジェクトを示す表示情報を重畳表示させた画像を生成する。そして、サーバ３００は、生成した当該画像を、情報処理装置１００ｂに送信する。

　そして、情報処理装置１００ａ及び１００ｂは、サーバ３００からそれぞれに配信される画像を、自身に対応する領域Ｒ１０に表示させればよい。なお、サーバ３００は、情報処理装置１００ａ及び１００ｂのそれぞれに画像を送信する際に、ストリーミング方式に基づき当該画像を送信してもよい。なお、本構成の場合には、サーバ３００から、情報処理装置１００ａ及び１００ｂのそれぞれに送信（配信）される情報（即ち、生成された画像を表示するためのデータ）が、「第２の制御情報」の一例に相当する。

　以上のような構成により、情報処理装置１００ａ側に対応する領域Ｒ１０ａには、情報処理装置１００ａ及び１００ｂ間で共有する表示画面に対して、領域Ｒ１０ｂに存在する実オブジェクトを示す表示情報が重畳表示された画像が表示される。同様に、情報処理装置１００ｂ側に対応する領域Ｒ１０ｂには、情報処理装置１００ａ及び１００ｂ間で共有する表示画面に対して、領域Ｒ１０ａに存在する実オブジェクトを示す表示情報が重畳表示された画像が表示される。

　以上、図２１は、変形例５に係る情報処理システム１の概略的なシステム構成の他の一例について説明した。

　以上、変形例５として説明したように、本開示の一実施形態に係る情報処理システム１は、サーバ３００を設けることで、図９を参照して情報処理装置１００ａ及び１００ｂの処理のうち、少なくとも一部をサーバ３００が処理する構成としてもよい。このように、サーバ３００を設けることで、情報処理装置１００ａ及び１００ｂの処理負荷を軽減することが可能となる。

　＜６．ハードウェア構成＞
　次に、図２２を参照して、本開示の一実施形態にかかる情報処理装置１００のハードウェア構成について説明する。図２２は、本開示の一実施形態にかかる情報処理装置１００のハードウェア構成例を示すブロック図である。

　図２２に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動きなどを撮像することによって、入力装置として機能しうる。

　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置１００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

　ストレージ装置９１９は、情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

　接続ポート９２３は、機器を情報処理装置１００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１００と外部接続機器９２９との間で各種のデータが交換されうる。

　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１００の筐体の姿勢など、情報処理装置１００自体の状態に関する情報や、情報処理装置１００の周辺の明るさや騒音など、情報処理装置１００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

　以上、情報処理装置１００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

　＜７．まとめ＞
　以上、説明したように、本実施形態に係る情報処理システム１は、ネットワークを介して接続された複数の情報処理装置１００を含む。当該情報処理システム１では、複数の情報処理装置１００それぞれにより、当該情報処理装置１００の作業空間に相当する領域Ｒ１０の画像が撮像され、当該画像の解析結果に基づき、当該領域Ｒ１０に存在する実オブジェクトが検出される。そして、各領域Ｒ１０のうち、一の領域Ｒ１０には、複数の情報処理装置１００間で共有する表示画面に対して、他の領域Ｒ１０から検出された実オブジェクトを示す表示情報が重畳された画像が表示される。

　以上のような構成により、本実施形態に係る情報処理システム１に依れば、複数の情報処理装置１００間において、共有する表示画面と、各作業空間に存在する実オブジェクトを示す情報とを、好適な態様で共有することが可能となる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を表示させるための第１の制御情報を取得する取得部と、
　取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第１の領域とは異なる第２の領域に表示させるための第２の制御情報を生成する生成部と、
　を備えた情報処理装置。
（２）
　前記生成部は、前記第１の制御情報に基づき、前記実オブジェクトの画像が前記画面に重畳させた前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、前記（１）に記載の情報処理装置。
（３）
　前記生成部は、前記第１の制御情報に基づき、前記実オブジェクトが占める領域を示す表示情報が前記画面に重畳させた前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、前記（１）に記載の情報処理装置。
（４）
　前記生成部は、前記第１の領域に存在する前記実オブジェクトのうち、所定の条件を満たす前記実オブジェクトを示す表示情報を前記画面に重畳された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記生成部は、前記第１の領域に存在する前記実オブジェクトのうち、動作する前記実オブジェクトを示す表示情報を前記画面に重畳された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、前記（４）に記載の情報処理装置。
（６）
　前記生成部は、前記第１の領域に存在する前記実オブジェクトのうち少なくとも一部について、前記実オブジェクトを示す表示情報の表示が制限された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記生成部は、前記画面中に提示された表示オブジェクトと、前記実オブジェクトを示す表示情報とが、異なる態様で提示された前記表示画像を、記第２の領域に表示させるための前記第２の制御情報を生成する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記取得部は、前記第１の領域中の前記実オブジェクトに対する操作内容を示す操作情報を取得し、
　前記生成部は、取得された当該操作情報に基づき、前記操作内容に応じた表示情報が提示された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記取得部は、前記第２の領域中に表示された、前記実オブジェクトを示す表示情報に対する操作内容を示す操作情報を取得し、
　前記生成部は、取得された当該操作情報に基づき、前記表示画像への当該実オブジェクトを示す表示情報の表示を制御する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記第２の制御情報に基づき、前記表示画像を前記第２の領域に表示させる表示制御部を備える、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記表示制御部は、前記第２の領域に表示情報を投影する投影部に、前記第２の制御情報に基づき、当該第２の領域に前記表示画像を投影させる、前記（１０）に記載の情報処理装置。
（１２）
　前記第２の制御情報を、前記第２の領域への情報の表示を制御する外部装置に送信する送信部を備える、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１３）
　前記第１の領域と前記第２の領域とは、隔離された互いに異なる領域である、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得する取得部と、
　取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成する生成部と、
　を備えた情報処理装置。
（１５）
　前記制御情報は、前記第１の領域の画像から抽出された前記実オブジェクトの部分画像である、前記（１４）に記載の情報処理装置。
（１６）
　前記制御情報は、前記第１の領域中における前記実オブジェクトの、位置、向き、及び範囲を示す情報のうち少なくともいずれかを含む、前記（１４）または（１５）に記載の情報処理装置。
（１７）
　前記第２の領域への情報の表示を制御する外部装置に、前記制御情報を送信する送信部を備える、前記（１４）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記制御情報に基づき、前記第２の領域への情報の表示を制御する外部装置に、前記画面に前記実オブジェクトを示す表示情報が重畳された画像を送信する送信部を備える、前記（１４）～（１６）のいずれか一項に記載の情報処理装置。
（１９）
　前記撮像部を備える、前記（１４）～（１８）のいずれか一項に記載の情報処理装置。
（２０）
　前記取得部は、撮像された前記第１の領域の画像を外部装置から取得する、前記（１４）～（１８）のいずれか一項に記載の情報処理装置。
（２１）
　前記第１の領域への情報の表示を制御する表示制御部を備え、
　前記取得部は、前記第２の領域に表示された前記実オブジェクトを示す表示情報に対する操作内容を示した操作情報を取得し、
　前記表示制御部は、前記操作情報に基づき、前記第１の領域中に存在する当該実オブジェクト上に当該操作内容に応じた表示情報を表示させる、前記（１４）～（２０）のいずれか一項に記載の情報処理装置。
（２２）
　複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を、当該第１の領域とは異なる第２の領域に表示させるための第１の制御情報を取得することと、
　プロセッサが、取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第２の領域に表示させるための第２の制御情報を生成することと、
　を含む情報処理方法。
（２３）
　撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得することと、
　プロセッサが、取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成することと、
　を含む情報処理方法。
（２４）
　コンピュータに、
　複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を、当該第１の領域とは異なる第２の領域に表示させるための第１の制御情報を取得することと、
　取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第２の領域に表示させるための第２の制御情報を生成することと、
　を実行させるプログラム。
（２５）
　コンピュータに、
　撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得することと、
　取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成することと、
　を実行させるプログラム。

　１　　　情報処理システム
　１００、１００ａ、１００ｂ　情報処理装置
　１１０　入力部
　１１１　撮像部
　１２０、１２０ａ、１２０ｂ　制御部
　１２１　通信部
　１２３　画像解析部
　１２５　入力解析部
　１２７　画面更新部
　１２９、１２９ａ、１２９ｂ　表示制御部
　１３０　出力部
　１３１　映像出力部
　３００　サーバ
　３０１　通信部
　３１１　画面更新部

Claims

　複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を表示させるための第１の制御情報を取得する取得部と、
　取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第１の領域とは異なる第２の領域に表示させるための第２の制御情報を生成する生成部と、
　を備えた情報処理装置。
　前記生成部は、前記第１の制御情報に基づき、前記実オブジェクトの画像が前記画面に重畳させた前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、請求項１に記載の情報処理装置。
　前記生成部は、前記第１の制御情報に基づき、前記実オブジェクトが占める領域を示す表示情報が前記画面に重畳させた前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、請求項１に記載の情報処理装置。
　前記生成部は、前記第１の領域に存在する前記実オブジェクトのうち、所定の条件を満たす前記実オブジェクトを示す表示情報を前記画面に重畳された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、請求項１に記載の情報処理装置。
　前記生成部は、前記第１の領域に存在する前記実オブジェクトのうち、動作する前記実オブジェクトを示す表示情報を前記画面に重畳された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、請求項４に記載の情報処理装置。
　前記生成部は、前記第１の領域に存在する前記実オブジェクトのうち少なくとも一部について、前記実オブジェクトを示す表示情報の表示が制限された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、請求項１に記載の情報処理装置。
　前記生成部は、前記画面中に提示された表示オブジェクトと、前記実オブジェクトを示す表示情報とが、異なる態様で提示された前記表示画像を、記第２の領域に表示させるための前記第２の制御情報を生成する、請求項１に記載の情報処理装置。
　前記取得部は、前記第１の領域中の前記実オブジェクトに対する操作内容を示す操作情報を取得し、
　前記生成部は、取得された当該操作情報に基づき、前記操作内容に応じた表示情報が提示された前記表示画像を、前記第２の領域に表示させるための前記第２の制御情報を生成する、請求項１に記載の情報処理装置。
　前記取得部は、前記第２の領域中に表示された、前記実オブジェクトを示す表示情報に対する操作内容を示す操作情報を取得し、
　前記生成部は、取得された当該操作情報に基づき、前記表示画像への当該実オブジェクトを示す表示情報の表示を制御する、請求項１に記載の情報処理装置。
　前記第２の制御情報に基づき、前記表示画像を前記第２の領域に表示させる表示制御部を備える、請求項１に記載の情報処理装置。
　前記表示制御部は、前記第２の領域に表示情報を投影する投影部に、前記第２の制御情報に基づき、当該第２の領域に前記表示画像を投影させる、請求項１０に記載の情報処理装置。
　前記第２の制御情報を、前記第２の領域への情報の表示を制御する外部装置に送信する送信部を備える、請求項１に記載の情報処理装置。
　前記第１の領域と前記第２の領域とは、隔離された互いに異なる領域である、請求項１に記載の情報処理装置。
　撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得する取得部と、
　取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成する生成部と、
　を備えた情報処理装置。
　前記制御情報は、前記第１の領域の画像から抽出された前記実オブジェクトの部分画像である、請求項１４に記載の情報処理装置。
　前記制御情報は、前記第１の領域中における前記実オブジェクトの、位置、向き、及び範囲を示す情報のうち少なくともいずれかを含む、請求項１４に記載の情報処理装置。
　前記第２の領域への情報の表示を制御する外部装置に、前記制御情報を送信する送信部を備える、請求項１４に記載の情報処理装置。
　前記制御情報に基づき、前記第２の領域への情報の表示を制御する外部装置に、前記画面に前記実オブジェクトを示す表示情報が重畳された画像を送信する送信部を備える、請求項１４に記載の情報処理装置。
　前記撮像部を備える、請求項１４に記載の情報処理装置。
　前記取得部は、撮像された前記第１の領域の画像を外部装置から取得する、請求項１４に記載の情報処理装置。
　前記第１の領域への情報の表示を制御する表示制御部を備え、
　前記取得部は、前記第２の領域に表示された前記実オブジェクトを示す表示情報に対する操作内容を示した操作情報を取得し、
　前記表示制御部は、前記操作情報に基づき、前記第１の領域中に存在する当該実オブジェクト上に当該操作内容に応じた表示情報を表示させる、請求項１４に記載の情報処理装置。
　複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を、当該第１の領域とは異なる第２の領域に表示させるための第１の制御情報を取得することと、
　プロセッサが、取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第２の領域に表示させるための第２の制御情報を生成することと、
　を含む情報処理方法。
　撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得することと、
　プロセッサが、取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成することと、
　を含む情報処理方法。
　コンピュータに、
　複数の装置間で共有された画面が表示された第１の領域に存在する実オブジェクトを示す表示情報を、当該第１の領域とは異なる第２の領域に表示させるための第１の制御情報を取得することと、
　取得された前記第１の制御情報に基づき、前記実オブジェクトを示す表示情報を前記画面に重畳させた表示画像を、前記第２の領域に表示させるための第２の制御情報を生成することと、
　を実行させるプログラム。
　コンピュータに、
　撮像部により撮像された、複数の装置間で共有された画面が表示された第１の領域の画像を取得することと、
　取得された前記第１の領域の画像に基づき、前記第１の領域に存在する実オブジェクトを示す表示情報を、前記画面が表示された当該第１の領域とは異なる第２の領域に表示させるための制御情報を生成することと、
　を実行させるプログラム。