JP4588395B2 - 情報処理端末 - Google Patents

Description

本発明は、装置制御システムに関し、特に自装置から他装置の機能を制御する装置制御システムに関する。

情報通信技術が高度に発達している現在では、情報端末や携帯電話などの情報機器があらゆるところに遍在している。また、このような環境においては、いつでもどこでも必要な処理に対してアクセス可能なユビキタス（ubiquitous）・コンピューティングによる情報化社会の実現が期待される。

一方、近年になって、実世界における状況（実世界の事物やユーザの位置など）を積極的に利用し、現実の世界を拡張した拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている（強化現実とも呼ばれる）。

拡張現実は、データの中だけに存在する空間を現実らしく見せる「仮想現実」とは異なり、コンピュータによって作られる仮想空間と、現実空間とを１対１に対応させて、現実の風景に仮想情報を付加し、仮想空間と現実空間とがつながっているように見せる技術である。

例えば、デジタルミュージアムに適用されているものに、拡張現実を実現するヘッドマウントディスプレイ（ＨＭＤ）がある。来館者はＨＭＤを装着して展示物を見ることで、ＨＭＤのディスプレイには現実の視界に重ねて展示物の情報が表示され、展示物に関する説明が流れてきたりする。

このように、現実の世界が見えると同時に、仮想の世界も重なり合って見える環境（拡張現実感）を来館者に対して提供することで、来館者個々の興味を引き出し、その興味に沿った情報を得られるようにしている。

拡張現実を用いた従来技術として、視認性の識別情報が配置された実世界風景を撮影した画像から、所望の識別情報を選択するための操作環境を提供する技術が提案されている（例えば、特許文献１）。
特開２００３−３２３２３９号公報（段落番号〔００３４〕〜〔００４１〕，第１図）

上記のように、従来の拡張現実技術は、特定の場所（デジタルミュージアム）において、その場所に特化した情報（展示情報）を、特定の装置（ＨＭＤ）を用いて提供するというように、非常に大がかりのシステムによって限られた範囲で実現されており、拡張現実感をユーザに対して身近に提供するシステムは実用化されていなかった。

また、従来技術（特開２００３−３２３２３９号公報）は、光ビーコンを実世界上の事物（例えば、看板やビル等）に設けて、光ビーコンから発せられる光信号形式の情報を、カメラ付き情報端末で取得することで拡張現実感を出している。

例えば、映画のポスタの近くに映画のＩＤ情報を発する光ビーコンを設けておき、ユーザがカメラ付き情報端末でポスタを眺めると、情報端末がその映画のＩＤ情報を取得し、映画の予告編動画が情報端末の画面に表示されたりする。

従来技術（特開２００３−３２３２３９号公報）は、ユーザの視界に存在する実世界の事物に応じた情報を、光学的信号によってユーザに提供するものなので、ユーザは視覚的な情報を受動的に得ることになる（このことはデジタルミュージアムで述べた内容でも同様である）。

このように、上記のような従来の拡張現実技術では、ユーザに対して主に視覚的な情報を提供することが中心となっており、ユーザが拡張現実の中に入って、情報をやりとりするといったことはできなかった。

例えば、ユビキタス・コンピューティングのネットワーク環境上で、各種機器（例えば、デジタル家電やパソコン）の操作スイッチやボタン等に実際に触れることなく、携帯端末のユーザインタフェースを用いて、それらの操作パネルと同じ構図で各種機器を操作したり、動作確認を行うことが可能ならば、ユーザが拡張現実の中で情報をやりとりできる空間が構築されていることになる。

従来では携帯端末が各種機器の操作を行う端末となる場合には、物理的な位置を把握するための高精度のＧＰＳシステム等が必要であることや、専用的なインタフェースを持つ必要があり、また、制御可能な機能に関してもそれらのインタフェースと類似する構図で操作できるものがないので直感的ではなく、拡張現実感を得られないといった問題があった。

本発明はこのような点に鑑みてなされたものであり、各種装置に取り付けられている操作パネルであたかも実現するかのように、各種装置の機能をユーザが所有する端末で適切に制御することを可能にした装置制御システムを提供することを目的とする。

上記課題を解決するために、情報処理端末が提供される。この情報処理端末は、自端末のユーザインタフェースを用いて他装置の機能を操作する情報処理端末において、制御提供可能な装置を検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、ユーザインタフェースの画面の座標情報を含む端末メッセージを送信する制御要請部と、他装置から受信した、前記検索応答メッセージに含まれる他装置の提供機能の情報及び前記端末メッセージに基づいて作成されたイベント詳細情報にもとづくイベントを画面に表示する表示制御部と、画面に表示されたイベントの操作により、他装置に制御要求メッセージを送信する制御要求処理部と、制御提供可能な装置側のユーザインタフェース部分を撮影して撮影画像を取得する撮影部とを有する。また、前記表示制御部は、イベントの位置情報を含む前記イベント詳細情報を受信すると、前記位置情報に該当する画面上の座標にマークを付け、前記撮影部により前記マークが付いた座標の位置と制御提供可能な装置側のユーザインタフェース部分の位置とを合わせて撮影して取得した撮影画像を、前記イベントが表示された画面に表示する。

各種装置に取り付けられている操作パネルであたかも実現するかのように、各種装置の機能をユーザが所有する端末で適切に制御することが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。図１は装置制御システムの原理図である。装置制御システム１は、自端末である情報処理端末１０（例えば、カメラ付き携帯電話機など）と他装置である制御提供装置２０（例えば、パソコンなど）から構成され、情報処理端末１０側で、制御提供装置２０のユーザインタフェースと類似の構図で制御提供装置２０を制御するシステムである。例えば、操作したいパソコンのキーボードの絵が、携帯電話機の画面に映し出され、映っているキーに触れることでパソコンを動作させることが可能である（この動作例について図９、図１０で後述）。

情報処理端末１０は、装置検索部１１、制御要請部１２、表示制御部１３、制御要求処理部１４、撮影部１５から構成される。装置検索部１１は、情報処理端末１０に対して、制御を提供することが可能な装置を検索するための検索メッセージＭ１を送信し、制御提供装置２０から提供可能な機能の情報を含む検索応答メッセージＭ２を受信する。

制御要請部１２は、ユーザインタフェースの画面の座標情報及び自端末のＩＤを含む端末メッセージＭ３を送信して制御要請を行う。表示制御部１３は、制御項目からなる検索カテゴリを表示し、また他装置の提供機能を表示する。さらに、イベント詳細情報Ｄ１にもとづく表示モードに対応したイベントを画面に表示する。

制御要求処理部１４は、画面に表示されたイベントをユーザが操作することにより、他装置に制御要求メッセージＭ４を送信する。撮影部１５は、カメラ機能に該当し、画像を撮影し、撮影画像を格納する処理を行う。

制御提供装置２０は、検索応答処理部２１、制御要請応答処理部２２、機能実行部２３、接続状態管理部２４から構成される。検索応答処理部２１は、検索メッセージＭ１を受信して検索応答メッセージＭ２を返信する。

制御要請応答処理部２２は、端末メッセージＭ３を受信し、端末メッセージＭ３内の情報処理端末１０のＩＤから、自装置を操作する端末を管理する。また、端末メッセージＭ３内の座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能なイベントを割り当ててイベント詳細情報Ｄ１を生成し送信する。機能実行部２３は、制御要求メッセージＭ４を受信して該当機能を実行する。

接続状態管理部２４は、情報処理端末１０との接続状態の管理を行う。具体的には、情報処理端末１０が発する電波強度を周期的に監視し、情報処理端末１０からの電波強度がしきい値を下回る場合は管理対象から外す。また、電波強度がしきい値を超える場合は、自装置を操作する情報処理端末１０として、タイマを可動して管理し、有効時間内にアクセスが来なければ、管理対象から外す。

次に装置制御システム１の概要動作について説明する。なお、具体例として、情報処理端末１０はカメラ付きの携帯電話機１０ａ、制御提供装置２０はパソコン２０ａであるものとして説明する。

図２、図３は装置制御システム１の動作シーケンスを示す図である。
〔Ｓ１〕携帯電話機１０ａの表示制御部１３は、パソコン２０ａの制御項目を記した検索カテゴリをユーザインタフェースの画面に表示する。例えば、携帯電話機１０ａがパソコン２０ａに対する制御として、パソコン２０ａを“操作”する制御、パソコン２０ａに何らかの情報を“表示”させる制御、パソコン２０ａと“通信”を行う制御、パソコン２０ａから何らかの情報を“配信”させる制御という４つの制御が可能であるとしたら、“操作”、“表示”、“通信”、“配信”といった制御項目を検索カテゴリとして携帯電話機１０ａの画面に表示する。

〔Ｓ２〕ユーザは、検索カテゴリの中から“操作”を選択したとする。
〔Ｓ３〕携帯電話機１０ａの装置検索部１１は、カテゴリ要求（Category Request：ここでは“操作”要求）を含む検索メッセージＭ１を生成し、パソコン２０ａに送信する。なお、検索メッセージＭ１の詳細フォーマットは図４で後述する。

〔Ｓ４〕パソコン２０ａの検索応答処理部２１は、検索メッセージＭ１を受信すると、Category Requestとして“操作”とあるので、携帯電話機１０ａが自装置を“操作”したいということを認識する。携帯電話機１０ａが操作できるものとして、キーボードと電源スイッチがあるとすれば、検索応答処理部２１は、提供できる機能として、キーボードと電源スイッチである旨の情報を検索応答メッセージＭ２に入れて携帯電話機１０ａに返信する。なお、検索応答メッセージＭ２の詳細フォーマットは図５で後述する。

〔Ｓ５〕携帯電話機１０ａは、検索応答メッセージＭ２を受信し、表示制御部１３は、“操作”に該当するパソコン２０ａの提供機能として、“キーボード”と“電源スイッチ”とを画面上に表示する。

〔Ｓ６〕ユーザは“キーボード”を選択したとする。
〔Ｓ７〕携帯電話機１０ａの制御要請部１２は、ユーザインタフェースの画面の座標情報（例えば、画面の縦横方向に何画素あるか等の情報）及び自端末のＩＤを、端末メッセージＭ３に含めて送信し制御要請を行う。なお、端末メッセージＭ３の詳細フォーマットは図６で後述する。

〔Ｓ８〕パソコン２０ａの制御要請応答処理部２２は、端末メッセージＭ３を受信し、携帯電話機１０ａのＩＤを用いて、自装置を制御する端末が携帯電話機１０ａであることを管理する。また、端末メッセージＭ３に含まれている座標情報から携帯電話機１０ａのユーザインタフェース画面の座標を認識し、その座標の相対位置に、キーボードのイベントを割り当ててイベント詳細情報Ｄ１を生成し送信する。

なお、イベントとは、情報処理端末１０が制御提供装置２０を制御する際に対象となる個々の機能のことである。例えば、キーボードのイベントとは、キーボードを構成する各キーのことになる。すなわち、ＥＳＣ、Ｆ１などの制御キーや、０〜９の数字キー、Ａ〜Ｚの文字キーなどがキーボードのイベントとなる。したがって、イベント詳細情報Ｄ１は、情報処理端末１０の識別子に対応して、制御提供装置２０が提供可能なこれら機能の組み合わせの情報のことである。なお、イベント詳細情報Ｄ１の詳細フォーマットは図２６〜図２９で後述する。

〔Ｓ９〕表示制御部１３は、イベント詳細情報Ｄ１を受信し、イベント詳細情報Ｄ１にもとづく表示モードに対応してイベントを画面上に表示する。図に示す表示モードの例は、データモードとテキストモードを示している。データモードは、画面上のある座標に何らかのマーク（強調表示）をして、そのマークがイベントに対応することを示すモードである。また、テキストモードは、画面上にイベントのテキスト（ＥＳＣ、Ｆ１等の名称）を表示するモードである。なお、それぞれのイベントにはＩＤ（以下、制御ＩＤと呼ぶ）が付されており、イベントは制御ＩＤで管理される。

〔Ｓ１０〕ユーザは携帯電話機１０ａの画面に表示されているイベントを操作する。すると、携帯電話機１０ａの制御要求処理部１４は、パソコン２０ａに対して、該当キーの制御要求メッセージＭ４をパソコン２０ａに送信する。例えば、ユーザが画面上に表示されているＥＳＣキーとＦ１キーにタッチすると、制御要求処理部１４は、ＥＳＣキーとＦ１キーの制御要求メッセージＭ４をパソコン２０ａに送信する。なお、制御要求メッセージＭ４の詳細フォーマットは図８で後述する。

〔Ｓ１１〕パソコン２０ａの機能実行部２３は、送信された制御要求メッセージＭ４を受信して該当機能を実行する。この例ではＥＳＣキーとＦ１キーそれぞれの動作を実行することになる。なお、機能実行部２３では、特定の情報処理端末１０からの制御要求は、あらかじめ設定した設定回数のみ受け付けて、設定回数の動作のみ背反的に行うことができる（この動作例については図３６、図３７で後述する）。

このように、装置制御システム１により、パソコン２０ａのキーボードに実際に触れることなく、携帯電話機１０ａのユーザインタフェースを用いて、キーボードと類似する構図（上記の例ではデータモードとテキストモード）でパソコン２０ａを操作し、動作確認を行うことが可能になる。

さらに、従来では携帯端末が各種機器の操作を行う端末となる場合には、物理的な位置を把握するためのＧＰＳシステムや専用的なインタフェースを持つ必要があったが、装置制御システム１ではこれらを不要とし、かつ制御可能な機能に関してそれら機能のユーザインタフェースと類似の構図で操作できるので、ユーザは直感的に自端末を用いて他装置の操作を行うことができ、拡張現実感を得ることが可能になる。

次にメッセージのフォーマットについて説明する。図４は検索メッセージＭ１のフォーマットを示す図である。装置検索部１１は、ＡＲＰ（Address Resolution Protocol：TCP/IPネットワーク上で、IPアドレスからMACアドレスを求めるのに使われるプロトコル）フレームを利用して検索メッセージＭ１を生成する。

ＡＲＰマルチフレームのフォーマット内のsrcmacフィールドに、装置検索部１１はCategory Requestの情報を挿入する。また、Category Requestは、flag、Cycle、msk、dataのフィールドから構成される。

flag（１bit）は、０でデータフレーム、１で同期フレームを示す（Category Requestとして使用する場合flagは１とする）。Cycleは、flag＝１のとき、有効フレームの数を表す。mskは、１ならば該当フレームは有効、０ならば該当フレームは無効（マスク）となる。dataは、フレームの８bitのデータを示す（この領域にIPアドレスを指定することも可能）。なお、これらフィールドの使用例については図１６で後述する。

図５は検索応答メッセージＭ２のフォーマットを示す図である。検索応答メッセージＭ２は、機能ＩＤ、提供機能、機能制御数のフィールドから構成される。機能ＩＤは、提供機能のＩＤである。また、提供機能は機能の名称であり、機能制御数は提供機能の個数である。

例えば、検索応答メッセージＭ２ａは、提供機能がキーボードであり、キーボードのＩＤがｍ２ｓ２、機能数としてキー数が１０９個あることを示している。また、検索応答メッセージＭ２ｂは、提供機能が電源スイッチであり、電源スイッチのＩＤがｍ２ｓ１、機能数として２個（ＯＮ／ＯＦＦ）あることを示している。

図６は端末メッセージＭ３のフォーマットを示す図である。端末メッセージＭ３は、Area size、ID Keep Area、Surface count、Equipment ID、Address sizeのフィールドから構成される。

Area sizeは、実際の画面として利用可能な画素エリア情報（横縦のサイズ（画素数））を示す。ID Keep Areaは、１つの制御ＩＤ（１つのイベント）の表示に必要な横縦の画素エリアを示す。Surface countは、Area sizeを何面持つのかを示す（横方向の面数と、縦方向の面数を独立に指定可能）。Equipment IDは、情報処理端末１０のＩＤを示す。Address sizeは、情報処理端末１０が受付可能な制御ＩＤの個数を示す。

図７は表示画面例を示す図である。端末メッセージＭ３の座標情報で定義される表示画面例を示している。例えば、Area size＝0f0fならば、画面のエリアが横軸（Ｘ軸）×縦軸（Ｙ軸）＝１６×１６の２５６画素数のエリアを示す。ID Keep Area＝0404ならば、１つのイベントに割り当てる大きさが４×４の１６画素数のエリアを示す。Surface count＝0404ならば、Area sizeで定義される面を横軸に４面、縦軸に４面あることを示す。

図８は制御要求メッセージＭ４のフォーマットを示す図である。制御要求メッセージＭ４は、要求元ＩＤ、flag、イベント座標情報のフィールドで構成される。要求元ＩＤは情報処理端末１０のＩＤである。flagは制御要請なら１、制御要請をしないなら０である。イベント座標情報は、画面に表示されたイベントの座標情報を示す。

例えば、ＥＳＣキーの座標情報がx01y01であるものとして、制御要求メッセージＭ４として、要求元ＩＤが3ffe fffe 0000 0000、flag＝１、制御ＩＤ＝イベント詳細情報＝x01y01が送信されたならば、制御提供装置２０は、3ffe fffe 0000 0000のＩＤを持つ情報処理端末１０から、座標位置がx01y01のＥＳＣキーの制御要求が行われたことを認識する。

次に情報処理端末１０の画面上におけるイベントの表示モードについて説明する。図９は撮影画像を貼り付けてイベントを表示する様子を示す図である。情報処理端末１０はカメラ機能（撮影部１５）を有しており、制御提供装置２０のキーボードを撮影し、キーボードの画像を取り込む。

表示制御部１３は、データモードで画面上に表示されているイベント座標１３ａに対して、撮影したキーボード画像１３ｂを貼り付けて貼り付け画像１３ｃを生成する。なお、位置のずれなどがある場合には、撮影したキーボード画像１３ｂの位置をずらして合わせることができる。そして、ユーザは、貼り付け画像１３ｃの所要のキーにタッチ（クリック）することで、制御提供装置２０の動作を制御する。

図１０は撮影画像を貼り付けてイベントを表示する様子を示す図である。図９では、取り込んだ撮影画像１３ｂを微調整して、イベント座標１３ａに合わせる動作を示したが、図１０では、イベント座標１３ａの特定のイベント座標にマークが付き、ユーザはそのマークの位置と、該当するキーボードの位置とを合わせて、キーボードを撮影してキーボード画像を取り込むことで、自動的にイベント座標１３ａに撮影画像１３ｂが位置ずれなどなく貼り付けられるものである。

具体的には、制御要請応答処理部２２は、イベント詳細情報Ｄ１にイベントの位置情報（例えば、ＥＳＣキーはキーボード全体の左上にあるなどといった情報）を含めて情報処理端末１０に送信する。表示制御部１３は、そのイベント詳細情報Ｄ１を受信して、位置情報に該当する画面上の座標にマークを付ける（その箇所の色を変えたり等）。

そして、例えば、ＥＳＣキーとＳｈｉｆｔキーにマークが付いたならば、ユーザは、そのマークの位置と、実際のキーボードのＥＳＣキーとＳｈｉｆｔキーの位置とを合わせて、シャッターを押し、キーボードの写真を撮る。すると、表示制御部１３は、ＥＳＣキーとＳｈｉｆｔキーにマークが付いたイベント座標１３ａに対して、取得した撮影画像１３ｂを自動的に貼り付けて、貼り付け画像１３ｃを生成する。

図１１はイベントの角度を変えて表示する様子を示す図である。表示制御部１３は、ユーザの指示により、イベントの表示角度を変えて画面に表示することができる。図ではデータモードの表示イベントａ１に対して、横→縦に角度を９０°変えて表示しており、テキストモードの表示イベントｂ１に対して、横→縦に角度を９０°変えて表示している。

図１２はイベントを複数画面に分割して表示する様子を示す図である。すべてのイベントを１枚の画面で表示できない場合は、表示制御部１３は、複数画面に分割してイベントを表示する。図の例ではデータモードの表示イベントａ１０を横方向に３分割して、表示イベントａ１１〜ａ１３を作る例を示している。ユーザは、いずれかの面のいずれかのキーを押すことでそれに対応した制御が実行される。

図１３は分割画面とクリック数との対応関係を示す図である。表示制御部１３は、イベントを複数画面に分割して表示する場合、単位時間当たりのクリック数に分割画面を対応させるようにしてもよい（以下、このような表示制御をマルチアクションモードと呼ぶ）。例えば、画面が３分割されて表示イベントａ１１〜ａ１３があるとき、イベント座標としてはどの画面も同じ座標が表示されているとする。

この場合、ユーザは画面内の所定イベントに１回クリックすると、表示イベントａ１１上の所定イベントａ１１−１に指示を与えたことにし、２回クリックすると、表示イベントａ１２上の所定イベントａ１２−１に指示を与えたことにし、３回クリックすると、表示イベントａ１３上の所定イベントａ１３−１に指示を与えたことにする（イベントａ１１−１、ａ１２−１、ａ１３−１は、画面上は同じ座標に位置し、クリック数に応じて分割画面に対応している）。このような制御を行うことで、狭い画面内においても操作性を高めることができる。

次に情報処理端末１０と制御提供装置２０それぞれの構成要素の動作について説明する。
図１４は検索カテゴリ表示から検索メッセージＭ１を送信するまでの動作フローを示す図である。

〔Ｓ２１〕表示制御部１３は、検索カテゴリを表示する。
〔Ｓ２２〕ユーザは、検索カテゴリの中から所要の制御項目を選択する。
〔Ｓ２３〕装置検索部１１は、検索メッセージＭ１を生成し送信する。

図１５は検索メッセージＭ１の受信から検索応答メッセージＭ２を送信するまでの動作フローを示す図である。
〔Ｓ３１〕検索応答処理部２１は、検索メッセージＭ１を受信する。

〔Ｓ３２〕接続状態管理部２４は、情報処理端末１０の電波強度測定管理を行う（図２０で後述）。
〔Ｓ３３〕検索応答処理部２１は、検索メッセージＭ１の内容と、自己で管理している装置情報テーブルの内容との整合をとり（図１６で後述）、自装置に宛てられた検索か否かを判断する。自装置宛てでなければ終了し、自装置宛てならばステップＳ３４へいく。

〔Ｓ３４〕検索応答メッセージＭ２を生成し、情報処理端末１０へ送信する。
図１６は検索メッセージＭ１と装置情報テーブルとの整合処理を示す図である。検索応答処理部２１は、検索メッセージＭ１内の“操作”、“表示”、“通信”、“配信”の制御項目それぞれのCategory RequestのCycle、msk、dataに対応した値を、装置情報テーブルＴ１の値として管理する。

ここで、“操作”のCategory Requestについて見ると、Cycle＝２、データマスク位置＝無し、データは11、22と定義されている。なお、データ値は１６進表示であり、１byteが１フレームに対応する。Cycle＝２なので、第１フレームは11のデータを含み、第２フレームは22のデータを含むことがわかる。

また、このCategory Requestに対応した装置情報テーブルＴ１のテーブル値は、02 C0 00 00 00 11 22となる。02はCycleに対応する。C0 00 00 00はmskに対応し、データの有効部分を指定する。1ならば有効、0ならば無効である。C0 00 00 00は、３２フレーム中、２つのフレームにデータが含まれていることを示す（C0 00 00 00は３２bitあり、１bitが１フレームに対応する。また、C=1100なので、第１フレーム、第２フレームが有効であることを示す）。11 22はdataに対応する。

また、“配信”のCategory Requestについて見ると、Cycle＝８、データマスク位置＝７byte目、データは0F、0E、0D、0C、0B、0A、09、08と定義されている（８つのフレームがそれぞれ0F、0E、0D、0C、0B、0A、09、08のデータを含むことがわかる）。

また、このCategory Requestに対応したテーブル値は、08 FD 00 00 00 0F 0E 0D 0C 0B 0A 09 08となる。08はCycleに対応する。FD 00 00 00はmskに対応し、データの有効部分を指定する。1ならば有効、0ならば無効である。FD 00 00 00に対し、FD＝1111 1101なので、第１フレーム〜第８フレームにデータが含まれ、第７フレームが無効であることを示す。0F、0E、0D、0C、0B、0A、09、08はdataに対応し、第１フレーム〜第８フレームがそれぞれ、0F、0E、0D、0C、0B、0A、09、08を含む。

ここで、検索応答処理部２１は、図に示すような検索メッセージＭ１−１を受信した場合、装置情報テーブルＴ１のテーブル内容Ｔ１ａと整合が取れるので、情報処理端末１０が制御項目として“操作”を行いたい旨を認識する（この場合、“操作”対象にキーボードと電源スイッチがあれば、図５で示したような検索応答メッセージＭ２ａ、Ｍ２ｂを返信することになる）。なお、検索メッセージＭ１−１の先頭の82の8とは、8=1000なので、flag＝１を表している。

また、検索応答処理部２１は、図に示すような検索メッセージＭ１−２を受信した場合、装置情報テーブルＴ１のテーブル内容Ｔ１ｂと整合が取れるので、情報処理端末１０が制御項目として“配信”を行いたい旨を認識する。

図１７は検索応答メッセージＭ２の受信から提供機能を表示するまでの動作フローを示す図である。
〔Ｓ４１〕装置検索部１１は、検索応答メッセージＭ２を受信する。

〔Ｓ４２〕装置検索部１１は、制御可能な制御提供装置２０があるかないかを判断し、なければ終了し、あればステップＳ４３へいく。
〔Ｓ４３〕表示制御部１３は、検索応答メッセージＭ２に含まれる提供機能を表示する。

図１８は提供機能表示から端末メッセージＭ３を送信するまでの動作フローを示す図である。
〔Ｓ５１〕ユーザは、表示された提供機能から機能を選択する。

〔Ｓ５２〕制御要請部１２は、端末メッセージＭ３を生成し送信する。
図１９は端末メッセージＭ３の受信からイベント詳細情報Ｄ１を送信するまでの動作フローを示す図である。

〔Ｓ６１〕制御要請応答処理部２２は、端末メッセージＭ３を受信する。
〔Ｓ６２〕接続状態管理部２４は、情報処理端末１０に対するタイマ監視管理を行う（図２０で後述）。

〔Ｓ６３〕制御要請応答処理部２２は、端末メッセージＭ３を解析して、情報処理端末１０に対してアドレスを割り当てる。
〔Ｓ６４〕制御要請応答処理部２２は、情報処理端末１０にイベント詳細情報Ｄ１を送信する。

図２０は接続状態管理部２４における情報処理端末１０の接続管理の動作フローを示す図である。
〔Ｓ７１〕要求元ＩＤ（情報処理端末１０のＩＤ）は管理済みか否かを判断する。管理済みならステップＳ７２へ、管理してなければ終了する。

〔Ｓ７２〕要求元ＩＤ毎の接続状態確認として、要求端末の電波強度がしきい値よりも小さいか否かを判断する。電波強度がしきい値よりも小さければステップＳ７４へいき、電波強度が設定値を超えていればステップＳ７３へいく。

〔Ｓ７３〕要求元ＩＤ毎の接続状態確認として、タイマ有効時間が経過したか否かを判断する。経過していればステップＳ７４へ、経過していなければステップＳ７５へいく。
〔Ｓ７４〕管理対象として該当の情報処理端末１０を削除する（該当の情報処理端末１０が要求したイベントの制御ＩＤも削除する）。

〔Ｓ７５〕該当の情報処理端末１０が自装置と接続しているとみなして、接続管理を行うべき他の情報処理端末１０の項番へ移る。
〔Ｓ７６〕接続確認対象の要求元ＩＤが存在しなければ（すべての要求元ＩＤの接続状態を確認したならば）終了し、そうでなければステップＳ７２へ戻る。

図２１はイベントの表示制御の動作フローを示す図である。
〔Ｓ８１〕イベント詳細情報Ｄ１を該当の制御提供装置２０から受信したか否かを判断する。該当の制御提供装置２０からのイベント詳細情報Ｄ１であればステップＳ８２へ、そうでなければ終了する。

〔Ｓ８２〕ユーザは表示モードの指定を行う。
〔Ｓ８３〕表示制御部１３は、表示モードにしたがってイベントを表示する。
図２２は表示モード毎の表示制御を示す動作フローである。

〔Ｓ９１〕データモード時において、イベントを表示する際の対象となる座標を表示する。
〔Ｓ９２〕イベント詳細情報Ｄ１に制御ＩＤのフラグが記載されているか否かを判断する。記載されていればステップＳ９３へ、記載されていなければ終了する。

〔Ｓ９３〕該当イベントの座標にマークを付ける。
〔Ｓ９４〕テキストモード時（面すべてをテキストまたは一部をテキスト）において、イベントを表示する際の対象となる座標を表示する。

〔Ｓ９５〕イベント詳細情報Ｄ１に制御ＩＤのフラグが記載されているか否かを判断する。記載されていればステップＳ９６へ、記載されていなければ終了する。
〔Ｓ９６〕該当イベントの座標にマークを付ける。

〔Ｓ９７〕テキストモード指定箇所があるか否かを判断する。あればステップＳ９８へ、なければ終了する。
〔Ｓ９８〕テキスト画面を生成し表示する。

〔Ｓ９９〕分割モード時において、面情報（何分割するかなどの情報）を作成する。
〔Ｓ１００〕イベントを表示する際の対象となる座標を表示する。
〔Ｓ１０１〕イベント詳細情報Ｄ１に制御ＩＤのフラグが記載されているか否かを判断する。記載されていればステップＳ１０２へ、記載されていなければ終了する。

〔Ｓ１０２〕該当イベントの座標にマークを付ける。
〔Ｓ１０３〕マルチアクションモード時において、面情報を作成し、クリック数に対応させる。

〔Ｓ１０４〕イベントを表示する際の対象となる座標を表示する。
〔Ｓ１０５〕イベント詳細情報Ｄ１に制御ＩＤのフラグが記載されているか否かを判断する。記載されていればステップＳ１０６へ、記載されていなければ終了する。

〔Ｓ１０６〕該当イベントの座標にマークを付ける。
図２３は表示制御部１３及び撮影部１５における画像貼り付けの動作フローを示す図である。

〔Ｓ１２１〕イベント詳細情報Ｄ１の位置情報で、位置が指定されているか否かを判断する。指定されていればステップＳ１２２へ、指定されていなければステップＳ１２３へいく。

〔Ｓ１２２〕該当位置の座標をマークする。
〔Ｓ１２３〕利用可能画像があればステップＳ１２４へ、なければ終了する。
〔Ｓ１２４〕撮影を実施したらステップＳ１２５へ、撮影実施がなければ終了する。

〔Ｓ１２５〕撮影画像の貼り付けを行う。
図２４は制御要求処理部１４の蓄積処理モード時における動作フローを示す図である。
〔Ｓ１３１〕ユーザは、表示されたイベントを操作する。

〔Ｓ１３２〕制御要求処理部１４は、操作されたイベントの情報を加算して制御要求メッセージＭ４を生成する。
〔Ｓ１３３〕ユーザ操作により、制御要求処理部１４は、蓄積したイベントを一括して制御要求メッセージＭ４により送信する。

図２５は機能実行部２３の動作フローを示す図である。
〔Ｓ１４１〕制御要求メッセージＭ４を受信する。
〔Ｓ１４２〕要求元ＩＤは管理済みか否かを判断する。管理済みならステップＳ１４３へ、管理してなければ終了する。

〔Ｓ１４３〕制御ＩＤに対応する処理を実行する。
次にイベント詳細情報Ｄ１のフォーマットについて説明する。図２６〜図２９はイベント詳細情報Ｄ１のフォーマットを示す図である。イベント詳細情報Ｄ１は、mode、Length、要求元ＩＤ、制御ＩＤ数、制御ＩＤ情報のフィールドからなる。modeが０ならデータモードであり、座標情報と制御ＩＤが並んでいるだけのモード、１ならテキストモード一部であり、目印となる制御ＩＤのみにテキストを設定しているモードであり、２ならテキストモードすべてであり、すべての制御ＩＤにテキストを設定するモードであり、８なら分割モードであり、制御ＩＤに対して、画像が収まらない場合に画面を分割して送信するモードであり、１６ならマルチアクションモードであり、制御ＩＤの絶対数が足らない場合に動作により１つの制御ＩＤで複数処理を実現させるモードである。Lengthは、メッセージサイズであり、要求元ＩＤは情報処理端末１０のＩＤであり、制御ＩＤ数は制御ＩＤ（イベント）の個数である。

制御ＩＤ情報は、要求元ＩＤ、flag、座標情報からなる。制御ＩＤ情報は、図ではmode＝０での構成を示しており、この例では要求元ＩＤのプレフィックスに対して、flagと座標位置よりアドレスとして記載している。

flagに対し、００ｈ／１０ｈであり、テキストなし／テキストありとなる。また、このflagがイベントの位置情報になる。例えば、flag＝11hならそのイベントは左上に位置することを示す。また、ｘ０１ｙ０１等は座標情報で、ｘ０ｎは横軸に１つ以上の要素を示し、ｙ０ｍは、縦軸に１つ以上の要素を示す。

図２７に対し、mode＝１、２での構成を示しており、この例では要求元ＩＤのプレフィックスに対して、flagと座標位置よりアドレスとして記載している。さらにflagにテキストが含まれる場合はex len（追加テキスト長）、text（テキスト情報）、pad（パディング情報）を付与する。

図２８に対し、mode＝８での構成を示しており、この例では要求元ＩＤのプレフィックスに対して、flagと座標位置よりアドレスとして記載している。さらにflagにテキストが含まれる場合は、面情報として、ｘ分子（横軸の分子数（分割の現在位置））、ｘ分母（横軸の分母数（分割の最大値））、ｙ分子（縦軸の分子数（分割の現在位置））、ｙ分母（縦軸の分母数（分割の最大値））が含まれる。

図２９に対し、mode＝１６での構成を示しており、この例では要求元ＩＤのプレフィックスに対して、flagと座標位置よりアドレスとして記載している。さらにflagにテキストが含まれる場合は、click（要求クリック数）、max（クリック識別総数）、time（クリック受付時間（クリック待ち時間））が含まれる。

図３０はイベント詳細情報Ｄ１の具体例を示す図である。modeは、０００１でテキストモード、Lengthは、実際のバイト数が入るので省略する。要求元ＩＤ＝3ffe fffe 0000 0000である。制御ＩＤ数は１０９個である。そして、１行空欄後が制御ＩＤ情報となる。要求元ＩＤ＝3ffe fffe 0000 0000であり、flagは0000 0011でテキストでＬＵ位置。ex lenが１６バイトで、textがESC、その後がパディングであり、その下のＦ１へと続く。

次に装置制御システム１の変形例として情報処理端末１０を中継端末として利用する動作について説明する。図３１は中継動作を行う装置制御システムを示す図である。装置制御システム１−１は、情報処理端末１０−１、制御提供装置２０、ユーザ端末３０から構成される。

ユーザ端末３０が情報処理端末１０−１へ代行要請を行い、情報処理端末１０−１がユーザ端末３０と制御提供装置２０との中継装置（代行装置）になる。そして、ユーザ端末３０は、情報処理端末１０−１を介して制御提供装置２０の制御を行う。なお、ユーザ端末３０と情報処理端末１０−１との接続は、無線通信でもよいし、またはインターネットのようなネットワークで接続する構成としてもよい。

図３２、図３３は装置制御システム１−１の動作シーケンスを示す図である。
〔Ｓ１５１〕ユーザ端末３０は、情報処理端末１０−１へ代行要請を行い、情報処理端末１０−１は、代行可能である旨を含む代行応答を返信する（この動作によりユーザ端末３０と情報処理端末１０−１との間に通信路が確立する）。

〔Ｓ１５２〕情報処理端末１０−１の表示制御部１３は、パソコン２０ａの制御項目を記した検索カテゴリをユーザインタフェースの画面に表示する。
〔Ｓ１５３〕ユーザは、検索カテゴリの中から“操作”を選択したとする。

〔Ｓ１５４〕情報処理端末１０−１の装置検索部１１は、カテゴリ要求（Category Request：ここでは“操作”要求）を含む検索メッセージＭ１を生成し、制御提供装置２０に送信する。

〔Ｓ１５５〕制御提供装置２０の検索応答処理部２１は、検索メッセージＭ１を受信すると、Category Requestとして“操作”とあるので、ユーザ端末３０が自装置を“操作”したいということを認識する。検索応答処理部２１は、提供できる機能として、キーボードと電源スイッチである旨の情報を検索応答メッセージＭ２に入れて返信する。

〔Ｓ１５６〕情報処理端末１０−１は、検索応答メッセージＭ２を受信し、表示制御部１３は、“操作”に該当するパソコン２０ａの提供機能として、“キーボード”と“電源スイッチ”とをユーザ端末３０の画面上に表示する。

〔Ｓ１５７〕ユーザは“キーボード”を選択したとする。
〔Ｓ１５８〕情報処理端末１０−１の制御要請部１２は、ユーザ端末３０のユーザインタフェースの画面の座標情報及びユーザ端末３０のＩＤを、端末メッセージＭ３に含めて送信し制御要請を行う。

〔Ｓ１５９〕制御提供装置２０の制御要請応答処理部２２は、端末メッセージＭ３を受信し、ユーザ端末３０のＩＤを用いて、自装置を制御する端末がユーザ端末３０であることを管理する。また、端末メッセージＭ３に含まれている座標情報からユーザ端末３０のユーザインタフェース画面の座標を認識し、その座標の相対位置に、キーボードのイベントを割り当ててイベント詳細情報Ｄ１を生成し送信する。

〔Ｓ１６０〕表示制御部１３は、イベント詳細情報Ｄ１を受信し、イベント詳細情報Ｄ１にもとづく表示モードに対応してイベントをユーザ端末３０の画面上に表示する（図ではデータモードとテキストモードの例を示す）。

〔Ｓ１６１〕ユーザはユーザ端末３０の画面に表示されているイベントを操作する。
〔Ｓ１６２〕情報処理端末１０−１の制御要求処理部１４は、該当キーの制御要求メッセージＭ４を制御提供装置２０に送信する。

〔Ｓ１６３〕制御提供装置２０の機能実行部２３は、送信された制御要求メッセージＭ４を受信して該当機能を実行する。
以上説明したように、装置制御システム１−１では、制御提供装置２０を検索することができるだけでなく操作性を引き継ぐことが可能になる。さらに中継を行う装置として用いることで、この機能を有する情報処理端末のみ接続許可させた場合には、セキュリティを高めることができるといった効果も発生する。また、画面サイズが小さいものに関しては、多大な制御要請は、画面の表示においては、点状に表示されたり、画面に収まらないといったことが生じるが、分割モードの表示制御によりこれらのことも回避できる。

なお、上記の図４では、検索メッセージＭ１をＡＲＰフレームで構成したが、無線ＬＡＮ等で用いられるＩＥＥＥ８０２．１１のＭＡＣフレーム（Beaconフレーム）を用いることも可能である。

図３４はBeaconフレームで構成した検索メッセージＭ１のフォーマットを示す図である。図に示すように、Beaconフレーム中のsrcmacにCategory Requestを挿入して、検索メッセージＭ１を構成可能である。

次に装置制御システム１をエレベータに応用した例について説明する。図３５はエレベータの昇降制御を行う装置制御システムを示す図である。装置制御システム１ｂは、情報処理端末（携帯電話機１０ｂ）により、制御提供装置２０の機能が設けられたエレベータ２０ｂの昇降ボタンを画面上に映し、携帯電話機１０ｂからエレベータ２０ｂの昇降を制御する（なお、エレベータ２０ｂには、携帯電話機１０ｂと通信可能な通信インタフェース部２０ｂ−１が設けられている）。

図３６、図３７はエレベータ制御を行う装置制御システム１ｂの動作シーケンスを示す図である。
〔Ｓ１７１〕携帯電話機１０ｂの表示制御部１３は、エレベータ２０ｂの制御項目を記した検索カテゴリをユーザインタフェースの画面に表示する。

〔Ｓ１７２〕ユーザは、検索カテゴリの中から“操作”を選択したとする。
〔Ｓ１７３〕携帯電話機１０ｂの装置検索部１１は、カテゴリ要求（Category Request：ここでは“操作”要求）を含む検索メッセージＭ１を生成し、エレベータ２０ｂに送信する。

〔Ｓ１７４〕エレベータ２０ｂの検索応答処理部２１は、検索メッセージＭ１を受信すると、Category Requestとして“操作”とあるので、携帯電話機１０ｂが自エレベータを“操作”したいということを認識する。携帯電話機１０ｂが操作できるものとして、昇降ボタンがあるとすれば、検索応答処理部２１は、提供できる機能として、昇降ボタンである旨の情報を検索応答メッセージＭ２に入れて携帯電話機１０ｂに返信する。

〔Ｓ１７５〕携帯電話機１０ｂは、検索応答メッセージＭ２を受信し、表示制御部１３は、“操作”に該当するエレベータ２０ｂの提供機能として、“昇降ボタン”を画面上に表示する。

〔Ｓ１７６〕ユーザは“昇降ボタン”を選択する。
〔Ｓ１７７〕携帯電話機１０ｂの制御要請部１２は、ユーザインタフェースの画面の座標情報及び自端末のＩＤを、端末メッセージＭ３に含めて送信し制御要請を行う。

〔Ｓ１７８〕エレベータ２０ｂの制御要請応答処理部２２は、端末メッセージＭ３を受信し、携帯電話機１０ｂのＩＤを用いて、自装置を制御する端末が携帯電話機１０ｂであることを管理する。また、端末メッセージＭ３に含まれている座標情報から携帯電話機１０ｂのユーザインタフェース画面の座標を認識し、その座標の相対位置に、昇降ボタンのイベントを割り当ててイベント詳細情報Ｄ１を生成し送信する。

〔Ｓ１７９〕表示制御部１３は、イベント詳細情報Ｄ１を受信し、イベント詳細情報Ｄ１にもとづく表示モードに対応してイベントを画面上に表示する。図に示す表示モードの例として、データモードでは、昇降ボタンの位置を示す座標を示している。また、テキストモードでは、昇降ボタンの階数を示している。

〔Ｓ１８０〕ユーザは携帯電話機１０ｂの画面に表示されているイベントを操作する。すると、携帯電話機１０ｂの制御要求処理部１４は、エレベータ２０ｂに対して、該当ボタンの制御要求メッセージＭ４をエレベータ２０ｂに送信する。例えば、ユーザが画面上に表示されている８Ｆにタッチすると、制御要求処理部１４は、昇降内容として８Ｆを含む制御要求メッセージＭ４をエレベータ２０ｂに送信する。

〔Ｓ１８１〕エレベータ２０ｂの機能実行部２３は、送信された制御要求メッセージＭ４を受信して該当機能を実行する。この例では８Ｆの昇降動作を実行することになる。
なお、ここでのエレベータ２０ｂの機能実行部２３は、携帯電話機１０ｂからの制御要求は、設定回数として例えば、一度だけ受け付けて、一度の動作のみ背反的に行うようにする。すなわち、携帯電話機１０ｂから８Ｆの昇降に関する制御要求をエレベータ２０ｂが受け付けたら、携帯電話機１０ｂからはこの制御要求のみ受け付けて、８Ｆへの昇降動作のみを行うようにする。これにより、悪戯の防止を行うことが可能になる。

次に装置制御システム１を利用して警報通報する例について説明する。図３８は警報通報を行う装置制御システムを示す図である。装置制御システム１ｃは、警報通報の制御を行うシステム例として、情報処理端末（携帯電話機１０ｃ）により、制御提供装置２０が設けられた踏み切り２０ｃに対して、踏み切り２０ｃを監視する監視センタ２０ｃ−３に警報通報を送信するものである。なお、踏み切り２０ｃには、携帯電話機１０ｃと通信可能な通信インタフェース部２０ｃ−１及び定点カメラ２０ｃ−２が設けられている。

図３９は警報通報を行う装置制御システム１ｃの動作シーケンスを示す図である。
〔Ｓ１９１〕携帯電話機１０ｃの表示制御部１３は、踏み切り２０ｃの制御項目を記した検索カテゴリをユーザインタフェースの画面に表示する。

〔Ｓ１９２〕ユーザは、検索カテゴリの中から“通報”を選択したとする。
〔Ｓ１９３〕携帯電話機１０ｃの装置検索部１１は、カテゴリ要求（Category Request：ここでは“通報”要求）を含む検索メッセージＭ１を生成し、踏み切り２０ｃに送信する。

〔Ｓ１９４〕踏み切り２０ｃの検索応答処理部２１は、検索メッセージＭ１を受信すると、Category Requestとして“通報”とあるので、携帯電話機１０ｃが、定点カメラ２０ｃ−２で撮影された映像を“通報”したいということを認識する。検索応答処理部２１は、提供できる機能として、“通報”、“通信”である旨を検索応答メッセージＭ２に入れて携帯電話機１０ｃに返信する。

〔Ｓ１９５〕携帯電話機１０ｃは、検索応答メッセージＭ２を受信し、表示制御部１３は、“通報”を画面上に表示する。
〔Ｓ１９６〕ユーザは“通報”を選択する。

〔Ｓ１９７〕携帯電話機１０ｃの制御要求処理部１４は、踏み切り２０ｃに対して、制御要求メッセージＭ４を踏み切り２０ｃに送信する。
〔Ｓ１９８〕踏み切り２０ｃの機能実行部２３は、送信された制御要求メッセージＭ４を受信して、定点カメラ２０ｃ−２で撮影した画像を監視センタ２０ｃ−３へ送信する。このように、装置制御システム１ｃにより、踏み切り２０ｃ内で起きた障害を監視センタ２０ｃ−３に対して、即座に通知することが可能になる。

次に装置制御システム１の適用例として、制御提供装置２０をリモコンに適用した場合について説明する。図４０はリモコンの制御を行う装置制御システムを示す図である。装置制御システム１ｄは、情報処理端末（携帯電話機１０ｄ）により、制御提供装置２０の機能が設けられたリモコン２０ｄのリモコンボタンを画面上に映し、携帯電話機１０ｄからリモコン２０ｄの制御をする（なお、リモコン２０ｄには、携帯電話機１０ｄと通信可能な通信インタフェース部２０ｄ−１が設けられている）。

図４１、４２はリモコン２０ｄの制御を行う装置制御システム１ｄの動作シーケンスを示す図である。
〔Ｓ２０１〕携帯電話機１０ｄの表示制御部１３は、リモコン２０ｄの制御項目を記した検索カテゴリをユーザインタフェースの画面に表示する。

〔Ｓ２０２〕ユーザは、検索カテゴリの中から“操作”を選択したとする。
〔Ｓ２０３〕携帯電話機１０ｄの装置検索部１１は、Category Request（操作）を含む検索メッセージＭ１を生成し、リモコン２０ｄに送信する。

〔Ｓ２０４〕リモコン２０ｄの検索応答処理部２１は、検索メッセージＭ１を受信すると、Category Requestとして“操作”とあるので、携帯電話機１０ｄが自リモコンを“操作”したいということを認識する。携帯電話機１０ｄが操作できるものとして、リモコンボタンがあるとすれば、検索応答処理部２１は、提供できる機能として、リモコンボタンである旨の情報を検索応答メッセージＭ２に入れて携帯電話機１０ｄに返信する。

〔Ｓ２０５〕携帯電話機１０ｄは、検索応答メッセージＭ２を受信し、表示制御部１３は、“操作”に該当するリモコン２０ｄの提供機能として、“リモコンボタン”を画面上に表示する。

〔Ｓ２０６〕ユーザは“リモコンボタン”を選択する。
〔Ｓ２０７〕携帯電話機１０ｄの制御要請部１２は、ユーザインタフェースの画面の座標情報及び自端末のＩＤを、端末メッセージＭ３に含めて送信し制御要請を行う。

〔Ｓ２０８〕リモコン２０ｄの制御要請応答処理部２２は、端末メッセージＭ３を受信し、携帯電話機１０ｄのＩＤを用いて、自リモコンを制御する端末が携帯電話機１０ｄであることを管理する。また、端末メッセージＭ３に含まれている座標情報から携帯電話機１０ｄのユーザインタフェース画面の座標を認識し、その座標の相対位置に、リモコンボタンのイベントを割り当ててイベント詳細情報Ｄ１を生成し送信する。

〔Ｓ２０９〕表示制御部１３は、イベント詳細情報Ｄ１を受信し、イベント詳細情報Ｄ１にもとづく表示モードに対応してイベントを画面上に表示する。図に示す表示モードの例として、データモードでは、リモコンボタンの位置を示す座標を示している。また、テキストモードでは、リモコンボタンそれぞれの内容を示している。

〔Ｓ２１０〕ユーザは携帯電話機１０ｄの画面に表示されているイベントを操作する。すると、携帯電話機１０ｄの制御要求処理部１４は、リモコン２０ｄに対して、該当ボタンの制御要求メッセージＭ４をリモコン２０ｄに送信する。例えば、ユーザが画面上に表示されているＣＨ０１にタッチすると、制御要求処理部１４は、制御内容としてＣＨ０１を含む制御要求メッセージＭ４をリモコン２０ｄに送信する。

〔Ｓ２１１〕リモコン２０ｄの機能実行部２３は、送信された制御要求メッセージＭ４を受信して該当機能を実行する。この例ではＣＨ０１のチャネル切り替えの動作を実行することになる。

このように、リモコンに対して装置制御システムを適用することにより、すでに利用していたリモコンの操作と同じ操作を上記の例では携帯電話機から行うことが可能になる。
次に装置制御システム１の適用例として、制御提供装置２０を銀行ＡＴＭ（Auto Teller Machine：現金自動支払い機）に適用した場合について説明する。図４３は銀行ＡＴＭの制御を行う装置制御システムを示す図である。装置制御システム１ｅは、情報処理端末（携帯電話機１０ｅ）により、制御提供装置２０の機能が設けられた銀行ＡＴＭ２０ｅのタッチパネルを画面上に映し、携帯電話機１０ｅから銀行ＡＴＭ２０ｅの制御をする（なお、銀行ＡＴＭ２０ｅには、携帯電話機１０ｅと通信可能な通信インタフェース部２０ｅ−１が設けられている）。

図４４、図４５は銀行ＡＴＭ２０ｅの制御を行う装置制御システム１ｅの動作シーケンスを示す図である。
〔Ｓ２２１〕携帯電話機１０ｅの表示制御部１３は、銀行ＡＴＭ２０ｅの制御項目を記した検索カテゴリをユーザインタフェースの画面に表示する。

〔Ｓ２２２〕ユーザは、検索カテゴリの中から“操作”を選択したとする。
〔Ｓ２２３〕携帯電話機１０ｅの装置検索部１１は、Category Request（操作）を含む検索メッセージＭ１を生成し、銀行ＡＴＭ２０ｅに送信する。

〔Ｓ２２４〕銀行ＡＴＭ２０ｅの検索応答処理部２１は、検索メッセージＭ１を受信すると、Category Requestとして“操作”とあるので、携帯電話機１０ｅが自銀行ＡＴＭを“操作”したいということを認識する。携帯電話機１０ｅが操作できるものとして、タッチパネルがあるとすれば、検索応答処理部２１は、提供できる機能として、タッチパネルである旨の情報を検索応答メッセージＭ２に入れて携帯電話機１０ｅに返信する。

〔Ｓ２２５〕携帯電話機１０ｅは、検索応答メッセージＭ２を受信し、表示制御部１３は、“操作”に該当する銀行ＡＴＭ２０ｅの提供機能として、“タッチパネル”を画面上に表示する。

〔Ｓ２２６〕ユーザは“タッチパネル”を選択する。
〔Ｓ２２７〕携帯電話機１０ｅの制御要請部１２は、ユーザインタフェースの画面の座標情報及び自端末のＩＤを、端末メッセージＭ３に含めて送信し制御要請を行う。

〔Ｓ２２８〕銀行ＡＴＭ２０ｅの制御要請応答処理部２２は、端末メッセージＭ３を受信し、携帯電話機１０ｅのＩＤを用いて、自銀行ＡＴＭを制御する端末が携帯電話機１０ｅであることを管理する。また、端末メッセージＭ３に含まれている座標情報から携帯電話機１０ｅのユーザインタフェース画面の座標を認識し、その座標の相対位置に、タッチパネルのイベントを割り当ててイベント詳細情報Ｄ１を生成し送信する。

〔Ｓ２２９〕表示制御部１３は、イベント詳細情報Ｄ１を受信し、イベント詳細情報Ｄ１にもとづく表示モードに対応してイベントを画面上に表示する。図に示す表示モードの例として、データモードでは、タッチパネルの位置を示す座標を示している。また、テキストモードでは、タッチパネルそれぞれの内容を示している。

〔Ｓ２３０〕ユーザは携帯電話機１０ｅの画面に表示されているイベントを操作する。すると、携帯電話機１０ｅの制御要求処理部１４は、銀行ＡＴＭ２０ｅに対して、該当ボタンの制御要求メッセージＭ４を銀行ＡＴＭ２０ｅに送信する。例えば、ユーザが画面上に表示されている残高参照にタッチすると、制御要求処理部１４は、制御内容として残高参照を含む制御要求メッセージＭ４を銀行ＡＴＭ２０ｅに送信する。

〔Ｓ２３１〕銀行ＡＴＭ２０ｅの機能実行部２３は、送信された制御要求メッセージＭ４を受信して該当機能を実行する。この例では残高参照の金額表示動作を実行することになる。

このように、銀行ＡＴＭに対して装置制御システムを適用することにより、銀行ＡＴＭのタッチパネル操作を上記の例では携帯電話機から行うことが可能になる。このような使い方を行うことで、ユーザが銀行ＡＴＭを操作する際に、第３者が傍受することを防止することが可能になる。また、携帯電話機側で獲得したイベントの位置を、並び替える操作を行うことにより、ユーザだけが該当ボタンの機能を知ることになり、セキュリティの向上を図ることが可能になる。

（付記１） 自端末から他装置の機能を制御する装置制御システムにおいて、
制御提供可能な装置を検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、ユーザインタフェースの画面の座標情報及び自端末の識別子を含む端末メッセージを送信して制御要請を行う制御要請部と、制御項目からなる検索カテゴリ、他装置の提供機能及びイベント詳細情報にもとづく表示モードに対応したイベントを画面に表示する表示制御部と、画面に表示されたイベントの操作により、他装置に制御要求メッセージを送信する制御要求処理部と、から構成され自端末のユーザインタフェースを用いて他装置の機能を操作する情報処理端末と、
前記検索メッセージを受信して前記検索応答メッセージを返信する検索応答処理部と、前記端末メッセージを受信し、前記識別子から自装置を操作する端末を管理し、前記座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能なイベントを割り当てて前記イベント詳細情報を生成し送信する制御要請応答処理部と、前記制御要求メッセージを受信して該当機能を実行する機能実行部と、から構成され端末からの指示で自装置の機能を動作する制御提供装置と、
を有することを特徴とする装置制御システム。

（付記２） 前記情報処理端末は、撮影部を有し、前記撮影部は前記制御提供装置側のユーザインタフェース箇所を撮影して撮影画像を取得し、前記表示制御部は、貼り付け位置が変更可能な前記撮影画像を、イベントが表示された画面に対して貼り付けることを特徴とする付記１記載の装置制御システム。

（付記３） 前記制御要請応答処理部は、イベントの位置情報を含むイベント詳細情報を送信し、前記表示制御部は、前記位置情報に該当する画面上の座標にマークを付け、前記撮影部により、マークが付いた座標の位置と、前記制御提供装置側のユーザインタフェース箇所との位置を合わせて撮影して取得した撮影画像を、イベントが表示された画面に対して貼り付けることを特徴とする付記２記載の装置制御システム。

（付記４） 前記表示制御部は、イベントの表示角度を変えて画面に表示、またはイベントを複数画面に分割して表示し、イベントを複数画面に分割して表示する場合は、単位時間当たりのクリック数に応じて、分割画面を対応させることを特徴とする付記１記載の装置制御システム。

（付記５） 前記制御要求処理部は、操作されたイベントを蓄積し、蓄積した制御要求を前記制御要求メッセージで一括して送信することを特徴とする付記１記載の装置制御システム。

（付記６） 前記情報処理端末が発する電波強度を周期的に監視し、前記情報処理端末からの電波強度がしきい値を下回る場合は管理対象から外し、電波強度がしきい値を超える場合は、自装置を操作する情報処理端末を、タイマを可動して管理し、有効時間内にアクセスが来なければ管理対象から外す接続状態管理部をさらに有することを特徴とする付記１記載の装置制御システム。

（付記７） 前記機能実行部は、特定の前記情報処理端末からの制御要求は、設定回数のみ受け付けて、設定回数の動作のみ背反的に行うことを特徴とする付記１記載の装置制御システム。

（付記８） 前記制御要請応答処理部は、前記情報処理端末の識別子に対応して、前記制御提供装置が提供可能な機能の組み合わせの情報を、前記イベント詳細情報として送信することを特徴とする付記１記載の装置制御システム。

（付記９） 前記装置検索部は、前記検索メッセージをマルチフレームで構成し、データフレームか同期フレームかを示すフラグを持たせて、前記フラグが同期フレームを示す場合に、カテゴリ要求が含まれる構成にしたことを特徴とする付記１記載の装置制御システム。

（付記１０） 前記装置検索部は、前記カテゴリ要求に、有効データか否かを示すマスク情報を含めることを特徴とする付記９記載の装置制御システム。
（付記１１） 前記装置検索部は、前記検索メッセージをＡＲＰフレームまたはBeaconフレームで構成することを特徴とする付記９記載の装置制御システム。

（付記１２） 前記検索応答処理部は、前記検索メッセージを受信すると、制御項目毎に管理している装置情報テーブルと整合をとり、自装置に宛てられた検索か否かを判断し、整合が可能であった場合に前記検索応答メッセージを送信することを特徴とする付記１記載の装置制御システム。

（付記１３） 自端末のユーザインタフェースを用いて他装置の機能を操作する情報処理端末において、
制御提供可能な装置を検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、
ユーザインタフェースの画面の座標情報及び自端末の識別子を含む端末メッセージを送信して制御要請を行う制御要請部と、
制御項目からなる検索カテゴリ、他装置の提供機能及びイベント詳細情報にもとづく表示モードに対応したイベントを画面に表示する表示制御部と、
画面に表示されたイベントの操作により、他装置に制御要求メッセージを送信する制御要求処理部と、
を有することを特徴とする情報処理端末。

（付記１４） 撮影部を有し、前記撮影部は制御提供可能な装置側のユーザインタフェース箇所を撮影して撮影画像を取得し、前記表示制御部は、貼り付け位置が変更可能な前記撮影画像を、イベントが表示された画面に対して貼り付けることを特徴とする付記１３記載の情報処理端末。

（付記１５） 前記表示制御部は、イベントの位置情報を含むイベント詳細情報を受信すると、前記位置情報に該当する画面上の座標にマークを付け、前記撮影部により、マークが付いた座標の位置と、制御提供可能な装置側のユーザインタフェース箇所との位置を合わせて撮影して取得した撮影画像を、イベントが表示された画面に対して貼り付けることを特徴とする付記１４記載の情報処理端末。

（付記１６） 前記表示制御部は、イベントの表示角度を変えて画面に表示、またはイベントを複数画面に分割して表示し、イベントを複数画面に分割して表示する場合は、単位時間当たりのクリック数に応じて、分割画面を対応させることを特徴とする付記１３記載の情報処理端末。

（付記１７） 前記制御要求処理部は、操作されたイベントを蓄積し、蓄積した制御要求を前記制御要求メッセージで一括して送信することを特徴とする付記１３記載の情報処理端末。

（付記１８） 前記装置検索部は、前記検索メッセージをマルチフレームで構成し、データフレームか同期フレームかを示すフラグを持たせて、前記フラグが同期フレームを示す場合に、カテゴリ要求が含まれる構成にしたことを特徴とする付記１３記載の情報処理端末。

（付記１９） 前記装置検索部は、前記カテゴリ要求に、有効データか否かを示すマスク情報を含めることを特徴とする付記１８記載の情報処理端末。
（付記２０） 前記装置検索部は、前記検索メッセージをＡＲＰフレームまたはBeaconフレームで構成することを特徴とする付記１８記載の情報処理端末。

（付記２１） 端末からの指示で自装置の機能を動作して、端末へ自装置の制御を提供する制御提供装置において、
制御提供可能な装置を検索するための検索メッセージを受信して、提供可能な機能の情報を含む検索応答メッセージを返信する検索応答処理部と、
ユーザインタフェースの画面の座標情報及び自端末の識別子を含む端末メッセージを受信し、端末識別子から自装置を操作する端末を管理し、前記座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能なイベントを割り当ててイベント詳細情報を生成し送信する制御要請応答処理部と、
端末からの制御要求メッセージを受信して、該当機能を実行する機能実行部と、
を有することを特徴とする制御提供装置。

（付記２２） 前記制御要請応答処理部は、イベントの位置情報を含むイベント詳細情報を送信することを特徴とする付記２１記載の制御提供装置。
（付記２３） 前記端末が発する電波強度を周期的に監視し、前記端末からの電波強度がしきい値を下回る場合は管理対象から外し、電波強度がしきい値を超える場合は、自装置を操作する前記端末を、タイマを可動して管理し、有効時間内にアクセスが来なければ管理対象から外す接続状態管理部をさらに有することを特徴とする付記２１記載の制御提供装置。

（付記２４） 前記機能実行部は、特定の前記端末からの制御要求は、設定回数のみ受け付けて、設定回数の動作のみ背反的に行うことを特徴とする付記２１記載の制御提供装置。

（付記２５） 前記制御要請応答処理部は、前記端末の識別子に対応して、自装置が提供可能な機能の組み合わせの情報を、前記イベント詳細情報として送信することを特徴とする付記２１記載の制御提供装置。

（付記２６） 前記検索応答処理部は、前記検索メッセージを受信すると、制御項目毎に管理している装置情報テーブルと整合をとり、自装置に宛てられた検索か否かを判断し、整合が可能であった場合に前記検索応答メッセージを送信することを特徴とする付記２１記載の制御提供装置。

（付記２７） 自端末から他装置の機能を制御する装置制御システムにおいて、
ユーザが操作するユーザ端末と、
前記ユーザ端末からの指示により、制御提供可能な装置を検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、前記ユーザ端末のユーザインタフェースの画面の座標情報及び前記ユーザ端末の識別子を含む端末メッセージを送信して制御要請を行う制御要請部と、制御項目からなる検索カテゴリ、他装置の提供機能及びイベント詳細情報にもとづく表示モードに対応したイベントを前記ユーザ端末の画面に表示する表示制御部と、前記ユーザ端末の画面に表示されたイベントの操作により、他装置に制御要求メッセージを送信する制御要求処理部と、から構成され前記ユーザ端末を代行し、前記ユーザ端末のユーザインタフェースから他装置の機能を中継操作する情報処理端末と、
前記検索メッセージを受信して前記検索応答メッセージを返信する検索応答処理部と、前記端末メッセージを受信し、前記識別子から自装置を操作する端末を管理し、前記座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能なイベントを割り当てて前記イベント詳細情報を生成し送信する制御要請応答処理部と、前記制御要求メッセージを受信して該当機能を実行する機能実行部と、から構成され前記ユーザ端末からの指示で自装置の機能を動作する制御提供装置と、
を有することを特徴とする装置制御システム。

（付記２８） 自端末からエレベータの昇降を制御する装置制御システムにおいて、
制御提供可能なエレベータを検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、ユーザインタフェースの画面の座標情報及び自端末の識別子を含む端末メッセージを送信して制御要請を行う制御要請部と、イベント詳細情報にもとづいて、イベントとしてのエレベータの昇降ボタンを画面に表示する表示制御部と、画面に表示された昇降ボタンの操作により、エレベータの昇降機能の制御要求メッセージを送信する制御要求処理部と、から構成され自端末のユーザインタフェースを用いてエレベータの昇降を操作する情報処理端末と、
前記検索メッセージを受信して前記検索応答メッセージを返信する検索応答処理部と、前記端末メッセージを受信し、前記識別子から自エレベータを操作する端末を管理し、前記座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能な昇降ボタンを割り当てて前記イベント詳細情報を生成し送信する制御要請応答処理部と、前記制御要求メッセージを受信して該当の昇降動作を実行する機能実行部と、から構成され端末からの指示で自エレベータの昇降を動作するエレベータ装置と、
を有することを特徴とする装置制御システム。

（付記２９） 自端末からリモコンに設けられているリモコンボタンを制御する装置制御システムにおいて、
制御提供可能なリモコンを検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、ユーザインタフェースの画面の座標情報及び自端末の識別子を含む端末メッセージを送信して制御要請を行う制御要請部と、イベント詳細情報にもとづいて、イベントとしてのリモコンボタンを画面に表示する表示制御部と、画面に表示されたリモコンボタンの操作により、リモコンボタン機能の制御要求メッセージを送信する制御要求処理部と、から構成され自端末のユーザインタフェースを用いてリモコンボタンを操作する情報処理端末と、
前記検索メッセージを受信して前記検索応答メッセージを返信する検索応答処理部と、前記端末メッセージを受信し、前記識別子から自リモコンを操作する端末を管理し、前記座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能なリモコンボタンを割り当てて前記イベント詳細情報を生成し送信する制御要請応答処理部と、前記制御要求メッセージを受信して該当のリモコンボタン動作を実行する機能実行部と、から構成され端末からの指示で自リモコンのリモコンボタンを動作するリモコン装置と、
を有することを特徴とする装置制御システム。

（付記３０） 自端末から銀行ＡＴＭのタッチパネルを制御する装置制御システムにおいて、
制御提供可能な銀行ＡＴＭを検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、ユーザインタフェースの画面の座標情報及び自端末の識別子を含む端末メッセージを送信して制御要請を行う制御要請部と、イベント詳細情報にもとづいて、イベントとしての銀行ＡＴＭのタッチパネルを画面に表示する表示制御部と、画面に表示されたタッチパネルの操作により、銀行ＡＴＭのタッチパネル機能の制御要求メッセージを送信する制御要求処理部と、から構成され自端末のユーザインタフェースを用いて銀行ＡＴＭのタッチパネルを操作する情報処理端末と、
前記検索メッセージを受信して前記検索応答メッセージを返信する検索応答処理部と、前記端末メッセージを受信し、前記識別子から自銀行ＡＴＭを操作する端末を管理し、前記座標情報から認識した座標の相対位置に、ユーザ入力に対して制御可能なタッチパネルを割り当てて前記イベント詳細情報を生成し送信する制御要請応答処理部と、前記制御要求メッセージを受信して該当のタッチパネル動作を実行する機能実行部と、から構成され端末からの指示で自銀行ＡＴＭのタッチパネルを動作する銀行ＡＴＭ装置と、
を有することを特徴とする装置制御システム。

装置制御システムの原理図である。 装置制御システムの動作シーケンスを示す図である。 装置制御システムの動作シーケンスを示す図である。 検索メッセージのフォーマットを示す図である。 検索応答メッセージのフォーマットを示す図である。 端末メッセージのフォーマットを示す図である。 表示画面例を示す図である。 制御要求メッセージのフォーマットを示す図である。 撮影画像を貼り付けてイベントを表示する様子を示す図である。 撮影画像を貼り付けてイベントを表示する様子を示す図である。 イベントの角度を変えて表示する様子を示す図である。 イベントを複数画面に分割して表示する様子を示す図である。 分割画面とクリック数との対応関係を示す図である。 検索カテゴリ表示から検索メッセージを送信するまでの動作フローを示す図である。 検索メッセージの受信から検索応答メッセージを送信するまでの動作フローを示す図である。 検索メッセージと装置情報テーブルとの整合処理を示す図である。 検索応答メッセージの受信から提供機能を表示するまでの動作フローを示す図である。 提供機能表示から端末メッセージを送信するまでの動作フローを示す図である。 端末メッセージの受信からイベント詳細情報を送信するまでの動作フローを示す図である。 接続状態管理部における情報処理端末の接続管理の動作フローを示す図である。 イベントの表示制御の動作フローを示す図である。 表示モード毎の表示制御を示す動作フローである。 表示制御部及び撮影部における画像貼り付けの動作フローを示す図である。 制御要求処理部の蓄積処理モード時における動作フローを示す図である。 機能実行部の動作フローを示す図である。 イベント詳細情報のフォーマットを示す図である。 イベント詳細情報のフォーマットを示す図である。 イベント詳細情報のフォーマットを示す図である。 イベント詳細情報のフォーマットを示す図である。 イベント詳細情報の具体例を示す図である。 中継動作を行う装置制御システムを示す図である。 変形例である装置制御システムの動作シーケンスを示す図である。 変形例である装置制御システムの動作シーケンスを示す図である。 Beaconフレームで構成した検索メッセージのフォーマットを示す図である。 エレベータの昇降制御を行う装置制御システムを示す図である。 エレベータ制御を行う装置制御システムの動作シーケンスを示す図である。 エレベータ制御を行う装置制御システムの動作シーケンスを示す図である。 警報通報を行う装置制御システムを示す図である。 警報通報を行う装置制御システムの動作シーケンスを示す図である。 リモコンの制御を行う装置制御システムを示す図である。 リモコンの制御を行う装置制御システムの動作シーケンスを示す図である。 リモコンの制御を行う装置制御システムの動作シーケンスを示す図である。 銀行ＡＴＭの制御を行う装置制御システムを示す図である。 銀行ＡＴＭの制御を行う装置制御システムの動作シーケンスを示す図である。 銀行ＡＴＭの制御を行う装置制御システムの動作シーケンスを示す図である。

符号の説明

１ 装置制御システム
１０ 情報処理端末
１１ 装置検索部
１２ 制御要請部
１３ 表示制御部
１４ 制御要求処理部
１５ 撮影部
２０ 制御提供装置
２１ 検索応答処理部
２２ 制御要請応答処理部
２３ 機能実行部
２４ 接続状態管理部
Ｍ１ 検索メッセージ
Ｍ２ 検索応答メッセージ
Ｍ３ 端末メッセージ
Ｍ４ 制御要求メッセージ
Ｄ１ イベント詳細情報

Claims (7)

1. 自端末のユーザインタフェースを用いて他装置の機能を操作する情報処理端末において、
   制御提供可能な装置を検索するための検索メッセージを送信し、提供可能な機能の情報を含む検索応答メッセージを受信する装置検索部と、
   ユーザインタフェースの画面の座標情報を含む端末メッセージを送信する制御要請部と、
   他装置から受信した、前記検索応答メッセージに含まれる他装置の提供機能の情報及び前記端末メッセージに基づいて作成されたイベント詳細情報にもとづくイベントを画面に表示する表示制御部と、
   画面に表示されたイベントの操作により、他装置に制御要求メッセージを送信する制御要求処理部と、
   制御提供可能な装置側のユーザインタフェース部分を撮影して撮影画像を取得する撮影部とを有し、
   前記表示制御部は、イベントの位置情報を含む前記イベント詳細情報を受信すると、前記位置情報に該当する画面上の座標にマークを付け、前記撮影部により前記マークが付いた座標の位置と制御提供可能な装置側のユーザインタフェース部分の位置とを合わせて撮影して取得した撮影画像を、前記イベントが表示された画面に表示する、
   ことを特徴とする情報処理端末。
2. 前記表示制御部は、表示位置が変更可能な前記撮影画像を、イベントが表示された画面に表示することを特徴とする請求項１記載の情報処理端末。
3. 前記表示制御部は、イベントの表示角度を変えて画面に表示、またはイベントを複数画面に分割して表示し、イベントを複数画面に分割して表示する場合は、単位時間当たりのクリック数に応じて、分割画面を対応させることを特徴とする請求項１記載の情報処理端末。
4. 前記制御要求処理部は、操作されたイベントを蓄積し、蓄積した制御要求を前記制御要求メッセージで一括して送信することを特徴とする請求項１記載の情報処理端末。
5. 前記装置検索部は、前記検索メッセージをマルチフレームで構成し、データフレームか同期フレームかを示すフラグを含ませて、前記フラグが同期フレームを示す場合に、制御項目からなるカテゴリ要求が含まれる構成にしたことを特徴とする請求項１記載の情報処理端末。
6. 前記装置検索部は、前記カテゴリ要求に、有効データか否かを示すマスク情報を含めることを特徴とする請求項５記載の情報処理端末。
7. 前記装置検索部は、前記検索メッセージをＡＲＰフレームまたはBeaconフレームで構成することを特徴とする請求項５記載の情報処理端末。

Images