JP4997175B2 - オブジェクト管理装置、携帯端末、および、オブジェクト操作方法 - Google Patents

Description

本発明は、オブジェクト管理装置、携帯端末、および、オブジェクト操作方法に関する。

従来、ＰＣを用いたオフィスワーク等の事務処理業務において、ユーザが、ＰＣのデスクトップ上の、例えば電子ファイルや画像データ等の処理データを示すアイコン等をマウス等の入力部を用いてドラッグし、例えばＦＡＸ、ファイル、ＰＣ、トレー、シュレッダー等の操作対象機器を示すアイコン等のオブジェクト上にドロップする操作を行うことにより、事務処理を行っている。近年、これらの操作対象機器を用いて効率的に事務処理を行う技術が求められており、仮想空間上で操作対象機器を操作する技術が報告されている。

例えば、特許文献１の情報入出力システムでは、携帯型コンピュータや設置されたコンピュータやコンピュータ周辺機器（例えば、プリンタ、ディスプレイ、スキャナ等）など操作対象機器に対応する、仮想のオブジェクトを生成し、生成したオブジェクトを会議室等の壁やテーブル上などに投影することにより、共用の作業面として仮想的にデスクトップを統合している。これにより、ユーザは、この仮想統合デスクトップ上で電子ファイルや画像データ等の処理データをマウスでオブジェクト上にドラッグアンドドロップすることで、複数ユーザ間でデータの受け渡しを行っている。

特開２００１−１３６５０４号公報

しかしながら、従来の情報入出力システム（特許文献１等）においては、オブジェクトの生成や投影を行う装置や投影用作業面を用意する必要があり、設備自体が大型化してしまうという問題点を有していた。また、従来の情報入出力システムにおいては、仮想のオブジェクトを生成して、生成したオブジェクトを壁やテーブル等に投影することにより仮想の統合デスクトップを構築する必要があり、作業空間の準備に時間を要してしまうという問題点を有していた。また、従来の情報入出力システムにおいては、オブジェクトに対するユーザ操作（例えば、ドラッグアンドドロップ等）は、装置に設置された複数のカメラが投影用作業面上のオブジェクトの位置の変化を検出することにより認識しているので、ユーザ操作認識処理の負荷が大きく、数秒間必要とするので、ユーザ操作認識結果をリアルタイムに決定し実行できないという問題点を有していた。

本発明は、上記に鑑みてなされたもので、携帯端末を入力手段および表示手段として用いることにより装置を小型化でき、操作対象機器を表す文字、記号、図、写真、模型等の簡易なオブジェクトを机等の作業面に並べることにより短時間で効率的に作業空間を準備でき、ユーザが操作を所望する操作対象オブジェクトを携帯端末の位置に基づいて選択し、ユーザが所望する処理内容の決定処理を、携帯端末の物理量の変位に基づいて行うことにより、処理内容決定処理の負荷を軽減し、ユーザが所望する処理内容をリアルタイムに決定し実行することができる、オブジェクト管理装置、携帯端末、および、オブジェクト操作方法を提供することを目的とする。

このような目的を達成するため、本発明のオブジェクト管理装置は、携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、を少なくとも備えた携帯端末、および、少なくとも一つの操作対象機器に、ネットワークを介して通信可能に接続された、画像撮影部と、記憶部と、制御部と、を少なくとも備えたオブジェクト管理装置であって、上記記憶部は、処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、上記操作対象機器に対応する操作対象オブジェクトと、当該操作対象オブジェクトが存在する作業面上の特定領域と、を関連付けて記憶する操作対象オブジェクト記憶手段と、上記携帯端末の位置情報と、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、を備え、上記制御部は、上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記携帯端末に送信し、上記表示部に表示させる表示オブジェクト送信手段と、上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された上記作業面の第１の画像と、当該作業面上に上記携帯端末が表示された第２の画像と、を比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得する携帯端末位置取得手段と、上記携帯端末位置取得手段により取得された上記携帯端末の上記位置情報と、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトの上記特定領域と、を比較することにより、当該位置情報が上記特定領域内に含まれるか否かを判定する領域判定手段と、上記領域判定手段により上記位置情報が上記特定領域内に含まれると判定された場合、上記操作対象オブジェクト記憶手段から、当該特定領域に関連付けられた上記操作対象オブジェクトを特定する操作対象オブジェクト特定手段と、上記操作対象オブジェクト特定手段により上記操作対象オブジェクトが特定された後、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する処理コマンド決定用物理量変位受信手段と、上記処理コマンド決定用物理量変位受信手段により上記物理量の変位が受信された際に、上記表示オブジェクト送信手段により上記携帯端末に送信され上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得手段と、上記携帯端末位置取得手段により取得された上記携帯端末の上記位置情報、および、上記処理コマンド決定用物理量変位受信手段により受信された上記物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた上記処理コマンドを上記処理コマンド記憶手段から検索する処理コマンド検索手段と、上記処理コマンド検索手段により検索された上記処理コマンドを、上記表示オブジェクト取得手段により取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定手段により特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行手段と、を備えたことを特徴とする。

また、本発明のオブジェクト管理装置は、上記記載のオブジェクト管理装置において、上記記憶部は、上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段を更に備え、上記制御部は、上記領域判定手段により上記位置情報が上記特定領域内に含まれないと判定された場合、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する操作コマンド決定用物理量変位受信手段と、上記操作コマンド決定用物理量変位受信手段により受信された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索手段と、上記操作コマンド検索手段により検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行手段と、を更に備えたことを特徴とする。

また、本発明のオブジェクト管理装置は、上記記載のオブジェクト管理装置において、上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記携帯端末へ送信して上記表示部に表示させる操作処理を規定することを特徴とする。

また、本発明のオブジェクト管理装置は、上記記載のオブジェクト管理装置において、上記携帯端末の上記変位検出部は、３軸加速度センサであり、上記物理量は、重力加速度または加速度を含むことを特徴とする。

また、本発明のオブジェクト管理装置は、上記記載のオブジェクト管理装置において、上記制御部は、上記画像撮影部により取得された上記第１の画像および上記第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理手段を更に備え、上記携帯端末位置取得手段は、上記画像処理手段により画像処理された射影変換後の上記第１の画像と上記第２の画像とを比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得することを特徴とする。

また、本発明のオブジェクト管理装置は、上記記載のオブジェクト管理装置において、上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、上記制御部は、上記特徴情報に基づいて、上記第１の画像から、上記操作対象オブジェクトが存在する上記作業面上の上記特定領域を抽出し、上記操作対象オブジェクト記憶手段に、当該操作対象オブジェクトと、上記特定領域抽出手段により抽出された上記特定領域と、を関連付けて記憶する特定領域抽出手段を更に備えたことを特徴とする。

また、本発明の携帯端末は、少なくとも一つの操作対象機器、および、オブジェクト管理装置に、ネットワークを介して通信可能に接続された、携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、画像撮影部と、記憶部と、制御部と、を少なくとも備えた携帯端末であって、上記記憶部は、処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、上記操作対象機器に対応する操作対象オブジェクトを記憶する操作対象オブジェクト記憶手段と、上記操作対象オブジェクトと、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、を備え、上記制御部は、上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記表示部に表示する表示オブジェクト表示手段と、上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出する操作対象オブジェクト抽出手段と、上記操作対象オブジェクト抽出手段により抽出された上記操作対象オブジェクトと、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトと、を比較することにより、２つの上記操作対象オブジェクトが一致するか否かを判定する一致判定手段と、上記一致判定手段により上記２つの上記操作対象オブジェクトが一致すると判定された場合、上記操作対象オブジェクト記憶手段から一致した上記操作対象オブジェクトを特定する操作対象オブジェクト特定手段と、上記操作対象オブジェクト特定手段により上記操作対象オブジェクトが特定された後、上記変位検出部により上記物理量の変位を検出する処理コマンド決定用物理量変位検出手段と、上記処理コマンド決定用物理量変位検出手段により上記物理量の変位が検出された際に、上記表示オブジェクト表示手段により上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得手段と、上記操作対象オブジェクト特定手段により特定された上記操作対象オブジェクト、および、上記処理コマンド決定用物理量変位検出手段により検出された上記物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた上記処理コマンドを、上記処理コマンド記憶手段から検索する処理コマンド検索手段と、上記処理コマンド検索手段により検索された上記処理コマンドを、上記表示オブジェクト取得手段により取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定手段により特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行手段と、を備えたことを特徴とする。

また、本発明の携帯端末は、上記記載の携帯端末において、上記記憶部は、上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段を更に備え、上記制御部は、上記一致判定手段により上記２つの上記操作対象オブジェクトが一致しないと判定された場合、上記変位検出部により上記物理量の変位を検出する操作コマンド決定用物理量変位検出手段と、上記操作コマンド決定用物理量変位検出手段により検出された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索手段と、上記操作コマンド検索手段により検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行手段と、を更に備えたことを特徴とする。

また、本発明の携帯端末は、上記記載の携帯端末において、上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記表示部に表示させる操作処理を規定することを特徴とする。

また、本発明の携帯端末は、上記記載の携帯端末において、上記変位検出部は、３軸加速度センサであり、上記物理量としては、重力加速度および加速度を少なくとも含むことを特徴とする。

また、本発明の携帯端末は、上記記載の携帯端末において、上記制御部は、上記画像撮影部により取得された上記画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理手段を更に備え、上記表示オブジェクト抽出手段は、上記画像処理手段により画像処理された射影変換後の上記画像に基づいて、当該画像内の上記操作対象オブジェクトを抽出することを特徴とする。

また、本発明の携帯端末は、上記記載の携帯端末において、上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、上記操作対象オブジェクト抽出手段は、上記特徴情報に基づいて、上記画像から上記操作対象オブジェクトを抽出することを特徴とする。

また、本発明のオブジェクト操作方法は、携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、を少なくとも備えた携帯端末、および、少なくとも一つの操作対象機器に、ネットワークを介して通信可能に接続された、画像撮影部と、記憶部と、制御部と、を少なくとも備えたオブジェクト管理装置において実行されるオブジェクト操作方法であって、上記記憶部は、処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、上記操作対象機器に対応する操作対象オブジェクトと、当該操作対象オブジェクトが存在する作業面上の特定領域と、を関連付けて記憶する操作対象オブジェクト記憶手段と、上記携帯端末の位置情報と、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、を備え、上記制御部において実行される、上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記携帯端末に送信し、上記表示部に表示させる表示オブジェクト送信ステップと、上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された上記作業面の第１の画像と、当該作業面上に上記携帯端末が表示された第２の画像と、を比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得する携帯端末位置取得ステップと、上記携帯端末位置取得ステップにて取得された上記携帯端末の上記位置情報と、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトの上記特定領域と、を比較することにより、当該位置情報が上記特定領域内に含まれるか否かを判定する領域判定ステップと、上記領域判定ステップにて上記位置情報が上記特定領域内に含まれると判定された場合、上記操作対象オブジェクト記憶手段から、当該特定領域に関連付けられた上記操作対象オブジェクトを特定する操作対象オブジェクト特定ステップと、上記操作対象オブジェクト特定ステップにて上記操作対象オブジェクトが特定された後、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する処理コマンド決定用物理量変位受信ステップと、上記処理コマンド決定用物理量変位受信ステップにて上記物理量の変位が受信された際に、上記表示オブジェクト送信ステップにて上記携帯端末に送信され上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得ステップと、上記携帯端末位置取得ステップにて取得された上記携帯端末の上記位置情報、および、上記処理コマンド決定用物理量変位受信ステップにて受信された上記物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた上記処理コマンドを上記処理コマンド記憶手段から検索する処理コマンド検索ステップと、上記処理コマンド検索ステップにて検索された上記処理コマンドを、上記表示オブジェクト取得ステップにて取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定ステップにて特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行ステップと、を含むことを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記記憶部は、上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段を更に備え、上記制御部において実行される、上記領域判定ステップにて上記位置情報が上記特定領域内に含まれないと判定された場合、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する操作コマンド決定用物理量変位受信ステップと、上記操作コマンド決定用物理量変位受信ステップにて受信された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索ステップと、上記操作コマンド検索ステップにて検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行ステップと、を更に含むことを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記携帯端末へ送信して上記表示部に表示させる操作処理を規定することを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記携帯端末の上記変位検出部は、３軸加速度センサであり、上記物理量は、重力加速度または加速度を含むことを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記制御部において実行される、上記画像撮影部により取得された上記第１の画像および上記第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理ステップを更に含み、上記携帯端末位置取得ステップにおいて、上記画像処理ステップにて画像処理された射影変換後の上記第１の画像と上記第２の画像とを比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得することを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、上記制御部において実行される、上記特徴情報に基づいて、上記画像から、上記操作対象オブジェクトが存在する上記作業面上の上記特定領域を抽出し、上記操作対象オブジェクト記憶手段に、当該操作対象オブジェクトと、上記特定領域抽出ステップにて抽出された上記特定領域と、を関連付けて記憶する特定領域抽出ステップを更に含むことを特徴とする。

また、本発明のオブジェクト操作方法は、少なくとも一つの操作対象機器、および、オブジェクト管理装置に、ネットワークを介して通信可能に接続された、携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、画像撮影部と、記憶部と、制御部と、を少なくとも備えた携帯端末において実行されるオブジェクト操作方法であって、上記記憶部は、処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、上記操作対象機器に対応する操作対象オブジェクトを記憶する操作対象オブジェクト記憶手段と、上記操作対象オブジェクトと、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、を備え、上記制御部において実行される、上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記表示部に表示する表示オブジェクト表示ステップと、上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出する操作対象オブジェクト抽出ステップと、上記操作対象オブジェクト抽出ステップにて抽出された上記操作対象オブジェクトと、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトと、を比較することにより、２つの上記操作対象オブジェクトが一致するか否かを判定する一致判定ステップと、上記一致判定ステップにて上記２つの上記操作対象オブジェクトが一致すると判定された場合、上記操作対象オブジェクト記憶手段から一致した上記操作対象オブジェクトを特定する操作対象オブジェクト特定ステップと、上記操作対象オブジェクト特定ステップにて上記操作対象オブジェクトが特定された後、上記変位検出部により上記物理量の変位を検出する処理コマンド決定用物理量変位検出ステップと、上記処理コマンド決定用物理量変位検出ステップにて上記物理量の変位が検出された際に、上記表示オブジェクト表示ステップにて上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得ステップと、上記操作対象オブジェクト特定ステップにて特定された上記操作対象オブジェクト、および、上記処理コマンド決定用物理量変位検出ステップにて検出された上記物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた上記処理コマンドを、上記処理コマンド記憶手段から検索する処理コマンド検索ステップと、上記処理コマンド検索ステップにて検索された上記処理コマンドを、上記表示オブジェクト取得ステップにて取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定ステップにて特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行ステップと、を含むことを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記記憶部は、上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段を更に備え、上記制御部において実行される、上記一致判定ステップにて上記２つの上記操作対象オブジェクトが一致しないと判定された場合、上記変位検出部により上記物理量の変位を検出する操作コマンド決定用物理量変位検出ステップと、上記操作コマンド決定用物理量変位検出ステップにて検出された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索ステップと、上記操作コマンド検索ステップにて検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行ステップと、を更に含むことを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記表示部に表示させる操作処理を規定することを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記変位検出部は、３軸加速度センサであり、上記物理量としては、重力加速度および加速度を少なくとも含むことを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記制御部において実行される、上記画像撮影部により取得された上記画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理ステップを更に含み、上記表示オブジェクト抽出ステップにおいて、上記画像処理ステップにて画像処理された射影変換後の上記画像に基づいて、当該画像内の上記操作対象オブジェクトを抽出することを特徴とする。

また、本発明のオブジェクト操作方法は、上記記載のオブジェクト操作方法において、上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、上記操作対象オブジェクト抽出ステップにおいて、上記特徴情報に基づいて、上記画像から上記操作対象オブジェクトを抽出することを特徴とする。

この発明によれば、オブジェクト管理装置の記憶部は、処理データに対応する表示オブジェクトを記憶し、操作対象機器に対応する操作対象オブジェクトと、当該操作対象オブジェクトが存在する作業面上の特定領域と、を関連付けて記憶し、携帯端末の位置情報と、携帯端末の物理量の変位と、表示オブジェクトを用いて操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶し、オブジェクト管理装置の制御部は、記憶部に記憶された表示オブジェクトを携帯端末に送信し、表示部に表示させ、画像撮影部により撮影された、特定領域に操作対象オブジェクトが表示された作業面の第１の画像と、当該作業面上に携帯端末が表示された第２の画像と、を比較することにより、当該位置情報が特定領域内に含まれるか否かを判定し、位置情報が特定領域内に含まれると判定された場合、記憶部から当該特定領域に関連付けられた操作対象オブジェクトを特定し、操作対象オブジェクトが特定された後、携帯端末の変位検出部にて検出された物理量の変位を携帯端末から受信し、物理量の変位が受信された際に、携帯端末に送信され表示部に表示されている表示オブジェクトを記憶部から取得し、取得された携帯端末の位置情報、および、受信された物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた処理コマンドを記憶部から検索し、検索された処理コマンドを、取得された表示オブジェクトを用いて、特定された操作対象オブジェクトに対応する操作対象機器に対して実行させるので、ユーザが所望する操作対象オブジェクト（ＦＡＸ等の操作対象機器など）の上に携帯端末を翳すことにより操作対象オブジェクトを選択し、この選択された操作対象オブジェクト上でユーザが携帯端末を用いて所定の動作（例えば、手前に引くまたは奥へ翳す等）を行うことにより、オブジェクト管理装置において、携帯端末の変位検出部にて検出され受信した物理量（加速度等）の変位に基づいて、携帯端末に送信され表示部上に表示された表示オブジェクト（画像データ等の処理データなど）を用いて行う処理（例えば、ＦＡＸの受信データを見る、または、処理データをＦＡＸから送信する等）を規定する処理コマンドをリアルタイムに決定し実行できるという効果を奏する。

これにより、従来はオブジェクトの生成や投影を行う装置や投影用作業面等を用意する必要があり設備自体が大型化していたが、本発明は、オブジェクトの生成装置、投影装置、投影用作業面等を用意する必要がなく、携帯端末を物理量の変位を入力させる入力部および表示オブジェクトを表示させる表示部として用いることにより、装置を小型化できるという効果を奏する。また、従来はオブジェクトに対するユーザ操作（例えば、ドラッグアンドドロップ等）は、装置に設置された複数のカメラが投影用作業面上のオブジェクトの位置の変化を検出することにより認識していたので、処理内容の決定処理の負荷が大きく、ユーザが所望する処理内容をリアルタイムに決定し実行できなかったが、本発明は、複数のカメラを用いてオブジェクトの位置の変化を検出する必要がなく、携帯端末の変位検出部にて検出され受信した物理量の変位に基づいて処理内容の決定処理を行うことにより、処理内容の決定処理の負荷を軽減し、ユーザが所望する処理内容をリアルタイムに決定し実行することができるという効果を奏する。

また、この発明によれば、オブジェクト管理装置の記憶部は、携帯端末の物理量の変位と、携帯端末の表示部に表示される表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶し、オブジェクト管理装置の制御部は、位置情報が特定領域内に含まれないと判定された場合、携帯端末の変位検出部にて検出された物理量の変位を携帯端末から受信し、受信された物理量の変位を検索キーとして、当該物理量の変位に関連付けられた操作コマンドを記憶部から検索し、検索された操作コマンドを表示オブジェクトに対して実行するので、操作対象オブジェクト（ＦＡＸ等の操作対象機器など）の上以外の領域で、ユーザが携帯端末を用いて所定の動作（例えば、所定のキーを押しながら左右に振る等）を行うことにより、オブジェクト管理装置において、携帯端末の変位検出部にて検出され受信した物理量（加速度等）の変位に基づいて、表示オブジェクトに対する操作を決定することができるという効果を奏する。これにより、本発明は、操作対象オブジェクト上の領域で検出された物理量の変位とそれ以外の領域で検出された物理量の変位とを区別して、操作処理を規定する操作コマンドを検索して実行することができるという効果を奏する。具体的には、本発明は、例えば、オブジェクト上の領域外で、所定のキーを押しながら携帯端末を左右に振ることによりＦＡＸの送信先等を決定し（ステップ１）、オブジェクト上の領域内で携帯端末を奥に翳すことによりステップ１にて決定した送信先へＦＡＸを送信する（ステップ２）といった、２段階に分けて処理内容を決定することができ、ユーザが所望する処理の選択肢の幅を広げることができるという効果を奏する。

また、この発明によれば、オブジェクト管理装置の記憶部に記憶される操作コマンドは、携帯端末の物理量の変位に従って、携帯端末の表示部に表示された表示オブジェクトとは異なる他の表示オブジェクトを表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを携帯端末へ送信して表示部に表示させる操作処理を規定するので、操作対象オブジェクト（例えば、特定のフォルダ等）の上以外の領域で、ユーザが携帯端末を用いて所定の動作（例えば、左右に振る等）を行うことにより、オブジェクト管理装置において、携帯端末の変位検出部にて検出され受信した物理量（加速度等）の変位に基づいて、携帯端末の表示部に表示された表示オブジェクト（例えば、画像データ等の処理データなど）とは異なる他の表示オブジェクトを記憶部から抽出し、抽出された当該表示オブジェクトを携帯端末へ送信して表示部に新たに表示させることにより、表示画面を切り替えることができるという効果を奏する。これにより、本発明は、携帯端末の表示部に表示された表示オブジェクトを確認しながら、この表示部オブジェクトを用いた操作対象機器に対する処理を決定でき、誤操作を軽減することができるという効果を奏する。具体的には、本発明は、例えば、オブジェクト上の領域外で携帯端末を左右に振ることにより、ユーザが所望する表示オブジェクト（例えば、画像データ等の処理データなど）を決定し、オブジェクト上の領域内で携帯端末を奥に翳すことにより、選択された操作対象オブジェクト（例えば、特定のフォルダ等）に、決定した表示オブジェクトを格納するといった処理コマンドを実行できるという効果を奏する。

また、この発明によれば、オブジェクト管理装置に物理量の変位を送信する、携帯端末の変位検出部は、３軸加速度センサであり、物理量は、重力加速度または加速度を含むので、キーボードやタッチパネル等の入力部を介してユーザが所望する処理を入力する必要がなく、携帯端末を持つ片手のみで携帯端末を上下左右に振るなどの所定の動作を行うことにより、短時間で効率的に処理を決定することができるという効果を奏する。すなわち、本発明は、３軸方向の携帯端末の動きを検出することができ、一軸加速度センサ等のその他のセンサを用いる場合に比べて、物理量の変位に基づいて実行する携帯端末への入力処理等のバリエーションを増やす等、操作性を向上させることができるという効果を奏する。

また、この発明によれば、オブジェクト管理装置の制御部は、画像撮影部により取得された第１の画像および第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行し、携帯端末位置取得において、画像処理された射影変換後の第１の画像と第２の画像とを比較して、作業面上における携帯端末の位置情報を取得するので、携帯端末の位置を取得する際に、画像撮影部が斜め方向から撮像した操作対象オブジェクトや携帯端末の画像であっても、ユーザが持つ携帯端末と操作対象オブジェクトとの位置関係を正確に取得することができるという効果を奏する。

また、この発明によれば、オブジェクト管理装置が認識する操作対象オブジェクトは、当該操作対象オブジェクトに対応する操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、特徴情報に基づいて、第１の画像から、操作対象オブジェクトが存在する作業面上の特定領域を抽出し、記憶部に、当該操作対象オブジェクトと、抽出された特定領域と、を関連付けて記憶するので、特徴情報に基づいて作業面に表示された操作対象オブジェクトの存在する特定領域を自動的に画像認識等の画像処理技術を用いて抽出することが可能となり、記憶部の操作対象オブジェクト記憶手段を自動的に更新することができるという効果を奏する。すなわち、従来は仮想のオブジェクトを生成して、生成したオブジェクトを壁やテーブル等に投影することにより仮想の統合デスクトップを構築する必要があり作業空間の準備に時間を要していたが、本発明は、オブジェクトを生成し投影する必要がなく、操作対象機器を表す文字、記号、図、写真、模型等の簡易なオブジェクトを机等の作業面に並べることにより短時間で効率的に作業空間を準備できるという効果を奏する。

また、この発明によれば、携帯端末の記憶部は、処理データに対応する表示オブジェクトを記憶し、操作対象機器に対応する操作対象オブジェクトを記憶し、操作対象オブジェクトと、携帯端末の物理量の変位と、表示オブジェクトを用いて操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶し、携帯端末の制御部は、記憶部に記憶された表示オブジェクトを表示部に表示し、特定領域に操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出し、抽出された操作対象オブジェクトと、記憶部に記憶された操作対象オブジェクトと、を比較することにより、２つの操作対象オブジェクトが一致するか否かを判定し、２つの操作対象オブジェクトが一致すると判定された場合、記憶部から一致した操作対象オブジェクトを特定し、操作対象オブジェクトが特定された後、変位検出部により物理量の変位を検出し、物理量の変位が検出された際に、表示部に表示されている表示オブジェクトを記憶部から取得し、特定された操作対象オブジェクト、および、検出された物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた処理コマンドを、記憶部から検索し、検索された処理コマンドを、取得された表示オブジェクトを用いて、特定された操作対象オブジェクトに対応する操作対象機器に対して実行させるので、ユーザが所望する操作対象オブジェクト（ＦＡＸ等の操作対象機器など）の上に携帯端末を翳すことにより、携帯端末に内蔵された画像撮影部にて操作対象オブジェクトを認識して選択し、この選択された操作対象オブジェクト上でユーザが携帯端末を用いて所定の動作（例えば、手前に引くまたは奥へ翳す等）を行うことにより、携帯端末において、変位検出部にて検出された物理量（加速度等）の変位に基づいて、表示部上に表示された表示オブジェクト（画像データ等の処理データなど）を用いて行う処理（例えば、ＦＡＸの受信データを見る、または、処理データをＦＡＸから送信する等）を規定する処理コマンドをリアルタイムに決定し実行できるという効果を奏する。

これにより、従来はオブジェクトの生成や投影を行う装置や投影用作業面等を用意する必要があり設備自体が大型化していたが、本発明は、オブジェクトの生成装置、投影装置、投影用作業面等を用意する必要がなく、携帯端末を物理量の変位を入力させる入力部および表示オブジェクトを表示させる表示部として用いることにより、装置を小型化できるという効果を奏する。また、従来はオブジェクトに対するユーザ操作（例えば、ドラッグアンドドロップ等）は、装置に設置された複数のカメラが投影用作業面上のオブジェクトの位置の変化を検出することにより認識していたので、処理内容の決定処理の負荷が大きく、ユーザが所望する処理内容をリアルタイムに決定し実行できなかったが、本発明は、複数のカメラを用いてオブジェクトの位置の変化を検出する必要がなく、携帯端末の変位検出部にて検出され受信した物理量の変位に基づいて処理内容の決定処理を行うことにより、処理内容の決定処理の負荷を軽減し、ユーザが所望する処理内容をリアルタイムに決定し実行することができるという効果を奏する。

また、この発明によれば、携帯端末の記憶部は、携帯端末の物理量の変位と、携帯端末の表示部に表示される表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶し、携帯端末の制御部は、２つの操作対象オブジェクトが一致しないと判定された場合、変位検出部により物理量の変位を検出し、検出された物理量の変位を検索キーとして、当該物理量の変位に関連付けられた操作コマンドを記憶部から検索し、検索された操作コマンドを表示オブジェクトに対して実行するので、操作対象オブジェクト（ＦＡＸ等の操作対象機器など）の上以外の領域で、ユーザが携帯端末を用いて所定の動作（例えば、左右に振る等）を行うことにより、携帯端末において、変位検出部にて検出された物理量（加速度等）の変位に基づいて、表示オブジェクトに対する操作処理を決定することができるという効果を奏する。これにより、本発明は、操作対象オブジェクト上の領域で検出された物理量の変位とそれ以外の領域で検出された物理量の変位とを区別して、操作処理を規定する操作コマンドを検索して実行することができるという効果を奏する。具体的には、本発明は、例えば、オブジェクト上の領域外で携帯端末を左右に振る等を行うことによりＦＡＸの受信データから所望のデータを選択し（ステップ１）、オブジェクト上の領域内で携帯端末を手前に引くことによりステップ１にて選択したデータをＦＡＸから携帯端末に受信する（ステップ２）といった、２段階に分けて操作処理を決定することができ、ユーザが所望する処理の選択肢の幅を広げることができるという効果を奏する。

また、この発明によれば、携帯端末の記憶部に記憶される操作コマンドは、携帯端末の物理量の変位に従って、携帯端末の表示部に表示された表示オブジェクトとは異なる他の表示オブジェクトを記憶部から抽出し、抽出された当該表示オブジェクトを表示部に表示させる操作処理を規定するので、操作対象オブジェクト（ＦＡＸ等の操作対象機器など）の上以外の領域で、ユーザが携帯端末を用いて所定の動作（例えば、左右に振る等）を行うことにより、携帯端末において、変位検出部にて検出された物理量（加速度等）の変位に基づいて、表示部に表示された表示オブジェクト（例えば、画像データ等の処理データなど）とは異なる他の表示オブジェクトを記憶部から抽出し、抽出された当該表示オブジェクトを携帯端末へ送信して表示部に新たに表示させることにより、表示画面を切り替えることができるという効果を奏する。これにより、本発明は、携帯端末の表示部に表示された表示オブジェクトを確認しながら、この表示部オブジェクトを用いた操作対象機器に対する処理を決定でき、誤操作を軽減することができるという効果を奏する。具体的には、本発明は、例えば、オブジェクト上の領域外で携帯端末を左右に振ることにより、ユーザが所望する表示オブジェクト（例えば、画像データ等の処理データなど）を決定し、オブジェクト上の領域内で携帯端末を手前に引くことにより、選択された操作対象オブジェクト（例えば、ＦＡＸ等の操作対象機器など）から、決定した表示オブジェクトを携帯端末に受信するといった操作処理を行うことができるという効果を奏する。

また、この発明によれば、携帯端末の変位検出部は、３軸加速度センサであり、物理量としては、重力加速度および加速度を少なくとも含むので、キーボードやタッチパネル等の入力部を介してユーザが所望する処理を入力する必要がなく、携帯端末を持つ片手のみで携帯端末を上下左右に振るなどの所定の動作を行うことにより、短時間で効率的に処理を決定することができるという効果を奏する。すなわち、本発明は、３軸方向の携帯端末の動きを検出することができ、一軸加速度センサ等のその他のセンサを用いる場合に比べて、物理量の変位に基づいて実行する携帯端末への入力処理等のバリエーションを増やす等、操作性を向上させることができるという効果を奏する。

また、この発明によれば、携帯端末の制御部は、画像撮影部により取得された画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行し、表示オブジェクト抽出において、画像処理された射影変換後の画像に基づいて、操作対象オブジェクトを抽出するので、表示オブジェクトを抽出する際に、画像撮影部が斜め方向から撮像した操作対象オブジェクトの画像であっても、操作対象オブジェクトを正確に抽出することができるという効果を奏する。

また、この発明によれば、携帯端末が認識する操作対象オブジェクトは、当該操作対象オブジェクトに対応する操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、特徴情報に基づいて、画像から操作対象オブジェクトを抽出するので、特徴情報に基づいて作業面に表示された操作対象オブジェクトを自動的に画像認識等の画像処理技術を用いて抽出することが可能となるという効果を奏する。すなわち、従来は仮想のオブジェクトを生成して、生成したオブジェクトを壁やテーブル等に投影することにより仮想の統合デスクトップを構築する必要があり作業空間の準備に時間を要していたが、本発明は、オブジェクトを生成し投影する必要がなく、操作対象機器を表す文字、記号、図、写真、模型等の簡易なオブジェクトを机等の作業面に並べることにより短時間で効率的に作業空間を準備できるという効果を奏する。

以下に、本発明にかかるオブジェクト管理装置、携帯端末、および、オブジェクト操作方法並びにプログラムの実施の形態（第１の実施形態および第２の実施形態）を、図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［本発明の概要］
以下、本発明の概要について、図１〜図５を参照して説明する。その後、本発明の構成および処理について詳細に説明する。図１は、本発明の基本原理の一例を示す図である。また、図２は、本発明の処理決定の一例を示す図である。また、図３および図４は、本発明の操作決定の一例を示す図である。また、図５は、本発明の基本原理の別の一例を示す図である。

まず、本発明の基本原理の一例について、図１〜図４を参照して以下に説明する。

図１に示すように、本発明は、概略的に、以下の基本的特徴を有する。本発明は、携帯端末２００が移動した際に生じる物理量の変位を検出する変位検出部（図示せず）と、表示部２１４と、を少なくとも備えた携帯端末２００、および、少なくとも一つの操作対象機器１０−１〜３（例えば、ＦＡＸやスキャナや外部記憶装置等）に、ネットワークを介して通信可能に接続された、画像撮影部１１６と、記憶部と、制御部と、を少なくとも備えたオブジェクト管理装置１００から構成される。

ここで、図１において、画像撮影部１１６は、撮影範囲内にある、操作対象機器１０に対応する少なくとも一つの操作対象オブジェクト（例えば、ＦＡＸやスキャナやフォルダ等を表す文字、記号、写真、図、模型等）が表示された作業面（机等）を撮影する。また、図１において、携帯端末２００の表示部２１４は、オブジェクト管理装置１００から送信された表示オブジェクト（例えば、画像データ等の処理データなど）を表示する。一例として、本発明において、少なくとも一つの撮影対象機器１０を表す写真等のカード類を利用者が机等に並べることにより作業面を準備してもよく、また、撮影対象機器１０を表す図や記号等が予め印刷されたテーブル等を作業面として用いてもよい。

また、携帯端末２００の変位検出部は、物理量の変位を検出する物理量変位検出手段であり、例えば、３軸加速度センサであってもよく、また、加速度センサ、ジャイロスコープ、または、磁気センサ等で構成されていてもよく、また、それらの任意の組み合わせで構成されていてもよい。

ここで、「物理量」とは、測定対象に固有な、客観的に測定できる量（例えば、時間、質量、速度、スカラー、ベクトル等）である。一例として、物理量としては、加速度センサを用いた測定では、加速度や重力加速度等であり、ジャイロスコープを用いた測定では、角速度等であり、磁気センサを用いた測定では、磁場の大きさや方向等である。

また、「表示オブジェクト」とは、画像データや電子ファイル等に対応する処理データが表示された画像データ等である。具体的には、表示オブジェクトは、ユーザの操作によりスキャナ等の画像読取部（図示せず）にて予め読み込まれた原稿等の画像データ等であってもよい。また、表示オブジェクトは、ユーザがデジタルカメラ等を用いて予め撮影した写真等の画像データ等であってもよい。また、表示オブジェクトは、ユーザの操作によりネットワーク介して予め取り込まれた、例えば、電子メールに添付された画像データ等であってもよい。また、表示オブジェクトは、ユーザの操作により携帯記憶装置（ＳＤカード等）を介して予め取り込まれた、画像データ等であってもよい。また、表示オブジェクトは、ユーザの操作によりキーボードやマウス等の入力部を介して予め作成された、画像データ等であってもよい。

また、「操作対象オブジェクト」とは、オブジェクト管理装置１００に制御可能に接続された、ＰＣ周辺機器等（例えば、ＦＡＸやスキャナや外部記憶装置等）の操作対象機器１０に対応する画像データ等であり、例えば、操作対象機器１０を表す文字、記号、図、写真、または、模型等を表す画像データ等であってもよい。具体的には、操作対象オブジェクトは、ユーザにより手書きかまたはＰＣ等を用いて予め作成された、操作対象機器１０を表す文字や記号や図等の画像データ等であってもよい。また、操作対象オブジェクトは、ユーザによりデジタルカメラ等を用いて予め撮影し出力した、操作対象機器１０を表す写真等の画像データ等であってもよい。また、操作対象オブジェクトは、ユーザが予め作成した操作対象機器１０の模型等の画像データ等であってもよい。なお、これら操作対象オブジェクトは、当該操作対象オブジェクトに対応する操作対象機器１０を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含んでいてもよい。

そして、図１に示すように、本発明の基本原理の一例として、ユーザが机等の作業面に置かれた操作対象オブジェクト上に携帯端末２００を翳した場合、オブジェクト管理装置１００の制御部は、オブジェクト管理装置１００に備えられた画像撮影部１１６を制御することにより、画像撮影部１１６の撮影範囲内にある、ユーザが携帯する携帯端末２００と操作対象オブジェクト（例えば、ＦＡＸやスキャナやフォルダ等を示す写真や図など）との位置関係をライブビュー機能などで常時モニターすることで携帯端末２００の位置情報を取得する。そして、オブジェクト管理装置１００の制御部は、取得された携帯端末２００の位置情報に基づいて、ユーザが操作を所望する操作対象オブジェクトの特定領域上に携帯端末２００があるかを判定する。そして、オブジェクト管理装置１００の制御部により、携帯端末２００が特定の操作対象オブジェクトの特定領域内にある判定された場合（すなわち、ユーザが操作を所望する操作対象オブジェクトを選択したと判断された場合）、携帯端末２００の変位検出部は、この操作対象オブジェクト上でユーザが携帯端末２００を用いて行った所定の動作（例えば、手前に引くまたは奥へ翳す等）を、物理量（加速度等）の変位として検出し、オブジェクト管理装置１００へ送信する。そして、オブジェクト管理装置１００の制御部は、受信した物理量の変位に基づいて、携帯端末２００の表示部２１４上に表示された表示オブジェクトを用いて行う処理（例えば、ＦＡＸの受信データを見る、または、処理データをＦＡＸから送信する等）を規定する処理コマンドをリアルタイムに決定し実行する。

ここで、図２を参照して、携帯端末２００の所定の動作に基づいた処理決定の一例について以下に説明する。図２左図に示すように、ユーザが机等の作業面に置かれた操作対象オブジェクト上に携帯端末２００を翳した場合、オブジェクト管理装置１００の制御部は、携帯端末２００が操作対象オブジェクトの特定領域内にあると判定する。そして、図２中央図に示すように、この操作対象オブジェクト上でユーザが携帯端末２００を用いて所定の動作（例えば、手前に引くまたは奥へ翳す等）を行った場合、携帯端末２００の変位検出部は、物理量（加速度等）の変位として検出し、オブジェクト管理装置１００へ送信する。そして、図２右図に示すように、オブジェクト管理装置１００の制御部は、物理量の変位が受信された際に、携帯端末２００の表示部２１４に表示されている表示オブジェクトを記憶部から取得する。

また、図３および図４を参照して、携帯端末２００の所定の動作に基づいた操作決定の一例について以下に説明する。図３左図に示すように、ユーザが机等の作業面に置かれた操作対象オブジェクト上以外の領域で携帯端末２００を用いる場合、オブジェクト管理装置１００の制御部は、携帯端末２００が操作対象オブジェクトの特定領域内にないと判定する。そして、図３中央図に示すように、この操作対象オブジェクト上以外の領域でユーザが携帯端末２００を用いて所定の動作（例えば、左右に振る等）を行った場合、携帯端末２００の変位検出部は、物理量（加速度等）の変位として検出し、オブジェクト管理装置１００へ送信する。そして、図３右図に示すように、オブジェクト管理装置１００の制御部は、物理量の変位が受信された際に、携帯端末２００の物理量の変位に従って、例えば、携帯端末２００の表示部２１４に表示された表示オブジェクトとは異なる他の表示オブジェクトを携帯端末２００へ送信し表示部２１４に表示させて、表示画面を切り替える操作処理を実行する。一例として、図３右図において、表示部２１４に表示された表示オブジェクト（すなわち、表示画面）は、画面１から画面２へと切り替わっている。すなわち、図４に示すように、ユーザが携帯端末２００を左右に振る動作に従って、オブジェクト管理装置１００の制御部は、記憶部に記憶された表示オブジェクト（例えば、図４において、画像Ａ〜Ｆ等）を順次、携帯端末２００へ送信して表示部２１４に表示させることにより、処理の用いる表示オブジェクト（例えば、図４において、画像Ｄ等）をユーザに選択させている。

続いて、本発明の基本原理の別の一例について、図２〜図５を参照して以下に説明する。

まず、図５に示すように、本発明は、概略的に、以下の基本的特徴を有していてもよい。本発明は、少なくとも一つの操作対象機器１０−１〜３（例えば、ＦＡＸやスキャナや外部記憶装置等）、および、オブジェクト管理装置１００に、ネットワークを介して通信可能に接続された、携帯端末２００が移動した際に生じる物理量の変位を検出する変位検出部（図示せず）と、表示部２１４と、画像撮影部２１６と、記憶部と、制御部と、を少なくとも備えた携帯端末２００として構成されていてもよい。

なお、画像撮影部２１６、表示部２１４、変位検出部、表示オブジェクト、および、操作対象オブジェクトに関する説明は、上述の例における説明と同様であるため省略する。

そして、図５に示すように、本発明の基本原理の別の一例として、ユーザが机等の作業面に置かれた操作対象オブジェクト上に携帯端末２００を翳した場合、携帯端末２００の制御部は、画像撮影部２１６を制御することにより画像撮影部２１６の撮影範囲内にある操作対象オブジェクト（例えば、ＦＡＸやスキャナやフォルダ等を示す写真や図など）を撮影し、撮影された画像から操作対象オブジェクトを抽出する。そして、携帯端末２００の制御部は、抽出された操作対象オブジェクトと、携帯端末２００が予め記憶された操作対象オブジェクトと、を比較することにより、２つの操作対象オブジェクトが一致するかを判定し、判定結果に基づいて、ユーザが操作を所望する操作対象オブジェクト上に携帯端末２００があるかを判定する。そして、携帯端末２００の制御部は、携帯端末２００が操作対象オブジェクト上にある判定された場合（すなわち、ユーザが操作を所望する操作対象オブジェクトを選択したと判断された場合）、携帯端末２００の変位検出部は、この操作対象オブジェクト上でユーザが携帯端末２００を用いて行った所定の動作（例えば、手前に引くまたは奥へ翳す等）を、物理量（加速度等）の変位として検出する。そして、携帯端末２００の制御部は、検出した物理量の変位に基づいて、携帯端末２００の表示部２１４上に表示された表示オブジェクトを用いて行う処理（例えば、ＦＡＸの受信データを見る、または、処理データをＦＡＸから送信する等）を規定する処理コマンドをリアルタイムに決定し実行する。

ここで、再び図２を参照して、携帯端末２００の所定の動作に基づいた処理決定の一例について以下に説明する。図２左図に示すように、ユーザが机等の作業面に置かれた操作対象オブジェクト上に携帯端末２００を翳した場合、携帯端末２００の制御部は、携帯端末２００に備えられた画像撮影部２１６にて撮影された画像に基づいて、携帯端末２００が特定の操作対象オブジェクト上にあると判定する。そして、図２中央図に示すように、この操作対象オブジェクト上でユーザが携帯端末２００を用いて所定の動作（例えば、手前に引くまたは奥へ翳す等）を行った場合、携帯端末２００の変位検出部は、物理量（加速度等）の変位として検出する。そして、図２右図に示すように、携帯端末２００の制御部は、物理量の変位が検出された際に、表示部２１４に表示されている表示オブジェクトを記憶部から取得する。

また、再び図３および図４を参照して、携帯端末２００の所定の動作に基づいた操作決定の一例について以下に説明する。図３左図に示すように、ユーザが机等の作業面に置かれた操作対象オブジェクト上以外で携帯端末２００を用いる場合、携帯端末２００の制御部は、携帯端末２００が特定の操作対象オブジェクト上にないと判定する。そして、図３中央図に示すように、この操作対象オブジェクト上以外でユーザが携帯端末２００を用いて所定の動作（例えば、左右に振る等）を行った場合、携帯端末２００の変位検出部は、物理量（加速度等）の変位として検出する。そして、図３右図に示すように、携帯端末２００の制御部は、物理量の変位が検出された際に、携帯端末２００の物理量の変位に従って、例えば、携帯端末２００の表示部２１４に表示された表示オブジェクトとは異なる他の表示オブジェクトを表示部２１４に表示させて、表示画面を切り替える操作処理を実行する。一例として、図３右図に示すように、携帯端末２００の制御部の処理により、表示部２１４に表示された表示オブジェクト（すなわち、表示画面）は、画面１から画面２へと切り替わっている。すなわち、図４に示すように、ユーザが携帯端末２００を左右に振る動作に従って、携帯端末２００の制御部は、記憶部に記憶された表示オブジェクト（例えば、図４において、画像Ａ〜Ｆ等）を順次、表示部２１４に表示することにより、処理に用いる表示オブジェクト（例えば、図４において、画像Ｄ等）をユーザに選択させている。

以上で、本発明の概要の説明を終える。

続いて、以下に、本発明の構成および処理について、第１の実施形態および第２の実施形態に分けて、図６〜図１１を参照して詳細に説明する。

［第１の実施形態におけるオブジェクト操作システムの構成］
まず、第１の実施形態におけるオブジェクト操作システムの構成について図６〜図８を参照して説明する。ここで、図６は、第１の実施形態におけるオブジェクト操作システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。また、図７および図８は、本実施の形態における射影変換方法の一例を示す図である。

図６において、第１の実施形態における本オブジェクト操作システムは、ネットワーク３００を介して通信可能に接続された、オブジェクト管理装置１００と携帯端末２００とから少なくとも構成される。まず、第１の実施形態におけるオブジェクト管理装置１００の構成について説明し、次に、第１の実施形態における携帯端末２００の構成について説明する。

［第１の実施形態におけるオブジェクト管理装置１００の構成］
図６において、オブジェクト管理装置１００は、概略的に、画像撮影部１１６と、記憶部１０６と、制御部１０２と、を少なくとも備えて構成される。また、オブジェクト管理装置１００は、少なくとも一つの操作対象機器１０−１〜３（例えば、ＦＡＸやスキャナや外部記憶装置等）に制御可能に接続されている。また、オブジェクト管理装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、インターネット等のネットワーク３００に通信可能に接続されており、このネットワーク３００を介して、携帯端末２００が移動した際に生じる物理量の変位を検出する変位検出部２０と、表示部２１４と、を少なくとも備えた携帯端末２００に、通信可能に接続されている。なお、第１の実施形態における携帯端末２００の構成については後述する。

また、図６において、オブジェクト管理装置１００の制御部１０２は、オブジェクト管理装置１００の全体を統括的に制御するＣＰＵ等である。また、オブジェクト管理装置１００の記憶部１０６は、各種のデータベースやテーブルなどを格納する装置である。また、オブジェクト管理装置１００の入出力制御インターフェース部１０８は、入力部（図示せず）や出力部（図示せず）や画像撮影部１１６や少なくとも一つの操作対象機器１０−１〜３に接続されるインターフェースである。また、オブジェクト管理装置１００の入出力制御インターフェース部１０８は、入力部や出力部や画像撮影部１１６や少なくとも一つの操作対象機器１０−１〜３の制御を行う。ここで、オブジェクト管理装置１００の出力部としては、モニタ（家庭用テレビを含む）の他、スピーカを用いてもよく、また、オブジェクト管理装置１００の入力部としては、キーボード、マウス、およびマイク等を用いてもよい。また、オブジェクト管理装置１００の通信制御インターフェース部１０４は、通信回線等に接続されるルータ等の通信装置（図示せず）に接続されるインターフェースである。これらオブジェクト管理装置１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、図６において、オブジェクト管理装置１００の画像撮影部１１６は、撮影範囲内にある作業面上の少なくとも一つの操作対象オブジェクトや携帯端末２００の画像を撮像する機能を備え、例えば、ＣＣＤ（Ｃｈｒａｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の電荷結合素子や固体撮像素子等から構成されるビデオカメラやデジタルカメラやＷｅｂカメラ等である。

また、図６において、操作対象機器１０−１〜３は、オブジェクト管理装置１００により操作されるＰＣ周辺機器等の装置であり、例えば、オブジェクト管理装置１００に有線または無線のネットワークを介して通信可能に接続され、ＦＡＸやスキャナや外部記憶装置等であってもよい。

また、図６において、通信制御インターフェース部１０４は、オブジェクト管理装置１００とネットワーク３００との間における通信制御を行う機能を有する。すなわち、通信制御インターフェース部１０４は、携帯端末２００等の外部機器と通信回線を介してデータを通信する機能を有している。また、ネットワーク３００は、オブジェクト管理装置１００と携帯端末２００等の外部機器とを相互に接続する機能を有し、例えば、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む。）、イントラネット等であってもよい。

また、図６において、オブジェクト管理装置１００の記憶部１０６は、各種のデータベースやテーブル（表示オブジェクトデータベース１０６ａ〜操作コマンドテーブル１０６ｄ等）を格納する、固定ディスク装置等のストレージ手段である。例えば、記憶部１０６は、各種処理に用いる各種のプログラムやテーブルやファイルやデータベース等を格納する。

これら記憶部１０６の各構成要素のうち、表示オブジェクトデータベース１０６ａは、処理対象機器に対して用いられる画像データや電子ファイル等の処理データに対応する画像データ等を表示オブジェクトとして記憶する表示オブジェクト記憶手段である。一例として、表示オブジェクトデータベース１０６ａは、ユーザの操作によりスキャナ等の画像読取部（図示せず）にて予め読み込まれた原稿等の画像データ等を表示オブジェクトとして記憶してもよい。また、表示オブジェクトデータベース１０６ａは、ユーザがデジタルカメラ等を用いて予め撮影した写真等の画像データ等を表示オブジェクトとして記憶してもよい。また、表示オブジェクトデータベース１０６ａは、ユーザの操作によりネットワーク介して予め取り込まれた、例えば、電子メールの添付された画像データ等を表示オブジェクトとして記憶してもよい。また、表示オブジェクトデータベース１０６ａは、ユーザの操作により携帯記憶装置（ＳＤカード等）を介して予め取り込まれた、画像データ等を表示オブジェクトとして記憶してもよい。また、表示オブジェクトデータベース１０６ａは、ユーザの操作によりキーボードやマウス等の入力部を介して予め作成された、画像データ等を表示オブジェクトとして記憶してもよい。

また、操作対象オブジェクトテーブル１０６ｂは、オブジェクト管理装置１００により操作されるＰＣ周辺機器等の装置（例えば、ＦＡＸやスキャナや外部記憶装置等）である操作対象機器１０に対応する画像データ等の操作対象オブジェクトと、当該操作対象オブジェクトが存在する作業面上の特定領域（例えば、机等の作業面上に写真等の操作対象オブジェクトが置かれた領域等）と、を関連付けて記憶する操作対象オブジェクト記憶手段である。ここで、操作対象オブジェクトは、操作対象オブジェクトに対応する操作対象機器１０を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含んでいてもよい。一例として、操作対象オブジェクトテーブル１０６ｂは、ユーザにより手書きかまたはＰＣ等を用いて予め作成された、操作対象機器１０を表す文字や記号や図等の操作対象オブジェクトを特定する特徴情報を含む画像データ等と、ユーザの操作により画像撮影部１１６にて撮影された操作対象オブジェクトを含む画像に基づき座標計算等により予め特定された作業面上における操作対象オブジェクトの特定領域とを、関連付けて記憶してもよい。また、操作対象オブジェクトテーブル１０６ｂは、ユーザによりデジタルカメラ等を用いて予め撮影し出力した操作対象機器１０を表す写真等やユーザが予め作成した操作対象機器１０の模型等の操作対象オブジェクトを特定する特徴情報を含む画像データ等と、ユーザの操作により画像撮影部１１６にて撮影された操作対象オブジェクトを含む画像に基づき座標計算等により予め特定された作業面上における操作対象オブジェクトの特定領域とを、関連付けて記憶してもよい。なお、操作対象オブジェクトテーブル１０６ｂは、制御部１０２により、特徴情報に基づいて操作対象オブジェクトが表示された作業面の画像から抽出された操作対象オブジェクトが存在する作業面上の特定領域と、当該操作対象オブジェクトと、を関連付けて記憶してもよい。

また、処理コマンドテーブル１０６ｃは、画像撮影部１１６にて撮影された操作対象オブジェクトを含む作業面上の画像に基づき座標系等により予め取得された携帯端末２００の位置情報と、ユーザがキーボード等の入力部を介して数値情報等（例えば、ユーザが携帯端末２００を奥に翳すまたは手前に引く際に生じる物理量の変位を表す数値等）として予め入力した携帯端末２００の物理量の変位と、上述のようにユーザが予め取り込んだ処理データに対応する表示オブジェクトを用いて操作対象機器１０に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段である。

ここで、「処理コマンド」とは、ユーザにより指定される処理を、表示オブジェクトを用いて操作対象機器１０に実行させるための命令であり、当該処理を実行するプログラム、マクロ、ツール等の他、当該プログラム、マクロ、ツール等を起動するための命令（ファイル名、実行パラメータ等）を含む概念である。一例として、処理コマンドは、ＦＡＸ（操作対象機器１０−１）が受信した文書等のデータ（表示オブジェクト）を携帯端末２００の表示部２１４に表示させる処理や、スキャナ（操作対象機器１０−２）が読み取った原稿等の画像データ（表示オブジェクト）を携帯端末２００の表示部２１４に表示させる処理や、表示部２１４に表示された書類ファイル等の処理データ（表示オブジェクト）を、外部記憶装置（操作対象機器１０−３）に送信して所定のフォルダ内に格納するなどを規定するコマンドであってもよい。

また、操作コマンドテーブル１０６ｄは、ユーザがキーボード等の入力部を介して数値情報等（例えば、ユーザが携帯端末２００を左右に振る際に生じる物理量の変位を表す数値等）として予め入力した携帯端末２００の物理量の変位と、携帯端末２００の表示部２１４に表示される処理データ（例えば、画像データや書類ファイル等）に対応する表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段である。

また、操作コマンドテーブル１０６ｄに格納される、操作コマンドは、ここで、「操作コマンド」とは、ユーザにより指定される処理を、表示オブジェクトを用いて操作対象機器１０に実行させるための命令であり、当該処理を実行するプログラム、マクロ、ツール等の他、当該プログラム、マクロ、ツール等を起動するための命令（ファイル名、実行パラメータ等）を含む概念である。一例として、操作コマンドは、携帯端末２００の表示部２１４に表示された表示オブジェクトとは異なる他の表示オブジェクトを、表示オブジェクトデータベース１０６ａから抽出して、携帯端末２００の表示部２１４に表示させることにより、表示画面を切り替える操作を規定するコマンドであってもよい。

また、図６において、オブジェクト管理装置１００の制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部１０２は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、表示オブジェクト送信部１０２ａ、携帯端末位置取得部１０２ｂ、領域判定部１０２ｃ、操作対象オブジェクト特定部１０２ｄ、処理コマンド決定用物理量変位受信部１０２ｅ、表示オブジェクト取得部１０２ｆ、処理コマンド検索部１０２ｇ、処理コマンド実行部１０２ｈ、操作コマンド決定用物理量変位受信部１０２ｉ、操作コマンド検索部１０２ｊ、操作コマンド実行部１０２ｋ、画像処理部１０２ｍ、および、特定領域抽出部１０２ｎを備えて構成されている。

このうち、表示オブジェクト送信部１０２ａは、表示オブジェクトデータベース１０６ａに記憶された表示オブジェクトを携帯端末２００に送信し、表示部２１４に表示させる表示オブジェクト送信手段である。

また、携帯端末位置取得部１０２ｂは、画像撮影部１１６により撮影された、特定領域に操作対象オブジェクトが表示された作業面の第１の画像と、当該作業面上に携帯端末２００が表示された第２の画像と、を比較することにより、作業面上における携帯端末２００の位置情報を取得する携帯端末位置取得手段である。ここで、携帯端末位置取得部１０２ｂは、後述する画像処理部１０２ｍにより画像処理された射影変換後の第１の画像と第２の画像とを比較することにより、作業面上における携帯端末２００の位置情報を取得してもよい。

また、領域判定部１０２ｃは、携帯端末位置取得部１０２ｂにより取得された携帯端末２００の位置情報と、操作対象オブジェクトテーブル１０６ｂに記憶された操作対象オブジェクトの特定領域と、を比較することにより、当該位置情報が特定領域内に含まれるか否かを判定する領域判定手段である。

また、操作対象オブジェクト特定部１０２ｄは、領域判定部１０２ｃにより位置情報が特定領域内に含まれると判定された場合、操作対象オブジェクトテーブル１０６ｂから、当該特定領域に関連付けられた操作対象オブジェクトを特定する操作対象オブジェクト特定手段である。

また、処理コマンド決定用物理量変位受信部１０２ｅは、操作対象オブジェクト特定部１０２ｄにより操作対象オブジェクトが特定された後、携帯端末２００の変位検出部２０にて検出された物理量の変位を携帯端末２００から受信する処理コマンド決定用物理量変位受信手段である。

また、表示オブジェクト取得部１０２ｆは、処理コマンド決定用物理量変位受信部１０２ｅにより物理量の変位が受信された際に、表示オブジェクト送信部１０２ａにより携帯端末２００に送信され表示部２１４に表示されている表示オブジェクトを表示オブジェクトデータベース１０６ａから取得する表示オブジェクト取得手段である。

また、処理コマンド検索部１０２ｇは、携帯端末位置取得部１０２ｂにより取得された携帯端末２００の位置情報、および、処理コマンド決定用物理量変位受信部１０２ｅにより受信された物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた処理コマンドを処理コマンドテーブル１０６ｃから検索する処理コマンド検索手段である。

また、処理コマンド実行部１０２ｈは、処理コマンド検索部１０２ｇにより検索された処理コマンドを、表示オブジェクト取得部１０２ｆにより取得された表示オブジェクトを用いて、操作対象オブジェクト特定部１０２ｄにより特定された操作対象オブジェクトに対応する操作対象機器１０に対して実行させる処理コマンド実行手段である。

また、操作コマンド決定用物理量変位受信部１０２ｉは、領域判定部１０２ｃにより位置情報が特定領域内に含まれないと判定された場合、携帯端末２００の変位検出部２０にて検出された物理量の変位を携帯端末２００から受信する操作コマンド決定用物理量変位受信手段である。

また、操作コマンド検索部１０２ｊは、操作コマンド決定用物理量変位受信部１０２ｉにより受信された物理量の変位を検索キーとして、当該物理量の変位に関連付けられた操作コマンドを操作コマンドテーブル１０６ｄから検索する操作コマンド検索手段である。

また、操作コマンド実行部１０２ｋは、操作コマンド検索部１０２ｊにより検索された操作コマンドを表示オブジェクトに対して実行する操作コマンド実行手段である。

また、画像処理部１０２ｍは、画像撮影部１１６により取得された第１の画像および第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理手段である。

ここで、図７および図８を参照して、画像処理部１０２ｍで行う射影変換について説明する。

画像処理部１０２ｍで行う射影変換は、例えば、画像撮影部１１６で撮像した画像を射影の逆変換を用いて元の状態に復元することにより実行される。射影変換の一例について以下に説明する。図７に示すように、まず、射影変換を行う際には、画像撮影部１１６で撮像した画像面である撮像面７０における画像の消失点を求める。例えば、撮像面７０における画像形状である撮像面形状７１が図８に示すような矩形の場合、消失点は、消失点Ｓ１と消失点Ｓ２との２ヶ所に求められる。なお、この消失点とは、所定の形状を射影した場合に、実際の形状では平行に形成される２つの直線の延長線同士が交わる点をいう。このように消失点を求めることにより、消失点に基づいて射影前の元の大きさや、射影変換を行う際のパラメータである射影変換パラメータ（ａ１１〜ａ３２）を求め、下記の［式１］より射影変換を行う。つまり、［式１］によって、射影変換前の座標（ｘ，ｙ，１）から射影変換後の座標（ｕ，ｖ，１）を求めることにより、射影変換を行う。

このように、射影変換前の座標である撮像面形状７１の座標を射影変換することにより、射影変換後の座標を求めて図８に示すように射影変換後の形状である射影変換後形状７５を求めることができる。この射影変換後形状７５は、画像撮影部１１６で撮像した実物を正面方向から見た形状、即ち、撮像した面を垂直方向に見た場合における形状である実物形状７６と相似の形状になっている。なお射影変換は、上述した技術の他、各種の従来技術を用いることができる。

再び図６に戻り、特定領域抽出部１０２ｎは、特徴情報に基づいて、第１の画像から、操作対象オブジェクトが存在する作業面上の特定領域を抽出し、操作対象オブジェクトテーブル１０６ｂに、当該操作対象オブジェクトと、特定領域抽出部１０２ｎにより抽出された特定領域と、を関連付けて記憶する特定領域抽出手段である。以上で、第１の実施形態におけるオブジェクト管理装置１００の構成の説明を終える。

［第１の実施形態における携帯端末２００の構成］
また、図６において、携帯端末２００は、ネットワーク３００を介して通信可能にオブジェクト管理装置１００に接続されており、携帯端末２００は、概略的に、携帯端末２００の全体を統括的に制御するＣＰＵ等の制御部（図示せず）、ネットワーク通信（例えば、無線等の通信回線を介したインターネット通信等）を実現するアンテナ等の通信装置（図示せず）や、近距離通信（例えば、電波、赤外線、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等による通信）を実現する無線通信部（図示せず）に接続される通信制御インターフェース部（図示せず）や、例えば、キー入力部、タッチパネル、およびマイク等の入力部（図示せず）や、スピーカ等の出力部（図示せず）や、例えば、３軸加速度センサ等の変位検出部２０や、ＣＣＤカメラ等の画像撮影部（図示せず）や、ディスプレイ等の表示部２１４等に接続される入出力制御インターフェース部（図示せず）、および、各種の処理を行うデータやプログラムのデータベースやテーブルなどを格納する記憶部（図示せず）を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。ここで、ネットワーク３００は、オブジェクト管理装置１００や他の携帯端末（図示せず）や外部装置（図示せず）を相互に接続する機能を有し、例えば、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む。）、イントラネット等であってもよい。

ここで、携帯端末２００の表示部２１４は、本実施形態において、ネットワーク３００を介して接続されたオブジェクト管理装置１００からアンテナ等の通信装置や無線通信部にて受信した表示オブジェクトを表示部２１４に表示する機能を備えた表示手段であり、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等から構成されるディスプレイ等であってもよい。

また、携帯端末２００の変位検出部２０は、携帯端末２００の移動の際に生じる物理量（例えば、加速度、重力加速度、角速度、磁束、方向、距離、角度、速度、時間、圧力等）の変位を検出する変位検出手段であり、一例として、携帯端末１００の動きを電気信号に変える機能を有するセンサ（例えば、３軸加速度センサやジャイロスコープや磁気センサ等）等である。

また、携帯端末２００の画像撮影部（図示せず）は、作業面上の操作対象オブジェクト等を撮影する画像撮影手段であり、例えば、ＣＣＤ（Ｃｈｒａｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の電荷結合素子や固体撮像素子等から構成されるビデオカメラやデジタルカメラやＷｅｂカメラ等であってもよい。以上で、第１の実施形態における携帯端末２００の構成の説明を終える。

これにて、第１の実施形態のおけるオブジェクト操作査システムの構成の説明を終える。

［第１の実施形態におけるオブジェクト操作システムの処理］
次に、このように構成された第１の実施の形態におけるオブジェクト操作システムのオブジェクト操作処理の一例について、以下に図９を参照して詳細に説明する。ここで、図９は、第１の実施形態におけるオブジェクト操作システムの処理の詳細の一例を示すフローチャートである。

［第１の実施形態におけるオブジェクト操作処理］
まず、図９に示すように、オブジェクト管理装置１００の表示オブジェクト送信部１０２ａは、表示オブジェクトデータベース１０６ａに記憶された表示オブジェクトを携帯端末２００に送信し、表示部２１４に表示させる（ステップＳＡ−１）。

そして、オブジェクト管理装置１００の携帯端末位置取得部１０２ｂは、画像撮影部１１６により撮影された、特定領域に操作対象オブジェクトが表示された作業面の第１の画像と、当該作業面上に携帯端末２００が表示された第２の画像と、を比較することにより、作業面上における携帯端末２００の位置情報を取得する（ステップＳＡ−２）。ここで、オブジェクト管理装置１００の画像処理部１０２ｍは、画像撮影部１１６により取得された第１の画像および第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行してもよく、また、オブジェクト管理装置１００の携帯端末位置取得部１０２ｂは、画像処理部１０２ｍの処理により画像処理された射影変換後の第１の画像と第２の画像とを比較することにより、作業面上における携帯端末２００の位置情報を取得してもよい。また、特定領域抽出部１０２ｎは、特徴情報に基づいて、第１の画像から、作業面に表示された操作対象オブジェクトの存在する特定領域を自動的に画像認識等の画像処理技術を用いて抽出し、操作対象オブジェクトテーブル１０６ｂを自動的に更新してもよい。

そして、オブジェクト管理装置１００の領域判定部１０２ｃは、携帯端末位置取得部１０２ｂの処理により取得された携帯端末２００の位置情報と、操作対象オブジェクトテーブル１０６ｂに記憶された操作対象オブジェクトの特定領域と、を比較する（ステップＳＡ−３）。

そして、オブジェクト管理装置１００の領域判定部１０２ｃは、ステップＳＡ−３における比較結果に基づき、携帯端末２００の位置情報が操作対象オブジェクトの特定領域内に含まれるか否かを判定する（ステップＳＡ−４）。

そして、オブジェクト管理装置１００の操作対象オブジェクト特定部１０２ｄは、領域判定部１０２ｃの処理により位置情報が特定領域内に含まれると判定された場合（ステップＳＡ−４：Ｙｅｓ）、操作対象オブジェクトテーブル１０６ｂから、当該特定領域に関連付けられた操作対象オブジェクトを特定する（ステップＳＡ−５）。

そして、オブジェクト管理装置１００の処理コマンド決定用物理量変位受信部１０２ｅＥは、操作対象オブジェクト特定部１０２ｄの処理により操作対象オブジェクトが特定された後、携帯端末２００の変位検出部２０にて検出された物理量の変位を携帯端末２００から受信する（ステップＳＡ−６）。

そして、オブジェクト管理装置１００の表示オブジェクト取得部１０２ｆは、操作対象オブジェクト特定部１０２ｄの処理により物理量の変位が受信された際に、表示オブジェクト送信部１０２ａの処理により携帯端末２００に送信され表示部２１４に表示されている表示オブジェクトを、表示オブジェクトデータベース１０６ａから取得する（ステップＳＡ−７）。

そして、オブジェクト管理装置１００の処理コマンド検索部１０２ｇは、表示オブジェクト取得部１０２ｆの処理により取得された携帯端末２００の位置情報、および、処理コマンド決定用物理量変位受信部１０２ｅの処理により受信された物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた処理コマンドを、処理コマンドテーブル１０６ｃから検索する（ステップＳＡ−８）。

そして、オブジェクト管理装置１００の処理コマンド実行部１０２ｈは、処理コマンド検索部１０２ｇに処理により検索された処理コマンドを、表示オブジェクト取得部１０２ｆの処理により取得された表示オブジェクトを用いて、操作対象オブジェクト特定部１０２ｄの処理により特定された操作対象機器１０に対して実行させる（ステップＳＡ−９）。

また図６のステップＳＡ−４に戻り、オブジェクト管理装置１００の操作コマンド決定用物理量変位受信部１０２ｉは、領域判定部１０２ｃの処理により位置情報が特定領域内に含まれないと判定された場合（ステップＳＡ−４：Ｎｏ）、携帯端末２００の変位検出部２０にて検出された物理量の変位を携帯端末２００から受信する（ステップＳＡ−１０）。

そして、オブジェクト管理装置１００の操作コマンド検索部１０２ｊは、操作コマンド決定用物理量変位受信部１０２ｉの処理により受信された物理量の変位を検索キーとして、当該物理量の変位に関連付けられた操作コマンドを、操作コマンドテーブル１０６ｄから検索する（ステップＳＡ−１１）。

そして、オブジェクト管理装置１００の操作コマンド実行部１０２ｋは、操作コマンド検索部１０２ｊの処理により検索された操作コマンドを表示オブジェクトに対して実行する（ステップＳＡ−１２）。以上で、第１の実施の形態におけるオブジェクト操作システムの処理を終える。

これにて、第１の実施形態における本発明の構成および処理についての説明を終える。

［第２の実施形態におけるオブジェクト操作システムの構成］
続いて、第２の実施形態におけるオブジェクト操作システムの構成について図１０を参照して説明する。ここで、図１０は、第２の実施形態におけるオブジェクト操作システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。

図１０において、第２の実施形態における本オブジェクト操作システムは、ネットワーク３００を介して通信可能に接続された、オブジェクト管理装置１００と携帯端末２００とから少なくとも構成される。まず、第２の実施形態における携帯端末２００の構成について説明し、次に、第２の実施形態におけるオブジェクト管理装置１００の構成について説明する。

［第２の実施形態における携帯端末２００の構成］
図１０において、携帯端末２００は、オブジェクト管理装置１００、および、少なくとも１つの操作対象機器１０−１〜３に、ネットワーク３００を介して通信可能に接続されており、携帯端末２００は、概略的に、携帯端末２００の全体を統括的に制御するＣＰＵ等の制御部２０２、ネットワーク通信（例えば、無線等の通信回線を介したインターネット通信等）を実現するアンテナ等の通信装置（図示せず）や、近距離通信（例えば、電波、赤外線、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等による通信）を実現する無線通信部（図示せず）に接続される通信制御インターフェース部（図示せず）や、例えば、キー入力部、タッチパネル、およびマイク等の入力部（図示せず）や、スピーカ等の出力部（図示せず）や、例えば、３軸加速度センサ等の変位検出部２０や、ＣＣＤカメラ等の画像撮影部２１６や、ディスプレイ等の表示部２１４等に接続される入出力制御インターフェース部２０８、および、各種の処理を行うデータやプログラムのデータベースやテーブルなどを格納する記憶部２０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。ここで、ネットワーク３００は、オブジェクト管理装置１００や他の携帯端末（図示せず）や外部装置（図示せず）を相互に接続する機能を有し、例えば、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む。）、イントラネット等であってもよい。

なお、携帯端末２００の表示部２１４、変位検出部２０、および、画像撮影部２１６に関する説明は、第１の実施形態における携帯端末２００に関する説明と同様であるため省略する。

また、図６において、携帯端末２００の記憶部２０６は、各種のデータベースやテーブル（表示オブジェクトデータベース２０６ａ〜操作コマンドテーブル２０６ｄ等）を格納する、固定ディスク装置等のストレージ手段である。例えば、記憶部２０６は、各種処理に用いる各種のプログラムやテーブルやファイルやデータベース等を格納する。

なお、これら記憶部２０６の各構成要素のうち表示オブジェクトデータベース２０６ａおよび操作コマンドテーブル２０６ｄに関する説明は、第１の実施形態におけるオブジェクト管理装置１００の表示オブジェクトデータベース１０６ａおよび操作コマンドテーブル１０６ｄに関する説明と同様であるため省略する。

また、操作対象オブジェクトデータベース２０６ｂは、オブジェクト管理装置１００により操作されるＰＣ周辺機器等の装置（例えば、ＦＡＸやスキャナや外部記憶装置等）である操作対象機器１０に対応する画像データ等を、操作対象オブジェクトとして記憶する操作対象オブジェクト記憶手段である。ここで、操作対象オブジェクトは、操作対象オブジェクトに対応する操作対象機器１０を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含んでいてもよい。

また、処理コマンドテーブル２０６ｃは、操作対象オブジェクトと、携帯端末２００の物理量の変位と、表示オブジェクトを用いて操作対象機器１０に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段である。処理コマンドテーブル２０６ｃは、ユーザの操作により画像撮影部２１６にて撮影された画像に基づいて
パターン認識処理等を行うことにより予め取得された、操作対象オブジェクトを特定する特徴情報を含む画像データ等と、ユーザがキーボード等の入力部を介して数値情報等（例えば、ユーザが携帯端末２００を奥に翳すまたは手前に引く際に生じる物理量の変位を表す数値等）として予め入力した携帯端末２００の物理量の変位と、上述のようにユーザが予め取り込んだ処理データに対応する画像データ等である表示オブジェクトを用いて、操作対象機器１０に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段である。

また、図１０において、携帯端末２００の制御部２０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部２０２は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部２０２は、機能概念的に、表示オブジェクト表示部２０２ａ、操作対象オブジェクト抽出部２０２ｂ、一致判定部２０２ｃ、操作対象オブジェクト特定部２０２ｄ、処理コマンド決定用物理量変位検出部２０２ｅ、表示オブジェクト取得部２０２ｆ、処理コマンド検索部２０２ｇ、処理コマンド実行部２０２ｈ、操作コマンド決定用物理量変位検出部２０２ｉ、操作コマンド検索部２０２ｊ、操作コマンド実行部２０２ｋ、および、画像処理部２０２ｍを備えて構成されている。

このうち、表示オブジェクト表示部２０２ａは、表示オブジェクトデータベース２０６ａに記憶された表示オブジェクトを表示部２１４に表示する表示オブジェクト表示手段である。

また、操作対象オブジェクト抽出部２０２ｂは、画像撮影部２１６により撮影された、特定領域に操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出する（例えば、パターン認識処理等により操作対象オブジェクトの特徴情報と特定する等）操作対象オブジェクト抽出手段である。ここで、操作対象オブジェクト抽出部２０２ｂは、画像処理部２０２ｍにより画像処理された射影変換後の画像に基づいて、当該画像内の操作対象オブジェクトを抽出してもよい。また、操作対象オブジェクト抽出部２０２ｂは、特徴情報に基づいて、特定領域に操作対象オブジェクトが表示された作業面の少なくとも一部の画像から、操作対象オブジェクトを抽出してもよい。

また、一致判定部２０２ｃは、操作対象オブジェクト抽出部２０２ｂにより抽出された操作対象オブジェクト（例えば、抽出された操作対象オブジェクトの特徴情報等）と、操作対象オブジェクトデータベース２０６ｂに記憶された操作対象オブジェクト（例えば、記憶された操作対象オブジェクトの特徴情報等）と、を比較することにより、２つの操作対象オブジェクトが一致するか否かを判定する一致判定手段である。

また、操作対象オブジェクト特定部２０２ｄは、一致判定部２０２ｃにより２つの操作対象オブジェクトが一致する（例えば、２つの操作対象オブジェクトの特徴情報が所定の範囲内で一致する等）と判定された場合、操作対象オブジェクトデータベース２０６ｂから、一致した操作対象オブジェクトを特定する（例えば、操作対象オブジェクトの特徴情報を特定する等）操作対象オブジェクト特定手段である。

また、処理コマンド決定用物理量変位検出部２０２ｅは、操作対象オブジェクト特定部２０２ｄにより操作対象オブジェクトが特定された後、変位検出部２０により物理量の変位を検出する処理コマンド決定用物理量変位検出手段である。

また、表示オブジェクト取得部２０２ｆは、処理コマンド決定用物理量変位検出部２０２ｅにより物理量の変位が検出された際に、表示オブジェクト表示部２０２ａにより表示部２１４に表示されている表示オブジェクトを表示オブジェクトデータベース２０６ａから取得する表示オブジェクト取得手段である。

また、処理コマンド検索部２０２ｇは、操作対象オブジェクト特定部２０２ｄにより特定された操作対象オブジェクト（例えば、操作対象オブジェクトの特徴情報等）、および、処理コマンド決定用物理量変位検出部２０２ｅにより検出された物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた処理コマンドを、処理コマンドテーブル２０６ｃから検索する処理コマンド検索手段である。

また、処理コマンド実行部２０２ｈは、処理コマンド検索部２０２ｇにより検索された処理コマンドを、表示オブジェクト取得部２０２ｆにより取得された表示オブジェクトを用いて、操作対象オブジェクト特定部２０２ｄにより特定された操作対象オブジェクトに対応する操作対象機器１０に対して実行させる処理コマンド実行手段である。

また、操作コマンド決定用物理量変位検出部２０２ｉは、一致判定部２０２ｃにより２つの操作対象オブジェクトが一致しないと判定された場合、変位検出部２０により物理量の変位を検出する操作コマンド決定用物理量変位検出手段である。

また、操作コマンド検索部２０２ｊは、操作コマンド決定用物理量変位検出部２０２ｉにより検出された物理量の変位を検索キーとして、当該物理量の変位に関連付けられた操作コマンドを操作コマンドテーブル２０６ｄから検索する操作コマンド検索手段である。

また、操作コマンド実行部２０２ｋは、操作コマンド検索部２０２ｊにより検索された操作コマンドを表示オブジェクトに対して実行する操作コマンド実行手段である。

また、画像処理部２０２ｍは、画像撮影部２１６により取得された画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理手段である。

なお、第２の実施形態における携帯端末２００の画像処理部２０２ｍで行う射影変換の説明は、第１の実施形態におけるオブジェクト管理装置の画像処理部１０２ｍで行う射影変換の説明と同様であるため説明を省略する。以上で、第２の実施形態における携帯端末２００の構成の説明を終える。

［第２の実施形態におけるオブジェクト管理装置１００の構成］
また、図１０において、オブジェクト管理装置１００は、携帯端末２００、および、少なくとも一つの操作対象機器１０−１〜３（例えば、ＦＡＸやスキャナや外部記憶装置等）に、ネットワーク３００を介して通信可能に接続されている。すなわち、第２の実施形態において、オブジェクト管理装置１００は、携帯端末２００により決定された処理コマンドに規定された処理を、制御可能に接続された操作対象機器１０−１〜３に対して行うよう構成されている。

ここで、第２の実施形態におけるオブジェクト管理装置１００のハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、オブジェクト管理装置１００の各機能は、オブジェクト管理装置１００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。以上で、第２の実施形態のオブジェクト管理装置１００の構成の説明を終える。

これにて、第２の実施形態のおけるオブジェクト操作査システムの構成の説明を終える。

［第２の実施形態におけるオブジェクト操作システムの処理］
次に、このように構成された第２の実施の形態におけるオブジェクト操作システムのオブジェクト操作処理の一例について、以下に図１１を参照して詳細に説明する。ここで、図１１は、第２の実施形態におけるオブジェクト操作システムの処理の詳細の一例を示すフローチャートである。

まず、図１１に示すように、携帯端末２００の表示オブジェクト表示部２０２ａは、表示オブジェクトデータベース２０６ａに記憶された表示オブジェクトを表示部２１４に表示する（ステップＳＢ−１）。

そして、携帯端末２００の操作対象オブジェクト抽出部２０２ｂは、画像撮影部２１６により撮影された、特定領域に操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出する（例えば、パターン認識処理等により操作対象オブジェクトの特徴情報と特定する等）（ステップＳＢ−２）。ここで、操作対象オブジェクト抽出部２０２ｂは、画像処理部２０２ｍの処理により画像処理された射影変換後の画像に基づいて、当該画像内の操作対象オブジェクトを抽出してもよい。また、操作対象オブジェクト抽出部２０２ｂは、特徴情報に基づいて、特定領域に操作対象オブジェクトが表示された作業面の少なくとも一部の画像から、操作対象オブジェクトを抽出してもよい。

そして、携帯端末２００の一致判定部２０２ｃは、操作対象オブジェクト抽出部２０２ｂの処理により抽出された操作対象オブジェクト（例えば、抽出された操作対象オブジェクトの特徴情報等）と、操作対象オブジェクトデータベース２０６ｂに記憶された操作対象オブジェクト（例えば、記憶された操作対象オブジェクトの特徴情報等）と、を比較する（ステップＳＢ−３）。

そして、携帯端末２００の一致判定部２０２ｃは、ステップＳＢ−３における比較結果に基づき、２つの操作対象オブジェクトが一致するか否かを判定する（ステップＳＢ−４）。

そして、携帯端末２００の操作対象オブジェクト特定部２０２ｄは、一致判定部２０２ｃの処理により一致判定部２０２ｃにより２つの操作対象オブジェクトが一致する（例えば、２つの操作対象オブジェクトの特徴情報が所定の範囲内で一致する等）と判定された場合（ステップＳＢ−４：Ｙｅｓ）、操作対象オブジェクトデータベース２０６ｂから、一致した操作対象オブジェクトを特定する（例えば、操作対象オブジェクトの特徴情報を特定する等）（ステップＳＢ−５）。

そして、携帯端末２００の処理コマンド決定用物理量変位検出部２０２ｅは、操作対象オブジェクト特定部２０２ｄの処理により操作対象オブジェクトが特定された後、変位検出部２０により物理量の変位を検出する（ステップＳＢ−６）。

そして、携帯端末２００の表示オブジェクト取得部２０２ｆは、処理コマンド決定用物理量変位検出部２０２ｅの処理により物理量の変位が検出された際に、表示オブジェクト表示部２０２ａの処理により表示部２１４に表示されている表示オブジェクトを表示オブジェクトデータベース２０６ａから取得する（ステップＳＢ−７）。

そして、携帯端末２００の処理コマンド検索部２０２ｇは、操作対象オブジェクト特定部２０２ｄの処理により特定された操作対象オブジェクト（例えば、操作対象オブジェクトの特徴情報等）、および、処理コマンド決定用物理量変位検出部２０２ｅの処理により検出された物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた処理コマンドを、処理コマンドテーブル２０６ｃから検索する（ステップＳＢ−８）。

そして、携帯端末２００の処理コマンド実行部２０２ｈは、処理コマンド検索部２０２ｇの処理により検索された処理コマンドを、表示オブジェクト取得部２０２ｆの処理により取得された表示オブジェクトを用いて、操作対象オブジェクト特定部２０２ｄの処理により特定された操作対象オブジェクトに対応する操作対象機器１０に対して実行させる（ステップＳＢ−９）。

また図１１のステップＳＢ−４に戻り、携帯端末２００の操作コマンド決定用物理量変位検出部２０２ｉは、一致判定部２０２ｃの処理により２つの操作対象オブジェクトが一致しないと判定された場合ステップＳＢ−４：Ｎｏ）、変位検出部２０により物理量の変位を検出する（ステップＳＢ−１０）。

そして、携帯端末２００の操作コマンド検索部２０２ｊは、操作コマンド決定用物理量変位検出部２０２ｉの処理により検出された物理量の変位を検索キーとして、当該物理量の変位に関連付けられた操作コマンドを、操作コマンドテーブル２０６ｄから検索する（ステップＳＢ−１１）。

そして、携帯端末２００の操作コマンド実行部２０２ｋは、操作コマンド検索部２０２ｊの処理により検索された操作コマンドを表示オブジェクトに対して実行する（ステップＳＢ−１２）。以上で、第２の実施の形態におけるオブジェクト操作システムの処理を終える。

これにて、第２の実施形態における本発明の構成および処理についての説明を終える。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、オブジェクト管理装置１００および携帯端末２００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、オブジェクト管理装置１００および携帯端末２００の各装置が備える処理機能、特に制御部１０２および制御部２０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じてオブジェクト管理装置１００および携帯端末２００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶部１０６および記憶部２０６などは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、オブジェクト管理装置１００および携帯端末２００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の任意の「可搬用の物理媒体」、あるいは、ＬＡＮ、ＷＡＮ、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（表示オブジェクトデータベース１０６ａ〜操作コマンドテーブル１０６ｄ等）、および、記憶部２０６に格納される各種のデータベース等（表示オブジェクトデータベース２０６ａ〜操作コマンドテーブル２０６ｄ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベース等を格納する。

また、オブジェクト管理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

以上詳述に説明したように、本発明によれば、携帯端末２００を入力手段および表示手段として用いることにより装置を小型化でき、操作対象機器１０を表す文字、記号、図、写真、模型等の簡易なオブジェクトを机等の作業面に並べることにより短時間で効率的に作業空間を準備でき、ユーザが操作を所望する操作対象オブジェクトを携帯端末２００の位置に基づいて選択し、ユーザが所望する処理内容の決定処理を、携帯端末２００の物理量の変位に基づいて行うことにより、処理内容決定処理の負荷を軽減し、ユーザが所望する処理内容をリアルタイムに決定し実行することができる、オブジェクト管理装置１００、携帯端末２００、および、オブジェクト操作方法を提供することができるので、事務処理業務等を支援する情報機器や情報処理分野等の様々な分野において極めて有用である。

本発明の基本原理の一例を示す図である。 本発明の処理決定の一例を示す図である。 本発明の操作決定の一例を示す図である。 本発明の操作決定の一例を示す図である。 本発明の基本原理の別の一例を示す図である。 第１の実施形態におけるオブジェクト操作システムの構成の一例を示すブロック図である。 本実施の形態における射影変換方法の一例を示す図である。 本実施の形態における射影変換方法の一例を示す図である。 第１の実施形態におけるオブジェクト操作システムのオブジェクト操作処理の詳細の一例を示すフローチャートである。 第２の実施形態におけるオブジェクト操作システムの構成の一例を示すブロック図である。 第２の実施形態におけるオブジェクト操作システムのオブジェクト操作処理の詳細の一例を示すフローチャートである。

符号の説明

１００ オブジェクト管理装置
１０２ 制御部
１０２ａ 表示オブジェクト送信部
１０２ｂ 携帯端末位置取得部
１０２ｃ 領域判定部
１０２ｄ 操作対象オブジェクト特定部
１０２ｅ 処理コマンド決定用物理量変位受信部
１０２ｆ 表示オブジェクト取得部
１０２ｇ 処理コマンド検索部
１０２ｈ 処理コマンド実行部
１０２ｉ 操作コマンド決定用物理量変位受信部
１０２ｊ 操作コマンド検索部
１０２ｋ 操作コマンド実行部
１０２ｍ 画像処理部
１０２ｎ 特定領域抽出部
１０４ 通信制御インターフェース部
１０６ 記憶部
１０６ａ 表示オブジェクトデータベース
１０６ｂ 操作対象オブジェクトテーブル
１０６ｃ 処理コマンドテーブル
１０６ｄ 操作コマンドテーブル
１０８ 入出力制御インターフェース部
１０−１〜３ 操作対象機器
１１６ 画像撮影部
２００ 携帯端末
２０２ 制御部
２０２ａ 表示オブジェクト表示部
２０２ｂ 操作対象オブジェクト抽出部
２０２ｃ 一致判定部
２０２ｄ 操作対象オブジェクト特定部
２０２ｅ 処理コマンド決定用物理量変位検出部
２０２ｆ 表示オブジェクト取得部
２０２ｇ 処理コマンド検索部
２０２ｈ 処理コマンド実行部
２０２ｉ 操作コマンド決定用物理量変位検出部
２０２ｊ 操作コマンド検索部
２０２ｋ 操作コマンド実行部
２０２ｍ 画像処理部
２０６ 記憶部
２０６ａ 表示オブジェクトデータベース
２０６ｂ 操作対象オブジェクトデータベース
２０６ｃ 処理コマンドテーブル
２０６ｄ 操作コマンドテーブル
２１４ 表示部
２１６ 画像撮影部
２０ 変位検出部
３００ ネットワーク

Claims (24)

1. 携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、を少なくとも備えた携帯端末、および、少なくとも一つの操作対象機器に、ネットワークを介して通信可能に接続された、画像撮影部と、記憶部と、制御部と、を少なくとも備えたオブジェクト管理装置であって、
   上記記憶部は、
   処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、
   上記操作対象機器に対応する操作対象オブジェクトと、当該操作対象オブジェクトが存在する作業面上の特定領域と、を関連付けて記憶する操作対象オブジェクト記憶手段と、
   上記携帯端末の位置情報と、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、
   を備え、
   上記制御部は、
   上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記携帯端末に送信し、上記表示部に表示させる表示オブジェクト送信手段と、
   上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された上記作業面の第１の画像と、当該作業面上に上記携帯端末が表示された第２の画像と、を比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得する携帯端末位置取得手段と、
   上記携帯端末位置取得手段により取得された上記携帯端末の上記位置情報と、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトの上記特定領域と、を比較することにより、当該位置情報が上記特定領域内に含まれるか否かを判定する領域判定手段と、
   上記領域判定手段により上記位置情報が上記特定領域内に含まれると判定された場合、上記操作対象オブジェクト記憶手段から、当該特定領域に関連付けられた上記操作対象オブジェクトを特定する操作対象オブジェクト特定手段と、
   上記操作対象オブジェクト特定手段により上記操作対象オブジェクトが特定された後、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する処理コマンド決定用物理量変位受信手段と、
   上記処理コマンド決定用物理量変位受信手段により上記物理量の変位が受信された際に、上記表示オブジェクト送信手段により上記携帯端末に送信され上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得手段と、
   上記携帯端末位置取得手段により取得された上記携帯端末の上記位置情報、および、上記処理コマンド決定用物理量変位受信手段により受信された上記物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた上記処理コマンドを上記処理コマンド記憶手段から検索する処理コマンド検索手段と、
   上記処理コマンド検索手段により検索された上記処理コマンドを、上記表示オブジェクト取得手段により取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定手段により特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行手段と、
   を備えたことを特徴とする、オブジェクト管理装置。
2. 請求項１に記載のオブジェクト管理装置において、
   上記記憶部は、
   上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段
   を更に備え、
   上記制御部は、
   上記領域判定手段により上記位置情報が上記特定領域内に含まれないと判定された場合、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する操作コマンド決定用物理量変位受信手段と、
   上記操作コマンド決定用物理量変位受信手段により受信された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索手段と、
   上記操作コマンド検索手段により検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行手段と、
   を更に備えたことを特徴とする、オブジェクト管理装置。
3. 請求項２に記載のオブジェクト管理装置において、
   上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記携帯端末へ送信して上記表示部に表示させる操作処理を規定することを特徴とする、オブジェクト管理装置。
4. 請求項１〜３のいずれか一つに記載のオブジェクト管理装置において、
   上記携帯端末の上記変位検出部は、３軸加速度センサであり、上記物理量は、重力加速度または加速度を含むことを特徴とする、オブジェクト管理装置。
5. 請求項１〜４のいずれか一つに記載のオブジェクト管理装置において、
   上記制御部は、
   上記画像撮影部により取得された上記第１の画像および上記第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理手段
   を更に備え、
   上記携帯端末位置取得手段は、
   上記画像処理手段により画像処理された射影変換後の上記第１の画像と上記第２の画像とを比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得することを特徴とする、オブジェクト管理装置。
6. 請求項１〜５のいずれか一つに記載のオブジェクト管理装置において、
   上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、
   上記制御部は、
   上記特徴情報に基づいて、上記第１の画像から、上記操作対象オブジェクトが存在する上記作業面上の上記特定領域を抽出し、上記操作対象オブジェクト記憶手段に、当該操作対象オブジェクトと、上記特定領域抽出手段により抽出された上記特定領域と、を関連付けて記憶する特定領域抽出手段
   を更に備えたことを特徴とする、オブジェクト管理装置。
7. 少なくとも一つの操作対象機器、および、オブジェクト管理装置に、ネットワークを介して通信可能に接続された、携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、画像撮影部と、記憶部と、制御部と、を少なくとも備えた携帯端末であって、
   上記記憶部は、
   処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、
   上記操作対象機器に対応する操作対象オブジェクトを記憶する操作対象オブジェクト記憶手段と、
   上記操作対象オブジェクトと、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、
   を備え、
   上記制御部は、
   上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記表示部に表示する表示オブジェクト表示手段と、
   上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出する操作対象オブジェクト抽出手段と、
   上記操作対象オブジェクト抽出手段により抽出された上記操作対象オブジェクトと、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトと、を比較することにより、２つの上記操作対象オブジェクトが一致するか否かを判定する一致判定手段と、
   上記一致判定手段により上記２つの上記操作対象オブジェクトが一致すると判定された場合、上記操作対象オブジェクト記憶手段から一致した上記操作対象オブジェクトを特定する操作対象オブジェクト特定手段と、
   上記操作対象オブジェクト特定手段により上記操作対象オブジェクトが特定された後、上記変位検出部により上記物理量の変位を検出する処理コマンド決定用物理量変位検出手段と、
   上記処理コマンド決定用物理量変位検出手段により上記物理量の変位が検出された際に、上記表示オブジェクト表示手段により上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得手段と、
   上記操作対象オブジェクト特定手段により特定された上記操作対象オブジェクト、および、上記処理コマンド決定用物理量変位検出手段により検出された上記物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた上記処理コマンドを、上記処理コマンド記憶手段から検索する処理コマンド検索手段と、
   上記処理コマンド検索手段により検索された上記処理コマンドを、上記表示オブジェクト取得手段により取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定手段により特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行手段と、
   を備えたことを特徴とする、携帯端末。
8. 請求項７に記載の携帯端末において、
   上記記憶部は、
   上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段
   を更に備え、
   上記制御部は、
   上記一致判定手段により上記２つの上記操作対象オブジェクトが一致しないと判定された場合、上記変位検出部により上記物理量の変位を検出する操作コマンド決定用物理量変位検出手段と、
   上記操作コマンド決定用物理量変位検出手段により検出された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索手段と、
   上記操作コマンド検索手段により検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行手段と、
   を更に備えたことを特徴とする、携帯端末。
9. 請求項８に記載の携帯端末において、
   上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記表示部に表示させる操作処理を規定することを特徴とする、携帯端末。
10. 請求項７〜９のいずれか一つに記載の携帯端末において、
    上記変位検出部は、３軸加速度センサであり、上記物理量としては、重力加速度および加速度を少なくとも含むことを特徴とする、携帯端末。
11. 請求項７〜１０のいずれか一つに記載の携帯端末において、
    上記制御部は、
    上記画像撮影部により取得された上記画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理手段
    を更に備え、
    上記表示オブジェクト抽出手段は、
    上記画像処理手段により画像処理された射影変換後の上記画像に基づいて、当該画像内の上記操作対象オブジェクトを抽出することを特徴とする、携帯端末。
12. 請求項７〜１１のいずれ一つに記載の携帯端末において、
    上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、
    上記操作対象オブジェクト抽出手段は、
    上記特徴情報に基づいて、上記画像から上記操作対象オブジェクトを抽出することを特徴とする、携帯端末。
13. 携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、を少なくとも備えた携帯端末、および、少なくとも一つの操作対象機器に、ネットワークを介して通信可能に接続された、画像撮影部と、記憶部と、制御部と、を少なくとも備えたオブジェクト管理装置において実行されるオブジェクト操作方法であって、
    上記記憶部は、
    処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、
    上記操作対象機器に対応する操作対象オブジェクトと、当該操作対象オブジェクトが存在する作業面上の特定領域と、を関連付けて記憶する操作対象オブジェクト記憶手段と、
    上記携帯端末の位置情報と、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、
    を備え、
    上記制御部において実行される、
    上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記携帯端末に送信し、上記表示部に表示させる表示オブジェクト送信ステップと、
    上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された上記作業面の第１の画像と、当該作業面上に上記携帯端末が表示された第２の画像と、を比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得する携帯端末位置取得ステップと、
    上記携帯端末位置取得ステップにて取得された上記携帯端末の上記位置情報と、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトの上記特定領域と、を比較することにより、当該位置情報が上記特定領域内に含まれるか否かを判定する領域判定ステップと、
    上記領域判定ステップにて上記位置情報が上記特定領域内に含まれると判定された場合、上記操作対象オブジェクト記憶手段から、当該特定領域に関連付けられた上記操作対象オブジェクトを特定する操作対象オブジェクト特定ステップと、
    上記操作対象オブジェクト特定ステップにて上記操作対象オブジェクトが特定された後、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する処理コマンド決定用物理量変位受信ステップと、
    上記処理コマンド決定用物理量変位受信ステップにて上記物理量の変位が受信された際に、上記表示オブジェクト送信ステップにて上記携帯端末に送信され上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得ステップと、
    上記携帯端末位置取得ステップにて取得された上記携帯端末の上記位置情報、および、上記処理コマンド決定用物理量変位受信ステップにて受信された上記物理量の変位、を検索キーとして、当該位置情報および当該物理量の変位に関連付けられた上記処理コマンドを上記処理コマンド記憶手段から検索する処理コマンド検索ステップと、
    上記処理コマンド検索ステップにて検索された上記処理コマンドを、上記表示オブジェクト取得ステップにて取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定ステップにて特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行ステップと、
    を含むことを特徴とする、オブジェクト操作方法。
14. 請求項１３に記載のオブジェクト操作方法において、
    上記記憶部は、
    上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段
    を更に備え、
    上記制御部において実行される、
    上記領域判定ステップにて上記位置情報が上記特定領域内に含まれないと判定された場合、上記携帯端末の上記変位検出部にて検出された上記物理量の変位を上記携帯端末から受信する操作コマンド決定用物理量変位受信ステップと、
    上記操作コマンド決定用物理量変位受信ステップにて受信された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索ステップと、
    上記操作コマンド検索ステップにて検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行ステップと、
    を更に含むことを特徴とする、オブジェクト操作方法。
15. 請求項１４に記載のオブジェクト操作方法において、
    上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記携帯端末へ送信して上記表示部に表示させる操作処理を規定することを特徴とする、オブジェクト操作方法。
16. 請求項１３〜１５のいずれか一つに記載のオブジェクト操作方法において、
    上記携帯端末の上記変位検出部は、３軸加速度センサであり、上記物理量は、重力加速度または加速度を含むことを特徴とする、オブジェクト操作方法。
17. 請求項１３〜１６のいずれか一つに記載のオブジェクト操作方法において、
    上記制御部において実行される、
    上記画像撮影部により取得された上記第１の画像および上記第２の画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理ステップ
    を更に含み、
    上記携帯端末位置取得ステップにおいて、
    上記画像処理ステップにて画像処理された射影変換後の上記第１の画像と上記第２の画像とを比較することにより、上記作業面上における上記携帯端末の上記位置情報を取得することを特徴とする、オブジェクト操作方法。
18. 請求項１３〜１７のいずれか一つに記載のオブジェクト操作方法において、
    上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、
    上記制御部において実行される、
    上記特徴情報に基づいて、上記画像から、上記操作対象オブジェクトが存在する上記作業面上の上記特定領域を抽出し、上記操作対象オブジェクト記憶手段に、当該操作対象オブジェクトと、上記特定領域抽出ステップにて抽出された上記特定領域と、を関連付けて記憶する特定領域抽出ステップ
    を更に含むことを特徴とする、オブジェクト操作方法。
19. 少なくとも一つの操作対象機器、および、オブジェクト管理装置に、ネットワークを介して通信可能に接続された、携帯端末が移動した際に生じる物理量の変位を検出する変位検出部と、表示部と、画像撮影部と、記憶部と、制御部と、を少なくとも備えた携帯端末において実行されるオブジェクト操作方法であって、
    上記記憶部は、
    処理データに対応する表示オブジェクトを記憶する表示オブジェクト記憶手段と、
    上記操作対象機器に対応する操作対象オブジェクトを記憶する操作対象オブジェクト記憶手段と、
    上記操作対象オブジェクトと、上記携帯端末の上記物理量の変位と、上記表示オブジェクトを用いて上記操作対象機器に対して行う処理を規定する処理コマンドと、を関連付けて記憶する処理コマンド記憶手段と、
    を備え、
    上記制御部において実行される、
    上記表示オブジェクト記憶手段に記憶された上記表示オブジェクトを上記表示部に表示する表示オブジェクト表示ステップと、
    上記画像撮影部により撮影された、上記特定領域に上記操作対象オブジェクトが表示された作業面の少なくとも一部の画像に基づいて、当該画像内の当該操作対象オブジェクトを抽出する操作対象オブジェクト抽出ステップと、
    上記操作対象オブジェクト抽出ステップにて抽出された上記操作対象オブジェクトと、上記操作対象オブジェクト記憶手段に記憶された上記操作対象オブジェクトと、を比較することにより、２つの上記操作対象オブジェクトが一致するか否かを判定する一致判定ステップと、
    上記一致判定ステップにて上記２つの上記操作対象オブジェクトが一致すると判定された場合、上記操作対象オブジェクト記憶手段から一致した上記操作対象オブジェクトを特定する操作対象オブジェクト特定ステップと、
    上記操作対象オブジェクト特定ステップにて上記操作対象オブジェクトが特定された後、上記変位検出部により上記物理量の変位を検出する処理コマンド決定用物理量変位検出ステップと、
    上記処理コマンド決定用物理量変位検出ステップにて上記物理量の変位が検出された際に、上記表示オブジェクト表示ステップにて上記表示部に表示されている上記表示オブジェクトを上記表示オブジェクト記憶手段から取得する表示オブジェクト取得ステップと、
    上記操作対象オブジェクト特定ステップにて特定された上記操作対象オブジェクト、および、上記処理コマンド決定用物理量変位検出ステップにて検出された上記物理量の変位、を検索キーとして、当該操作対象オブジェクトおよび当該物理量の変位に関連付けられた上記処理コマンドを、上記処理コマンド記憶手段から検索する処理コマンド検索ステップと、
    上記処理コマンド検索ステップにて検索された上記処理コマンドを、上記表示オブジェクト取得ステップにて取得された上記表示オブジェクトを用いて、上記操作対象オブジェクト特定ステップにて特定された上記操作対象オブジェクトに対応する上記操作対象機器に対して実行させる処理コマンド実行ステップと、
    を含むことを特徴とする、オブジェクト操作方法。
20. 請求項１９に記載のオブジェクト操作方法において、
    上記記憶部は、
    上記携帯端末の上記物理量の変位と、上記携帯端末の上記表示部に表示される上記表示オブジェクトに対する操作処理を規定する操作コマンドと、を関連付けて記憶する操作コマンド記憶手段
    を更に備え、
    上記制御部において実行される、
    上記一致判定ステップにて上記２つの上記操作対象オブジェクトが一致しないと判定された場合、上記変位検出部により上記物理量の変位を検出する操作コマンド決定用物理量変位検出ステップと、
    上記操作コマンド決定用物理量変位検出ステップにて検出された上記物理量の変位を検索キーとして、当該物理量の変位に関連付けられた上記操作コマンドを上記操作コマンド記憶手段から検索する操作コマンド検索ステップと、
    上記操作コマンド検索ステップにて検索された上記操作コマンドを上記表示オブジェクトに対して実行する操作コマンド実行ステップと、
    を更に含むことを特徴とする、オブジェクト操作方法。
21. 請求項２０に記載のオブジェクト操作方法において、
    上記操作コマンドは、上記携帯端末の上記物理量の変位に従って、上記携帯端末の上記表示部に表示された上記表示オブジェクトとは異なる他の表示オブジェクトを上記表示オブジェクト記憶手段から抽出し、抽出された当該表示オブジェクトを上記表示部に表示させる操作処理を規定することを特徴とする、オブジェクト操作方法。
22. 請求項１９〜２１のいずれか一つに記載のオブジェクト操作方法において、
    上記変位検出部は、３軸加速度センサであり、上記物理量としては、重力加速度および加速度を少なくとも含むことを特徴とする、オブジェクト操作方法。
23. 請求項１９〜２２のいずれか一つに記載のオブジェクト操作方法において、
    上記制御部において実行される、
    上記画像撮影部により取得された上記画像に対し、正面方向から撮影された画像となるよう射影変換を行うことにより画像処理を実行する画像処理ステップ
    を更に含み、
    上記表示オブジェクト抽出ステップにおいて、
    上記画像処理ステップにて画像処理された射影変換後の上記画像に基づいて、当該画像内の上記操作対象オブジェクトを抽出することを特徴とする、オブジェクト操作方法。
24. 請求項１９〜２３のいずれか一つに記載のオブジェクト操作方法において、
    上記操作対象オブジェクトは、当該操作対象オブジェクトに対応する上記操作対象機器を識別するための文字、記号、図、写真、または、模型のうち少なくとも一つを特定する特徴情報を含み、
    上記操作対象オブジェクト抽出ステップにおいて、
    上記特徴情報に基づいて、上記画像から上記操作対象オブジェクトを抽出することを特徴とする、オブジェクト操作方法。

Images