JP7550511B2 - 自律移動ロボット、装置、被遠隔操作装置及びプログラム - Google Patents

Description

本開示は、被遠隔操作装置、遠隔操作システム、遠隔操作支援方法、プログラム及び非一時的コンピュータ可読媒体に関する。

遠隔操作するロボットとして遠隔コミュニケーションをするロボットに身振り等を伝達する装置等が開発されているが、自律的に作業を行うことを想定していない。また、自律動作するロボットとして、道に迷った場合に操作者に援助を求めるロボット等が知られており、完全に自律動作を実現できないタスクを実行することに優れているが、操作者が複数のロボットを制御することが困難である。これに対して、要求ごとに対応できる操作者を設定し、複数の操作者でロボットを制御する手法もある。

しかしながら、自律動作を一部の操作者が行うこと等ができない場合、また、プライバシー保護の観点から望ましく無い場合や、タスクの結果を利用した有効なロボットの動作が困難である場合がある。さらに、遠隔操作による援助を行うだけであり、援助データの取得及び保存を行わないことから、学習データを取得することができず、完全な自律動作に応用することが困難であった。

特開２００９－０９０４２０号公報

本開示は、被遠隔操作装置が自律的に実行する動作を支援する、遠隔操作システムを提供する。

一実施形態によれば、自律移動ロボットは、環境中を自律移動する自律移動ロボットであって、1又は複数のセンサと、1又は複数のプロセッサと、を有する。前記1又は複数のセンサは、前記環境を認識する。前記1又は複数のプロセッサは、前記1又は複数のセンサで取得された情報に基づいて前記環境を認識し、当該認識結果に基づいて、当該環境中の自律移動を伴うタスクを実行するよう前記自律移動ロボットを制御する。前記1又は複数のプロセッサは、前記１又は複数のセンサで取得された情報に基づいて前記環境に関して特定の状況を認識した場合、前記自律移動ロボットの外部の所定の装置に所定の通知を行い、前記所定の通知に対して、前記所定の装置を操作する人からの当該認識された特定の状況に関する当該人の判断に基づく情報を受信する。前記情報は、前記人による前記自律移動ロボットの移動する位置の指定なしに得られる情報である、自律移動ロボット。

一実施形態に係る遠隔操作システムの概略を模式的に示す図。 一実施形態に係る遠隔操作システムのブロック図。 一実施形態に係る遠隔操作システムの処理を示すフローチャート。 一実施形態に係る被遠隔操作装置の取得した図。 一実施形態に係る被遠隔操作装置の認識結果を示す図。 一実施形態に係る遠隔操作装置の間接指示を示す図。 一実施形態に係る被遠隔操作装置の存在するユーザ空間を示す図。 一実施形態に係る被遠隔操作装置の推定による移動可能範囲を示す図。 一実施形態に係る遠隔操作装置の間接指示を示す図。 一実施形態に係る遠隔操作装置の間接指示を示す図。 一実施形態に係る出力部の例を示す図。 一実施形態に係る遠隔操作システムの実装例を示す図。 一実施形態に係る遠隔操作システムの実装例を示す図。 一実施形態に係る遠隔操作システムのブロック図。 一実施形態に係る遠隔操作システムの処理を示すフローチャート。 一実施形態に係る遠隔操作システムの実装例を示す図。 一実施形態に係る遠隔操作システムの実装例を示す図。 一実施形態に係る遠隔操作システムの実装例を示す図。 一実施形態に係る遠隔操作システムの各装置のハードウェア実装例を示す図。

以下、図面を参照して本発明の実施形態について説明する。図面及び実施形態の説明は一例として示すものであり、本発明を限定するものではない。

まず、本開示における遠隔操作システム１の全体について説明する。

図１は、一実施形態に係る遠隔操作システム１の概略を示す模式図である。本実施形態の遠隔操作システム１は、少なくとも遠隔操作装置１０と、被遠隔操作装置２０と、を備え、遠隔操作装置１０により、被遠隔操作装置２０の動作を支援するものである。遠隔操作装置１０及び被遠隔操作装置２０の少なくともいずれか一方を遠隔操作支援装置としてもよい。

遠隔操作装置１０（制御装置）は、例えば、操作者２により各種ユーザインタフェースを用いて指令等が与えられる。この指令は、遠隔操作装置１０から通信インタフェース等を介して被遠隔操作装置２０へと送信される。遠隔操作装置１０は、例えば、コンピュータ、リモートコントローラ、モバイル端末（スマートフォン、タブレット等）である。また、遠隔操作装置１０は、操作者２への出力ユーザインタフェースとして、ディスプレイ、スピーカ等を備えていてもよいし、操作者２からの入力ユーザインタフェースとして、マウス、キーボード、各種ボタン、マイク等を備えていてもよい。

被遠隔操作装置２０（被制御装置）は、遠隔操作装置１０による制御を受け付ける装置である。例えば、被遠隔操作装置２０は、エンドユーザ側において出力を行う。被遠隔操作装置２０は、例えば、ロボット、ドローンといった遠隔操作対象を備える。ここで、ロボット（遠隔操作対象）とは、自律的又は半自律的に動作を行う装置であり、例えば、産業用ロボット、掃除ロボット、アンドロイド、ペットロボット等、さらには、監視装置、無人店舗の管理装置、自動搬送装置等を含み、また、バーチャル空間におけるバーチャルな操作対象をも含んでもよい。以下、説明のわかりやすさのため、被遠隔操作装置２０を、ロボットを一例として説明するが、上述のような任意の遠隔操作対象として読み替えることができる。

なお、図１においては、被遠隔操作装置２０は、その全てが遠隔操作システム１に含まれているが、これには限られない。例えば、エンドユーザ側において動作を物理的に実行するグリッパ、エンドエフェクタ等のインタフェースは、遠隔操作システム１に含まれなくてもよい。この場合、遠隔操作システム１に含まれる被遠隔操作装置２０のその他の部分が、遠隔操作システム１に含まれない被遠隔操作装置２０の当該インタフェースを制御する構成であってもよい。操作者２は、人間でもよいが、被遠隔操作装置２０で発生した問題を適切に解決可能な指示が可能な、例えば問題となっているサブタスク（例えば、物体認識や把持部の指定）について、被遠隔操作装置２０よりも高い性能を備える訓練済みモデル等であってもよい。これにより、例えば、被遠隔操作装置２０に備えられる訓練済みモデルを軽量化することができる。また例えばセンサの性能（カメラの解像度等を）を下げることも可能になる。

遠隔操作システム１は、例えば、以下のように遠隔操作を行う。まず、被遠隔操作装置２０が、あらかじめ決められたタスク、又は、周囲の環境に基づいて決定したタスクに基づいて、自律的、半自律的に動作する。

被遠隔操作装置２０は、自律動作中に、タスク実行が困難な状態（以下、イベントという）を検知すると、例えば、タスクの実行を停止する。なお、検知後の対応としては、停止することの他、例えば、安全を確保する動作、故障を回避する動作、他の実行可能なタスクを優先して実行する等、所定の動作を実行してもよい。また、イベントに対して処理をする旨の記録をしておき、タスクの実行を継続してもよい。この記録は、リストにより管理されてもよい。また、タスク実行が困難となった場合、複数回同じの動作を行うべく試行して失敗した後に、遠隔操作装置１０に通知するイベントとして検知してもよい。

被遠隔操作装置２０は、イベントが発生したタスクについて分析を行い、タスクを分割し、発生したイベントに関する複数の分割タスクを抽出する。また、本明細書において、タスクの分割とは、タスクのうちの一部分を抽出することを含む。また、タスクを生成するとは、タスクを抽出することを含む。

なお、タスクは、タスクよりも小さい単位のタスクであるサブタスクの集合であってもよい。この場合、タスクの分割を行わずに、被遠隔操作装置２０は、イベントが発生したタスクについて分析を行い、タスクを構成する複数のサブタスクの中からイベントに関連するサブタスクを抽出してもよい。このように、タスクがサブタスクの集合として定義されている場合には、サブタスクと分割タスクは、すなわち、全ての実施形態の説明において、分割タスクは、サブタスクと読み替えてもよい。サブタスクにより定義されている場合には、タスクの分割は、必須の構成では無く、任意に実行できるものであってもよい。

このように、分割タスクとサブタスクは、広義でほぼ同等のものとしてもよい。例えば、ソフトウェアでタスクが記述されている場合、モジュール、ファンクション、クラス、メソッド等のそれぞれ又はこれらの任意の結合がサブタスクであってもよい。さらに、タスクの分割は、上記のモジュール等の任意の粒度まで分割を実行してもよい。また、サブタスクを分析して分割タスクとしてもよい。

タスクの分割の後、複数の分割タスクについて、例えば、それぞれの分割タスクの確度等のスコアを算出してもよい。このスコアに基づいて、被遠隔操作装置２０は、イベントがどの分割タスクに起因して発生したかを抽出してもよい。

被遠隔操作装置２０は、抽出した分割タスクの情報を遠隔操作装置１０へと送信する。また、例えば、タスクの分割が困難である場合には、イベントの情報を遠隔操作装置１０へと送信してもよい。

遠隔操作装置１０は、出力ユーザインタフェースを介して操作者２にイベント又は分割タスクを出力し、指令待ちの待機状態へと遷移する。

操作者２が入力ユーザインタフェースを介して指令を遠隔操作装置１０へと入力すると、遠隔操作装置１０は、当該指令を被遠隔操作装置２０へと出力し、当該指令に基づいて停止しているタスクを再開する。

指令には、直接的に被遠隔操作装置２０のインタフェースの物理的な動作を制御する指令である直接指示と、被遠隔操作装置２０において当該指令に基づいて判断してインタフェースを制御する間接指示と、のうち少なくとも一方が含まれる。

直接指示とは、上述したように、直接的に被遠隔操作装置２０のインタフェースの物理的な動きを指示するものである。この直接指示は、例えば、被遠隔操作装置２０が把持動作を行うインタフェースを備える場合に、カーソルキーやコントローラにより被遠隔操作装置２０のエンドエフェクタをターゲットが把持可能な位置まで操作した後、把持操作を実行するように指示するといったものである。

間接指示とは、上述したように、間接的に被遠隔操作装置２０の動作を指示するものである。この間接指示は、例えば、被遠隔操作装置２０が把持動作を行うインタフェースを備える場合に、ターゲットの把持位置を指定するといった指示であり、被遠隔操作装置２０のインタフェースの物理的な動きを直接指示しない。被遠隔操作装置２０は、例えば、指定された把持位置に基づいて、エンドエフェクタを操作者２の操作によらずに自動的に移動させ、自動的にターゲットを把持する操作を実行する。

例えば、被遠隔操作装置２０が存在するエンドユーザ環境において、床に落ちているターゲットを机の上に置くタスクがあるとする。このタスクを、ターゲットを把持可能なアームを備えるロボットにて実行しようとしたが失敗したため、イベントが発生し、遠隔操作装置１０により操作者２によりタスクが実行される場合を考える。

直接指示は、例えば、カメラの映像を操作者２が見ながら、まず、コントローラ等を用いて、ターゲットが拾える位置までロボットを移動させる。この移動は、例えば、コントローラに備えられる８方向のボタンを押すことにより、操作者２がロボットをどの方向にどのくらい進ませるべきかについて判断し、それに対応してどのボタンをどの程度の時間押下するか、によって操作する。操作者２は、ターゲットが拾える位置にロボットが移動したと判断すると、次に、ターゲットが把持可能な位置にアームを移動させる。この移動も、ロボットの移動と同様に、例えば、方向を指定できるボタンを備えるコントローラにより操作者２が直接的に実行する。そして、操作者２は、アームがターゲットを把持できる位置に移動したと判断すると、アームに備えるエンドエフェクタにより、ターゲットを把持する操作を実行する。続いて、操作者２は、机の位置まで上記と同様の操作によりロボットを移動させ、ターゲットを置きたい位置まで上記と同様にアームを移動させ、エンドエフェクタの把持を解除することにより、机の上にターゲットを置く。この把持や把持の解除も、他のロボットの動作と同様に、例えば、方向を指定できるボタンを備えるコントローラにより操作者２が直接的に実行する。このように、直接指示は、被遠隔操作装置２０が行う動作そのものを操作者２が直接的にパッド、コントローラ等を用いて指示することを表す。

なお、上記の例では、タスクを構成するサブタスクであるロボットの移動、アームの移動、ターゲットの把持およびターゲットの把持の解除のいずれも直接指示で行うこととしたが、例えば、これらの一部のサブタスクを直接指示で行うこともできる。

一方、間接指示は、例えば、操作者２は、カメラが取得した画像においてターゲットの位置を指定する。ロボットは、指定に従って、指定されたターゲットにアームが届く位置まで自律的に移動し、アームを制御してターゲットを把持する。続いて操作者２は、ターゲットを置く位置を指定する。ロボットは、指示に従って、指定された位置にターゲットを置くことができる位置まで自律的に移動し、指定された位置にターゲットを置く。このように、間接指示は、操作者２が直接的に動作を指定するのではなく、当該指示に基づいて被遠隔操作装置２０が半自律的に動作することができる間接的な指示を表す。

なお、上記の例では、タスクを構成するサブタスクであるロボットの移動、アームの移動、ターゲットの把持およびターゲットの把持の解除のうちのいずれも間接指示で行うこととしたが、例えば、これらの一部のサブタスクを間接指示で行うこともできる。
間接指示のより様々な例については、後述する。

遠隔操作システム１は、このように、被遠隔操作装置２０が動作を行っている場合に、イベントの発生をトリガとして遠隔操作装置１０を介して操作者２の操作指示を受け付ける、半自動的な動作を実行するシステムである。

以下、上述の遠隔操作システム１の態様についていくつか説明する。

（第１実施形態）
本実施形態は、上述した遠隔操作システム１の一態様を示す。

図２は、一実施形態に係る遠隔操作システム１のブロック図の一例を示す。本実施形態の遠隔操作装置１０は、通信部１００と、出力部１０２と、入力部１０４と、を備える。この他に、入出力データの情報処理をする情報処理部、及び、必要となるデータ等を記憶する記憶部の少なくとも一方が備えられていてもよい。本実施形態の被遠隔操作装置２０は、通信部２００と、記憶部２０２と、情報処理部２０４と、動作生成部２０６と、動作部２０８と、センサ２１０と、検知部２１２と、分析部２１４と、を備える。

遠隔操作装置１０は、通信部１００を介して被遠隔操作装置２０から発生したイベント又は当該イベントに基づいて分割されて生成されたサブタスク（分割タスク）を受信する。

出力部１０２は、受信したイベント又は分割タスクを操作者へと出力する。出力部１０２は、例えば、出力ユーザインタフェースとしてディスプレイを備え、ディスプレイに受信したイベント又は分割タスクを表示させる。出力部１０２に備えられる出力ユーザインタフェースは、ディスプレイに限られず、例えば、スピーカにより音声出力し、又は、LED（Light Emitting Diode）等の発光素子を発光させることにより操作者に被遠隔操作装置２０の状態を知らせてもよい。

入力部１０４は、操作者からの入力を受け付ける。操作者は、例えば、出力部１０２に出力されたイベントに基づいて入力部１０４から直接指示を与える。他の例として、操作者は、出力部１０２に出力された分割タスクに基づいて入力部１０４から間接指示を与える。

操作者により直接指示又は間接指示の指令が入力されると、通信部１００は、通信インタフェースを介して被遠隔操作装置２０へと当該指令を送信する。

被遠隔操作装置２０は、自律的又は半自律的に動作を行う装置である。

通信部２００は、少なくとも遠隔操作装置１０から送信された情報を受信する。

記憶部２０２は、被遠隔操作装置２０の動作に必要となるデータ、情報処理に必要となるプログラム、通信部２００により送受信されたデータ等を記憶する。

情報処理部２０４は、被遠隔操作装置２０に備えられる各構成に必要となる情報処理を実行する。情報処理部２０４は、訓練済みの機械学習モデル、例えばニューラルネットワークモデルを備えていてもよい。例えば、センサ２１０が感知した情報を当該訓練済みモデルに入力して認識等を行ってもよい。このようなニューラルネットワークは、例えば、MLP（Multi-Layer Perceptron）、CNN（Convolutional Neural Network）を備えてもよく、また、リカレントニューラルネットワークに基づいて形成されたものであってもよく、さらに、これらに限られず、適切なニューラルネットワークモデルであってもよい。

動作生成部２０６は、自律動作時においてはタスクの実行に必要となる動作を生成する。また、通信部２００が遠隔操作装置１０から間接指示を受信した場合に、動作生成部２０６は、当該間接指示に基づいてイベント又は分割タスクに関する動作を生成する。さらに、動作生成部２０６は、生成された動作を行うための制御信号を生成又は取得する。いずれの場合にも、動作生成部２０６は、生成された動作を行う制御信号を動作部２０８へと出力する。

動作部２０８は、被遠隔操作装置２０のエンドユーザ側のユーザインタフェースを備える。例えば、被遠隔操作装置２０がロボットである場合には、動作部２０８は、当該ロボットのアーム、グリッパ、移動装置等、当該ロボットが動作を行うための物理的な機構である。動作部２０８は、実線で示されるように動作生成部２０６が生成した制御信号を受信して、又は、破線で示されるように通信部２００を介して遠隔操作装置１０に入力された直接指示を実行するための制御信号を受信して、エンドユーザ環境において実際の動作を行う。

センサ２１０は、被遠隔操作装置２０の周囲の環境を感知する。センサ２１０は、例えば、カメラ、接触センサ、重量センサ、マイク、温度センサ、湿度センサ等を備えていてもよい。カメラは、通常のRGBカメラの他、RGB-Dカメラ、赤外線カメラ、レーザセンサ等であってもよい。

検知部２１２は、イベントを検知する。検知部２１２は、動作生成部２０６又はセンサ２１０からの情報に基づきイベントを検知する。イベントは、例えば被遠隔操作装置が把持部を備える場合には、把持に失敗した、又は、センサ２１０が取得した画像における認識度合いが不十分であり把持することが困難である、といった情報である。

分析部２１４は、検知部２１２がイベントの発生を検知すると、当該イベントに基づいて実行中のタスクを分析し、タスクの分割が可能であると判断した場合には、実行中のタスクを分割し、当該イベントに関する分割タスクを生成する。分割タスクに関する情報は、通信部２００へと出力され、通信部２００が遠隔操作装置１０へと送信する。タスクの分割が可能かの判断やイベントに関する分割タスクの生成またはサブタスクの抽出は、任意の方法で行われてよい。例えば、ルールベースで行われてもよく、訓練済みモデルによって行われてもよい、

上記の構成のうち、遠隔操作システム１は、例えば、通信部１００、２００、出力部１０２、入力部１０４、記憶部２０２、情報処理部２０４、動作生成部２０６、検知部２１２、分析部２１４を備えるものとしてもよい。この他の態様でもよく、例えば、動作部２０８、センサ２１０も遠隔操作システム１に含まれるものとしてもよい。また、被遠隔操作装置２０の各構成要素は、適切に処理できるのであれば、遠隔操作装置１０又は別のサーバ等の装置に備えられてもよい。

被遠隔操作装置２０は、１台の装置で構成される他、２台以上の装置で構成されてもよく、例えば、センサ２１０は、エンドユーザ側の空間を監視するように備えられるカメラ等であってもよい。別の例としては、記憶部２０２、情報処理部２０４が、エンドユーザ側の環境にロボット等とは別のコンピュータとして備えられ、ロボット等に無線又は有線の信号を送信してロボット等を制御してもよい。

このように、遠隔操作装置１０、被遠隔操作装置２０の構成、また、遠隔操作システム１の構成要素は、適宜その構成を変更することが可能である。遠隔操作装置１０、被遠隔操作装置２０の少なくとも一方が複数の装置で構成される場合には、当該装置同士の通信を行う通信部がそれぞれの装置に備えられていてもよい。

図３は、本実施形態に係る遠隔操作システム１の動作例を示すフローチャートである。上記のように、遠隔操作装置１０及び被遠隔操作装置２０の構成については、適切に組み替えることが可能であるが、本フローチャートでは、図２の構成に基づいた動作を示す。

被遠隔操作装置２０は、自律動作により設定されたタスクを実行（S200）しているものとする。例えば、初期状態においては、被遠隔操作装置２０自らがセンサにより環境を感知し、タスクを実行してもよいし、遠隔操作装置１０からタスクを実行する旨の指令を受けてもよい。

検知部２１２がイベントを検知しない場合（S201：NO）、被遠隔操作装置２０は、タスクの実行を続行する（S200）。

検知部２１２がイベントを検知すると（S201：YES）、被遠隔操作装置２０は、動作部２０８の動作、本実施形態においては、タスクの実行を中止し、分析部２１４は、発生したイベントを分析する（S202）。分析の結果、発生したイベントに関してタスクを切り出すことが可能である場合、分析部２１４は、タスクを分割し、分割タスクを生成、取得する。

次に、通信部２００を介して、被遠隔操作装置２０は、分割タスク又はイベントを遠隔操作装置１０へと送信する。被遠隔操作装置２０は、例えば、S202においてタスクの分割が可能であった場合には、分割タスクを送信し、タスクの分割が不可能、困難又は不要と判断された場合には、イベントを送信する。

次に、遠隔操作装置１０は、通信部１００を介して被遠隔操作装置２０が送信した分割タスク又はイベントを受信すると、出力部１０２を介して受信した分割タスク又はイベントを操作者へと出力される（S104）。

次に、遠隔操作装置１０は、分割タスク又はイベントの出力後、入力部１０４を介して操作者からの指令の入力を受け付ける待機状態へと遷移する（S105）。なお、入力の待機状態は、この出力後ではなく、遠隔操作装置１０は、通常状態において、入力の待機状態であってもよい。

操作者から出力された分割タスクに対する間接指示又は出力されたイベントに対する直接指示を受け付けると、遠隔操作装置１０は、通信部１００を介して間接指示又は直接指示を被遠隔操作装置２０へと送信する（S106）。

通信部２００が受信した指令が間接指示である場合、動作生成部２０６は、受信した間接指示に基づいて動作を生成する（S207）。そして、生成した動作に基づく制御信号を動作部２０８へと送信して、動作部２０８がタスクを実行するべく制御を行う（S208）。

一方で、通信部２００が受信した指令が直接指示である場合、被遠隔操作装置２０は、直接指示を動作部２０８へと出力し、動作部２０８がタスクを実行するべく制御を行う（S208）。なお、直接指示が直接的な制御信号として出力されない場合には、情報処理部２０４により動作部２０８の動作を制御する信号へと変換し、当該制御信号を動作部２０８へと出力してもよい。

被遠隔操作装置２０は、タスクの実行が終了していない場合、又は、タスクの実行が終了したが、新たなタスクが存在する場合には、S200からのステップを継続して行う。タスクの実行が終了し、動作を終了する場合には、被遠隔操作装置２０は、処理を終了する。

以上のように、本実施形態によれば、実行中のタスクにおいてイベントが検知された場合に、タスクを分割した分割タスクに基づいて、間接指示により被遠隔操作装置２０がタスクを実行するのを支援することが可能となる。直接指示による遠隔操作は、操作者の習得度合いにより結果が大きく異なる場合があり、また、習得に長時間掛かるタスクも想定されうる。しかし、本実施形態のような方法で被遠隔操作装置２０の動作を指示することにより、このような習得度合いの影響を減じ、どの操作者によっても適当な結果を得ることができる。さらに、通信遅延、被遠隔操作装置２０における信号処理の遅延等により、習熟した操作者であっても被遠隔操作装置２０の制御を行うことが困難である場合もある。このような場合であっても、間接指示によりタスクを実行することが可能となる。

ここで、各ステップにおける処理の内容についていくつか具体例を示す。以下、物体を把持するというタスクに対して、イベントの例をいくつか説明する。

イベントは、次のような場合に検知される。例えば、被遠隔操作装置２０が把持を実行するエンドエフェクタを備える場合、把持するターゲットをつかむことができなかった、又は、把持したターゲットを落としてしまったときに、エンドエフェクタに備えられる重量センサ、触覚センサ等における感知、カメラによる感知、又は、エンドエフェクタのグリップ部分の動きの検出等により、ターゲットをつかめなかった又は落としてしまったというイベントを検知する。

また例えば、被遠隔操作装置２０がさらにセンサ２１０としてカメラを備え、カメラにより撮影された画像を情報処理部２０４が認識処理を行い、当該認識結果に基づいて把持位置等を決定する場合、当該認識結果の精度や確度が低い（例えば、50%未満の認識結果が得られた）とき、センサ２１０からの出力に基づいて、認識の確度が低いというイベントを検知する。この場合、例えば、検知部２１２は、情報処理部２０４の認識結果をモニタリングしておき、所定のしきい値よりも認識精度が低いターゲットが存在するときにイベントを発生させるようにしてもよい。

また例えば、被遠隔操作装置２０が移動を行うロボットであり、把持を実行するエンドエフェクタ等を備える場合、センサ２１０が取得した画像において把持するターゲットまでの道のりを自動で判別できないときに道のりが判別できないというイベントを検知してもよい。

ターゲットを把持するというタスクに関するイベントとしては、上記のような例がある。イベントの例はこれらには限られず、実行するタスクに対して様々に判断される。

上記のイベントに対して、タスクの分析、分割は、次のように実行される。まず、例えば、被遠隔操作装置２０がターゲットの把持を失敗した場合には、把持の失敗をイベントとして検知して、タスクの分析を行わずに、遠隔操作装置１０へとイベントを通知し、操作者の直接指示を受け付けてもよい。

また例えば、被遠隔操作装置２０が、ターゲットの認識の精度が低く把持することが困難であるというイベントを検知した場合、タスクを分割することにより、認識を実行するタスクを分割タスクとして取得する。取得された分割タスクを遠隔操作装置１０へと通知し、イベントを解消可能な分割タスクについての操作者の間接指示を受け付けてもよい。この場合に操作者からの間接指示は、例えば、認識が困難であるターゲットの認識率を上げる通知をする、又は、被遠隔操作装置２０がした認識とは異なる認識結果を通知することなどが挙げられる。被遠隔操作装置２０は、遠隔操作装置１０から受信したこれらの間接指示に基づいて、動作生成部２０６により動作を生成して把持動作を実行する。

図４は、一実施形態において、被遠隔操作装置２０がセンサ２１０であるカメラにより取得した画像を示す。具体的には、箱、文房具、おもちゃ等の物体が床に散らばっている画像である。実行するタスクは、画像内の文房具を片付けることであるとする。

図５は、図４の画像における各物体の被遠隔操作装置２０により認識された結果である認識率を示す図である。認識率は、例えば、0から1の間の数値により、1に高いほど認識精度が高いことを示す。手前にあるペン立ては、認識率0.62で文房具として認識されており、比較的高い認識率であり、タスクが実行可能である。

一方で、奥にあるペンは、認識率が0.25で文房具として認識されている。ここで、一定の条件、例えばしきい値が0.5を超える場合にはタスクを実行すると設定されている場合に、被遠隔操作装置２０は、ペンに対してはタスクを実行することが困難であると判断し、タスクを中止する。中止した後、分析部２１４は、タスクの分析を行い、タスクのうちこの認識に関するタスクを分割タスクまたはサブタスクとして抽出する。被遠隔操作装置２０は、この認識に関する分割タスクを問題の原因と判断された分割タスクとして、遠隔操作装置１０へ送信する。

操作者は、遠隔操作装置１０において図５の画像が出力されると、入力部１０４を介して画像中のペンは文房具であるという間接指示を入力する。遠隔操作装置１０は、入力された間接指示を被遠隔操作装置２０へと送信する。間接指示を受信した被遠隔操作装置２０は、動作生成部２０６により、ペンがターゲットであるという認識結果に基づいて、タスクの実行を再開させる。

このように、物体の認識結果により実行するタスクを中止し、物体を認識する動作をタスクから切り出して、又は、認識に基づいて実行する動作をタスクから切り出して、中止したタスクを間接指示により再開する。

別の例としては、図４と同じ状況において把持を失敗した場合においても、タスクを分析して分割タスクを取得することも可能である。すなわち、上述のように、把持を失敗した場合に、すぐにイベントを遠隔操作装置１０へと通知するのではなく、タスク分析を試みて、その結果、分割タスクを取得できるのであれば、間接指示を操作者に要求することもできる。

図６は、把持を失敗した場合において、間接指示を実行する一例を示す図である。文房具を片付けるというタスクの実行中において、文房具と認識されたペン立ての把持に失敗したとする。この把持の失敗は、例えば、把持を実行するロボットハンドのフィードバックセンサにより検出することが可能である。検知部２１２は、例えば、図２に示されるように、動作部２０８の状態を検知するセンサ２１０の感知結果に基づいて、把持に失敗したことを検知する。

把持に失敗すると、被遠隔操作装置２０は、タスクを中止し、文房具を片付けるタスクを物体認識と動作生成部２０６による把持計画の２つの分割タスクに分割する。そして、分割タスクのうち、いずれの分割タスクが失敗の原因かを推定する。例えば、ターゲットの認識結果が文房具として0.62と十分に高い場合、分析部２１４は、動作生成部２０６による動作の生成のサブタスクにおいてタスクが失敗したものと判断する。分析部２１４は、この結果に基づいて、把持計画について遠隔操作装置１０へと通知し、操作者に把持計画についての間接指示をするように出力する。

操作者は、例えば、図６において斜線で示される把持位置を間接指示として示す。この把持位置に関する間接指示を被遠隔操作装置２０へと送信し、送信された情報に基づいて、動作生成部２０６は、指定された把持位置においてロボットアームがターゲットを把持する把持動作を生成して、タスクを再開する。

図７は、被遠隔操作装置２０の存在するエンドユーザ空間の様子をセンサにより取得した図である。例えば、被遠隔操作装置２０は、ロボットと、エンドユーザ空間の状態を画像として取得する、ロボットとは別に備えられるセンサ２１０（カメラ）と、を備える。このような場合、ロボットからの視点だけではなく、俯瞰的にエンドユーザ空間の状態を取得することも可能である。

ロボットの移動は、例えば、ロボットからの視点、LiDAR、オドメータ、トルクセンサ等のロボットに備えられたセンサの他、エンドユーザ空間の天井等に備えられたセンサ２１０（カメラ）により取得された画像においても判断されるものとする。ロボットの移動可能範囲をセンサ２１０から情報を取得した情報処理部２０４が処理する場合、移動可能範囲の推定を誤るとほとんど移動ができなくなる場合がある。例えば、図７のような状態においては、本来、中央の空間のほとんどはロボットの移動可能範囲であると考えてもよい。しかしながら、推定によっては、異なる結果が生じる可能性がある。イベントとして、移動可能範囲が制限され、把持するターゲットに十分に近づけないことを検知する例について説明する。

図８は、情報処理部２０４により誤った移動可能範囲の指定がされた例である。例えば、被遠隔操作装置２０は、画像からの情報処理部２０４の推定の結果、斜線部だけが移動可能範囲として認識されたとする。なお、情報処理部２０４の推定は、画像からには限られず、各種センサからの出力に基づいた推定を実行してもよい。この場合、被遠隔操作装置２０は、検知部２１２により、移動を行うことができず、各種タスクが実行困難であることを検知する。このように検知されると、タスクの実行を中止し、分析部２１４によりタスクの分析、分割が実行される。分割タスクは、遠隔操作装置１０へと送信される。例えば、この場合の分割タスクは、領域の認識に係る分割タスクである。

なお、画像を取得する場合、ユーザ空間における全てのものを詳細に遠隔操作装置１０側において出力する必要はない。例えば、ユーザ空間には、ユーザのプライバシーに関わる情報が存在する可能性がある。このような場合、ユーザのプライバシーに関する情報を遠隔操作者に伝わらないようにしてもよい。具体的には、画像認識による認識結果に基づく領域、又は、マーカ等を用いて指定された領域等により、プライバシーに関する情報が遠隔操作装置１０において出力されないように制御してもよい。プライバシーに関する情報は、例えば、パスワード、通帳番号その他のユーザに紐付けられているID、トイレ、脱衣場等の情報であってもよい。また、画像に限らず、音声を遮断してもよい。例えば、日常的な生活音等は、遠隔操作装置１０から出力されないようにしてもよい。この他、不可視とする領域を判定し、不可視と判定された領域を見られないように出力データを制御してもよい。

図９は、間接指示の一例を示す図である。分析部２１４は、例えば、画像の認識に誤りがあるとして、移動可能範囲を操作者に指示させることにより推定結果を修正して動作生成を行ってもよい。この場合、遠隔操作装置１０において、操作者は、例えば、破線でしめされるように画像上において移動可能範囲を指定して、この移動可能範囲に関する情報を含んだ間接指示を被遠隔操作装置２０へと送信してもよい。

図１０は、間接指示の別の例を示す図である。分析部２１４は、例えば、認識に誤りがあるとして、移動する位置又は移動経路等を操作者に指示してもらうことにより推定結果を修正して動作生成を行ってもよい。この場合、遠隔操作装置１０において、操作者は、例えば、矢印で示されるように画像上において移動経路を指定して、この移動経路に関する情報を含んだ間接指示を被遠隔操作装置２０へと送信してもよい。

図９、図１０において、被遠隔操作装置２０からどのような間接指示が必要であるかが送信される必要はない。例えば、移動するという分割タスクに対して、図９に示すように移動可能範囲の入力、又は、図１０に示すように移動経路の入力の双方を受け付けるようにしてもよい。すなわち、操作者にイベントの解決のための指示の方法、本例においては移動可能範囲を指定するか、移動経路を指定するかをゆだねてもよい。

さらに、図８に示すような分割タスクが出力された場合に、操作者が、間接指示ではなく直接指示によりイベントを解決するという判断をしてもよい。この場合、操作者は、遠隔操作装置１０であるコントローラ等を介して被遠隔操作装置２０を直接制御するような信号を送信してもよい。

このように、複数の分割タスク又はイベントが送信される場合には、遠隔操作装置１０においていずれの動作を行うかを操作者に選択させてもよい。図１１は、どの分割タスクに対して操作者が間接指示を行うか、又は、直接指示を行うかを選択させる表示を出力させる例である。図１１に示すように、被遠隔操作装置２０からの情報の受信により、遠隔操作装置１０に備えられる出力部１０２としてのディスプレイに、間接指示の対象となる動作を選択させてもよい。

操作者は、移動可能範囲を指定する場合には、例えば、ボタン１０２０を選択し、移動可能範囲を指定する。この場合、別途間接指示送信のボタン１０２３が表示されてもよく、移動可能範囲の指定後に、例えば、ボタン１０２３を押下することにより被遠隔操作装置２０へと間接指示を送信してもよい。同様に、操作者は、移動経路を指定する場合にはボタン１０２１を選択し、移動経路を指定する。

別の例として、移動可能範囲、移動経路等を指定した後に、ボタン１０２０、１０２１等を押下すると、間接指示を送信する形態であってもよい。

操作者は、ロボットに間接指示を与えるのが困難であると判断した場合には、例えば、直接指示を選択するボタン１０２２を押下することにより、直接指示に切り替えることができてもよい。この場合、直接指示を操作者が遠隔操作装置１０を介して被遠隔操作装置２０へと送信する。さらに、直接指示に切り替えた後に再度間接指示に切り替えるボタンが選択可能な状態で表示されてもよい。

別の例として、ネットワークの遅延が非常に大きい等の理由で、遠隔操作によりインタラクティブな処理が困難である場合にタスクを分割し、インタラクティブ性をユーザ側で閉じてもよい。

例えば、ロボットが行うタスクがボタンを押すタスクである場合、通信遅延が大きいネットワークにおいて操作を行うと、カメラ映像に遅延が発生する。この映像を確認しながら操作者がボタンを押す操作をすることは困難である。例えば、映像を見ながらボタンを押し込む操作を行った場合、遅延により制御が遅れ、ボタンの過剰な押し込みなどの問題が発生するおそれがある。また、操作速度も遅くなる。

このような場合、分析部２１４は、当該タスクを、遅延が発生しても問題が少ない分割タスク、例えばボタンが押しやすい位置にロボットアームを移動するタスクやボタンを押す個所を認識するタスク、と、遅延が発生すると問題が起こりうる分割タスク、例えばボタンをロボットアームの先端で押すタスクとに分割し、遅延が発生しても問題が少ない分割タスクのみを操作者が直接又は間接に指示してもよい。このような場合、ボタンを押す箇所の認識を操作者が間接指示により指令してもよい。これら間接指示に基づいて、被遠隔操作装置２０は、ロボットアームを移動させ、ボタンを押すタスクを実行することが可能となる。これにより、ネットワークの遅延による操作の困難さを軽減することが可能となる。

上記の例では移動、把持可能なロボットにおいて自動的に把持操作を行うタスクを例に示したが、被遠隔操作装置２０やタスクはこれに限られない。例えば、無人店舗等における監視ロボットとして遠隔操作システム１を用いることもできる。

図１２は、一実施形態に係る店舗の監視、あるいは、無人売買に応用した例を示す図である。本実施形態においては、店舗（環境）に備えられたセンサやレジを含む店舗全体を被遠隔操作装置２０とする。例えば、店舗の天井に備えられた第１のカメラ２１００は、商品が陳列されている棚の状態を取得する。情報処理部２０４は、例えば図２に示す点線の矢印のように、第１のカメラ２１００により撮影されている画像において、各商品の認識度を算出する処理を行う。情報処理部２０４により処理され、検知部２１２がこの情報処理部２０４により処理された結果においてイベントの発生を検知する。検知部２１２がイベントを検知すると、分析部２１４へと出力される。

分析部２１４は、棚に陳列されている商品の認識度を確認する。例えば、図１２においては、商品Aは、認識度が0.8、0.85、0.9、0.8となり、比較的高い値であるので、問題なく認識できていると判断することができる。

一方、商品Bは、右上の商品の認識度が0.3と低い値であり、例えば、認識度のしきい値を0.5とした場合には、しきい値を下回り、適切に認識できていないと判断される。このような場合、被遠隔操作装置２０は、分析部２１４によりタスクを分析、分割し、認識度に関する分割タスクを遠隔操作装置１０へと送信してもよい。操作者は、出力部１０２から出力された情報、例えば、第１のカメラ２１００により取得された画像に基づいて、問題のある箇所について間接指示を与えることが可能である。被遠隔操作装置２０は、この間接指示に基づいて動作生成を再開してもよい。

図１２の状態であれば、商品Bの右上の商品の認識度が低いので、操作者により確認をして、商品Bであることを被遠隔操作装置２０へと間接指示として送信する。被遠隔操作装置２０は、商品Bであるという認識をした上で、撮影を続行する。なお、この場合、認識に関するタスクだけを中止し、撮影をするというタスクは中止せずに継続して行っていてもよい。このように、タスクの全てを中止するのではなく、例えば、本形態のように、問題が発生したと思われる認識に関するタスクだけを分割して遠隔操作装置１０へと送信してもよい。

このように、店舗等における商品のセグメンテーションを行うシステムとして、遠隔操作システム１が用いられてもよい。もちろん、商品に限られず、商品を購入する人間に関する画像を取得してもよい。

図１３は、一実施形態に係る人間のトラッキングに応用する例を示す図である。第２のカメラ２１０１は、例えば、エンドユーザの空間を撮影し、被遠隔操作装置２０は、第２のカメラ２１０１が撮影した画像における人間をトラッキングするタスクを実行する。情報処理部２０４は、カメラ２１０１が取得した情報に基づいて、人物のトラッキングを実行する。

このような場合、第２のカメラ２１０１に対して障害物の裏側に回らない人物Xに対しては、問題なくトラッキングを行うことが可能である。一方で、人物Yは、第２のカメラ２１０１の死角に一度隠れてしまった後に、再度第２のカメラ２１０１の撮影範囲内に入る。このような場合、人物Yのトラッキングがうまく実行できない場合がある。

このようにトラッキングの精度が担保できない場合、情報処理部２０４は、分析部２１４にトラッキングの精度が落ちたことを通知する。この通知を受けた分析部２１４は、タスクを分析、分割し、トラッキングの認識に関する分割タスクを遠隔操作装置１０へと送信する。操作者が、例えば、過去の映像等から人物が不明な人物がYであると判断する場合には、遠隔操作装置１０は、操作者により入力された人物がYであると指令する間接指示を被遠隔操作装置２０へと送信する。この間接指示を受信し、被遠隔操作装置２０は、人物Yのトラッキングを再開、又は、続行する。

図１２及び図１３に示すタスクは、同じタイミングで作動していてもよい。例えば、人物Yが一度死角に入った後で商品Bを手に持ち、購入しようとする場合、遠隔操作システム１により、人物Yであることを遠隔操作装置１０から間接指示により受信することにより、被遠隔操作装置２０は、売買操作を実行してもよい。間接指示を受けるまで、売買操作のタスクを中止してもよい。

逆に、人物Yが手に取った商品が商品Bであることが不明である場合に、同様に、遠隔操作装置１０から商品についての間接指示を送信し、被遠隔操作装置２０において適切にタスクの実行を行ってもよい。

さらには、双方の認識が困難である場合にも適用することが可能である。上記の例であれば、トラッキングができなかった人物が、認識精度が低い商品を購入しようとした場合、人物に関する分割タスクの間接指示と、商品に関する分割タスクの間接指示とを遠隔操作装置１０から送信し、これらの間接指示に従って、被遠隔操作装置２０がタスクを実行してもよい。

上記のような場合、カメラは、第１のカメラ２１００、第２のカメラ２１０１として、別々の領域を撮影するカメラであってもよい。また、各カメラについて、別々のタスクを実行していてもよい。例えば、第１のカメラ２１００は、上述のように棚の商品の認識、第２のカメラ２１０１は、上述のように人物のトラッキング、といったタスクを実行していてもよい。さらに、それぞれのカメラにおいて実行するタスクとは別に、顧客の商品購入を自動的に行うというタスクをカメラ２１００、２１０１の撮影する画像を用いて実行してもよい。このように、遠隔操作システム１は、複数のセンサ又は動作部等を備え、複数のセンサ又は動作部からの情報を用いて動作するものであってもよい。その場合、遠隔操作は、一般的に処理の困難性が増す、複数のセンサ又は動作部からの情報を用いることで発生するイベント又はタスクに対して行われてもよい。また、遠隔操作システム１は、複数のタスクを並行して別々のタスクとして実行してもよく、また、それらのタスクの実行に基づいたタスクをさらに並行して実行していてもよい。

以上のように、本実施形態に係る遠隔操作システム１は、種々の状況に適用することが可能である。なお、上記の例は、あくまでもいくつかの例として示したものであり、イベント、タスクの分析、分割については、これらに限定されるものではなく、種々の態様に対して適用することが可能である。

（第２実施形態）
上記においては、例えば、リアルタイムのタスクの実行に間接指示を用いたが、これに限られるものではない。さらに、遠隔操作システム１は、操作者により与えられた間接指示に基づいて、その後のタスクの実行精度をより向上させ、タスクの実行をより円滑に行うようにしてもよい。説明及び図面において、第１実施形態と同様の動作を実行するものについては、便宜上同じ符号を付与している。

図１４は、本実施形態に係る遠隔操作システム１のブロック図である。本実施形態に係る遠隔操作システム１は、前述の実施形態に係る遠隔操作システム１に加えて、さらに、訓練部２１６を備える。遠隔操作装置１０から間接指示である指令を受信した場合のデータの流れを点線で示す。

遠隔操作装置１０が間接指示を送信し、通信部２００を介して被遠隔操作装置２０が間接指示を受信すると、受信した間接指示に関する情報は、記憶部２０２に格納される。間接指示に関する情報は、例えば上述に示した例における、認識結果を修正する情報、移動可能範囲を修正する情報、等の情報である。記憶部２０２は、例えば、これらの情報を情報処理部２０４による情報処理結果と紐付けて、又は、センサで検知された情報の少なくとも一部と紐付けて格納する。

訓練部２１６は、記憶部２０２に格納されている間接指示に関する情報に基づいて、情報処理部２０４が、例えば、認識に用いているニューラルネットワークを用いた訓練済みモデルの訓練を行う。この訓練は、例えば、強化学習により実行される。強化学習ではなく、通常の学習手法により訓練済みモデルのパラメータの訓練を行ってもよい。このように、訓練部２１６は、間接指示に関する情報を教師データとして用いて認識精度を向上させる。

訓練部２１６は、間接指示を受信する度に再訓練を実行してもよいし、タスクの実行がされていないといった計算リソースが十分に確保できる状態を検知して訓練を行ってもよい。また、cron等を用いて周期的、例えば、毎日所定の時間になると訓練を実行する、といった頻度で訓練を行ってもよい。別の例として、記憶部２０２に格納された間接指示に関する情報が所定数以上になった場合に再訓練してもよい。

図１５は、本実施形態に係る処理の流れを示すフローチャートである。図３と同じ処理は、省略している。

遠隔操作装置１０は、操作者による入力を受け付けた後、間接指示、又は、直接指示の情報を被遠隔操作装置２０へと送信する（S106）。被遠隔操作装置２０は、受信した指令が間接指示である場合には、タスクを実行するための動作を生成する（S207）。そして、動作部２０８が、生成された動作、又は、直接指示に基づいた動作を実行する（S208）。

ここで、被遠隔操作装置２０は、記憶部２０２に当該指示に関する情報を記憶する（S209）。

訓練部２１６は、上記のように、所定のタイミング、例えば、間接指示を受けたタイミング等に基づいて、認識等に用いる訓練済みモデルの訓練を実行する（S210）。

なお、図１５のフローチャートにおいては、動作の生成と、訓練とが直接に実行される構成となっているが、これには限られない。訓練部２１６による訓練は、遠隔操作システム１が実行しているタスクとは、独立していてもよい。このため、動作と並行して訓練を実行してもよい。訓練により更新されたパラメータは、タスクの実行に影響のないタイミングで訓練済みモデルに反映される。

以上のように、本実施形態によれば、遠隔操作システム１は、被遠隔操作装置２０において自律的にタスクを実行するのが困難である場合に、前述の実施形態と同様に操作者からの間接的な指示を受信して、タスクの実行を再開することができる。さらに、受信した間接指示又は直接指示のデータを教師データとして蓄え、当該データを用いて訓練をすることにより、被遠隔操作装置２０における認識精度等を向上させることが可能となる。この結果、例えば、同じイベントが再度発生することを抑制することができる。また、類似のイベントが発生する確率をも抑制することができる。このように、機械学習に基づいた訓練を被遠隔操作装置２０において実行することにより、より精度のよい円滑な自律的なタスクの実行を行うことが可能となる。

なお、訓練部２１６は、被遠隔操作装置２０に備えられるものとしたが、例えば、被遠隔操作装置２０が十分な通信量及び通信速度を有するネットワーク内にある場合等は、別の装置に備えられていてもよい。

また、複数の被遠隔操作装置２０が存在し、通信可能な場合には、１の被遠隔操作装置２０に対して行われた直接指示、間接指示、タスク又はイベントの情報を他の被遠隔操作装置２０に備えられた訓練済みモデルの訓練又は更新に利用してもよい。
また、記憶部２０２には、複数の被遠隔操作装置２０から得られた情報が保存されてもよく、訓練部は複数の被遠隔操作装置２０から得られた情報を用いて訓練済みモデルの訓練をしてもよい。

（第３実施形態）
前述の実施形態においては、１の遠隔操作装置１０に対して、１の被遠隔操作装置２０が接続される遠隔操作システムを説明した。

図１６は、遠隔操作システム１における遠隔操作装置と、被遠隔操作装置の他の実装例を示す図である。遠隔操作システム１は、例えば、１の被遠隔操作装置２０に対して、それと接続可能な複数の遠隔操作装置１０Ａ、１０Ｂ、・・・、１０Ｘが備えられていてもよい。遠隔操作装置１０Ａ、１０Ｂ、・・・、１０Ｘは、それぞれ操作者２Ａ、２Ｂ、・・・、２Ｘにより操作される。

被遠隔操作装置２０は、例えば、分割タスク又はイベントを、適切に処理できる操作者が制御する遠隔操作装置へと送信する。例えば、１の遠隔操作装置１０に処理が集中しないように、指令をするように通知することも可能である。このようにすることにより、１人の操作者に負荷が集中しないようにすることが可能となる。

また、操作者によっては、得意な操作と不得意な操作があるような場合、分割タスクを当該分割タスクの処理が得意な操作者２に対する遠隔操作装置１０へと送信することもできる。このようにすることにより、タスクの実行の精度を上げること、また、訓練部２１６による訓練の精度を上げることが可能となる。

図１７は、遠隔操作システム１における遠隔操作装置と、被遠隔操作装置の実装の別例を示す図である。遠隔操作システム１は、１の遠隔操作装置１０に対して、複数の被遠隔操作装置２０Ａ、２０Ｂ、・・・、２０Ｘが接続可能なように備えられていてもよい。

それぞれの被遠隔操作装置２０は、分割タスク又はイベントを１の遠隔操作装置１０へと送信する。例えば、被遠隔操作装置２０のそれぞれが実行するタスクが軽微である場合、このように、１人の操作者２により、複数の被遠隔操作装置２０Ａ、２０Ｂ、・・・、２０Xのタスクを実行できるように間接指示又は直接指示の指令を送信できるようにしてもよい。

図１８は、遠隔操作システム１における遠隔操作装置と、被遠隔操作装置の実装の別例を示す図である。遠隔操作システム１は、複数の遠隔操作装置１０Ａ、１０Ｂ、・・・、１０Ｘと、それらと接続可能な複数の被遠隔操作装置２０Ａ、２０Ｂ、・・・、２０Xを備えていてもよい。

このように実装することにより、得意、又は、処理可能な分割タスク又はイベントを有する操作者に、複数の被遠隔操作装置２０から適切に分割タスク又はイベントに対する指示をするように通知をすることが可能となる。このような場合、それぞれが１対１で接続される必要はなく、例えば、遠隔操作システム１内に、どの遠隔操作装置１０とどの被遠隔操作装置２０とを接続するかを判断する、スイッチ、又は、通信制御部が備えられてもよい。

本実施形態に係る遠隔操作システム１においては、例えば、遠隔操作装置１０側に分割タスク等を送信する場合には、事前に遠隔操作装置１０に空き状態を確認する信号を送信し、当該信号に対するACK信号を受信してから分割タスク等を送信してもよい。

別の例としては、被遠隔操作装置２０は、分割タスクを送信し、それに対して遠隔操作装置１０からNACK信号を受信した場合、他の遠隔操作装置１０へと分割タスクを再度送信してもよい。

被遠隔操作装置２０は、分割タスク等をブロードキャスト、又は、接続されている遠隔操作装置１０の一部又は全部に一斉に送信してもよく、受信した遠隔操作装置１０において対応できる操作者が分割タスク等を確保して、指示をしてもよい。

操作者は、自分が得意とする処理、又は、対応可能である処理をあらかじめ遠隔操作装置１０に登録してもよい。被遠隔操作装置２０は、この登録情報をタスクの実行前又は実行後に確認し、分割タスクを適切な遠隔操作装置１０へと送信してもよい。

複数の被遠隔操作装置２０が備えられ、それぞれの被遠隔操作装置２０において訓練が実行されている場合、それぞれの訓練済みモデルを適切な手法で結合してもよい。また、遠隔操作システム１内であって、複数の被遠隔操作装置２０の外部に記憶部が備えられ、当該記憶部に分割タスクまたは間接指示の情報が記憶されてもよい。この場合、記憶部には、複数の被遠隔操作装置２０のうちいずれか一つのみに関する情報が記憶されてもよく、遠隔操作システム１の中の複数の被遠隔操作装置２０の情報が記憶されてもよく、遠隔操作システム１の中の全ての被遠隔操作装置２０の情報が記憶されてもよい。
また、これらの情報に基づいて、被遠隔操作装置２０の外部においてモデルの訓練が行われてもよい。
なお、この訓練が行われるモデルは、遠隔操作システム１内の被遠隔操作装置２０に備えられた訓練済みモデルであってもよく、遠隔操作システム１の外に備えられた訓練済みモデルであってもよく、訓練されていないモデルであってもよい。

上記のデータの送受信等は、例として示したものであり、これに限られるものではなく、適切に遠隔操作装置１０と被遠隔操作装置２０とが接続されるのであれば、どのような構成であってもよい。

以上のように、遠隔操作システム１は、適切な数の遠隔操作装置１０及び被遠隔操作装置２０を備えていてもよく、この場合、より適切な処理をより円滑に行うことが可能となる。

なお、上述の各実施形態においては、遠隔操作、としたが、遠隔制御と読み替えてもよい。このように、本開示においては、直接的に遠隔操作をするものであってもよいし、遠隔操作をするための装置の制御をするものであってもよい。

前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）の一部又は全部は、ハードウェアで構成されていてもよいし、CPU（Central Processing Unit）、又はGPU（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、CD-ROM（Compact Disc-Read Only Memory）又はUSB（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがASIC（Application Specific Integrated Circuit）又はFPGA（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。

図１９は、前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）のハードウェア構成の一例を示すブロック図である。各装置は、プロセッサ７１と、主記憶装置７２と、補助記憶装置７３と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ７として実現されてもよい。

図１９のコンピュータ７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１９では、１台のコンピュータ７が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース７４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）の各種演算は、１又は複数のプロセッサを用いて、又は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ７と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実行されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。

プロセッサ７１は、コンピュータの制御装置及び演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry、CPU、GPU、FPGA又はASIC等）であってもよい。また、プロセッサ７１は、専用の処理回路を含む半導体装置等であってもよい。プロセッサ７１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ７１は、量子コンピューティングに基づく演算機能を含むものであってもよい。

プロセッサ７１は、コンピュータ７の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサ７１は、コンピュータ７のOS（Operating System）や、アプリケーション等を実行することにより、コンピュータ７を構成する各構成要素を制御してもよい。

前述した実施形態における各装置（遠隔操作装置１０及び／又は被遠隔操作装置２０）は、１又は複数のプロセッサ７１により実現されてもよい。ここで、プロセッサ７１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

主記憶装置７２は、プロセッサ７１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置７２に記憶された情報がプロセッサ７１により読み出される。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）において各種データを保存するための記憶装置は、主記憶装置７２又は補助記憶装置７３により実現されてもよく、プロセッサ７１に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における記憶部２０２は、主記憶装置７２又は補助記憶装置７３に実装されてもよい。

記憶装置（メモリ）１つに対して、複数のプロセッサが接続（結合）されてもよいし、単数のプロセッサが接続されてもよい。プロセッサ１つに対して、複数の記憶装置（メモリ）が接続（結合）されてもよい。前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）が、少なくとも１つの記憶装置（メモリ）とこの少なくとも１つの記憶装置（メモリ）に接続（結合）される複数のプロセッサで構成される場合、複数のプロセッサのうち少なくとも１つのプロセッサが、少なくとも１つの記憶装置（メモリ）に接続（結合）される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置（メモリ）とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置（メモリ）がプロセッサと一体になっている構成（例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ）を含んでもよい。

ネットワークインタフェース７４は、無線又は有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して接続された外部装置９Ａと情報のやり取りが行われてもよい。

外部装置９Ａは、例えば、カメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、又は入力元デバイス等が含まれる。外部装置９Ａとして、外部の記憶装置（メモリ）、例えば、ネットワークストレージ等を備えてもよい。また、外部装置９Ａは、前述した実施形態における各装置（遠隔操作装置１０又は被遠隔操作装置２０）の構成要素の一部の機能を有する装置でもよい。そして、コンピュータ７は、処理結果の一部又は全部を、クラウドサービスのように通信ネットワーク８を介して受信してもよいし、コンピュータ７の外部へと送信してもよい。

デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ等のインタフェースである。外部装置９Ｂは、外部記憶媒体でもよいし、記憶装置（メモリ）でもよい。前述した実施形態における記憶部２０２は、外部装置９Ｂにより実現されてもよい。

外部装置９Ｂは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声等を出力する装置等でもよい。例えば、LCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）、PDP（Plasma Display Panel）、有機EL（Electro Luminescence）パネル、スピーカ、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の出力先デバイス等があるが、これらに限られるものではない。また、外部装置９Ｂは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネル、又はマイクロフォン等のデバイスを備え、これらのデバイスにより入力された情報をコンピュータ７に与える。

本明細書（請求項を含む）において、「a、bおよびcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。

本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。

本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。

本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び有する「（having）等）」は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」又は「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

本明細書（請求項を含む）において、「最大化（maximize）」等の用語は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化（minimize）」等の用語は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化（optimize）」等の用語は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。

１：遠隔操作システム、
１０、１０Ａ、１０Ｂ、１０Ｎ：遠隔操作装置、
１００：通信部、
１０２：出力部、
１０４：入力部、
２０、２０Ａ、２０Ｂ、２０Ｎ：被遠隔操作装置、
２００：通信部、
２０２：記憶部、
２０４：情報処理部、
２０６：動作生成部、
２０８：動作部、
２１０：センサ、
２１２：検知部、
２１４：分析部、
２１６：訓練部

Claims (27)

1. 環境中を自律移動する自律移動ロボットであって、
   前記環境を認識するための１又は複数のセンサと、
   前記１又は複数のセンサで取得された情報に基づいて前記環境を認識し、当該認識結果に基づいて、当該環境中の自律移動を伴うタスクを実行するよう前記自律移動ロボットを制御する１又は複数のプロセッサと、
   を有し、
   前記１又は複数のプロセッサは、前記１又は複数のセンサで取得された情報に基づいて前記環境に関して特定の状況を認識した場合、前記自律移動ロボットの外部の所定の装置に所定の通知を行い、
   前記１又は複数のプロセッサは、前記所定の通知に対して、前記所定の装置を操作する人からの当該認識された特定の状況に関する当該人の判断に基づく情報を受信し、
   前記情報は、前記人による前記自律移動ロボットの移動する位置及び方向の指定なしに得られる前記自律移動ロボットの移動可能範囲に関する情報であり、前記自律移動ロボットによって前記特定の状況において撮影された画像を基にした前記人による指示に基づく、前記特定の状況が認識される原因となった認識誤りを修正する情報であり、
   前記１又は複数のプロセッサは、前記情報を利用して前記自律移動ロボットの自律移動を制御する、
   自律移動ロボット。
2. 前記画像は、前記認識結果の内容が重畳されている画像である、請求項１に記載の自律移動ロボット。
3. 前記情報は、前記特定の状況に関して前記自律移動ロボットの自律移動を制御するためのものである、請求項１又は２に記載の自律移動ロボット。
4. 前記情報は、前記特定の状況において前記人が前記自律移動ロボットを直接的に遠隔操作して移動させる指示ではない、請求項１乃至３のいずれかに記載の自律移動ロボット。
5. 前記情報は、移動可能ではないと前記自律移動ロボットによって認識された領域が移動可能であると前記人が指示することで得られる情報である、請求項１乃至４のいずれかに記載の自律移動ロボット。
6. 前記情報は、前記自律移動ロボットの移動可能範囲の認識を修正する情報である、請求項１乃至４のいずれかに記載の自律移動ロボット。
7. 前記１又は複数のセンサで取得された情報に基づいて前記環境に関して前記特定の状況を認識するとは、前記１又は複数のセンサで取得された情報に基づいて前記環境中における前記自律移動ロボットの移動の阻害を認識することである、請求項１乃至６のいずれかに記載の自律移動ロボット。
8. 前記環境中における前記自律移動ロボットの移動の阻害は、前記１又は複数のセンサで取得された情報に基づいて推定される当該自律移動ロボットの移動可能範囲に基づいて認識される、請求項７に記載の自律移動ロボット。
9. 前記所定の通知は、前記認識された特定の状況を撮影した前記画像を含む、請求項１乃至８のいずれかに記載の自律移動ロボット。
10. 前記１又は複数のプロセッサは、受信した前記情報に基づいて前記自律移動ロボットによって認識される移動可能範囲を修正し、前記自律移動ロボットを当該修正された移動可能範囲内を自律移動させる、請求項１乃至９のいずれかに記載の自律移動ロボット。
11. 前記情報は、前記環境に関して前記特定の状況と同じ状況においても前記自律移動ロボットがタスクを実行するために利用される、請求項１乃至１０のいずれかに記載の自律移動ロボット。
12. 前記１又は複数のプロセッサは、前記環境を認識するための訓練済みモデルを用いて、前記１又は複数のセンサで取得された情報に基づいて前記環境を認識し、
    前記訓練済みモデルは、前記情報を用いて訓練された訓練済モデルに更新される、請求項１乃至１１のいずれかに記載の自律移動ロボット。
13. 前記訓練済モデルの訓練は、前記自律移動ロボットとは別の装置において行われる、請求項１２に記載の自律移動ロボット。
14. 前記１又は複数のセンサは、カメラを含む、請求項１乃至１３のいずれかに記載の自律移動ロボット。
15. 前記自律移動ロボットは、産業用ロボット、掃除ロボット、アンドロイド、ペットロボット、自動搬送装置、のいずれかである、請求項１乃至１４のいずれかに記載の自律移動ロボット。
16. 複数の、請求項１乃至１５のいずれかに記載の自律移動ロボットからそれぞれ送信される前記所定の通知に関して、複数の前記情報を収集し、当該収集された複数の情報を用いて当該複数の自律移動ロボットのうちの少なくとも１つの自律移動ロボットの前記環境の認識能力を向上させる、装置。
17. 前記収集された複数の情報を用いて、前記少なくとも１つの自律移動ロボットが備える、前記環境を認識するための訓練済みモデルを更新することで、当該少なくとも１つの自律移動ロボットの前記環境の認識能力を向上させる、請求項１６に記載の装置。
18. １又は複数のメモリと、
    １又は複数のプロセッサと、
    を備える被遠隔操作装置であって、
    遠隔操作対象が実行しているタスクに関するイベントが発生した場合に、前記１又は複数のプロセッサは、
    前記タスクのサブタスクの情報を送信し、
    前記サブタスクに関する指令を受信し、
    前記指令に基づいて前記タスクを実行し、
    前記タスクは、対象を認識する第１サブタスクと、当該認識の結果に基づいて前記遠隔操作対象を動作させる第２サブタスクとを含み、
    前記イベントが発生した場合に受信される前記指令は、前記第１サブタスクの前記認識の誤りを修正する情報を含む修正指令であり、
    前記遠隔操作対象は、前記被遠隔操作装置が備える、又は、前記被遠隔操作装置自身である、被遠隔操作装置。
19. 前記イベントが発生した場合に送信される前記サブタスクの情報は、前記第１サブタスクの情報である、請求項１８に記載の被遠隔操作装置。
20. 所定のタスクを実行するために環境中を自律移動して当該環境を認識する自律移動ロボットと通信する所定の装置であって、
    前記環境に関して特定の状況を認識した前記自律移動ロボットから、当該認識された特定の状況に関する所定の通知を受信する通信部と、
    前記認識された特定の状況に関する前記所定の通知を、前記所定の装置を操作する人に対して通知する出力部と、
    前記認識された特定の状況に関する前記所定の通知に対して、前記人からの当該特定の状況に関する当該人の判断に基づく情報を受け付ける入力部と、
    を有し、
    前記情報は、前記人による前記自律移動ロボットの移動する位置及び方向の指定なしに得られる前記自律移動ロボットの移動範囲に関する情報であり、前記自律移動ロボットによって前記特定の状況において撮影された画像を基にした前記人による指示に基づく、前記特定の状況が認識される原因となった認識誤りを修正する情報であって、前記所定の通知を送信した前記自律移動ロボットが前記所定のタスクを実行する際の自律移動に利用される、
    装置。
21. 前記情報は、前記特定の状況に関して前記自律移動ロボットの自律移動を制御するためのものである、請求項２０に記載の装置。
22. 前記情報は、前記特定の状況において前記人が前記自律移動ロボットを直接的に遠隔操作して移動させる指示ではない、請求項２０又は２１に記載の装置。
23. 前記情報は、移動可能ではないと前記自律移動ロボットによって認識された領域が移動可能であると前記人が指示することで得られる情報である、請求項２０乃至２２のいずれかに記載の装置。
24. 前記情報は、前記自律移動ロボットの移動可能範囲の認識を修正する情報である、請求項２０乃至２３のいずれかに記載の装置。
25. 前記通信部は、前記認識された特定の状況を撮影した前記画像を含む前記所定の通知を受信し、
    前記出力部は、前記画像を表示し、
    前記入力部は、前記表示された画像に基づいた前記情報を受け付ける、請求項２０乃至２４のいずれかに記載の装置。
26. スマートフォンである、請求項２０乃至２５のいずれかに記載の装置。
27. 請求項２０乃至２６のいずれかに記載の装置としてコンピュータを機能させるためのプログラム。