JP7593481B2 - ロボット管理装置、制御方法及び、プログラム - Google Patents

Description

本開示は、ロボットの動作を制御する技術分野に関する。

ロボットがタスクを実行する場合に、タスクの一部を人による外部入力に基づき実行するロボットシステムが提案されている。例えば、特許文献１には、自律制御だけでは困難となった場合に、操作者が操作する操作端末に対して遠隔操作を依頼するロボットシステムが開示されている。

特開２００７－１９０６５９号公報

外部入力に基づきロボットを操作する場合には、作業内容において必要な操作が異なる。一方、特許文献１に記載のロボットシステムは、対話型ロボットであり、操作端末を選択する場合において、操作方法の多様性については考慮されていない。

本開示の目的の１つは、上述した課題を鑑み、外部入力を生成する操作端末を好適に決定することが可能なロボット管理装置、制御方法及び記憶媒体を提供することである。

ロボット管理装置の一の態様は、
タスクを実行するロボットの外部入力に基づく制御の要否を判定する外部入力要否判定手段と、
前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する操作端末決定手段と、を有し、
前記外部入力要否判定手段は、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定し、
前記操作端末決定手段は、前記操作端末を決定できない場合、支援が未実行の前記支援要求情報を蓄積し、支援の緊急度に基づき各支援要求情報の優先度を決定し、前記支援が実行可能となったときに、前記優先度が高い順に前記支援要求情報を処理するロボット管理装置である。

制御方法の一の態様は、
コンピュータが、
タスクを実行するロボットの外部入力に基づく制御の要否判定を行い、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定し、
前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定し、前記操作端末を決定できない場合、支援が未実行の前記支援要求情報を蓄積し、支援の緊急度に基づき各支援要求情報の優先度を決定し、前記支援が実行可能となったときに、前記優先度が高い順に前記支援要求情報を処理する、
制御方法である。

プログラムの一の態様は、
タスクを実行するロボットの外部入力に基づく制御の要否判定を行い、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定し、
前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定し、前記操作端末を決定できない場合、支援が未実行の前記支援要求情報を蓄積し、支援の緊急度に基づき各支援要求情報の優先度を決定し、前記支援が実行可能となったときに、前記優先度が高い順に前記支援要求情報を処理する処理を
コンピュータに実行させるプログラムである。

外部入力を生成する操作端末を好適に決定することが可能となる。

第１実施形態におけるロボット制御システムの構成を示す。 （Ａ）ロボットコントローラのハードウェア構成を示す。（Ｂ）操作端末のハードウェア構成を示す。（Ｃ）ロボット管理装置のハードウェア構成を示す。 アプリケーション情報のデータ構造の一例を示す。 （Ａ）操作端末情報のデータ構造の一例である。（Ｂ）操作者情報のデータ構造の一例である。 ロボット制御システムの処理の概要を示す機能ブロックの一例である。 動作シーケンス生成部の機能的な構成を示す機能ブロックの一例である。 操作画面の第１表示例である。 操作画面の第２表示例である。 第１実施形態においてロボット管理装置が実行するフローチャートの一例である。 第２実施形態におけるロボット管理装置の概略構成図を示す。 第２実施形態におけるロボット管理装置の処理を示すフローチャートの一例である。

以下、図面を参照しながら、本開示における実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、操作端末２（２Ａ、２Ｂ、…）と、ロボット管理装置３と、複数のタスク実行システム５０（５０Ａ、５０Ｂ、…）とを有する。操作端末２とロボット管理装置３とタスク実行システム５０とは、通信網６を介してデータ通信を行う。

操作端末２は、タスク実行システム５０におけるロボット５がタスクを実行するために必要な支援操作を受け付ける端末であり、操作者（操作者ａ～ｃ、…）により使用される。具体的には、支援を要求するタスク実行システム５０が存在する場合に、操作端末２は、ロボット管理装置３による接続制御に基づき、タスク実行システム５０と通信接続を確立し、操作者の操作（手動操作）により生成した外部入力信号「Ｓｅ」を、要求元のタスク実行システム５０に送信する。ここで、外部入力信号Ｓｅは、支援が必要なロボット５の動作を直接的又は間接的に規定する指令を表す操作者の入力信号である。

本実施形態において、操作端末２は、操作方法が異なる複数種類の端末を含んでいる。例えば、操作端末２は、タブレット端末、据置型のパーソナルコンピュータ、ゲームコントローラー、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）端末などを含む。そして、後述するように、支援を要求するタスク実行システム５０が存在する場合に、支援するタスクの内容等に応じ、適切な種類の操作端末２が支援を行う操作端末２として選択される。

なお、操作端末２と操作者とは、１対１の関係であるとは限らず、１つの操作端末２を複数の操作者が使用する態様、複数の操作端末２を１人の操作者が使用する態様などが存在してもよい。また、操作端末２は、タスク実行システム５０において実行させるタスクを指定する操作者の入力をさらに受け付けてもよい。この場合、操作端末２は、当該入力により生成されたタスクの指定情報を、対象のタスク実行システム５０に送信する。

ロボット管理装置３は、操作端末２による支援が必要なタスク実行システム５０と、支援を行う操作端末２との接続を管理する。ロボット管理装置３は、いずれかのタスク実行システム５０から支援要求情報「Ｓｒ」を受信した場合に、要求元のタスク実行システム５０を支援するのに適した操作端末２（及び操作者）を選択し、選択された操作端末２（「対象操作端末２」とも呼ぶ。）と要求元のタスク実行システム５０とが通信接続を確立するための接続制御を実行する。

なお、タスク実行システム５０と対象操作端末２との通信態様は、ＶＰＮ（Virtual Private Network）等を構築して直接的にデータ通信を行う態様であってもよく、ロボット管理装置３がこれらのデータ通信の転送処理を行うことで間接的にデータ通信を行う態様であってもよい。前者の態様では、ロボット管理装置３は、接続制御として、例えば、タスク実行システム５０（詳しくはロボットコントローラ１）又は対象操作端末２の少なくとも一方に対し、これらが直接的に通信できるように、他方の通信アドレスを送信する処理を行う。後者の態様では、ロボット管理装置３は、接続制御として、例えば、タスク実行システム５０及び対象操作端末２の夫々と、転送専用の通信接続を確立する処理を行う。

タスク実行システム５０は、指定されたタスクを実行するロボットシステムであり、夫々異なる環境に設けられる。タスク実行システム５０は、工場でのピッキング作業（例えば、棚からの部品の取り出し、及び、取り出した部品のトレイへの配置等）をタスクとして行うシステムであってもよく、工場以外の任意のロボットシステムであってもよい。このようなロボットシステムの例は、リテールにおける棚入れ作業（例えば、コンテナに入った商品を店舗の棚に並べる作業）を行うロボットシステム、商品チェック（例えば、賞味期限切れの商品を棚から取り出し又は値引きシールの貼り付け）を行うロボットシステムなどを含む。

各タスク実行システム５０は、ロボットコントローラ１（１Ａ、１Ｂ、…）と、ロボット５（５Ａ、５Ｂ、…）と、センサ７（７Ａ、７Ｂ、…）と、を備える。

ロボットコントローラ１は、同一のタスク実行システム５０内に属するロボット５に実行させるタスクが指定された場合に、当該ロボット５の動作計画を策定し、当該動作計画に基づきロボット５を制御する。例えば、ロボットコントローラ１は、時相論理により表したタスクを、ロボット５が受付可能な単位となるタスクのタイムステップ（時間刻み）毎のシーケンスに変換し、生成したシーケンスに基づきロボット５を制御する。以後では、ロボット５が受付可能な単位によりタスクを分解したタスク（コマンド）を、「サブタスク」とも呼び、タスクを達成するためにロボット５が実行すべきサブタスクのシーケンスを「サブタスクシーケンス」又は「動作シーケンス」と呼ぶ。後述するように、サブタスクには、操作端末２による支援（即ち手動制御）が必要なタスクが含まれている。

また、ロボットコントローラ１は、ロボット５の動作シーケンスをタスクから生成するために必要なアプリケーション情報を記憶するアプリケーション情報記憶部４１（４１Ａ、４１Ｂ、…）を有する。アプリケーション情報の詳細は、図３を参照しながら後述する。

また、ロボットコントローラ１は、同一のタスク実行システム５０に属するロボット５及びセンサ７と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。例えば、ロボットコントローラ１は、ロボット５の制御に関する制御信号をロボット５に送信する。他の例では、ロボットコントローラ１は、センサ７が生成したセンサ信号を受信する。さらに、ロボットコントローラ１は、操作端末２と、通信網６を介してデータ通信を行う。

ロボット５は、タスク実行システム５０毎に１台又は複数台存在し、同一のタスク実行システム５０に属するロボットコントローラ１から供給される制御信号に基づきタスクに関する作業を行う。ロボット５は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよく、ロボットアームなどの夫々が独立して動作する制御対象物（マニピュレータ、エンドエフェクタ）を複数有してもよい。また、ロボット５は、作業空間内で動作する他のロボット、作業者又は工作機械と協働作業を行うものであってもよい。また、ロボットコントローラ１とロボット５とは、一体に構成されてもよい。

また、ロボット５は、ロボット５の状態を示す状態信号を、同一のタスク実行システム５０に属するロボットコントローラ１に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５に供給された動作シーケンスの進捗状態を示す信号であってもよい。

センサ７は、各タスク実行システム５０においてタスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。センサ７は、生成した信号（「センサ信号」とも呼ぶ。）を、同一のタスク実行システム５０に属するロボットコントローラ１に供給する。センサ７は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、センサ７は、ロボット５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、センサ７は、作業空間内の音を検出するセンサを含んでもよい。このように、センサ７は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。

なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボットコントローラ１が有するロボット制御機能がロボット管理装置３に集約されていてもよい。この場合、ロボット管理装置３は、各タスク実行システム５０に存在するロボット５に対する動作シーケンスの生成及び動作シーケンスをロボット５が実行するために必要な制御を行う。他の例では、ロボット管理装置３は、複数の装置から構成されてもよい。この場合、ロボット管理装置３を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。さらに別の例では、アプリケーション情報記憶部４１は、ロボットコントローラ１とデータ通信を行う１または複数の外部記憶装置から構成されてもよい。この場合、外部記憶装置は、各タスク実行システム５０で共通して参照されるアプリケーション情報記憶部４１を記憶する１又は複数のサーバ装置であってもよい。

（２）ハードウェア構成
図２（Ａ）は、ロボットコントローラ１（１Ａ、１Ｂ、…）のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、ロボットコントローラ１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、ロボットコントローラ１が実行する処理を実行するためのプログラムが記憶される。また、メモリ１２は、アプリケーション情報記憶部４１として機能する。なお、メモリ１２が記憶する情報の一部は、ロボットコントローラ１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、ロボットコントローラ１に対して着脱自在な記憶媒体により記憶されてもよい。

インターフェース１３は、ロボットコントローラ１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

なお、ロボットコントローラ１のハードウェア構成は、図２（Ａ）に示す構成に限定されない。例えば、ロボットコントローラ１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。

図２（Ｂ）は、操作端末２のハードウェア構成を示す。操作端末２は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４ａと、表示部２４ｂと、音出力部２４ｃと、を含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２０を介して接続されている。また、インターフェース２３には、入力部２４ａと表示部２４ｂと音出力部２４ｃとが接続されている。

プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、ＣＰＵ、ＧＰＵ、ＴＰＵなどのプロセッサである。また、プロセッサ２１は、インターフェース２３を介してタスク実行システム５０から受信する情報に基づき、表示部２４ｂ又は音出力部２４ｃの少なくとも一方を、インターフェース２３を介して制御する。これにより、プロセッサ２１は、操作者が実行すべき操作を支援する情報を、操作者に提示する。また、プロセッサ２１は、入力部２４ａが生成した信号を、インターフェース２３を介し、支援要求情報Ｓｒの送信元のタスク実行システム５０に対し、外部入力信号Ｓｅとして送信する。プロセッサ２１は、複数のプロセッサから構成されてもよい。プロセッサ２１は、コンピュータの一例である。

メモリ２２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ２２には、操作端末２が実行する処理を実行するためのプログラムが記憶される。

インターフェース２３は、操作端末２と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。また、インターフェース２３は、入力部２４ａ、表示部２４ｂ及び音出力部２４ｃのインターフェース動作を行う。

入力部２４ａは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。また、入力部２４ａは、操作端末２の種類によっては、ロボット５への動作を直接的に規定する指令を表すユーザの入力を受け付ける操作部を含んでいる。この操作部は、例えば、外部入力に基づくロボット５の制御においてユーザが操作するロボット用コントローラ（操作盤）であってもよく、ユーザの動きに即したロボット５への動作指令を生成するロボット用入力システムであってもよく、ゲームコントローラーであってもよい。上述のロボット用コントローラは、例えば、動かすロボット５の部位等の指定や動きの指定などを行うための各種ボタン、及び、移動方向を指定するための操作バーなどを含む。上述のロボット用入力システムは、例えば、モーションキャプチャなどにおいて使用される各種センサ（例えば、カメラ、装着用センサ等を含む）を含む。

表示部２４ｂは、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ２１の制御に基づき表示を行う。また、表示部２４ｂは、仮想現実を実現するためのコンバイナ（反射性及び透過性を有する板状部材）及び表示光を出射する光源の組み合わせであってもよい。また、音出力部２４ｃは、例えば、スピーカであり、プロセッサ２１の制御に基づき音出力を行う。

なお、操作端末２のハードウェア構成は、図２（Ｂ）に示す構成に限定されない。例えば、入力部２４ａ、表示部２４ｂ、又は音出力部２４ｃの少なくともいずれかは、操作端末２と電気的に接続する別体の装置として構成されてもよい。また、操作端末２は、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。

図２（Ｃ）は、ロボット管理装置３のハードウェア構成を示す。ロボット管理装置３は、ハードウェアとして、プロセッサ３１と、メモリ３２と、インターフェース３３とを含む。プロセッサ３１、メモリ３２及びインターフェース３３は、データバス３０を介して接続されている。

プロセッサ３１は、メモリ３２に記憶されているプログラムを実行することにより、ロボット管理装置３の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ３１は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵなどのプロセッサである。プロセッサ３１は、複数のプロセッサから構成されてもよい。プロセッサ３１は、コンピュータの一例である。

メモリ３２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ３２には、ロボットコントローラ１が実行する処理を実行するためのプログラムが記憶される。また、メモリ３２は、タスク実行システム５０に対する支援を受け付け可能な操作端末２に関する情報である操作端末情報３８と、当該操作端末２を操作する操作者に関する情報である操作者情報３９とを記憶する。操作端末情報３８及び操作者情報３９の詳細については後述する。操作端末情報３８及び操作者情報３９は、インターフェース３３を介して接続する図示しない入力部による管理者の入力に基づき生成されてメモリ３２に記憶された情報であってもよく、インターフェース３３を介して操作端末２等から受信した情報であってもよい。

インターフェース３３は、ロボット管理装置３と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

なお、ロボット管理装置３のハードウェア構成は、図２（Ｃ）に示す構成に限定されない。例えば、ロボット管理装置３は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。

（３）データ構造
まず、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。

図３は、アプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。

抽象状態指定情報Ｉ１は、動作シーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、タスクの種類毎に、定義する必要がある抽象状態を指定する。

制約条件情報Ｉ２は、タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム）が接触してはいけないという制約条件、ロボット５（ロボットアーム）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。

動作限界情報Ｉ３は、ロボットコントローラ１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報Ｉ３は、ロボット５の可動部位又は関節ごとに動作限界を規定する情報であってもよい。

サブタスク情報Ｉ４は、動作シーケンスの構成要素となるサブタスクの情報を示す。「サブタスク」は、ロボット５が受付可能な単位によりタスクを分解したタスクであって、細分化されたロボット５の動作を指す。例えば、タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。サブタスク情報Ｉ４は、タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。

また、サブタスク情報Ｉ４には、外部入力による動作指令が必要なサブタスク（「外部入力型サブタスク」とも呼ぶ。）に関する情報が含まれている。この場合、外部入力型サブタスクに関するサブタスク情報Ｉ４には、例えば、サブタスクの識別情報と、外部入力型サブタスクであることを識別するフラグ情報と、当該外部入力型サブタスクでのロボット５の動作内容に関する情報とが含まれる。また、外部入力型サブタスクに関するサブタスク情報Ｉ４には、操作端末２に外部入力を要求するためのテキスト情報、想定される作業時間長に関する情報などがさらに含まれてもよい。

抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット５により作業対象となる物（「対象物」とも呼ぶ。）をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、タスクの種類毎に適した抽象モデルに関する情報を有している。

物体モデル情報Ｉ６は、センサ７が生成した信号から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の作業体などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などをロボットコントローラ１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。

なお、アプリケーション情報記憶部４１は、上述した情報の他、動作シーケンスの生成処理及び外部入力信号Ｓｅを生成する操作を受け付けるために必要な表示処理に関する種々の情報を記憶してもよい。

図４（Ａ）は、操作端末情報３８のデータ構造の一例である。図４（Ａ）に示すように、操作端末情報３８は、操作端末２ごとに存在し、主に、端末ＩＤ３８１と、端末種類情報３８２と、アドレス情報３８３と、対応操作者ＩＤ３８４と、を含んでいる。

端末ＩＤ３８１は、対応する操作端末２の端末ＩＤである。なお、端末ＩＤ３８１は、操作端末２を識別可能な任意の識別情報であってもよい。端末種類情報３８２は、対応する操作端末２の端末の種類を表す情報である。操作端末２の種類は、例えば、受け付ける操作態様の違いに基づき分類されている。

アドレス情報３８３は、対応する操作端末２と通信を行うために必要な通信情報であり、例えば、所定の通信プロトコルに従い通信する際に必要な通信アドレス（ＩＰアドレス等を含む）に関する情報である。アドレス情報３８３は、例えば、対象操作端末２とタスク実行システム５０との通信接続を確立するための接続制御において用いられる。対応操作者ＩＤ３８４は、対応する操作端末２を操作する操作者の識別情報（操作者ＩＤ）である。対応操作者ＩＤ３８４は、複数の操作者の操作者ＩＤを示すものであってもよい。

図４（Ｂ）は、操作者情報３９のデータ構造の一例である。図４（Ｂ）に示すように、操作者情報３９は、タスク実行システム５０への支援を行う者として登録された操作者ごとに存在し、主に、操作者ＩＤ３９１と、スキル情報３９２と、操作実績情報３９３と、状態管理情報３９４と、操作可能端末ＩＤ３９５とを含んでいる。

操作者ＩＤ３９１は、対応する操作者の操作者ＩＤである。スキル情報３９２は、対応する操作者の操作端末２を用いた操作のスキル（熟練度）を表す情報である。スキル情報３９２は、操作する操作端末２の種類ごとに操作者の操作のスキルレベルを示すものであってもよい。操作実績情報３９３は、タスク実行システム５０からの支援要求に応じた操作に関する操作者の実績情報である。操作実績情報３９３は、操作する操作端末２の種類ごとに操作者の操作実績を示すものであってもよい。

操作実績情報３９３は、例えば、タスク実行システム５０からの支援要求に応じた操作の回数、操作者としての登録期間（経験年数）、操作による成功と失敗の各回数若しくは割合などを含んでいる。ここで、「成功と失敗」は、例えば、エラー発生に基づくタスク実行システム５０からの支援要求であった場合に、操作端末２からの外部入力信号Ｓｅの供給により要求元のタスク実行システム５０のエラーが解消したか否かに基づき判定される。なお、エラー発生以外の場合、「成功と失敗」は、例えば、操作端末２からの外部入力信号Ｓｅの供給後に、タスクが正常終了したか否かに基づき判定されてもよい。

なお、操作実績情報３９３は、タスク実行システム５０からの支援要求に応じた操作ごとに生成される操作履歴を含んでもよい。この場合、タスク実行システム５０からの支援要求があったタスクに関する情報、支援要求元のタスク実行システム５０に関する情報、操作が行われた日時情報、操作時間長などの種々の情報が操作履歴として操作実績情報３９３に記録される。プロセッサ３１は、例えば、タスク実行システム５０からの支援要求及び要求に応じた支援が行われるたびに、要求元のタスク実行システム５０から受信する情報等に基づき操作実績情報３９３を更新する。

状態管理情報３９４は、対応する操作者の状態管理に関する情報であり、例えば、操作者が操作可能な日時又は時間帯を示すスケジュール情報であってもよく、操作者が現在対応可能な状態（例えば在席状態）であるか否かを示す情報であってもよい。プロセッサ３１は、例えば、各操作者のスケジュールを管理する他のシステムから操作者のスケジュール情報及び在席／離席の情報等を受信する、又は、操作者の状態に関する手動入力を受け付けること等により、状態管理情報３９４を所定のタイミングにおいて更新してもよい。このように、操作端末情報３８及び操作者情報３９の各情報は、必要なタイミングにおいて更新される。

操作可能端末ＩＤ３９５は、対応する操作者が操作可能な端末ＩＤ（図４（Ａ）の端末ＩＤ３８１）である。なお、操作可能端末ＩＤ３９５は、１つの操作端末２の端末ＩＤであってもよく、複数の操作端末２の端末ＩＤであってもよい。

なお、操作端末情報３８及び操作者情報３９のデータ構造は、図４（Ａ）及び図４（Ｂ）に示すデータ構造に限られない。例えば、操作端末情報３８は、操作者情報３９が有する状態管理情報３９４に相当する、操作端末２の状態を管理する情報をさらに有してもよい。また、操作端末２と操作者とが１対１に対応している場合には、操作端末情報３８と操作者情報３９はいずれか一方に統合されてもよい。

（４）機能ブロック
図５は、ロボット制御システム１００の処理の概要を示す機能ブロックの一例である。ロボットコントローラ１のプロセッサ１１は、機能的には、出力制御部１５と、動作シーケンス生成部１６と、ロボット制御部１７と、切替判定部１８とを有する。また、操作端末２のプロセッサ２１は、機能的には、情報提示部２５と、外部制御部２６とを有する。また、ロボット管理装置３のプロセッサ３１は、機能的には、外部入力要否判定部３５と、操作端末決定部３６と、接続制御部３７とを有する。なお、図５に示す機能ブロックでは、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せ及び授受が行われるデータは図５に限定されない。後述する他の機能ブロックの図においても同様である。また、図５では、操作端末２による操作者の操作態様の例を、吹き出し６０内において例示している。

まず、ロボットコントローラ１の機能について説明する。ロボットコントローラ１は、生成した動作シーケンスに基づきロボット５の制御を実行し、操作端末２による支援が必要であると判定した場合に、支援要求情報Ｓｒをロボット管理装置３に送信する。これにより、ロボットコントローラ１は、自動制御のみでは対応できない場合においても、ロボット５の制御モードを外部入力信号Ｓｅに基づく制御（「外部入力制御」とも呼ぶ。）へ円滑に切り替えてタスクを遂行する。以下、ロボットコントローラ１の機能的な構成要素について説明する。

出力制御部１５は、インターフェース１３を介した支援要求情報Ｓｒの送信及び外部入力信号Ｓｅの受信に関する処理を行う。この場合、出力制御部１５は、外部入力制御への切替指令「Ｓｗ」が切替判定部１８から供給された場合に、必要な外部入力を要求する支援要求情報Ｓｒを、操作端末２に送信する。

ここで、支援要求情報Ｓｒには、支援が必要なタスク（サブタスク）に関する情報が含まれている。具体的には、支援要求情報Ｓｒには、例えば、要求が必要となった日時を示す日時情報、支援の対象となるロボット５の種類情報、タスクの識別情報、支援の対象となるサブタスクの識別情報、当該サブタスクの想定される作業時間長、ロボット５の必要な動作内容、エラーが発生した場合の当該エラーに関するエラー情報などが含まれている。エラー情報は、エラーの種類を示すエラーコード等である。なお、エラー情報は、エラー発生時の状況を表す情報（例えば映像情報）などを含んでもよい。また、ロボット管理装置３による接続制御に基づき操作端末２とロボットコントローラ１との通信接続が確立された場合には、出力制御部１５は、操作端末２の操作者の操作画面の表示に必要な情報（「操作画面情報」とも呼ぶ。）を、操作端末２に送信する。また、出力制御部１５は、操作端末２から外部入力信号Ｓｅを受信した場合には、当該外部入力信号Ｓｅをロボット制御部１７に供給する。

動作シーケンス生成部１６は、センサ７が出力する信号と、アプリケーション情報とに基づき、指定されたタスクを完了するために必要なロボット５の動作シーケンス「Ｓｖ」を生成する。動作シーケンスＳｖは、タスクを達成するためにロボット５が実行すべきサブタスクのシーケンス（サブタスクシーケンス）に相当し、ロボット５の一連の動作を規定する。そして、動作シーケンス生成部１６は、生成した動作シーケンスＳｖをロボット制御部１７及び切替判定部１８に供給する。ここで、動作シーケンスＳｖには、各サブタスクの実行順序及び実行タイミングを示す情報が含まれている。

ロボット制御部１７は、インターフェース１３を介して制御信号をロボット５に供給することで、ロボット５の動作を制御する。ロボット制御部１７は、動作シーケンスＳｖを動作シーケンス生成部１６から受信した後、ロボット５の制御を行う。この場合、ロボット制御部１７は、制御信号をロボット５に送信することで、動作シーケンスＳｖを実現するためのロボット５の関節の位置制御又はトルク制御などを実行する。そして、ロボット制御部１７は、切替判定部１８から供給される切替指令Ｓｗに基づき、ロボット５の制御モードを外部入力制御に切り替える。

外部入力制御では、ロボット制御部１７は、操作端末２により生成された外部入力信号Ｓｅを、インターフェース１３を介して受信する。この外部入力信号Ｓｅは、例えば、ロボット５の具体的な動作を規定する情報（例えば、ロボット５の動作を直接的に定めた制御入力に相当する情報）を含んでいる。そして、ロボット制御部１７は、受信した外部入力信号Ｓｅに基づき制御信号を生成し、生成した制御信号をロボット５に送信することで、ロボット５を制御する。外部入力制御においてロボット制御部１７が生成する制御信号は、例えば、外部入力信号Ｓｅをロボット５が受け付け可能なデータ形式に変換した信号である。なお、このような変換処理がロボット５において行われる場合には、ロボット制御部１７は、外部入力信号Ｓｅをそのまま制御信号としてロボット５に供給してもよい。

また、外部入力信号Ｓｅは、ロボット５の具体的な動作を規定する情報である代わりに、タスク実行システム５０による作業状態の認識を支援する情報であってもよい。例えば、タスク実行システム５０において、ピックアンドプレイスの対象となる対象物が認識できなくなった場合、外部入力信号Ｓｅは、対象物の位置を示す情報であってもよい。この場合、操作端末２は、タスク実行システム５０との通信接続の確立後、作業環境を撮影した画像を操作端末２から受信し、当該画像から対象物を指定する操作者の操作を受け付けることで、対象物の領域を指定する外部入力信号Ｓｅを生成する。そして、ロボット制御部１７は、当該外部入力信号Ｓｅに基づき対象物を認識し、中断した動作シーケンスに基づくロボット制御を再開する。

なお、ロボット制御部１７に相当する機能を、ロボットコントローラ１に代えてロボット５が有してもよい。この場合、ロボット５は、動作シーケンス生成部１６が生成する動作シーケンスＳｖと、切替判定部１８が生成する切替指令Ｓｗと、外部入力信号Ｓｅとに基づき動作を行う。

切替判定部１８は、動作シーケンスＳｖ等に基づいて、外部入力制御への制御モードの切替の要否判定を行う。例えば、切替判定部１８は、動作シーケンスＳｖに組み込まれた外部入力型サブタスクの実行タイミングになった場合に、外部入力制御への制御モードの切替が必要であると判定する。他の例では、切替判定部１８は、生成された動作シーケンスＳｖが計画通りに実行されない場合に、何らかの異常が発生したとみなし、外部入力制御へのロボット５の制御の切替が必要であると判定する。この場合、例えば、切替判定部１８は、動作シーケンスＳｖに基づく計画との時間的又は／空間的なずれが発生していることを検知した場合に、何らかの異常が発生したと判定する。なお、切替判定部１８は、ロボット５からエラー信号等を受信することにより、又は、センサ７が出力するセンサ信号（作業空間を撮影した画像等）を解析することにより、異常発生を検知してもよい。そして、切替判定部１８は、外部入力制御への制御モードの切替が必要と判定した場合、外部入力制御への制御モードの切替を指示する切替指令Ｓｗを、出力制御部１５及びロボット制御部１７に供給する。

次に、操作端末２の機能ブロックについて説明する。

情報提示部２５は、ロボット管理装置３による接続制御に基づき支援要求元のタスク実行システム５０と操作端末２との通信接続が確立された場合に、タスク実行システム５０から供給される操作画面情報などに基づき、表示部２４ｂに操作画面を表示する。操作画面では、例えば、外部入力により指定すべきロボット５の動作内容に関する情報が表示される。これにより、情報提示部２５は、操作に必要な情報を操作者に提示する。この場合、情報提示部２５は、音出力部２４ｃを制御することで、操作に必要な音声案内を出力してもよい。

外部制御部２６は、操作画面を参照した操作者による操作に応じて入力部２４ａが出力する信号を外部入力信号Ｓｅとして取得し、取得した外部入力信号Ｓｅを、支援要求元のタスク実行システム５０へインターフェース２３を介して送信する。この場合、外部制御部２７は、例えば、操作者の操作に応じたリアルタイムでの外部入力信号Ｓｅの取得及び当該外部入力信号Ｓｅの送信を行う。

次に、ロボット管理装置３の機能ブロックについて説明する。

外部入力要否判定部３５は、外部入力による支援の要否を判定する。本実施形態では、外部入力要否判定部３５は、タスク実行システム５０からインターフェース３３を介して支援要求情報Ｓｒを受信した場合に、外部入力による支援が必要であると判定する。そして、外部入力要否判定部３５は、支援要求情報Ｓｒを操作端末決定部３６に供給する。

操作端末決定部３６は、支援要求情報Ｓｒと、操作端末情報３８（及び操作者情報３９）とに基づき、支援要求情報Ｓｒの送信元であるタスク実行システム５０を支援する操作端末２及び操作者を決定する。この決定方法の具体例については後述する。

接続制御部３７は、操作端末決定部３６が決定した対象操作端末２と支援要求元のタスク実行システム５０との間の通信接続を確立させる接続制御を行う。この場合、接続制御部３７は、例えば、対象操作端末２とタスク実行システム５０とが直接的に通信接続を確立できるように、対象操作端末２又はタスク実行システム５０の少なくとも一方に対し、他方の通信アドレスを送信する。他の例では、接続制御部３７は、外部入力制御中において対象操作端末２とタスク実行システム５０間でやりとりするデータの転送処理に必要な対象操作端末２及びタスク実行システム５０との通信接続を確立する。この場合、接続制御部３７は、外部入力制御中では、操作端末２が生成する外部入力信号Ｓｅ等を受信し、受信した外部入力信号Ｓｅ等をタスク実行システム５０（詳しくはロボットコントローラ１）へ転送する処理、及び、タスク実行システム５０が生成する操作画面情報等を受信し、受信した操作画面情報等を操作端末２へ転送する処理などを行う。

ここで、外部入力要否判定部３５、操作端末決定部３６、及び接続制御部３７の各構成要素は、例えば、プロセッサ３１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。図５に示すロボットコントローラ１及び操作端末２の構成要素についても同様である。

（４）操作端末決定部の処理の詳細
次に、操作端末決定部３６による対象操作端末２の決定方法について説明する。概略的には、操作端末決定部３６は、支援要求情報Ｓｒに含まれるタスクに関する情報と、少なくとも操作端末情報３８の端末種類情報３８２とを参照し、対象操作端末２を決定する。以下では、この具体例について説明する。

第１の例では、操作端末決定部３６は、要求元のタスク実行システム５０のロボット５の種類と、操作端末情報３８の端末種類情報３８２とに基づき、支援操作を行う操作端末２を決定する。一般に、ロボットの種類によって操作しやすいユーザインタフェースは異なる。従って、第１の例に係る操作端末決定部３６は、要求元のタスク実行システム５０のロボット５の支援操作に適したユーザインタフェースを有する操作端末２を選択する。例えば、操作端末決定部３６は、対象のロボット５がロボットアームの場合には、ゲームコントローラーをユーザインタフェースとして有する操作端末２を選択する。他の例では、操作端末決定部３６は、対象のロボット５が人型ロボットの場合には、ＶＲによる操作が可能な操作端末２を選択する。

ここで、第１の例の具体的処理について補足説明する。例えば、メモリ３２には、ロボット５の種類ごとに、支援操作に適した操作端末２の種類を対応付けた情報（「ロボット・操作端末対応情報」とも呼ぶ。）が記憶されている。そして、操作端末決定部３６は、ロボット・操作端末対応情報を参照し、支援要求情報Ｓｒが示すロボット５の種類から、支援操作に適した操作端末２の種類を認識する。そして、操作端末決定部３６は、当該種類に該当する操作端末２を、操作端末情報３８に含まれる端末種類情報３８２に基づき特定し、特定した操作端末２を対象操作端末２として決定する。

ここで、第１の例に基づき選定した操作端末２が複数存在する場合には、操作端末決定部３６は、後述する第２の例～第４の例の少なくともいずれかに基づき、対象操作端末２を決定してもよく、無作為抽出により対象操作端末２を決定してもよい。

第２の例では、第１の例に代えて、又は、第１の例に加えて、操作端末決定部３６は、支援要求情報Ｓｒに含まれるエラー情報と、操作端末情報３８の端末種類情報３８２とに基づき、対象操作端末２を決定する。これにより、操作端末決定部３６は、発生したエラーへの対処が容易な操作端末２を対象操作端末２として好適に決定する。例えば、操作端末決定部３６は、エラー情報がピックアンドプレイスにおいて把持に失敗したことを示す場合には、ゲームコントローラーをユーザインタフェースとして有する操作端末２を選択する。他の例では、操作端末決定部３６は、エラー情報が商品情報の取得に失敗したことを示す場合には、パーソナルコンピュータである操作端末２を選択する。

ここで、第２の例の具体的処理について補足説明する。例えば、メモリ３２には、発生し得るエラーの種類ごとに、支援操作に適した操作端末２の種類を対応付けた情報（「エラー・操作端末対応情報」とも呼ぶ。）が記憶されている。そして、操作端末決定部３６は、エラー・操作端末対応情報を参照し、支援要求情報Ｓｒが示すエラーの種類から、支援操作に適した操作端末２の種類を認識する。そして、操作端末決定部３６は、当該種類に該当する操作端末２を、操作端末情報３８に含まれる端末種類情報３８２に基づき特定し、特定した操作端末２を対象操作端末２として決定する。

ここで、第２の例に基づき選定した操作端末２が複数存在する場合には、操作端末決定部３６は、第１の例、後述する第３の例～第４の例の少なくともいずれかに基づき、対象操作端末２を決定してもよく、無作為抽出により対象操作端末２を決定してもよい。

また、操作端末決定部３６は、端末種類情報３８２に加えて、端末種類情報３８２以外の操作端末情報３８又は操作者情報３９に含まれる情報をさらに用いて、対象操作端末２を決定する処理を行ってもよい。この具体例について、第３の例及び第４の例として説明する。以下の第３の例及び第４の例は、例えば、上述した第１の例又は第２の例と組み合わせて実行される。

第３の例では、操作端末決定部３６は、支援要求情報Ｓｒが示すエラーの種類に基づき、操作者を決定する。この場合、例えば、メモリ３２には、エラーの種類ごとに、支援操作に必要な操作者の実績又は／及びスキルの条件を定めた情報（「エラー・操作者対応情報」とも呼ぶ。）が記憶されている。そして、操作端末決定部３６は、エラー・操作者対応情報を参照し、支援要求情報Ｓｒが示すエラーの種類から、支援操作に必要な操作者の実績又は／及びスキルの条件を認識する。そして、操作端末決定部３６は、当該実績又は／及びスキルの条件を満たす操作者を、操作者情報３９に含まれるスキル情報３９２又は／及び操作実績情報３９３を参照して特定し、特定した操作者が使用する操作端末２を、対象操作端末２として決定する。

第４の例では、操作端末決定部３６は、状態管理情報３９４に基づき、支援操作を実行可能な状態である操作者が使用する操作端末２を、対象操作端末２として決定する。この場合、操作端末決定部３６は、状態管理情報３９４を参照し、現時点において対応可能な操作者を特定し、特定した操作者が使用する操作端末２を対象操作端末２として決定する。これにより、例えば、海外滞在者を操作者に含み、かつ、タスク実行システム５０が常時稼働するような場合に、操作端末決定部３６は、対応可能な操作者（即ち業務時間中となる地域に存在する操作者）を適切に選び、当該操作者が使用する操作端末２を対象操作端末２して決定することができる。

次に、対象操作端末２を決定できず、外部入力制御が開始できない場合について補足説明する。このようなケースとして、例えば、上述した第１の例～第４の例の少なくともいずれかに基づき対象操作端末２を選定しようとした場合に、該当する操作端末２が存在しない場合などが該当する。

この場合、操作端末決定部３６は、例えば、支援要求元のタスク実行システム５０に対し、自律でのリカバリ等の外部入力制御を伴わないロボット制御を促す情報を送信する。他の例では、操作端末決定部３６は、支援が未実行の支援要求情報Ｓｒを蓄積し、支援が実行可能となるまで、支援要求元のタスク実行システム５０を待機状態とする。この場合、操作端末決定部３６は、ＦＩＦＯ（First In, First Out）方式に従い順に支援要求情報Ｓｒを処理してもよく、蓄積した各支援要求情報Ｓｒの優先度を決定し、優先度が高い順に支援要求情報Ｓｒを処理してもよい。この場合、操作端末決定部３６は、例えば、支援要求情報Ｓｒに含まれるタスクの種類又はタスクの優先度等に関する情報に基づくタスクの優先度、又は／及び、支援要求元のタスク実行システム５０での作業進捗状況から特定される支援の緊急度等に基づき、各支援要求情報Ｓｒの優先度を決定する。

（５）動作シーケンス生成部の詳細
図６は、動作シーケンス生成部１６の機能的な構成を示す機能ブロックの一例である。動作シーケンス生成部１６は、機能的には、抽象状態設定部１６１と、目標論理式生成部１６２と、タイムステップ論理式生成部１６３と、抽象モデル生成部１６４と、制御入力生成部１６５と、サブタスクシーケンス生成部１６６と、を有する。

抽象状態設定部１６１は、センサ７から供給されるセンサ信号と、抽象状態指定情報Ｉ１と、物体モデル情報Ｉ６と、に基づき、作業空間内の抽象状態を設定する。この場合、抽象状態設定部１６１は、タスクを実行する際に考慮する必要がある作業空間内の物体を認識し、当該物体に関する認識結果「Ｉｍ」を生成する。そして、抽象状態設定部１６１は、認識結果Ｉｍに基づいて、タスクを実行する際に考慮する必要がある各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部１６１は、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を、目標論理式生成部１６２に供給する。

目標論理式生成部１６２は、抽象状態設定情報ＩＳに基づき、タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部１６２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部１６２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部１６３に供給する。

タイムステップ論理式生成部１６３は、目標論理式生成部１６２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部１６３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部１６５に供給する。

抽象モデル生成部１６４は、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５と、抽象状態設定部１６１から供給される認識結果Ｉｍとに基づき、作業空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデルΣは、例えば、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムであってもよい。抽象モデル生成部１６４は、生成した抽象モデルΣを、制御入力生成部１６５へ供給する。

制御入力生成部１６５は、タイムステップ論理式生成部１６３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部１６４から供給される抽象モデルΣとを満たし、評価関数（たとえば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部１６５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃｎ」とも呼ぶ。）を、サブタスクシーケンス生成部１６６へ供給する。

サブタスクシーケンス生成部１６６は、制御入力生成部１６５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクのシーケンスである動作シーケンスＳｖを生成し、動作シーケンスＳｖをロボット制御部１７及び切替判定部１８へ供給する。

（６）操作画面
図７は、操作端末２が表示する操作画面の第１表示例である。操作端末２の情報提示部２５は、支援要求情報Ｓｒの送信元のタスク実行システム５０のロボットコントローラ１から操作画面情報を受信することで、図７に示す操作画面を表示するよう制御している。ここでは、ロボットコントローラ１は、外部入力型サブタスクの実行タイミング（即ち、外部入力が必要な作業工程）となったことから、当該外部入力型サブタスクの実行に必要な外部入力信号Ｓｅを受信するために支援要求情報Ｓｒをロボット管理装置３に送信し、その後にロボット管理装置３による接続制御に基づき、操作端末２と通信接続を確立している。図７に示す操作画面は、主に、作業空間表示欄７０と、動作内容表示領域７３とを有している。

ここで、作業空間表示欄７０には、現在の作業空間を撮影した画像又は現在の作業空間を模式的に表すＣＡＤ画像である作業空間画像が表示されており、動作内容表示領域７３には、外部入力によりロボット５を動作させる必要がある内容が表示されている。なお、ここでは、一例として、対象となるサブタスクは、障害物に隣接してロボット５が直接把持することができない対象物を把持可能な位置まで移動させて掴むサブタスクであるものとする。

図７の例では、操作端末２は、ロボット５に実行させる動作内容（ここでは、対象物を所定位置まで移動させて第１アームにより掴むこと）を指示するガイド文章を動作内容表示領域７３上に表示している。また、操作端末２は、作業空間表示欄７０に表示される作業空間画像上において、作業対象となる対象物を囲む太丸枠７１と、対象物の移動先を示す破線丸枠７２と、ロボット５の各アームの名称（第１アーム、第２アーム）とを表示している。作業空間表示欄７０においてこのような表示を追加することで、操作端末２は、動作内容表示領域７３のテキスト文を参照する操作者に対し、作業に必要なロボットアーム、及び、作業対象となる対象物とその移動先を好適に認識させることができる。

ここでは、動作内容表示領域７３において示されるロボット５の動作内容は、対象のサブタスクの次のサブタスクに遷移するための条件（「シーケンス遷移条件」とも呼ぶ。）を満たすものとなっている。シーケンス遷移条件は、生成された動作シーケンスＳｖにおいて想定されている対象のサブタスクの終了状態（あるいは次のサブタスクの開始状態）を示す条件に相当する。図７の例におけるシーケンス遷移条件は、第１アームが所定位置において対象物を掴んだ状態であることを示す。このように、操作端末２は、シーケンス遷移条件を満たすために必要な動作を指示したガイド文章を動作内容表示領域７３において表示することで、次のサブタスクへ円滑に遷移するために必要な外部入力を好適に支援することができる。

以上のように、図７に示す操作画面によれば、外部入力制御が必要な外部入力型サブタスクの実行時において、操作者による適切な操作を受け付けることができる。

図８は、操作画面の第２表示例を示す。操作端末２の情報提示部２５は、支援要求情報Ｓｒの送信元のタスク実行システム５０のロボットコントローラ１から操作画面情報を受信することで、図８に示す操作画面を表示するよう制御している。図８に示す操作画面は、主に、作業空間表示欄７０と、動作内容表示領域７３とを有している。

第２表示例では、何らかのアクシデントによって、１つの対象物が障害物の裏に転がってしまい、当該対象物がロボットアームにより直接把持ができない状態となっている。この場合、ロボットコントローラ１は、動作シーケンスＳｖに基づく計画との時間的又は／空間的なずれが発生していること等を検知したことから、自律でのロボット制御の継続が不適であると判定し、支援要求情報Ｓｒをロボット管理装置３に送信し、その後に通信接続を確立した操作端末２に操作画面情報を送信する。

そして、情報提示部２５は、図８に示すように、対象物のピックアンドプレイスに関して異常が発生した旨、及び、当該対象物をゴール地点に移動させる外部入力が必要である旨を、動作内容表示領域７３上に表示する。また、出力制御部１５は、作業空間表示欄７０に表示される画像上において、作業対象となる対象物を囲む太丸枠７１と、ロボット５の各アームの名称（第１アーム、第２アーム）とを表示している。

このように、図８に示す操作画面によれば、異常の発生により外部入力制御が必要となった場合に、操作者による適切な操作を受け付けることができる。なお、操作端末２は、図７及び図８の操作画面の表示と共に、必要な外部入力信号Ｓｅを生成するための操作を指示するガイダンス音声を出力してもよい。

（７）処理フロー
図９は、第１実施形態においてロボット管理装置３が実行する処理の概要を示すフローチャートの一例である。

まず、ロボット管理装置３の外部入力要否判定部３５は、支援要求情報Ｓｒを受信したか否か判定する（ステップＳ１１）。そして、外部入力要否判定部３５は、支援要求情報Ｓｒを受信したと判定した場合（ステップＳ１１；Ｙｅｓ）、ステップＳ１２に処理を進める。そして、ロボット管理装置３の操作端末決定部３６は、支援要求情報Ｓｒ及び操作端末情報３８等に基づき、対象操作端末２を決定する（ステップＳ１２）。なお、この場合、操作端末決定部３６は、操作端末情報３８に加えて操作者情報３９をさらに参照し、支援操作に適した操作者を決定する処理を行ってもよい。

そして、ロボット管理装置３の接続制御部３７は、対象操作端末２と、要求元のタスク実行システム５０との通信接続を確立させる接続制御を行う（ステップＳ１３）。これにより、接続制御部３７は、決定した対象操作端末２と要求元のタスク実行システム５０との通信接続を確立させる。その後、決定した対象操作端末２と要求元のタスク実行システム５０とは、操作画面情報、外部入力信号Ｓｅ等の授受を行う。

ステップＳ１３の実行後、又は、ステップＳ１１において支援要求情報Ｓｒを受信していない場合（ステップＳ１１；Ｎｏ）、ロボット管理装置３は、フローチャートの処理を終了すべきか否か判定する（ステップＳ１４）。例えば、ロボット管理装置３は、ロボット制御システム１００の稼働時間外となった場合、又は、その他の所定の終了条件が満たされた場合、フローチャートの処理を終了すべきと判定する。そして、ロボット管理装置３は、フローチャートの処理を終了すべき場合（ステップＳ１４；Ｙｅｓ）、フローチャートの処理を終了する。一方、ロボット管理装置３は、フローチャートの処理を終了すべきでない場合（ステップＳ１４；Ｎｏ）、ステップＳ１１へ処理を戻す。

（８）変形例
図６に示す動作シーケンス生成部１６のブロック構成は一例であり、種々の変更がなされてもよい。

例えば、ロボット５に命令する動作のシーケンスの候補の情報が記憶装置４に予め記憶され、動作シーケンス生成部１６は、当該情報に基づき、制御入力生成部１６５の最適化処理を実行してもよい。これにより、動作シーケンス生成部１６は、最適な候補の選定とロボット５の制御入力の決定を行う。この場合、動作シーケンス生成部１６は、動作シーケンスＳｖの生成において、抽象状態設定部１６１、目標論理式生成部１６２及びタイムステップ論理式生成部１６３に相当する機能を有しなくともよい。このように、図６に示す動作シーケンス生成部１６の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。

他の例では、アプリケーション情報には、タスクに対応する動作シーケンスＳｖを設計するためのフローチャートなどの設計情報が予め含まれており、動作シーケンス生成部１６は、当該設計情報を参照することで、動作シーケンスＳｖを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、例えば特開２０１７－３９１７０号に開示されている。

＜第２実施形態＞
図１０は、第２実施形態におけるロボット管理装置３Ｘの概略構成図を示す。ロボット管理装置３Ｘは、主に、外部入力要否判定手段３５Ｘと、操作端末決定手段３６Ｘとを有する。なお、ロボット管理装置３Ｘは、複数の装置から構成されてもよい。ロボット管理装置３Ｘは、例えば、第１実施形態のロボット管理装置３（ロボットコントローラ１の一部の機能が組み込まれている場合も含む）とすることができる。

外部入力要否判定手段３５Ｘは、タスクを実行するロボットの外部入力に基づく制御（外部入力制御）の要否を判定する。外部入力要否判定手段３５Ｘは、例えば、第１実施形態における外部入力要否判定部３５とすることができる。

操作端末決定手段３６Ｘは、外部入力に基づく制御が必要な場合、外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、タスクに関する情報とに基づき、外部入力を生成する操作端末を決定する。「タスクに関する情報」は、タスクの種類に関する情報、タスクを実行するロボットに関する情報、タスクにおいて生じたエラーに関する情報など、第１実施形態における支援要求情報Ｓｒに含まれる種々の情報を含む。操作端末決定手段３６Ｘは、例えば、第１実施形態における操作端末決定部３６とすることができる。

図１１は、第２実施形態におけるフローチャートの一例である。外部入力要否判定手段３５Ｘは、タスクを実行するロボットの外部入力に基づく制御の要否を判定する（ステップＳ２１）。操作端末決定手段３６Ｘは、外部入力に基づく制御が必要な場合（ステップＳ２２；Ｙｅｓ）、外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、タスクに関する情報とに基づき、外部入力を生成する操作端末を決定する（ステップＳ２３）。一方、操作端末決定手段３６Ｘは、外部入力に基づく制御が必要でない場合（ステップＳ２２；Ｎｏ）、ステップＳ２３の処理を行わず、フローチャートの処理を終了する。

第２実施形態によれば、ロボット管理装置３Ｘは、外部入力に基づく制御が必要なロボットが存在する場合に、外部入力を生成する操作端末を好適に決定することができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Non-Transitory Computer Readable Medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Tangible Storage Medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Transitory Computer Readable Medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
タスクを実行するロボットの外部入力に基づく制御の要否を判定する外部入力要否判定手段と、
前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する操作端末決定手段と、
を有するロボット管理装置。
［付記２］
前記操作端末決定手段が決定した前記操作端末と、前記ロボット又は前記ロボットを制御するロボットコントローラとの通信接続を確立する制御を行う接続制御手段をさらに有する、付記１に記載のロボット管理装置。
［付記３］
前記タスクに関する情報は、前記タスクにおいて生じたエラーに関するエラー情報を含み、
前記操作端末決定手段は、前記操作端末情報と、前記エラー情報とに基づき、前記外部入力を生成する前記操作端末を決定する、付記１または２に記載のロボット管理装置。
［付記４］
前記タスクに関する情報は、前記ロボットの種類情報を含み、
前記操作端末決定手段は、前記操作端末情報と、前記ロボットの種類情報とに基づき、前記外部入力を生成する前記操作端末を決定する、付記１～３のいずれか一項に記載のロボット管理装置。
［付記５］
前記操作端末決定手段は、前記操作端末の操作者に関する情報である操作者情報と、前記操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する、付記１～４のいずれか一項に記載のロボット管理装置。
［付記６］
前記操作者情報は、前記操作者のスキル又は操作実績に関する情報を含み、
前記操作端末決定手段は、前記タスクに関する情報に基づき定まる必要なスキル又は操作実績を満たす操作者が使用する前記操作端末を、前記外部入力を生成する前記操作端末として決定する、付記５に記載のロボット管理装置。
［付記７］
前記操作者情報は、前記操作者の状態管理に関する情報である状態管理情報を含み、
前記操作端末決定手段は、前記状態管理情報に基づき、前記外部入力に関する操作を実行可能な状態である操作者が使用する前記操作端末を、前記外部入力を生成する前記操作端末として決定する、付記５または６に記載のロボット管理装置。
［付記８］
前記外部入力要否判定手段は、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定する、付記１～７のいずれか一項に記載のロボット管理装置。
［付記９］
前記外部入力要否判定手段は、前記ロボットによる前記タスクの実行においてエラーが発生した場合、又は、前記外部入力が必要な作業工程となった場合、前記外部入力に基づく制御が必要であると判定する、付記１～８のいずれか一項に記載のロボット管理装置。
［付記１０］
コンピュータが、
タスクを実行するロボットの外部入力に基づく制御の要否を判定し、
前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する、
制御方法。
［付記１１］
タスクを実行するロボットの外部入力に基づく制御の要否を判定し、
前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する処理を
コンピュータに実行させるプログラムが格納された記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ａ、１Ｂ ロボットコントローラ
２、２Ａ、２Ｂ 操作端末
３、３Ｘ ロボット管理装置
５ ロボット
７ センサ
４１ アプリケーション情報記憶部
１００ ロボット制御システム

Claims (9)

1. タスクを実行するロボットの外部入力に基づく制御の要否を判定する外部入力要否判定手段と、
   前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する操作端末決定手段と、を有し、
   前記外部入力要否判定手段は、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定し、
   前記操作端末決定手段は、前記操作端末を決定できない場合、支援が未実行の前記支援要求情報を蓄積し、支援の緊急度に基づき各支援要求情報の優先度を決定し、前記支援が実行可能となったときに、前記優先度が高い順に前記支援要求情報を処理するロボット管理装置。
2. 前記操作端末決定手段が決定した前記操作端末と、前記ロボット又は前記ロボットを制御するロボットコントローラとの通信接続を確立する制御を行う接続制御手段をさらに有する、請求項１に記載のロボット管理装置。
3. 前記タスクに関する情報は、前記タスクにおいて生じたエラーに関する情報である、エラーの種類を示す情報、もしくはエラー発生時の状況を表す情報のいずれか一以上からなるエラー情報を含み、エラー情報を含み、
   前記操作端末決定手段は、前記操作端末情報と、前記エラー情報とに基づき、前記外部入力を生成する前記操作端末を決定する、請求項１または２に記載のロボット管理装置。
4. 前記タスクに関する情報は、前記ロボットの種類情報を含み、
   前記操作端末決定手段は、前記操作端末情報と、前記ロボットの種類情報とに基づき、前記外部入力を生成する前記操作端末を決定する、請求項１～３のいずれか一項に記載のロボット管理装置。
5. 前記操作端末決定手段は、前記操作端末の操作者に関する情報である操作者情報と、前記操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定する、請求項１～４のいずれか一項に記載のロボット管理装置。
6. 前記操作者情報は、前記操作者のスキル又は操作実績に関する情報を含み、
   前記操作端末決定手段は、前記タスクに関する情報に基づき定まる必要なスキル又は操作実績を満たす操作者が使用する前記操作端末を、前記外部入力を生成する前記操作端末として決定する、請求項５に記載のロボット管理装置。
7. 前記操作者情報は、前記操作者の状態管理に関する情報である状態管理情報を含み、
   前記操作端末決定手段は、前記状態管理情報に基づき、前記外部入力に関する操作を実行可能な状態である操作者が使用する前記操作端末を、前記外部入力を生成する前記操作端末として決定する、請求項５または６に記載のロボット管理装置。
8. コンピュータが、
   タスクを実行するロボットの外部入力に基づく制御の要否判定を行い、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定し、
   前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定し、前記操作端末を決定できない場合、支援が未実行の前記支援要求情報を蓄積し、支援の緊急度に基づき各支援要求情報の優先度を決定し、前記支援が実行可能となったときに、前記優先度が高い順に前記支援要求情報を処理する、
   制御方法。
9. タスクを実行するロボットの外部入力に基づく制御の要否判定を行い、前記タスクに関する情報を含む支援要求情報を、前記ロボット又は前記ロボットを制御するロボットコントローラから受信した場合に、前記外部入力に基づく制御が必要と判定し、
   前記外部入力に基づく制御が必要な場合、前記外部入力を生成する候補となる複数の操作端末の種類に関する情報を含む操作端末情報と、前記タスクに関する情報とに基づき、前記外部入力を生成する前記操作端末を決定し、前記操作端末を決定できない場合、支援が未実行の前記支援要求情報を蓄積し、支援の緊急度に基づき各支援要求情報の優先度を決定し、前記支援が実行可能となったときに、前記優先度が高い順に前記支援要求情報を処理する処理を、
   コンピュータに実行させるプログラム。

Images