JP6993439B2 - 表現を生成するための方法およびそのような表現に基づいて自律デバイスに動作を学習させるためのシステム - Google Patents

Description

本発明は、自律デバイスに学習させるためのシステムであって、この自律デバイスの動作が表現に基づいている、システムと、そのような表現を生成するための方法とに関連している。

自動システムは、現代社会の不可欠な部分になっている。例えば、生産の大部分は、産業用ロボットに依存している。これらの産業用ロボットは、通常、事前にプログラムされたワークフローに基づいて、自動化された様式で動作するが、自律デバイスは、より複雑なルールに基づいて動作し、人間によって定義された入力をあまり必要としない。自律デバイスの最初の製品（例えば、自律芝刈り機または自律電気掃除機）が販売されているが、まだ大きな問題を解決する必要がある。１つの主要な課題は、自律デバイスが環境と安全かつ効率的に相互作用できるようにすること、および特に、共有された環境で人間と相互作用できるようにすることである。

例えば、人は、芝生を刈るために芝刈り機を使用するときに、他の人間に近づくことを自動的に避ける。それとは逆に、自律デバイスは、作業環境内での人間との安全な相互作用の概念を独力では理解しない。したがって、自律芝刈り機に、庭および芝生の概念を理解させる必要がある。１つの問題は、自律デバイスの正確な作業環境が、多くの場合、前もって分からないということである。したがって、環境に関する情報を事前に完全にプログラムすることができない。庭のレイアウト、形状、および外観は、庭によって大きく異なるため、事前にプログラムできないということは明白である。

したがって、公知の自律システムは、自律デバイスが作業領域の外側の境界を認識できるように、電磁気的境界線を使用して自律芝刈り機の作業領域を定義する。そのような電磁気的境界線は、自律デバイスの作業領域を制限する場合にしか適していない。自律デバイスの環境に関するさらなる情報は、デバイスに伝達されない。この例では、見えない電気柵が、作業領域の外側の境界を示すことができる。庭の内側に通路が存在し、その通路が、境界線によって定義された自律芝刈り機の作業領域内で提供されている場合、自律芝刈り機は、回転刃を使用して通路の上を進むことができる。さらに、自律芝刈り機の安全な動作を保証するために、自律芝刈り機が動作している間、人が芝生の上を歩いていないことを確認する必要がある。自律デバイスの安全な動作が、自律デバイスと環境を共有している人の責任の範囲内とならないように、そのような自律デバイスが十分な情報を独力で有していれば望ましいであろう。

公知のシステムは、多くの場合、自律デバイスに組み込まれた能力だけに頼る。例えば、米国特許出願公開第２０１７／０３６４０８８Ａ１号に記載されたシステムは、検出が容易な一時的マーカーを使用する。自律デバイスは、検出されたマーカーの位置を格納することによって、作業領域の境界を学習する。米国特許出願公開第９，５５４，５０８Ｂ２号および米国特許出願公開第９，５１６，８０６Ｂ２号には、作業領域の境界定義を学習するための、芝刈り機などの自律デバイスのトレーニング方法の代替例が記載されている。これらの最先端のアプローチはすべて、定義された領域が、環境内で作業領域を分離すること以外には芝刈り機にとってどのような意味も持たないという共通点を有している。結果として、自律デバイスの動作は、作業領域の特定の側面または特徴、特に、作業領域全体の内部の異なる側面に適応することができない。作業領域の外側の境界を定義することは、自律デバイスが動作中に作業領域内に留まることのみを許可する。

米国特許出願公開第２０１７／０３６４０８８Ａ１号 米国特許出願公開第９，５５４，５０８Ｂ２号 米国特許出願公開第９，５１６，８０６Ｂ２号

Ｊｏｎａｔｈａｎ Ｌｏｎｇ、Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ、およびＴｒｅｖｏｒ Ｄａｒｒｅｌ、「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ ａ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ＣＶＰＲ ２０１５年、３４３１～３４４０頁 Ｃａｒｓｔｅｎ Ｒｏｔｈｅｒ、Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ、およびＡｎｄｒｅｗ Ｂｌａｋｅ、「ＧｒａｂＣｕｔ － Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｉｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴＯＧ）２００４年、２３巻、第３版、２００４年８月、３０９～３１４頁

前述したように、公知の自律システムは、自律デバイス自体によって提供される能力に依存する。これらのデバイスは、作業環境に関する情報を独力で取得することにおいて能力が制限されている。このことは、販売されているすべての自律デバイスが統合されたセンサを必要とするため、自律デバイスに取り付けられるセンサが安価である必要があるという理由で、特に当てはまる。自律芝刈り機のような製品は、大量生産向けに最適化される。したがって、作業環境に関する情報を取得するための高価な技術は、避けなければならない。

そのため、自律デバイスの動作が基づく知識ベースを改善すると同時に、自律デバイスの製造コストを低く抑えることが望ましい。

この目的は、独立請求項１に従う自律デバイスの動作が基づく表現を生成するための本発明の方法、および自律デバイスに学習させるための対応するシステムによって達成される。

本発明および最新技術を理解するために、自律デバイスの可能性のある１つの実装として自律芝刈り機が説明されるということに注意するべきである。自律芝刈り機は、自律デバイスの顕著な例である。当然ながら、自律芝刈り機に関して説明されるすべての態様は、対応する様式で、他の自律デバイスにも当てはまる。そのような自律デバイスの例は、サービスロボット（例えば、前述した芝刈り機または電気掃除機）、産業用ロボット（例えば、輸送システムまたは溶接ロボット）、または自律車両（例えば、自律自動車またはドローン）である。通常、自律デバイスは、少なくとも一定の時間の間、人間による入力も制御もない状態で、少なくとも部分的に自動で動作できるデバイスである。

本発明によれば、表現が生成され、自律デバイスに送信される。その後、自律デバイスが、この表現に基づいて作業領域内で動作する。作業を実行するために自律デバイスによって必要とされる表現は、表現生成システムを使用して生成される。この表現生成システムは、自律デバイスから分離している。表現生成システムは、自律デバイスに学習させるため、または自律デバイスをトレーニングするために使用される。本発明との関連において、「学習させる」または「トレーニングする」は、作業環境の表現が生成されて、自律デバイスに送信されるということを意味する。そのような分離した表現生成システムを使用することには、１つの自律デバイスがトレーニングされた後に、表現生成システムで使用された技術を再利用できるという大きな利点がある。その結果、個別の自律デバイスのコストに悪影響を与えずに、高価な技術および／または高価なセンサを表現生成システムで使用できる。トレーニング段階または学習段階は、通常、自律デバイスの動作段階より非常に短い。自律デバイスがトレーニングされた後に、表現生成システムを、別の自律デバイスをトレーニングするために使用できる。さらに、表現生成システムを設計するときに、人間による理解のしやすさに集中することが可能であり、すなわち、人間によって観察しやすく、理解しやすい形式で、システムが自律デバイスの学習を提示することができる。最後に、自律デバイスのトレーニングまたは学習が、自律デバイスの設置とは無関係に実行され得る。自律デバイスは、新しい学習段階を必要とせずに、簡単に置き換えることができる。本発明のシステムの自律デバイスは、外部で生成された表現が提供されるように設計されるため、一度生成された表現を、新しい自律デバイスに再び使用することができる。

表現生成システムは、マッピングデバイス、マップ処理ユニット、および表現生成ユニットを少なくとも備える。最初に、マッピングデバイスが、自律デバイスが動作しなければならない作業領域を含む作業環境のマップを生成する。このマップに基づいて、マップ処理ユニットによって少なくとも１つの領域が定義される。さらに、この少なくとも１つの領域のタイプ、時間情報、および／またはこの少なくとも１つの領域の作業パラメータが、マップ処理ユニットによって少なくとも１つの領域にラベルを付けることによって定義される。マップ内で定義される領域の数が変化してよいということ、および定義された領域の各々にラベル付けする必要がないということは、明らかである。さらに、マップ処理ユニットは、１つまたは複数のラベルで、少なくとも１つの領域にラベル付けしてよい。表現生成ユニットは、ラベルを含む少なくとも１つの領域に基づいて、作業環境の表現が生成される。最後に、この表現が、この表現に基づいて動作するように構成された自律デバイスに送信される。

本発明の有利な特徴および態様が、従属請求項において定義される。

１つの好ましい態様によれば、少なくとも１つの領域が、マップ処理ユニットにおいて実行される自動セグメント化プロセスによって定義される。そのような自動セグメント化プロセスを使用することには、特に、その他の方法ではマップ内に領域を定義する必要がある人間の負担が軽減されるという利点がある。代替的または追加的に、マップ内で領域を定義するため、削除するため、および／または適応させるために、人間が情報を表現生成システムに入力することができる。両方のアプローチが組み合わせられることが、特に好ましい。したがって、自動セグメント化アルゴリズムを実行した後に、１人または複数の人間がセグメント化を適応させ、それによって領域を適応させることができる。

自動セグメント化プロセスは、マップデータ（例えば、土地登記簿データ、間取り図、庭の平面図、ファサードの図面など）を、自動セグメント化の基礎として使用してよい。自動セグメント化プロセスは、画像データおよび／またはレーザースキャナを使用して取得されたデータから開始する、視覚的セグメント化プロセスであってよい。自動セグメント化プロセスは、３Ｄデータのセグメント化を含んでよい。使用可能なデータ（特に、公開されているデータ）に対する自動セグメント化プロセスによって、作業環境のマップ内の領域の効率的で滑らかな定義が実行される。

同様に、領域に関連付けられたラベルが、画像、レーザースキャンなどのデータ入力に基づいて実行される自動ルーチンから得られてよい。再び、１人または複数の人間が、領域に関連付けられたラベルを適応させるか、それらのラベルを削除するか、または追加してよい。

自律デバイスが各領域内で動作するときに、ラベルが、自律デバイスの作業中の動作に関連するカテゴリを識別する。カテゴリは、「共同作業領域」、「ロボットの作業領域」、「人間のみの作業領域」、「ロボットの走行領域」、「ロボットのアクセス禁止領域」、「水域」、「芝生領域」、「通路領域」、「舗装領域」、「前庭領域」、「裏庭領域」、「農場構内領域」、「レジャー領域」のうちの少なくとも１つを含む領域、時間情報、および／または作業パラメータのタイプを定義する。ラベル付けを使用して、少なくとも、自律デバイスの制限されない動作が実行されなければならない領域、自律デバイスの制限された動作が実行されなければならない領域、および動作が実行されてはならない領域を区別することができる。当然ながら、追加のラベルがさらなる情報を提供し、それによって、その他のカテゴリを可能にしてよい。その後、自律デバイスの作業環境内の特定の領域に対する適応性が改善された自律デバイスの動作が可能になる。

領域を部分領域に分割することが、さらに有利であってよく、１つの共通の領域の異なる部分領域が異なってラベル付けされる。１つの領域内の部分領域を定義することには、自律デバイスの様々な種類の動作を実現できるという利点がある。今まで、自律デバイスは、作業領域と非作業領域のみを区別していた。自律芝刈り機の例を再び用いると、部分領域を使用して、異なる部分領域内で、刃の高さを異なるように調整することができる。それらの高さは、表現内の各部分領域に関連付けられたラベルに基づいて調整され、ラベルが作業パラメータ「刈り取り高さ」を定義する。部分領域は、自律デバイスが動作する作業領域の一部であるが、それでも芝刈り機は、部分領域間を移動するときに、異なる部分領域を区別し、それに応じて動作の形式を適応させる必要がある。

別の好ましい実施形態によれば、作業環境の表現が初めて生成された後に、この表現が、自律デバイスに送信されないが少なくとも１人の人間に対して視覚化される中間表現として使用される。次に、ラベルを使用することによって、定義された領域に関連付けられた情報を絞り込むために、人間からのフィードバックが入出力デバイスによって受信される。その後、改正サイクルからの絞り込まれた情報が、自律デバイスに送信される最終的表現を生成するための基礎を形成する。絞り込みは、領域のセグメント化または領域のラベル付けのいずれか、あるいはその両方に関連してよい。当然ながら、複数の改正サイクルを実行できるように、複数の中間表現が生成されて出力されてよい。これらの中間表現は、自律デバイスに送信される表現として使用されてもよい。これは、データにラベル付けするように頼まれた人々の大きいグループによって表現が改善されなければならないが、それと同時に、自律デバイスの動作が可能にされなければならない場合に、特に役立つ。

さらに、領域に関連付けられたラベルを維持しながら、新しく生成されたマップに基づいて更新された表現が生成されるのが、好ましい。表現を更新することによって、表現（つまり、領域および／またはラベル）の適応を可能にする。当然ながら、マッピングし、マップ内の領域が定義され、表現を生成するプロセス全体を再開することが可能であるが、多くの場合、前の表現に既に入力された情報の一部を維持することが望ましい。例えば、自律デバイスの作業環境が著しく変化した場合、自律デバイスは、自己位置特定に失敗することがある。これは、環境の外観の季節的変化のために発生することがある。その場合、基礎になるマップを適応させる必要があるが、領域のラベルの大部分は安定したままである。

一方、特定の領域の使用が変化していることがある。その場合、例えば、以前は芝生だった場所に新しい花壇が設置されており、ラベルを適応させる必要がある。ラベルの変更に加えて、この場合、新しい花壇が作業領域も変更するため、領域を再定義することも必要になる。

追加的または代替的に、この方法は、既定のイベントが発生したときに、少なくとも１つの領域に関連付けられた少なくとも１つのラベルを有効化または無効化してよい。既定のイベントは、現在の時刻が既定の時間範囲内（例えば、就業日の午後１０と午前４時の間）にあることであってよい。この時間の間、表現内の特定の領域に割り当てられたラベル「ロボットのみの作業領域」が有効化されてよい。さらなる既定のイベントが、人間または動物の検出であってよく、このイベントは、ラベル「人間の作業領域」を有効化するか、またはラベル「ロボットの作業領域」を無効化してよい。この方法は、特定のイベントの発生に対する空間感度が高い特に有利な様式で、自律デバイスの動作を可能にする。既定のイベントは、自律デバイスの環境内の人、動物、または物体を検出することを含んでよい。既定のイベントは、雨を検出すること、特定の温度範囲内の温度を測定すること、または測定された温度が温度閾値を超えるか、もしくは下回ること、期間、昼間などに関して現在の時刻を決定することなどの、周囲条件をさらに含んでよい。

通常、自律デバイスまたはその環境に関連する１つまたは複数のセンサ読み取り値が、既定のイベントを定義するために使用されてよい。

追加的または代替的に、環境光レベルが測定され、既定のイベントを定義する（例えば、日光または夜を検出する）ために使用されてよい。追加的または代替的に、自律デバイスの状態が決定され、既定のイベントを定義するために使用されてよい。例えば、充電レベルが測定され、既定のイベントを定義するために使用されてよい。

自律デバイスに学習させるためのシステム（特に、表現生成システム）が、拡張現実デバイス、特に、拡張現実ウェアラブルデバイス、スマートフォン、またはタブレットコンピュータを備えるのが好ましい。スマートフォンまたはタブレットコンピュータが使用される場合、自律デバイスの軌道を記録することによってマップを生成することも可能である。

拡張現実（ＡＲ）デバイスは、人間が環境（本発明との関連においては、自律デバイスの作業環境）を、さらなる情報が付加されて知覚することを可能にする。空間的に参照される様式で表示される情報のやりとりが改善される。したがって、本発明の１つの態様によれば、ＡＲは、領域およびラベルを提示して操作する特に有利な形式を提供する。

ここで、添付の図面を参照して、本発明の実施形態および態様が説明される。

本発明のシステムの主要構成要素を示すブロック図である。 本発明の方法の主要な方法のステップを示す簡略化されたフローチャートである。 表現の生成中の状況の例の図である。

図１は、自律デバイス３に学習させるための本発明のシステム１の主要構成要素を示すブロック図である。自律デバイス３に学習させるためのシステム１は、表現生成システム２および自律デバイス３を備える。自律デバイス３は、芝生を刈る、洗浄する、運ぶなどの特定の作業を実行するように、自律的に適応される。自律デバイス３は、例えば、車輪を駆動する少なくとも１つのモーター４（図に示されていない）を備える自律芝刈り機であってよい。

自律デバイス３としての自律芝刈り機をさらに参照すると、自律デバイス３は、刃と、刃を駆動または停止できるようにするメカニズムとを含む作業工具５をさらに備える。さらに、そのような刃の高さは、調整可能である。モーター４および作業工具５の動作は、処理ユニット６によって制御され、処理ユニット６は、単一のプロセッサまたは複数のプロセッサのいずれかを備えてよい。処理ユニット６は、モーター４および作業工具５を制御するためのアルゴリズムが格納されているメモリ７に接続される。メモリ７は、自律デバイス３の作業環境の表現をさらに格納する。作業工具５は、格納された表現にも基づいて制御される。

さらに、自律デバイス３は、少なくとも自己位置特定を実行するために、少なくとも１つのセンサ８を備える。上で説明されたように、基本的に、作業環境に関して自律デバイスに学習させるための、従来技術において公知である２つのアプローチが存在する。第１のアプローチによれば、システムをプログラムするときに使用される何らかの仮定に適合するように、環境の変更または適応が行われる。例えば、産業のシナリオでは、作業空間が再構築される。自律芝刈り機の場合、追加の境界線が配置される必要がある。第２のアプローチは、自律デバイスの手動の学習である。つまり、自律デバイスが手動で移動され、同時に、自律デバイスがその状態を記録する。その後、自律デバイスは、許可された状態空間を計算するか、または許可された状態空間から作業領域を計算する。例えば、産業用ロボットのエンドエフェクタが、その動作範囲（動作量）内で手動で移動されるか、または自律芝刈り機が、遠隔制御を使用して庭の周辺を移動される。

本発明によれば、この学習は、自律デバイスを使用して直接実行されるのではなく、表現生成システム２を使用して実行され、表現生成システム２は、表現を生成し、その表現が自律デバイス３に最終的に送信される。自律デバイス３は、受信された表現をメモリ７に格納する。

表現生成システム２は、マップ生成ユニット１０（マッピングデバイス）、マップ処理ユニット１１、入出力デバイス１２、および表現生成ユニット１３を備える。マップ生成ユニット１０、マップ処理ユニット１１、および表現生成ユニット１３が、機能ユニットとして理解されなければならず、プロセッサ上で実行されるソフトウェアにおいて実現されてよいということに、注意するべきである。さらに、これらのユニットは、単一のデバイスに統合されてよく、または複数の接続されたデバイスに分散されてもよい。

最初に、マップ生成ユニット１０を使用して、マップが生成される。つまり、自律デバイス３が動作しなければならない環境に関する情報が収集される。この収集は、レーザースキャナ、任意の種類のカメラ、拡張現実デバイス、仮想現実デバイス、スマートフォン、タブレット、リアルタイムキネマティック測位（ＲＴＫ－ＧＰＳ）などの衛星航法技術、または人体姿勢推定技術を使用して実行され得る。

環境に関する情報を取得するための技術的手段が、表現生成デバイス２の一部を形成してよい。追加的または代替的に、マップを生成するためのデータが、表現生成デバイス２の外部に配置されたセンサ（例えば、カメラ）などの、外部の技術的手段を介して取得されてよい。

作業環境に関する情報は、マップデータ（例えば、公開されている土地登記簿データ、間取り図、庭の平面図、ファサードの図面など）を、マップを生成するために、自動セグメント化の基礎として含んでよい。

マップデータは、作業環境内の環境構造（例えば、２Ｄまたは３Ｄ環境構造）などのマップの内容を含んでよい。マップ生成ユニット１０は、運動からの構造復元（ＳｆＭ）などのプロセスによって、２Ｄまたは３Ｄ環境構造を２Ｄモデルまたは３Ｄモデルとして生成してよい。

マップの内容は、例えば、２Ｄまたは３ＤでのＧＮＳＳのトレースなどの衛星航法のトレースに基づく領域定義を含んでよい。

マップの内容は、目標物（例えば、視覚的目標物またはレーザーポイント構造）を含んでよい。マップの内容は、自律デバイス３の基地局および／または充電ステーションを参照する目標物を含んでよい。

さらなる方法のステップのための基礎としてのそのようなマップが生成された後に、マップ処理ユニット１１においてマップがセグメント化される。セグメント化プロセスを実施するか、または少なくともセグメント化プロセスを支援するために、拡張現実（ＡＲ）が使用されるのが好ましい。拡張現実は、人間が、追加情報が付加された環境を見ることができるようにする。追加情報は、例えば、レーザースキャナなどの他のセンサから取得されてよい。拡張現実は、拡張現実デバイス（ＡＲデバイス）を使用して実現される。ＡＲデバイスの例としては、眼鏡またはヘルメットの外観をしたヘッドウェアラブルなどのＡＲウェアラブルデバイス（ＡＲウェアラブル）、またはスマートフォンまたはタブレットコンピュータ（タブレット）を使用して実現されたＡＲデバイスが挙げられる。スマートフォン１５を含む例が、図３に示されており、以下で説明される。

ラベルを領域に関連付けるために拡張現実を使用することは、拡張現実を使用している人間が、作業環境内の自律デバイス３の実際の位置で、作業環境内の領域を見ながら、ラベルを領域に関連付けることができるため、特に有利である。これは、異なる領域が、人間によって知覚されるように作業環境への重ね合わせの形態で表示されるため、可能になり、この重ね合わせは、異なる領域を区別できるようにする。人間は、拡張現実を使用する提示で、誤りおよび誤解を容易に検出する。さらに、拡張現実は、最初の表現を生成した後に、表現、領域、および／またはラベルを変更または拡張できるようにする。拡張現実は、現在の状態（現実世界）の提示の上に領域を示す、重ね合わせとして最初の提示を表示するときに、現在の状態を容易に知覚できるようにする。

上で説明されたように、自律デバイス３に領域を学習させることは、最初に作業環境の表現が生成され、その後、その表現を自律デバイス３に提供することによって実現される。本出願の文脈では、「領域」は、２Ｄ領域または３Ｄボリュームであってよい。

セグメント化によってマップ内の１つまたは複数の領域を定義することは、様々な形式で実装され得る。

例えば、スマートフォン１５またはタブレットコンピュータの画面上のタッチジェスチャーを使用して、定義される領域を囲む多角形を定義することができる。そのような多角形は、一連の点からなる。この多角形は、点をマップに挿入することによって定義されてよい。追加的または代替的に、少なくとも１つの線、面、または体積を定義することによって、多角形が入力されてよい。領域の境界を視覚化するために、例えば完全に自動化された様式で、一連の点のうちの点、線、または面の間が描画される。

領域を定義することは、例えば、タッチ入力デバイスの従来技術において公知である特定の既定のジェスチャー、またはカメラによって認識された人間のユーザによるポインティングジェスチャーを介した操作可能な入力を使用する、既に定義された多角形の移動、回転、拡大縮小、および／またはサイズ変更などの、操作可能な入力による多角形の操作を含んでよい。

上で説明されたように、人がマップ内の領域を定義できるようにするために、入出力デバイス１２が使用される。入出力デバイス１２は、マップ処理ユニット１１からマップ情報を受信し、既に定義された領域を含むマップを視覚化する。そのような視覚化の例が、図３のスマートフォンのディスプレイに示されている。

代替的に、セグメント化が自動的に実行され得る。マップデータが、セグメント化アルゴリズムを使用して自動的に分類され、セグメント化される。自動セグメント化プロセスは、畳み込みネットワークなどのディープラーニング手法を、視覚的データのセマンティックセグメンテーションに使用できる。そのような自動セグメント化プロセスは、例えば、Ｊｏｎａｔｈａｎ Ｌｏｎｇ、Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ、およびＴｒｅｖｏｒ Ｄａｒｒｅｌ、「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ ａ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ＣＶＰＲ ２０１５年、３４３１～３４４０頁から公知であり、この文献は、第３節および第４節において、表現生成ユニット１３において実装されるのに適している、マップデータをセグメント化するためにディープラーニング手法を適用する例を提供している。

スマートフォン１５またはタブレットコンピュータが使用される場合、いわゆる「魔法のつえ」またはグラブカット機能を持つ写真編集ソフトウェアを適用することに類似したプロセスによって、領域が定義され得る。そのような自動セグメント化プロセスは、例えば、Ｃａｒｓｔｅｎ Ｒｏｔｈｅｒ、Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ、およびＡｎｄｒｅｗ Ｂｌａｋｅ、「ＧｒａｂＣｕｔ － Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｉｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴＯＧ）２００４年、２３巻、第３版、２００４年８月、３０９～３１４頁から公知であり、この文献は、特に第２節および第３節において、表現生成ユニット１３において画像をさらにセグメント化するためのアルゴリズムおよびその適用の例を提供している。

そのような半自動プロセスは、取得された画像のある部分に、領域に属しているとしてマーク付けする（注釈を付ける）ために、ユーザ入力を使用し、その後、セグメント化アルゴリズムが、画像全体にわたる領域に対するセグメント化を提案する。セグメント化アルゴリズムおよびアノテータは、反復的方式で動作してよい。その場合、アノテータは、誤ってセグメント化された領域に、領域に属しているか、または属していないとしてマーク付けし、アルゴリズムが、それに応じてそのセグメント化モデルを適応させる。

ＡＲデバイスが使用される場合、例えば、３Ｄ空間内のメッシュに類似した３Ｄ多角形を形成するために、３Ｄ点が直接定義され得る。ＡＲデバイスのジェスチャー認識システムによって、３Ｄ点を追加すること、移動すること、および削除することができる。ＡＲデバイスのユーザによって、仮想点をつかむこと、および移動することができる。実際の２Ｄ領域定義のために、ＡＲデバイスによって提供された機能を使用して、３Ｄ点を地面に合わせることができる。

マップ処理ユニット１１によって実行されるセグメント化プロセスは、現場で実行され得る。人間またはロボットは、ＧＰＳまたはディファレンシャルＧＰＳを備えるデバイスと共に、領域（例えば、作業領域）の外側境界に沿って移動してよい。ＧＰＳまたはディファレンシャルＧＰＳを備えるデバイスは、人間またはロボットが移動している間、一連の位置（中間地点）を記録する。記録された一連の位置は、領域（特に本明細書の例では、作業領域）を定義するマップ内の多角形を定義する。

ＧＰＳなどの航行衛星システムのみを使用して生成された領域定義は、例えば、建物に隣接する庭の環境では、不正確になることがある。セグメント化時に、一連の位置からなるＧＰＳ軌道が初期領域定義を定めてよい。その後、初期領域定義が、代替方法を使用して、セグメント化プロセスのさらなる実行中に改良される。例えば、人間のオペレータまたはその他の手段が、例えばＡＲデバイスを使用して、初期領域定義を改良し、適応させてよい。

マップ処理ユニット１１によって実行されるセグメント化プロセスは、例えばクラウドコンピューティングを使用して、またはパーソナルコンピュータ上で、オフラインまたは現場から離れた場所でも実行され得る。例えば、作業環境の空中写真を撮影するカメラを備えるドローンを使用して、基礎になるマップが生成され得る。その後、空中写真は、表現生成ユニット１３を実装するパーソナルコンピュータに転送された後に、セグメント化され得る。追加的または代替的に、レーザースキャナが、環境の３Ｄモデルを捕捉することができ、その後、この３Ｄモデルがセグメント化され得る。

マップは、１つまたは複数の目標物、基地局、充電ステーションなどのさらなる要素を含んでよい。目標物、基地局、および充電ステーションは、自律デバイス３が、マップデータおよび定義された領域の表現を参照してそれ自身の位置を特定できるようにする。目標物および基地局は、小さいサイズを有する領域またはサイズを全く有さない（サイズゼロの）領域として定義されてよい。

マップは、ＧＰＳのトレースなどの３Ｄ要素または２Ｄ要素を含んでもよい。これらの３Ｄ要素または２Ｄ要素は、位置特定能力を自律デバイス３に提供する。

その後、マップ内で定義された領域のうちの１つの領域、複数の領域、またはすべての領域にラベルが付けられ、それによって、領域のタイプを示す。ラベル付けは、少なくとも１つのラベルまたはラベルの組み合わせを領域に関連付けるということを意味する。表現生成ユニット１３は、領域の定義が生成されるとき、または後の時点で、ラベル付けを直接実行してよい。ラベルの形態で追加情報が領域に追加されるときに、マップを視覚化し、既に定義されている領域を含む、拡張現実デバイスの拡張現実を使用することが、最も好ましい。ラベルは、意味論的意味および追加情報を領域に追加する。ラベル（タグまたは意味ラベルとも呼ばれる）は、この用語が実際に説明する要素以外の意味を示唆する、言語における意味に関連している。

自律デバイス（ロボット）の環境内の領域に関連付けられたタグの典型的な例としては、例えば以下が挙げられる。
－ 「共同作業領域」。人間とロボット（協力ロボット、略して「コボット（ｃｏｂｏｔ）」）の両方が歩き回ることができ、したがって、どのような環境下でも自律デバイスの動作が人間を危険にさらすことがないことを保証するために、ロボットが、自律デバイスの速度、力、または実際のセンサ機器などのうちの少なくとも１つに関する制限下で作業することができる領域を示す。
－ 「ロボットの作業領域」。人間が歩き回らず、したがって、この領域内に人間が存在しないため、自律デバイスが最大の速度、力で、センサ機器から独立して作業することができる領域を示す。
－ 「人間のみの作業領域」。人間が歩き回ることができ、自律デバイスが作業することが禁止されているが、自律デバイスが、場合によっては速度を落として、あるいは視覚的または聴覚的に知覚できる警告信号を発しながら、この領域を通って移動することができる領域を示す。
－ 「ロボットの走行領域」。自律デバイスが走行できるが、自律デバイスが作業工具を操作することが禁止されている領域を示す。
－ 「ロボットのアクセス禁止領域」。自律デバイスが入ることが禁止されている領域を示す。

その他のラベルは、各ラベル付きの領域内の特定のタイプまたはカテゴリの面（例えば、「水域」、「芝生領域」、「通路領域」、「舗装領域」）を参照してよい。

さらなるラベルは、領域の特定の機能（例えば、「前庭領域」、「裏庭領域」、「農場構内領域」、「レジャー領域」）を参照してよい。

例えば、自律デバイス３の特定の実施形態としての自律芝刈り機のための２Ｄ領域は、庭の芝生領域であってよい。３Ｄ領域は、産業用生産ロボットのためのロボットの作業領域、つまり、人間が歩き回らず、したがって、産業用生産ロボットが人間を危険にさらすことなく最大の速度および力で作業できる、領域または実際は３Ｄ空間（ボリューム）であってよい。場合によっては、特定のタイプのロボットのみが、人間の共同作業者と一緒に共同領域内で作業することを実際に許可されてよい（例えば、認証されてよい）。これらのロボットは、コボットと呼ばれることがあり、共同領域内で人間との接触が差し迫っているか、または実際に発生している場合に停止できるようにする、プログラミングおよびセンサを含む。

ラベルを領域に関連付けることによって意味情報を追加することは、表現に基づいて自律デバイス３を制御することによって、領域内の自律デバイス３のはるかに柔軟な利用を可能にする。作業領域と作業領域外の領域のみを区別する従来技術の解決策とは対照的に、本発明に従う、ラベルに関連付けられた領域を示す表現を使用する自律デバイス３は、関連付けられたラベルまたはラベルの組み合わせに従って、その挙動を特定の領域内で適応させることができる。

例えば、自律芝刈り機は、受信された表現に基づいて動作してよく、この表現は、自律芝刈り機に、１つの芝生領域、１つの通路領域、１つのプール領域、１つの裏庭領域、および１つの前庭領域を学習させる。自律芝刈り機の制御システムは、領域のタイプに関する情報を使用して意味のある挙動を考案するようにプログラムされる。さらに、領域に、「自律システムにとっての危険性」（例えば、「池の水」または「人間のみの領域」）などの、暗黙的または明示的なさらなる情報を与えることができる。このさらなる情報（意味情報）は、自律デバイス３がこれらの領域の上を通るべきではないということ、またはこれらの領域が自律デバイス３用の作業領域であるか、もしくは走行領域であるということを意味してよい。走行領域（走行可能領域）とは、例えば、自律芝刈り機が、速度を落とし、草刈り刃のスイッチを切った状態でのみ、「走行領域」というラベルが付けられたこれらの領域上を走行できるということを意味する。ロボットの作業領域は、自律芝刈り機が芝を刈ってよい領域である。

ラベルを使用して領域に関連付けられる追加情報は、自律デバイス３の挙動に影響を与える任意の種類の情報であることができる。例えば、追加情報は、地形の種類に関する情報、人間またはその他の自律デバイスの存在に関する情報、作業パラメータ（例えば、自律芝刈り機の場合の好ましい芝生の高さ、産業用ロボットの場合の最大の速度および力）、危険性（水、熱、電気など）、または時間情報を含んでよい。

時間は、領域の特性または意味を説明する特定のラベルがいつ有効になるかを定義できるという意味で、追加情報の特殊ケースである。例えば、自律芝刈り機のシナリオでは、裏庭は、夜間はロボットの作業領域であってよく、昼間は人間のみの領域であってよい。産業用ロボットの場合、特定の３Ｄ領域が、第１の作業シフトのための共同作業領域であってよいが、第２の作業シフトでは人間のみの作業領域またはロボットの作業領域であってよい。マップ処理ユニット１１は、領域にラベル付けするために追加情報（例えば、入出力デバイス１２を使用してマップ処理ユニット１１によって受信された情報）を使用してよい。入出力デバイス１２は、マップ、マップ内に生成された領域、および場合によってはマップ内で既に定義されているラベルを、視覚化してよい。その後、人間（例えば、システム１を作動させているサービス担当者）が、入出力デバイス１２を介して情報を入力してよい。人間によって入力された情報は、入出力ユニット１２からマップ処理ユニット１１に転送される。マップ処理ユニット１１で、受信された情報が処理され、受信されて処理された情報に基づいて、対応するラベルが各領域に関連付けられる。

マップ処理ユニット１１がラベル付けを実行した後に、自律デバイス３の動作の基礎を形成する表現が、表現生成ユニット１３において生成され、自律デバイス３に送信される。最終的表現を自律デバイス３に送信するために、表現生成システム２は、表現生成ユニット１３に接続された通信ユニット１４を備える。単純なケースでは、提示が、セグメント化された領域、領域の多角形の点、および関連付けられたラベルに関する情報を含み、これらの情報が自律デバイス３に送信される。

通常は位置推定および追跡システムが統合されているＡＲデバイスの場合、拡張現実デバイスを使用して生成された多角形の点の位置データを、自律デバイス３の座標系に変換することが必要である。

表現生成システム２の通信ユニット１４は、自律デバイス３内に配置されているさらなる通信ユニット９と通信する。通信ユニット１４およびさらなる通信ユニット９は、少なくとも１つの有線通信チャネルまたは無線通信チャネルを介する（例えば、データケーブルを介する）か、あるいは例えばＩＥＥＥ ８０２．１５の任意の規格に従う無線パーソナルエリア通信ＷＰＡＮ、Ｂｌｕｅｔｏｏｔｈ（商標）、例えばＩＥＥＥ ８０２．１１の任意の規格に従う無線ローカルエリアネットワークＷＬＡＮ（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、セルラー無線規格などの無線通信プロトコルを使用して、データ交換を実行してよい。

（中間）表現を表示するため、およびユーザによって入力された情報を受信するためのＡＲデバイスは、入出力デバイス１２または入出力デバイス１２の一部であってよい。

本発明の方法および本発明のシステム１の説明は、領域の表現として多角形の点およびメッシュに主に重点を置いているが、その他の表現も可能であるということに注意するべきである。例えば、表現は、グリッド、ボクセル、三角形メッシュ、衛星航法システムの位置（例えば、ＧＰＳ位置）、マップデータ、学習されたまたはトレーニングされたモデル、およびニューラルネットワークを使用してよい。

生成された表現は、定義された領域の抽象化であり、特定の自律デバイス３の状態空間内では定義されない。その結果、生成された表現が複数の異なる自律デバイス３に転送されてよい。これによって、他の自律デバイス３に対して新しいトレーニング段階を実行する必要なしに、別の自律デバイス３による自律デバイス３の置き換えを可能にする。

自律デバイス３に送信される表現は、ラベル付きの領域だけでなく、さらなるデータを含んでよい。自律デバイス３に送信される表現は、マップの表現で参照されるセンサ情報（例えば、自律デバイス３の自己位置特定のための視覚的特徴記述子）をさらに含んでよい。視覚的特徴記述子または目標物などのセンサ情報は、自律デバイス３が、領域を参照してそれ自身の位置を特定できるようにする。

さらに、表現を他のデバイスおよび装置に転送することも可能である。表現は、例えば上で説明されたように、スマートフォン１５に転送されてもよい。システムのユーザのスマートフォン１５が表現生成システム２に統合されてよいため、ユーザは、スマートフォン１５を使用して、既存の領域に対してラベルを追加すること、削除すること、または変更することによって、表現をさらに強化することができ、かつ／またはユーザの特定の要件に従って領域を削除すること、生成すること、または適応させる（調節する）ことができる。その後、適応された表現が、通信ユニット１４を介して自律デバイス３に送信されてよい。このようにして、自律デバイス３の作業環境における変化に反応するために、既存の表現を適応させることが容易に可能になる。

図２は、上で既に説明された主要な方法のステップをさらに詳細に示すフローチャートである。

自律デバイス３が、作業環境の特定の作業領域内で作業できるようになるために、トレーニングされなければならない場合、最初に、ステップＳ１で作業環境のマップが生成（または取得）される。

その後のステップＳ２で、ステップＳ１で生成または取得されたマップに基づいて、セグメント化が実行される。セグメント化プロセスでは、生成されたマップ内で１つまたは複数の領域が定義される。

１つまたは複数の領域が定義された後に、ステップＳ３で、生成されたマップ内で定義された領域にラベルを関連付けることによって、（意味）ラベルが追加される。これらの関連付けられたラベルは、対応するタイプの領域に対応する。「タイプ」が、自律デバイス３の挙動の適応を引き起こすために使用できる任意の情報を含んでよいということに、注意するべきである。

マップがセグメント化され、したがって領域が定義され、ラベルの形態での追加情報が各領域に関連付けられた後に、ステップＳ４で作業環境の表現が生成される。この表現が、ステップＳ７で自律デバイス３に転送される表現であってよいということに注意するべきである。代替的に、この表現は中間表現であってよく、中間表現は、人間が中間表現に対して、領域および／または情報を削除すること、適応させること、または追加することができるように、拡張現実デバイスを使用するために、ステップＳ５で入出力デバイス１２によって視覚化される。ステップＳ６で、生成されて視覚化された中間表現を変更する入力が、人間から受信される。その後、方法がステップＳ２、Ｓ３、およびＳ４を続行する。

方法は、自律デバイス３に転送するための作業環境の最終的表現が作成されるまで、ステップＳ２、Ｓ３、Ｓ４、Ｓ５、およびＳ６の反復ループを繰り返し実行してよい。

人間のオペレータは、領域の定義が完成し、生成された表現が最終的表現として自律デバイス３に転送されてよいかどうかを決定してよく、例えば、ステップＳ４からステップＳ７に進むべきか、または代替的に、中間表現を使用してステップＳ２、Ｓ３、Ｓ４、Ｓ５、およびＳ６の反復ループを繰り返すべきかを決定する。

領域を生成すること、削除すること、または修正することが、部分領域を生成すること、削除すること、または修正することを指してもよいということに、注意するべきである。そのような部分領域は、複数の部分領域が組み合わさって、より大きい領域の全体または少なくとも一部を形成するように、領域に含まれ得る。より大きい領域に関連付けられたラベルは、部分領域に対しても有効であるが、さらなる追加情報を使用して、部分領域に対して、ラベルが付けられてよい。例えば、自律芝刈り機の作業領域全体が、別々の部分領域として、前庭ゾーンおよび裏庭ゾーンを含んでよい。これらの部分領域は、部分領域内で異なる自律芝刈り機の挙動を引き起こすように、異なってラベル付けされてよい。異なる部分領域内の自律デバイスの動作の異なるタイミングを定義するために、そのような異なるラベルが自律デバイス３によって使用されてよい。

拡張現実が、本発明のシステム１の主要技術として使用されるのが好ましい。各例が、図３に示されている。図３に示されているように、ユーザは、現実世界の画像との領域の情報の重ね合わせを見ることができ、これによって、人間による領域の表現の理解しやすさを大幅に改善する。図３に示された例では、表現を視覚化するためにスマートフォン１５が使用されている。ここで、視覚化とは、自律デバイス３に最終的に転送された表現が作業環境の画像と融合されるということを意味する。ここで、作業環境（庭）の画像が、スマートフォン１５の内蔵カメラによって撮影される。現実世界は、草地１６、２本の樹木、および通路１７を含む庭領域を示している。「ロボットの作業領域」および「ロボットの走行領域」として既に定義されている領域を視覚化するために、スマートフォン１５の画面上の半透明のパターンを使用して重ね合わせが行われる。ユーザは、作業環境の画像内で定義された領域の自然な知覚によって、定義された領域を容易に理解することができる。このようにして、スマートフォン１５のタッチスクリーンを使用することによって、ユーザは、領域（および／または部分領域）を簡単に定義すること、削除すること、または変更することができ、追加情報を使用してそれらの領域に簡単にラベル付けすることもできる。追加情報を使用して領域にラベル付けすることは、使用可能な選択肢の表現をスマートフォン１５の画面に表示する（例えば、選択された領域に関連付けることができる使用可能なラベルを提案する）グラフィカルユーザインターフェイス（ＧＵＩ）によって、誘導されてよい。

前述の説明はすべて、セグメント化するため、したがってマップ内の領域を定義するために情報を入力するか、または領域にラベル付けするために使用される追加情報を入力する、１人の人間を対象にしているが、その情報が人間の大きいグループから収集されてもよいということは明らかである。多くの人がラベルおよび／または領域に関する情報を入力できるようにするために、表現が、複数の入出力デバイス１２に分散されてよい。分散された表現は、中間表現、または自律デバイス３に既に送信された表現であってよい。その後、単一のユーザを参照して上で説明された対応する様式で、分散された表現にアクセスできる複数の人が、各注釈（追加情報）をすべて入力すること、および／または表現内の領域を適応させることができる。注釈付きの表現を複数の人から集めて結合した後に、表現生成システム２によって、結合された表現を最終的に生成するためにどの情報が使用されるべきかが判断され得る。この判断は、例えば、入力された情報を平均化すること、ありそうにないラベルを拒否すること、ラベルをマージすること、またはラベルを絞り込むことによって実行され得る。そのような場合、アノテータとして行動する人間が、世界のより大きい部分にわたって分散されるため、コンピュータ上の２Ｄ編集または仮想現実における３Ｄ編集を実現できる可能性が高くなる。しかし、この技術は、初期化または後処理の改良として、前述のプロセスのいずれかと組み合わせることができる。

本発明は、本発明の実施形態の説明において例として使用された、自律芝刈り機、自律電気掃除機、および窓拭きロボットなどの自律デバイスを含む応用に、特に適している。本発明を適用するための自律デバイスのさらなる例としては、産業用ロボット（例えば、溶接ロボット）が挙げられる。ドローンあるいは自律陸上車、自律水上車、または自律航空機が、添付の特許請求の範囲において定義される本発明の自律デバイスのその他の例である。

Claims (20)

1. 作業環境内の自律デバイス（３）の動作が基づく表現を生成するための方法であって、
   マッピングデバイス（１０）によって、前記自律デバイス（３）の前記作業環境のマップを生成するステップ（Ｓ１）と、
   マップ処理ユニット（１１）によって、前記マップ内に少なくとも１つの領域を定義するセグメント化を実行し（Ｓ２）、定義した前記領域内における前記自立デバイス（３）の動作に関連するカテゴリを識別するラベル、前記定義した領域のタイプを特定するラベル、及び、前記定義した領域の機能を特定するラベルの少なくとも１つのラベルを各前記領域に関連付けて（Ｓ３）、前記領域のタイプ、時間情報、および／または作業パラメータを定義するステップと、
   表現生成ユニット（１３）によって、前記少なくとも１つの領域およびそれに関連付けられたラベルまたはラベルの組み合わせに基づいて、前記作業環境の表現を生成するステップ（Ｓ４）と、
   前記表現を前記自律デバイス（３）に送信するステップ（Ｓ７）と
   を含む方法。
2. 前記少なくとも１つの領域が、前記セグメント化を自動的に実行する自動セグメント化プロセスによって定義されることを特徴とする、請求項１に記載の方法。
3. 前記マップ処理ユニット（１１）が人間による入力を受信して（Ｓ６）、領域を定義する、および／または適応させることを特徴とする、請求項１または２に記載の方法。
4. 前記マップ処理ユニット（１１）によって、領域のタイプを示す入力が受信され（Ｓ６）、前記マップ処理ユニットが、前記タイプに対応するラベルを前記各領域に関連付けることを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記ラベルが、「共同作業領域」、「ロボットの作業領域」、「人間のみの作業領域」、「ロボットの走行領域」、「ロボットのアクセス禁止領域」、「水域」、「芝生領域」、「通路領域」、「舗装領域」、「前庭領域」、「裏庭領域」、「農場構内領域」、「レジャー領域」の領域、時間情報、および／または作業パラメータのタイプに少なくとも対応することを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 領域が部分領域に分割され（Ｓ２）、共通の領域の異なる部分領域が異なってラベル付けされることを特徴とする、請求項１から５のいずれか一項に記載の方法。
7. 前記表現を生成するために、中間表現が、少なくとも１人の人間に対して視覚化され（Ｓ５）、フィードバックが受信され（Ｓ６）、ラベルを適応させる、削除する、および／または生成するために使用されることを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. 前記表現を生成するために、中間表現が、少なくとも１人の人間に対して視覚化され（Ｓ５）、フィードバックが受信され、前記中間表現の領域を適応させる、削除する、および／または生成するために使用されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
9. 前記領域のラベルを維持しながら新しく生成されたマップに基づいて、または前記領域を維持しながら適応されたラベルに基づいて、更新された表現が生成されることを特徴とする、請求項１から８のいずれか一項に記載の方法。
10. 既定のイベントが発生したときに、少なくとも１つの領域に関連付けられた少なくとも１つのラベルが有効化または無効化されることを特徴とする、請求項１から９のいずれか一項に記載の方法。
11. 多角形の点、メッシュ、グリッド、ボクセル、三角形メッシュ、ＧＰＳ位置のマップデータ、学習されたまたはトレーニングされたモデル、あるいはニューラルネットワークに基づいて、領域および／または部分領域が表されることを特徴とする、請求項１から１０のいずれか一項に記載の方法。
12. 自律デバイス（３）と、前記自律デバイス（３）の作業環境の表現を生成するための表現生成システム（２）とを備え、
    前記表現生成システム（２）が、
    前記作業環境のマップを生成するためのマッピングデバイス（１０）と、
    前記マップ内に少なくとも１つの領域を定義するセグメント化を実行するため、および定義した前記領域内における前記自立デバイス（３）の動作に関連するカテゴリを識別するラベル、前記領域のタイプを特定するラベル、及び、前記領域の機能を特定するラベルの少なくとも１つのラベルを前記領域のうちの少なくとも１つに関連付けて、領域のタイプ、時間情報、および／または作業パラメータを定義するための、マップ処理ユニット（１１）と、
    前記表現を前記自律デバイス（３）に送信するための通信ユニット（１４）と
    を備える、自律デバイスに学習させるためのシステム。
13. 前記マップ処理ユニット（１１）が、前記マップに対して前記セグメント化を自動的に実行する自動セグメント化ルーチンを実行するように構成されていることを特徴とする、請求項１２に記載の自律デバイスに学習させるためのシステム。
14. 前記表現生成システム（２）が、前記マップおよび／または中間表現を出力するため、ならびに人間による入力を受信するための入出力デバイス（１２）を備えており、前記入出力デバイス（１２）が少なくとも前記マップ処理ユニット（１１）に接続されていることを特徴とする、請求項１２または１３に記載の自律デバイスに学習させるためのシステム。
15. 前記マップ処理ユニット（１１）が、受信された人間のフィードバックに基づいて領域を適応させる、削除する、および／または生成するように構成されていることを特徴とする、請求項１２または１３に記載の自律デバイスに学習させるためのシステム。
16. 前記マップ処理ユニット（１１）が、受信された人間のフィードバックに基づいて、関連付けられたラベルを適応させる、および／または削除する、および／または新しいラベルを生成するように構成されていることを特徴とする、請求項１２から１５のいずれか一項に記載の自律デバイスに学習させるためのシステム。
17. 前記表現生成ユニット（１３）が、中間表現を生成し、前記中間表現を前記入出力デバイス（１２）に転送するように構成されていることを特徴とする、請求項１２から１６のいずれか一項に記載の自律デバイスに学習させるためのシステム。
18. 前記マップ処理ユニット（１１）が、新しいマップを、既存の領域およびそれらのラベルに結合するように構成されていることを特徴とする、請求項１２から１７のいずれか一項に記載の自律デバイスに学習させるためのシステム。
19. 前記表現生成システム（２）が、拡張現実デバイス、特に、拡張現実ウェアラブルデバイス、スマートフォン（１５）、またはタブレットコンピュータを備えることを特徴とする、請求項１２から１８のいずれか一項に記載の自律デバイスに学習させるためのシステム。
20. 前記自律デバイス（３）が、自律芝刈り機、電気掃除機、産業用ロボット、溶接ロボット、ドローン、または自律車両であることを特徴とする、請求項１２から１９のいずれか一項に記載の自律デバイスに学習させるためのシステム。

Images