WO2016129067A1

WO2016129067A1 - 自律動作検証装置および自律システム

Info

Publication number: WO2016129067A1
Application number: PCT/JP2015/053724
Authority: WO
Inventors: 昌能西
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2015-02-12
Filing date: 2015-02-12
Publication date: 2016-08-18
Anticipated expiration: 2017-08-12
Also published as: JPWO2016129067A1; US10459446B2; JP6435351B2; US20180032079A1

Abstract

所定の動作時前提条件の元で、期待動作および安全要件の充足可能性を判定して、前記安全要件に違反するハザードの発生可能性を予見的に判定する機能を有する自律動作検証装置を備え、開放環境で動作する自律システムの動作安全性を実現する仕組みを提供する。また、動作計画手段より、計画動作が提供された場合には前記期待動作と動作安全性が充足可能か否かを判定して、前記計画動作の動作安全性を動作中に評価する機能を提供する。さらに、前記の予見的判定機能を用いて代替動作を算出し、前記ハザードを回避することで動作安全性を回復する機能を有する自律システムを提供する。

Description

自律動作検証装置および自律システム

本発明は、開放環境で動作する自律システムの動作安全性を監視する自律動作検証装置及びそれを搭載した自律システムに関する。

　従来から、操縦者の介在を必要とせず、動作環境の状況の計測手段を搭載し、内蔵のプログラムに従って自己動作を判断及び調整する自律機能を有するシステムに関する研究が行われてきた。しかし、長期にわたる技術開発にも関わらず、限定的な動作環境でしかこのようなシステムは導入されておらず、現在に到っている。

　システムの導入を阻害する要因は、外界の認知、状況判断、システム制御のすべての処理工程が制御ソフトウェアで実装されるのに対して、既存の設計、検査及び認証の手続きが、このようなシステムを開放動作環境で動作させることを前提として、導入前に不具合を検出できるように作られていない点である。

　その根源的要因は、システムの信頼性を定量的に示すために必要であるはずの、不具合を起こした時の状況が確実に、又は確率的に確からしく再現できるという暗黙の前提が、開放環境では成立しない点である。その為、実際に制御ソフトウェアで実装された機能が意図しない動作をした事が疑われる事案が生じた時点より、原因の調査及び対策が求められるにも関わらず、原因を一意に特定できないか、又は対策の有効性を示す事が難しくなる。この点が、偶発的故障や機械部品の経年劣化等に代表される現在のリコール要因とは根本的に異なる対処が求められる原因である。

　　一例として特許文献１において、自動運転機能を搭載した車両システムが周辺他車両との接触に起因したハザードの有無を判定する手法が開示されている。本文献では他車両の予測進路を用いて自車両の進路の安全性を判定する手法が開示されている。しかし、他車両の進路は、交通法規の制約を満たしながらも、元来ドライバの自由意思に基づき決定されるものであり、予測進路及びその算出手法を実装したソフトウェアの設計の妥当性及び安全性を保証する事は難しく、予測進路を逸脱する挙動をした為に、安全要件を満たせずにハザードが発生する余地を残す。

　技術的観点に立つと、ハザードを招く要因が無い場合にはそれを証明する手段が欠けており、ハザードを招く要因が存在する場合にはその具体的な状況を再現する手段が欠けている。網羅性に欠ける既存のテスト手法では、このいずれの手段としても有用ではない。そのため、システムの信頼性を主張する際に用いる立証論拠として不十分である。

特開２０１２－２２６６９９　トヨタ自動車

　自動運転システムに代表される完全ソフトウェア制御のシステムが、ハザードを含む、意図しない動作を招く根源要因は、車両に期待される動作と、車両に課された動作安全性とが両立できない状況に陥り、両者が充足不能になるためである。この根源要因を鑑みて、開放環境で動作するこのような自律システムの動作安全性を実現する仕組みが必要である。しかし、設計時に充足不能に陥る状況を網羅するのは困難であり、動作中に判定する必要がある。

　第一の理由は、自車両の期待動作自体が前記動作安全性の充足可能性を損なうような状況に陥る場合を設計段階で想定して、対処法を個別に分類して対処法を網羅する事が困難であるためである。これまで、システム構成要素の不具合やシステムの動作自由度の制約に代表される内在的要因により前記期待動作が充足不能に陥る場合、および周辺他車両との接触回避機能に代表される車両の外在的要因により動作安全性が損なわれる場合は、それぞれ別種の設計課題として対処されてきた。しかし、設計時に網羅しきれなかった事例が存在する場合には、それを予見的に知ることが出来ず、実際にハザードを招いた時点で初めて、想定外のハザード要因として露呈する。そのため、期待動作と動作安全性を両立出来ない状況が起こりえるか否かを動作中に判定する仕組みが望まれる。

　第二の理由は、前記動作安全性は、主として動作環境に存在する動体の自由意思に基づいて決定される挙動に依存するものであり、自システムは前記挙動を制御できず、高信頼に予測する事も原理的にはできない。そのため、動作中に観測された動作環境の情報を元に設定する必要がある。

　ただし、前記挙動を制御・予測することは出来ないものの、近未来に実現しうる挙動の集合を限定する事は出来る。これは、自動車や歩行者に例示される動体には、物理的な動作自由度の限界と、通常時の動作自由度の基準を見出すことが出来る為である。そのため、前記動作安全性は、動作自由度に起因した制約条件を考慮しながら、動作環境の状況を計測したデータを用いて設定する必要がある。この仕組みが果たす役割は、本質的に予見的性質を有する。これは、ハザードの発生時点が近未来の時点であり、ハザード発生可能になると動作中に判定した時点で初めて特定されるものであり、また実際に前記ハザードを回避できない状況に到るまでの時間的猶予があり、更にハザード要因がそのハザードを招かないように推移する余地と、自システムが前記ハザード要因を回避するように対処する余地が残っている為である。

　　併せて、ソフトウェアで処理されている処理内容は外部から観測できず、また自律システムのハザード判断及び制御に関わる処理も同様に外部から観測不可能であり、この２点が第三者的立場からの検査及び認証を困難にしている。そこで、この予見的性質を動作中に活用出来るようにする為に、システムの運用者や第三者的立場にある検証担当者がこれらの情報を動作中に外部から観測する手段を備えながら、前記の仕組みを実現したい。

　内部状態計測手段を通じて取得した自システムの内部状態を用いて、前記内部状態の値域を限定する動作時制約を設定し、外界計測手段を通じて取得した外界状態を用いて、前記外界状態の値域を限定する動作時前提条件を設定し、前記内部状態および前記外界状態の関係を制約する安全要件を設定し、設定された自システムの前記安全要件及び期待動作と、その期待動作を達成する事を目的として算出された計画動作をすべて限量子付き制約形式に変換し、充足可能性判定問題を動作中に解くことで、前記期待動作と前記安全要件が両立出来ずに充足不能に陥るか否かを判定する。判定内容は３つに分類される。

　第一に、前記安全要件を満たしながら前記計画動作を実現する充足解の有無を判定し、存在すれば動作安全性が検証された事を通知し、存在しなければ、前記計画動作が実現不可能であるかまたはハザードを招く事を通知し、計画動作の修正を求める。

　第二に、前記動作時前提条件の元で前記安全要件に違反するハザードを招くような外界状態の時系列遷移値の充足解の有無を判定し、存在すれば、得られたハザードを招く場合がある事を具体的な前記外界状態の時系列遷移の値と共に通知し、存在しなければ、前記計画動作に基づいて自システムを稼働させても動作安全性が保証される事を通知する。

　第三に、前記動作時前提条件の元で任意に取りうる前記外界状態にも関わらず、前記安全要件を充足するような代替計画動作の有無を判定し、存在すれば、前記安全要件を満たすことを前記代替計画動作と共に通知し、存在しなければ、回避不能なハザード要因がある事を通知する。必要に応じて前記代替計画動作で上書きして、動作安全性を回復する。

　以上の充足可能性の判定に用いるデータ、つまり動作中に生成された前記の全通知情報とその前後での計測情報を記録装置に保存し、時刻がそろったデータのセットを順次再生することを通じて、前記自律システムの運用者は、異常発生前後の状況を再現し、異常原因を追跡出来るようにする。

　同様に、動作中に前記判断及び制御に関わる処理結果を提示装置に出力することで、前記自律システムの運用者は動作中に、検出された前記ハザード要因への予見的対処が出来るようになる。

　　開放環境で動作する自律システムの動作安全性を実現する仕組みを提供する。特に、動作中にハザード要因の有無を網羅的に探索する為、無ければ動作安全性を保証出来て、あれば自システムの動作を修正することでハザード要因を解消するように対処することで動作安全性を回復出来る。

　　実際にハザードを招いてしまった場合には、第三者が検証可能な形でその状況を再現し、根源要因を追跡出来るようになる。

　　さらに、システムの動作中に前記ハザード要因の判断および動作安全性の回復過程を観測できるようになり、動作中であってもシステムの運用者がハザード発生可能性に関する予見的情報を元に予見的対処策を講じられるようになる。

　また、観測性を高める事により、周囲動体が自システムの動作意図を観測し、算出された自システムの代替計画動作を参照しながら、ハザードを招く事が出来ると判定された周囲動体に、ハザード回避を促す事ができるようになる。

自律動作検証装置充足可能性判定部の機能及び入出力情報各種変数値の定義自律動作検証装置への入力情報一覧制約形式変換部が出力する限量記号付き制約形式ハザード要因及び回避を要する状況制約形式変換部が生成する限量記号付き制約形式の例充足可能性判定部に渡す限量記号付き制約形式の例充足可能性判定部に渡す限量記号付き制約形式の例充足可能性判定部の処理記録装置への格納情報一覧自律動作検証装置を備えた自律システム提示装置及び記録装置を備えた自律システム提示装置の処理フロー提示装置の表示画面の構成

（実施例１）
　以下、本発明を用いた自律動作検証装置の第一実施例について説明する。

　図１は自律動作検証装置０３の構成を示す。内部状態計測手段０２１は、自律動作検証装置０３を搭載した自システムの内部状態（例えば加速度、速度、座標位置、姿勢角、姿勢角速度等）を逐次更新するものである。

　動作時制約０２２は、自システムの設計制約等に起因した、内部状態が取りうる値域を与えるものであり、例えば制御入力値及びその時間微分量の上下限制約等が挙げられる。

　外界状態計測手段０２３は、自システムの動作環境を特徴づける状態量を取得するものである。例えば、動的要素、特に周辺の動体の座標位置、速度、加速度、姿勢角度等が考えられ、さらに自システムが接地している場合には地形の形状や周辺の設置物等が含まれる。

　動作時前提条件０２４は、外界状態の内、近未来に起こりうる状態遷移を限定するものであり、すべての動的要素に関して短期的な挙動を予測しやすくするための慣習的に成立する状態遷移を限定する条件（通常時前提条件）と、物理的な限界その他の高い確からしさで成立する条件（最悪時前提条件）が見出される。

　期待動作０２５は、自システムが実行するべき動作を指示するものであり、安全要件０２６は、その実行過程で充足するべき要件を指定する制約である。計画動作０３４は、自律動作検証装置０３とは異なる手段を用いて算出されたものであって、動作時制約０２２、動作時前提条件０２４、期待動作０２５と安全要件０２６のいずれかまたはすべてを満たすように設計されたと期待されるものである。

　制約形式変換部０３１は、以上の入力情報を受け取り、充足可能性判定部０３２が機械的に処理可能な形式に変換する。本実施例では、自システムの動作計画を題材として扱うが、一般的に限量子付き制約形式を構築する事が出来て、充足可能性を判定出来る事が知られている。

　必要に応じて限量記号を消去し、限量記号を含まない充足可能性判定問題に機械的に書き換える手法(quantifier elimination)が知られている。この変換をした方が短時間で判定出来る為、前記充足可能性判定部はこのような処理を内部に備えるものを用いる。

　充足可能性判定の結果通知する情報０３６として、本実施例では４つを挙げる。

　第一に計画動作の安全性の通知、第二に、前記動作時前提条件０２４を逸脱するという意味で危険動作をする対象の通知、第三にハザード要因の発生有無の通知、第四にハザード要因回避動作の有無の通知である。

　充足可能性判定部０３２には、判定過程で用いたデータ及び通知情報０３６を格納する記録装置０４を接続しておく。

　　図２は、充足可能性判定部の機能及び入出力情報を整理したものである。

　入力情報は、限量記号付き制約形式であり、変数一覧Ｖ１～Ｖｎ、これら変数の具体値に対して真又は偽を与える二値関数Ｆ、およびこれら変数に対して設定した限量記号（quantifier）で構成される。限量記号はＦＯＲＡＬＬまたはＥＸＩＳＴＳのいずれかであり、前記二値関数の一部に記述された範囲で任意の値をとる場合、またはその範囲で一つ以上の充足解が存在するような場合を表現する。

　この入力情報を元に、充足解(SATisfiable)があるか、または充足解が無い（UNSATisfiable）場合のいずれかを判定し、充足解がある場合に、前記変数に対する具体的な割り当て値を算出して、適当な出力フォーマットに解釈した後、出力情報として通知する。充足不能である場合とは、入力された制約形式の一覧の部分集合であって、互いに競合してすべてを充足できないような制約形式のリストが存在する事に相当する。これらは、ＵＮＳＡＴＩＳＦＩＡＢＬＥ　ＣＯＲＥと呼称されており、充足可能性判定をする過程で算出する手法が知られている。

　　前記限量記号を含む制約形式は、限量記号の引数が離散値である場合には、quantifier eliminationという手法を用いて限量記号を含まない制約形式に機械的に書き換える事が出来る事が知られている。また、限量記号の引数が連続値である場合にも、機械的に補助変数を追加して、線形計画法または非線形計画法のソルバが処理出来るような形に変換する手法が知られている。

　　限量記号ＦＯＲＡＬＬを消去する一般的な手法は背理法であり、限量記号ＥＸＩＳＴＳを用いた形式に機械的に書き換えられて、充足可能性を判定する問題に帰着される。例えば、引数となる変数が所定の範囲の任意の値に対して充足解があるという条件は、所定の範囲内で充足解が無くなるような割り当て値は一つもない(UNSATisfiable)という制約形式に論理反転させて充足解の有無を判定して解けばよい。よって、本実施例で用いる充足可能性判定部は、入力情報の充足可能性を直接判定する代わりに、事前に限量記号を含まない形式に書き換えて、充足解を探索する機能を内部に有するものを用いて良い。

　　更に、二値関数Ｆは、別の複数の二値関数を論理和または論理積で連結したものであってよい。論理和及び論理積の任意の組み合わせで組み立てられた一般の二値関数は、機械的な変換を経て、ＣＮＦ(Conjunctive Normal Form)形式、つまり論理積で連結した制約形式の論理和の形、に還元される事が知られている。

　　一般に、ＣＮＦ形式に変換しさえすれば、充足可能性を高速に判定する多くの数理的手法を適用出来るようになる。一例として、論理和で分割された個々の部分制約形式であって、論理積で連結されたこの部分制約形式を構成する二値関数群毎に充足可能性を評価する等の計算機実装などで対処するか、または充足可能性判定に用いるソルバ自体が、論理和で連結された制約形式を一括して評価する方法も開発されており、離散値の場合はＳＭＴソルバ（Satisfiability Modulo Theory）、連続値の場合はMINLPソルバ(Mixed Integer Nonlinear Programming)を用いる方法等が挙げられる。

　　図３は、複数の周囲動体が移動する開放動作環境にある自律システムの状況図を表す。本状況図では、すれ違うように移動する自転車に対して、自システムが正面から接近する場合を考える。

　　本例では、接触しないという強い安全要件、およびいずれの周囲動体にも正の相対速度で接触しにいかないという弱い安全要件の二つを用いる。弱い安全要件は、周囲動体が自システムに接触しにくる場合を許容する事を意味する。

　　平面を移動する事を強いられ、多数の周囲動体で混雑する動作環境では、強い安全要件が充足不能に陥る場合が必ず存在するが、弱い安全要件は、自システムが適切に動きさえすれば常に成立させられる可能性が高い安全要件であることに留意されたい。本実施例では一貫して、弱い安全要件を用いる。

　　周囲動体には、動作環境において慣例的に満たされている動作自由度、および物理的な限界から導かれる動作自由度の二つが見出される。それぞれの動作自由度に対応する制約形式を、通常時前提条件、及び最悪時前提条件と呼称する。

　　図３では、図示の都合により、過去の移動軌跡を線形外挿する等の手法で算出した軌跡をＲ０、通常時前提条件を満たす範囲で実現可能な任意の動作自由度の下で、検証期間とする所定時間以内に、所定の安全要件に違反する形でハザードを招く事が出来る軌跡の集合をＲ１，最悪時前提条件を満たす範囲で実現可能な任意の動作自由度の下で、所定時間以内に、所定の安全要件に違反する形でハザードを招く事が出来る軌跡の集合をＲ２とする。

　　この軌跡集合は、周囲動体が所定の前提条件下で所定時間以内に到達可能な領域とは違い、所定の安全要件に違反する軌跡の集合である為、自システムの状態、周囲動体の動作自由度や動作環境の状況により随時変形するという意味で不定形である。その為、一般的な形態を算出する事は難しいものの、少なくとも、Ｒ２の部分集合がＲ１，Ｒ１の一部である具体的な軌跡がＲ０となる包含関係が成立する。また、実際に周囲動体がとる軌跡は、周囲動体の自由意思で決まるものであり、予想軌跡から乖離する可能性も、軌跡集合Ｒ１から逸脱する可能性もあるが、軌跡集合Ｒ２を逸脱しない事は保証されるとする。

　　この保証が成立する限りは、最悪時前提条件に相当する動作自由度を満たす範囲で周囲動体が任意の挙動をしても安全要件に違反出来ない状況にある場合、自転車はハザードを起こす事が出来ず、よって本質的に安全であると保証される。例えば、左方から接近する自動車と自システムの計画軌道との間には十分に距離があり、前述した保証が成立する限り、自システムの計画軌道は本質的に安全である。

　　一方、この手法では予想軌跡Ｒ０または軌跡集合Ｒ１を用いた判定結果の正しさは保証されない。実際、図３で示される自システムは、予想軌跡Ｒ０と軌跡集合Ｒ１とは交差出来ず、通常時前提条件が成立する限りにおいて、接近する自転車と安全にすれ違うような計画軌道を描いていると判定される。しかし、自転車は、通常時前提条件とは無関係に、自由意思に基づいて将来軌道を決めており、自システムは、自転車の移動意図を知ることはできない。その為、自転車の動作自由度の範囲で、通常時前提条件を満たさないが最悪時前提条件を満たす範囲、つまり軌跡集合Ｒ２＆！Ｒ１に属する動作をした場合にはハザードを招く動作が出来る状況にある。

　　その為、自システムは、通常時前提条件下で、実際にハザードを招く動作が実現可能となった時点より、最悪時前提条件下で、弱い安全要件に違反しない代替計画軌道の有無を判定する必要がある。この代替計画軌道が存在する限りにおいて、前記計画軌道に従って進む事もできて、また算出された代替計画軌道に切り替えて、前記のハザードを招く動作が出来ないという意味で本質的に安全な状況に回復することもできる。

　この状況において、課された安全要件を検証する問題に本発明を適用する。

　　自律動作検証装置０３は、後述の図８に示す通り、計画動作の安全性、動作時前提条件の成立確認、通常時前提条件下でのハザード発生可能性の判定、および最悪時前提条件でのハザード回避可能性を判定して、判定結果を通知する。

　　図４では、本問題に用いる変数の一覧を示す。特に、内部状態計測手段０２１を通じて取得した、自システムの内部状態値、自システムの動的状態を制御する動作制御命令値、周囲動体を含む動作環境を対象とした外界状態計測手段０２３を通じて取得した外界状態値、および前記周囲動体が取りうる動作自由度をモデル化する為に導入した仮想的な変数値である、周囲動体の動作制御命令値を用いる。

　　図５および図６では、制約形式変換部０３１に渡す各種入力情報の一覧を示す。図７は、前記入力情報を元に制約形式変換部０３１が出力する限量記号付き制約形式を表す。限量記号や各種二値関数は問題ごとに定義されるものであり、図７の出力形式は本状況図に即して設定した一例に過ぎない事に留意されたい。

　図６に示した個々の制約形式を概説する。

　　自システムの動作時制約は、主として動的挙動を制御するための動作制御命令値をはじめとする、設計した通りの挙動をシステムが実現出来る仕様規定範囲から導かれるものである。上下限の値域、動作制御命令値の時間差分の上下限値域、及びシステムの動特性に起因した内部状態値の遷移に関する制約を例示した。

　周囲動体の通常時前提条件は、自システムの動作時制約と同種であるが、仕様規定範囲よりも狭い制約条件であり、通常動作時に慣例的に満たされている、周囲動体の動作自由度を指定するものである。

　　一方、最悪時前提条件が前記自システムの動作時制約に相当し、機構的に実現可能な動作自由度の限界を指定するものである。

　この二つの前提条件は、ハザード発生に関するリスクを判定する上で、異なる役割を果たす。つまり、周囲動体が通常時前提条件でハザード発生可能になるか否かを判定することでハザード発生のリスクを予見的に評価し、併せて最悪時前提条件下での代替計画軌道を用いて、本質的に安全な状況を回復することで対策する。

　計画動作は、一例として自システムの内部状態値列の内、空間座標成分だけを指定する場合には、軌道と見做される点列情報を用いる。軌道からの乖離が所定上限未満となるような制約条件を用いる。

　期待動作に相当する制約形式は、前記計画動作を実行した末に充足するべき条件にあたる。慣例的には、自システムが移動体である事が多く、期待動作として、目標領域への到達を支持するものが多い為、便宜上、自システムの内部状態値のみを引数に用いている。期待動作自体が、外界に適応して動作するたぐいのものである場合には、外界状態値と内部状態値を併用して記述すればよい。

　安全要件に相当する制約形式は、内部状態値および外界状態値を併用したものになる。前述の強い安全要件の場合には、空間座標の相対的な関係だけで決まる制約条件式を用いればよい。

　　図７は、制約形式変換部が出力する限量記号付き制約形式の一形態である。判定項目ごとに、具体的な限量記号付き制約形式の例を示す。以上の判定問題を連結した一連の処理フローを図９に示す。

　　各判定項目の評価を開始する前に、入力情報である各種制約形式の妥当性を検証しておく必要がある。これは第一には、自律動作検証装置以外のモジュールに不具合があり、その影響が伝搬した結果、不正なデータが自律動作検証装置に供給されて誤判定をしてしまう事態への対策である。

　入力情報として、動作時制約、通常時及び最悪時前提条件及びその整合性、計画動作、安全要件、および期待動作それぞれ単体の制約形式として、充足解があることを判定する。

　　充足解が無い場合には、不正な入力情報で合った事を通知する。これら事前処理をした後で、引き続く各種判定処理を開始する。

　　計画動作の安全性は、自システムの動作時制約の元で、指定された計画動作と期待動作と安全要件を満たすような動作制御命令値列の有無を判定する限量記号付き制約形式の充足可能性判定問題を解けばよい。

　　充足解が存在すれば計画動作の安全性が検証され、実際に充足解である動作制御命令値列を用いれば良い。逆に充足解が存在しないと判定された場合は、計画動作自体が前記動作時制約の下で、実現不可能であるか安全要件に違反するか、又は期待動作を達成できないかのいずれかである。充足可能性判定部に渡したすべての制約形式の一覧の内、ＵＮＳＡＴ　Ｃｏｒｅに相当するような両立不能な制約形式が存在して、これを解析することで、前記計画動作の安全性を損なう原因を一意に特定出来る。

　　動作時前提条件の成立確認をする場合には、評価対象とする周囲動体の空間座標値列、つまり軌跡等に代表される外界状態値列を取り出し、所定の通常動作時前提条件下で、前記外界状態値列を実現するような動作制御命令値列の有無を判定する限量記号付き制約形式の充足可能性判定問題を解けばよい。

　充足解が存在する場合には、前記評価対象の周囲動体は、通常時動作前提条件に相当する動作自由度の元で動作している事が検証された。

　充足解が存在しない場合には、前記評価対象の周囲動体は、通常時動作前提条件に相当する動作自由度を逸脱し、最悪時前提条件に相当する動作自由度の元で動作をしている事を意味する。この判定結果を得た時点より、ハザード回避可能性を判定する処理を開始するのが望ましい。

　引き続き、通常時前提条件と最悪時前提条件の整合性を確認する場合も、同様に限量記号付き制約形式の充足可能性判定問題に帰着される。これは、両制約条件が、図３で示した軌跡集合Ｒ１およびＲ２のような包含関係になっていない不正な条件が指定されている場合を検出する為に用いるものである。最悪時前提条件を満たすが通常時前提条件を満たさないような、周囲動体の動作制御命令値列が一つも存在しない（UNSATisfiable）であるか否かを判定すればよい。

　充足解が存在しない場合には、両前提条件は整合している事が検証された。
一方、充足解が存在する場合には、具体的な割り当て値となる動作命令値列が、所望の不整合を招く解となっている。

　ハザード発生可能性を判定する問題は、通常時前提条件下で任意に取りうる、選択した周囲動体の動作制御命令値列の内、自システムの動作制約、自システムの計画動作、自システムの期待動作に関する制約条件を満たしながら、所定の安全要件、望ましくは強い安全要件、を満たさないような充足解の有無を判定する問題を解けばよい。

　充足解が存在する場合には、安全要件を満たさないという意味でハザードを招く動作を前記周囲動体が取ることが出来る事を意味する。この時、具体的な割り当て値から前記周囲動体の動作制御命令値列を取り出して実際にそれを設定することで算出される外界状態値列を復元する等して、ハザードに到る具体的な時系列の遷移過程を得る。

　充足解が存在しない場合には、通常時前提条件が成立する限り、周囲動体はハザードを招く動作を出来ず、計画動作は安全である事が検証された。

　ハザード回避可能性を判定する問題は、最悪時前提条件化で任意に取りうる、選択した周囲動体の動作制御命令値にも関わらず、自システムの期待動作と弱い安全要件を満たし、かつ自システムの動作時制約を満たすような動作制御命令値列が存在するか否かを判定する問題を解けば良い。

　充足解が存在する場合には、周囲動体が、最悪時前提条件が満たされる範囲で任意の動作をしても、算出された代替計画軌道を用いれば、安全要件違反に相当するハザードを招かない事が検証された。充足解から、自システムの動作制御眼いれ値列を取り出して制御入力値列として用いて、代替計画動作を実現すればよい。

　充足解が存在しない場合には、安全要件に違反する不都合な動作をとり、ハザードを招くことができる周囲動体がある事を意味する。この場合には、ハザードに到る時系列の外界状態値列を通知する。

　各判定過程で用いるデータ及び通知情報を図１０のフォーマットに合わせた上で、すべて記録装置０４に格納し、登録時点、登録期限を有効データとして登録する。

　　ここで、すべての判定結果は、時系列で変化する外界状態や内部状態の計測値を前提としたものであり、自システムが動作する過程でこれらのデータが更新されていく為、それぞれの格納データには有効期間を設定する必要があることに留意されたい。よって、記録装置に格納されたデータの内、有効期限を超えたデータをすべて無効にして登録情報を削除して、一連の処理を終了する。
（実施例２）
　　図１１は、図１で開示した自律動作検証装置を備えた自律制御装置及び自律システムの構成例を示す。自律システムの典型的な構成は、内部状態計測手段０２１、外界状態計測手段０２２、自律制御装置０３、駆動装置０２８のハードウェアで構成されるものである。

　　自律制御装置０２には、期待動作０２５、および安全要件０２６を入力して、動作計画手段０３３が検証前計画動作０３４を算出する。自律動作検証装置を備えない自律システムは、前記検証前計画動作が正しい事を暗黙のうちに前提として検証済み計画動作０３５と見做したうえで、そのまま制御装置０３６に出力するものである。

　　一方、自律動作検証装置０３を搭載した自律制御装置０２は、検証前計画動作０３４が不正であって制御装置０３６にそのまま出力されてしまうことで引き起こされるハザードを回避するための安全機構の役割を果たす。典型的な構成例は、前記検証前計画動作０３４を受け取り、各種判定項目を評価した上で、通知情報０３６を動作計画手段に返すものである。

　　動作計画手段０３３は、通知情報を元に、ハザード要因があれば再度、検証前計画動作０３４を再度演算するか、またはハザード要因を回避する代替計画動作で上書きして、検証済み計画動作０３５とする。
（実施例３）
　図１２は、図１で開示した自律動作検証装置０２を備えた自律制御装置０２及び自律システム０１であって、自律動作検証装置０３の内部で行われる判定処理フロー及び通知情報を、図１３に示される処理フローに従い、図１４に示される外観の提示装置等に出力する構成例を示す。

　提示装置は、図１３に示される通り、動作時制約の不正通知、周囲動体の通常時前提条件の不正通知、通常時前提条件および最悪時前提条件の不整合の通知、安全要件の不正通知、期待動作の不正通知を受信した場合には、システム異常ランプ０２７１を点灯させる処理を実行する。

　指定された計画動作の不正通知、または計画動作の異常通知を受信した場合には動作計画手段以上のランプ０２７２を点灯させ、必要に応じて自律制御装置０２が異常時停止処理をしても良い。

　通常時前提条件に違反している周囲動体の通知を受信した場合には、提示装置内の表示画面０２７３に、危険動作の可能性がある動体として強調表示する。

　ハザードを招く事が出来ると判定された周囲動体の情報とハザードに到る時系列の外界状態値列の通知を受信した場合には、ハザードを招く前記周囲動体の状態値列Ｚの空間座標成分を取り出して連結した危険軌跡データを、提示装置内の表示画面０２７３に表示する。

　最後に、周囲動体によるハザードを回避する代替計画動作の有無の判定結果の通知を参照する。
代替計画動作が無い場合には、回避不能のハザードを招く周囲動体を特定して、ハザードを招く周囲動体の状態値列の空間座標成分を取り出して連結した危険軌跡データを、提示装置内の表示画面０２７３に表示する。

　逆に代替計画動作がある場合には、充足解の一部を成す内部状態値列の空間座標成分を取り出して連結した回避軌跡データを、提示装置内の表示画面０２７３に表示する。

　提示装置の第一の意義は、完全にソフトウェアで処理される自律システムの動作安全性を保証する過程で、本発明で開示した自律動作検証装置内部のハザードリスク判断と自システムの制御に関わる演算過程を外部、特に自律システムの検証、認証担当者が観測可能な形にすることにある。

　　また、提示装置の第二の意義は、自システムが決定可能な範囲では期待動作を充足できないような動作状況にある場合に、周囲動体との意思疎通を通じた解決をする機能を実現する手段を提供する事にある。

　　周囲動体は自由意思で移動意図や将来軌道を決めており、自システムがその移動意図を知ることもできないことは既に述べた。しかし、そもそも、周囲動体からも、自システムの移動意図や将来軌道を観察することができない。この為、多数の周囲動体が存在する混雑状況では、自システムが制御可能な範囲だけに限定して、整合的に、自システムの期待動作を満たすような計画動作を算出する事が難しく、デッドロックを招くような状況が実際に存在する。そのような状況において、自システムの円滑な動作を阻害すると自律動作検証装置が見なしているハザード判定結果の具体的な通知情報を提示装置に出力し、周囲動体がその通知に基づいて回避動作をとることを促すか、又は交通規則として制定することで、そのような状況を解決出来る。

　　図１４に示した提示装置は、主として前記第二の意義を果たすべく構成されたものであって、図９で通知した情報を用いて、図１４に示した処理フローを経て周囲動体に対して提示する画面を示したものである。提示装置０２７には、システム異常ランプ０２７１及び動作計画手段異常のランプ０２７２は、自システムが正しい動作を出来ない可能性がある事を外部に示す為に有用であり、表示画面０２７３にて通常時前提条件に違反すると判定された、危険動作の可能性があると判定した周囲動体の情報と、ハザードを招く具体的な軌跡、これを元にして、自システムが実行しようとしている代替計画動作を出力する。

　　本発明は、公道を含む開放環境において動作する完全自律走行車、及び搭乗者の待機位置に向かう無人タクシーや無人レンタカーサービスに利用できる。また、周囲の走行車に接触せずに一定速度で走行するオートクルーズ機能や衝突回避機能を有する自動車に利用できる。また、鉱山、深地下、海底に代表される遠隔地において通信経路を通じて制御する作業機械であって、作業上の安全性に関する制約を満たすように自律的に判断して動作するものに利用できる。

０１　　　　　　自律システム
０２　　　　　　自律制御装置
０２１　　　　　　内部状態計測手段
０２２　　　　　　外界状態計測手段
０２３　　　　　　動作時制約
０２４　　　　　　動作時前提条件
０２５　　　　　　期待動作
０２６　　　　　　安全要件
０２７　　　　　　提示装置
０２７１　　　　　システム異常ランプ
０２７２　　　　　動作計画手段以上のランプ
０２７３　　　　　検証に用いる有効データの表示画面
０２８　　　　　　駆動装置
０３　　　　　　自律動作検証装置
０３１　　　　　　制約形式変換部
０３２　　　　　　充足可能性判定部
０３３　　　　　　動作計画手段
０３４　　　　　　検証前計画動作
０３５　　　　　　検証済み計画動作
０３６　　　　　　制御装置
０４　　　　　　記録装置

Claims

　自車の内部状態値を計測する内部状態計測手段と、
　外界状態を計測する手段と、
　前記内部状態値が所定の時点までに取りうる値域を限定する動作時制約を設定する動作時制約設定手段と、
　外界計測手段を用いて取得した外界状態を用いて、前記外界状態が所定の時点までにとりうる値域を限定する動作時前提条件を設定する手段と、
　前記内部状態および前記外界状態の関係を制約する安全要件を設定する手段と、
　自システムが実行するべき動作を指示する期待動作を設定する期待動作設定手段と、
　前記期待動作を達成する事を目的とする計画動作を算出する計画動作算出手段と、
　前記動作時制約と前記動作時前提条件と前記安全要件と期待動作と前記計画動作をすべて限量子付き制約形式に変換する制約形式変換部と、
　前記限量子付き制約形式の充足解の有無を判定する充足可能性判定手段と、を有し、
　前記充足可能性判定手段は、自車が前記計画動作に基づき動作している時に前記限量子付き制約形式の充足可能性判定解を解く自律システム。
　前記充足可能性判定手段は、
　前記期待動作と前記安全要件の充足解の有無を判定する実現可能性判定機能と、
　前記外界状態と前記動作時前提条件の充足解の有無を判定して、前記動作時前提条件に違反する危険動作をする対象を特定するハザード要因特定機能と、
　前記動作時前提条件の元で前記安全要件に違反する前記外部状態の時系列値の有無を判定するハザード発生可能性判定機能と、
　前記動作時前提条件の元で前記安全要件を充足する代替計画動作の有無を判定するハザード回避可能性判定機能と、
を有する請求項１に記載の自律システム。
　前記充足可能性判定手段は、
　前記実現可能性判定機能の結果に基づく計画動作の安全性と、
　前記ハザード要因特定機能の結果に基づく危険動作をする対象と、
　前記ハザード発生可能性判定機能の結果に基づくハザード要因と、
　前記ハザード回避可能性判定機能の結果に基づく代替計画動作と、を前記計画動作算出手段に通知する請求項２に記載の自律システム。
　前記充足可能性判定手段は、
　前記限量子付き制約形式のデータを受け取る毎に、受け取ったデータにより前記各種機能により判定した結果のデータを、そのデータの登録時点及び有効期限と併せて記録手段に出力する請求項３に記載の自律システム。
　前記動作計画算出手段は、
　前充足可能性判定手段から前記代替計画動作を得た場合には、前記計画動作を前記代替計画動作に置換して、前記安全要件を充足する回復機能を有する事を特徴とする自律システム。
　乗員への提示手段を有し、
　前記充足可能性判定手段は、前記安全性と、前記危険動作をする対象と、前記ハザード要因と、前記代替計画と、を前記提示手段に通知し、
　前記提示手段は、
　前記計画動作の安全性がない場合、異常ランプを点灯する機能と、
　前記危険動作をする対象を強調表示する機能と、
　代替計画動作を表示する機能と、
　を備える事を特徴とする請求項４に記載の自律システム。
　動作時制約情報と動作時前提条件情報と安全要件情報と期待動作情報と計画動作情報とが入力され、前記入力された情報のすべてを限量子付き制約形式に変換する制約形式変換部と、
　前記限量子付き制約形式の充足解の有無を判定する充足可能性判定部と、を有し、
　前記充足可能性判定部は、自車が前記計画動作に基づき動作している時に前記限量子付き制約形式の充足可能性判定解を解く自律制御装置。