JP7718975B2 - 輸送システム用の映像コンテンツ分析システム及び方法 - Google Patents

Description

関連出願への相互参照
本願は、法律で認められている範囲で、２０１６年５月１６日に提出された米国仮出願第６２／３３７，２２５号に対する優先権を主張し、２０１６年５月１６日に出願された米国仮出願第６２／３３７，２２７号に対する優先権を主張し、２０１６年５月１６日に提出された米国仮出願第６２／３３７，２２８号に対する優先権を主張し、２０１７年５月１５日に提出された米国非仮出願第１５／５９５，６５０号の一部継続出願であり、かつ２０１７年５月１５日に提出された米国非仮出願第１５／５９５，６８９号の一部継続出願であり、その内容は、その全体が参照により本明細書に組み込まれる。

本開示は、高価値移動資産で使用される装置、特に、高価値移動資産で使用されるリアルタイムデータ取得・記録システムに関する。

機関車、航空機、大量輸送システム、鉱山機械、運搬可能な医療機器、貨物、船舶、軍用船などの高価値移動資産は、通常、搭載型データ取得・記録「ブラックボックス」システム及び／又は「イベントレコーダ」システムを採用している。イベントデータレコーダやフライトデータレコーダなどのデータ取得・記録システムは、インシデント調査、乗員の業務評価、燃費分析、メンテナンス計画、及び予測診断に使用される様々なシステムパラメータをログに残す。典型的なデータ収集記録システムは、デジタル及びアナログ入力ならびに圧力スイッチ及び圧力トランスデューサを備え、様々な搭載のセンサ装置からのデータを記録する。記録されたデータは、速度、移動した距離、場所、燃料レベル、１分間当たりのエンジン回転数（ＲＰＭ）、流体レベル、運転者制御、圧力、現在及び予測される天候条件及び周囲条件などのパラメータを含むことができる。基本的事象及び動作データに加えて、映像及び音声事象／データ記録機能も、これらの同じ移動資産の多くに配備されている。通常、資産が絡む事件が発生し、調査が必要とされた後、データレコーダが回収されると、そのデータレコーダからデータが抽出される。ところが、データレコーダが回復できない、又は他の理由でデータが利用できない状況が発生することがある。このような状況では、データ取得・記録システム又はそのデータへの物理的アクセスが利用可能であるかどうかにかかわらず、データ収集記録システムによって取得された事象及び動作データ、映像データ、及び音声データなどのデータが迅速に必要とされる。

本開示は、概して、高価値移動資産で使用されるリアルタイムデータ取得・記録システムに関する。本明細書の教示は、高価値移動資産に関する映像データへのリアルタイム又は準リアルタイムのアクセス及び映像コンテンツ分析を提供することができる。本明細書に記載する、移動資産からのデータを処理する方法の一実装は、その移動資産に搭載の映像分析システムを使用して、その移動資産に搭載の少なくとも１つのデータソース及びその移動資産から遠隔にある少なくとも１つのデータソースの少なくとも一方からの少なくとも１つのデータ信号に基づくデータを受信すること、映像分析システムの強化学習コンポーネントを使用して、そのデータを加工データに処理すること、その映像分析システムを使用して、移動資産に搭載のデータレコーダにそのデータ及び加工データのうちの少なくとも一方を送信することと、そのデータレコーダのデータエンコーダを使用して、加工データに基づくビットストリームを含むレコードを符号化することと、データレコーダの搭載データマネジャを使用して、そのデータ、加工データレコーダのうちの少なくとも１つを、少なくとも１つのローカルメモリコンポーネントに、設定可能な第１の所定頻度にて記憶することと、を含む。

本明細書に記載する、映像コンテンツを分析するシステムの一実装は、少なくとも１つの３６０度カメラ、少なくとも１つの固定カメラ、及び少なくとも１つのマイクロフォンのうちの少なくとも１つと、移動資産に搭載の映像分析システムであって、強化学習コンポーネント、オブジェクト検出及び位置特定コンポーネント、及び障害物検出コンポーネントを含み、かつ少なくとも１つの３６０度カメラ、少なくとも１つの固定カメラ、及び少なくとも１つのマイクロフォンのうちの少なくとも１つからの少なくとも１つのデータ信号に基づくデータを受信するように設定された映像分析システムと、を含み、強化学習コンポーネントはそのデータを加工データに処理するように設定されており、オブジェクト検出及び位置特定コンポーネントは、その加工データに基づいて第１のオブジェクトのオブジェクト検出データ及びオブジェクト位置データを判定するように設定されており、障害物検出コンポーネントは、加工データ、オブジェクト検出データ、及びオブジェクト位置データのうちの少なくとも１つに基づいて障害物検出データを判定するように設定されている。

本開示のこれらの態様及び他の態様における変形を、以下でさらに詳細に説明する。

本明細書の説明を添付の図面を参照して行うが、いくつかの図面では同様の参照番号で同様の部品を示している。
本開示の実装による例示的なリアルタイムデータ取得・記録システムの現場設置を示す図。 本開示の実装による、例示的トラック検出を示す図。 本開示の実装による、例示的トラック検出及びスイッチ検出を示す図。 本開示の実装による、例示的トラック検出、トラック数のカウント、及び信号検出を示す図。 本開示の実装による、移動資産の内部状態を判定する処理を示すフロー図。 本開示の実装による、オブジェクト検出と移動資産の外部で起こる障害物検出とを判定する処理を示すフロー図。

本明細書に記載のリアルタイムデータ取得・記録システム及び映像分析システムは、高価値資産に関する事象及び動作データ、映像データ、音声データなどの広範なデータへのリアルタイム又は準リアルタイムのアクセスを遠隔に位置するユーザに提供する。このデータ取得・記録システムは、事故発生前、発生時、及び発生後に、資産に関するデータを記録し、そのデータを遠隔データリポジトリ及び遠隔に位置するユーザにストリーミングする。そのデータは、リアルタイム又は準リアルタイムで遠隔データリポジトリにストリーミングされる。これにより、リアルタイムで情報を遠隔データリポジトリにストリーミングし、少なくとも壊滅的な事象が起こるまでには情報を入手可能とすることにより、少なくとも事故又は緊急事態の発生時点までに情報を入手できるため、その資産が絡む事故を調査するために「ブラックボックス」を見つけてダウンロードする必要性を実質的に排除することができる。ＤＡＲＳは、移動資産について記録された映像データの映像分析を実行して、例えば、運転室占有率及び軌道検出を判定する。遠隔に位置するユーザは、一般的なウェブブラウザにアクセスすると、そのブラウザが、選択した資産に関する所望データにユーザをナビゲートして、そのデータを検分することができる。このため、指定データのダウンロードを要求するために資産上のデータ取得・記録システムとの対話、ファイルの位置確認や転送、そのデータ閲覧用の専用アプリケーションの使用が不要となる。

ＤＡＲＳは、事故前、事故中、及び事故後に、遠隔データリポジトリ及び遠隔に位置するユーザにデータをストリーミングすることにより、遠隔に位置するユーザの映像データへのアクセス及び映像分析システムにより行われる映像分析へのアクセスを提供する。これにより、映像データを確認して、事故時、トラック検出時、調査時、又はその他の対象時に乗員又は権限のない個人が存在したかどうか運転室占有率を判定するために、ユーザが手動で映像をダウンロード、抽出、再生をする必要がなくなる。さらに、映像分析システムは、リアルタイムで画像及び映像データを処理することによって、運転室占有率状況の決定、トラック検出、先頭及び後尾ユニットの決定を提供し、それによって正しいデータが常にユーザに利用可能であることを保証する。例えば、リアルタイムの画像処理は、後尾機関車として指定された機関車が先頭になっていないことを保証して鉄道の安全性を高める。従来のシステムは、配車システムにおける列車構成機能を使用することによって列車内の機関車位置を提供していた。この配車システム情報の場合は時折、情報がリアルタイムでは更新されず、必要と思われれば担当乗員が機関車を交換することができるので、古くなっている可能性がある。

本開示のシステム前は、検査者及び／又は資産担当者は、手動でトラックの状態を検査し、車両が先頭又は後尾位置にあるかどうかを手動で確認し、手動で個々の対象オブジェクトの位置を調査し、手動で対象オブジェクトの地理的位置のデータベースを作成し、各対象オブジェクトの手動による現地調査を定期的に実施して、それらの位置を確認して元の調査と異なる地理的位置の変化を特定し、元のデータベースが作成された時点から修復又はインフラストラクチャ開発の追加によって対象オブジェクトが場所を変更した場合は、手動でデータベースを更新し、デジタルビデオレコーダやデータレコーダから目的のデータを選択してダウンロードし、ダウンロードしたデータや映像をオフラインで検査し、障害物がないかトラックを確認しなければならず、その車両の操作者は、障害物及び／又はスイッチの変更がないかを物理的に検査しなければならなかった。本開示のシステムは、ユーザがこれらのステップを実行する必要性をなくしているため、ユーザを所望データにナビゲートする一般的なウェブブラウザを使用するだけでよい。資産所有者及び操作者は、移動資産の効率及び安全性をリアルタイムで自動化及び改善することができ、トラック状況を積極的に監視することができ、リアルタイムで警告情報を入手することができる。本開示のシステムは、トラックの状態を監視し、事故を調査するために、資産所有者及び操作者がデータレコーダからデータをダウンロードする必要性をなくしている。予防安全システムとして、ＤＡＲＳは、オペレータによる障害物有無のチェック、リアルタイムでのアラート送信及び／又はオフラインでその情報の保存、リモートモニタリング及び記憶用のアラート情報送信を補助することができる。現在及び過去の両方のトラック検出情報は、リアルタイムで遠隔データリポジトリに格納可能であるため、必要に応じてユーザがその情報を見る際の助けとなる。遠隔地にいるユーザは、選択された資産に関連する所望データへとナビゲートしてくれる一般的なウェブブラウザにアクセスして、資産の運用効率及び安全性をリアルタイム又は準リアルタイムで表示及び分析することができる。

本開示のシステムは、対象オブジェクトを継続的に監視して、それらが移動又は損傷したら、枝葉に行く手を塞がれたら、及び／又は故障して保守を必要としていたら、リアルタイムでそれを識別するために使用することができる。ＤＡＲＳは、映像、画像、及び／又はオーディオ情報を利用して、映像内の線路などの様々なインフラストラクチャのオブジェクトを検出及び識別し、移動資産が進むにつれてトラックをたどる機能を有し、地理的位置と共に対象オブジェクトのデータベースを定期的に作成、監査、及び更新する機能を有する。ＤＡＲＳは、存在するトラック数のカウント、移動資産がたどっている現在のトラックの識別、流されたバラスト、壊れたトラック、ゲージ外のトラック、スイッチの位置ズレ、乗り換えの切り替え、トラックへの浸水、積雪などの存在する障害物又は欠陥の検出、壊滅的な事態を発生させない予防保守の計画など、トラックの状態を自動的に検査することができる。ＤＡＲＳはまた、線路スイッチを検出し、トラック変更を追跡することができる。ＤＡＲＳはさらに、オブジェクトがなくなっていないか、妨害されていないか、及び／又はあるはずの場所に存在しているかなど、データの位置の変化を検出することができる。トラック検出、インフラストラクチャ診断情報、及び／又はインフラストラクチャ監視情報は、ウェブブラウザなどの標準的なウェブクライアントを使用してユーザに表示できるため、以前のシステムが必要としていたように、データレコーダからファイルをダウンロードして、専用アプリケーションソフトウェア又は情報を見るためのその他外部アプリケーションを使用する必要がなくなる。この処理は、対象オブジェクトの地理的位置を用いてデータベースを自動的に作成、監査、及び／又は更新し、連邦規則の遵守を確実にするまで拡張することができる。本開示のシステムでは、連邦規則に準拠するように以前設置されたカメラを利用して、以前は人間の対話、特殊車両、及び／又は代替機器を必要としていた様々な作業を実行する。ＤＡＲＳを用いると、移動資産が通常の収益サービス及び日常業務の一環としてその領域全体を移動する間、これらの作業を自動的に実行することができる。ＤＡＲＳを使用すると、以前は手動が必要だった作業を実行するために、通常の車両操作と以前に取り付けたカメラを利用して、無数の手作業による作業時間を節約できる。ＤＡＲＳは、以前は特殊車両を使用して実行されていた作業を実行することもできる。これにより、トラック及び対象オブジェクトの検査及び位置確認のためにトラック部分を閉鎖せずにすむ。トラックの一部を閉鎖すると、歳入サービスの喪失及び高額機器の購入及び維持につながることがしばしばあった。ＤＡＲＳはさらに、人が線路付近にいなければならない時間を減らすので、事故をトータルで減らし、人命を失う可能性も低減する。

データには、これに限定するものではないが、移動資産及び／又は移動資産近辺から生じる速度、圧力、温度、電流、電圧及び加速度などの測定されたアナログ及び周波数パラメータ、スイッチ位置、アクチュエータ位置、警告灯の照度、アクチュエータコマンドなどの測定されたブールデータ、全地球測位システム（ＧＰＳ）からの位置、速度及び高度情報、ならびに様々な対象オブジェクトの緯度及び経度などの地理情報システム（ＧＩＳ）からの追加データ、現在位置を考慮した上での移動資産の規制速度制限などの内部生成情報、ポジティブ列車制御（ＰＴＣ）などのシステムによって生成された列車制御状況及び運用データ、ＧＰＳから受信したものを含む速度、加速度、及び位置などの車両及び慣性パラメータ、様々な対象オブジェクトの緯度と経度などのＧＩＳデータ、移動資産内、移動資産上、又はその近傍の様々な場所に配置された少なくとも１つのカメラからの映像及び画像情報、移動資産内、移動資産上、又はその近傍の様々な場所に配置された少なくとも１つのマイクロフォンからの音声情報、経路、スケジュール、貨物マニフェスト情報など、データセンターから移動資産に送信される移動資産の運用計画に関する情報、移動資産が現在稼働している、又は稼働予定の地域の、現在の天候や予測される天候などの環境条件に関する情報、追加データ、映像、及び音声の分析と分析学とを含む、上記の情報源のいずれかの組み合わせから得られるデータを含むことができる。

「トラック」は、機関車及び／又は列車の輸送に使用される鉄道のレール及び枕木を含み得るが、これらに限定されない。「対象オブジェクト」は、資産のカメラ画像及び映像の強化学習を使用して識別され得る、線路の近傍内に設置及び維持されるインフラストラクチャの様々なオブジェクトを含み得るが、これらに限定されない。強化学習は、「トレーニング」データとして定義されて以前にラベル付けされたデータセットを利用して、移動資産内、移動資産上、又はその近傍にあるカメラの視野内の物体を遠隔で自律的に識別できるようにするものである。ＤＡＲＳは、実装のすべての段階において、人間の対話を必要とする場合も必要としない場合もある。その実装段階の例として、強化学習に必要な訓練データセットのラベリングを挙げられるが、これに限定されるものではない。オブジェクトには、トラック、トラックの中心点、走行標識、信号、交差ゲート、スイッチ、交差点、及び文字による標識が含まれるが、これに限定されるものではない。「映像分析」とは、移動資産内、移動資産上、又はその付近にある少なくとも１つのカメラから記録された映像及び／又は画像を分析することによって収集された、あらゆる明瞭な情報を指す。その例として、対象オブジェクト、オブジェクトの地理的位置、障害物の移動、対象オブジェクトと移動資産間の距離、位置ずれの追跡などを挙げられるが、これに限定するものではない。映像分析システムはまた、ビデオ監視を強化するために監視カメラを含むあらゆる移動資産、住居区域、空間、又は部屋のいずれでも使用することができる。移動資産では、この映像分析システムは、遠隔地にいるユーザに向けて経済的かつ効率的に車内を占める自発的事象の検出を提供する。

図１は、本開示の態様を実装することができる例示的なリアルタイムデータ取得・記録システム（ＤＡＲＳ）１００の第１の実施形態の現場設置を示している。ＤＡＲＳ１００は、移動資産１６４上のデータレコーダ１０２からデータセンター１６６を介して遠隔に位置するエンドユーザ１６８に、リアルタイム情報、映像情報、及び音声情報を配信するシステムである。データレコーダ１０２は、車両すなわち移動資産１６４に設置されており、有線及び／又は無線ゲートウェイ／ルータ（図示せず）などの無線データリンク１４２の任意の組み合わせを介して任意の数の種々の情報源と通信する。データレコーダ１０２は、搭載のデータリンク１４２を介して、資産の構成に基づいて幅広く多様となり得る広範な様々なソースから映像データ、音声データ、及び他のデータ又は情報を収集する。データレコーダ１０２は、資産１６４内に、衝突保護メモリモジュール１０４、搭載のデータマネジャ１０６、及びデータエンコーダ１０８などのローカルメモリコンポーネントを含む。第２の実施態様では、データレコーダ１０２は、衝突保護のない着脱式記憶装置（図示せず）も含むことができる。例示的な衝突保護メモリモジュール１０４は例えば、例えば、連邦規則及び連邦鉄道行政規則に遵守する耐衝撃性事象レコーダメモリモジュール、連邦規則及び連邦航空局の規制に遵守するクラッシュサバイバブルメモリユニット(crash survivable memory unit)、適用可能な連邦規則のコードに準拠した衝突保護メモリモジュール、又は当該技術分野において知られている他の適切な強化メモリでよい。有線及び／又は無線データリンクは、離散信号入力、標準又は専用イーサネット（登録商標）、シリアル接続、及び無線接続のいずれか１つ又は組み合わせを含むことができる。

ＤＡＲＳ１００はさらに、トラック検出及びインフラストラクチャ監視コンポーネント１１４を含む映像分析システム１１０を備える。トラック検出及びインフラストラクチャ監視コンポーネント１１４は、強化学習コンポーネント１２４又は他のニューラルネットワーク又は人工知能コンポーネント、オブジェクト検出及び位置特定コンポーネント１２６、及び障害物検出コンポーネント１２８を備える。この実装では、ライブ映像データは、資産１６４の車内、資産１６４上、又は資産１６４の近くに搭載された少なくとも１つのカメラ１４０により撮影される。カメラ１４０は、適切な高さ及び角度で配置されて、資産１６４内及びその周囲の映像データを捉え、さらなる処理のために十分な量のビューを取得する。ライブ映像データ及び画像データは、カメラ１４０により資産１６４の正面及び／又は周囲で捉えられ、分析のためにトラック検出及びインフラストラクチャ監視コンポーネント１１４に給送される。映像分析システム１１０のトラック検出及びインフラストラクチャ監視コンポーネント１１４は、そのライブ映像及び画像データフレーム毎に処理して、線路及びあらゆるオブジェクトの存在を検出する。高さ、角度、シフト、焦点距離、視野などのカメラ位置パラメータは、トラック検出及びインフラストラクチャ監視コンポーネント１１４又はカメラ１４０のいずれかに給送され、映像分析システム１１０がカメラ位置及びパラメータを検出及び特定することができるように設定することができる。

運転室占有率検出など、状況の特定をするために、映像分析システム１１０は、強化学習コンポーネント１２４及び／又は他の人工知能及び学習アルゴリズムを使用して、 例えば、カメラ１４０からの映像データ、速度、ＧＰＳデータ、及び慣性センサデータなどの資産データ１３４、天候コンポーネント１３６のデータ、ならびに経路／乗員、マニフェスト、及びＧＩＳコンポーネント１３８データを評価する。運転室占有率検出は、その資産の移動時に雲から反射する光や建物や木を通過する太陽光などの環境ノイズの影響を受けやすい。環境ノイズに対処するために、強化学習コンポーネント１２４、オブジェクト検出及び位置特定コンポーネント１２６、障害物検出コンポーネント、速度、ＧＰＳデータ及び慣性センサデータなどの資産コンポーネント１３４のデータ、天候コンポーネント１３６のデータ、及び他の学習アルゴリズムが一緒に構成されて、移動資産１６４に関わる内部及び／又は外部状況の決定内容を形成する。トラック検出及びインフラストラクチャ監視コンポーネント１１４にはまた、機関車セキュリティシステムの一部として機関車への認証アクセスを許可することを可能にするように適合された顔認識システム、乗員の機敏さを監視するように適合された疲労検出構成要素、及び喫煙などの無認可活動を検出する活動検出構成要素も含めることができる。

強化学習コンポーネント１２４を使用するトラックの強化学習は、映像及び／又は画像の連続したフレームから得られた様々な情報を利用し、さらにデータセンター１６６と慣性センサデータとＧＰＳデータを含む車両データコンポーネント１３４とから受信した追加情報を利用して行われ、学習データを決定する。オブジェクト検出及び位置特定コンポーネント１２６は、強化学習コンポーネント１２４から受信する学習データと、その線路、標識、信号を他のオブジェクトから区別する、トラックの幅及び曲率、枕木の位置、及び車両速度などの移動資産１６４及び線路に関する具体的な情報とを利用して、オブジェクト検出データを特定する。障害物検出コンポーネント１２８は、オブジェクト検出及び位置特定コンポーネント１２６から受信するオブジェクト検出データと、天候コンポーネント１３６、経路／乗員マニフェストデータ、及びＧＩＳデータコンポーネント１３８からの追加情報と、慣性センサデータ及びＧＰＳデータを含む車両データコンポーネント１３４とを利用して、正確性を高め、障害物検出データを特定する。車両データコンポーネント１３４からの移動資産データには、速度、位置、加速度、ヨー／ピッチレート、及び踏切が含まれるが、これに限定するものではない。データセンター１６６から受信し利用される追加情報には、移動資産１６４の昼夜の詳細及び地理的位置が含まれるが、これに限定するものではない。

対象のインフラストラクチャオブジェクト、トラック検出及びインフラストラクチャ監視コンポーネント１１４が処理する情報、診断及び監視情報は、搭載のデータリンク１４２を介してデータレコーダ１０２のデータエンコーダ１０８に送信されて符号化される。データレコーダ１０２は、その符号化データを衝突保護メモリモジュール１０４に記憶し、任意に任意の衝突保護のない着脱式記憶装置にも記憶して、その符号化情報を無線データリンク１４４を介してデータセンター１６６の遠隔データマネジャ１４６に送信する。遠隔データマネジャ１４６は、その符号化データをデータセンター１６６の遠隔データリポジトリ１４８に記憶する。

資産１６４の前方にトラックがあるなど、障害物検出１２８又はオブジェクト検出１２６を判定するために、映像分析システム１１０は強化学習コンポーネント１２４又は他の人工知能、オブジェクト検出及び位置特定コンポーネント１２６、及び障害物検出コンポーネント１２８と、他の画像処理アルゴリズムとを用いて、カメラ１４０からのカメラ画像及び映像データをリアルタイムで処理及び評価する。トラック検出及びインフラストラクチャ監視コンポーネント１１４は、その処理した映像データを、速度、ＧＰＳデータ及び慣性センサデータを含み得る資産コンポーネント１３４データと、天候コンポーネント１３６データと、経路／乗員 マニフェストと、ＧＩＳコンポーネント１３８データとを併せて使用して、先頭及び後尾の移動資産など、外部状況特定事項をリアルタイムで特定する。トラック検出のために画像及び映像データを処理する場合、例えば，映像分析システム１１０は自動的に、トラック検出に必要なカメラ１４０パラメータを構成し、通過スイッチ(run through switch)を検出し、トラックの数を数え、資産１６４の脇に追加トラックがあれば検出し、資産１６４が現在どのトラック上を走行しているかを特定し、トラックの形状不良を検出し、規定範囲内でトラック付近に水を検出するなど、トラックが流される事態を検出し、スロープ又はトラックが欠落する事態を検出する。オブジェクト検出の正確性は、資産１６４内及びその周囲にある照明条件に左右される。ＤＡＲＳ１００は、資産１６４上及びデータセンター１６６から収集する追加データを用いて、様々な照明条件に対応することができる。ＤＡＲＳ１００は、種々の照明条件で動作し、種々の天候条件で動作し、より多くの対象オブジェクトを検出し、自動的に既存のデータベースシステムと統合してデータを作成、監査、及び更新し、複数のトラックを検出し、曲線状のトラックとも一貫して動作し、あらゆる障害物を検出し、安全性に問題を起こしかねないトラックのあらゆる欠陥を検出し、低コストの組み込みシステムで動作するように改善されている。

運転室占有率、トラック検出などの物体検出及び位置検出、ならびに障害物検出などの、映像分析システム１１０からの内部及び／又は外部状況の決定内容は、搭載データリンク１４２を介して車両管理システム（ＶＭＳ）又はデジタルビデオレコーダコンポーネント１３２からの任意のデータと共にデータレコーダ１０２に提供される。データレコーダ１０２は、内部及び／又は外部状況決定内容、オブジェクト検出及び位置特定コンポーネント１２６のデータ、及び障害物検出コンポーネント１２８のデータを衝突保護メモリモジュール１０４、及び任意で第２の実施態様の衝突保護のない着脱式記憶装置、さらにデータセンター１６６内に位置する遠隔データマネジャ１４６を介して遠隔データリポジトリ１４８に記憶する。ウェブサーバ１５８は、要求に応じて、ウェブクライアント１６２を介して、遠隔地にいるユーザ１６８に、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置特定コンポーネント１２６の情報、及び障害物検出コンポーネント１２８の情報を提供する。

データエンコーダ１０８は、規制機関によって通常定義される少なくとも最小のデータセットを符号化する。データエンコーダ１０８は、任意のカメラ１４０、映像分析システム１１０、及び映像管理システム１３２から映像、画像、及び音声データを受信し、遠隔データリポジトリ１４８への効率的なリアルタイム伝送及び複製を容易にするためにそのデータを圧縮又は符号化し、かつ時間同期する。データエンコーダ１０８がその符号化データを搭載データマネジャ１０６に送信すると、搭載データマネジャ１０６は、ユーザ１６８によるオンデマンド要求に応じて、又は資産１６４上で観察された特定の動作条件に応じて、データセンター１６６に配置された遠隔データマネジャ１４６を介して遠隔データマネジャ１４６に符号化した映像、画像及び音声データを送信する。搭載データマネジャ１０６及び遠隔データマネジャ１４６は、データ複製プロセスを管理するために連携して動作する。データセンター１６６内の遠隔データマネジャ１４６は、複数の資産１６４からのデータの複製を管理することができる。

搭載データマネジャ１０６は、検出された事象の優先順位付けに基づいて、検出された事象、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置、及び／又は障害物検出をキューに入れるか、直ちに送信するかを決定する。例えば、通常の動作状況では、線路上の障害物を検出することは、誰かが資産１６４の運転室にいるかどうかを検出することよりもはるかに緊急である。搭載データマネジャ１０６はまた、キューリポジトリ（図示せず）にデータを送信する。準リアルタイムモードでは、搭載データマネジャは、データエンコーダ１０８から受信した符号化データ及び任意の事象情報を衝突保護メモリモジュール１０４及びキューリポジトリに格納する。５分の符号化データがキューリポジトリに蓄積された後、搭載データマネジャ１０６は、無線データリンク１４４によりデータセンター１６６の遠隔データマネジャ１４６を介してその５分の符号化データを遠隔データリポジトリ１４８に記憶する。リアルタイムモードでは、搭載データマネジャ１０６は、データエンコーダ１０８から受信した符号化データ及び任意の事象情報を無線データリンク１４４によりデータセンター１６６内の遠隔データマネジャ１４６を介して衝突保護メモリモジュール１０４及び遠隔データリポジトリ１４８に記憶する。

この実装では、搭載データマネジャ１０６は、映像データ、音声データ、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置情報、障害物検出情報、ならびに任意の他のデータ又は事象情報を、無線データリンク１４４によりデータセンター１６６内の遠隔データマネジャ１４６を介して遠隔データリポジトリ１４８に送信する。無線データリンク１４４は、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）、無線仮想私設ネットワーク（ＷＶＰＮ）、携帯電話ネットワーク、又は任意の他のデータを転送するもの、この例では、データレコーダ１０２からデータを遠隔データマネジャ１４６に転送する手段とすることができる。資産１６４から遠隔でデータを検索するプロセスには、資産１６４とデータセンター１６６との間の無線接続が必要である。無線データ接続が利用できない場合には、無線接続が回復するまでデータは記憶され、待ち行列に入れられる。

データ記録と並行して、データレコーダ１０２は連続的かつ自律的に遠隔データリポジトリ１４８にデータを複製する。この複製プロセスには、リアルタイムモードと準リアルタイムモードとの２つのモードがある。リアルタイムモードでは、データは毎秒、遠隔データリポジトリ１４８に複製される。準リアルタイムモードでは、データは５分毎に、遠隔データリポジトリ１４８に複製される。準リアルタイムモードに使用される頻度は設定可能であり、リアルタイムモードに使用される頻度は０．１０秒ごとにデータを遠隔データリポジトリ１４８に複製することによって高解像度データをサポートするように調整することができる。準リアルタイムモードは、データ複製プロセスの効率を向上させるために、ほとんどの条件下で通常の動作中に使用される。

リアルタイムモードは、資産１６４で発生する事象に基づいて、又はデータセンター１６６から開始される要求によって開始することができる。リアルタイムモードでの典型的なデータセンター１６６開始による要求は、遠隔地にいるユーザ１６８がウェブクライアント１６２からリアルタイム情報を要求したときに開始される。リアルタイムモードにて資産１６４が発信元となる一般的理由は、オペレータが開始する緊急停止要求、緊急制動操作、任意軸における急加速又は急減速、又はデータレコーダ１０２への入力電力の喪失などの資産１６４に関連する事象又は事件の検出である。準リアルタイムモードからリアルタイムモードに移行すると、遠隔データリポジトリ１４８にまだ複製されていないすべてのデータが遠隔データリポジトリ１４８に複製されて記憶され、その後ライブ複製が開始される。準リアルタイムモードからリアルタイムモードへの移行は通常５秒未満で起こる。事象又は事故から所定の時間が経過した後、活動のない状態が所定時間続く、又はユーザ１６８が資産１６４からのリアルタイム情報をもはや望まない場合には、データレコーダ１０２は準リアルタイムモードに戻る。この移行を開始するのに必要な所定時間は設定可能であり、通常は１０分に設定される。

データレコーダ１０２がリアルタイムモードであると、搭載のデータマネジャ１０６は、連続的に遠隔のデータマネジャ１４６へとその待ち行列を空けようとして、そのデータを衝突保護メモリモジュール１４０、及び任意に第２の実施態様の衝突保護のない着脱式記憶装置に記憶し、そのデータを同時に遠隔データマネジャ１４６へと送信する。

遠隔データマネジャ１４６は、データレコーダ１０２から映像データ、音声データ、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置、障害物検出情報、ならびに複製すべき他の任意のデータ又は情報を受信すると、符号化データ及び検出された事象データなどの搭載データマネジャ１０６から受信するデータをデータセンター１６６内の遠隔データリポジトリ１４８に記憶する。遠隔データリポジトリ１４８は例えば、クラウドベースのデータ記憶装置、又は他の適した遠隔データ記憶装置でよい。このデータが受信されると、遠隔データリポジトリ１４８から最近複製されたデータをデータデコーダ１５４で復号し、その復号データをトラック／オブジェクト検出／位置特定コンポーネント１５０に送信する処理が開始される。トラック／オブジェクト検出／位置特定コンポーネント１５０は、記憶されたデータを追加で「後処理された」事象についてチェックする。トラック／オブジェクト検出／位置特定コンポーネント１５０は、この実装では、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置情報、及び障害物検出情報と特定するオブジェクト／障害物検出コンポーネントを含む。内部及び／又は外部情報、オブジェクト検出及び位置、及び／又は障害物検出情報を検出すると、トラック／オブジェクト検出／位置特定コンポーネント１５０はその情報を遠隔データリポジトリ１４８に記憶する。

情報遠隔に位置するユーザ１６８は、ウェブブラウザなどの標準ウェブクライアント１６２、又は、この実装では選択カメラからサムネイル画像を表示可能な仮想現実装置（図示せず）を用いて、映像データ、音声データ、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置情報、障害物検出情報、指定の一資産１６４又は複数の資産に関してトラック情報、資産情報、及び運転室占有率情報を含む遠隔データリポジトリ１４８に記憶されている任意の他の情報にアクセスすることができる。ウェブクライアント１６２は、一般的なウェブ標準、プロトコル、及び技法を使用して、ネットワーク１６０を介してユーザ１６８の情報要求をウェブサーバ１５８に通信する。ネットワーク１６０は、例えばインターネットとすることができる。ネットワーク１６０は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想私設ネットワーク（ＶＰＮ）、携帯電話ネットワーク、又は、この例ではウェブサーバ１５８からウェブクライアント１６２にデータを転送する他の任意の手段とすることもできる。ウェブサーバ１５８が遠隔データリポジトリ１４８からの所望データを要求すると、データデコーダ１５４はウェブサーバ１５８からの要求に応じて、遠隔データリポジトリ１４８から指定の資産１６４に関する要求データを取得する。データデコーダ１５４は、その要求データを復号して、その復号データをローカライザ１５６に送る。生の符号化データ及び検出されたトラック／オブジェクト検出／位置特定情報が協定世界時（ＵＴＣ）及び国際単位系（ＳＩ単位）を使用して遠隔データリポジトリ１４８に保存されると、ローカライザ１５６は、ウェブクライアント１６２にアクセスして、ユーザ１６８によって設定されたプロファイル設定を識別し、そのプロファイル設定を使用して、ユーザ１６８に提示するためにウェブクライアント１６２に送信する情報を準備する。ローカライザ１５６は、復号されたデータを、ユーザ１６８が望むフォーマット、例えばユーザ１６８が好む測定単位及び言語に変換する。ローカライザ１５６は、ユーザ１６８が好むフォーマットでローカライズしたデータを要求通りにウェブサーバ１５８に送信する。次に、ウェブサーバ１５８は、検分及び分析のために、そのローカライズされたデータをウェブクライアント１６２に送信して、トラック情報及び図２Ａ、２Ｂ、及び２Ｃに示す情報など、内部及び／又は外部状況の決定内容、オブジェクト検出及び位置情報、障害物検出情報と共に、標準映像及び３６０度映像の再生及びリアルタイム表示を提供する。

ウェブクライアント１６２は、様々な異なるモードで３６０度映像の再生を提供するソフトウェアアプリケーションで強化されている。ユーザ１６８は、ソフトウェアアプリケーションが映像再生を提示するモード、例えば魚眼ビュー、デワープビュー、パノラマビュー、ダブルパノラマビュー、及びクワッドビューなどを選択することができる。

図３は、本開示の一実装による資産１６４の内部状態を判定するためのプロセス３００を示すフロー図である。映像分析システム１１０は、資産１６４、車両データコンポーネント１３４、天候コンポーネント１３６、ならびに経路／マニフェスト及びＧＩＳコンポーネント１３８の上、その中、又はその近傍にあるカメラ１４０などの様々な入力コンポーネント３０２からデータ信号を受信する。映像分析システム１１０は、強化学習コンポーネント３０４を使用してデータ信号を処理し、運転室占有率などの内部状態３０６を判定する。

図４は、本開示の一実装による、資産１６４の外部で発生したオブジェクト検出／位置特定及び障害物検出を特定するためのプロセス４００を示すフロー図である。映像分析システム１１０は、資産１６４、車両データコンポーネント１３４、天候コンポーネント１３６、ならびに経路／マニフェスト及びＧＩＳコンポーネント１３８の上、その中、又はその近傍にあるカメラ１４０などの様々な入力コンポーネント４０２からデータ信号を受信する。映像分析システム１１０は、そのデータ信号を、強化学習コンポーネント１２４、オブジェクト検出／位置特定コンポーネント１２６、及び障害物検出コンポーネント１２８、４０４を使用して処理し、トラックの存在など、障害物検出４０６ならびにオブジェクト検出及び位置４０８を判定する。

説明を簡単にするために、プロセス３００及びプロセス４００は、一連のステップとして示し、説明している。ただし、本開示によるステップは、様々な順序で及び／又は並行して実施することができる。また、本開示に従ったステップは、本明細書に提示及び記載していない他のステップと共に行うことができる。さらに、図示されたすべてのステップが、開示した主題による方法を実施するために必要とされるわけではない。

本開示を特定の実施形態に関連して記載したが、本開示は開示された実施形態に限定されるものではなく、逆に、添付の請求範囲内に含まれる様々な修正及び均等な構成を包含することを意図するものである。その範囲は、法律で許容されるすべての修正及び均等な構成を包含するように最も広い解釈が与えられるべきである。

Claims (18)

1. 移動資産の運用に関するデータを処理する方法であって、
   前記移動資産に搭載の１つ以上のデータソースであって、固定カメラ及び／又は３６０度カメラを有し前記移動資産に搭載の映像分析システムによって受信される前記データが前記移動資産に関係するライブ映像及び／又は画像のデータを有する、前記移動資産に搭載の１つ以上のデータソース、
   及び／又は、
   前記移動資産から遠隔にある１つ以上の遠隔移動資産データソースであって、天候コンポーネント、貨物マニフェスト、経路／乗員マニフェスト、及び／又は地理的情報システム（ＧＩＳ）から受け取る地理的情報システム情報を有し、且つ、遠隔移動資産データが、前記移動資産の前記運用に関係する前記遠隔移動資産データソースから受信される、前記遠隔移動資産データソース、
   からのデータ信号に基づく前記データを、前記移動資産に搭載の映像分析システムを使用して受信することと、
   前記映像分析システムの強化学習及び／又は人工知能コンポーネントを使用して、前記ライブ映像及び／又は画像のデータ、及び／又は、前記遠隔移動資産データを、加工データに処理することと、
   前記映像分析システムを使用して、前記加工データを、前記移動資産に搭載のデータレコーダに送信することと、
   前記データレコーダのデータエンコーダを使用して、前記加工データを符号化して符号化データにすることと、
   前記データレコーダの搭載データマネジャを使用して、前記符号化データを、０秒よりも大きく５分以下に設定可能な第１の所定頻度にて、遠隔データリポジトリに格納することと、
   を備える方法。
2. 前記遠隔移動資産データソースから受信される前記遠隔移動資産データが、全地球測位システムデータ及び慣性センサデータを含む、
   請求項１に記載の方法。
3. 前記映像分析システムによって受信される前記データは、
   前記固定カメラ及び／又は前記３６０度カメラから受信する映像情報、
   及び／又は、
   マイクロフォンから受信する音声情報、
   を有する、
   請求項１に記載の方法。
4. 前記映像分析システムのオブジェクト検出及び位置コンポーネントを使用して、前記加工データに基づいて第１のオブジェクトにおける、第１のオブジェクト検出データ及び／又は第１のオブジェクト位置データを特定することと、
   前記オブジェクト検出及び位置コンポーネントを使用して、
   前記第１のオブジェクト検出データ、
   及び／又は、
   前記第１のオブジェクト検出データが特定されたことである第１の条件における前記第１のオブジェクト位置データ、
   及び、
   前記第１のオブジェクト位置データが特定されたことである第２の条件における前記第１のオブジェクト位置データ、
   に基づいて前記移動資産に関する内部条件を識別することと、
   をさらに備える、請求項１に記載の方法。
5. 前記映像分析システムの障害物検出コンポーネントを使用して、前記加工データ及び／又は前記第１のオブジェクト検出データが特定されたことである第３の条件における前記第１のオブジェクト検出データ及び／又は前記第１のオブジェクト位置データが特定されたことである第４の条件における前記第１のオブジェクト位置データ、に基づいて、障害物検出データを特定することと、
   前記障害物検出コンポーネントを使用して、前記障害物検出データに基づいて、前記移動資産に関する外部条件であって前記移動資産の外部で起こるオブジェクト検出及び／又は障害物検出を含む外部条件、を識別することと、
   をさらに備える、請求項４に記載の方法。
6. 前記障害物検出データは、
   前記第１のオブジェクト位置データである第５の条件、
   及び／又は、
   前記第１のオブジェクト位置データが特定されたことである第６の条件、
   及び／又は、
   前記第１のオブジェクト検出データが特定されたことである第７の条件における前記第１のオブジェクト検出データ、
   に基づき、
   前記障害物検出データは第２のオブジェクトにおける、第２のオブジェクト位置データと、第２のオブジェクト検出データと、に対応する、
   請求項５に記載の方法。
7. 前記外部条件が、前記移動資産が列車を含む条件におけるトラック検出を含む、
   請求項５に記載の方法。
8. 前記データレコーダを使用して、前記外部条件及び／又は前記障害物検出データを受信することと、
   前記データレコーダの前記データエンコーダを使用して、前記外部条件及び／又は前記障害物検出データに基づいて第２の前記符号化データに符号化することと、
   前記データレコーダの前記搭載データマネジャを使用して、前記外部条件及び／又は前記障害物検出データ及び／又は前記第２の符号化データを、前記設定可能な第１の所定頻度にて、前記少なくとも１つの遠隔データリポジトリに格納することと、
   をさらに備える、請求項７に記載の方法。
9. 前記データレコーダを使用して、
   前記内部条件、
   及び／又は、
   前記第１のオブジェクト検出データが特定されたことである第３の条件における前記第１のオブジェクト検出データ、
   及び／又は、
   前記第１のオブジェクト位置データが特定されたことである第４の条件における前記第１のオブジェクト位置データ、
   を受信することと、
   前記データレコーダの前記データエンコーダを使用して、
   前記内部条件、
   及び／又は、
   前記第１のオブジェクト検出データが特定されたことである前記第３の条件における前記第１のオブジェクト検出データ、
   及び／又は、
   前記第１のオブジェクト位置データが特定されたことである前記第４の条件における前記第１のオブジェクト位置データ、
   に基づいて第２の符号化データに符号化することと、
   前記データレコーダの前記搭載データマネジャを使用して、
   前記内部条件、
   及び／又は、
   前記第１のオブジェクト検出データが特定されたことである前記第３の条件における前記第１のオブジェクト検出データ、
   及び／又は、
   前記第１のオブジェクト位置データが特定されたことである前記第４の条件における前記第１のオブジェクト位置データ、前記第２の符号化データ、
   を前記設定可能な第１の所定頻度にて、前記少なくとも１つの遠隔データリポジトリに格納することと、
   をさらに備える、請求項４に記載の方法。
10. 前記データレコーダを使用して、前記外部条件及び／又は前記障害物検出データを受信することと、
    前記データレコーダの前記データエンコーダを使用して、前記外部条件及び／又は前記障害物検出データに基づいて、第２の符号化データに符号化することと、
    前記データレコーダの前記搭載のデータマネジャを使用して、前記外部条件及び／又は前記障害物検出データ及び／又は前記第２の符号化データを、前記設定可能な第１の所定頻度にて、前記遠隔データリポジトリに格納することと、
    をさらに備える、請求項５に記載の方法。
11. 前記搭載データマネジャを使用して、設定可能な第１の所定頻度にて、無線データリンクを介して、前記符号化データを遠隔データマネジャに送信することであって、第２の所定頻度が０秒から１秒である条件において前記符号化データは連続的に前記遠隔データマネジャに送られる、前記符号化データを前記遠隔データマネジャに送信することと、
    前記遠隔データマネジャを使用して、前記第１レコードを前記遠隔データリポジトリに格納することと、
    をさらに備える、請求項１に記載の方法。
12. 映像コンテンツを分析するシステムであって、
    １つ以上の３６０度カメラ及び１つ以上の固定カメラと、
    移動資産に搭載の映像分析システムであって、強化学習及び／又は人工知能コンポーネント、オブジェクト検出及び位置コンポーネント、及び、障害物検出コンポーネントを含み、かつ、前記１つ以上の３６０度カメラ及び／又は前記１つ以上の固定カメラからのデータ信号に基づくデータを受信するように構成されている、映像分析システムと、
    を備え、
    前記強化学習および人工知能コンポーネントの１つは、前記データを加工データに処理するように構成され、
    前記オブジェクト検出及び位置コンポーネントは、前記加工データに基づいて第１のオブジェクトにおける、オブジェクト検出データ及びオブジェクト位置データを特定するように構成され、
    前記障害物検出コンポーネントは、前記加工データ及び／又は前記オブジェクト検出データ及び／又は前記オブジェクト位置データに基づいて障害物検出データを特定するように構成され、
    前記移動資産に搭載のデータレコーダであって、データエンコーダ、搭載データマネジャ、１つ以上のローカルメモリコンポーネント、及び、１つ以上の遠隔データリポジトリを含み、且つ、０秒よりも大きく５分以下に設定可能な第１の所定頻度にて前記１つ以上の遠隔データリポジトリに前記加工データ、前記オブジェクト検出データ、前記オブジェクト位置データ、及び前記障害物検出データを格納するように構成されている、データレコーダと、
    をさらに備える、
    システム。
13. 前記移動資産に搭載の車両データコンポーネントであって、全地球測位システム（ＧＰＳ）と慣性センサとを有し、前記全地球測位システム（ＧＰＳ）から受けた全地球測位システムデータ及び／又は前記慣性センサから受けた慣性センサデータを前記映像分析システムに送信するように構成されている、車両データコンポーネントと、
    現在の天候情報及び／又は予測される天候情報を前記映像分析システムに送信するように構成されている、天候コンポーネントと、
    経路情報及び／又は乗員情報及び／又は経路／乗員マニフェスト情報及び／又はＧＩＳ情報を前記映像分析システムに送信するように構成されている、経路／乗員マニフェスト及び地理情報システム（ＧＩＳ）コンポーネントと、
    をさらに備え、
    前記強化学習及び／又は人工知能コンポーネントは、前記全地球測位システムデータ及び／又は前記慣性センサデータ及び／又は前記現在の天候情報及び／又は前記予測される天候情報及び／又は前記経路情報及び／又は前記乗員情報及び／又は前記経路／乗員マニフェスト情報及び／又は前記ＧＩＳ情報を使用して前記データを加工データに処理するように構成されている、
    請求項１２に記載のシステム。
14. 前記移動資産に搭載の前記データレコーダであって、ローカルメモリ及び／又は搭載のデータマネジャ及び／又はデータエンコーダを含み、前記加工データ及び／又は前記オブジェクト検出データ及び／又は前記オブジェクト位置データ及び／又は前記障害物検出データを前記映像分析システムから受信するように構成されている、前記データレコーダと、
    前記加工データ、前記オブジェクト検出データ、前記オブジェクト位置データ、及び前記障害物検出データのうちの少なくとも１つに基づくレコードを符号化するように構成されている、前記データエンコーダと、
    前記レコード及び／又は前記加工データ及び／又は前記オブジェクト検出データ及び／又は前記オブジェクト位置データ及び／又は前記障害物検出データを、設定可能な第１の所定頻度にて前記１つ以上の遠隔データリポジトリに格納するように構成されている、前記搭載データマネジャと、
    をさらに備える、請求項１２に記載のシステム。
15. 前記移動資産から遠隔にある遠隔データマネジャであって、第１レコードを前記搭載データマネジャから、前記設定可能な第１の所定頻度にて無線データリンクを介して受信するように構成され、第２の所定頻度が０秒から１秒である条件において前記第１レコードを連続的に受信する、遠隔データマネジャと、
    前記遠隔データマネジャから受信した前記レコードを格納するように構成されている、前記１つ以上の遠隔データリポジトリと、
    をさらに備える、請求項１４に記載のシステム。
16. 前記移動資産から遠隔にあるデータデコーダであって、前記レコードを前記１つ以上の遠隔データリポジトリから受信し、前記レコードを復号するように構成されている、データデコーダと、
    前記移動資産から遠隔にある外部監視コンポーネントであって、前記オブジェクト検出データ及び／又は前記オブジェクト位置データ及び／又は前記障害物検出データを識別するように構成されている、外部監視コンポーネントと、
    をさらに備える、請求項１５に記載のシステム。
17. 表示装置を含むウェブクライアントと、
    前記ウェブクライアントと無線通信状態にあり、前記移動資産に関する指定データ及び特定ビューモードを含む要求を受信するように構成された、ウェブサーバと、
    前記ウェブサーバと無線通信状態にあるローカライズコンポーネントであって、前記レコード及び／又は前記加工データ及び／又は前記オブジェクト検出データ及び／又は前記オブジェクト位置データ及び／又は前記障害物検出データに基づく前記指定データを前記データデコーダから受信して、リモートユーザにより指定されたユーザ指定時間設定及びユーザ指定数量単位設定に基づいて前記指定データを修正するように構成された、ローカライズコンポーネントと、
    をさらに含み、
    前記ウェブサーバが、前記指定データを受信するように構成されており、
    前記表示装置が、前記特定ビューモードで前記指定データを表示するように構成されている、請求項１６に記載のシステム。
18. 前記移動資産に搭載のデジタルビデオレコーダであって、前記１つ以上の３６０度カメラ及び／又は前記１つ以上の固定カメラからのデータ信号に基づくデータ、を受信するように構成されている、デジタルビデオレコーダ、
    をさらに備え、
    前記デジタルビデオレコーダは、前記移動資産に搭載の前記データレコーダの前記データエンコーダに前記データを送信する、
    請求項１２に記載のシステム。