[go: up one dir, main page]

JP6673030B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6673030B2
JP6673030B2 JP2016110599A JP2016110599A JP6673030B2 JP 6673030 B2 JP6673030 B2 JP 6673030B2 JP 2016110599 A JP2016110599 A JP 2016110599A JP 2016110599 A JP2016110599 A JP 2016110599A JP 6673030 B2 JP6673030 B2 JP 6673030B2
Authority
JP
Japan
Prior art keywords
target
information processing
frequency spectrum
unit
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016110599A
Other languages
English (en)
Other versions
JP2017215272A (ja
Inventor
山本 康平
康平 山本
前野 蔵人
蔵人 前野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2016110599A priority Critical patent/JP6673030B2/ja
Publication of JP2017215272A publication Critical patent/JP2017215272A/ja
Application granted granted Critical
Publication of JP6673030B2 publication Critical patent/JP6673030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、ITS(Intelligent Transport Systems)や、路上監視システムなどにおいて、走行車両の車種を識別するための種々の手法が提案されている。
例えば、特許文献1には、走行車両が検知領域内を通過する際に受信した反射波に係る強度と持続時間とを、予め記憶したモデルパターンと比較することで車種を識別する技術が開示されている。
また、例えば、特許文献2には、走行車両が検知領域内を通過する際に受信した反射波の強度変化の持続時間から求められる車両の長さ及び高さを、予め記憶した車種ごとのデータと比較することで、車種を識別する技術が開示されている。
また、例えば、特許文献3には、アレーアンテナを備える車両搭載のレーダを用いて、物標の地面からの高さを算出する技術が開示されている。
特開平11−272988号公報 特開2014−99123号公報 特開2014−52187号公報
しかし、特許文献1に記載の技術を用いる場合、反射波の持続時間を計測するためには、検知領域を広く設定することが困難である。さらには、レーダの設置条件として、送受信アンテナを車両の走行レーンの側面側に向けることが求められる。このため、例えば、異なるレーンを走行する車両2台が同時に検知領域を通過する場合には、反射波の強度や持続時間が2台分合成されるため、車種を正しく識別することできない可能性が高い。
また、特許文献2に記載の技術を用いる場合、レーダを車両の鉛直上に設置するためには、当該レーダを固定するための支柱などが必要とされるため、設置コストが高額となる傾向がある。
また、特許文献3に記載の技術を用いる場合、アレーアンテナを備えるレーダを使用する必要があるが、上記のようなレーダは、一般に複雑な回路を有する。このため、厳重なノイズ対策が求められるほか、構成機器が高価となる問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、精度の高い物標識別をより安価に実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化する第1の階層と、前記物標に係る周波数スペクトルから検出された物標候補の分析情報と前記第1の階層からの出力とに基づいて前記物標の識別クラスを決定する第2の階層と、を含む多層ニューラルネットワークを用いて前記物標の識別を行う物標識別部、を備え、前記特徴量は、前記周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含む、情報処理装置が提供される。
前記物標候補の分析情報は、振幅強度、速度情報、距離情報または角度情報のうち、少なくともいずれかを含んでもよい。
前記情報処理装置は、前記周波数スペクトルを時間方向に展開して得たスペクトログラムから前記物標候補に近傍のデータを前記特徴量として抽出する特徴抽出部、をさらに備えてもよい。
前記情報処理装置は、前記周波数スペクトルの強度に基づいて、少なくとも1つ以上の前記物標候補を検出する物標検出部、をさらに備えてもよい。
前記情報処理装置は、複数の前記物標候補に係る時間的な対応関係を示す追尾結果を出力する物標追尾部、をさらに備え、前記物標識別部は、前記多層ニューラルネットワークにより出力される前記識別クラスと前記追尾結果とに基づいて、前記物標の識別を行ってもよい。
前記物標識別部は、前記追尾結果に対応する複数の前記識別クラスのうち最頻出する識別クラスに基づいて、前記物標の識別を行ってもよい。
前記物標識別部は、2つ以上の異なる前記物標候補における周波数差が所定の閾値を超える場合、当該物標候補に係る前記識別クラスを、前記物標の識別に用いなくてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化する第1の階層と、前記物標に係る周波数スペクトルから検出された物標候補の分析情報と前記第1の階層からの出力とに基づいて前記物標の識別クラスを決定する第2の階層と、を含む多層ニューラルネットワークを用いて前記物標の識別を行う物標識別部、を備え、前記特徴量は、前記周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含む、情報処理装置、として機能させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、多層ニューラルネットワークを用いた情報処理方法であって、検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化することと、前記物標に係る周波数スペクトルから検出された物標候補の分析情報と抽象化された前記特徴量の2次元的パターンとに基づいて前記物標の識別クラスを決定することと、を含み、前記特徴量は、前記周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含む、情報処理方法が提供される。
以上説明したように本発明によれば、精度の高い物標識別をより安価に実現することが可能となる。
本発明の実施形態の概要を説明するための説明図である。 同実施形態に係る情報処理装置の機能ブロック図である。 同実施形態に係る物標検出部による物標候補の検出について説明するための説明図である。 同実施形態に係る特徴抽出部により抽出される特徴量のデータ構造例を示す図である。 同実施形態に係る多層ニューラルネットワークのネットワーク構造例を示す図である。 同実施形態に係る物標追尾部により出力される追尾結果の一例である。 同実施形態に係る情報処理装置の処理の流れを示すフローチャートである。 本発明に係る情報処理装置のハードウェア構成例である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.背景>
近年、ITSなどの路上監視システムでは、各種のセンサを用いて走行車両の車種を識別する技術が用いられている。上記のような技術には、例えば、画像認識処理による車種識別が挙げられる。しかし、一般に撮像センサは、日中や夜間における日照の差や、雨や雪などによる天候の影響を受けやすい。このため、屋外における継続的な監視に用いる場合、上記のような影響を排除するための手段が求められる。
一方、上述した特許文献1や特許文献2に記載されるように、マイクロ波レーダを用いた車種識別手法も知られている。マイクロ波レーダは、日照や天候の影響を受けづらい性質を有するため、耐環境性の求められる用途においては、撮像センサと比較して優位な利点を持つ。
しかし、マイクロ波レーダを用いる車種識別では、橋梁等の高所にマイクロ波レーダを設置することが求められるため、設置コストが増大する傾向があった。
本発明のある実施形態に係る情報処理装置、情報処理方法、およびプログラムは、上記の点に着目して発想されたものであり、マイクロ波レーダを路側に設置することで、設置コストを大幅に低減することが可能である。また、本発明のある実施形態に係る情報処理装置、情報処理方法、およびプログラムは、多層ニューラルネットワークを採用することで、精度の高い車種識別を実現することが可能である。以降に説明される本発明の実施形態では、本発明に係る情報処理装置の構造上の特徴を挙げながら、当該特徴が奏する効果について述べる。
<2.実施形態>
[2.1.本実施形態の概要]
まず、図1を参照して、本発明のある実施形態の概要について説明する。図1は、本実施形態の概要を説明するための説明図である。図1を参照すると、本実施形態に係る情報処理装置10は、マイクロ波レーダにより、走行する車両などの物標O1からの反応を取得する。この際、本実施形態に係る情報処理装置10は、図1に示されるように、路側に設定されてよい。
また、本実施形態に係る情報処理装置10は、例えば、指向性の狭いアンテナを備えるCW(Continuous Wave;連続波)タイプのマイクロ波レーダなどを用いてよい。
図1に示すように、本実施形態に係る情報処理装置10は、マイクロ波レーダから送信されたマイクロ波が物標O1に接触した際に発生する反射波を受信信号として取得することができる。この際、ドップラー効果により、上記の受信信号には、物標O1に係る種々の影響が観測され得る。具体的には、上記の受信信号は、物標O1の表面積と距離とに依存して信号強度が変化し、物標O1の速度に依存して周波数が変化する。
また、情報処理装置10が、互いに異なる発振周波数を有する複数の送信波を用いる場合、アンテナと物標O1との距離を計測することが可能である。さらに、車線とレーダの位置関係が予め明確であれば、物標O1に係る強度と距離とから、アンテナと物標O1との角度を推定可能である。すなわち、本実施形態に係る情報処理装置10は、マイクロ波レーダにより、物標O1に係る強度、速度、距離および角度の情報を取得することができる。
本実施形態に係る情報処理装置10は、上記のように得られた情報、また当該情報から分析され得る各種の情報を、多層ニューラルネットワークに入力することで、物標O1の識別を精度高く実現することが可能である。以降の説明では、本実施形態に係る情報処理装置10の機能構成、および処理について詳細に説明する。
[2.2.情報処理装置10の機能構成例]
次に、図2を参照して、本実施形態に係る情報処理装置10の機能構成例について説明する。図2は、本実施形態に係る情報処理装置10の機能ブロック図である。図2を参照すると、本実施形態に係る情報処理装置10は、レーダ110、信号処理部120、物標検出部130、特徴抽出部140、物標追尾部150、及び物標識別部160を備える。以下、上記の各構成について詳細に説明する。
(レーダ110)
レーダ110は、ミリ波などの電波を物標に向けて送信し、反射波を受信する機能を有する。このため、本実施形態に係るレーダ110は、例えば、単一の受信素子を有するCW型のレーダであってよい。また、本実施形態に係るレーダ110は、複数の発振周波数を段階的または連続的に切り替えて送信する機能を有する。
(信号処理部120)
信号処理部120は、レーダ110が受信した信号を周波数分析し、ドップラー周波数に関する周波数スペクトルを算出する機能を有する。本実施形態に係る信号処理部120は、物標に係る速度v[m/s]、および距離r[m]を算出することが可能である。
信号処理部120は、例えば、下記の数式(1)を用いて物標に係る速度v[m/s]を算出してよい。
Figure 0006673030
ここで、上記の数式(1)におけるλ[m]は、送信波の波長を示している。また、ドップラー周波数f[Hz]は、レーダ110が受信した受信信号を高速フーリエ変換(FFT;Fast Fourier Transform)を用いて算出される。
また、信号処理部120は、例えば、下記の数式(2)を用いて物標に係る距離r[m]を算出してよい。この際、レーダ110は、上述したとおり、複数の発振周波数を段階的または連続的に切り替えて送信する機能を有してよい。
Figure 0006673030
ここで、上記の数式(2)におけるΔf[Hz]は、発信周波数の差を示し、Δφ[rad]は、発信周波数間の信号位相差を示している。また、上記の数式(2)におけるc[m/s]は、光速である。
以上示したように、本実施形態に係る信号処理部120は、高速フーリエ変換を用いて、ドップラー周波数に関する周波数スペクトルを取得することが可能である。
(物標検出部130)
物標検出部130は、信号処理部120により取得された周波数スペクトルの強度に基づいて、少なくとも1つ以上の物標候補を検出する機能を有する。ここで、本実施形態に係る物標候補は、周波数スペクトルのピーク検出結果である特定周波数を示してよい。本実施形態に係る物標検出部130による物標候補検出の詳細については、後述する。
(特徴抽出部140)
特徴抽出部140は、物標検出部130が検出した物標候補に係る特徴量を抽出する機能を有する。ここで、本実施形態に係る特徴量は、周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含んでよい。本実施形態に係る特徴抽出部140は、物標候補に係る周波数スペクトルを時間方向に展開して得たスペクトログラムから、上記の物標候補に近傍のデータを特徴量として抽出する。本実施形態に係る特徴抽出部140による特徴量抽出の詳細については、後述する。
(物標追尾部150)
物標追尾部150は、物標検出部130が検出した複数の物標候補に係る時間的な対応関係を示す追尾結果を出力する機能を有する。本実施形態に係る物標追尾部150は、物標候補に係る速度や距離の整合性を考慮することで、上記の追尾結果を出力することができる。
具体的には、本実施形態に係る物標追尾部150は、物標検出部130から任意時間ごとに出力される物標候補の追尾を行う。本実施形態に係る物標追尾部150は、例えば、ある時刻kの物標候補と、次の時刻k+1の物標候補とを対応付ける際、時刻kの物標候補に係る速度と、時刻k+1において検出された複数(i=1,・・・,N個)の物標候補に係る速度との誤差が最小となるように処理を行ってよい。具体的には、下記の数式(3)により表現される。
Figure 0006673030
なお、上記の数式(3)においては、時刻k+1のs個目の物標候補が、時刻kの物標候補と対応付けられる場合を示している。本実施形態に係る物標追尾部150は、上記の操作を時刻ごとに繰り返すことで、物標候補の追尾を行うことができる。なお、本実施形態に係る物標追尾部150により出力される追尾結果は、後述する物標識別部160による識別に用いられてよい。本実施形態に係る追尾結果を用いた物標識別の詳細については、後述する。
(物標識別部160)
物標識別部160は、特徴抽出部140が抽出した特徴量を用いて、機械学習モデルに基づく物標識別を行う機能を有する。このため、本実施形態に係る物標識別部160は、検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化する第1の階層と、上記物標に係る周波数スペクトルから検出された物標候補の分析情報と上記第1の階層からの出力とに基づいて上記物標の識別クラスを決定する第2の階層と、を含む多層ニューラルネットワークを含んでよい。
ここで、上記物標候補の分析情報は、振幅強度、速度情報、距離情報または角度情報のうち、少なくともいずれかを含んでよい。
また、本実施形態に係る物標識別部160は、多層ニューラルネットワークにより出力される識別クラスと物標追尾部150により出力される追尾結果とに基づいて、物標の識別を行う機能を有してもよい。
この際、本実施形態に係る物標識別部160は、追尾結果に対応する複数の識別クラスのうち最頻出する識別クラスに基づいて、物標の識別を行うことができる。
また、本実施形態に係る物標識別部160は、2つ以上の異なる物標候補における周波数差が所定の閾値を超える場合、当該物標候補に係る前記識別クラスを、物標の識別に用いないことを特徴の一つとする。本実施形態に係る物標識別部160による物標識別の詳細については、後述する。
[2.3.物標候補検出の詳細]
次に、本実施形態に係る物標候補検出の詳細について説明する。上述したとおり、本実施形態に係る物標検出部130は、信号処理部120により取得された周波数スペクトルの強度に基づいて、少なくとも1つ以上の物標候補を検出する機能を有する。図3は、本実施形態に係る物標検出部130による物標候補の検出について説明するための説明図である。
図3には、レーダ110の検知領域A1に進入する物標O1が示されている。なお、図3における矢印は、物標O1の進行方向を示している。図3に示すように、物標O1がレーダ110の検知領域A1に進入した場合、得られる周波数スペクトルには、物標O1の材質や距離、面積に依存した振幅成分が検出され得る。また、この際、上記の周波数スペクトルは、物標O1の速度に比例する。
本実施形態に係る物標検出部130は、物標O1に依存する上記の振幅成分を検出するために、上記の周波数スペクトル上でピーク検出を行う。この際、本実施形態に係る物標検出部130は、例えば、所定の閾値Tを超える振幅成分のみを複数抽出し、抽出した複数の振幅成分から昇順にn個選出することで、ピーク検出を行ってもよい。上述したとおり、本実施形態では、物標検出部130による周波数スペクトルのピーク検出結果である特定周波数を物標候補と称する。
また、図3には、レーダ110に対する物標O1の反射範囲R1が示されている。このように、物標O1において電波の反射が発生する部位は、物標O1の形状と、レーダ110と物標O1との距離及び角度に依存することがわかる。例えば、物標O1がトラックのように車長の長い物標である場合、反射範囲R1を構成する幅方向の2線r1およびr2の間隔は車長に応じて広がり、物標O1が軽自動車のように車長の短い物標である場合、反射範囲R1を構成する幅方向の2線r1およびr2の間隔は車長に応じて狭まる。
また、ここで、物標O1が等速直線的に移動していると仮定した場合、レーダ110により観測される物標O1の速度は、物標O1の移動方向と、反射範囲R1を構成する幅方向の2線r1およびr2と、の角度に依存する。すなわち、レーダ110により観測される周波数は、物標O1の車長に依存した帯域幅を有することとなる。このため、上記の周波数帯域幅には、物標O1の車長に関する特徴が現れることが期待される。また、周波数に対する振幅成分の分布傾向には、物標O1の形状(例えば、凹凸など)に係る特徴が含まれることも期待される。さらには、上記の特徴に係る時間的な変動を観察することで、物標O1に形状に係る性質をより正確に捉える効果も期待される。
[2.4.特徴量抽出の詳細]
次に、本実施形態に係る特徴量抽出の詳細について説明する。上述したとおり、本実施形態に係る特徴抽出部140は、物標検出部130が検出した物標候補に係る特徴量を抽出する。この際、本実施形態に係る特徴抽出部140は、物標候補に係る周波数スペクトルを時間方向に展開して得られる時間−周波数表現(スペクトログラム)から、上記の特徴量を抽出してよい。
図4は、本実施形態に係る特徴抽出部140により抽出される特徴量のデータ構造例を示す図である。ここで、図4には、縦軸に周波数[Hz]が示され、横軸に時間[s]が示されている。また、図4に示される各セルCは、それぞれの時間および周波数ビンに対応している。また、図4には、物標検出部130により検出された物標候補OC1が示されている。
図4に示すように、本実施形態に係る特徴抽出部140は、物標候補OC1の時間及び周波数に近傍のデータ(部分スペクトログラム)を特徴量として抽出することができる。この際、本実施形態に係る特徴抽出部140は、例えば、目標となる物標候補OC1の周波数から−100〜+100Hzの範囲、かつ物標候補OC1が得られた時間から過去1秒以内に該当するすべての振幅値データを特徴量として抽出してもよい。また、特徴抽出部140は、例えば、データを蓄積することで、物標候補OC1よりも時間の進んだデータを特徴量として選択してもよい。このように、特徴抽出部140が、物標候補OC1の近傍周波数から局所的に特徴量を抽出することで、速度の異なる複数の物標が存在する場合でも、当該複数の物標をそれぞれ独立に識別することが可能となる。
さらに、本実施形態に係るレーダ110が複数の発振周波数を段階的に切り替えて送信する機能を有する場合、特徴抽出部140は、異なる発振周波数を有する信号間の周波数スペクトルの位相差を計算することで、上述した数式(2)から、図4に示す各セルCが距離値に相当するスペクトログラムを求めることができる。この場合、本実施形態に係る特徴抽出部140は、上記の距離に係るスペクトログラムから目標となる物標候補OC1に近傍のデータ(部分スペクトログラム)を選択し、特徴量として抽出してもよい。
[2.5.物標識別の詳細]
次に、本実施形態に係る物標識別の詳細について説明する。上述したとおり、本実施形態に係る物標識別部160は、特徴抽出部140が抽出した特徴量を用いて、機械学習モデルに基づく物標識別を行う機能を有する。この際、本実施形態に係る物標識別部160は、特徴抽出部140が抽出した振幅値に関する部分スペクトログラムと、距離値に関する部分スペクトログラムと、のうちいずれか一方、または両方を特徴量として入力し、物標の識別を行うことができる。
また、本実施形態に係る物標識別部160は、上記の特徴量のほか、物標候補に係る分析情報を用いることで、精度の高い物標識別を実現することを特徴の一つとする。ここで、上記の分析情報は、物標候補に係る振幅強度、速度情報、距離情報、または角度情報などを含んでよい。
本実施形態に係る物標識別部160は、例えば、多層ニューラルネットワークを用いて物標の識別を行ってよい。図5は、本実施形態に係る多層ニューラルネットワークのネットワーク構造例を示す図である。
図5を参照すると、本実施形態に係る多層ニューラルネットワークは、第1の入力層I1、第2の入力層I2、第1の階層L1、および第2の階層L2を含んで構成される。
ここで、第1の入力層I1は、特徴抽出部140により抽出された特徴量を入力する入力層であってよい。上述したとおり、上記の特徴量は、物標候補に基づいて抽出される振幅値に関する部分スペクトログラムと距離値に関する部分スペクトログラムとのうち少なくともいずれか一方を含んでよい。また、図5を参照すると、第1の入力層I1は、第1の階層L1に結合される。
また、第1の階層L1は、第1の入力層I1から入力される特徴量の2次元的パターン形状を抽象化する畳み込みニューラルネットワークであってよい。畳み込みニューラルネットワークは、本実施形態に係る特徴量のように近傍のセル同士が意味を持つデータと相性が良いことが知られている。このため、本実施形態では、畳み込みニューラルネットワークを採用することで、物標の識別性能を高める効果が期待される。
また、本実施形態に係る第1の階層L1は、例えば、複数の畳み込み(Convolution)層、プーリング(Pooling)層、および活性化関数などにより構成され得る。上記のプーリング層には、例えば、広く用いられるMax−PoolingやSum−Pooligなどが挙げられる。また、上記の活性化関数には、ReLU(Rectified Linear Unit)や、tanhなどが挙げられる。なお、本実施形態に係る第1の階層L1の構成は、上記に挙げた例に限定されず、柔軟に変形され得る。また、図5を参照すると、第1の階層L1は、第2の階層L2に結合される。
また、第2の入力層I2は、物標検出部130により得られた物標候補に係る振幅強度、速度情報、距離情報、角度情報などを入力する入力層であってよい。図5を参照すると、第2の入力層I2は、第2の階層L2に結合される。
また、第2の階層L2は、第2の入力層I2から入力される物標候補の分析情報と第1の階層L2からの出力とに基づいて物標の識別クラスを決定する機能を有する。具体的には、本実施形態に係る第2の階層L2は、第1の階層L1により抽象化された特徴量の2次元的パターンと、物標候補に係る振幅強度、速度情報、距離情報、角度情報などに基づいて、物標の識別クラスを出力してよい。
すなわち、本実施形態に係る多層ニューラルネットワークでは、部分スペクトログラム上の振幅または距離の分布パターンを学習することに加え、当該分布パターンがどのような振幅強度、速度、距離、角度に関する状況において発生し得るかを統合的に学習することが可能である。このため、本実施形態に係る多層ニューラルネットワークによれば、種々の状況に応じた上記の分布パターンを学習する効果が期待できる。
なお、本実施形態に係る第2の階層L2は、例えば、1つ以上の全結合(Fully−connected)層や活性化関数により構成され得る。本実施形態に係る第2の階層L2の構成は、第1の階層L1の構成と同様に、柔軟に変形され得る。
以上説明したように、本実施形態に係る物標識別部160は、図4に例示する多層ニューラルネットワークを用いることで、物標の識別クラスを決定することが可能である。なお、上記の識別クラスは、例えば、小型車、中型車、大型車など複数のクラスを含んでよい。また、本実施形態に係る識別クラスは、ハードウェア機器由来のノイズや、多重反射による偽像などのクラスを含んでもよい。この場合、物標検出部130により物標以外のものが物標候補として検出された際にも、識別の精度を高めることが可能である。
[2.6.追尾結果を用いた物標の識別]
次に、本実施形態に係る追尾結果を用いた物標の識別について説明する。本実施形態に係る物標識別部160は、上記で説明した多層ニューラルネットワークにより出力される識別クラスに加え、物標追尾部150による物標候補の追尾結果を用いることで、より精度の高い物標識別を行うことが可能である。
図6は、本実施形態に係る物標追尾部150により出力された追尾結果の一例を示している。図6に示す一例には、物標候補OCに係る追尾結果T1が示されている。この際、本実施形態に係る物標識別部160は、追尾結果T1に係るM個の物標候補OCに係る識別クラスを上述した多層ニューラルネットワークにより求め、最頻出する識別クラスを最終的な物標の識別クラスとして決定することができる。すなわち、本実施形態に係る物標識別部160は、同一物標である可能性が極めて高い物標候補の集合に基づき、統計的手法による識別を行うことで、より精度の高い物標識別を実現することが可能である。
また、この際、本実施形態に係る物標識別部160は、2つ以上の異なる物標候補OCにおける周波数差fdiffが所定の閾値を超える場合、多層ニューラルネットワークにより出力される該当する物標候補OCの識別クラスを、最終的な識別クラスの決定処理から除外してよい。具体的には、物標識別部160は、下記の数式(4)の基準を満たす物標候補OCに対応する上記の識別クラスを除外することができる。なお、下記の数式(4)におけるfthは、任意の正の実数であってよい。
Figure 0006673030
本実施形態に係る物標識別部160が上記の数式(4)に基づく処理を行うことで、抽出した部分スペクトログラムに2つ以上の物標候補を由来とする振幅成分が混在している場合でも、当該部分スペクトログラムに係る識別結果を除外することが可能となる。
[2.7.情報処理装置10の処理の流れ]
次に、本実施形態に係る情報処理装置10の処理の流れについて説明する。図7は、本実施形態に係る情報処理装置10の処理の流れを示すフローチャートである。
図7を参照すると、まず、情報処理装置10の信号処理部120は、レーダ110が受信した信号を周波数分析し、ドップラー周波数に関する周波数スペクトルを算出する(S1101)。
次に、物標検出部130は、ステップS1101において取得された周波数スペクトルの強度に基づいて、少なくとも1つ以上の物標候補を検出する(S1102)。
次に、特徴抽出部140は、ステップS1102において検出された物標候補に係る特徴量を抽出する(1103)。
次に、物標追尾部150は、ステップS1102において検出された物標候補の追尾を行い、追尾結果を出力する(S1104)。
次に、物標識別部160は、ステップS1103において抽出された特徴量と、ステップS1102において検出された物標候補の分析情報とを用いて、機械学習モデルに基づく物標識別を行う(S1105)。
続いて、物標識別部160は、ステップS1105において出力される識別モデルと、ステップS1104で出力される追尾結果とに基づいて、物標の最終的な識別クラスを決定し、当該識別結果を出力する(S1106)。
<3.ハードウェア構成例>
次に、本発明に係る情報処理装置10のハードウェア構成例について説明する。図8は、本発明に係る情報処理装置10のハードウェア構成例を示すブロック図である。図8を参照すると、情報処理装置10は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力部878と、出力部879と、記憶部880と、ドライブ881と、接続ポート882と、通信部883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、記憶部880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力部878)
入力部878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
(出力部879)
出力部879には、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置(表示装置)、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、出力部879は、上述したような各種のレーダを含んでよい。
(記憶部880)
記憶部880は、各種のデータを格納するための装置である。記憶部880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信部883)
通信部883は、ネットワーク903に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
<4.まとめ>
以上説明したように、本発明に係る情報処理装置10は、多層ニューラルネットワークを用いた物標識別を行うことを特徴の一つとする。また、本発明に係る多層ニューラルネットワークでは、部分スペクトログラム上の振幅または距離の分布パターンを学習することに加え、当該分布パターンがどのような振幅強度、速度、距離、角度に関する状況において発生し得るかを統合的に学習することができる。係る構成によれば、精度の高い物標識別をより安価に実現することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、物標の例として車両を挙げて説明したが、本発明は係る例に限定されない。例えば、本実施形態に係る物標は、船舶や無人航空機などを含んでよい。
また、上記実施形態では、電波を放射するレーダを例に説明したが、本発明は、音波を放射するレーダを用いて実現されてもよい。
また、上記実施形態では、高速フーリエ変換によるスペクトログラムの振幅値を用いる場合を例に述べたが、本発明では、ウェーブレット変換によるスペクトログラムのウェーブレット係数が用いられてもよい。
また、上記実施形態では、物標追尾部150が物標候補の速度に基づいて追尾を行う場合を例に説明したが、本発明に係る物標候補の追尾は、物標候補の距離に基づいて実現されてもよいし、物標候補の速度および距離の両方に基づいて実現されてもよい。
また、上記実施形態では、第1の階層L1と第2の階層L2が直接される結合される場合を例に述べたが、本発明に係る多層ニューラルネットワークのネットワーク構造は、係る例に限定されないのは、言うまでもない。
また、本発明の情報処理装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置10の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
10 情報処理装置
110 レーダ
120 信号処理部
130 物標検出部
140 特徴抽出部
150 物標追尾部
160 物標識別部
I1 第1の入力層
I2 第2の入力層
L1 第1の階層
L2 第2の階層

Claims (9)

  1. 検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化する第1の階層と、前記物標に係る周波数スペクトルから検出された物標候補の分析情報と前記第1の階層からの出力とに基づいて前記物標の識別クラスを決定する第2の階層と、を含む多層ニューラルネットワークを用いて前記物標の識別を行う物標識別部、
    を備え、
    前記特徴量は、前記周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含む、
    情報処理装置。
  2. 前記物標候補の分析情報は、振幅強度、速度情報、距離情報、または角度情報のうち、少なくともいずれかを含む、
    請求項1に記載の情報処理装置。
  3. 前記周波数スペクトルを時間方向に展開して得たスペクトログラムから前記物標候補に近傍のデータを前記特徴量として抽出する特徴抽出部、
    をさらに備える、
    請求項1または2に記載の情報処理装置。
  4. 前記周波数スペクトルの強度に基づいて、少なくとも1つ以上の前記物標候補を検出する物標検出部、
    をさらに備える、
    請求項1〜3のいずれかに記載の情報処理装置。
  5. 複数の前記物標候補に係る時間的な対応関係を示す追尾結果を出力する物標追尾部、
    をさらに備え、
    前記物標識別部は、前記多層ニューラルネットワークにより出力される前記識別クラスと前記追尾結果とに基づいて、前記物標の識別を行う、
    請求項1〜4のいずれかに記載の情報処理装置。
  6. 前記物標識別部は、前記追尾結果に対応する複数の前記識別クラスのうち最頻出する識別クラスに基づいて、前記物標の識別を行う、
    請求項5に記載の情報処理装置。
  7. 前記物標識別部は、2つ以上の異なる前記物標候補における周波数差が所定の閾値を超える場合、当該物標候補に係る前記識別クラスを、前記物標の識別に用いない、
    請求項6に記載の情報処理装置。
  8. コンピュータを、
    検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化する第1の階層と、前記物標に係る周波数スペクトルから検出された物標候補の分析情報と前記第1の階層からの出力とに基づいて前記物標の識別クラスを決定する第2の階層と、を含む多層ニューラルネットワークを用いて前記物標の識別を行う物標識別部、
    を備え、
    前記特徴量は、前記周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含む、
    情報処理装置、
    として機能させるためのプログラム。
  9. 多層ニューラルネットワークを用いた情報処理方法であって、
    検出された物標に係る周波数スペクトルに基づいて抽出される特徴量の2次元的パターン形状を抽象化することと、
    前記物標に係る周波数スペクトルから検出された物標候補の分析情報と抽象化された前記特徴量の2次元的パターンとに基づいて前記物標の識別クラスを決定することと、
    を含み、
    前記特徴量は、前記周波数スペクトルに基づくスペクトログラムから抽出される振幅値に関する部分スペクトログラムまたは距離値に関する部分スペクトログラムのうち、少なくともいずれか一方を含む、
    情報処理方法。
JP2016110599A 2016-06-02 2016-06-02 情報処理装置、情報処理方法、及びプログラム Active JP6673030B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016110599A JP6673030B2 (ja) 2016-06-02 2016-06-02 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110599A JP6673030B2 (ja) 2016-06-02 2016-06-02 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017215272A JP2017215272A (ja) 2017-12-07
JP6673030B2 true JP6673030B2 (ja) 2020-03-25

Family

ID=60575633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110599A Active JP6673030B2 (ja) 2016-06-02 2016-06-02 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6673030B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109116821B (zh) * 2018-09-04 2021-04-06 江苏远望仪器集团有限公司 一种船舶监控系统、方法和装置
KR102128006B1 (ko) * 2018-09-14 2020-06-29 국방과학연구소 능동 펄스 식별 장치 및 방법
US11906657B2 (en) * 2018-10-02 2024-02-20 Fortem Technologies, Inc. System and method for drone and object classification
KR102395937B1 (ko) * 2019-06-11 2022-05-11 한국과학기술연구원 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템
KR102399672B1 (ko) * 2019-06-11 2022-05-20 한국과학기술연구원 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템
US11531080B2 (en) * 2019-07-24 2022-12-20 Cypress Semiconductor Corporation Leveraging spectral diversity for machine learning-based estimation of radio frequency signal parameters
JP7597031B2 (ja) * 2019-08-06 2024-12-10 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP7447578B2 (ja) * 2020-03-13 2024-03-12 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2023149894A (ja) * 2022-03-31 2023-10-16 沖電気工業株式会社 学習装置、学習方法およびプログラム
DE112023005481T5 (de) * 2023-05-12 2025-12-04 Astemo, Ltd. Formenschätzungssystem, objekterkennungssystem, kommunikationssystem, formenschätzungsverfahren, objekterkennungsverfahren und kommunikationsverfahren

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953561B2 (ja) * 1995-02-14 1999-09-27 防衛庁技術研究本部長 目標自動類識別方法
JP2834071B2 (ja) * 1996-05-13 1998-12-09 日本電気株式会社 目標信号自動検出方法および装置
DE19706576A1 (de) * 1997-02-20 1998-08-27 Alsthom Cge Alcatel Vorrichtung und Verfahren zur umgebungsadaptiven Klassifikation von Objekten
JP2000171545A (ja) * 1998-12-09 2000-06-23 Nec Corp 目標信号検出方法および装置
US8682821B2 (en) * 2011-08-08 2014-03-25 Robert Bosch Gmbh Method for detection of movement of a specific type of object or animal based on radar signals

Also Published As

Publication number Publication date
JP2017215272A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6673030B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112230193B (zh) 雷达数据处理设备和局部行程分辨力调整方法
CN111352110B (zh) 处理雷达数据的方法和装置
US10657815B2 (en) Vehicular information systems and methods
JP5821419B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出用コンピュータプログラム
CN114332708A (zh) 交通行为检测方法、装置、电子设备及存储介质
Cho et al. A support vector machine approach to CMOS-based radar signal processing for vehicle classification and speed estimation
JP2010132056A (ja) 検知装置、検知方法および車両制御装置
KR102060286B1 (ko) 이미지 정보를 활용한 레이더 오브젝트 검출 임계값 결정 방법 및 이를 이용한 레이더 오브젝트 정보 생성 장치
US12094330B2 (en) Traffic prediction apparatus, system, method, and non-transitory computer readable medium
CN113625232B (zh) 雷达检测中多径虚假目标抑制方法、装置、介质和设备
Zhuang et al. Edge-based traffic flow data collection method using onboard monocular camera
Lei et al. Identifying and correcting the errors of vehicle trajectories from roadside millimetre‐wave radars
CN113625266A (zh) 应用雷达检测低速目标的方法、装置、存储介质和设备
WO2013038561A1 (ja) 車線判定装置、車線判定方法及び車線判定用コンピュータプログラム
CN109263649B (zh) 车辆及其自动驾驶模式下的物体识别方法和物体识别系统
KR102038381B1 (ko) 도플러 정보를 이용한 보행자 및 차량 인식 장치 및 그 방법
JP2017116445A (ja) 物体検出装置
US20240142575A1 (en) Method and apparatus with neural network training
Czyżewski et al. Comparative study on the effectiveness of various types of road traffic intensity detectors
CN118244257A (zh) 基于毫米波雷达的车辆自身状态的评估方法及系统
CN106023600B (zh) 一种基于汽车电子标识的车辆速度检测方法及装置
KR102475760B1 (ko) 다채널 레이더를 이용한 특정물체 판별방법 및 장치
CN115147783B (zh) 一种车辆计数方法、装置、电子设备及存储介质
US20230273312A1 (en) Method and Apparatus for Providing a Classification Result for Object Identification Using Ultrasound-Based Sensor Systems in Mobile Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200217

R150 Certificate of patent or registration of utility model

Ref document number: 6673030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150