JP4159794B2

JP4159794B2 - 画像処理装置及び方法

Info

Publication number: JP4159794B2
Application number: JP2002107013A
Authority: JP
Inventors: 孝方越膳; 広司辻野; 浩二赤塚
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-05-02
Filing date: 2002-04-09
Publication date: 2008-10-01
Anticipated expiration: 2022-04-09
Also published as: JP2003042718A; US7221797B2; EP1255177A2; US20030007682A1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、より詳細には、移動体の移動時に取得した外部環境の画像情報を用いて移動体の行動を高精度に認識するための画像処理装置及び方法に関する。
【０００２】
【従来の技術】
従来、移動体が取得する外部環境の画像情報を用いて移動体の行動を認識する方法として、入力される連続画像から画像濃度の勾配変化などを計算してオプティカルフローを検出する方法が良く知られている。
【０００３】
例えば、特開２０００−１７１２５０号公報では、オプティカルフローを用いて移動体の現在位置を検出する方法が開示されている。この方法によれば、予め移動体を所定の走行領域に沿って走行させた時に、その走行領域について所定距離間隔毎に走行領域近傍の情景のオプティカルフローが検出され、オプティカルフローと検出位置との関係が記憶される。そして、後の走行時にも走行領域のオプティカルフローが検出され、これと記憶している全てのオプティカルフローとのマッチングが行われる。このマッチングにおいて最大マッチング結果を示すオプティカルフローが選択され、選択されたオプティカルフローに対応付けられている位置が移動体の現在走行位置であると認識される。
【０００４】
また、特開平１１−１３４５０４号公報には、動画像からオプティカルフローを算出し、これをニューラルネット層で処理することで行動を認識し、必要な処理を判断する技術が開示されている。この技術によれば、簡単な構成のニューラルネットによって動画像から障害物への接近を判断することが可能となる。
【０００５】
【発明が解決しようとする課題】
しかし、前者の方法で位置認識するには、予め所定領域を移動してオプティカルフローと位置との関係を記憶しておく必要がある。また、一般に動画像のみに基づいてオプティカルフロー等の特徴抽出を行い、位置や行動を認識するには以下のような問題がある。すなわち、移動体の移動に伴い太陽光や蛍光灯などの光源と移動体に搭載されたカメラとの位置関係が時々刻々と変わるため、明度などの画像強度が変化して特徴抽出を精度良く行うのが困難となる。また、移動体の移動時の振動がカメラに伝わるため、取得する連続画像が振動の影響を受けて特徴抽出の精度を低下させてしまう。さらに、上記画像強度の変化や振動の悪影響を取り除くために、画像情報に対し複数フレームに渡ってスムージング処理を行うように構成すると、計算負荷が増大し、かつ時間変動の大きな高速動作をする対象物を捉えるための特徴抽出が困難になってしまうという問題もある。
【０００６】
本発明は、上記の点に鑑みてなされたものであり、実環境においても移動体が取得する外部環境の画像情報を用いて移動体の行動を高速かつ高精度に認識することができる画像処理装置及び画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の原理は、移動体に対する行動コマンドと当該行動コマンドに従って移動した際に移動体が取得した外部環境の画像情報との関係を学習によって確率統計モデルとして生成しておき、以後の移動時には移動体が取得する外部環境の画像情報及び確率統計モデルに基づき現在の行動を高速かつ高精度に認識する点にある。
【０００８】
本発明は、従来の方法においてノイズの影響を除去するために必要とされた特徴抽出を行う前のスムージング処理等をすることなしに、実環境におけるオンライン的な学習を事前学習段階で行い、そのようなノイズをも特徴抽出のデータして利用することによって、環境の変化に対するロバスト性を向上して不良設定問題を回避しようとするものである。
【０００９】
本発明は、移動体を行動させる行動コマンドを出力する行動コマンド出力部と、該行動コマンド出力時に前記移動体において取得された外部環境の画像情報から画像の局所領域の特徴情報を抽出する局所特徴抽出部と、抽出された局所領域の特徴情報を使用して画像の全体領域の特徴情報を抽出する全体特徴抽出部と、抽出された全体領域の特徴情報に基づいて行動コマンドを認識するための確率統計モデルを計算する学習部を含む画像処理装置を提供する。
【００１０】
局所特徴抽出部はガボールフィルタを用いて画像の局所領域の特徴情報を抽出する。局所領域の特徴情報の抽出には、正成分及び負成分のガボールフィルタを適用して得られる画像強度を使用する。ガボールフィルタは８方向について適用するのが好ましい。
【００１１】
全体特徴抽出部は、ガウス関数を用いて局所領域の特徴情報を融合する。
【００１２】
確率統計モデルの計算は期待値最大化アルゴリズムとニューラルネットワークによる教師付き学習により行われるのが好ましいが、他の学習アルゴリズムを使用することも可能である。
【００１３】
確率モデルが形成されると、新たに取得された画像にこの確率モデルを適用することで移動体の行動を高精度に認識できるようになる。従って本発明の画像処理装置は、画像情報に対して確率統計モデルを使用したベイズ則を適用し、各行動コマンドについての確信度を算出することにより移動体の行動を認識する行動認識部をさらに含む。
【００１４】
上記のようにして移動体の行動を認識することが可能となるが、常に一定レベル以上の確信度を有する行動の認識が行われることが好ましい。従って本発明の画像処理装置は、行動認識部の算出した確信度に基づく値と所定の値を比較することによって行動認識を評価する行動評価部と、行動評価部における評価に応じて、確率統計モデルを更新させる注意要求を生成する注意生成部と、注意要求に応じて全体特徴抽出部の所定のパラメータを変更する注意転調部をさらに含むことができる。この場合、学習部は、パラメータの変更後に確率統計モデルを再度計算する。そして行動認識部は、この確率統計モデルを用いて移動体の行動の認識をやり直す。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１６】
図１は、本発明の一実施形態である画像処理装置１０のブロック構成図である。画像処理装置１０は、行動コマンド出力部１２、局所特徴抽出部１６、全体特徴抽出部１８、学習部２０、記憶部２２、行動認識部２４、行動評価部２６、注意生成部２８、及び注意転調部３０等から構成される。
【００１７】
画像処理装置１０の動作は、予めカメラ等を搭載した移動体３２を実環境下で行動させながら取得した画像とそのときの行動の対応関係について学習を行う事前学習段階と、事前学習段階で学習した知識を利用して新たに取得した画像情報から移動体３２の行動を認識する行動認識段階の二段階からなる。
【００１８】
事前学習段階では、図１中の行動コマンド出力部１２、局所特徴抽出部１６、全体特徴抽出部１８、学習部２０及び記憶部２２が使用される。行動認識段階では、これらに加えて行動認識部２４、行動評価部２６、注意生成部２８及び注意転調部３０も使用される。
【００１９】
まず、事前学習段階において使用される各部を説明する。
【００２０】
行動コマンド出力部１２は、移動体３２に対し行動コマンドを出力する。行動コマンドとは、移動体３２に直進、右折、左折などの行動をさせるコマンドである。行動コマンド出力部１２は、外部から受信する指示信号に応じて行動コマンドを出力するが、予め時系列で設定されたコマンド列を図示しないメモリから読み出してきて出力するようにしても良い。また、移動体３２が取得画像に基づいて自己の行動を認識して随時次にとるべき行動を決定し、行動コマンド出力部１２はその決定に応じた行動コマンドを出力する構成としても良い。出力された行動コマンドは、無線または有線により移動体３２に送られると共に、全体特徴抽出部１８に供給されて、後述する全体特徴情報の生成に使用される。
【００２１】
移動体３２にはＣＣＤカメラ等の画像取得部１４が付設されている。画像取得部１４は、時刻ｔにおける移動体３２の外部環境の画像I(t)を所定の時間間隔で取得し、局所特徴抽出部１６に供給する。
【００２２】
局所特徴抽出部１６は、画像I(t)の局所領域の特徴情報を抽出する。本明細書において「局所領域」とは、画像取得部１４が取得する画像I(t)の全体領域をそれぞれが同一の大きさを有するように分割したときの各小領域のことを指しており、各局所領域は複数の画素を含む。本実施形態では、時間的に連続する２枚の画像I(t)、I(t+1)からオプティカルフローを算出して、これを各局所領域の特徴情報（以下、「局所特徴情報」という）の生成に使用する。局所特徴抽出部１６によって抽出された局所特徴情報は、全体特徴抽出部１８に供給される。
【００２３】
全体特徴抽出部１８は、画像I(t)について得られた全ての局所特徴情報を融合して画像全体についての特徴情報（以下、「全体特徴情報」という）を抽出する。抽出された全体特徴情報は学習部２０に供給される。
【００２４】
学習部２０は、全体特徴抽出部１８から供給される全体特徴情報に基づいて学習を行い、後述する確率モデルを作成する。本実施形態では、この学習に公知の期待値最大化アルゴリズムとニューラルネットワークを用いた教師付き学習を使用するが、他の学習アルゴリズムを用いることもできる。学習結果である確率統計モデルは記憶部２２に格納され、行動認識段階における移動体３２の行動の認識に使用される。
【００２５】
事前学習段階が終了すると、その学習結果（確率モデル）を新たに取得した画像に適用して移動体３２の行動を高精度に認識可能な状態になる。以下、行動認識段階において使用される各部を説明する。
【００２６】
事前学習段階と同様、画像取得部１４は時刻ｔにおける移動体３２の外部環境の画像I(t)を所定の時間間隔で取得し、行動認識部２４に供給する。
【００２７】
行動認識部２４は、供給された画像I(t)に対して記憶部２２に格納されている確率モデルを適用して、各行動コマンドについて確信度を算出し、最大のものを移動体３２の行動と認識する。算出された確信度は行動評価部２６に供給される。
【００２８】
行動評価部２６は、行動コマンドの確信度について対数尤度を計算する。注意生成部２８は、確信度の対数尤度が所定値以上であれば何も行わない。確信度の対数尤度が所定値未満の場合、認識した行動は十分な確信度を得ていないとして、注意要求信号を生成して注意転調部３０に供給する。
【００２９】
注意転調部３０は、注意生成部２８から注意要求信号を受信すると、学習のアルゴリズムにおける所定のパラメータ値を変更（転調）して、学習部２０に確率モデルの更新を行わせる。学習部２０は更新した確率モデルを記憶部２２に格納する。行動認識部２４は、更新後の確率モデルを適用して再度移動体３２の行動を認識する。これによって、常に一定レベル以上の確信度を有する行動の認識が行われることになる。
【００３０】
なお、画像取得部１４は移動体３２に付設されている必要があるが、画像処理装置１０は、画像取得部１４と一体でまたは別個に移動体３２に付設されていても、あるいは移動体３２とは別の場所に設置されていてもよい。画像取得部１４と画像処理装置１０の間の通信は、有線でも無線でもよい。
【００３１】
続いて、図１及び図２を用いて事前学習段階について詳細に説明する。図２は事前学習段階の処理の流れを示すフローチャートである。
【００３２】
行動コマンド出力部１２からの行動コマンドに応じて移動体３２が行動する際に、移動体３２に付設された画像取得部１４は、時間的に連続する２枚の画像を取得する（ステップＳ４２）。そして、局所特徴抽出部１６は、画像取得部１４が取得した画像から局所特徴情報を抽出する（ステップＳ４４〜Ｓ４８）。具体的には、取得した画像中の各局所領域画像に対して複数方向のガボールフィルタを適用して、各局所領域についてガボールフィルタの各方向における画像強度Ｅ_i(x_t,y_t)を計算する（ステップＳ４４）。画像強度Ｅ_i(x_t,y_t)は、以下の式(１)により計算される。
【００３３】
Ｅ_i(x_t,y_t)=Img_(t)×Gbr_i(+)＋Img_(t+1)×Gbr_i(-) (１)
ここで、Gbr_i(+)、Gbr_i(-)はそれぞれ正成分及び負成分のガボールフィルタであることを示す。また、添え字「ｉ」はガボールフィルタの方向を示し、本実施形態ではｉ＝１,…,８である。Img_(t)は時刻ｔにおいて取得された画像の局所領域画像を示し、Img_(t+1)は次の時刻ｔ＋１において取得された画像の局所領域画像を示す。さらに、(x_t,y_t)は、時刻ｔにおける局所領域内での画素の座標を表している。従って、Ｅ_i(x_t,y_t)は当該局所領域における方向ｉの画像強度を表す。
【００３４】
ガボールフィルタの方向及び適用する数は任意であるが、本実施形態では人間の視覚機能の受容野を模倣して、全体画像の中心から等角に放射状に伸びる８方向のガボールフィルタを使用している。
【００３５】
次に、局所特徴抽出部１６は、ステップ４４で計算した各局所領域における８方向の画像強度Ｅ_i(x_t,y_t)（ｉ＝１,…,８）から、次式(２)により各局所領域において最も画像強度の大きい方向ｊを選択する（ステップＳ４６）。
【００３６】
ｊ＝argmax_i Ｅ_i(x_t,y_t) (２)
ここで、方向ｊ（ｊ＝１,…,８）は、局所領域毎に異なることに注意する。
【００３７】
続いて、局所特徴抽出部１６は、次式(３)のように最大の画像強度Ｅ_j(x_t,y_t)に対してガウス関数を使用して、各局所領域について局所特徴情報Ψ_j(x_t,y_t)を算出する（ステップＳ４８）。
【００３８】
【数１】

【００３９】
ここで、式(３)中、「μ_j」は、当該局所領域における画像強度Ｅ_j(x_t,y_t)の平均値である。また、「σ_j」はこれらの画像強度Ｅ_j(x_t,y_t)の分散を示す。従って、局所特徴情報Ψ_j(x_t,y_t)は、各局所領域において画像強度が最大値を有する方向に関する画像強度Ｅ_j(x_t,y_t)を確率密度分布で表現したものになる。局所特徴情報Ψ_j(x_t,y_t)は、局所領域の数と等しいだけ求められるが、それぞれの局所領域について局所特徴情報Ψ_j(x_t,y_t)を求めた方向ｊは異なっていることに注意する。
【００４０】
全体特徴抽出部１８は、行動コマンド出力部１２から行動コマンドを、局所特徴抽出部１６から局所特徴情報Ψ_j(x_t,y_t)を受け取ると、次式(４)に従って、画像強度の最大方向ｊの各方向について、その方向に関して求められた全ての局所特徴情報Ψ_j(x_t,y_t)を融合して全体特徴情報ρ_j(χ_t|l)を算出する（ステップＳ５０）。
【００４１】
【数２】

ここで、「χ_t」は(x_t,y_t)による二次元直交座標を意味する。
【００４２】
算出した全体特徴情報ρ_j(χ_t|l)は、それぞれ元の画像I(t)を取得したときに行動コマンド出力部１２が出力した行動コマンドの別にクラス分けして格納される（ステップＳ５２）。ここで、「ｌ」は行動コマンドを表す。本実施形態では３つの行動コマンド（直進、左折及び右折）が使用されているので、ｌ＝１を直進、ｌ＝２を左折、ｌ＝３を右折の行動コマンドとしている。従って、移動体の直進（ｌ＝１）時に取得された複数の全体特徴情報ρ_j(χ_t|１)と、左折（ｌ＝２）時に取得された複数の全体特徴情報ρ_j(χ_t|２)と、右折（ｌ＝３）時に取得された複数の全体特徴情報ρ_j(χ_t|３)は、それぞれ別々のクラスに格納される。
【００４３】
このクラスは「注意のクラス」Ω_lである。注意のクラスとは、新たな特徴情報が提示されたときにその全てを学習結果に反映させるのではなく、特定の特徴情報に注目することで効率良く学習を更新するためのものである。
【００４４】
なお、注意のクラスは３つに限られず、行動コマンドの数と対応づけて任意の数設定することができる。
【００４５】
全体特徴情報ρ_j(χ_t|l)は所定間隔毎に取得される画像I(t)について行動コマンドに関連付けて計算されるので、式(４)の計算によって、８方向の全体特徴情報のセットがそれぞれ複数、行動コマンドの別に格納されることになる。
【００４６】
図３〜図５は、元の画像I(t)と、局所特徴情報Ψ_j(x_t,y_t)と、全体特徴情報ρ_j(χ_t|l)の対応を示す図である。図３は移動体３２の直進時に、図４は左折時に、図５は右折時に取得された画像にそれぞれ対応する。
【００４７】
各図の(a)は、画像取得部１４により取得された画像I(t)の一例である。各図の(b)は、ガボールフィルタのある１方向の局所特徴情報を画像全体についてグラフ化したものであり、Ｚ軸は局所特徴情報Ψ_j(x_t,y_t)の絶対値を表す。この例では、画像全体が７７×５７個の局所領域に分割されている。各図の(c)は、(b)の局所特徴情報から式(４)の計算によって算出された全体特徴情報ρ_j(χ_t|l)を、ガボールフィルタの適用方向毎に示した極形マップである。図(c)中、の１から８の数字はガボールフィルタの適用方向（上方向、右上方向、…）に対応している。
【００４８】
図３〜５の(c)の極形マップに現れた形状を比較すると、各画像について８方向の全体特徴情報を求めることで移動体３２の行動（行動コマンドｌ）についての特徴が捉えられていることがわかる。
【００４９】
図２に戻り、ステップＳ５２で全体特徴情報ρ_j(χ_t|l)を格納した後、学習部２０は全体特徴情報ρ_j(χ_t|l)に基づいて学習を行う（ステップＳ５４〜Ｓ５８）。具体的には、期待値最大化アルゴリズム（ＥＭアルゴリズム）とニューラルネットワークを用いた教師付き学習を行って、移動体３２の行動を認識するための確率モデルを生成する。以下、本実施形態におけるＥＭアルゴリズムとニューラルネットワークを用いた教師付き学習の適用について順に説明する。
【００５０】
ＥＭアルゴリズムは、観測データが不完全データであるときに最大尤度になるパラメータθを推測する繰り返しアルゴリズムである。観測データの平均をμ^l、共分散をΣ^lとすると、パラメータθはθ(μ^l,Σ^l)と表わすことができる。ＥＭアルゴリズムでは、パラメータθ(μ^l,Σ^l)の適当な初期値から開始して、Ｅステップ（Expectation step）とＭステップ（Maximization step）の２つのステップを反復することでパラメータθ(μ^l,Σ^l)の値を逐次更新していく。
【００５１】
まず、Ｅステップでは、次式(５)により条件付き期待値ψ(θ|θ^(k))を算出する。
【００５２】
【数３】

【００５３】
次に、Ｍステップでは、次式(６)によりψ(θ|θ^(k))を最大にするパラメータμ^l、Σ^lを計算し、これを新たな推測値θ^(k+1)とする。
【００５４】
【数４】

【００５５】
このＥステップとＭステップを反復していき、得られた条件付き期待値ψ(θ|θ^(k))をθ^(k)に関して偏微分する。そして、偏微分の結果を「０」と置くことによって、最終的なμ^l、Σ^lが算出される。ＥＭアルゴリズムは当技術分野において周知なので、これ以上詳細な説明は省略する。
【００５６】
ＥＭアルゴリズムにより、各注意のクラスΩ_lの全体特徴情報を正規分布で表すことができる（ステップＳ５４）。
【００５７】
全体特徴抽出部１８は、行動コマンドｌについて算出したμ^l、Σ^lを次式(７)に用いて、全体特徴情報ρ_j(χ_t|l)が行動コマンドｌのクラスΩ_ｌに属する確率である事前確率p-(ρ|Ω_l)を算出する（ステップＳ５６）。
【００５８】
【数５】

上式において、Ｎは全体特徴情報ρ_j(χ_t|l)の次元数である。
【００５９】
次に、ニューラルネットワークを用いた教師付き学習について説明する。この学習では、注意のクラスΩ_lを教師信号として、画像取得部１４により取得された画像I(t)について、条件付き確率密度関数p(I(t)|Ω_l)を算出する（ステップＳ５８）。
【００６０】
図６は、このニューラルネットワークを用いた教師付き学習に使用される階層型ニューラルネットワークの構成例を示す図である。この階層型ニューラルネットワークは３層のノードを有し、入力層７２は元の画像I(t)、中間層７４は全体特徴情報ρ_j(χ_t|l)、出力層７６は行動コマンドｌの注意のクラスΩ_lにそれぞれ対応する。なお、入力層７２には簡単のために３つのノードのみ描かれているが、実際にはノードは画像I(t)の数だけ存在する。同様に、中間層７４には入力層７２と同数の全体特徴情報ρ_j(χ_t|l)のノードがあり、両者はそれぞれ１対１に接続されている。また出力層７６のノードは注意クラスΩ_lの数（本実施形態では３つ）だけ生成される。
【００６１】
図６において、「λ」は階層型ニューラルネットワークのシナプス荷重である。ＥＭアルゴリズムによって全体特徴情報ρ_j(χ_t|l)がそれぞれの注意のクラスΩ_lに属する確率が求められており、また全体特徴情報ρ_j(χ_t|l)は１組の画像I(t)、I(t+1)に１：１に対応して算出されるので、注意のクラスΩ_lを教師信号とする教師付き学習を繰り返していくことで画像I(t)と注意のクラスΩ_lの確率的な関係（つまり図６中のλ）が決定されていく。この確率的な関係は条件付き確率密度関数ｐ(I(t)|Ω_l)である。階層型ニューラルネットワークは当技術分野において周知なので、これ以上詳細な説明は省略する。
【００６２】
このようなニューラルネットワークを用いた教師付き学習によって、画像I(t)と注意のクラスΩ_lとの確率的な対応関係である条件付き確率密度関数ｐ(I(t)|Ω_l)を得ることができる。
【００６３】
なお、ステップＳ５４〜Ｓ５８の処理は、行動コマンドｌ毎に実行される。従って本実施形態では、行動コマンドｌ＝１、２、３のそれぞれについて事前確率p-(ρ|Ω_l)と条件付き確率密度関数ｐ(I(t)|Ω_l)（これらをまとめて「確率モデル」という）が算出される。
【００６４】
学習部２０によって算出された確率モデルは、記憶部２２に格納される（ステップＳ６０）。事前学習を継続する場合はステップＳ６２で「ｙｅｓ」となり再度ステップ４２からの一連の処理が繰り返され、確率モデルが更新される。事前学習は、移動体３２が行動をしている間、所定の間隔で取得される画像I(t)の全てについて実行される。そして、所定数の画像I(t)について処理を完了する等、行動認識に十分精度の高い確率モデルが生成されたと判断される時点で終了する（ステップＳ６４）。
【００６５】
続いて、図１及び図７を用いて行動認識段階について詳細に説明する。図７は行動認識段階の処理の流れを示すフローチャートである。
【００６６】
画像取得部１４は、所定の時間間隔ごとに２枚の画像を取得する（ステップ８２）。
【００６７】
次に、事前学習時に算出された確率モデル、すなわち事前確率ｐ-(ρ^l|Ω_l)と条件付き確率密度関数p(I(t)|Ω_l)が以下のベイズ則において使用され、各注意のクラスΩ_lの確信度p(Ω_l(t))（confidence）が計算される（ステップＳ８４）。この確信度p(Ω_l(t))は、画像取得部１４の取得した画像I(t)が各注意のクラスΩ_lに属している確率を表している。
【００６８】
【数６】

そして、算出された３つの確信度p(Ω₁(t))、p(Ω₂(t))、p(Ω₃(t))のうち、最大のものが選択される（ステップＳ８６）。
【００６９】
行動評価部２６は、行動認識部２４において選択された確信度p(Ω_l(t))について、対数尤度log p(Ω_l(t))が所定値Ｋより大きいか否かを判別する（ステップＳ８８）。log p(Ω_l(t))＞Ｋの場合、確信度が最大である注意のクラスΩ_lに対応する行動コマンドｌが、画像I(t)が取得されたときに現実になされている移動体３２の行動であると認識される（ステップＳ９２）。
【００７０】
一方、log p(Ω_l(t))≦Ｋの場合、注意生成部２８は注意要求を行う。注意転調部３０は、式(７)におけるガウシアンミクスチャ「ｍ」を所定値だけ増加（すなわち、注意転調）する（ステップＳ９０）。そして、学習部２０において図２のステップＳ５６〜Ｓ６０の一連の処理が再度実行され、確率モデル（事前確率p-(ρ|Ω_l)及び条件付き確率密度関数p(I(t)|Ω_l)）が更新される。
【００７１】
そしてプロセスは図７のステップＳ８４に戻り、ステップＳ８４〜Ｓ８８の処理が繰り返され、対数尤度log p(Ω_l(t))が所定の値Ｋ以上になるまでガウシアンミクスチャｍが増加される。
【００７２】
なお、このような更新の過程がなく予め作成された確率モデルが常に使用されるとしてもよい。
【００７３】
以上説明したように、本発明では画像情報のみから移動体の行動を認識するのではなく、画像情報から抽出した全体特徴情報と行動コマンドとの関係についての学習を予め行っておき、その学習結果を利用して行動認識を行うので、実環境においても移動体の行動を高速かつ高精度に認識することができる。
【００７４】
また、移動体３２のタイヤの取り付け不良等によって、移動体３２が与えられた行動コマンドに応じた正しい移動をしなくなった場合でも、画像から真の移動状況が把握できる。
【００７５】
続いて、本発明の実施例について説明する。図８は、本発明の画像処理装置１０を搭載したラジオコントロールカー（以下、「ＲＣカー」という）１００のブロック図である。画像処理装置１０の各部は図１に関連して説明したものと同様の機能を有する。ＲＣカー１００には、画像処理装置１０の他、画像を取得する画像入力カメラ１１４、行動コマンドに従ってＲＣカー１００の行動を制御する操舵制御部１３２及び駆動制御部１３４、外部と通信を行うための受信機１３６及び送信機１３８が設けられている。受信機１３６は外部から行動コマンド指令信号を受信し、行動コマンド出力部１２に供給する。ＲＣカー１００は行動コマンドに応じて直進、左折、右折の３つの行動の何れかをとる。また、行動認識部２４の認識したＲＣカー１００の行動は、送信機１３８を介して外部に送信される。
【００７６】
このＲＣカー１００に対して右折、直進、及び左折の各行動コマンドを与えながら画像を取得させて事前学習段階を完了させた後、２４フレームの画像について行動認識をさせたときの結果を以下に述べる。
【００７７】
図９は、注意のクラスの確信度の対数尤度log p(Ω_l(t))の値の変化を示すグラフである。横軸は式(７)のガウシアンミクスチャｍの値を表し、縦軸は確信度の対数尤度log p(Ω_l(t))を表す。図９より、ガウシアンミクスチャの数が５０前後になると、対数尤度が飽和することが分かる。各画像に対する注意のクラスの確信度の対数尤度が大きいということは、各画像を取得したときのＲＣカー１００が当該注意のクラスに対応する行動をしている可能性が十分に高いと画像処理装置１０が認識していることに相当する。
【００７８】
図１０はガウシアンミクスチャ（ガウス関数の個数）ｍがｍ＝２０のときの式(８)で求めた確信度の対数尤度log p(Ω_l)の結果を示し、図１１はｍ＝５０のときの同様の結果を示す。図１０及び図１１における縦軸は、(a)では行動コマンドｌ＝１（直進）の注意のクラスΩ₁についての確信度の対数尤度log p(Ω₁)、(b)では行動コマンドｌ＝２（左折）の注意のクラスΩ₂についての確信度の対数尤度log p(Ω₂)、(c)では行動コマンドｌ＝３（右折）の注意のクラスΩ₃についての確信度の対数尤度log p(Ω₃)をそれぞれ示している。各図の横軸は行動認識をさせた２４個の画像に対応している。２４個の画像のうち最初の８つ（画像１〜８）はＲＣカー１００に左折の行動コマンドｌ＝２を与えたときに、中央の８つ（画像９〜１６）は直進の行動コマンドｌ＝１を与えたときに、最後の８つ（画像１７〜２４）は右折の行動コマンドｌ＝３を与えたときに、それぞれ対応している。
【００７９】
そこで図１０を参照すると、(a)では中央の８つの画像(すなわち直進時)について最大の確信度の対数尤度を示し、(b)では最初の８つの画像(すなわち左折時)について、(c)では最後の８つの画像(すなわち右折時)について、それぞれ同様である。しかし画像間の対数尤度のばらつきが大きく、行動の認識は十分とは言えない。
【００８０】
次に図１１を参照すると、(a)、(b)、(c)ともに図１０と同様、行動コマンドｌに対応する画像が最大の確信度の対数尤度を示している。しかし図１１においては、図１０に比べて画像間の対数尤度のばらつきが少なく、滑らかになっている。これは注意転調によりガウシアンミクスチャを増加することによって達成されたものである。
【００８１】
このように、本発明の画像処理装置を用いることによって、事前学習段階においてボトムアップ的に形成された注意のクラスが学習を重ねることにより信頼性が向上し、行動認識段階では、確信度の対数尤度が所定値を超えるまで確率モデルが更新されるので、行動の認識精度が向上する。
【００８２】
【発明の効果】
本発明によると、画像情報のみから移動体の行動を認識するのではなく、画像情報と行動コマンドとの関係についての学習を予め行っておき、その学習結果を利用して判断するので、実環境においても移動体の行動を高速かつ高精度に認識することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像処理装置の機能ブロック図である。
【図２】本発明による画像処理方法の事前学習段階を示すフローチャートである。
【図３】移動体の直進時（Ω₁）の画像認識結果を示す図である。
【図４】移動体の左折時（Ω₂）の画像認識結果を示す図である。
【図５】移動体の右折時（Ω₃）の画像認識結果を示す図である。
【図６】ニューラルネットワークを用いた教師付き学習に使用される階層型ニューラルネットワークの構成例を示す図である。
【図７】本発明による画像処理方法の行動認識段階を示すフローチャートである。
【図８】本発明による画像処理装置を使用したＲＣカーの全体的な構成を示すブロック図である。
【図９】確信度の対数尤度の変化を示す図である。
【図１０】ガウシアンミクスチャｍ＝２０のときのＲＣカーの行動の認識結果を示す図である。
【図１１】ガウシアンミクスチャｍ＝５０のときのＲＣカーの行動の認識結果を示す図である。
【符号の説明】
１０画像処理装置
１２行動コマンド出力部
１４画像取得部
１６局所特徴抽出部
１８全体特徴抽出部
２０学習部
２２記憶部
２４行動認識部
２６行動評価部
２８注意生成部
３０注意転調部
３２移動体

Claims

移動体を行動させる行動コマンドを出力する行動コマンド出力部と、
該行動コマンド出力時に前記移動体において取得された外部環境の画像情報から、ガボールフィルタを用いて画像の局所領域の特徴情報を抽出する局所特徴抽出部と、
抽出された局所領域の特徴情報をガウス関数を用いて融合して、画像の全体領域の特徴情報を抽出する全体特徴抽出部と、
抽出された全体領域の特徴情報に基づいて期待値最大化アルゴリズムとニューラルネットワークによる教師付き学習により行動を認識するための確率統計モデルを作成する学習部と、
を含む画像処理装置。
前記画像の局所領域の特徴情報の抽出には、正成分及び負成分のガボールフィルタを適用して得られる画像強度を使用する請求項１に記載の画像処理装置。
前記ガボールフィルタは８方向のガボールフィルタである請求項１または２に記載の画像処理装置。
前記画像情報に対して前記確率統計モデルを使用したベイズ則を適用し、各行動コマンドについての確信度を算出することにより前記移動体の行動を認識する行動認識部をさらに含む、請求項１乃至３の何れか１項に記載の画像処理装置。
前記行動認識部の算出した確信度に基づく値と所定の値を比較することによって前記行動認識を評価する行動評価部と、
前記行動評価部における評価に応じて、前記確率統計モデルを更新させる注意要求を生成する注意生成部と、
前記注意要求に応じて前記全体特徴抽出部の所定のパラメータを変更する注意転調部をさらに備え、
前記学習部は前記パラメータの変更後に再度前記確率統計モデルを計算する、請求項４に記載の画像処理装置。
移動体を行動させる行動コマンドを出力し、
該行動コマンド出力時に前記移動体において取得された外部環境の画像情報から、ガボールフィルタを用いて画像の局所領域の特徴情報を抽出し、
抽出された局所領域の特徴情報をガウス関数を用いて融合して、画像の全体領域の特徴情報を抽出し、
抽出された全体領域の特徴情報に基づいて期待値最大化アルゴリズムとニューラルネットワークによる教師付き学習により行動を認識するための確率統計モデルを作成することを含む画像処理方法。
前記局所領域の特徴情報の抽出には、正成分及び負成分のガボールフィルタを適用して得られる画像強度を使用する請求項６に記載の画像処理方法。
前記ガボールフィルタは８方向のガボールフィルタである請求項６または７に記載の画像処理方法。
前記画像情報に対して前記確率統計モデルを使用したベイズ則を適用し、各行動コマンドについての確信度を算出することにより前記移動体の行動を認識することをさらに含む、請求項６乃至８の何れか１項に記載の画像処理方法。
前記算出された確信度に基づく値と所定の値を比較して前記行動認識を評価し、
該評価に応じて、前記確率統計モデルを更新させる注意要求を生成し、
前記注意要求に応じて前記全体特徴抽出部の所定のパラメータを変更することをさらに含み、
前記パラメータの変更後に前記確率統計モデルが再度計算される、請求項９に記載の画像処理方法。