JP2006338594A

JP2006338594A - 歩行者認識装置

Info

Publication number: JP2006338594A
Application number: JP2005165546A
Authority: JP
Inventors: Masaaki Uechi; 正昭上地
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-06-06
Filing date: 2005-06-06
Publication date: 2006-12-14
Anticipated expiration: 2025-06-06
Also published as: JP4872245B2

Abstract

【課題】本発明の目的は、目視困難であったり、まだ認識していないと思われる歩行者のみを効率よく運転者に告知することのできる歩行者認識装置を提供すること。
【解決手段】本発明の歩行者認識装置は、車両に搭載された可視光カメラ２と遠赤外線カメラ１との撮像結果を用いて車両前方の歩行者を認識するものであり、遠赤外線カメラ１の撮像結果に基づく歩行者特定認識率（Ｓ５２５）が高く、かつ、可視光カメラによる歩行者特定認識率（Ｓ５３０）が低い歩行者を車両乗員に告知する（Ｓ５３５，５４０）ディスプレイを備えたことを特徴としている。
【選択図】図５

Description

本発明は、車両に搭載され、車両前方の歩行者を検出する歩行者認識装置に関する。

近年、夜間車両走行時に、歩行者の認識を補助するものが実用化されはじめてきている。下記［特許文献１］にも、このような歩行者認識装置が開示されている。このようなシステムは、ナイトビューシステムやナイトビジョンシステムなどと呼ばれており、赤外線カメラを用いいたものが多い。赤外線カメラで捉えた画像から歩行者を認識し、これを車両乗員（運転者）に対してディスプレイ（ブザーを併用する場合もある）上に表示することで告知する。ディスプレイ上の画像で、歩行者を強調表示させる場合もある。赤外線カメラと距離センサを併用して、認識精度を高めようとするシステムも検討されている（［特許文献１］）。
特開２００１−１０８７５８号公報

しかし、こうした従来のナイトビューシステムでは、歩行者を精度良く検出することはできるが、全ての歩行者を乗員（運転者）に対して告知するものである。即ち、運転者が目視によって容易に認識できる歩行者についてもディスプレイ上で告知するものである。運転者が既に認識している歩行者も、運転者が認識しにくい歩行者も全て提示されてしまうため、運転者には不要な情報が告知されていたり、そのせいで本当に強調して告知すべき（強調表示すべき）歩行者が不要な情報に埋もれてしまったりすることがあった。

例えば、比較的手前に多くの目視可能な歩行者がいて、少し離れた前方にヘッドライトでは照らされていない歩行者がいる場合を考える。従来のナイトビューシステムでは、比較的手前にいる歩行者（手前にいるため、大きさ［面積］も大きい）を強調して告知（強調表示）するため、この告知によって運転者に対しては重要な情報とべき少し離れた目視困難な歩行者の告知（表示）が認識しにくくなってしまうようなことが考えられる。従って、本発明の目的は、車両前方の歩行者認識において、本当に必要な歩行者情報、即ち、目視困難であったり、まだ認識していないと思われる歩行者のみを効率よく運転者に告知して認識させることのできる歩行者認識装置を提供することにある。

請求項１に記載の歩行者認識装置は、車両に搭載された可視光カメラと遠赤外線カメラとの撮像結果を用いて車両前方の歩行者を認識するものであり、遠赤外線カメラの撮像結果に基づく歩行者特定認識率が高く、かつ、可視光カメラによる歩行者特定認識率が低い歩行者を車両乗員に告知するディスプレイを備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の歩行者認識装置において、遠赤外線カメラの撮像結果に基づく歩行者特定認識率と、可視光カメラによる歩行者特定認識率とに基づいて、車両乗員が目視しにくいと思われる目視困難歩行者がディスプレイによって告知されることを特徴としている。

請求項３に記載の発明は、請求項２に記載の歩行者認識装置において、遠赤外線カメラの撮像結果に基づく歩行者特定認識率と、可視光カメラによる歩行者特定認識率とに基づいて、各カメラで認識された歩行者に関してそれぞれ目視困難歩行者率が算出され、該目視困難歩行者率が所定値以上である場合に、該歩行者をディスプレイ上に目視困難歩行者として表示することを特徴としている。

なお、ここで、一方のカメラのみでしか歩行者であると特定されない場合（特に、可視光カメラでは歩行者を特定できない場合）も含む。この場合の、歩行者を特定できなかった方のカメラの歩行者特定認識率は０％とすればよい。

請求項４に記載の発明は、請求項３に記載の歩行者認識装置において、遠赤外線カメラ及び可視光カメラに加えて、車両前方の物体との距離及び該物体の大きさを測定可能な距離センサを備えており、目視困難歩行者率の算出に距離センサの検出結果も利用することを特徴としている。

請求項１に記載の歩行者認識装置によれば、可視光カメラで歩行者であると特定する認識率（歩行者特定認識率）が低くて車両乗員（運転者）が目視しにくいと思われる歩行者で、かつ、遠赤外線カメラでの歩行者特定認識率が高い歩行者は、車両乗員が歩行者であると認識していないと思われるか可能性が高い。このような歩行者を、ディスプレイによって車両乗員に告知することで、車両乗員は認識しにくい歩行者を高精度に認識することができる。

また、可視光カメラでの歩行者特定認識率の高い歩行者については、車両乗員が目視で認識していると思われるため、ディスプレイによる告知は行われず、不要な情報の提示が行われないため、上述した目視困難な歩行者に関する情報が確実に乗員に認識される。なお、ディスプレは、インストルメントパネルなどに取り付けられたLCDディスプレイや、フロントウインドスクリーン内面に画像が表示されるヘッドアップディスプレイなど、画像（映像：動画）を表示できるものであればどのようなものでも良い。

請求項２に記載の歩行者認識装置によれば、前記遠赤外線カメラの撮像結果に基づく歩行者特定認識率が高く、かつ、前記可視光カメラによる歩行者特定認識率が低い歩行者を車両乗員に告知するが、このとき、上述した二つの歩行者特定認識率に基づいて、車両乗員が目視しにくいと思われる目視困難歩行者がディスプレイによって告知される。車両乗員が目視しにくいと思われる目視困難歩行者が告知されることで、車両乗員が目視で認識していると思われる歩行者は告知されずに不要な情報の提示が行われないため、上述した目視困難歩行者に関する情報のみが確実に乗員に認識される。

請求項３に記載の歩行者認識装置によれば、遠赤外線カメラによる歩行者特定認識率と可視光カメラによる歩行者特定認識率とに基づいて、各カメラ毎に目視困難歩行者率（どの程度目視されにくいかを数値化したもの：大きいほど目視されにくい）が算出され、この目視困難歩行者率が所定値以上である場合にその歩行者を目視困難歩行者とする。このようにすることで、二つのカメラを利用して効率よく目視困難歩行者を決定することができる。

請求項４に記載の歩行者認識装置によれば、前記遠赤外線カメラ及び可視光カメラに加えて距離センサの検出結果を利用することで、より高い認識率を実現することができる。

本発明の歩行者認識装置の構成を示す構成図を図１に示す。この歩行者認識装置は、車両に搭載されており、車両前方を撮す遠赤外線カメラ１と可視光カメラ２とを備えており、さらに、車両前方の物体への距離を測定する距離センサ３を備えている。これらのカメラ・センサは、歩行者認識に関する演算処理を行う判定処理ＥＣＵ４に接続されている。

遠赤外線カメラ１は、熱分布を映し出すカメラで、植え込みの茂み程度の障害物であれば透過して人間を関知できる性能を備えている。また、遠赤外線カメラ１は、昼間だけでなく、夜間でも人間を感知する能力を有している。可視光カメラ２は、昼間の太陽光や夜間のヘッドライト光で映し出された車両前方映像を人間の視覚能力（視力や鳥目具合など）に合わせて映し出すものである。人間の視覚能力に合わせるには、カメラの仕様として、フォーカスやダイナミックレンジ、エイリアス等を合わせることとなる。

距離センサ３は、レーザーやミリ波などを用いて車両前方を走査し、上述したカメラ１，２とほぼ同じ範囲の車両前方の物体との距離を分布として検出するものである。車両前方の景色に関して、等高線のようにして物体との距離を把握できるものと考えると分かりやすい。これらのカメラ１，２や距離センサ３の検出結果は、判定処理ＥＣＵ４において時間系列で処理することができる。つまり、動画として処理することができ、また、歩行者の移動（速度や向き）をも検出することがきる。

判定処理ＥＣＵ４は、これらのカメラ１，２や距離センサ３の検出結果（画像：映像）を画像認識処理し、検出した物体が歩行者である確率を算出する機能と、検出した歩行者と思われる物体との相対距離を距離センサ３の検出結果から取得する。さらに、判定処理ＥＣＵ４は、算出した距離から算出される人間の推定面積を利用して歩行者であることの判定精度を高める機能も有しており、距離画像と時間変異と皮歩行者認識処理を行った結果を利用して歩行者の判定精度を高める機能も有している。

判定処理ＥＣＵ４には、車線認識システム５やナビゲーションシステム６なども接続されている。これらのシステムを併用することで、より高度な歩行者認識を行うことができる。詳細については追って詳しく説明する。また、判定処理ＥＣＵ４には、最終的に乗員（運転者：ドライバー８）に対して特定した歩行者（目視困難歩行者）を告知するためのディスプレイ７も接続されている。このディスプレイ７は、目視困難歩行者を検出したときに警告音を発するブザーをも有している。

上述したカメラ１，２や距離センサ３の検出例を図２〜図４に示す。図２は、可視光カメラ２によって取得した夜間における車両前方の画像例である。ここでは、右側手前と左側奥に歩行者がいる場合を例にして説明する。図２から分かるように、可視光カメラ２では、右手前の歩行者に関しては検出することができる。しかし、左奥の歩行者に関しては、一部背景の暗闇と同化してしまっていて、歩行者としては検出できない。

なお、歩行者としての検出は、その物体までの距離と、その距離における対象物の大きさ、その他、その物体の形状等から、歩行者であるか否かを検出する。この歩行者であるか否かの判定については、従来のロジックを利用できるため、ここではこれ以上の詳しい説明は省略する。

図３は、遠赤外線カメラ１による画像例である。温度の高いものほど薄く（白く）表示される。図３から分かるように、遠赤外線カメラ１では、右手前の歩行者、及び、左奥の歩行者に関して、双方とも歩行者として検出できている。図４は、距離センサ３による画像例である。近いものほど濃く（黒く）表示される。図４から分かるように、距離センサ３でも、右手前の歩行者、及び、左奥の歩行者に関して、双方とも歩行者として検出できている。

上述した検出画像を用いて、車両乗員（運転者）が認識困難な歩行者（目視困難歩行者）のみを車両乗員にディスプレイを介して告知する制御の一例について、図５に基づいて説明する。まず、上述したように、遠赤外線カメラ１によって車両前方に関する物体検出を行う（ステップ５００）。検出した物体毎に、座標（ｘ１，ｙ１）と動きベクトル（Ｖｘ，Ｖｙ）と面積Ｓａとを算出する（ステップ５０５）。同様に、可視光カメラ２によって車両前方に関する物体検出を行う（ステップ５１０）。検出した物体毎に、座標（ｘ２，ｙ２）と動きベクトル（Ｗｘ，Ｗｙ）と面積Ｓｂとを算出する（ステップ５１５）。

ステップ５０５の結果の座標と、距離センサ３による検出結果（当該座標に対応する物体までの距離ｄと、当該座標に対応する物体が歩行者である確率ζ［ここではζ＝８０％］）とから、歩行者判定処理を行い、遠赤外線カメラ１による歩行者確率（歩行者特定認識率）αを算出する（ステップ５２５）。ここでは、α＝９０％として算出されており、ある特定の物体が歩行者である確率が９０％であると算出されている。

同様に、ステップ５１５の結果の座標と、距離センサ３による検出結果（当該座標に対応する物体までの距離ｄと、当該座標に対応する物体が歩行者である確率ζ［ここではζ＝８０％］）とから、歩行者判定処理を行い、可視光カメラ２による歩行者確率（歩行者特定認識率）βを算出する（ステップ５３０）。ここでは、β＝１０％として算出されており、ある特定の物体が歩行者である確率が１０％であると算出されている。即ち、可視光カメラ２（即ち、運転者の目視）では、その物体は歩行者としては認識されにくい状況である。

その後、ステップ５２５での遠赤外線カメラ１による歩行者特定認識率αと、ステップ５３０での可視光カメラ２による歩行者特定認識率βとから、特定歩行者判定を行う。即ち、特定された歩行者が目視困難であるか否かの特定歩行者確率（目視困難歩行者率）γを算出する（ステップ５３５）。ここでは、γ＝α×（α−β）［ここでは、９０％×（９０％−１０％）＝７２％］の算出式を用いて目視困難歩行者率γを算出する。即ち、γの値が高いほど、運転者によって目視されにくく、運転者がその歩行者を認識していない傾向となる。

この目視困難歩行者率γに対して予めしきい値（例えば、５０％）を設けておき、このしきい値よりも高い場合は、運転者（ドライバー８）に対して特定歩行者（目視困難歩行者）として告知する（ステップ５４０）。告知の手法は様々であるが、ディスプレイ上で、当該歩行者を枠で囲むなどし、同時にブザーによる告知を行うことが考えられる。

上述した例では、遠赤外線カメラ１及び可視光カメラ２の双方である物体（歩行者）を検出できた場合について説明したが、可視光カメラ２では物体（歩行者）を検出できない場合もある。例えば、図２の左奥の歩行者のような場合である。このような場合の、制御例を図６に示す。全体の流れとしては、上述した図５の制御とほぼ同様である。

まず、図６に示されるように、遠赤外線カメラ１によって車両前方に関する物体検出を行う（ステップ６００）。検出した物体毎に、座標（ｘ１，ｙ１）と動きベクトル（Ｖｘ，Ｖｙ）と面積Ｓａとを算出する（ステップ６０５）。同様に、可視光カメラ２によって車両前方に関する物体検出を行う（ステップ６１０）。ここでは、物体が検出できなかった場合であり、ステップ６１０では物体未検出の結果が出されている。

ステップ６０５の結果の座標と、距離センサ３による検出結果（当該座標に対応する物体までの距離ｄと、当該座標に対応する物体が歩行者である確率ζ［ここではζ＝８０％］）とから、歩行者判定処理を行い、遠赤外線カメラ１による歩行者確率（歩行者特定認識率）αを算出する（ステップ６２５）。ここでは、α＝９０％として算出されており、ある特定の物体が歩行者である確率が９０％であると算出されている。一方、可視光カメラ２については、ステップ６１０で物体を検出できていないため、歩行者判定処理を行いった場合の可視光カメラ２による歩行者確率（歩行者特定認識率）β＝０％と算出される（ステップ６３０）。

その後、ステップ６２５での遠赤外線カメラ１による歩行者特定認識率αと、ステップ６３０での可視光カメラ２による歩行者特定認識率βとから特定歩行者判定を行い、目視困難歩行者率γを算出する（ステップ６３５）。ここでも算出式γ＝α×（α−β）を用いるが、この場合はγ＝９０％×（９０％−０％）＝８１％となる。即ち、上述した場合よりも、可視光カメラ２による認識率が低い（未認識：未検出）であるため、最終的な目視困難歩行者率γは上述した場合よりも高くなっている。本例の場合も、上述の例と同様に、運転者（ドライバー８）に対して特定歩行者（目視困難歩行者）として告知が行われることになる（ステップ６４０）。

さらに次の例では、可視光カメラ２でも物体（歩行者）を十分に検出できる場合について説明する。例えば、図２の右手前の歩行者のような場合である。このような場合の、制御例を図７に示す。まず、図７に示されるように、遠赤外線カメラ１によって車両前方に関する物体検出を行う（ステップ７００）。検出した物体毎に、座標（ｘ１，ｙ１）と動きベクトル（Ｖｘ，Ｖｙ）と面積Ｓａとを算出する（ステップ７０５）。同様に、可視光カメラ２によって車両前方に関する物体検出を行う（ステップ７１０）。検出した物体毎に、座標（ｘ２，ｙ２）と動きベクトル（Ｗｘ，Ｗｙ）と面積Ｓｂとを算出する（ステップ５１５）。

ステップ７０５の結果の座標と、距離センサ３による検出結果（当該座標に対応する物体までの距離ｄと、当該座標に対応する物体が歩行者である確率ζ［ここではζ＝８０％］）とから、歩行者判定処理を行い、遠赤外線カメラ１による歩行者確率（歩行者特定認識率）αを算出する（ステップ７２５）。ここでは、α＝９０％として算出されており、ある特定の物体が歩行者である確率が９０％であると算出されている。

同様に、ステップ７１５の結果の座標と、距離センサ３による検出結果（当該座標に対応する物体までの距離ｄと、当該座標に対応する物体が歩行者である確率ζ［ここではζ＝８０％］）とから、歩行者判定処理を行い、可視光カメラ２による歩行者確率（歩行者特定認識率）βを算出する（ステップ７３０）。ここでは、β＝８０％として算出されており、ある特定の物体が歩行者である確率が８０％であると算出されている。即ち、可視光カメラ２（即ち、運転者の目視）でも、その物体を歩行者としては十分認識している状況である。

その後、ステップ７２５での遠赤外線カメラ１による歩行者特定認識率αと、ステップ５３０での可視光カメラ２による歩行者特定認識率βとから特定歩行者判定を行い、目視困難歩行者率γを算出する（ステップ７３５）。ここでも算出式γ＝α×（α−β）を用いるが、この場合はγ＝９０％×（９０％−８０％）＝９％となる。即ち、可視光カメラ２による認識率が高いため、最終的な目視困難歩行者率γは低く、運転者によって歩行者は目視されているであろうと判断される。本例の場合は、運転者（ドライバー８）に対して特定歩行者（目視困難歩行者）としての告知は行われない（ステップ７４０）。

このように、運転者が十分に目視していると思われる歩行者に関しては、不要な情報としてディスプレイによる告知は行われず、目視されていないと思われる（目視困難な）歩行者のみが告知されることによって、告知すべき歩行者のみに関する情報を運転者に告知することができる。歩行者が多い道を走っている場合や、手前に目視可能な歩行者が多く、かつ、奥に目視困難な歩行者がいるような場合は、このような告知方法は非常に有効である。

また、上述したように、本実施形態の認識装置は、車線認識システム５やナビゲーションシステム６とも接続されている。車線認識システムの車線情報やナビゲーションシステム６の地図情報などを参照して、検出した歩行者が道路に近いかどうかや、道路に対して移動しているかどうかを判定し、各歩行者との相対距離と合わせて各歩行者毎に危険度を算出してもよい。そして、この危険度に基づいて、各歩行者毎にラベリング（危険度のランク付）を行ってもよい。

そして、車両に対して衝突する可能性の高い（危険度の高い）歩行者ほど強調して告知されるようにすることが好ましい。例えば、危険度の低い歩行者はディスプレイ上で緑の枠で表示するなどし、危険度が高くなるにつれて、オレンジ色、赤色に枠の色を変えるなどすればよい。また、ブザーを併用するときは、ブザーの音色や大きさを変えることで、危険度の大きな歩行者が存在するか否かなどが告知できるようであるとなお良い。

なお、本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、距離センサを併用したが、距離センサではなく近赤外線カメラで同等のことを行うこともできる。あるいは、遠赤外線カメラや可視光カメラをステレオカメラとして装備し、それらの視差によって距離を得ることもでき、この距離データを利用しても良い。

本発明の歩行者認識装置の一実施形態の構成図である。可視光カメラによる検出例である。遠赤外線カメラによる検出例である。距離センサによる検出例である。歩行者認識制御の第一例を示すフローチャートである。歩行者認識制御の第二例を示すフローチャートである。歩行者認識制御の第三例を示すフローチャートである。

符号の説明

１…遠赤外線カメラ、２…可視光カメラ、３…距離センサ、４…判定処理ＥＣＵ、５…車線認識システム、６…ナビゲーションシステム、７…ディスプレイ（スピーカ）、８…ドライバー。

Claims

車両に搭載された可視光カメラと遠赤外線カメラとの撮像結果を用いて前記車両前方の歩行者を認識する歩行者認識装置であって、
前記遠赤外線カメラの撮像結果に基づく歩行者特定認識率が高く、かつ、前記可視光カメラによる歩行者特定認識率が低い歩行者を車両乗員に告知するディスプレイを備えたことを特徴とする歩行者認識装置。
前記遠赤外線カメラの撮像結果に基づく歩行者特定認識率と、前記可視光カメラによる歩行者特定認識率とに基づいて、前記車両乗員が目視しにくいと思われる目視困難歩行者が前記ディスプレイによって告知されることを特徴とする請求項１に記載の歩行者認識装置。
前記遠赤外線カメラの撮像結果に基づく歩行者特定認識率と、前記可視光カメラによる歩行者特定認識率とに基づいて、各カメラで認識された歩行者に関してそれぞれ目視困難歩行者率が算出され、該目視困難歩行者率が所定値以上である場合に、該歩行者を前記ディスプレイ上に目視困難歩行者として表示することを特徴とする請求項２に記載の歩行者認識装置。
前記遠赤外線カメラ及び前記可視光カメラに加えて、前記車両前方の物体との距離及び該物体の大きさを測定可能な距離センサを備えており、目視困難歩行者率の算出に前記距離センサの検出結果も利用することを特徴とする請求項３に記載の歩行者認識装置。