JP6812997B2 - 検出装置及び検出方法 - Google Patents

Description

本開示は、路面上に存在する高低差を検出する検出装置及び検出方法に関する。

特許文献１は、路面上に存在する段差を検出する段差検出装置を開示している。段差検出装置は、レーザレーダと、レーザレーダから段差検出位置までの距離が異なる２つの位置関係で取得した測距データに基づいて段差検出位置の高さを測定するマイクロコンピュータと、を備える。段差検出装置は、測定した高さの差分が閾値より大きい場合は、反射体が存在すると判断して、反射体による虚像の高さを除外して、段差を検出している。これにより、反射体が路面上に存在する場合に、段差が誤検出されることを防止している。

特許文献２は、障害物を検知する障害物検知装置を開示している。障害物検知装置は、パルス波を送信して障害物からの反射波を受信する送受信部と、反射波に応じた受信信号の振幅の極大点の個数を検出するマイコンとを備える。障害物検知装置は、極大点の個数に基づいて、障害物の高さが送受信部より高いか否かを判定している。このとき、障害物検知装置は、送波の開始時と受信信号の検出時との時間差に基づいて障害物までの距離を計測し、計測した距離に基づいて、検出した極大点が正しいか否かを判別している。

特開２０１８−２１７８８号公報 特開２０１５−１６６７０５号公報

特許文献１では、測距データに基づいて高さを算出しているため、測距データが正しくない場合は精度良く高さを算出することができない。特許文献２では、計測した距離に基づいて極大点の検出が正しいか否かを判定しているため、計測した距離が正しくない場合は障害物の高さ判定を精度良く行うことができない。このように、特許文献１及び特許文献２のような従来技術では、距離を正確に計測できない場合は高さ判定に誤りが生じるという問題があった。よって、従来技術では、例えば、距離を正確に計測できないほどの小さな高低差の有無を精度良く検出することができなかった。

本開示の目的は、高低差の有無を精度良く検出する検出装置及び検出方法を提供することにある。

本開示に係る検出装置は、光を投光する投光部と、所定角度領域から入射する光を受光する受光部と、所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出する制御部と、を備え、制御部は、受光波形の歪みに基づいて所定角度領域内の高低差の有無を検出する。

本開示に係る検出方法は、投光部により光を投光するステップと、所定角度領域から入射する光を受光部で受光するステップと、制御部により、所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出するステップと、制御部により、受光波形の歪みに基づいて所定角度領域内の高低差の有無を検出するステップと、を含む。

本開示に係る検出装置及び検出方法によると、高低差の有無を精度良く検出することができる。例えば、１画素の垂直画角に収まるサイズの小さな障害物の有無を検出することができる。

本開示に係る検出装置の適用例を説明するための図 実施形態１，２に係る検出装置の構成を例示するブロック図 センサによる走査を説明するための図 車両から近い道路上に障害物があるときの距離画像の一例を示す図 車両から遠い道路上に障害物があるときの距離画像の一例を示す図 １画素分の垂直画角の範囲内に障害物がない場合のセンサから路面への投光の一例を模式的に示す図 図５Ａにおける１画素分の受光波形の一例を示す図 １画素分の垂直画角の範囲内に障害物がある場合のセンサから障害物及び路面への投光の一例を模式的に示す図 図６Ａにおける１画素分の受光波形の一例を示す図 比較する隣接画素を説明するための図 水平方向に隣接する画素の受光波形の比較を説明するための図 受光波形の差分と閾値の比較を説明するための図 検出装置による距離画像生成処理の一例を示すフローチャート 検出装置による波形解析処理の一例を示すフローチャート 検出装置による障害物判定処理の一例を示すフローチャート 隣の画素に対して閾値以上の差分が生じた画素の一例を模式的に示す図 境界部の画素から特定された障害物が存在する画素の一例を模式的に示す図 実施形態２に係るニューラルネットワークを模式的に示す図 実施形態２に係る波形解析処理の一例を示すフローチャート 実施形態３に係る検出装置の構成を例示するブロック図

以下、添付の図面を参照して本開示に係る検出装置及び検出方法の実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

（適用例）
本開示に係る検出装置が適用可能な一例について、図１を用いて説明する。図１は、本開示に係る検出装置１００の適用例を説明するための図である。

本開示に係る検出装置１００は、例えば車載用途に適用可能である。図１に示す一例において、検出装置１００は車両２００に搭載される。本実施形態の検出装置１００は、ＬＩＤＡＲ（Light Detection and Ranging、あるいは、Laser Imaging Detection and Ranging）装置である。検出装置１００は、例えば、車両２００の進行方向にある検出対象までの距離及び方位を検出する。検出対象は、例えば、道路の路面、及び道路上の段差を形成する障害物３００である。障害物３００は、例えば、縁石、落下物である。具体的には、検出装置１００は、車両２００の進行方向に向けて光を投光し、検出対象によって反射された反射光を受光する。検出装置１００は、投光から受光までの時間差に基づいて、車両の進行方向にある検出対象までの距離を計測し、計測した距離に基づく距離画像（フレーム画像とも称する）を生成する。検出装置１００は、例えば、道路上の障害物３００までの距離及び方位などを示す情報（例えば、距離画像）を車両駆動装置２１０に出力する。

車両２００は、例えば、自動運転車であり、自動運転を行うための車両駆動装置２１０を備える。車両駆動装置２１０は、例えば、道路上の障害物３００を回避して進行方向を設定して車両２００を駆動する操舵機構を含む。検出装置１００によって障害物３００を検出することによって、車両駆動装置２１０は、障害物３００を回避しながら自動運転を行うことができる。

本開示の検出装置１００は、車両２００から遠く離れた位置にある障害物を精度良く検出することを目的とする。具体的には、本開示の検出装置１００は、距離画像の１画素に収まる程度の小さな高低差の有無を検出する。

（構成例）
以下、検出装置１００の構成例としての実施形態を説明する。

（実施形態１）
実施形態１に係る検出装置１００の構成と動作を以下に説明する。

１．構成
本実施形態に係る検出装置１００の構成について、図２及び図３を用いて説明する。図２は、検出装置１００の構成を例示するブロック図である。図３は、センサ１０による走査を説明するための図である。

検出装置１００は、センサ１０、制御部２０、及び記憶部３０を備える。

センサ１０は、光を外部に投光する投光部１１と、外部から光を受光する受光部１２と、走査部１３と、を含む。

投光部１１は、制御部２０の制御に従って、光の光束を外部に出射する。投光部１１は、例えば、１つ以上の光源素子で構成された光源と、光源をパルス駆動する光源駆動回路とを含む。光源素子は、例えば、レーザ光を発光するＬＤ（半導体レーザ）である。光源素子は、ＬＥＤ等であってもよい。光源素子は、例えば、図３に示す垂直方向Ｙにおいて一列のアレイ状に配置され、投光部１１は投光領域Ｒ１１に向けて光を投光する。

受光部１２は、複数の受光素子を備える。受光素子は、光を受光すると、受光した光量すなわち受光量に応じた受光信号を生成する。複数の受光素子は、例えば、垂直方向Ｙに沿って一列のアレイ状に配置される。各受光素子は、例えば距離画像の１画素に対応し、１画素の垂直画角に応じた範囲（所定角度領域の一例）から入射する光を別々に受光する。すなわち、受光部１２は、距離画像の垂直方向Ｙに並んだ複数の画素に対応する受光領域を有し、画素毎に受光信号を生成する。受光素子は、例えばＳＰＡＤ（単一光子アバランシェフォトダイオード）で構成される。受光素子は、ＰＤ（フォトダイオード）又はＡＰＤ（アバランシェフォトダイオード）で構成されてもよい。

走査部１３は、例えば、ミラーと、垂直方向Ｙに沿った回転軸の周りにミラーを回転させる回転機構と、回転機構を駆動する走査駆動回路と、を含む。走査駆動回路は、制御部２０の制御により、ミラーを回転駆動する。これにより、走査部１３は、投光する方向を一定時間ごとに少しずつ変化させて、光が進行する光路を少しずつ移動させる。本実施形態では、図３に示すように、走査方向は水平方向Ｘである。走査部１３は、投光領域Ｒ１１を水平方向Ｘにおいてシフトさせる。

制御部２０は、半導体素子などで実現可能である。制御部２０は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。制御部２０の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２０は、記憶部３０に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。

制御部２０は、機能的構成として、距離画像生成部２１と障害物検出部２２とを含む。

距離画像生成部２１は、距離画像の画角に対応した投影面Ｒ１を、水平方向Ｘに走査しながら測距を行い、距離画像を生成する。距離画像の分解能すなわち画素毎の画角は、例えば、水平方向Ｘにおいて１．０度〜１．６度であり、垂直方向Ｙにおいて０．３度〜１．２度である。距離画像は、水平方向Ｘ及び垂直方向Ｙに並んだ画素毎に、奥行き方向Ｚの距離を示す。投影面Ｒ１の走査を繰り返すことにより、所望のフレームレートで距離画像を順次、生成することができる。距離画像生成部２１は、例えば、生成した距離画像を車両駆動装置２１０に出力する。

距離画像生成部２１は、投光部１１による投光のタイミングを制御する。距離画像生成部２１は、受光波形生成部２１ａと距離算出部２１ｂとを含む。受光波形生成部２１ａは、投光のタイミングと受光部１２から得られる受光信号とに基づいて、投光してからの経過時間に応じた受光量を示す受光波形のデータを画素毎に生成する。

距離算出部２１ｂは、受光波形に基づいて画素毎に距離を算出する。例えば、距離算出部２１ｂは、投光部１１から投光された光が反射されて受光部１２によって受光されるまでの光の飛行時間を受光波形に基づいて計測する。距離算出部２１ｂは、計測した飛行時間から、光を反射した検出対象（例えば、路面及び障害物）までの距離を算出する。距離算出部２１ｂは、画素毎に測定した距離に基づいて、距離画像を生成する。

障害物検出部２２は、受光波形の歪みに基づいて、各画素内における高低差の有無、例えば障害物の有無を検出する。障害物検出部２２は、波形解析部２２ａと障害物判定部２２ｂとを含む。

波形解析部２２ａは、受光波形生成部２１ａが生成した受光波形を画素毎に解析する。具体的には、本実施形態では、波形解析部２２ａは、水平方向Ｘに隣接する画素の受光波形の差分（受光波形の歪みの一例）を閾値と比較して、差分が障害物と路面との境界部であることを示しているか否かを判定する。「受光波形の差分」とは、時間に応じた受光量の差分のことをいう。

障害物判定部２２ｂは、波形解析部２２ａの解析結果に基づいて、距離画像を構成する各画素が障害物を含むか否かの判定を行う。例えば、波形解析部２２ａの解析結果において、境界部に相当する画素があれば、障害物があると判定して、その境界部に基づいて障害物を含む画素を特定する。障害物判定部２２ｂは、障害物があると判定したときは、判定結果に基づく情報を車両駆動装置２１０に出力する。例えば、障害物があると判定したときは、障害物判定部２２ｂは、障害物を含む画素に基づいて障害物の位置又は方位を特定し、障害物の位置又は方位を示す情報を車両駆動装置２１０に出力する。

記憶部３０は、検出装置１００の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３０は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。記憶部３０は、各種情報を一時的に記憶してもよい。記憶部３０は、例えば、制御部２０の作業エリアとして機能するように構成されてもよい。

検出装置１００は、さらに、所定の通信規格に準拠して外部機器との通信を行う回路を含む通信部を備えてもよい。所定の通信規格は、例えば、ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、及びＨＤＭＩ（登録商標）を含む。

２．動作
以上のように構成される検出装置１００の動作について、以下説明する。

２−１．距離計測と受光波形の比較の概要
図４Ａは、センサ１０から近い位置の道路１上に障害物２があるときの距離画像Ｖ１の一例を示している。図４Ａに示す障害物２の垂直方向Ｙの大きさは、１画素の垂直画角に対応する長さｄｙを越える。画素Ｐ１に対応する範囲において、障害物２はその高さ分だけ、道路１よりもセンサ１０の近くに位置する。障害物２の材質や向きにもよるが、例えば、障害物２が有る画素Ｐ１について測定される光の飛行時間は、障害物２が無い画素Ｐ２について測定される光の飛行時間よりも短い。この場合、画素Ｐ１における光の飛行時間を計測することで、障害物２までの距離を算出することができる。これにより、距離画像Ｖ１において障害物２が表れる。

図４Ｂは、センサ１０から遠い位置の道路１上に障害物３があるときの距離画像Ｖ２の一例を示している。図４Ｂに示す障害物３の垂直方向Ｙの大きさは、１画素の垂直画角に対応する長さｄｙよりも小さい。この場合、距離画像Ｖ２に障害物３が表れない（図４Ｂにおいて破線で示す障害物３は距離画像Ｖ２に表れないことを意味している）場合がある。具体的には、例えば、障害物３が有る画素Ｐ４について測定される光の飛行時間が、障害物３が無い画素Ｐ３について測定される光の飛行時間と同じになる場合がある。この場合、画素Ｐ４における光の飛行時間に基づいて、道路１の路面までの距離が計測され、障害物３があることが検出されない。図５Ａ及び図５Ｂを参照して、垂直方向Ｙの大きさが１画素の垂直画角に対応する長さｄｙよりも小さい障害物３が距離画像Ｖ２に表れない理由についてより詳細に説明する。

図５Ａは、１画素分の垂直画角θの範囲（所定角度領域の一例）内に障害物がない場合（図４Ｂの画素Ｐ３に対応する領域）のセンサ１０から路面への投光の一例を模式的に示している。図５Ｂは、図５Ａに対応する画素Ｐ３における受光波形の一例を示している。図５Ｂの横軸は、時間であり、縦軸は受光量である。図５Ｂは、画素Ｐ３に対応する領域に光を投光してからの経過時間に応じた受光量を示している。図５Ａにおいては障害物が路面上に存在しないため、画素Ｐ３に対応する領域における、センサ１０から路面までの最短の距離ｄｚ１において受光量は最大となる（時間ｔ１）。

図６Ａは、１画素分の垂直画角θの範囲（所定角度領域の一例）内に障害物３がある場合（図４Ｂの画素Ｐ４に対応する領域）のセンサ１０から障害物及び路面への投光の一例を模式的に示している。図６Ｂは、図６Ａに対応する画素Ｐ４における受光波形の一例を示している。図６Ｂの横軸は、時間であり、縦軸は受光量である。図６Ｂは、画素Ｐ４に対応する領域に光を投光してからの経過時間に応じた受光量を示している。図６Ａに示す画素Ｐ４は、図５Ａに示す画素Ｐ３と同一の水平ラインにある。図６Ａにおいては、障害物３が路面上に存在する。しかし、障害物３の大きさは、１画素分の垂直画角θの範囲よりも小さい。この場合、図６Ｂに示す例において、受光量は、障害物３がない場合（図５Ｂ）と同一の時間ｔ１において最大となる。すなわち、障害物３から反射された光の受光量よりも、画素Ｐ４に対応する領域内において、センサ１０から最短の距離ｄｚ１にある路面から反射された受光量が大きくなる。距離の算出方法には各種の方法があるが、例えば、受光量が最大となる時間ｔ１に基づいて距離を算出すると、障害物３がない場合と同一の距離値が得られることになる。すなわち、画素Ｐ４に対応する距離値は、センサ１０から路面までの距離値となる。よって、画素Ｐ４の範囲内にある障害物３が検出されず、障害物３が距離画像に表れない。１画素分の垂直画角θに対応する領域は、センサ１０に近いほど狭く、センサ１０から遠いほど広くなる。よって、センサ１０から遠くにある障害物ほど、１画素分の垂直画角θの範囲内に収まりやすい。そのため、センサ１０の遠方にある障害物は検出されにくい。

本開示の検出装置１００は、このような１画素分の垂直画角θの範囲内に収まるような小さな障害物を検出することを目的とする。図５Ｂ及び図６Ｂに示すように、障害物３がある場合とない場合とでは受光波形の形状が異なる。よって、本実施形態の検出装置１００は、水平方向Ｘにおいて隣接する２つの画素の受光波形を比較する。図７は、比較する隣接画素を説明するための図である。検出装置１００は、例えば、画素Ｐ１１と画素Ｐ１２、画素Ｐ１２と画素Ｐ１３、画素Ｐ１３と画素Ｐ１４・・・などのように、水平方向Ｘにおいて隣り合う画素の受光波形を比較する。より具体的には、例えば、画素Ｐ１１，Ｐ１２の受光波形の比較において、画素Ｐ１２の受光波形が画素Ｐ１１の受光波形に対して差があるか否かを判定し、差がある場合に、画素Ｐ１１と画素Ｐ１２が、それぞれ、路面と障害物との境界部（障害物が無い画素と有る画素）に相当すると判断する。

図８Ａは、画素Ｐ１１に対応する受光波形Ｗ１１と、画素Ｐ１１に隣接する画素Ｐ１２に対応する受光波形Ｗ１２とを比較した例を示している。図８Ｂは、受光波形Ｗ１１，Ｗ１２の差分の絶対値を示す波形を例示している。

図５Ｂ，図６Ｂ，及び図８Ａに示すように、１画素分の垂直画角θの範囲内に収まる小さな障害物３であっても、障害物３が有る場合と無い場合とで波形の形状が異なる。よって、本実施形態では、この波形の形状の違いに基づいて、障害物３が画素に含まれるか否かを判定する。具体的には、図８Ｂに示すように、受光波形の差分の絶対値が所定の閾値以上のときは、隣接する画素が境界部を示していると判断する。例えば、投光してからの同一の経過時間毎に受光量の差を算出し、閾値以上となる差があるか否かを判断する。

ここで、差分値の正負は、光の反射率に応じて変わる。光の反射率は材質によって変わるため、例えば、障害物３が白色であれば反射率は道路１の反射率よりも高く、障害物３が黒色であれば反射率は道路１の反射率よりも低くなる。障害物３が道路１よりも反射率の高い材料を含む場合は、障害物３から反射される受光量は水平方向Ｘにおいて同じ位置にある道路１から反射される受光量よりも多くなる。この場合に、障害物３を含む画素Ｐ１２の受光量から道路１のみの画素Ｐ１１の受光量を引いた場合の差分値は正となり、道路１のみの画素Ｐ１６の受光量から障害物３を含む画素Ｐ１５の受光量を引いた場合の差分値は負となる。図５Ｂ，図６Ｂ，及び図８Ａでは、障害物３が道路１よりも反射率の高い材料を含む場合を例示している。一方、障害物３が道路１よりも反射率の低い材料を含む場合は、障害物３から反射される受光量は水平方向Ｘにおいて同じ位置にある道路１から反射される受光量よりも少なくなる。この場合は、障害物３を含む画素Ｐ１２の受光量から道路１のみの画素Ｐ１１の受光量を引いた場合の差分値は負となり、道路１のみの画素Ｐ１６の受光量から障害物３を含む画素Ｐ１５の受光量を引いた場合の差分値は正となる。図８Ｂに示すように、受光波形の差分の絶対値を所定の閾値と比較することで、障害物３と道路１の境界部を特定することができる。

２−２．距離画像生成部の動作
距離画像生成部２１の受光波形生成部２１ａと距離算出部２１ｂの動作について説明する。図９は、距離画像生成部２１の動作を例示するフローチャートである。距離画像生成部２１は、投光部１１に所定の投光タイミングで光を投光させる（Ｓ１０１）。受光波形生成部２１ａは、受光部１２から受光量に応じた受光信号を取得する（Ｓ１０２）。受光波形生成部２１ａは、投光タイミングと受光信号とに基づいて、光を投光してからの経過時間に基づく受光量を示す受光波形のデータを生成する（Ｓ１０３）。距離算出部２１ｂは、受光波形に基づいて、光の飛行時間に対応する距離を算出する（Ｓ１０４）。例えば、距離算出部２１ｂは、受光量が最も多い時間に基づいて距離を算出する。ステップＳ１０３の受光波形の生成と、ステップＳ１０４の距離の算出は画素毎に行う。距離画像生成部２１は、１列分の画素の距離の算出が完了したか否かを判断し（Ｓ１０５）、未だであれば受光波形の生成と距離の算出を繰り返す。１列分の画素の距離の算出が完了すると、距離画像生成部２１は、走査部１３を制御して、投光領域Ｒ１１を走査方向である水平方向Ｘにシフトさせて（Ｓ１０６）、ステップＳ１０１に戻る。１フレーム分の距離が算出されると、距離画像生成部２１は算出した画素毎の距離に基づいて、１フレーム分の距離画像（フレーム画像）を生成する。

２−３．障害物検出部の動作
図１０〜図１２Ｂを参照して、障害物検出部２２の波形解析部２２ａと障害物判定部２２ｂの動作について説明する。図１０は、波形解析部２２ａの動作を例示するフローチャートである。図１１は、障害物判定部２２ｂの動作を例示するフローチャートである。図１２Ａは、隣の画素に対して閾値以上の差分が生じた画素の一例をハッチングにより模式的に示している。図１２Ｂは、差分が生じた画素Ｐ１２，Ｐ１６に基づいて特定された障害物３の領域をハッチングにより模式的に示している。

図１０は、１フレーム分の動作について示している。波形解析部２２ａは、受光波形生成部２１ａから受光波形のデータを取得する（Ｓ２０１）。波形解析部２２ａは、水平方向Ｘにおいて隣接する画素の受光波形の差分を算出する（Ｓ２０２）。波形解析部２２ａは、差分の絶対値が閾値以上か否かを判断する（Ｓ２０３）。差分の絶対値が閾値以上であれば、波形解析部２２ａは隣接する画素がそれぞれ路面と障害物の境界部であると判定する（Ｓ２０４）。差分の絶対値が閾値未満であれば、波形解析部２２ａは、隣接する画素が境界部ではないと判定する（Ｓ２０５）。波形解析部２２ａは、フレーム内の全画素の解析が完了したか否かを判断する（Ｓ２０６）。波形解析部２２ａは、フレーム内の全画素の解析が完了していなければ、ステップＳ２０１に戻る。

図１１に示す動作は、図１０に示す波形解析部２２ａの動作の後に行われる。障害物判定部２２ｂは、波形解析部２２ａによる解析結果において、フレーム内に境界部として判定された画素があるか否かを判断する（Ｓ３０１）。境界部として判定された画素があれば、その境界部に基づいて、障害物の領域を特定する（Ｓ３０２）。境界部として判定された画素が一つもなければ、フレーム内に障害物がないと判定する（Ｓ３０３）。障害物判定部２２ｂは、判定結果を出力する。例えば、障害物がある場合は、障害物であると特定した画素の座標に基づいて、その位置又は方位を示す情報を車両駆動装置２１０に出力する。

図１２Ａに示す画素Ｐ１２のハッチングは、画素Ｐ１２の受光波形が画素Ｐ１１の受光波形に対して差が生じたことを示している。図７及び図１２Ａの例では、隣接する画素Ｐ１１，Ｐ１２の受光波形の差分が閾値以上であるため、ステップＳ２０４において、画素Ｐ１１と画素Ｐ１２が、それぞれ路面と障害物の境界部、すなわち、障害物が無い画素と有る画素に相当すると判定される。図１２Ａに示す画素Ｐ１６のハッチングは、画素Ｐ１６の受光波形が画素Ｐ１５の受光波形に対して差が生じたことを示している。隣接する画素Ｐ１５，Ｐ１６の受光波形の差分が閾値以上であるため、ステップＳ２０４において、画素Ｐ１５と画素Ｐ１６が、それぞれ障害物と路面の境界部、すなわち、障害物が有る画素と無い画素に相当すると判定される。ステップＳ３０２においては、例えば、隣の画素との差分が生じた画素Ｐ１２，Ｐ１６に基づいて、図１２Ｂに示すように、画素Ｐ１２から画素Ｐ１５までが障害物３が存在する領域であると特定される。

３．まとめ
本実施形態に係る検出装置１００は、投光部１１と、受光部１２と、走査部１３とを備える。投光部１１は、光を投光する。受光部１２は、所定角度領域から入射する光を受光する。制御部２０は、所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出する。また、制御部２０は、受光波形の歪みに基づいて所定角度領域内の高低差の有無を検出する。受光部１２は、複数の画素に対応した複数の所定角度領域から入射する光を別々に受光する。所定角度領域は１画素分の垂直画角θに対応する範囲である。制御部２０は、画素毎の受光波形に基づいて、画素毎に距離を算出する。制御部２０は、受光波形の歪みに基づいて、画素毎に高低差の有無を検出する。本実施形態において、受光波形の歪みは、水平方向に隣接する画素の受光波形の差分である。

上述したように、高低差のある障害物が１画素の垂直画角の範囲内に収まるほど小さい場合は、障害物の距離が正しく計測されないことがある。すなわち、垂直方向Ｙにおいて１画素よりも小さな障害物は、距離画像に表れないことがある。しかし、本実施形態の検出装置１００は、画素毎の受光波形の差分に基づいて、高低差のある画素、例えば、路面と障害物との境界部を検出している。よって、１画素の垂直画角θの範囲内に収まるほど小さな障害物であっても検出することができる。

本実施形態では、検出装置１００は車両２００に搭載され、高低差の有無として、道路上の段差を形成する障害物の有無を検出する。これにより、例えば、車両２００から遠く離れた障害物であっても精度良く検出することができる。

（実施形態１の変形例）
隣接画素の受光波形の差分を算出することに代えて、異なる２つのフレーム画像内において同一位置にある画素の受光波形の差分を算出してもよい。例えば、１つ前のフレーム画像と現フレーム画像とにおいて同一位置（座標）にある画素の受光波形の差分を算出してもよい。例えば、道路であれば、異なるフレーム画像内であっても同じ位置の画素であれば同じような形状の受光波形となる。よって、異なるフレーム画像内の画素の受光波形を比較することで、受光波形の差分から障害物の有無を検出することができる。

（実施形態２）
実施形態１では、受光波形の差分を閾値と比較することによって、境界部か否かを判定した。実施形態２では、機械学習を利用して、受光波形の差分が境界部を示しているか否かを判定する。本実施形態では、例えば、深層学習を利用する。

図１３は、ニューラルネットワークの一例を模式的に示している。本実施形態では、受光波形の差分が境界部を示しているか否かを検出する境界部検出ネットワークを、深層学習に用いられる多層構造のニューラルネットワークによって構築する。境界部検出ネットワーク（ニューラルネットワーク）は、入力から順に、入力層である第１全結合層Ｌ１、中間層である第２全結合層Ｌ２、及び出力層Ｌ３を含む。なお、図１３の例では、中間層としての第２全結合層Ｌ２は１層であるが、２層以上の中間層を含んでもよい。

各層Ｌ１〜Ｌ３は、複数のノードを備えている。例えば、入力層である第１全結合層Ｌ１のノードＩＮ１，ＩＮ２，ＩＮ３・・・・には、１画素分の投光してからの経過時間に応じた受光量が入力される。第２全結合層Ｌ２のノードの数は実施形態に応じて適宜設定することができる。出力層Ｌ３のノードＯＵＴ１，ＯＵＴ２からは、障害物と路面との境界部であるか否かの結果が出力される。

境界部判定ネットワークは、境界部を示す受光波形の差分データと、境界部を示さない受光波形の差分データとによって、学習される。学習済みの境界部判定ネットワークは、例えば、記憶部３０に格納される。波形解析部２２ａは、この境界部判定ネットワークを使用して、受光波形の差分が境界部を示しているか否かを判定する。

図１４は、実施形態２における波形解析部２２ａの動作を示すフローチャートである。図１４において、ステップＳ４０１，Ｓ４０２，Ｓ４０４は、実施形態１のステップＳ２０１，Ｓ２０２，Ｓ２０６と同一である。本実施形態では、波形解析部２２ａは、隣接画素の受光波形の差分を学習済みの境界部判定ネットワーク（ニューラルネットワーク）に入力して境界部か否かの判定結果を取得する（Ｓ４０３）。

本実施形態においても、実施形態１と同様に、１画素の垂直画角に収まる小さな障害物の有無を検出することができる。

（実施形態２の変形例）
なお、受光波形の差分をニューラルネットワークに学習させることに代えて、例えば、障害物を含む画素の受光波形と路面の画素の受光波形とを使用した学習によって、図１３に示すようなニューラルネットワークで構成される障害物判定ネットワークを構築してもよい。この場合、例えば、ステップＳ２０１で取得した画素毎の受光波形を１画素分ずつ障害物判定ネットワーク（ニューラルネットワーク）に入力することによって、画素毎に障害物か否かの判定結果を取得できる。障害物検出部２２は、例えば、障害物であると判定された画素の座標に基づいて、障害物の位置又は方位を示す情報を車両駆動装置２１０に出力してもよい。このように、制御部２０は、障害物と路面などのような高低差の有無を学習したニューラルネットワークを使用して、画素毎に高低差の有無を検出してもよい。

（実施形態３）
実施形態１及び実施形態２では、障害物検出部２２が受光波形の歪みに基づいて、画素内に障害物が含まれるか否かを判定した。実施形態３では、受光波形の歪みに加えて、距離値を利用して、障害物か否かを判定する。

図１５は、実施形態３に係る検出装置１００の構成を例示するブロック図である。本実施形態では、障害物判定部２２ｂは、波形解析部２２ａによる境界部の判定結果と、距離算出部２１ｂによって算出された距離値とに基づいて、画素に障害物が含まれているか否かを判定する。例えば、境界部として判定された画素とその周辺の画素の距離値を参照して、境界部の判定が正しいか否かを検証してもよい。これにより、１画素の垂直画角に収まる小さな障害物の有無をより精度良く検出することができる。

（他の実施形態）
上記実施形態では、水平方向Ｘに走査する例について説明したが、走査部１３は垂直方向Ｙにおいて投光する方向を変化させる機構等を備え、垂直方向Ｙに走査してもよい。また、上記実施形態では、走査部１３を備える例について説明したが、走査部１３は、適宜、省略されてもよい。例えば、投光部１１の光源素子と受光部１２の受光素子とが２次元アレイ状に配置される場合、走査部１３を用いずに、実施形態１と同様の測距を実行することができる。

上記実施形態では、検出装置１００が、複数の画素に対応する投影面Ｒ１を走査して、各画素の距離を算出して距離画像を生成する例について説明したが、検出装置１００は、１画素分のみに対応する領域において投光と受光を行うものであってもよい。検出装置１００は、例えば、１つの光源素子と１つの受光素子を備え、上述の障害物判定ネットワークによって、１画素のみに対応する領域の受光波形からその画素内における障害物の有無を判定してもよい。

上記実施形態では、検出装置１００によって、道路上の段差を形成する縁石などの障害物を検出する例について説明したが、検出する対象は道路上にある障害物に限らない。本開示の検出装置１００によれば、高低差があるものを検出できる。例えば、道路の凹みによる段差を検出することもできる。また、上記実施形態では、検出装置１００が車両２００に搭載される例について説明したが、本開示に係る検出装置１００は、特に車載用途に限らず、種々の用途に適用可能である。例えば、検出装置１００は、工場内に設置されて、部品までの距離を測定するのに利用されてもよい。この場合、検出装置１００によって、画素内における高低差の有無を検出することによって、例えば、部品に傷があるか否かを判定することができる。

上記実施形態では、距離算出部２１ｂが距離画像を生成する例を説明した。しかし、距離算出部２１ｂは、距離画像に限らず、種々の形式で距離を示す情報を生成してもよく、例えば３次元の点群データを生成してもよい。

上記実施形態では、距離画像生成部２１が受光波形生成部２１ａを含む例について説明したが、障害物検出部２２が受光波形生成部２１ａを含んでもよい。距離画像生成部２１と障害物検出部２２がそれぞれ受光波形生成部２１ａを含んでもよい。

上記実施形態では、検出装置１００は距離算出部２１ｂを備えたが、距離算出部２１ｂはなくてもよい。例えば、検出装置１００は、センサ１０、受光波形生成部２１ａ、及び障害物検出部２２を備え、受光波形の歪みから画素内における高低差の有無を検出してもよい。

（付記）
以上のように、本開示の各種実施形態について説明したが、本開示は上記の内容に限定されるものではなく、技術的思想が実質的に同一の範囲内で種々の変更を行うことができる。以下、本開示に係る各種態様を付記する。

本開示に係る第１の態様の検出装置は、光を投光する投光部（１１）と、所定角度領域から入射する光を受光する受光部（１２）と、前記所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出する制御部（２０）と、を備え、前記制御部（２０）は、前記受光波形の歪みに基づいて前記所定角度領域内の高低差の有無を検出する。

第２の態様では、第１の態様の検出装置において、前記受光部（１２）は、複数の画素に対応した複数の所定角度領域から入射する光を別々に受光し、前記制御部（２０）は、画素毎の受光波形に基づいて、画素毎に前記距離を算出し、前記制御部（２０）は、前記受光波形の歪みに基づいて、画素毎に高低差の有無を検出する。

第３の態様では、第２の態様の検出装置において、前記受光波形の歪みは、水平方向に隣接する画素の前記受光波形の差分である。

第４の態様では、第２の態様の検出装置において、前記制御部は、高低差の有無を学習したニューラルネットワークを使用して、前記画素毎に高低差の有無を検出する。

第５の態様では、第２の態様の検出装置において、前記制御部は、前記受光波形の歪みと前記距離とに基づいて、前記画素毎に高低差の有無を検出する。

第６の態様では、第２の態様の検出装置において、前記制御部は、前記複数の画素を含むフレーム画像を前記画素毎の前記距離に応じて生成し、前記受光波形の歪みは、異なる２つのフレーム画像において同一位置にある画素の前記受光波形の差分である。

第７の態様では、第１の態様の検出装置において、前記検出装置は車両に搭載され、前記高低差の有無は道路上の段差又は障害物の有無である。

第８の態様の検出方法は、投光部（１１）により光を投光するステップ（Ｓ１０１）と、所定角度領域から入射する光を受光部（１２）で受光するステップ（Ｓ１０２）と、制御部（２０）により、前記所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出するステップ（Ｓ１０３，Ｓ１０４）と、前記制御部（２０）により、前記受光波形の歪みに基づいて前記所定角度領域内の高低差の有無を検出するステップ（Ｓ２０１〜Ｓ２０５，Ｓ３０１〜Ｓ３０３）と、を含む。

本開示の検出装置は、例えば、自動運転車、自走ロボット、及びＡＧＶ（Automated Guided Vehicle）などに適用可能である。

１０ センサ
１１ 投光部
１２ 受光部
１３ 走査部
２０ 制御部
２１ 距離画像生成部
２１ａ 受光波形生成部
２１ｂ 距離算出部
２２ 障害物検出部
２２ａ 波形解析部
２２ｂ 障害物判定部
３０ 記憶部
１００ 検出装置
２００ 車両
２１０ 車両駆動装置

Claims (7)

1. 光を投光する投光部と、
   所定角度領域から入射する光を受光する受光部と、
   前記所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出する制御部と、
   を備え、
   前記制御部は、前記受光波形の歪みに基づいて前記所定角度領域内の高低差の有無を検出し、
   前記受光部は、複数の画素に対応した複数の所定角度領域から入射する光を別々に受光し、
   前記制御部は、画素毎の受光波形に基づいて、画素毎に前記距離を算出し、
   前記制御部は、前記受光波形の歪みに基づいて、画素毎に高低差の有無を検出し、
   前記受光波形の歪みは、水平方向に隣接する画素の前記受光波形の差分である、
   検出装置。
2. 前記制御部は、高低差の有無を学習したニューラルネットワークを使用して、前記画素毎に高低差の有無を検出する、請求項１に記載の検出装置。
3. 前記制御部は、前記受光波形の歪みと前記距離とに基づいて、前記画素毎に高低差の有無を検出する、
   請求項１に記載の検出装置。
4. 光を投光する投光部と、
   所定角度領域から入射する光を受光する受光部と、
   前記所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出する制御部と、
   を備え、
   前記制御部は、前記受光波形の歪みに基づいて前記所定角度領域内の高低差の有無を検出し、
   前記受光部は、複数の画素に対応した複数の所定角度領域から入射する光を別々に受光し、
   前記制御部は、画素毎の受光波形に基づいて、画素毎に前記距離を算出し、
   前記制御部は、前記受光波形の歪みに基づいて、画素毎に高低差の有無を検出し、
   前記制御部は、前記複数の画素を含むフレーム画像を前記画素毎の前記距離に応じて生成し、
   前記受光波形の歪みは、異なる２つのフレーム画像において同一位置にある画素の前記受光波形の差分である、
   検出装置。
5. 前記検出装置は車両に搭載され、
   前記高低差の有無は道路上の段差又は障害物の有無である、
   請求項１に記載の検出装置。
6. 投光部により光を投光するステップと、
   所定角度領域から入射する光を受光部で受光するステップと、
   制御部により、前記所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出するステップと、
   前記制御部により、前記受光波形の歪みに基づいて前記所定角度領域内の高低差の有無を検出するステップと、を含み、
   前記受光するステップにおいて、前記受光部は、複数の画素に対応した複数の所定角度領域から入射する光を別々に受光し、
   前記算出するステップにおいて、前記制御部は、画素毎の受光波形に基づいて、画素毎に前記距離を算出し、
   前記検出するステップにおいて、前記制御部は、前記受光波形の歪みとして、水平方向に隣接する画素の前記受光波形の差分に基づいて、画素毎に高低差の有無を検出する、
   検出方法。
7. 投光部により光を投光するステップと、
   所定角度領域から入射する光を受光部で受光するステップと、
   制御部により、前記所定角度領域における投光してからの経過時間に応じた受光量を示す受光波形に基づいて、光の飛行時間に対応する距離を算出するステップと、
   前記制御部により、前記受光波形の歪みに基づいて前記所定角度領域内の高低差の有無を検出するステップと、を含み、
   前記受光するステップにおいて、前記受光部は、複数の画素に対応した複数の所定角度領域から入射する光を別々に受光し、
   前記算出するステップにおいて、前記制御部は、画素毎の受光波形に基づいて、画素毎に前記距離を算出して、前記複数の画素を含むフレーム画像を前記画素毎の前記距離に応じて生成し、
   前記検出するステップにおいて、前記制御部は、前記受光波形の歪みとして、異なる２つのフレーム画像において同一位置にある画素の前記受光波形の差分に基づいて、画素毎に高低差の有無を検出する、
   検出方法。

Images