JP7265027B2

JP7265027B2 - 処理装置及び点群削減方法

Info

Publication number: JP7265027B2
Application number: JP2021550512A
Authority: JP
Inventors: 昌芳黒田; 昂亮坂田
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-10-01
Filing date: 2020-09-08
Publication date: 2023-04-25
Anticipated expiration: 2040-09-08
Also published as: WO2021065371A1; US20230034208A1; US12292508B2; JPWO2021065371A1

Description

本発明は、処理装置及び点群削減方法に関する。

自動運転車を実現する上で、周囲にある物体の位置や動きを把握する必要があるが、冗長性を高めてより正確に周囲の物体を検知し認識するために、カメラやレーダに加えて物体までの距離をより正確に測定できるLidarを搭載する場合が増えてきている。

物体をより遠距離で検知し、加えてより正確に形状を認識するために、水平・垂直方向の検出間隔を狭めて分解能を高め、より多くの点群データを取得できるようにした高解像度のLidarを使用するケースが増えてきている。

しかし、高解像度化に伴って点群データ数が増加するために点群毎の処理量が増え、負荷が重くなることでリアルタイムで物体の認識処理が出来なくなるおそれがある。

特開2018-206038（特許文献1）のように距離に応じて点群データの座標点密度を所定の閾値以下にすることで点群データ量を削減する方法がある。

特開2018-206038号公報

特許文献1では、点群の座標点密度を所定の閾値以下にするために、どの部分にある点群をどのような方法で削減することで、所定の座標点密度以下にするかは記載がなく、検知対象となる物体の形状の特徴に関わらず、座標点密度の値のみに基づいて点群の削減が行われる。

本発明の目的は、物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる処理装置及び点群削減方法を提供することにある。

上記目的を達成するために、本発明の一例である処理装置は、物体の点群のデータを記憶する記憶装置と、前記点群を構成する第1の点の前記点群を取得する装置からの距離と、前記第1の点の隣にあって前記点群を構成する第2の点の前記点群を取得する装置からの距離との差が第1閾値より小さい場合、前記点群のデータから前記第2の点のデータを削減するプロセッサと、を備える処理装置であって、前記プロセッサは、前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいかを判定し、前記第2の点の距離と前記第1の点の距離との差分を示す第1の距離変化量の符号と、前記第2の点の隣にあって前記点群を構成する第3の点の前記点群を取得する装置からの距離と前記第2の点の距離との差分を示す第2の距離変化量の符号が同じかを判定し、前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいと判定され、かつ前記第1の距離変化量の符号と前記第2の距離変化量の符号が同じと判定された場合、前記第2の点のデータを削減し、前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいと判定され、かつ前記第1の距離変化量の符号と前記第2の距離変化量の符号が異なると判定された場合、前記第2の点のデータを削減せずに残す。

本発明によれば、物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

点群データ削減処理の実施の形態を示すブロック図である。距離による車両への点群の当たり方の説明図である（低解像度）。距離による車両への点群の当たり方の説明図である（高解像度）。照射されたレーザ光が車両に当たる場所の説明図である。各点群の距離と距離差の表である。各点群間の距離の変化と残す点群の表である。削減する点群と残る点群の場所の説明図である。一部が突起状になっている場合の点群の場所の説明図である。一部が突起状になっている場合の各点群間の距離の変化と残す点群の表である。位置に応じた、走査に伴う距離の増減の説明図である。一部が凹んでいる場合の点群の場所の説明図である。一部が凹んでいる場合の各点群間の距離の変化と残す点群の表である。距離の変化が小さい場合の各点群間の距離の変化と残す点群の表である。緩く湾曲している場合の点群の場所の説明図である。一定間隔で点群を残す場合の各点群間の距離の変化と残す点群の表である。一定間隔で点群を残す場合の削減する点群と残る点群の場所の説明図である。水平角度が同じ場合の垂直方向に点群が当たる場所の説明図である。水平角度が異なる場合の垂直方向に点群が当たる場所の説明図である。垂直方向にも点群削減処理を適用した場合の説明図である。点群削減処理のフローチャートである。水平方向の視野角内の点群の削減範囲の説明図である。垂直方向の視野角内の点群の削減範囲の説明図である。 2台のLidarの検知範囲が重なる場合の点群の削減範囲の説明図である。

本実施例は、レーザ光を照射した際に物体に当たって反射してくる光を検知することで物体までの距離を算出し、周囲にある物体の有無やその大きさおよび形状を認識するレーザ・レーダ（以下、Lidar［Light Detection and Ranging］と呼ぶ）で取得した点群データの削減方法および物体の検出方法に関するものである。

以下、実施例を図面を用いて説明する。なお、以下の説明において、点群は複数の点から構成されるが、1つの点を示す場合がある。例えば、点群（1）のようにインデックスが付与される場合、1つの点を示す。

図1は、点群データ削減処理の実施の形態を示すブロック図である。

Lidar101は、照射したレーザの反射光を受光して得られた物体の点群データを所定の形式でデータ入力処理部102へ送信する。

該データ入力処理部102は、受信したデータ形式を解読して各点群データの水平角、垂直角、距離、反射強度の値を取り出して点群データ記憶部103に格納する。

点群データ削減部104では、点群データ記憶部103から読み出した点群データに対して、削減条件に合致するかどうかを判定し、削減可能な点群データについては、データ自体が削減されたことを示すフラグを付与し、該点群データ記憶部103の値を更新する。

更に、点群データを削減した際に、削減された点群データの前後の点群（残された点群において隣り合う2点）を端点とする短絡直線を生成し、短絡直線記憶部105に保存する。

物体検知・ボックス化処理部106は、点群データ記憶部103にある点群データを直交座標系に変換して点群データ記憶部103に追加し、点群データ記憶部103にある点群データと短絡直線記憶部105にある短絡直線データを利用して、検知対象とする物体をボックス化する。そして、物体検知・ボックス化処理部106は、該ボックスの位置、サイズ等のデータを物体情報記憶部107に保存されている物体データと照合し、同一と考えられる物体が存在する場合は値を更新し、存在しない場合は新たに追加する。

物体認識処理部108は、物体情報記憶部107に保存されているデータをもとに、物体の識別や速度の算出を行い保存されている情報を更新する。

Lidarで認識され、物体情報記憶部107に保存されている物体情報は、カメラやレーダなどの他のセンサで認識した結果と合わせてフュージョン処理が行われ、走行経路等の生成に利用される。

なお、データ入力処理部102、点群データ削減部104、物体検知・ボックス化処理部106、物体認識処理部108は、CPU(Central Processing Unit)等のプロセッサの機能として実現してもよいし、FPGA(Field-Programmable Gate Array)等の回路として実現してもよい。また、点群データ記憶部103、短絡直線記憶部105、物体情報記憶部107は、例えば、メモリ等の記憶装置から構成される。

本実施例では、車載ECU（Electronic Control Unit）等の処理装置は、例えば、メモリ（記憶装置）、CPU（プロセッサ）、入出力回路等を備える。

図2A、2Bは、Lidarの解像度と距離に応じて、点群データが物体にどのように当たるか（対応するか）を示すための図であり、車両に当たる高さの垂直角度の１層分（所定の垂直角度における走査により得られた点群が位置する面）について水平方向の点群の当たり方を表している。

図2Aは低解像度のLidarを使用した場合の例で、低解像度Lidar201から照射されたレーザ光が、近くにある車両202に当たる場合、点群データ203が得られる。

なお、図2Aでは車両202に当たる全ての点群データに符号を付与していないが車両202の周囲にある同じ黒丸印の他の点群データについても車両202の点群データである。

４点の点群データ203を包含する矩形をあてはめたものが外接矩形204であり、該外接矩形の位置に物体(この場合は車両)があると認識される。

遠くにある車両205の場合は、レーザ光の水平間隔が広がるため、車両202と同じ大きさの車両205であっても点群データ206は１点しか当たらず、何らかの物体があることは検知できる。しかし、必要十分な点群数がないため矩形をあてはめて外接矩形を作成することが出来ず、車両205があると認識することができない。

一方、高解像度のLidarを使用した場合の例である図2Bでは、高解像度Lidar211から照射されたレーザ光が、近くにある車両212に当たる場合、点群データ213が得られる。なお、図2A同様に全ての点群データに符号を付与していないが車両212の周囲にある同じ黒丸印の他の点群データについても車両212の点群データである。

点群データ213を包含する矩形をあてはめたものが外接矩形214であり、該外接矩形の位置に物体(この場合は車両)があると認識される。

遠くにある車両215の場合は、レーザ光の解像度が高いために(a)の車両205の例では１点しか当たらなかった距離でも、点群データ216では５点が当たり、矩形をあてはめて外接矩形217を作成することが出来る。これにより、低解像度Lidarでは認識できなかった車両が、高解像度Lidarを使用することで検知できるようになる。

このように高解像度のLidarを利用するとより遠距離にある車両を検知・認識できるようになるが、近距離にある車両212に対しては、車両として認識すなわち外接矩形を作成するために必要十分な点群データの数があり、高解像度で点群データの数が増えても認識結果には影響がなく、点群データ数が増えた分だけ外接矩形を作成するための点群データの処理負荷が大きくなる。

そこで本発明の実施例では、処理負荷を低減するために、点群データを車両として認識するために必要な点群はそのまま残すが、外接矩形の作成に影響を与えない点群は削減する処理を行うようにしている。

図3は、高解像度Lidar211から照射されたレーザ光が、左斜め前方にある車両301の背面および側面に当たっている場合を示しており、各点群に番号を付与している。

なお、図中では丸付き数字を使用し、明細書中では点群(1)のように数字に括弧書きで表現しているが、番号が同じ点群を表している。

レーザ光302は車両301に当たらず遠方まで届き、車両301に点群(1)の位置で当たるレーザ光303との距離差が大きいので、隣り合うレーザ光の距離の差が設定した閾値より大きい場合は、レーザ光303から別の物体に当たっているとして、レーザ光303が当たる点群(1)は物体の端として、図４の点群情報管理表に点群番号(この場合(1))の距離L1を図4の距離401に格納する。

図4では距離のみを格納した例で説明しているが、各点群の水平・垂直角度の情報も一緒に格納しておいてもよい。

次のレーザ光304は、レーザ光303との距離差が前記閾値より小さいので、同じ物体に当たっている点群とし、図４の点群情報管理表にレーザ光304の距離L2を点群(2)の場所に格納する。同様に次のレーザ光との距離差が閾値を超えない場合は図4の点群情報管理表の距離401に点群(n)の距離Lnを追記する。

レーザ光305まで点群の距離を追記するが、レーザ光306は車両301に当たらず、レーザ光305との距離差が閾値を超える。そのため、レーザ光306からは別の物体に当たっているとして、レーザ光305が当たる点群(15)を物体の端とし、図4の点群情報管理表にある点群(1)から点群(15)までを一つの同じ物体として管理し、外接矩形を作成する対象点群とする。外接矩形307が作成された外接矩形になる。

図中の丸付き数字に重ねて外接矩形を重ねると数字が読みにくくなるため、便宜上各々の丸付き数字の外側に外接矩形307を書いており、図中では車両301の背面や側面の位置と外接矩形307との間に差があるが、実際は各丸付き数字の中心点に外接矩形307があるので、車両301の背面や側面の位置との差はない。

なお、手前に他の車両などの障害物があり、レーザ光302がレーザ光303より短い場合でもその距離差が閾値より大きければ、レーザ光303から一つの物体とみなして処理する。

また、レーザ光302やレーザ光306の先に物体がなく反射光を受光できず距離を測定できない場合は、閾値を超えた場合と同様な処理を行う。

次に図4に点群(1)と点群(2)の距離差すなわちL2－L1をD1と定義し距離差402に格納する。以下L(n+1)-Lnの結果をDnとして算出して隣り合う点群間の距離差を算出して図4の距離差402に格納する。

次に、本発明の実施例の点群削減方法について説明する。

点群を削減しても生成する外接矩形の形状は変わらないようにする必要があり、最も外側にある点群を包含するように枠を当てはめる。そのため、端点、角になる変曲点や飛び出ている凸部等は削減すると外接矩形の形状が変化するおそれがあるので削減しないで残す必要がある。

一方、点群が直線状につながっている場合などは中間部分の点群を削減し、短絡直線で置き換えても外接矩形の形状に与える影響は少ないので、点群を削減する。

（点群の一部が直線を形成する例）
具体的に図4の点群の並びの場合の例で説明すると、まず両端にある点、すなわち点群(1)と点群(15)は削減しないで残すので、図5の残す点群501に保存する。

次に角になる頂点の点群を検出するために、まず各点群の距離L1～L15をもとに算出した距離差D1～D14の増減すなわち変化の傾向を求める。点群(1)と点群(2)では点群(2)の方が距離が短いので、D1の符号は－(マイナス)となり距離は減少しているので距離の変化502のD1の欄には－(マイナス)を保存する。この判定をD2～D14についても行い、距離の変化502に結果を保存する。

このとき点群(1)から点群(10)までの部分の距離の変化の増減は、徐々にレーザ光が当たる位置が近づいてくるため距離の変化502は－(マイナス)となるが、徐々にレーザ光が当たる位置が遠ざかる点群(10)から点群(15)までの部分では、距離の変化502は＋(プラス)となる。

点群(10)で距離の変化の傾向が変わるため、角になる点群と判断し点群(10)も残すようにし、残す点群501に保存する。

距離の変化の符号が変わらず連続する部分の点群の並びはほぼ直線上になっている。この部分の点群は削減し短絡直線に置き換えても、外接矩形の作成には影響しないので、その他の12個を削減し残す点群501には加えない。

上記のような処理を実施した結果として、削減されずに残る点群は、図5の残す点群501のように点群(1)、点群(10)および点群(15)となる。

ここで、残す点群501にある点群間はほぼ直線とみなすことが出来るので、点群(1)と点群(10)、点群(10)と点群(15)の間を短絡直線として保存する。

すなわち、プロセッサは、削減されずに残された１つの点と、削減されずに残されたその次の点とを接続する直線を保存する。これにより、小さなデータ量で物体の形状を認識できる。

該短絡直線は、検知した物体をボックス化した後、直線成分の有無、その長さや方向に基づいて物体の識別や向きの特定を行う際に利用する。

削減した点群を反転表示にして表すと図6のようになり、残っている点群で外接矩形を作成すると外接矩形601のようになるので、点群を削減しない場合と同様な外接矩形が得られる。

図6では、車両の外面に全く凹凸がなく点群が直線状に並ぶという前提で説明したが、実際の車両は凹凸があったり、Lidar自体の計測誤差等もあり、車両の背面や側面の点群が一直線上になるとは限らない。

（点群の一部が突起を形成する例）
図7のように車両701の背面の一部で点群(5)のように突起状に飛び出ている場合は、外接矩形702のように囲む必要があるが、点群(5)の前後の距離差が閾値より小さいと点群(5)が削減対象になり、外接矩形703のように囲まれ、突起部分が枠外となってしまい車両701の位置やサイズを誤認識し衝突や接触をするおそれがある。

この場合、突起物がある部分では、図8のように点群(5)の距離L5は点群(4)の距離L4より短いためD4は減少(－)となり、点群(6)の距離L6は点群(5)の距離L5より長いためD5は増加(＋)となり、点群(7)の距離L7は点群(6)の距離L6より短いためD6は減少(－)となり、距離の変化801のような変化の状態になる。

このとき、距離の変化が減少(－)から増加(＋)へ変化する部分は変曲点と考えられ、物体の検知位置がLidarからの距離が近い手前側になるので突起部分であると考えられる。
そこで、D4とD5の間の点群(5)は残し、残す点群802に点群(5)を入れる。

なお、距離の変化が増加(＋)から減少(－)へ変化する部分についても変曲点と考えられる。例えば、L6がL5より長くL7がL6より短く点群(6)が変曲点になっているが、外接矩形702に接する点群(5)よりも内側になることを示しており、点群(6)は外接矩形702を作成する上で関係しないことから残しておく必要はない。

図9のように、車両の位置が左斜め前方になる車両901、右斜め前方になる車両903のいずれの場合でも車両のLidarから見える手前側の面に点群が当たるために角の部分が変曲点になり減少傾向から増加傾向に転じている。

また、正面に位置し車両の背面しか検知できない車両902の場合は、変曲点ではないが、距離が最も短くなる真正面で距離の変化が減少から増加に転じている。つまり、点群の水平方向の走査方向が変わらなければ、車両の位置関係に関わらず距離の変化は減少から増加へ変化している。

従って、距離の変化が増加(＋)から減少(－)へ変化する部分については、点群を残しておかなくても角の部分の変曲点を検知する上で支障はない。

ここで、残す点群802にある点群間はほぼ直線とみなすことが出来るので、点群(1)と点群(5)、点群(5)と点群(10)、点群(10)と点群(15)の間を短絡直線として保存する。

短絡直線を作成する場合、突起状の点群(5)や角に丸みがある点群(10)を端点とすると実際の直線部分とずれが生じる場合があるので、それぞれ隣の点同士で接続して短絡直線を作成するようにしてもよい。残す点群802の例では、点群(2)と点群(4)、点群(6)と点群(9)、点群(11)と点群(14)の間を短絡直線として保存する。

（点群の一部が凹みを形成する例）
次に、図10のように車両1001の背面の点群(3)と点群(7)の部分が凹んでいる場合の処理方法について説明する。

点群(3)と点群(7)が車両1001の凹んでいる内側の部分に当たり距離L3と距離L7が長くなった場合、図11の表の距離の変化1101のように距離差D1からD2およびD5からD6で減少から増加に転じ、それぞれ点群(2)および点群(6)が変化点となるため点群が削減されなくなる。

また、距離差D2からD3およびD6からD7で増加から減少に転じる場合は、図7の突起物がある場合で説明した通り、点群は残さないで削減処理を行う。

その結果、点群1102のように、図5の残す点群501と比べて点群(2)と点群(6)点の２点が削減されずに残り、削減される点群数が少なくなる。

この場合、点群(2)や点群(6)が外接矩形1002の外側にあるかどうか判定できないため、残す点群数は若干増えるが、外接矩形1002を作成する上での支障はない。

（点群の一部が凹凸を形成する例）
このように、車両1001の背面の点群が一直線上に並んでおらず凹凸があると、凹みの部分でも変曲点と判断され、点群が削減されずに残ってしまう場合がある。

そこで、細かな距離の変化の増減があっても大きな増減がない場合に、点群を効果的に削減するために、距離の変化を減少(－)と増加(＋)だけでなく、変化量の増加、減少にかかわらず変化量が所定の閾値の範囲内だった場合は不変(0)とする3種類に分類する。

閾値を点群(2)と点群(3)の距離差より大きいが点群(10)と点群(11)の距離差より小さい値に設定した場合に、図10の点群(3)と点群(7)の位置に凹みがある点群パターンの場合に適用すると、点群(1)から点群(10)までの距離差D1～D9は値が閾値（第3閾値Th3）より小さく不変(0)となるので、図12の距離の変化1201のような結果になる。ここで、第3閾値Th3は、数cmであり、後述する第1閾値Th1よりは小さい。

減少から増加に転じる場合だけでなく、不変から増加に転じた場合も変化点とすることで点群(10)は残るが、減少が連続した場合と同様に不変が連続した場合も削減対象とすることで、凹みを変曲点とする図11の場合とは異なり、変化量が閾値の範囲内の場合は不変とする図12の場合は点群(2)～点群(9)までは削減されるようになる。

（点群の一部が緩く湾曲している例）
これまでの例では、車両背面がほぼ直線に近い場合で説明をしてきたが、図13の車両1301のように変化量が小さく徐々に形状が変化する緩く湾曲している場合がある。

この場合に点群(2)～点群(10)は閾値の値にもよるが距離差の変化が不変で削減されるため、残る点群は、両端の点群(1)および点群(15)と変化点になる点群(10)だけとなり外接矩形は1302で示す点線になる。この場合、実際の車両の位置・サイズを示す外接矩形1303よりも外接矩形1302は遠くにあるもしくは小さいと判断されるため、車両1301に異常接近したり接触するおそれがある。

そのため、一定の間隔で削減条件に合致していても点群を残すようにして湾曲部分を1本の近似直線で短絡させず、湾曲部分に沿うような複数の近似直線で接続するようにして、削減する点群が必要以上に連続することで物体の輪郭を正確に把握することが出来なくならないようにする。

（一定間隔で点群を残す方法）
一定の角度毎に点群を残す場合、水平方向の点群が等間隔に送出されている場合は一定の点群数毎に点群を残せば一定間隔で残すことになるので、例えば４点毎に残す場合、図14の残す点群1401のように点群(5)、点群(9)および点群(13)を残す。

図15は、削減する点群を反転表示にして区別した図である。

ここで、図14の残す点群1401にある点群間はほぼ直線とみなすことが出来るので、図15のように点群(1)と点群(5)を短絡直線1503で、点群(5)と点群(9)を短絡直線1504で、点群(10)と点群(13)を短絡直線1505で、点群(13)と点群(15)を短絡直線1506で接続して短絡直線として保存する。

なお、途中で点群(10)のように変化点を検出して残す点群がある場合は、該点群から点群数をカウントし直すようにしてもよい。図14の例では、点群(9)から4点目の点群(13)を残しているが、点群(10)が変化点として削減されずに残っているので、点群(10)から4点目の点群(14)を残し点群(13)は削減するようにする。

点群(5)も含めて外接矩形を作成するので外接矩形1501のような外接矩形になり、実際の車両の輪郭が外接矩形1501からはみ出さないようになる。

一定角度毎に間引く場合、物体の位置が遠距離になる程、残しておく点群間の間隔が広くなるので、点群間の間隔が大きく違わないように、距離に応じて近距離では広く、遠距離では狭くなるように残す点群の水平角度を変えるようにしてもよい。

また、ある特定の範囲を詳細に検出するために間隔を狭くするなど各点群間の水平角度間隔が一律ではない場合、残した点群間の水平角度が一定になるように間引く点群の数を調整しないで、水平角度間隔が不均一になっても一定の点群数毎に点群を残すようにしてもよい。

また、常に一定間隔または一定角度で点群を残す方法を用い、図16のように垂直方向に点群が当たっている場合に、黒丸印を端や角で残る点群、白丸印を一定間隔または一定角度で残る点群、Ｘ印を削減する点群とすると、同じ水平角度の点群が垂直方向に連続して残ることになり、物体の特定の水平角度の点群を偏って残すことになる。

そこで、図17のように一定間隔または一定角度で残す点群の水平角度が各々の垂直角度により変化するようにして、同じ水平角度の点群が垂直方向に連続して残らないようにし、削減される点群が特定の部分に偏らないようにしてもよい。

このとき変化する量はある一定範囲内でランダムに変えるようにしてもよい。

（垂直方向の点群の削減）
また、ある水平方向の一層分の点群の並びの削減だけではなく、垂直方向に重なる各層の上下の点群の並びに対して、水平方向と同様な点群削減処理を行うこともできる。

換言すれば、プロセッサは、一方向の点群の並びだけではなく、別の方向の点群の並びに対しても点群の削減処理を行う。これにより、２方向で点群を削減することができる。
その結果、点群の処理負荷をさらに低減することができる。なお、本実施例では、２方向は直交するが直交しなくてもよい。

図18のように水平方向に削減処理を行った結果Ｘ印の点群が削減され、黒丸印および黒ダイヤ印の点群が残った場合に、同じ水平角度の垂直方向に重なっている点群に対して、水平方向と同様に削減処理を行うと、黒ダイヤ印の点群が更に削減され、黒丸印の点群のみが残る。

残っている黒丸印の点群では、車両の周囲をボックス化する際の頂点になる部分は残っており、ボックス1801のような外接する直方体を作成することが出来るので、垂直方向に点群を削減してもボックス化をすることが可能である。

なお、ここではボックス化する際の下端は路面の位置を想定しているので、最も低い高さで検知された点群の位置ではなく、高さが0の路面の位置をボックス1801の下端としている。

上記のような処理方法で点群を削減する場合に、物体が比較的近くにあり十分な数の点群がある場合は、点群を削減しても外接矩形の形状やサイズを維持することができる。

しかし、物体が比較的遠くにあり点群数が少ない場合は、削減可能な条件に合致する点群がなかったりあっても削減可能な点群数が少ない。そのため、処理時間短縮効果が小さい上に、外接矩形を作成したりボックス化するために必要な点群が失われ、検知性能に影響を与える可能性も高くなるので、所定の閾値よりも遠距離にある点群については削減処理を行わない。

（動作）
図19のフローチャートに基づく動作は以下の通りである。なお、動作の主体は、例えばプロセッサである。

ステップ1901：点群数のループで各点群に対して削減処理を行う。

ステップ1902：点群の距離を所定の閾値（第5閾値Th5）と比較し、遠い場合は削減処理を行わず、近い場合はステップ1903へ進む。

例えば、プロセッサは、第2の点（対象点）の距離が第5閾値Th5より大きい場合（ステップ1902：YES）、第2の点（対象点）のデータを削減せずに残す。ここで、第5閾値Th5は、数十ｍである。

これにより、遠方の物体に対応する点群を残すことができる。その結果、点群数が少なくなりやすい遠方の物体の検出精度の低下を抑制することができる。なお、点の距離は、Lidar（点群を取得する装置）からその点までの距離（測定値）である。

ステップ1903：ひとつ前の点群との距離差を所定の閾値（第1閾値Th1）と比較し、長い場合はステップ1904へ進み、短い場合はステップ1903_1へ進む。

ステップ1903_1：ひとつ前の点群との距離差を所定の閾値（第2閾値Th2）と比較し、長い場合はステップ1904へ進み、短い場合はステップ1901へ進む。

ステップ1904：ひとつ前の点群は前の物体（先のグループに属する物体）の終点とし、対象としている点群は新たに別の物体の起点として、それぞれ削減しないで残す。

例えば、プロセッサは、第1の点（前点）の距離と第2の点（対象点）の距離との差が、第2閾値Th2より大きい場合（ステップ1903_1：YES）、第1の点と第2の点は互いに異なる物体にそれぞれ属していると判定し、それぞれの物体の境界にある第1の点（前点）と第2の点（対象点）のデータを削減せずに残す（ステップ1904）。ここで、第2閾値Th2は、１ｍ前後である。第2閾値Th2が小さすぎると同じ物体が分割され、第2閾値Th2が大きすぎると対象物体が別の物体と結合される。

これにより、物体の境界にある点群を残すことができる。その結果、物体の検出精度を維持することができる。

ステップ1905：直近の削減されずに残っている点群との角度差または距離差を所定の閾値（第4閾値Th4）と比較し、閾値以上の場合はステップ1906へ進み、閾値未満の場合はステップ1907へ進む。

例えば、プロセッサは、第1の点（残された点）と第2の点（対象点）との間の角度差又は距離差が第4閾値Th4以上である場合（ステップ1905：YES）、第2の点のデータを削減せずに残す（ステップ1906）。ここで、第4閾値Th4は、角度で規定する場合は、数度であり、距離で規定する場合は、数十cmである。

これにより、一定間隔で点群を残すことができる。その結果、物体の緩やかな湾曲に対応する点群がすべて削減されることがないようにすることができる。

ステップ1906：対象としている点群は削減せず、短絡直線の終了点として該短絡直線部分を確定するとともに、次の短絡直線の開始点に設定する。

ステップ1907：前の点群との距離差とひとつ前の距離差の増減の変化のパターンが点群を残す条件を満たす場合はステップ1906へ進み、点群を削減する条件を満たす場合はステップ1908へ進む。具体的には、増減が変化する場合（例えば、－から＋へ変化）、ステップ1906へ進み、同じ傾向、すなわち、増減が変化しない場合（例えば、－が継続）、ステップ1908へ進む。

例えば、プロセッサは、第2の点の距離と第1の点の距離との差分を示す第1の距離変化量の符号と、第2の点の隣にあって点群を構成する第3の点の距離と第2の点の距離との差分を示す第2の距離変化量の符号が異なる場合（ステップ1907：YES）、第2の点のデータを削減せずに残す（ステップ1906）。

これにより、変曲点に対応する点群を残すことができる。その結果、物体の位置、サイズもしくは形状の検出精度を維持できる。

また、図12を用いて説明したように、プロセッサは、第1の距離変化量が第3の閾値より小さい場合、第1の距離変化量を0とみなし、かつ、第2の距離変化量が第3の閾値より小さい場合、第2の距離変化量を0とみなし、第1の距離変化量に対する符号の状態（＋、－、又は０）と、第2の距離変化量に対する符号の状態（＋、－、又は０）が異なる場合、第2の点のデータを削減せずに残してもよい。

これにより、物体の小さな凹凸に対応する点群を削減しつつ、物体の角に対応する点群を残すことができる。その結果、点群の処理負荷をさらに低減しつつ、物体の位置、サイズもしくは形状の検出精度を確保できる。

ステップ1908：対象となる点群は削減する。

本実施例では、対象点を削減するための条件は4つあるが（ステップ1902、1903、1905、1907）、1つ以上の条件を削除してもよい。

例えば、プロセッサは、点群を構成する第1の点（前点）の距離と、第1の点の隣にあって点群を構成する第2の点（対象点）の距離との差が閾値（第1閾値Th1）より小さい場合（ステップ1903：短い）、点群のデータから第2の点のデータを削減してもよい（ステップ1908）。なお、メモリ（記憶装置）は、物体の点群のデータを記憶する。ここで、第1閾値Th1は、数～十数cmである。

これにより、隣り合う2点の距離に応じて点群を削除することができる。その結果、例えば、直線状に並んだ点群を削除することができる。また、点群の処理負荷が低減され、一定時間内に物体を認識することができる（リアルタイム性）。特に、物体の点群を取得する装置（例えば、Lidar）が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる。

（その他の変形例）
点群の削減は認識処理などを含めた全体の処理量の低減が目的であり、削減可能な点群を欠かすことなく一点でも多く削減するよりも、一部に削減されない点群があっても点群削減のための処理負荷が低い方法で点群削減処理を行う。

なお、同じ大きさの物体に対する点群数は物体までの距離と関連し遠方になるほど少なくなるので、点群の数ではなく点群までの距離を閾値とし、物体に当たる一部または全ての点群が該閾値の距離より遠い場合は点群削減処理を行わないようにしてもよい。

また、上記の点群削減処理は、直交(XYZ)座標系へ変換処理が実行される点群データ数を削減するために極座標系の段階で行っているが、全ての点群データを直交座標系へ変換した後に点群の削減処理を行うようにしてもよい。この場合、X軸、Y軸それぞれの方向に対して点群データの削減処理を行い、両方または一方で削減対象となった点群を削減する。

近くにある物体が多い場合は物体に当たる全体の点群数も多くなるため、削減される点群数も多くなり一定程度の処理負荷低減を見込めるが、近くにある物体が少ない場合は、削減される点群数も少なくなり処理負荷の低減量が減少する可能性がある。

全ての点群を扱う場合には一定の周期でリアルタイムで処理を行うことが出来ない。点群削減処理を行い処理負荷を下げ、リアルタイム処理を可能としている場合は、常にある程度の数の点群が削減されている必要がある。しかし、物体の位置などの条件によって点群の削減量が少ない周期(フレーム)があるとリアルタイム性が維持できないおそれがある。

そこで、条件が悪い場合でもある程度の点群が削減できるように、直前のフレームで検知した物体の数、位置および大きさの情報、更には削減された点群数をもとに、点群の削減見込み数が所定の閾値より少なくなると考えられる場合は、一定の範囲または平均的に点群を削減する処理を行う。

換言すれば、プロセッサは、点群を構成する点のうち削減されずに残された点の数が所定の閾値（第6閾値Th6）を超えた場合もしくは超えることが予測される場合、一定の領域に含まれる点群のデータを削減してもよい。ここで、第6閾値Th6は、数万～数十万個であり、残す点群の目標最大値（規定時間内に処理が可能な点群数）である。

これにより、削減されずに残された点の数が多くても、ある程度の点群を削減することができる。

この場合、近くに物体はないと考えられ、すぐに何らかの物体に衝突あるいは接触する可能性は低いので、点群を削減する処理を行っても大きな影響はない。

具体的な削減方法としては、一定の間隔毎に所定の削減率になるように機械的に削減したり、上下にある複数層の一層分をまるごと削減したり、一定の規則性に従い点群を間引くようにする。

また、視野角の中央部分に重要な物体がある可能性が高いので、視野角の端に近い所定の範囲からの点群は全てまたは一部を削減するようにして点群数を減らす。

具体的には図20Aの領域2001および領域2002のように水平方向の両側の一定の範囲にある点群、または図20Bの領域2003および領域2004のように垂直方向の上下の一定の範囲にある点群を削減するようにする。

それぞれ削減対象とする範囲はあらかじめ設定されているが、点群の削減量の目標値に応じて範囲を増減させてもよい。

また、水平方向の削減対象範囲について、領域2001および領域2002は同じ幅(視野角)としているが、対向車線側の道路および道路付近の構造物等の検知の支障が少なくなるよう、右側になる領域2002の範囲を小さくするようにしてもよい。ただし、中央分離帯で仕切られた複数車線がある道路の右側車線を走行している場合は、左側車線側の検知の影響が少なくなるよう、左側の領域2001の範囲を小さくした方がよいので、道路および走行状況に応じて、範囲を逐次変更するようにしてもよい。

なお、上記はいずれも左側通行の場合で、右側通行の場合は左右が逆になる。

垂直方向についても、領域2003および領域2004はそれぞれ同じ幅(視野角)としているが、路面状況を重視して下側の領域2004の範囲を小さくするようにしてもよい。

このとき常に同じ範囲の点群を削減していると物体を検知し損ねるおそれがあるので、水平方向では右端側のみと左端側のみを交互に削減したり、垂直方向では上端側のみと下端側のみを交互に削減したり、あるいは水平方向と垂直方向を交互に削減したりして、特定の範囲のみが継続的に削減されないようにする。

なお、図20A、20Bでは説明のため特定の距離の範囲を図示しているが、領域2001～領域2004を通過する範囲に照射されたレーザ光が対象であり、図示した部分の前後で物体に当たった場合も含む。

また、図21のように前方に向けて２台のLidarが設置されLidar2101の検知範囲が領域2103、Lidar2102の検知範囲が領域2104の場合、重複して検知される重複領域2105（斜線領域）が存在する。

各点群データの水平角度と距離から重複領域2105の範囲内にあるかどうかは判定できるので、Lidar2102で取得した位置が重複領域2105内になる点群は全てまたは一部を削減するようにしてもよい（逆にLidar2101で取得した点群を削減してもよい）。

もしくは、重複領域2105の左半分はLidar2102の点群、右半分はLidar2101の点群を削減するようにしてもよい。

また、それぞれのLidarで重複領域2105内にある場合に１個おきに削減し、それぞれ半数の点群を間引くようにし、点群密度が重複しない領域と同等になるようにしてもよい。

なお、図21では説明のため特定の距離までの範囲を図示しているが、領域2003～領域2005よりも遠方に到達するレーザ光も対象であり、図示した部分より遠方の領域も含む。

上記では領域によって点群を削減する方法を説明したが、自車の移動速度が遅い場合は物体を短い間隔で検知・認識する必然性が低くなるので、検知間隔を長くし、点群を削減しないで処理時間の削減が出来なくてもリアルタイム性を維持できるようにしてもよい。

また、近くにある物体の数が少なく、物体の位置やサイズの更新処理や移動物体の追跡処理を行う必要がある物体が少なくなり、認識後の後段の処理負荷が低くなる場合は、一定の範囲または平均的に点群を削減しなくてもよい。

視野角内の点群の分布・検出状況は、1サイクルの間では急激な変化はしないので、直前または過去の1フレーム分の総点群数、点群間の距離等を利用した削減処理で削減した点群数および一定の範囲または平均的に削減した点群数から、次のサイクルの削減方法や削減量を制御するようにしてもよい。

他には、自車からの距離が近い物体から順に１サイクルの時間内で処理が可能な分だけ処理するようにして、リアルタイム性を維持するようにしてもよい。

以上説明したように、本実施例によれば、物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の実施例では、光で物体の点群を取得する装置としてLidarを採用したが、電波で点群を取得する装置であってもよい。すなわち、点群を取得する手段は問わない。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（マイコン）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施例は、以下の態様であってもよい。その目的は、物体の位置やサイズを特定するために必要な特徴的な位置の点群は削減せずに残しておき、直線部分の中間の複数の点群が連なっている部分を削減することで点群データの数を減らし、また該直線部分の端点間を短絡した直線で近似することで物体の位置、サイズや形状の把握に必要な情報は残るようにすることで、物体の検出・認識性能を維持して点群データの数を削減し、処理負荷の低減すなわち処理を高速化することにある。

（1）．光検知および測距装置(Lidar)で得た点群データを処理する処理装置であって、前記点群データと該点群データの近傍点(次の点)との距離の差が、第一閾値より小さい場合に該近傍点を削減する点群データを削減する削減方法および処理装置。

（2）．（1）において、点群データと該点群データの近傍点(次の点)との距離の差が、第二閾値より大きい場合に夫々の点群は異なる物体に属している点群と判定し、別々の物体として分離して管理し、物体の境界にある前記点群データは削減しない削減方法および処理装置。

（3）．（1）において、点群データと該点群データの近傍点(次の点)との距離変化量1と、該次の点と近傍点（次の次の点）との距離変化量2に対して、該距離変化量1と該距離変化量2で増加または減少の状態が変わる場合は、点群を削減しない削減方法および処理装置。

（4）．（3）において、距離変化量1と該距離変化量2の差が第三の閾値より小さい場合は、増加でも減少でもなく不変とみなし、増加、減少または不変の状態が変わる場合は、点群を削減しない削減方法および処理装置。

（5）．（1）において、前記短距離差の点群データに含まれる基準点(起点)との角度差または距離差が第四閾値を超えた場合に削減条件に合致していても点群データを削減しない削減方法および処理装置。

（6）．（1）において、点群データの距離が第五閾値より大きい場合は、点群の削減処理を行わない削減方法および処理装置。

（7）．（1）において、削減されずに残された点群データの数が、第六の閾値を超えた場合もしくは超えることが予測される場合に、一定の領域に含まれる点群データの全てまたは一部を削減する削減方法および処理装置。

（8）．（1）から（7）において、削減された点群データの直前の削減されずに残された点群データと、次の削減されずに残された点群データの間を短絡直線で接続し、保存する削減方法および処理装置。

（9）．（1）から（8）において、点群の削減処理を一定の方向だけではなく、直交する別の方向の点群の並びに対しても行う削減方法および処理装置。

（1）～（9）によれば、物体の検知には影響がない点群データのみを削減することで、物体の検知性能を低下させることなく全体の点群データの数を減少させ、点群データ処理にかかる時間を低減することで、Lidarが高解像度になり出力される点群数が増加しても処理負荷の増大を抑えることが出来る。

101…Lidar、102…データ入力処理部、103…点群データ記憶部、104…点群データ削減部、105…短絡直線記憶部、106…物体検知・ボックス化処理部、107…物体情報記憶部、108…物体認識処理部、701…突起物がある車両、702…突起物がある場合の外接矩形、703…突起物がはみ出た外接矩形、1001…凹んでいる部分がある車両、1002…凹んでいる部分がある場合の外接矩形、1501…湾曲部分がある場合の外接矩形、1502…湾曲部分がはみ出た場合の外接矩形、1503…点群(1)と点群(5)を結ぶ短絡直線、1504…点群(5)と点群(9)を結ぶ短絡直線、1505…点群(10)と点群(13)を結ぶ短絡直線、1506…点群(13)と点群(15)を結ぶ短絡直線、2001,2002,2003,2004…点群を削減する領域、2105…2台のLidar検知の重複領域

Claims

物体の点群のデータを記憶する記憶装置と、
前記点群を構成する第1の点の前記点群を取得する装置からの距離と、前記第1の点の隣にあって前記点群を構成する第2の点の前記点群を取得する装置からの距離との差が第1閾値より小さい場合、前記点群のデータから前記第2の点のデータを削減するプロセッサと、を備える処理装置であって、
前記プロセッサは、
前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいかを判定し、前記第2の点の距離と前記第1の点の距離との差分を示す第1の距離変化量の符号と、前記第2の点の隣にあって前記点群を構成する第3の点の前記点群を取得する装置からの距離と前記第2の点の距離との差分を示す第2の距離変化量の符号が同じかを判定し、
前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいと判定され、かつ前記第1の距離変化量の符号と前記第2の距離変化量の符号が同じと判定された場合、前記第2の点のデータを削減し、
前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいと判定され、かつ前記第1の距離変化量の符号と前記第2の距離変化量の符号が異なると判定された場合、前記第2の点のデータを削減せずに残す
ことを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
前記第1の点の距離と前記第2の点の距離との差が、第2閾値より大きい場合、前記第1の点と前記第2の点は互いに異なる物体にそれぞれ属していると判定し、それぞれの物体の境界にある前記第1の点と前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
前記第1の距離変化量が第3の閾値より小さい場合、前記第1の距離変化量を0とみなし、かつ、前記第2の距離変化量が前記第3の閾値より小さい場合、前記第2の距離変化量を0とみなし、
前記第1の距離変化量に対する符号の状態と、前記第2の距離変化量に対する符号の状態が異なる場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
前記第1の点と前記第2の点との間の角度差又は距離差が第4閾値以上である場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
前記第2の点の距離が第5閾値より大きい場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
前記点群を構成する点のうち削減されずに残された点の数が第6閾値を超えた場合もしくは超えることが予測される場合、一定の領域に含まれる点群のデータを削減することを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
削減されずに残された１つの点と、削減されずに残されたその次の点とを接続する直線を保存することを特徴とする処理装置。
請求項1に記載の処理装置において、
前記プロセッサは、
一方向の前記点群の並びだけではなく、別の方向の前記点群の並びに対しても前記点群の削減処理を行うことを特徴とする処理装置。
物体の点群のデータを記憶する工程と、
前記点群を構成する第1の点の前記点群を取得する装置からの距離と、前記第1の点の隣にあって前記点群を構成する第2の点の前記点群を取得する装置からの距離との差が第1閾値より小さい場合、前記点群のデータから前記第2の点のデータを削減する工程と、
を処理装置に実行させる点群削減方法であって、
前記点群のデータから前記第2の点のデータを削減する工程は、
前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいかを判定し、前記第2の点の距離と前記第1の点の距離との差分を示す第1の距離変化量の符号と、前記第2の点の隣にあって前記点群を構成する第3の点の前記点群を取得する装置からの距離と前記第2の点の距離との差分を示す第2の距離変化量の符号が同じかを判定する工程と、
前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいと判定され、かつ前記第1の距離変化量の符号と前記第2の距離変化量の符号が同じと判定された場合、前記第2の点のデータを削減する工程と、
前記第1の点の距離と前記第2の点の距離との差が前記第1閾値より小さいと判定され、かつ前記第1の距離変化量の符号と前記第2の距離変化量の符号が異なると判定された場合、前記第2の点のデータを削減せずに残す工程と、を含む
ことを特徴とする点群削減方法。