[go: up one dir, main page]

JP7739142B2 - 回避操舵制御が改善された駐車支援システムおよび方法 - Google Patents

回避操舵制御が改善された駐車支援システムおよび方法

Info

Publication number
JP7739142B2
JP7739142B2 JP2021184269A JP2021184269A JP7739142B2 JP 7739142 B2 JP7739142 B2 JP 7739142B2 JP 2021184269 A JP2021184269 A JP 2021184269A JP 2021184269 A JP2021184269 A JP 2021184269A JP 7739142 B2 JP7739142 B2 JP 7739142B2
Authority
JP
Japan
Prior art keywords
obstacle
avoidance
vehicle
reference point
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021184269A
Other languages
English (en)
Other versions
JP2022101475A (ja
Inventor
善 友 姜
世 赫 金
善 宇 鄭
基 豪 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of JP2022101475A publication Critical patent/JP2022101475A/ja
Application granted granted Critical
Publication of JP7739142B2 publication Critical patent/JP7739142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/001Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits the torque NOT being among the input parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • B60Y2300/09Taking automatic action to avoid collision, e.g. braking or steering

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本発明は、自律駐車車両の回避操舵制御が大きく改善された駐車支援システムおよび方法に関する。
一般的に、駐車支援システム(RSPA:Remote Smart Parking Assis)は、超音波センサを用いて、車両が自ら駐車空間を認識し、操舵、制動、速度、前進および後進変速などを制御して駐車を実行するように支援するシステムである。
このように、従来の駐車支援システム(RSPA)は、超音波センサに基づいて周辺の車両などの事物を認識した後、認識した事物を回避操舵しながら駐車を実行する。
しかし、超音波センサの場合、横方向への感知範囲に限界があるため、超音波センサに基づく従来の駐車支援システムの場合、外部(outer)超音波センサでは感知されるが、内部(inner)超音波センサでは感知されない距離に位置する障害物に対しては制御基準点の判断が難しいため、縦方向位置の把握が正確でないという問題があった。
このように、事物の縦方向位置に関する情報が不正確に算出されることによって、駐車支援システムでの自律駐車の際に回避操舵の制御が強く行われないという問題があった。
特開2019-211480号公報
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、センサモジュールのセンシングデータとSVMカメラの映像データを融合し、車両の現在の位置を基準とする障害物の位置情報を算出するセンサフュージョン演算モジュールと、前記位置情報に基づいて障害物を回避し、自律駐車するための車両の操舵制御を行う駐車支援モジュールとを含むことで、センサモジュールの感知範囲から逸脱する位置にある障害物も明確に感知することができるようにして、自律駐車の際に、周辺障害物に対する強い回避操舵を可能とした回避操舵制御が改善された駐車支援システムおよび方法を提供することにある。
上記目的を達成するためになされた本発明の一態様による回避操舵制御が改善された駐車支援システムは、車両の周辺を探索して取得したセンシングデータによって車両から障害物までの距離を感知するセンサモジュールと、車両の周辺を撮影して障害物の位置と方向を感知することができる映像データを取得するSVM(Surround View Monitor)カメラと、前記センサモジュールのセンシングデータと前記SVMカメラの映像データを融合して車両の現在の位置を基準とする障害物の位置情報を算出するセンサフュージョン演算モジュールと、前記位置情報に基づいて障害物を回避して自律駐車するための車両の操舵制御を行う駐車支援モジュールと、を含むことを特徴とする。
前記センサフュージョン演算モジュールは、前記SVMカメラで取得した映像データ上の車両の周辺領域を一定の間隔のセルに分割して、各セルにアドレスを付与するセル設定部と、前記映像データに基づいて障害物の存否を感知し、感知した障害物の種類を分類して駐車区域内に存在する障害物を認識する障害物認識部と、前記映像データ上で障害物が認識された位置のセルアドレスを障害物の分類情報とマッチさせて格納し、駐車区域に対する障害物分布現況を示す障害物マップを生成する障害物マップ生成部とを含み得る。
前記センサフュージョン演算モジュールは、前後方映像データと両側方映像データが重なる関心領域(ROI:Region of Interest)で認識された境界障害物が、前記前後方映像データまたは側方映像データの少なくともいずれか一つの映像データで認識されている障害物の如何なる障害物と同一であるかを判断して障害物を特定する境界障害物特定部をさらに含むことが好ましい。
前記境界障害物特定部は、前記前後方映像データで認識された境界障害物イメージの第1図心と前記側方映像データで認識された境界障害物イメージの第2図心をそれぞれ算出し、同一の障害物分類コードがマッチしている境界障害物に対して算出された前記第1図心と前記第2図心との距離が最小である境界障害物を同一障害物として判断し得る。
前記センサモジュールは、超音波の飛行時間(TOF:Time of Flight)によってセンシングデータを取得する超音波センサで構成され、前記センサフュージョン演算モジュールは、前記映像データによって認識されて前記障害物マップ上に格納されている障害物の位置を、前記超音波センサでのセンシングデータに基づいて補正して格納する障害物位置補正部をさらに含むことが好ましい。
前記障害物位置補正部は、前記超音波センサに最も近い位置にある障害物のポイントを基準座標として選定した後、前記超音波センサを中心とし、且つ前記基準座標に対するセンシングデータ(TOF)の回帰経路を半径とする円に接するまで、前記基準座標を同一セル上で移動させて障害物の補正座標として設定し、前記障害物の残りのポイントの座標を前記基準座標が補正座標に移動した方向に沿って同様に平行移動させて障害物の位置を補正し得る。
また、前記障害物位置補正部は、1つの障害物に対してセンシングデータ(TOF)を複数個受信した場合、それぞれのセンシングデータ(TOF)を用いて障害物の位置を補正した後、補正した障害物の位置を示す座標の平均を算出し、算出した平均を障害物の最終位置として補正し得る。
前記駐車支援モジュールは、前記障害物マップに格納されている障害物のポイントを示す座標に基づいて駐車空間への進入時に回避すべき障害物のポイントを回避基準点として選択する回避基準点決定部と、駐車空間に進入する車両が障害物を回避して駐車を行うように車両が整列すべき整列角を演算する整列角算出部とを含むことが好ましい。
前記回避基準点決定部は、駐車空間への進入時に隣接した障害物との接触を回避すべき車両部位を車両基準点として設定し、車両の中心を基準とするローカル座標系上でx軸一側の+y軸方向と他側の-y軸方向それぞれの所定領域を第1および第2基準点関心領域として設定した後、各基準点関心領域にある障害物ポイントのうち前記車両基準点との距離が最小であるポイントを各基準点関心領域での回避基準点として選択し得る。
前記駐車支援モジュールは、車両と障害物とのx軸距離が予め設定された基準距離よりも大きい場合には、前記車両基準点とのx軸距離が近い座標にあるポイントが高い重みを有して回避基準点として選択され、車両と障害物とのx軸距離が前記基準距離よりも小さい場合には、前記車両基準点とのy軸距離が近い座標にあるポイントが高い重みを有して回避基準点として選択されるように、車両から障害物に至る距離が減少するにつれてy軸方向への重みを増加させて適用する重み可変部をさらに含むことが好ましい。
前記整列角算出部は、車両の前面中心に設定されている車両基準点と前記回避基準点がなす角度の平均を駐車空間に進入する車両の初期整列角として算出し、駐車空間への車両の進入程度によって回避操舵のために増減させなければならない整列角変化量を算出し、車両の回避操舵制御のためのデータとして提供し得る。
前記整列角算出部は、現在の初期整列角を示す直線である中心基準線に平行して各回避基準点を通過する直線である第1回避基準線および第2回避基準線を用いて、前記第1回避基準線と中心基準線との間の領域を第1回避関心領域として設定し、前記第2回避基準線と中心基準線との間の領域を第2回避関心領域として設定し、前記第1回避関心領域内にある障害物のポイントと第1回避基準線との距離の和と、前記第2回避関心領域内にある障害物のポイントと第2回避基準線との距離の和を求めた後、2つの距離の和の差が最小になるように前記初期整列角を修正する整列角変化量を算出し得る。
上記目的を達成するためになされた本発明の一態様による回避操舵制御が改善された駐車支援方法は、SVM(Surround View Monitor)カメラで撮影される車両の前後方映像データと側方映像データによって駐車空間周辺の障害物イメージを取得する映像データ取得ステップと、センサモジュールで取得したセンシングデータによって障害物の位置と障害物までの距離を感知するセンシングデータ取得ステップと、前記前後方映像データと側方映像データによって認識され、前記センシングデータによって位置が補正された障害物の座標を障害物マップに格納する障害物マップ生成ステップと、前記障害物を構成するポイントの座標のうち車両の回避が求められる回避基準点を選択し、前記回避基準点に基づいて回避操舵のために求められる車両の整列角を算出する駐車支援ステップとを含むことを特徴とする。
前記前後方映像データと側方映像データおよび前記センシングデータ(TOF:Time of Flight)を受信して前記障害物マップを生成するにあたり、前記前後方映像データと側方映像データが重なる関心領域(ROI:Region of Interest)で認識された境界障害物が、前記前後方映像データまたは側方映像データの少なくともいずれか一つの映像データで認識されている障害物の如何なる障害物と同一であるかを判断して障害物を特定する境界障害物特定ステップをさらに含み得る。
前記境界障害物特定ステップは、前記前後方映像データと側方映像データのうち前記関心領域(ROI)でイメージが認識される物体を境界障害物として選定する境界障害物選定過程と、前記前後方映像データと側方映像データのそれぞれで認識される境界障害物のポイント座標に対する平面中心である第1図心と第2図心を演算する図心算出過程と、同一の障害物分類コードがマッチしている境界算出物に対して算出された第1図心と第2図心との距離を比較し、最小の距離を有する2つの境界障害物を同一障害物として特定する境界障害物判断過程とを含み得る。
前記障害物マップを生成するにあたり、前記センサモジュールに最も近い位置にある障害物のポイントを基準座標として選定し、前記センサモジュールを中心とし、且つ前記基準座標に対するセンシングデータの回帰経路を半径とする円に接するまで前記基準座標を前記SVMカメラの設置位置に向かう方向に移動させて障害物の補正座標を生成する基準座標補正過程と、前記障害物の残りのポイントの座標を前記基準座標が補正座標に移動した方向に沿って同様に平行移動させる障害物ポイント補正過程とを含み得る。
前記駐車支援ステップは、前記障害物マップに格納されている障害物のポイント座標と駐車空間に進入する車両で障害物との接触を回避すべき車両部位として設定された車両基準点との距離関係に基づいて、車両が回避すべき障害物のポイントを回避基準点として選択する回避基準点決定ステップと、前記車両基準点が回避基準点を回避して駐車空間に進入するように車両を操舵制御するために求められる整列角を演算する整列角算出ステップとを含み得る。
前記回避基準点決定ステップは、車両の中心を基準とするローカル座標系上のx軸一側の+y軸方向と他側の-y軸方向それぞれの所定領域を第1基準点関心領域と第2基準点関心領域として設定する基準点関心領域設定過程と、前記第1基準点関心領域と第2基準点関心領域にある障害物のポイントのうち前記車両基準点との距離が最小である障害物の座標を回避基準点として選択する回避基準点選択過程とを含み得る。
前記回避基準点決定ステップは、前記基準点関心領域にある多数の障害物ポイントのうち前記車両基準点との距離が最小であるポイントを選択するにあたり、駐車空間に進入中の車両と障害物との距離が減少することにつれてy軸方向への重みを増加させて適用する重み可変過程をさらに含み得る。
前記整列角算出ステップは、車両の前面中心に設定されている車両基準点と回避基準点がなす角度の平均を車両が障害物を回避して駐車空間に進入するために求められる初期整列角として算出する初期整列角算出過程と、前記初期整列角を示す直線である中心基準線と平行して各回避基準点を通過する直線である第1回避基準線および第2回避基準線を用いて、前記第1回避基準線と中心基準線との領域を第1回避関心領域として設定し、前記第2回避基準線と中心基準線との領域を第2回避関心領域として設定する回避関心領域設定過程と、前記第1回避関心領域内にある障害物のポイントと第1回避基準線との距離の和と、前記第2回避関心領域内にある障害物のポイントと第2回避基準線との距離の和を求めた後、二つの距離の和の差が最小になるように前記初期整列角を修正する整列角変化量を算出する整列角変化量算出過程とを含み得る。
本発明によれば、感知範囲が広いSVMカメラで生成された映像データで認識された障害物の位置を、正確な距離測定が可能なセンサモジュールで取得したセンシングデータ(TOF)によって補正することで、自律駐車の際に、周辺障害物に対する認知正確性を向上させ、これにより、安定した回避操舵が可能であるという効果がある。
その他、本明細書により直接または間接に把握される様々な効果を提供することができる。
本発明の一実施形態による回避操舵制御が改善された駐車支援システムのブロック構成図である。 本発明による回避操舵制御の際に、感知範囲が増加することを示す例示図である。 本発明によってSVMカメラにより撮影される前後方および側方映像データの感知範囲を示す例示図である。 本発明によって映像データに示されたイメージを用いて障害物を認識し、クラスタリングする過程を示すフローチャートである。 本発明によって車両の前後方および側方映像データにあるイメージを用いて障害物を認識することを示す例示図である。 本発明によって関心領域に示された境界障害物イメージが前後方および側方映像データで認識されることを示す例示図である。 本発明によって第1図心と第2図心の距離を比較して境界障害物を特定することを示す例示図である。 本発明によって障害物の座標を車両中心のローカル座標系上にマッチさせて格納する例示図である。 本発明によってセンシングデータ(TOF)により障害物の位置を補正することを示す例示図である。 本発明によって一つの障害物に対するセンシングデータを複数個受信した場合の障害物位置補正を示す例示図である。 本発明によって基準点関心領域と回避基準点を選択することを示す例示図である。 本発明によって車両と障害物とのx軸距離の変化に伴う重み係数の変化を示す例示図である。 本発明によってコスト(cost)算出のためのチューニングパラメータの設定例を示すグラフである。 本発明によって整列角算出のための演算過程を示すフローチャートである。 本発明によって整列角算出のための初期整列角と回避関心領域を設定し、整列角変化量が算出されることを示す例示図である。 本発明によって駐車空間に進入した車両の周辺の目標障害物を選定することを示す例示図である。 本発明によって空間進入回避基準点以降のポイントに対する分布を示す回避基準線を算出し、それによる整列角に沿って駐車が行われることを示す例示図である。 本発明によって駐車空間で車両の進入を誘導する整列目標点を示す例示図である。 本発明の一実施形態による回避操舵制御が改善された駐車支援方法の構成図である。
以下、本発明を実施するための形態の具体例を図面を参照しながら詳細に説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては仮に異なる図面上に示されていても、できるだけ同一の符号を付するようにしている。また、本発明の実施形態を説明するにあたり、関連する公知の構成または機能に関する具体的な説明が本発明の実施形態に関する理解を邪魔すると判断される場合には、その詳細な説明は省略する。
本発明の実施形態の構成要素を説明するにあたり、第1、第2、A、B、(a)、(b)などの用語を使用するが、このような用語は、その構成要素を他の構成要素と区別するためのものであって、その用語によって当該構成要素の本質や順番または順序などは限定されない。また、特に定義しない限り、技術的もしくは科学的な用語をはじめ、本明細書で使用するすべての用語は、本発明が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈され、本明細書で明らかに定義しない限り、理想的もしくは過剰に形式的な意味に解釈されない。
以下、図1~図19を参照しながら、本発明の実施形態を具体的に説明する。
図1は、本発明の一実施形態による回避操舵制御が改善された駐車支援システムのブロック構成図である。
図1を参照すると、本発明の一実施形態による回避操舵制御が改善された駐車支援システムは、車両の周辺を探索して取得したセンシングデータによって車両から障害物までの距離を感知するセンサモジュール100と、車両の周辺を撮影して障害物の位置と方向を感知することができる映像データを取得するSVM(Surround View Monitor)カメラ200と、センサモジュールのセンシングデータとSVMカメラの映像データを融合して車両の現在の位置を基準とする障害物の位置情報を算出するセンサフュージョン演算モジュール300と、算出された位置情報に基づいて障害物を回避して自律駐車するために車両の操舵制御を行う駐車支援モジュール400とを含む。
また、本発明の一実施形態による回避操舵制御が改善された駐車支援システムは、センサフュージョン演算モジュール300で算出された障害物の位置情報を車両の周辺を区切っているセルにマッチさせ、障害物の外側を示す各ポイントに対する座標を付与して格納する障害物マップ360をさらに含むことができる。
この際、センサモジュール100は、車両周辺の障害物の存否と、障害物の位置および障害物までの距離を把握することができる様々なセンサで構成される。以下では、センサモジュール100が一般的な駐車支援システムに広く使用されている超音波センサで構成されることを一実施形態として説明するが、超音波センサ以外の様々なセンサによって具現されることは言うまでもない。したがって、超音波センサにもセンサモジュールと同一の図面符号を併記して説明する。
超音波センサ100は、車両の周辺に放出された超音波が停車している周辺車両をはじめ、障害物に反射して戻る飛行時間(TOF:Time of Flight)と方向を受信し、車両を基準として障害物が位置している方向と当該障害物までの距離を感知する。
超音波センサ100は、通常の駐車支援システムにおいても、駐車空間を探索し、回避操舵のための障害物を感知するために使用される。しかし、超音波センサは、感知範囲が限定的であるため、感知範囲を超えて存在する障害物の場合、制御基準点の判断が難しい場合がある。
すなわち、通常の駐車支援システムでは、車両の前方の中央部分を感知するための内部(inner)センサと、車両の前方の両側部分を感知するための外部(outer)センサをともに備える。また、これらの内部センサと外部センサの両方から感知された交点を通じて制御基準点を判断する。
これにより、図2の(a)に示すように、車両の左側方向では、障害物が内部センサと外部センサの両方で感知されることから制御基準点を導出することができるが、車両の右側方向では障害物が外部センサでのみ感知され、内部センサでは感知されないため、交点を導き出すことができず、そのため、制御基準点を判断できなくなる。
したがって、本発明では、図2の(b)に示すように、超音波センサ100で感知されるセンシングデータに、SVMカメラ200で取得した映像データを融合することで、内部センサの感知範囲から逸脱した位置にある障害物も明確に感知できるようにした。
すなわち、超音波センサに比べて距離正確度は多少劣っているが、広い感知範囲を有し、障害物が存在する方向情報を正確に提供するSVMカメラの映像データによって障害物を感知できるようにすることで、超音波センサの限界を補完する。
このために、SVM(Surround View Monitor)カメラ200は、車両の前後方および両側方の映像を撮影し、障害物の存否と障害物が位置する方向情報を把握できる映像データを取得する。
これにより、図2の(b)に示すように、仮に内部センサの感知範囲から逸脱した位置にある障害物の場合にも、SVMカメラで取得した映像データ上の障害物の位置と、超音波センサで取得したセンシングデータ上の障害物の位置および距離情報によって車両の回避操舵のための制御基準点を導き出すことができる。
また、センサフュージョン演算モジュール300は、SVMカメラで取得した映像データ上の車両の周辺領域を一定の間隔のセルに分割し、各セルにアドレスを付与するセル設定部310と、映像データに基づいて障害物の存否を感知し、感知した障害物の種類を分類して、駐車区域内に存在する障害物を認識する障害物認識部320と、映像データ上で障害物が認識された位置のセルアドレスを障害物の分類情報とマッチさせて格納し、駐車区域に対する障害物分布現況を示す障害物マップを生成する障害物マップ生成部340とを含む。
この際、セル設定部310は、図3の(a)に示すように、SVMカメラ200で撮影された映像データに示される車両の前方領域と後方領域のそれぞれを均等な間隔で分けられた多数のセルに分割し、各セルにセル1~セル30のように、アドレスを付与する。この際、SVMカメラ200で撮影された車両の前方領域と後方領域のそれぞれに対してアドレスを区分して付与する。
また、セル設定部310は、図3の(b)に示すように、SVMカメラで撮影された車両の両側方領域の場合にも、均等な間隔で分けられた多数のセルに分割した後、セル1~セル60のように、アドレスを付与する。
この際、図3では、前方と後方領域に対してはそれぞれ30個のセルに分割し、両側方領域に対してはそれぞれ60個のセルに分割することを示しているが、各領域を分割するセルの個数をこれとは異なる個数に設定できることは言うまでもない。
また、障害物認識部320は、SVMカメラ200で取得した映像データに示される駐車している車両をはじめ、障害物の存否を把握し、認識した障害物の種類を予め格納されている障害物分類テーブル321上の障害物の外形と比較して障害物を認識する。
このために、障害物分類テーブル321では、障害物が感知されない自由空間(Free Space)と、背景(Background)と、車両(Car)と、柱(Pillar)と、縁石(Curb)と、歩行者(Pedestrian)をはじめ、駐車区域で映像データとして撮影可能な物品とを分類した後、分類した各物品に一定の障害物分類コード(index)を付与して格納する。
障害物認識部320では、映像データに示された障害物のイメージを障害物分類テーブル321に格納されている物品情報と比較した後、障害物分類コードをマッチさせて格納する。
この際、障害物認識部320は、セル設定部310で分割された各セルごとに障害物として認知されるイメージが存在するか否かと、存在するイメージが如何なる障害物であるかを認識した後、車両を基準とするローカル座標系上で障害物が認識される各ポイントの座標を位置情報として格納する。また、各セルごとに認識された障害物のイメージに付与されている障害物分類コードを各障害物のポイントにマッチさせて格納する。
これにより、障害物認識部320は、障害物分類コードがマッチしているセルをクラスタ化(Clustering)して障害物が占める領域を認識する。このために、障害物認識部320は、隣接したセルに同一の障害物分類コードがマッチしている場合、同一の障害物として認識する。
すなわち、図4に示すように、i番目のセルにマッチしている障害物分類コードが存在するか否かを判断した後、現在セルにマッチしている障害物分類コードが、前のセルにマッチしていた障害物分類コードと一致するか否かを比較し、2つのセルの障害物分類コードが同一である場合には、同一障害物のイメージとして判断し、障害物分類コードがないかまたは相違する場合には、同一障害物判断を終了する。これにより、各セルで認識された障害物イメージのうち同一障害物を示すポイントのクラスタを形成する。
また、i番目のセルに対する判断が終了した後、次のセルであるi+1番目のセルに対して同一の過程を繰り返して、映像データをなす全てのセルに対する分析を行って、映像データ上で認識される障害物が存在するか否かを判断する。
この際、次のセルであるi+1番目のセルに障害物分類コードが存在するか否かを判断する過程は、i番目のセルにマッチしている障害物分類コードが存在しない場合にも繰り返して実行されることは言うまでもない。
このように、障害物認識部320は、SVMカメラで撮影された映像データを分析して、各セルに障害物分類コードがマッチしているか否かと、障害物分類コードが同一であるかまたは相違するかを判断することで、車両の周辺に存在する障害物を認識する。
これにより、図5の(a)に示すように、車両の前後方映像データから車両の前方に位置している障害物1(Obj1)と車両の前方右側に位置している障害物2(Obj2)を認識する。また、図5の(b)に示すように、車両の両側方映像データから車両の左側方に位置している障害物3(Obj3)と、車両の右側前方に位置している障害物2(Obj2)を認識する。
この際、障害物2(Obj2)の場合、前方映像データと側方映像データの両方から認識されるため、これらの認識結果が同一の障害物を示すのかそれとも別の障害物を示すのかを判断しなければならない。
このために、センサフュージョン演算モジュール300は、前後方映像データと両側方映像データが重なる関心領域(ROI:Region of Interest)で認識される境界障害物が、前後方映像データまたは側方映像データの少なくともいずれか1つの映像データで認識されている障害物のうちの如何なる障害物と同一であるかを判断し、障害物を特定する境界障害物特定部330をさらに含む。
すなわち、境界障害物特定部330は、前後方映像データと側方映像データで重複して認識された障害物のうち同一の障害物を1つの障害物として特定するためのものである。
このように、関心領域で認識された障害物を前後方映像データまたは側方映像データで認識された障害物と区別して説明するために、特定前に関心領域にある障害物を「境界障害物」と表現し、特定後には、他の障害物と同様に「障害物」と表現する。
境界障害物特定部330は、前後方映像データで認識された境界障害物イメージの第1図心(centroid)と、側方映像データで認識された境界障害物イメージの第2図心(centroid)をそれぞれ算出して、同一の障害物分類コードがマッチしている境界障害物に対して算出された第1図心と第2図心相互との距離が最小である境界障害物を同一障害物として判断する。
このために、境界障害物特定部330は、図6の(a)および(b)に示すように、車両前方の右側と左側領域、そして車両後方の右側および左側領域を関心領域(ROI)として設定(図6では点線の四角形で表示する)し、関心領域(ROI)で認識された障害物を境界障害物として選定する。図6では、円形イメージの境界障害物が第1境界障害物として選定され、長方形イメージの境界障害物が第2境界障害物として選定されたことを示している。
境界障害物特定部330は、関心領域にある境界障害物が選定された後、前後方映像データで認識された境界障害物のポイント座標を用いて第1図心(centroid)を算出し、側方映像データで認識された境界対象物のポイント座標を用いて第2図心(centroid)を算出する。これにより、境界対象物の一部だけ認識された場合には、認識されたポイントだけの図心を算出する。
これにより、前後方映像データに関心領域(ROI)が重畳表示されている図6の(a)に示すように、前後方映像データで第1境界障害物が認識されたポイント(円形の点で表示する)の位置情報に対する第1図心(x、y)を下記の数式1のように算出する。
[数式1]
図6の(a)では、第1境界障害物に対する第1図心の位置を英文字Xで示した後、P1,fで表記している。また、第2境界障害物に対する第1図心も英文字Xで示した後、P2,fで表記している。
また、側方映像データに関心領域(ROI)が重畳表示されている図6の(b)に示すように、両側方映像データで第1境界障害物が認識されたポイント(菱形状の点で表示する)の位置情報に対する第2図心(x、y)を上記の数式1によって算出する。
図6の(b)では、第1境界障害物に対する第2図心の位置を英文字Xで示した後、P1,sで表記している。また、第2境界障害物に対する第2図心も英文字Xで示した後、P2,sで表記している。
このように、各境界対象物に対する第1図心(P1,f、P2,f)と第2図心(P1,s、P2,s)をそれぞれ算出した後、境界障害物特定部330は、各関心領域内で前後方映像データ上の境界障害物と両側方映像データ上の境界障害物のうち互いに同一の障害物分類コードがマッチしている境界障害物を比較対象として選定する。
次に、境界障害物特定部330は、下記の数式2のように、比較対象として選定された各境界障害物に対して算出された第1図心と第2図心との相互間の距離をユークリッドノルム(Euclidean norm)によって演算した後、最小の距離を有する2つの境界障害物を同一障害物として判断する。
[数式2]
これにより、図7に示すように、第1境界障害物に対して前後方映像データから算出された第1図心P1,fと側方映像データから算出された第2図心P1,sの距離が最小であるため、同一の障害物を示すものと判断する。また、第2境界障害物に対しても第1図心P2,fと第2図心P2,sの距離が最小であるため、同一の障害物を示すものと判断する。
また、障害物マップ生成部340は、車両の位置を基準として、SVMカメラの映像データから取得した障害物認識情報を各障害物が認識された位置情報の座標とともにマッピングして格納することで、自律駐車を行おうとする駐車区域に対する障害物分布現況を示す障害物マップ360を生成する。
これにより、障害物マップ生成部340は、図8の(a)および(b)に示すように、前後方映像データと側方映像データに基づいて障害物認識部320で認識された障害物情報(障害物分類コードと外形イメージを含む)を車両の現在の位置を基準とする障害物マップ360上に格納する。
この際、前後方映像データと両側方映像データの両方で認識される関心領域(ROI)にある障害物2(Obj2)の場合、境界障害物特定部330によって図8の(a)で認識された境界障害物と図8の(b)で認識された境界障害物とが同一の物体である障害物2(Obj2)であることを特定する。
その結果、図8の(c)に示すように前後方映像データからのみ取得された障害物1(Obj1)が車両の前方に位置し、両側方映像データからのみ取得された障害物3(Obj3)が車両の左側に位置し、関心領域で認識された障害物2(Obj2)が車両の右側前方に位置することを障害物マップ360上に格納する。
この際、図8の(c)では、車両の前後方映像データから取得された障害物認識情報は、円形の点で表示し、車両の両側方映像データから取得された障害物認識情報は、菱形状の点で表示して、視覚的な区別の便宜を図った。
また、センサフュージョン演算モジュール300は、超音波センサでのセンシングデータに基づいて、障害物マップ上に設定されている障害物の位置を補正して格納する障害物位置補正部350をさらに含む。
障害物位置補正部350は、超音波センサに最も近い位置にある障害物のポイントを基準座標として選定した後、超音波センサを中心とし、基準座標に対するセンシングデータ(TOF)の回帰経路を半径とする円に接するまで基準座標を平行移動させて障害物の補正座標として設定し、障害物の残りのポイントの座標を基準座標が補正座標に移動した方向に沿って同様に平行移動させて障害物の位置を補正する。
この際、超音波センサに最も近い位置にある障害物の座標としては、図9および数式3に示すように、超音波センサでセンシングデータ(TOF)が最も短く測定された障害物のポイントにマッチしている座標Pj,objを基準座標として設定する。また、このような基準座標は、超音波センサの感知範囲(FOV:Field of View)から逸脱しない領域として設定する。
[数式3]
この際、PUSSは、車両に備えられている超音波センサ(USS:Ultrasonic Sensor)100の位置を示し、Pj,objは、映像データで認識された障害物のイメージのうちj番目のセルで認識された障害物の座標として、基準座標を示し、TOFは、超音波センサから放出された後、障害物にぶつかって反射する超音波センサの飛行時間を示す。
障害物位置補正部350は、基準座標Pj,objを超音波センサによってセンシングされた位置まで平行移動させて補正座標として設定する。このために、障害物位置補正部350は、超音波センサの設置位置PUSSからセンシングデータ(TOF)が反射した障害物の位置に至る距離を半径とする円を設定した後、基準座標を現在の座標Pj,objからSVMカメラ200の設置位置PCAMに向かう
に沿って平行移動させることで、補正座標P’j,objを設定する。
以降、障害物位置補正部350は、障害物マップに格納されている障害物を示す座標を、基準座標Pj,objが補正座標P’j,objに移動した
に沿って同様に平行移動させることで、障害物の位置を補正する。
これにより、映像データに基づいて取得した障害物の座標のうち超音波センサ100に最も近い位置にある障害物の基準座標は、車両に備えられたSVMカメラ200に向かう方向に移動させ、障害物の残りの座標は、基準座標の移動方向に沿って平行に移動させることで、補正過程で障害物のイメージが歪むことを防止する。
この際、図9に示すように、1つの障害物に対して、センシングデータ(TOF)を1つのみ受信した場合(すなわち、外部(outer)超音波センサでは感知されるが、内部(inner)超音波センサでは感知されない場合)には、上述のように、センシングデータの値が最も短い飛行時間(TOF)を有するポイントの座標を基準座標として設定する。
しかし、図10に示すように、1つの障害物に対してセンシングデータ(TOF)を複数個受信した場合(すなわち、外部(outer)超音波センサと内部(inner)超音波センサの両方でセンシングデータを受信した場合)には、それぞれのセンシングデータ(TOF)を用いて障害物の位置を補正した後、下記の数式4のように、補正された障害物の位置を示す座標の平均を算出し、算出した平均を障害物の最終位置として補正する。この際、Nは、1つの障害物に対して受信したセンシングデータ(TOF)の総個数である。
[数式4]
図10では、外部(outer)超音波センサPUSS1により受信したセンシングデータ(TOF)によって設定される基準座標をPj,obj1で示し、内部(inner)超音波センサPUSS2により受信したセンシングデータ(TOF)によって設定される基準座標をPj,obj2で示している。
また、2つの基準座標(Pj,obj1、Pj,obj2)からSVMカメラの設置位置PCAMに向かうベクトル方向にそれぞれ平行移動させた補正座標を設定することを示している。このように、各基準座標から各補正座標に向かうベクトル方向に沿って障害物の他の座標を平行移動させた後、その結果の平均を障害物の最終補正位置として設定することは上述のとおりである。
また、駐車支援モジュール400は、障害物マップに格納されている障害物のポイントを示す座標に基づいて駐車空間への進入時に回避すべき障害物のポイントを回避基準点として選択する回避基準点決定部410と、駐車空間に進入する車両が、障害物を回避して駐車を行うように車両が整列すべき整列角を演算する整列角算出部430とを含む。
回避基準点決定部410は、駐車空間への進入時に隣接した障害物との接触を回避すべき車両部位を車両基準点として設定し、障害物マップ上に格納されている障害物ポイントのうち車両基準点との距離が最小である障害物の座標を回避基準点として選択する。
このために、回避基準点決定部410は、図11に示すように、車両のバンパーの左側端部を第1車両基準点P1として設定し、車両のバンパーの中央端部を第2車両基準点P2として設定し、車両のバンパーの右側端部を第3車両基準点P3として設定する。この際、前面駐車をする場合には、車両の前面バンパーを基準に車両基準点が設定されるが、後面駐車をする場合には、車両の後面バンパーを基準に車両基準点が設定される。
また、回避基準点決定部410は、車両の中心を基準とするローカル座標系上のx軸を中心に一側の+y軸方向と他側の-y軸方向のそれぞれを第1および第2基準点関心領域(ROI)として区分して設定する。第1および第2基準点関心領域(ROI)は、車両の左側と右側にある障害物との接触を回避しなければならない回避基準点を各障害物の座標から選択するための領域になる。
回避基準点決定部410は、各基準点関心領域にある障害物ポイントのうち車両基準点との距離が最小であるポイントを各基準点関心領域での回避基準点として選択する。
このために、回避基準点決定部410は、下記の数式5のように、費用関数(cost function)によって、車両基準点と各基準点関心領域にある障害物ポイントとの距離を演算し、その距離が最小であるポイントを回避基準点として選択する。
[数式5]
数式5中、αは、重み係数(weighting factor)であり、αが0に近いほどx軸座標の項目が小さくなるため、y軸方向に重みが付与され、αが1に近いほどy軸座標の項目が小さくなるため、x軸方向に重みが付与される。この際、xPbase、yPbaseは、車両の中心を基準とするローカル座標系上にある車両基準点の座標であり、xPi、yPiは、障害物マップ上に格納されている障害物に対する各ポイントの座標である。
これにより、Pbaseが第1車両基準点であるPの場合、数式5によって選択される回避基準点は、第1基準点関心領域にある+y軸方向での第1回避基準点Py+となり、Pbaseが第3車両基準点であるP3の場合、数式5によって選択される回避基準点は、第2基準点関心領域にある-y軸方向での第2回避基準点Py-になる。図11では、このように選択された回避基準点を中空の円で表示して、車両の現在の位置で回避基準点にならない障害物の他のポイントの座標と区別がつくようにした。
また、駐車支援モジュール400は、回避基準点決定部410で回避基準点を選択するにあたり適用された重み係数を車両から障害物に至る距離が減少することに伴い、y軸方向への重みを増加させて適用する重み可変部420をさらに含む。
これにより、図12の(d)に示すように、車両と障害物とのx軸距離が一定の基準距離dよりも遠い場合には、重み係数αを最大値であるαとして適用し、基準距離dよりも近い場合には、重み係数αを最小値であるαとして適用し、数式5のような費用関数によって回避基準点を決定する。この際、図12の(d)のグラフに示す基準距離dと、重み係数の最小値αと、重み係数の最大値αは、調整可能なパラメータである。
これにより、図12の(a)~(c)に示すように、車両と障害物とのx軸距離dが基準距離dよりも大きい場合には、車両基準点とのx軸距離が近い座標にあるポイントがより高い重みを有して回避基準点として選択されるが、車両と障害物とのx軸距離dが基準距離dよりも小さい場合には、x軸距離よりもy軸距離が近い座標にあるポイントがより高い重みを有して回避基準点として選択される。
このように、重み可変部420は、車両と障害物との距離が減少するのにつれて障害物間の駐車空間に進入する車両の整列と離隔制御のためにy軸方向の重みを増加させることで、障害物への衝突回避性能を向上させる。
また、整列角算出部430は、車両の前面中心に設定されている第2車両基準点と回避基準点とがなす角度の平均を車両が障害物を回避して駐車空間に進入するための初期整列角として算出し、駐車空間への車両進入程度に応じて回避操舵のために増減させなければならない整列角変化量を算出し、車両の回避操舵制御のためのデータとして提供する。
整列角算出部430は、駐車空間への進入の前に、図15の(a)に示すように、車両の前面中心に設定された第2車両基準点が車両の左側に位置する障害物から選択された第1回避基準点(中空の円で表示する)および車両の右側に位置する障害物から選択された第2回避基準点(中空の円で表示する)となす角度の平均を初期整列角δとして算出する。
このように算出された初期整列角は、図15の(a)に示すように、車両の中心を基準とするローカル座標系上のx軸からの回転角度であり、駐車空間に進入する車両の現在の操舵角である。
また、整列角算出部430は、図15の(b)に示すように、現在の初期整列角δを示す直線である中心基準線に平行して各回避基準点を通過する直線l、lである第1回避基準線および第2回避基準線によって回避関心領域(Avoidance Direction ROI)を設定する。
これにより、第1回避基準点を通過する第1回避基準線と中心基準線との間の領域を第1回避関心領域として設定し、第2回避基準点を通過する第2回避基準線と中心基準線との間の領域を第2回避関心領域として設定する。
また、整列角算出部430は、下記の数式6のように、ユークリッドノルム(Euclidean norm)によって、第1回避関心領域内にある障害物のポイントと第1回避基準線との距離の和と、第2回避関心領域内にある障害物のポイントと第2回避基準線との距離の和を求めた後、2つの距離の和の差をコスト(cost)として算出し、このようなコストが最小になるように初期整列角を修正する整列角変化量を算出する。
[数式6]
この際、数式6中、P1,iは、第1回帰基準線と中心基準線との間の第1回避関心領域内にある障害物ポイントの座標であり、P3,jは、第2回帰基準線と中心基準線との間の第2回避関心領域内にある障害物ポイントの座標である。
また、整列角算出部430は、数式6によって算出されるコスト(cost)が収束される速度を速くするために、図13のグラフに示された比例関係を用いて、整列角変化量Δδを算出する。
したがって、車両が駐車空間に進入するにつれて第1回避基準点と第2回避基準点が変化し、これにより、第1回避関心領域と第2回避関心領域が変化し、各回避関心領域内にある障害物のポイントも変化する。このように、各回避関心領域内にある障害物のポイントが変化するのに伴い、数式6によって算出される整列角変化量が変化するため、変更される位置で障害物の回避制御のために求められる整列角による操舵制御を行う。
この際、図13のグラフに示すaとbは、チューニングパラメータ(tuning parameter)であり、整列角算出部430で整列角変化量を算出する際に具現しようとする収束速度と収束程度に応じて異なるように設定される。すなわち、収束速度を迅速に具現しようとする場合には、bの値を増加させてコスト(cost)の小さな変化にも整列角変化量が大きく算出されるようにし、収束程度を精密に制御しようとする場合には、aの値を増加させてコスト(cost)の変化に応じて精密な整列角変化量を算出する。
整列角算出部430は、上述のように整列角変化量を算出した後、下記の数式7のように、従来の整列角に整列角変化量を反映させて現在の整列角を算出する。これにより、駐車空間への進入を開始する最初に算出された初期整列角から、車両の駐車空間への進入が行われる間に算出される整列角変化量が反映された現在の整列角を算出し続ける。
[数式7]
また、整列角算出部430は、コスト(cost)算出と整列角変化量Δδ算出の正確性を向上させるために、現在の整列角δで整列角変化量を演算し、新たな整列角を算出する過程を、予め設定された所定の回数(図14では繰り返し演算回収Kを10回に設定する)繰り返した後、その結果を出力する。
また、整列角算出部430は、車両に備えられた側方超音波センサからセンシングデータ(TOF)を所定の回数以上(例えば、5回以上)連続して受信した場合、車両が障害物(駐車中の車両や駐車場の柱または壁面)の間の駐車空間に進入したと判断する。
このように駐車空間に進入したと判断した後、整列角算出部430は、+y軸方向の領域(すなわち、図16では車両の左側)にある回避基準点と、-y軸方向の領域(すなわち、図16では車両の右側)にある回避基準点が属している障害物を目標障害物(Target Object)として選定する。
この際、目標障害物は、第1および第2回避関心領域のそれぞれに存在する障害物のうちy軸方向の距離が最も近い障害物として選定される。
また、整列角算出部430は、車両が駐車空間に進入した後には、安全な駐車のために、障害物との間の駐車空間に車両を整列しなければならないため、駐車空間への進入時に判断した回避基準点を空間進入回避基準点(Ptarget1、Ptarget3)として選定する。
この際、整列角算出部430は、目標障害物のポイントのうち空間進入回避基準点(Ptarget1、Ptarget3)のx座標よりもx軸座標値がより大きいポイントの座標を表現する新たな回避基準線(l、l)を下記の数式8のように最小自乗法(Least Square)によって算出する。
[数式8]
これにより、図17に示すように、回避基準線l(y=ax+b)とl(y=ax+b)を数式8によって算出する。次に、整列角算出部430は、2つの直線の勾配の平均を用いて、下記の数式9のように、空間進入回避基準点をはじめ、障害物のポイントに接しないように誘導する新たな整列角δを算出し、このような整列角にしたがって車両を操舵制御することで、障害物を回避操舵して自律駐車を行う。
また、駐車支援モジュール400は、駐車完了のために駐車空間に進入する車両を誘導するための整列目標点を下記の数式9によって算出した後、駐車完了のための誘導ポイントとして提供する整列目標点算出部440をさらに含む。
[数式9]
このために、整列目標点算出部440は、図18および数式9のように、整列角算出部430で車両の駐車空間への進入後に選定された第1回避基準点Py+と第2回避基準点Py-のx座標とy座標値の平均に相当する位置の座標を車両が停車すべき整列目標点として算出して提示する。
次に、図19を参照して、本発明の一実施形態による回避操舵制御が改善された駐車支援方法について説明する。
図19は本発明の一実施形態による回避操舵制御が改善された駐車支援方法の構成図である。
図19を参照すると、本発明の一実施形態による回避操舵制御が改善された駐車支援方法は、SVMカメラで撮影された車両の前後方と側方映像データによって駐車空間周辺の障害物イメージを取得する映像データ取得ステップ(S100)と、センサモジュールで取得されたセンシングデータによって障害物の位置と障害物までの距離を感知するセンシングデータ取得ステップ(S200)と、映像データによって認識され、センシングデータによって位置が補正された障害物の座標を障害物マップに格納する障害物マップ生成ステップ(S300)と、障害物を構成するポイントの座標のうち車両の回避が求められる回避基準点を選択し、回避基準点に基づいて回避操舵のために求められる車両の整列角を算出する駐車支援ステップ(図示せず)とを含む。
映像データ取得ステップ(S100)では、車両に備えられたSVM(Surround View Monitor)カメラを用いて車両の前後方および両側方映像を撮影し、車両が進入しようとする駐車空間の周辺にある障害物の存否と、車両を基準として障害物が位置する方向情報を把握することができる映像データを取得する。
すなわち、映像データ取得ステップ(S100)では、車両の前後および左右両側にそれぞれ設置されている4個の広角カメラからなるSVMカメラによって映像データを取得することで、より広い感知範囲に及ぶ映像データを取得する。
また、センシングデータ取得ステップ(S200)では、センサモジュールが超音波センサで構成される場合、車両に備えられた超音波センサから放出された後、周辺障害物に反射して戻る超音波信号の飛行時間(TOF)と方向を認知し、障害物の存否と当該障害物までの距離を感知する。
また、障害物マップ生成ステップ(S300)は、映像データに基づいて駐車空間の周辺にある障害物の存否とその位置を認識した後、車両の現在の位置を基準とするローカル座標系上で障害物が存在するポイントの座標を当該障害物の分類情報とマッチさせて格納し、駐車空間に対する障害物分布現況を示す障害物マップを生成する。
このために、障害物マップ生成ステップ(S300)では、SVMカメラで撮影された映像データに示される車両の前後方領域と両側方領域を均等な間隔で分けられた多数のセルに分割し、各セルにアドレスを付与する。
また、障害物マップ生成ステップ(S300)では、映像データに示されたイメージによって車両の周辺にある障害物の存否を把握し、認識した障害物のイメージを予め格納されている障害物分類テーブル上の障害物イメージと比較し、障害物の種類を認識する。
この際、障害物を認識するにあたり、セルごとに障害物イメージを示すポイントの存在有無を判断し、各セルで認識される障害物の分類コードが隣接した他のセルで認識される障害物の分類コードと同一である場合、同一障害物のイメージが複数のセルでともに認識されていると判断する。
このように、障害物マップ生成ステップ(S300)では、分割されているセルごとに障害物のイメージが認識されるか否かと、そのイメージが複数のセルで連続して認識されるか否かを判断し、障害物の外形を把握する。
また、各セルで障害物が認識される外側部のポイントを把握し、車両の現在の位置を基準とするローカル座標系上で障害物が認識された各ポイントの座標を位置情報としてともに格納し、障害物マップを生成する。
このように障害物マップを生成するために、映像データから障害物を認識する時に、前後方映像データと側方映像データで重畳して撮影される領域である関心領域(ROI)にある障害物は、2つの映像データでいずれも認識される。
これにより、前後方映像データと側方映像データが重なる関心領域(ROI)で認識された境界障害物が、前後方映像データまたは側方映像データの少なくともいずれか1つの映像データで認識されている障害物の如何なる障害物と同一であるかを判断し、障害物を特定する境界障害物特定ステップ(S400)をさらに含む。
境界障害物特定ステップ(S400)は、前後方映像データと側方映像データのうち、関心領域(ROI)でイメージが認識される物体を境界障害物として選定する境界障害物選定過程(S410)と、前後方映像データと側方映像データのそれぞれで認識される境界障害物のポイント座標に対する平面中心である第1図心と第2図心を演算する図心算出過程(S420)と、境界算出物に対して算出された第1図心と第2図心との距離を比較し、最小の距離を有する2つの境界障害物を同一障害物として特定する境界障害物判断過程(S430)とを含む。
この際、境界障害物選定過程(S410)では、車両の前方右側と左側領域、および車両の後方右側と左側領域をそれぞれ関心領域(ROI)として設定し、前後方映像データと側方映像データのうち、関心領域(ROI)に相当する位置やセルで認識される障害物を境界障害物として選定する。
また、図心算出過程(S420)では、前後方映像データのうち関心領域に相当する位置やセルで認識される境界障害物のポイント座標を用いて第1図心(centroid)を算出し、側方映像データのうち関心領域に相当する位置やセルで認識される境界障害物のポイント座標を用いて第2図心(centroid)を算出する。
この際、前後方映像データまたは側方映像データで障害物の一部のみが認識される場合には、認識されるポイントのみの図心を算出することは言うまでもない。
また、境界障害物判断過程(S430)では、各関心領域内で前後方映像データ上の境界障害物と側方映像データ上の境界障害物とのうち互いに同一の障害物分類コードがマッチしている境界障害物を図心の距離比較のための対象として選定する。
次に、境界障害物判断過程(S430)では、比較対象として選定された各境界障害物に対して算出された第1図心と第2図心相互との距離をユークリッドノルム(Euclidean norm)によって演算した後、最小の距離を有する2つの境界障害物を同一障害物として判断する。
このように、前後方映像データと側方映像データによって認識される障害物が特定されると、センサモジュールが超音波センサで構成された場合、超音波センサから放出された後、障害物に反射して戻る超音波信号の飛行時間(TOF)からなるセンシングデータに基づいて障害物の位置を補正し障害物マップに格納する障害物位置補正ステップをさらに含む。
このために、障害物位置補正ステップ(S500)は、超音波センサに最も近い位置にある障害物のポイントを基準座標として選定し、超音波センサを中心とし、且つ基準座標に対するセンシングデータ(TOF)の回帰経路を半径にする円に接するまで基準座標を平行移動させて障害物の補正座標を生成する基準座標補正過程(S510)と、障害物の残りのポイントの座標を基準座標が補正座標に移動した方向に沿って同様に平行移動させる障害物ポイント補正過程(S520)とを含む。
この際、基準座標補正過程(S510)では、超音波センサでセンシングデータ(TOF)が最も短く測定された障害物のポイントにマッチしている座標を基準座標として設定する。
基準座標補正過程(S510)では、基準座標を超音波センサによって感知された位置まで移動させるために、基準座標を現在の座標(映像データに基づいて算出された障害物マップ上の座標)からSVMカメラの設置位置に向かう方向に移動させることで、補正座標を算出する。
また、障害物ポイント補正過程(S520)では、障害物マップに格納されている障害物の残りの座標を基準座標が補正座標に移動したベクトル方向に沿って平行移動させることで、障害物の位置を補正する。
これにより、映像データに基づいて広い範囲にわたり障害物の存否と位置を確認した後、超音波センサのセンシングデータ(TOF)によって最も近いポイントの座標位置を特定し、障害物の残りのポイントを平行移動させて障害物の最終位置を補正し障害物マップに格納することで、駐車空間の周辺にある障害物の存否と各障害物との距離に関する正確な情報を取得する。
また、駐車支援ステップは、障害物マップに格納されている障害物のポイント座標と駐車空間に進入する車両基準点相互との距離関係に基づいて車両が回避すべき障害物のポイントを回避基準点として選択する回避基準点決定ステップ(S600)と、車両基準点が回避基準点を回避して駐車空間に進入するように車両を操舵制御するために求められる整列角を演算する整列角算出ステップ(S700)とを含む。
この際、回避基準点決定ステップ(S600)は、車両の中心を基準とするローカル座標系上のx軸を中心に一側の+y軸方向と他側の-y軸方向それぞれの所定の領域を第1基準点関心領域と第2基準点関心領域として設定する基準点関心領域設定過程(S610)と、駐車空間への進入時に隣接した障害物との接触を回避すべき車両部位を車両基準点として設定し、第1基準点関心領域と第2基準点関心領域にある障害物のポイントのうち車両基準点との距離が最小である障害物の座標を回避基準点として選択する回避基準点選択過程(S620)とを含む。
基準点関心領域設定過程(S610)で設定される第1基準点関心領域と第2基準点関心領域は、車両の中心をx軸とする任意のローカル座標系上で+y軸方向と-y軸方向の所定の領域として設定する。すなわち、障害物間の駐車空間に進入する場合、車両の両側端部に設定された車両基準点の衝突が予想される所定の範囲の領域として設定される。
このように設定される第1基準点関心領域と第2基準点関心領域は、回避基準点として選択される予備ポイントを決定するための領域になる。
また、回避基準点選択過程(S620)では、車両のバンパーの左側端部を第1車両基準点として設定し、車両のバンパーの中央端部を第2車両基準点として設定し、車両のバンパーの右側端部を第3車両基準点として設定する。このように設定された第1~第3車両基準点に対して、車両の中心を基準とするローカル座標系上の座標が付与される。
以降、回避基準点選択過程(S620)では、車両基準点と各基準点関心領域にある障害物ポイントとの距離を演算し、その距離が最小であるポイントを回避基準点として選択する。
この際、基準点関心領域にある多数の障害物ポイントのうち車両基準点との距離が最小であるポイントを選択するにあたり、駐車空間に進入中の車両と障害物との距離が減少するにつれて、y軸方向への重みを増加させて適用する重み可変過程(S630)をさらに含む。
これにより、車両と障害物とのx軸距離が予め設定されている基準距離よりも大きい場合には、車両基準点とのx軸距離が近い座標にあるポイントが高い重みを有して回避基準点として選択され、車両と障害物とのx軸距離が基準距離よりも小さい場合には、車両基準点とのy軸距離が近い座標にあるポイントが高い重みを有して回避基準点として選択される。
また、整列角算出ステップ(S700)は、車両の前面中心に設定されている車両基準点と回避基準点がなす角度の平均を車両が障害物を回避して駐車空間に進入するために求められる初期整列角として算出する初期整列角算出過程(S710)と、初期整列角を示す直線である中心基準線に平行して各回避基準点を通過する直線である回避基準線によって回避関心領域を設定する回避関心領域設定過程(S720)と、駐車空間への車両の進入程度に応じて障害物の回避操舵のために増減させなければならない整列角変化量を算出して車両の回避操舵制御のためのデータとして提供する整列角変化量算出過程(S730)とを含む。
この際、初期整列角算出過程(S710)では、車両の前面中心に設定されている第2車両基準点が、車両の左側に位置する障害物から選択された第1回避基準点および車両の右側に位置する障害物から選択された第2回避基準点となす角度の平均を初期整列角として算出する。このように算出された初期整列角に沿って車両が駐車空間に進入するように操舵制御が行われる。
また、回避関心領域設定過程(S720)では、現在の初期整列角を示す直線である中心基準線と平行して、第1回避基準点を通過する直線である第1回避基準線と、中心基準線と平行して、第2回避基準点を通過する直線である第2回避基準線によって回避関心領域を設定する。
これにより、第1回避基準点を通過する第1回避基準線と中心基準線との間の領域を第1回避関心領域として設定し、第2回避基準点を通過する第2回避基準線と中心基準線との間の領域を第2回避関心領域として設定する。
このような第1回避関心領域と第2回避関心領域は、車両の整列角変化量の算出のための障害物ポイントが選択される領域を提供する。すなわち、第1回避関心領域と第2回避関心領域にあるポイントのみが整列角変化量算出のためのコスト(cost)演算に使用される。
また、整列角変化量算出過程(S730)では、ユークリッドノルム(Euclidean norm)によって第1回避関心領域内にある障害物のポイントと第1回避基準線との距離の和と、第2回避関心領域内にある障害物のポイントと第2回避基準線との距離の和をそれぞれ求めた後、2つの距離の和の差であるコスト(cost)が最小になるように初期整列角を修正する整列角変化量を算出する。
すなわち、車両が駐車空間に進入するにつれて第1回避基準点と第2回避基準点が変化し、これにより、第1回避基準線と第2回避基準線が変化して、第1回避関心領域と第2回避関心領域も変化する。
これにより、各回避関心領域内にある障害物のポイントが変化し、このような障害物のポイントと各回避基準線との距離に基づいて算出される整列角変化量も変化する。
このように算出される整列角変化量が車両の現在整列角に反映されるように操舵制御することで、車両が駐車空間に進入する間に回避基準点として選択されたポイントを有している障害物に衝突しない。また、両回避基準点または両回避基準線からの距離の差を比較的均等に維持する状態(すなわち、数式6によって算出されたコスト(cost)が最小である状態)で安全に駐車する。
この際、整列角変化量算出過程(S730)では、図14に示すように、車両の現在整列角で回避関心領域を設定した後、各回避関心領域内にあるポイントの座標を用いてコストを計算し、コストが最小になる整列角変化量を算出して現在の整列角を更新する過程を、予め設定された所定の回数(図14では繰り返し演算回数Kを10回と設定したが、このような特定回数に制限されず、その回数を増減させる)繰り返した後、その結果を更新された整列角として出力する。
また、整列角算出ステップ(S700)は、車両が障害物の間の駐車空間に進入したと判断した場合、各回避基準点をポイントとして有している各障害物を最終回避対象である目標障害物(Target Object)として選定し、2つの回避基準点の座標値の平均に相当する位置を2つの障害物の間に車両が停車すべき整列目標点として算出する整列目標点算出過程(S740)をさらに含む。
このために、整列目標点算出過程(S740)では、車両が障害物の間の駐車空間に進入したと判断した場合、車両の中心を基準としたときに、+y軸方向の領域にある回避基準点と、-y軸方向の領域にある回避基準点をポイントとして有している各障害物を最終回避対象である目標障害物(Target Object)として選定する。
この際、整列目標点算出過程(S740)では、車両が駐車空間への進入時に判断された回避基準点を空間進入回避基準点として選定し、目標障害物のポイントのうち空間進入回避基準点のx座標よりもx軸座標値がより大きいポイントの座標を表現する新たな回避基準線を最小自乗法によって算出する。
また、整列目標点算出過程(S740)では、新たに算出された回避基準線によって車両の整列角を操舵制御しながら、整列目標点に至るように車両を誘導して駐車を行う。
また、駐車支援ステップ(S700)は、整列角算出ステップで算出される整列角変化量が反映されて更新された整列角によって障害物を回避して駐車空間に車両を誘導する回避経路を生成して提供する回避経路生成ステップ(図示せず)と、回避経路に沿って走行するために求められる操舵制御命令を生成して操舵装置に伝送する操舵制御命令生成ステップ(図示せず)とをさらに含むことで、障害物への衝突を安定的に回避しながら駐車空間への自律駐車を行う。
以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正および変形が可能である。
したがって、本明細書に開示されている実施形態は、本発明の技術思想を限定するためのものではなく、説明するためのものであって、このような実施形態によって本発明の技術思想の範囲が限定されるものではない。
100 センサモジュール
200 SVMカメラ
300 センサフュージョン演算モジュール
310 セル設定部
320 障害物認識部
321 障害物分類テーブル
330 境界障害物特定部
340 障害物マップ生成部
350 障害物位置補正部
360 障害物マップ
400 駐車支援モジュール
410 回避基準点決定部
420 重み可変部
430 整列角算出部
440 整列目標点算出部

Claims (16)

  1. 車両の周辺を探索して取得したセンシングデータによって車両から障害物までの距離を感知するセンサモジュールと、
    車両の周辺を撮影して障害物の位置と方向を感知することができる映像データを取得するSVM(Surround View Monitor)カメラと、
    前記センサモジュールのセンシングデータと前記SVMカメラの映像データを融合して車両の現在の位置を基準とする障害物の位置情報を算出するセンサフュージョン演算モジュールと、
    前記位置情報に基づいて障害物を回避して自律駐車するための車両の操舵制御を行う駐車支援モジュールとを含み、
    前記センサフュージョン演算モジュールは、
    前後方映像データと両側方映像データが重なる関心領域(ROI:Region of Interest)で認識された境界障害物が、前記前後方映像データまたは側方映像データの少なくともいずれか一つの映像データで認識されている障害物の如何なる障害物と同一であるかを判断して障害物を特定する境界障害物特定部をさらに含み、
    前記境界障害物特定部は、
    前記前後方映像データで認識された境界障害物イメージの第1図心と前記側方映像データで認識された境界障害物イメージの第2図心をそれぞれ算出し、同一の障害物分類コードがマッチしている境界障害物に対して算出された前記第1図心と前記第2図心との距離が最小である境界障害物を同一障害物として判断することを特徴とする回避操舵制御が改善された駐車支援システム。
  2. 前記センサフュージョン演算モジュールは、
    前記SVMカメラで取得した映像データ上の車両の周辺領域を一定の間隔のセルに分割して、各セルにアドレスを付与するセル設定部と、
    前記映像データに基づいて障害物の存否を感知し、感知した障害物の種類を分類して駐車区域内に存在する障害物を認識する障害物認識部と、
    前記映像データ上で障害物が認識された位置のセルアドレスを障害物の分類情報とマッチさせて格納し、駐車区域に対する障害物分布現況を示す障害物マップを生成する障害物マップ生成部とを含むことを特徴とする請求項1に記載の回避操舵制御が改善された駐車支援システム。
  3. 前記センサモジュールは、
    超音波の飛行時間(TOF:Time of Flight)によってセンシングデータを取得する超音波センサで構成され、
    前記センサフュージョン演算モジュールは、
    前記映像データによって認識されて前記障害物マップ上に格納されている障害物の位置を、前記超音波センサでのセンシングデータに基づいて補正して格納する障害物位置補正部をさらに含むことを特徴とする請求項2に記載の回避操舵制御が改善された駐車支援システム。
  4. 前記障害物位置補正部は、
    前記超音波センサに最も近い位置にある障害物のポイントを基準座標として選定した後、前記超音波センサを中心とし、且つ前記基準座標に対するセンシングデータ(TOF)の回帰経路を半径とする円に接するまで、前記基準座標を同一セル上で移動させて障害物の補正座標として設定し、前記障害物の残りのポイントの座標を前記基準座標が補正座標に移動した方向に沿って同様に平行移動させて障害物の位置を補正することを特徴とする請求項3に記載の回避操舵制御が改善された駐車支援システム。
  5. 前記障害物位置補正部は、
    1つの障害物に対してセンシングデータ(TOF)を複数個受信した場合、それぞれのセンシングデータ(TOF)を用いて障害物の位置を補正した後、補正した障害物の位置を示す座標の平均を算出し、算出した平均を障害物の最終位置として補正することを特徴とする請求項3に記載の回避操舵制御が改善された駐車支援システム。
  6. 前記駐車支援モジュールは、
    前記障害物マップに格納されている障害物のポイントを示す座標に基づいて駐車空間への進入時に回避すべき障害物のポイントを回避基準点として選択する回避基準点決定部と、
    駐車空間に進入する車両が障害物を回避して駐車を行うように車両が整列すべき整列角を演算する整列角算出部とを含むことを特徴とする請求項3に記載の回避操舵制御が改善された駐車支援システム。
  7. 前記回避基準点決定部は、
    駐車空間への進入時に隣接した障害物との接触を回避すべき車両部位を車両基準点として設定し、車両の中心を基準とするローカル座標系上でx軸一側の+y軸方向と他側の-y軸方向それぞれの所定領域を第1および第2基準点関心領域として設定した後、各基準点関心領域にある障害物ポイントのうち前記車両基準点との距離が最小であるポイントを各基準点関心領域での回避基準点として選択することを特徴とする請求項6に記載の回避操舵制御が改善された駐車支援システム。
  8. 前記駐車支援モジュールは、
    車両と障害物とのx軸距離が予め設定された基準距離よりも大きい場合には、前記車両基準点とのx軸距離が近い座標にあるポイントが高い重みを有して回避基準点として選択され、車両と障害物とのx軸距離が前記基準距離よりも小さい場合には、前記車両基準点とのy軸距離が近い座標にあるポイントが高い重みを有して回避基準点として選択されるように、車両から障害物に至る距離が減少するにつれてy軸方向への重みを増加させて適用する重み可変部をさらに含むことを特徴とする請求項7に記載の回避操舵制御が改善された駐車支援システム。
  9. 前記整列角算出部は、
    車両の前面中心に設定されている車両基準点と前記回避基準点がなす角度の平均を駐車空間に進入する車両の初期整列角として算出し、駐車空間への車両の進入程度によって回避操舵のために増減させなければならない整列角変化量を算出し、車両の回避操舵制御のためのデータとして提供することを特徴とする請求項6に記載の回避操舵制御が改善された駐車支援システム。
  10. 前記整列角算出部は、
    現在の初期整列角を示す直線である中心基準線に平行して各回避基準点を通過する直線である第1回避基準線および第2回避基準線を用いて、前記第1回避基準線と中心基準線との間の領域を第1回避関心領域として設定し、前記第2回避基準線と中心基準線との間の領域を第2回避関心領域として設定し、前記第1回避関心領域内にある障害物のポイントと第1回避基準線との距離の和と、前記第2回避関心領域内にある障害物のポイントと第2回避基準線との距離の和を求めた後、2つの距離の和の差が最小になるように前記初期整列角を修正する整列角変化量を算出することを特徴とする請求項6に記載の回避操舵制御が改善された駐車支援システム。
  11. SVM(Surround View Monitor)カメラで撮影される車両の前後方映像データと側方映像データによって駐車空間周辺の障害物イメージを取得する映像データ取得ステップと、
    センサモジュールで取得したセンシングデータによって障害物の位置と障害物までの距離を感知するセンシングデータ取得ステップと、
    前記前後方映像データと側方映像データによって認識され、前記センシングデータによって位置が補正された障害物の座標を障害物マップに格納する障害物マップ生成ステップと、
    前記障害物を構成するポイントの座標のうち車両の回避が求められる回避基準点を選択し、前記回避基準点に基づいて回避操舵のために求められる車両の整列角を算出する駐車支援ステップとを含み、
    前記前後方映像データと側方映像データおよび前記センシングデータ(TOF:Time of Flight)を受信して前記障害物マップを生成するにあたり、前記前後方映像データと側方映像データが重なる関心領域(ROI:Region of Interest)で認識された境界障害物が、前記前後方映像データまたは側方映像データの少なくともいずれか一つの映像データで認識されている障害物の如何なる障害物と同一であるかを判断して障害物を特定する境界障害物特定ステップをさらに含み、
    前記境界障害物特定ステップは、
    前記前後方映像データと側方映像データのうち前記関心領域(ROI)でイメージが認識される物体を境界障害物として選定する境界障害物選定過程と、
    前記前後方映像データと側方映像データのそれぞれで認識される境界障害物のポイント座標に対する平面中心である第1図心と第2図心を演算する図心算出過程と、
    同一の障害物分類コードがマッチしている境界算出物に対して算出された第1図心と第2図心との距離を比較し、最小の距離を有する2つの境界障害物を同一障害物として特定する境界障害物判断過程と、を含むことを特徴とする回避操舵制御が改善された駐車支援方法。
  12. 前記障害物マップを生成するにあたり、前記センサモジュールに最も近い位置にある障害物のポイントを基準座標として選定し、前記センサモジュールを中心とし、且つ前記基準座標に対するセンシングデータの回帰経路を半径とする円に接するまで前記基準座標を前記SVMカメラの設置位置に向かう方向に移動させて障害物の補正座標を生成する基準座標補正過程と、
    前記障害物の残りのポイントの座標を前記基準座標が補正座標に移動した方向に沿って同様に平行移動させる障害物ポイント補正過程と、を含むことを特徴とする請求項11に記載の回避操舵制御が改善された駐車支援方法。
  13. 前記駐車支援ステップは、
    前記障害物マップに格納されている障害物のポイント座標と駐車空間に進入する車両で障害物との接触を回避すべき車両部位として設定された車両基準点との距離関係に基づいて、車両が回避すべき障害物のポイントを回避基準点として選択する回避基準点決定ステップと、
    前記車両基準点が回避基準点を回避して駐車空間に進入するように車両を操舵制御するために求められる整列角を演算する整列角算出ステップと、を含むことを特徴とする請求項11に記載の回避操舵制御が改善された駐車支援方法。
  14. 前記回避基準点決定ステップは、
    車両の中心を基準とするローカル座標系上のx軸一側の+y軸方向と他側の-y軸方向それぞれの所定領域を第1基準点関心領域と第2基準点関心領域として設定する基準点関心領域設定過程と、
    前記第1基準点関心領域と第2基準点関心領域にある障害物のポイントのうち前記車両基準点との距離が最小である障害物の座標を回避基準点として選択する回避基準点選択過程とを含むことを特徴とする請求項13に記載の回避操舵制御が改善された駐車支援方法。
  15. 前記回避基準点決定ステップは、
    準点関心領域にある多数の障害物ポイントのうち前記車両基準点との距離が最小であるポイントを選択するにあたり、駐車空間に進入中の車両と障害物との距離が減少することにつれてy軸方向への重みを増加させて適用する重み可変過程をさらに含むことを特徴とする請求項13に記載の回避操舵制御が改善された駐車支援方法。
  16. 前記整列角算出ステップは、
    車両の前面中心に設定されている車両基準点と回避基準点がなす角度の平均を車両が障害物を回避して駐車空間に進入するために求められる初期整列角として算出する初期整列角算出過程と、
    前記初期整列角を示す直線である中心基準線と平行して各回避基準点を通過する直線である第1回避基準線および第2回避基準線を用いて、前記第1回避基準線と中心基準線との領域を第1回避関心領域として設定し、前記第2回避基準線と中心基準線との領域を第2回避関心領域として設定する回避関心領域設定過程と、
    前記第1回避関心領域内にある障害物のポイントと第1回避基準線との距離の和と、前記第2回避関心領域内にある障害物のポイントと第2回避基準線との距離の和を求めた後、二つの距離の和の差が最小になるように前記初期整列角を修正する整列角変化量を算出する整列角変化量算出過程とを含むことを特徴とする請求項13に記載の回避操舵制御が改善された駐車支援方法。
JP2021184269A 2020-12-24 2021-11-11 回避操舵制御が改善された駐車支援システムおよび方法 Active JP7739142B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200183845A KR102895473B1 (ko) 2020-12-24 2020-12-24 회피 조향 제어가 개선된 주차 지원 시스템 및 방법
KR10-2020-0183845 2020-12-24

Publications (2)

Publication Number Publication Date
JP2022101475A JP2022101475A (ja) 2022-07-06
JP7739142B2 true JP7739142B2 (ja) 2025-09-16

Family

ID=81972460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021184269A Active JP7739142B2 (ja) 2020-12-24 2021-11-11 回避操舵制御が改善された駐車支援システムおよび方法

Country Status (5)

Country Link
US (1) US11999383B2 (ja)
JP (1) JP7739142B2 (ja)
KR (1) KR102895473B1 (ja)
CN (1) CN114670809A (ja)
DE (1) DE102021213021A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095968B2 (ja) 2017-10-02 2022-07-05 トヨタ自動車株式会社 管理装置
JP7160014B2 (ja) 2019-10-11 2022-10-25 トヨタ自動車株式会社 駐車支援装置
CN113112847B (zh) * 2021-04-12 2025-09-30 蔚来汽车科技(安徽)有限公司 用于固定泊车场景的车辆定位方法及其系统
US20250109947A1 (en) * 2023-09-29 2025-04-03 Telenav, Inc. Navigation system with parking space and obstruction detection mechanism and method of operation thereof
KR20250147468A (ko) 2024-04-04 2025-10-13 현대모비스 주식회사 이동 장치용 센서퓨전 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129021A (ja) 2004-10-28 2006-05-18 Denso Corp 駐車支援システム
JP2011001029A (ja) 2009-06-22 2011-01-06 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
US20150344028A1 (en) 2014-06-02 2015-12-03 Magna Electronics Inc. Parking assist system with annotated map generation
CN108928343A (zh) 2018-08-13 2018-12-04 吉利汽车研究院(宁波)有限公司 一种全景融合自动泊车系统及方法
JP2019064336A (ja) 2017-09-29 2019-04-25 トヨタ自動車株式会社 衝突回避支援装置
JP2019168909A (ja) 2018-03-23 2019-10-03 株式会社デンソーテン 画像処理装置及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12337761B2 (en) * 2010-04-19 2025-06-24 SMR Patents S.à.r.l. Rearview device simulation
KR101747820B1 (ko) * 2011-01-13 2017-06-15 현대모비스 주식회사 후진 직각 주차 제어 방법 및 장치
KR20150027527A (ko) * 2013-09-04 2015-03-12 현대모비스 주식회사 주차 지원 시스템 및 주차 지원 방법
KR101663290B1 (ko) * 2015-03-20 2016-10-07 주식회사 성우모바일 영상과 거리 보정을 통한 주차 보조 시스템
US10509407B2 (en) * 2016-07-01 2019-12-17 Samsung Electronics Co., Ltd. Apparatus and method for a vehicle platform
EP3778315B1 (en) * 2018-03-30 2022-12-28 Clarion Co., Ltd. Parking assistance device
US11904938B2 (en) * 2018-04-16 2024-02-20 Ohio University Obstacle avoidance guidance for ground vehicles
EP3579020B1 (de) 2018-06-05 2021-03-31 Elmos Semiconductor SE Verfahren zur erkennung eines hindernisses mit hilfe von reflektierten ultraschallwellen
DE102018115895B4 (de) * 2018-06-30 2025-07-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Erkennung von Hindernissen
CN114424265B (zh) * 2019-09-25 2024-09-24 索尼集团公司 信号处理设备、信号处理方法、程序和移动设备
US11092688B1 (en) * 2020-03-20 2021-08-17 Aptiv Technologies Limited Spatial and temporal processing of ultrasonic sensor detections for mapping in vehicle-parking-assist functions
DE112021000135T5 (de) * 2020-06-25 2022-06-30 Nvidia Corporation Sensorfusion für anwendungen autonomer maschinen durch maschinelles lernen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129021A (ja) 2004-10-28 2006-05-18 Denso Corp 駐車支援システム
JP2011001029A (ja) 2009-06-22 2011-01-06 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
US20150344028A1 (en) 2014-06-02 2015-12-03 Magna Electronics Inc. Parking assist system with annotated map generation
JP2019064336A (ja) 2017-09-29 2019-04-25 トヨタ自動車株式会社 衝突回避支援装置
JP2019168909A (ja) 2018-03-23 2019-10-03 株式会社デンソーテン 画像処理装置及び画像処理方法
CN108928343A (zh) 2018-08-13 2018-12-04 吉利汽车研究院(宁波)有限公司 一种全景融合自动泊车系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Baftiu Irfan et al.,"Multi-mode surround view for ADAS vehicles",2016 IEEE International Symposium on Robotics and Intelligent Sensors (IRIS)[online],IEEE,2016年,pp.190-193,[検索日 2025.2.21], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8066089>,DOI: 10.1109/IRIS.2016.8066089
神山博貴,自動駐車システムのための駐車位置検出方法と経路生成方法,オートモーティブ,パナソニック技報[online],2015年05月15日,第61巻 第1号,pp.38~40

Also Published As

Publication number Publication date
KR20220092738A (ko) 2022-07-04
KR102895473B1 (ko) 2025-12-08
DE102021213021A1 (de) 2022-06-30
JP2022101475A (ja) 2022-07-06
CN114670809A (zh) 2022-06-28
US11999383B2 (en) 2024-06-04
US20220204039A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP7739142B2 (ja) 回避操舵制御が改善された駐車支援システムおよび方法
US12481870B2 (en) Method for determining a quality grade of data sets of sensors
US12235113B2 (en) Parking support apparatus
JP5363921B2 (ja) 車両用白線認識装置
US12326499B2 (en) Method for detecting moving objects in the surroundings of a vehicle, and motor vehicle
KR102456626B1 (ko) 자율 주행 차량의 차선 인지 방법 및 장치
EP4266263B1 (en) Method of determining parking area layout
US20200125865A1 (en) Roadside Object Detection Device, Roadside Object Detection Method, and Roadside Object Detection System
US11756310B2 (en) Method and device for sensor data fusion for a vehicle
US20220185287A1 (en) Method and system for target detection of vehicle
JP2002334330A (ja) 車両認識装置
US12142060B1 (en) Object recognition method and object recognition device
US11767033B2 (en) System and method for avoiding collision based on vision
CN113064172A (zh) 基于毫米波雷达与机器视觉融合的汽车安全换道方法
US12414665B2 (en) Collided position determination method, computer-readable storage medium, and robot
CN119773733B (zh) 自动泊车中停车位置更新方法、存储介质及电子设备
US20250316066A1 (en) Sensor fusion apparatus and method for transportation apparatus
EP3244233B1 (en) Apparatus and method for automated parking
JP7563330B2 (ja) 駐車支援装置及びプログラム
US20240219570A1 (en) LiDAR-BASED OBJECT DETECTION METHOD AND DEVICE
US20250148801A1 (en) Apparatus and method for controlling a vehicle
WO2025062624A1 (ja) 運転制御方法及び運転制御装置
CN120972959A (zh) 基于多模式导航的igv智能自动驾驶方法及系统
CN121084377A (zh) 车辆控制方法、装置、车辆、介质、程序产品及芯片系统
CN119540284A (zh) 基于目标检测框的被动速度估计的目标跟踪方法及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250903

R150 Certificate of patent or registration of utility model

Ref document number: 7739142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150