[go: up one dir, main page]

WO2018190362A1 - 車両周囲の歩行者を検出する方法及び装置 - Google Patents

車両周囲の歩行者を検出する方法及び装置 Download PDF

Info

Publication number
WO2018190362A1
WO2018190362A1 PCT/JP2018/015194 JP2018015194W WO2018190362A1 WO 2018190362 A1 WO2018190362 A1 WO 2018190362A1 JP 2018015194 W JP2018015194 W JP 2018015194W WO 2018190362 A1 WO2018190362 A1 WO 2018190362A1
Authority
WO
WIPO (PCT)
Prior art keywords
rider
frame
vehicle
pedestrians
riders
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/015194
Other languages
English (en)
French (fr)
Inventor
依若 戴
楊 張
孝一 照井
健 志磨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2019512544A priority Critical patent/JP6756908B2/ja
Publication of WO2018190362A1 publication Critical patent/WO2018190362A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to a method and apparatus for detecting pedestrians around a vehicle.
  • Patent Document 1 In the on-board camera as a sensor, first a human and a bicycle part are detected, and a rider detection algorithm for determining whether or not a rider is based on the spatial positional relationship of both Is disclosed.
  • Patent Document 1 since it is necessary to detect a circular wheel of a bicycle, it cannot be applied when the bicycle wheel is not visible, and it cannot be determined whether or not a pedestrian is a rider.
  • the operating environment and conditions of the in-vehicle sensor are very severe, and the collision avoidance time of the vehicle running at high speed is extremely short. Therefore, the in-vehicle collision avoidance system is required to have high real-time characteristics and high processing speed.
  • the in-vehicle collision avoidance system is required to have high real-time characteristics and high processing speed.
  • In an actual traffic situation there are many light vehicles, motor vehicles, and many stationary objects such as pedestrians and barricades. Therefore, a plurality of riders may be detected.
  • an algorithm that is complicated in computation and has a large calculation amount often cannot satisfy real-time characteristics. Therefore, according to the prior art, it becomes difficult to detect a plurality of riders in real time.
  • the present invention provides a method and apparatus for quickly distinguishing a plurality of riders and a plurality of pedestrians among pedestrians and detecting a pedestrian around the vehicle that can detect a plurality of riders in real time.
  • an apparatus for detecting pedestrians around a vehicle acquires image information around the vehicle from an imaging device for the vehicle, and an acquisition unit that detects the current vehicle speed of the vehicle; Based on the image information, an initial candidate frame parameter calculation unit that calculates an initial candidate frame parameter including an orientation that is an angle of the pedestrian with respect to the imaging device at each time point of the plurality of pedestrians around the vehicle; An adjustment unit that adjusts the initial candidate frame parameters based on the orientation to obtain the adjusted candidate frame parameters at each time point, and a plurality of pedestrians based on the adjusted candidate frame parameters.
  • the initial candidate frame parameter further includes a frame centroid coordinate, a frame width w, and a frame height h
  • the adjusted candidate frame parameter includes the frame centroid coordinate, the adjusted frame width w ′, and the frame height. h, and the orientation ⁇ , where
  • the classification unit sets the adjusted candidate frame parameter at each time point of each of the one or more riders as the rider detection frame parameter.
  • the classification unit uses the initial candidate frame parameters of each of the one or more pedestrians as pedestrian detection frame parameters at the respective time points of the one or more pedestrians
  • the risk factor setting unit is configured such that the pedestrian detection frame parameter, the state information of each of the one or more pedestrians, and the change frequency of the direction, each pedestrian among the one or more pedestrians. Set the risk factor to.
  • the risk factor setting unit is based on the frame center of gravity coordinates of the rider detection frame parameter at the previous time point and the frame center of gravity coordinates of the rider detection frame parameter at the current time point.
  • the relative speed and the relative movement direction of each rider with respect to the vehicle are acquired.
  • the risk factor setting unit determines whether or not each rider is a new rider. If the rider is a new rider, the risk factor is set to 1. If the rider is not a new rider, the current rider detection frame is set. The risk factor is set based on the frame center-of-gravity coordinates and the direction of the parameter, the relative speed, the relative movement direction, the state information, and the change frequency of the direction.
  • the state information is a normal state or an abnormal state
  • the risk factor setting unit determines that the rider is a child based on the frame height of the rider detection frame parameter, or from the image information
  • the state information is determined as an abnormal state.
  • a method for detecting a pedestrian around a vehicle the first step of acquiring image information around the vehicle from a photographing device of the vehicle and detecting a current vehicle speed of the vehicle, and the image information.
  • a risk factor is set for each rider among the one or more riders based on the step, the rider detection frame parameter, the state information of each of the one or more riders, and the direction change frequency;
  • FIG. 1 is a structural diagram of an apparatus for detecting pedestrians around a vehicle according to an embodiment of the present invention.
  • 3 is a flowchart of a method for detecting pedestrians around a vehicle according to an embodiment of the present invention. It is a schematic diagram of an initial candidate frame at time t1 of one pedestrian among a plurality of pedestrians according to an embodiment of the present invention. It is a schematic diagram of the candidate frame after adjustment of one pedestrian shown in FIG. It is a schematic diagram of the initial candidate frame at the time t1 of another pedestrian among a plurality of pedestrians according to an embodiment of the present invention. It is a schematic diagram of the candidate frame after adjustment of the other pedestrian shown by Fig.4 (a). It is a schematic diagram which shows the definition of direction.
  • FIG. 1 is a structural diagram of an apparatus 10 for detecting pedestrians around a vehicle according to an embodiment of the present invention.
  • the device 10 for detecting pedestrians around a vehicle includes an acquisition unit 11, an initial candidate frame parameter calculation unit 12, an adjustment unit 13, a classification unit 14, and a risk coefficient setting unit 15.
  • FIG. 2 is a flowchart of a method for detecting pedestrians around a vehicle according to an embodiment of the present invention.
  • the acquisition unit 11 acquires image information around the vehicle from the vehicle imaging device and detects the current vehicle speed of the vehicle.
  • the photographing device (not shown) is one or a plurality of camera systems attached to appropriate positions of the vehicle (the upper end of the vehicle windshield, the rear end of the vehicle tail, or both sides of the vehicle body). Collect and store image information from the rear and both sides.
  • a camera system includes an optical system and a camera.
  • the optical system may have a zoom function, an autofocus function, and the like, and a color CCD (charge coupled device) video camera may be used as the camera.
  • CCD charge coupled device
  • the initial candidate frame parameter calculation unit 12 determines the angle of the pedestrian shooting device at each time point of the plurality of pedestrians around the vehicle based on the image information, that is, the pedestrian torso shooting device. An initial candidate frame parameter including the direction ⁇ which is an angle is calculated.
  • FIG. 5 is a schematic diagram showing the definition of the direction ⁇ .
  • ⁇ When the orientation of the pedestrian with respect to the imaging device is right-handed, ⁇ is 0, and when the orientation of the pedestrian with respect to the imaging device is front-facing, ⁇ is ⁇ / 2, and the orientation of the pedestrian with respect to the imaging device is ⁇ is ⁇ or ⁇ when the pedestrian is facing left, and ⁇ is ⁇ / 2 when the pedestrian is facing the imaging device.
  • Other directions are output according to the actual size and normalized to [ ⁇ , ⁇ ].
  • the direction ⁇ divided into a certain region may be divided into the same angle of one class. As shown in FIG.
  • the initial candidate frame parameters further include frame centroid coordinates, frame width w, and frame height h.
  • FIG. 3A is a schematic diagram of the initial candidate frame F at the time point t1 of one pedestrian among a plurality of pedestrians according to an embodiment of the present invention.
  • the parameters include frame centroid coordinates (x t1 , y t1 , z t1 ), frame width w t1 , frame height h t1 , and orientation ⁇ t1 (not shown).
  • the frame center-of-gravity coordinates are set as the world coordinate system of the vehicle.
  • the coordinate origin is a position directly below the middle of the vehicle head.
  • a feature extraction method (dense feature: DPM deformed part model, ACF total channel feature, HOG direction gradient histogram, dense edge, etc .; sparse feature: size, shape, sparse edge, body part, walking , Texture, gray scale / edge symmetry, etc.), contour template matching, and the like.
  • an initial candidate frame including frame centroid coordinates, frame width, and frame height is calculated.
  • a deep learning algorithm of machine learning is calculated.
  • the orientation of the pedestrian is analyzed by a deep learning algorithm or a normal machine learning algorithm.
  • different models based on dedicated orientation detection networks or different directional gradient histograms can be used to divide the input pedestrian initial candidate frames into different orientations.
  • the type of method is called a cascade model.
  • the frame center-of-gravity coordinates, the frame width, the frame height, and the direction can be collectively calculated by the same deep learning network or normal machine learning, that is, a single model algorithm.
  • the pedestrian orientation is trained and detected as part of the regression loss function in all connected layers at the end of the deep learning network.
  • the initial candidate frame parameter calculation unit 12 can identify all pedestrians from the image information by the above calculation.
  • the pedestrian includes a rider and / or a pedestrian.
  • the adjustment unit 13 adjusts the initial candidate frame parameter based on the orientation, and acquires the adjusted candidate frame parameter at each time point.
  • FIG.3 (b) is a schematic diagram of the candidate frame after adjustment of one pedestrian shown by Fig.3 (a).
  • the adjustment unit 13 adjusts the initial candidate frame parameter of the initial candidate frame F at the time point t1 of the pedestrian to adjust the candidate frame after the adjustment at the time point t1 of the pedestrian.
  • F ' is acquired.
  • the candidate frame parameters of the adjusted candidate frame F ′ are the frame centroid coordinates (x t1 , y t1 , z t1 ), the frame width w ′ t1 , the frame height h t1 , and the orientation ⁇ t1 (not shown). Including. here,
  • the adjustment unit 13 changes the frame width w t1 of the initial candidate frame F based on the frame height h t1 and the orientation ⁇ t1 to obtain the adjusted frame width w ′ t1 of the candidate frame F ′. Keep other parameters constant. In this way, the candidate frame parameters of the adjusted candidate frame at the time t1 of each pedestrian among the plurality of pedestrians can be acquired.
  • the size of the initial candidate frame is not changed, that is, the adjusted candidate frame parameter and the initial candidate frame parameter are the same.
  • the frame height of the initial candidate frame is kept constant, and the frame width is adjusted to be equal to the frame height.
  • the frame height of the initial candidate frame is held constant and the frame width is adjusted to half the frame height.
  • the change (adjustment) is based on the premise that the frame center-of-gravity coordinates are held constant. As shown in FIG. 3B, once the frame width changes, the coordinates of the four vertices of the adjusted candidate frame also change correspondingly.
  • step S24 the classification unit 14 classifies the plurality of pedestrians into one or a plurality of riders and one or a plurality of pedestrians based on the adjusted candidate frame parameters, and each of the one or a plurality of riders. Obtain rider detection frame parameters at each time point.
  • the classification unit 14 calculates the candidate frame parameters after adjustment of each pedestrian by, for example, a deep learning classification algorithm, and classifies based on the calculation result. Since the specific calculation and classification method is the same as the conventional method, a redundant description will not be given.
  • FIG. 4A is a schematic diagram of an initial candidate frame G at time t1 of another pedestrian among a plurality of pedestrians according to the embodiment of the present invention
  • FIG. 4B is a schematic diagram of FIG. It is a schematic diagram of candidate frame G 'after adjustment of the other pedestrians shown in FIG.
  • the classification unit 14 classifies, for example, one pedestrian in FIG. 3B as a rider (hereinafter referred to as “rider A”) and walks the other pedestrians in FIG. 4B. (Hereinafter, the other pedestrians in FIGS. 4A and 4B are classified as “pedestrian B”).
  • the classification unit 14 uses the adjusted candidate frame parameter at each time point of each of one or more riders as the rider detection frame parameter.
  • the classification unit 14 uses the candidate frame parameter of the adjusted candidate frame F ′ at time t1 shown in FIG. That is, the rider detection frame parameters include frame barycentric coordinates (x t1 , y t1 , z t1 ), frame width w ′ t1 , frame height h t1 , and orientation ⁇ t1 (not shown).
  • the classification unit 14 sets the initial candidate frame parameter of each of one or more pedestrians as the pedestrian detection frame parameter at each time point of one or more pedestrians.
  • the classification unit 14 uses the initial candidate frame parameter of the initial candidate frame G at time t1 shown in FIG. 4A as the pedestrian detection frame parameter of the pedestrian.
  • the pedestrian detection frame parameter and the initial candidate frame parameter are the same, that is, the frame width of the pedestrian detection frame is adjusted. It is smaller than the frame width of the subsequent candidate frame, thereby narrowing the detection range for pedestrians.
  • the risk factor setting unit 15 determines the rider detection frame parameter, the status information of each of one or more riders, and the change frequency of the direction, and the respective rider among the one or more riders. Set the risk factor to.
  • the risk factor setting unit 15 is based on the frame center of gravity coordinates of the rider detection frame parameter at the previous time point and the frame center of gravity coordinates of the rider detection frame parameter at the current time point. The relative speed and the relative movement direction of each rider with respect to the vehicle are acquired.
  • the previous time is t1, for example, and the current time is t2, for example.
  • the frame center-of-gravity coordinates of the rider detection frame parameter at t1 are, for example, (x t1 , y t1 , z t1 )
  • the frame center of gravity coordinates of the rider detection frame parameter at t2 are, for example, (x t2 , y t2 , Z t2 )
  • the relative speed v and the relative movement direction r of the rider A with respect to the vehicle are acquired from the amount of change in (x t2 , y t2 , z t2 ) and (x t1 , y t1 , z t1 ).
  • the relative speed and relative movement direction of each of the other riders can be obtained by a similar method.
  • the risk factor setting unit 15 determines whether or not each rider is a new rider. If the rider is a new rider, the risk factor setting unit 15 sets the risk factor to 1. If the rider is not a new rider, the current risk detection frame parameter is set. A risk coefficient is set based on the frame center-of-gravity coordinates and direction, relative speed, relative movement direction, state information, and direction change frequency.
  • the risk coefficient setting unit 15 first determines whether or not it is a new rider. Specifically, it is determined whether or not the rider detection frame parameter exists at the previous time point t1 for the rider A, and if it is determined that the rider detection frame parameter does not exist, the rider A is a new rider, that is, a rider newly appearing at the current time t2. The risk factor W is set to 1 and the next rider is determined.
  • the risk factor W is initialized to 0, and the frame center of gravity coordinates and direction of the rider detection frame parameter at the current time t2, relative speed, relative movement direction, and state information
  • the risk factor is set based on the direction change frequency.
  • condition 1 to Condition 5 when it is determined that the rider A is not a new rider, the risk factor W is initialized to 0, and the risk factor is set for the rider A based on the following condition 1 to condition 5.
  • Condition 1 to Condition 5 will be described in detail.
  • Condition 1 It is determined whether the alarm safety distance d w less than or not the frame center coordinates of the rider detection frame parameters at the current time t2 is calculated from the following equation (1).
  • v is the relative speed of the rider A
  • t f is the braking time required for the vehicle
  • t d is the response time of the vehicle driver
  • ⁇ is the coefficient of friction of the road where the vehicle is located
  • g is the acceleration of gravity.
  • ⁇ h is the current vehicle speed detected by the acquisition unit 11 in step S21.
  • the value of the friction coefficient ⁇ of the road can be determined based on the photographed image information.
  • the coordinate origin is a position directly below the middle of the vehicle head, and in this case, the distance between the frame center of gravity coordinates and the coordinate origin is the distance between the rider and the middle position of the vehicle head.
  • Rider frame center coordinates of the rider detection frame parameters at the moment t2 of A is a (x t2, y t2, z t2), thereby obtaining the distance D between the intermediate position of the rider A and headway.
  • the distance D determines whether the alarm safety distance d w smaller.
  • Condition 2 From the relative movement direction of rider A, it is determined whether rider A is approaching the vehicle. Here, for example, whether or not the rider A is approaching the vehicle is determined based on the calculated relative movement direction r.
  • Condition 3 Whether or not the state information of rider A is in an abnormal state.
  • the state information is a normal state or an abnormal state, and the risk coefficient setting unit 15 determines that the rider is a child based on the frame height of the rider detection frame parameter, or the rider and other riders from the image information.
  • the state information is determined as an abnormal state.
  • the frame height of the rider detection frame parameter is h t2 at present t2 rider A, since the frame height is h t2, the rider A is equal to or a child, children If it is, it is determined that the state is abnormal.
  • riders A and other riders such as the distance between the rider C is the distance D AC the frame centroid coordinates and rider C of the frame barycentric coordinates of the rider A.
  • the predetermined safety distance d s is obtained from the following equation (3), for example.
  • k is the relative speed between rider A and rider C
  • t ′ f is the time required for the rider's brake
  • t d ′ is the rider's response time
  • ⁇ is the coefficient of friction of the road where rider A is located ( For example, obtained from the above equation (2))
  • g is the gravitational acceleration.
  • k can be acquired from the amount of change between the frame center of gravity coordinates of the rider A and the frame center of gravity coordinates of the rider C.
  • the distance D AC with a predetermined safety distance d s determines whether a predetermined safety distance d s is less than. If it is smaller than the predetermined safety distance d s , it is determined that the state is abnormal, and if it is equal to or longer than the predetermined safety distance d s , it is determined that the state is normal.
  • the rider A is interfered by an external object, for example, whether or not an unknown object appears within a predetermined angle range starting from the direction ⁇ of the rider A. If it does appear, it is determined that it is in an abnormal state, and if it does not appear, it is determined that it is in a normal state.
  • Condition 4 It is determined whether or not the rider A can see the vehicle based on the direction ⁇ of the rider A at the current time t2.
  • the direction ⁇ of the rider is any one of true rearward, left rearward, right rearward, true leftward, and rightward, that is, the direction ⁇ is the class VI, class V, class VII, class shown in FIG. If it belongs to either IV or class VIII, it is determined that the vehicle cannot be seen by the rider, and otherwise, it is determined that the vehicle is visible.
  • Condition 5 Whether the direction change frequency is greater than a predetermined threshold.
  • the direction change frequency is calculated.
  • the predetermined threshold value is obtained based on, for example, statistical data obtained by a large number of riders. Next, it is determined whether or not the direction change frequency is greater than a predetermined threshold.
  • condition 4 or 5 when it is determined that the vehicle is visible to the rider or the change frequency of the direction is greater than a predetermined threshold, the risk coefficient determined based on condition 3 is further increased. 1 is added.
  • each rider's risk factor at each point in time can be obtained, each rider can be tracked according to the risk factor, and an alarm can be issued to the vehicle if necessary.
  • the risk coefficient setting unit 15 further includes a pedestrian detection frame parameter, each state information of one or more pedestrians, and a change frequency of the direction, and each pedestrian among one or more pedestrians.
  • the risk factor can be set for the pedestrian B by the above-described risk factor setting method for the rider.
  • a plurality of riders and pedestrians among pedestrians can be quickly distinguished, and a plurality of riders can be detected in real time.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

歩行者のうち複数のライダーと複数の歩行者を迅速に区別し、リアルタイムに複数のライダーを検出し得る車両周囲の歩行者を検出する方法及び装置を提供する。車両周囲の歩行者を検出する装置は、車両の撮影装置から車両周囲の画像情報を取得して、車両の現在車速を検出する取得ユニットと、画像情報に基づき、歩行者の撮影装置に対する角度である向きを含む車両周囲の歩行者の初期候補フレームパラメータを算出する初期候補フレームパラメータ算出ユニットと、向きに基づき、初期候補フレームパラメータを調整して、調整後の候補フレームパラメータを取得する調整ユニットと、調整後の候補フレームパラメータに基づき、複数の歩行者をライダーと歩行者に分類して、ライダーのライダー検出フレームパラメータを取得する分類ユニットと、ライダー検出フレームパラメータ、ライダーのそれぞれの状態情報、向きの変化頻度に基づき、ライダーごとに危険係数を設定する危険係数設定ユニットとを備える。

Description

車両周囲の歩行者を検出する方法及び装置
　本発明は、車両周囲の歩行者を検出する方法及び装置に関する。
　自動車の発展は人間に大きな利便性をもたらしている反面、それによる交通事故が長期にわたって人を悩ます大きな問題になっている。自動車運転者自身の規則違反や悪い習慣による事故のほか、中国のほとんどの道路では、歩行者の交通違反も非常に深刻である。特に、街のあちこちを走行するライダー（オートバイ、モペット、電動自転車、自転車、三輪車などの軽車両を含む）が自動車の車線を占有したり、交通信号の規定を遵守しなかったり、勝手に道路を横断したり、逆走したりするなどの交通違反は珍しくない。中国では『道路交通安全法』の第５８条に、「身体障害者用の電動車椅子、電動自転車が軽車両専用道路内を走行しているとき、最高速度を１５ｋｍ以下にしなければならない」との規定があるが、実際には、電動自転車の実際の時速は一般的に４０－５０ｋｍ前後で、法律で規定される最高時速を遥かに超えている。２０１６年には、中国の軽車両の保有台数は約３．９億台であり、そのうち、約２．２億台は電動自転車であった。このように多くの台数があるので、道路交通の軽車両による隠れた危険を無視することはできない。
　それと同時に、センサや制御技術の急速な発展により、事故の危険防止のための自動車の能動的安全技術がますます注目されている。世界中で、自動車の安全に関連する衝突回避の標準化も進んでおり、２０１８年以降、ヨーロッパ新車アセスメントプログラム（ＥｕｒｏＮＣＡＰ）は自転車との衝突を避ける機能を自動車の評価対象に含める見込みである。コンチネンタル・コーポレーションはレーダーと高精度の全地球測位システムセンサーを用いて、自動車と自転車の同期移動を実現し、自転車を監視して、自動的な制動を実現した。ボルボ、スウェーデンのスポーツ用品会社及びエリクソン社は歩行者に衝突することを防止できる運転者とライダーの間の双方向通信システムを共同開発しており、ジャガーランドローバーも自転車衝突警報技術を開発中である。
米国特許出願第９，０８７，２６３Ｂ２号公報
　ライダー衝突警報技術においては、センサに基づくライダー検出と追跡アルゴリズムが重要な役割を果たす。下記特許、『視覚に基づく歩行者および自転車乗車者の検出方法』（『Ｖｉｓｉｏｎ　ｂａｓｅｄ　Ｐｅｄｅｓｔｒｉａｎ　ａｎｄ　Ｃｙｃｌｉｓｔ　Ｄｅｔｅｃｔｉｏｎ　Ｍｅｔｈｏｄ』、米国特許出願第９，０８７，２６３Ｂ２号、公開日２０１５年７月２１日、台湾中山科学研究院出願）（特許文献１）において、車載カメラをセンサとして、まず人間と自転車の部分をそれぞれ検出して、両方の空間位置関係に基づいてライダーであるか否かを判定するライダー検出アルゴリズムが開示されている。しかしながら、特許文献１では、自転車の円形車輪を検出しなければならないため、自転車の車輪が見えない場合は適用できず、歩行者がライダーであるか否かを判定できない。
　さらに、車載センサの作動環境及び条件は非常に苛酷であり、高速走行中の車両の衝突回避時間が極めて短いため、車載衝突回避システムに高いリアルタイム性、高い処理速度の特徴が求められる。実際の交通状況では、多数の軽車両、動力車、さらに多数の歩行者やバリケードなどの静止物体が存在しているため、複数のライダーを検出する場合も起こり得る。しかしながら、複数のライダーを検出する場合は、演算が複雑であるとともに計算量が大きいアルゴリズムはリアルタイム性を満足できない場合が多い。従って、従来技術によれば、リアルタイムに複数のライダーを検出することが困難となる。
　そこで、本発明は、歩行者のうち複数のライダーと複数の歩行者を迅速に区別し、リアルタイムに複数のライダーを検出し得る車両周囲の歩行者を検出する方法及び装置を提供する。
　上記課題を解決するため、本発明に係る車両周囲の歩行者を検出する装置は、車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する取得ユニットと、前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する初期候補フレームパラメータ算出ユニットと、前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する調整ユニットと、前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する分類ユニットと、前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する危険係数設定ユニットと、を備えることを特徴とする。
　前記初期候補フレームパラメータは、さらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含み、前記調整後の候補フレームパラメータは、前記フレーム重心座標、調整後のフレーム幅ｗ’、前記フレーム高さｈ、及び前記向きαを含み、ここで、　
Figure JPOXMLDOC01-appb-M000003
である。　
　前記分類ユニットは、前記１人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとする。
　このように、調整後の候補フレームパラメータによって、歩行者からライダーを分類できる。
　前記分類ユニットは、前記１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記１人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、　
前記危険係数設定ユニットは、前記歩行者検出フレームパラメータ、前記１人又は複数の歩行者のそれぞれの状態情報、前記向きの変化頻度に基づき、前記１人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定する。
　前記１人又は複数のライダーのうちそれぞれのライダーに対して、前記危険係数設定ユニットは、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得する。
　前記危険係数設定ユニットは、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を１に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定する。
　前記状態情報は正常状態又は異常状態であり、前記危険係数設定ユニットは、前記ライダー検出フレームパラメータの前記フレーム高さに基づいて、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定する。
　また、本発明に係る車両周囲の歩行者を検出する方法は、車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する第１のステップと、前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する第２のステップと、前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する第３のステップと、前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する第４のステップと、前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する第５のステップと、を含むことを特徴とする。
　本発明によれば、歩行者のうち複数のライダーと複数の歩行者を迅速に区別し、リアルタイムに複数のライダーを検出し得る車両周囲の歩行者を検出する方法及び装置を提供することが可能となる。　
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施例に係る車両周囲の歩行者を検出する装置の構造図である。 本発明の一実施例に係る車両周囲の歩行者を検出する方法のフローチャートである。 本発明の一実施例に係る複数の歩行者のうち１人の歩行者の時点ｔ１での初期候補フレームの模式図である。 図３（ａ）に示される１人の歩行者の調整後の候補フレームの模式図である。 本発明の実施例に係る複数の歩行者のうちほかの歩行者の時点ｔ１での初期候補フレームの模式図である。 図４（ａ）に示されるほかの歩行者の調整後の候補フレームの模式図である。 向きの定義を示す模式図である。
　以下、図面を用いて本発明の実施例について説明する。
　図１は本発明の一実施例に係る車両周囲の歩行者を検出する装置１０の構造図である。図１に示すように、車両周囲の歩行者を検出する装置１０は、取得ユニット１１、初期候補フレームパラメータ算出ユニット１２、調整ユニット１３、分類ユニット１４、及び危険係数設定ユニット１５を備える。
　図２は本発明の一実施例に係る車両周囲の歩行者を検出する方法のフローチャートである。図２に示すように、ステップＳ２１では、取得ユニット１１は、車両の撮影装置から車両周囲の画像情報を取得して、車両の現在車速を検出する。上記撮影装置（図示せず）は、車両の適切な位置（車両フロントガラスの上端、車尾後端、車体両側でもよい）に取り付けられた１台又は複数台のカメラシステムであり、車体の前方、後方、両側方からの画像情報を収集して記憶する。通常、カメラシステムは光学系とカメラから構成され、光学系はズーム機能、オートフォーカス機能等を有してもよく、カメラとしては、カラーＣＣＤ（電荷結合素子）ビデオカメラが使用されてもよい。
　ステップＳ２２では、初期候補フレームパラメータ算出ユニット１２は、上記画像情報に基づき車両周囲の複数の歩行者のそれぞれの各時点での歩行者の撮影装置に対する角度、すなわち、歩行者の胴体の撮影装置に対する角度である向きαを含む初期候補フレームパラメータを算出する。
　図５は向きαの定義を示す模式図である。歩行者の撮影装置に対する向きが真右向きである場合、αは０であり、歩行者の撮影装置に対する向きが真前向きである場合、αはπ／２であり、歩行者の撮影装置に対する向きが真左向きである場合、αはπ又は－πであり、歩行者の撮影装置に対する向きが真後向きである場合、αは－π／２である。ほかの向きは実際の大きさに応じて出力し、［－π，π］に正規化される。同様に図５のように、ある領域に分割される向きαを１つのクラスの同一角度に分割してもよい。図５に示すように、歩行者の撮影装置に対する向きが右前向きである場合、クラスＩに分類して、αはπ／４であり、歩行者の撮影装置に対する向きが真前向きである場合、クラスＩＩに分類して、αはπ／２であり、歩行者の撮影装置に対する向きが左前向きである場合、クラスＩＩＩに分類して、αはπ×３／４であり、歩行者の撮影装置に対する向きが真左向きである場合、クラスＩＶに分類して、αはπ又は－πであり、歩行者の撮影装置に対する向きが左後向きである場合、クラスＶに分類して、αは－π×３／４であり、歩行者の撮影装置に対する向きが真後向きである場合、クラスＶＩに分類して、αは－π／２であり、歩行者の撮影装置に対する向きが右後向きである場合、クラスＶＩＩに分類して、αは－π／４であり、歩行者の撮影装置に対する向きが真右向きである場合、クラスＶＩＩＩに分類して、αは０である。
　初期候補フレームパラメータはさらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含む。図３（ａ）は、本発明の一実施例に係る複数の歩行者のうち１人の歩行者の時点ｔ１での初期候補フレームＦの模式図であり、該初期候補フレームＦの初期候補フレームパラメータはフレーム重心座標（ｘｔ１，ｙｔ１，ｚｔ１）、フレーム幅ｗｔ１、フレーム高さｈｔ１、及び向きαｔ１（図示せず）を含む。ここで、フレーム重心座標は、車両の世界座標系として設定され、たとえば、座標原点は車両の車頭の中間直下位置である。
　ここで、たとえば、特徴抽出方法（密な特徴：ＤＰＭ変形部品モデル、ＡＣＦ総チャネル特徴、ＨＯＧ方向勾配ヒストグラム、密なエッジ等；疎な特徴：寸法、形状、疎なエッジ、ボディパーツ、歩きぶり、テクスチャ、グレースケール／エッジ対称性等）、輪郭テンプレートマッチング等の方法を用いてもよく、まず、フレーム重心座標、フレーム幅、フレーム高さを含む初期候補フレームを算出し、特徴抽出方法は、たとえば機械学習のうちの深層学習アルゴリズムである。次に、深層学習アルゴリズム又は通常の機械学習アルゴリズムによって、歩行者の向きを分析する。たとえば、専用の向き検出ネットワーク又は異なる方向勾配ヒストグラムに基づく異なるモデルを用いて、入力した歩行者の初期候補フレームを異なる向きに分けることができる。該方法のタイプはカスケードモデルと呼ばれる。
　さらに、たとえば、同一の深層学習ネットワーク又は通常の機械学習、すなわち、単一モデルアルゴリズムで、フレーム重心座標、フレーム幅、フレーム高さ及び向きを一括して算出できる。深層学習ネットワークの場合、歩行者の向きを深層学習ネットワークの最後に全接続層における回帰ロス関数の一部として訓練と検出を行う。
　以上から分かるように、図２のステップＳ２２では、初期候補フレームパラメータ算出ユニット１２は、上記計算によって、画像情報からすべての歩行者を識別できる。本実施例では、歩行者はライダー及び／又は歩行者を含む。
　図２のステップＳ２３では、調整ユニット１３は、向きに基づき、初期候補フレームパラメータを調整して、各時点での調整後の候補フレームパラメータを取得する。
　図３（ｂ）は図３（ａ）に示される１人の歩行者の調整後の候補フレームの模式図である。図３（ｂ）に示すように、調整ユニット１３は、該歩行者の時点ｔ１での初期候補フレームＦの初期候補フレームパラメータを調整して、該歩行者の時点ｔ１での調整後の候補フレームＦ’を取得する。たとえば、調整後の候補フレームＦ’の候補フレームパラメータはフレーム重心座標（ｘｔ１，ｙｔ１，ｚｔ１）、フレーム幅ｗ’ｔ１、フレーム高さｈｔ１、及び向きαｔ１（図示せず）を含む。ここで、　
Figure JPOXMLDOC01-appb-M000004
である。つまり、調整ユニット１３はフレーム高さｈｔ１、及び向きαｔ１に基づいて初期候補フレームＦのフレーム幅ｗｔ１を変更して、調整後の候補フレームＦ’のフレーム幅ｗ’ｔ１を取得し、ほかのパラメータを一定に保持する。　
　このようにして、複数の歩行者のうち、それぞれの歩行者のｔ１時点での調整後の候補フレームの候補フレームパラメータを取得できる。
　歩行者の撮像装置に対する向きが前向き又は後向きである場合、初期候補フレームの大きさを変更せず、すなわち、調整後の候補フレームパラメータと初期候補フレームパラメータは同様である。歩行者の撮像装置に対する向きが左向き又は右向きである場合、初期候補フレームのフレーム高さを一定に保持して、フレーム幅をフレーム高さと等しく調整する。歩行者の撮像装置に対する向きが左後向き又は右後向き又は左前向き又は右前向きである場合、初期候補フレームのフレーム高さを一定に保持して、フレーム幅をフレーム高さの半分に調整する。また、該変化（調整）はフレーム重心座標を一定に保持することを前提とする。また、図３（ｂ）に示すように、一旦フレーム幅が変化すると、調整後の候補フレームの４つの頂点の座標も対応して変化する。
　ステップＳ２４では、分類ユニット１４は、調整後の候補フレームパラメータに基づき、複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する。ここで、分類ユニット１４は、たとえば深層学習分類アルゴリズムで、各歩行者の調整後の候補フレームパラメータを計算し、計算結果に基づいて分類する。具体的な計算及び分類方法は従来と同様であるため、重複した説明はしない。
　図４（ａ）は本発明の実施例に係る複数の歩行者のうちのほかの歩行者の時点ｔ１での初期候補フレームＧの模式図であり、図４（ｂ）は図４（ａ）に示されるほかの歩行者の調整後の候補フレームＧ’の模式図である。ステップＳ２４では、分類ユニット１４は、たとえば図３（ｂ）中の１人の歩行者をライダー（以下、「ライダーＡ」という）として分類し、図４（ｂ）中のほかの歩行者を歩行者（以下、図４（ａ）と図４（ｂ）中のほかの歩行者を「歩行者Ｂ」という）として分類する。
　分類ユニット１４は１人又は複数のライダーのそれぞれの各時点での調整後の候補フレームパラメータをライダー検出フレームパラメータとする。本例では、たとえば、分類ユニット１４は、図３（ｂ）に示されるｔ１時点での調整後の候補フレームＦ’の候補フレームパラメータをライダーＡのライダー検出フレームパラメータとする。すなわち、該ライダー検出フレームパラメータはフレーム重心座標（ｘｔ１，ｙｔ１，ｚｔ１）、フレーム幅ｗ’ｔ１、フレーム高さｈｔ１、及び向きαｔ１（図示せず）を含む。
　さらに、分類ユニット１４は１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを１人又は複数の歩行者のそれぞれの各時点での歩行者検出フレームパラメータとする。本例では、たとえば、分類ユニット１４は図４（ａ）に示されるｔ１時点での初期候補フレームＧの初期候補フレームパラメータを該歩行者の歩行者検出フレームパラメータとする。
　ここで、図４（ａ）と図４（ｂ）に示すように、歩行者Ｂの場合、歩行者検出フレームパラメータと初期候補フレームパラメータは同じであり、すなわち歩行者検出フレームのフレーム幅は調整後の候補フレームのフレーム幅より小さく、それによって、歩行者に対する検出範囲を狭めることができる。
　次に、ステップＳ２５では、危険係数設定ユニット１５は、ライダー検出フレームパラメータ、１人又は複数のライダーのそれぞれの状態情報、向きの変化頻度に基づき、１人又は複数のライダーのうち、それぞれのライダーに危険係数を設定する。　
　ここで、１人又は複数のライダーのうち、ライダーごとに、危険係数設定ユニット１５は、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、各ライダーの車両に対する相対速度と相対移動方向を取得する。
　たとえば、図３（ｂ）中のライダーを例にして、前の時点はたとえばｔ１、現時点はたとえばｔ２とする。ライダーＡの場合、ｔ１でのライダー検出フレームパラメータのフレーム重心座標は、たとえば（ｘｔ１，ｙｔ１，ｚｔ１）、ｔ２でのライダー検出フレームパラメータのフレーム重心座標は、たとえば（ｘｔ２，ｙｔ２，ｚｔ２）であり、（ｘｔ２，ｙｔ２，ｚｔ２）と（ｘｔ１，ｙｔ１，ｚｔ１）の変化量から、ライダーＡの車両に対する相対速度ｖと相対移動方向ｒを取得する。同様な手法によって、ほかのライダーのそれぞれの相対速度と相対移動方向を取得できる。
　危険係数設定ユニット１５は、ライダーごとに、新ライダーであるか否かを判定し、新ライダーである場合、危険係数を１に設定し、新ライダーではない場合、現時点でのライダー検出フレームパラメータのフレーム重心座標と向き、相対速度、相対移動方向、状態情報、向きの変化頻度に基づき、危険係数を設定する。
　たとえば、図３（ｂ）中のライダーＡを例にすると、危険係数設定ユニット１５は、まず新ライダーであるか否かを判定する。具体的には、該ライダーＡについて、前の時点ｔ１にライダー検出フレームパラメータが存在するか否かを判定し、存在しないと判定した場合、新ライダー、すなわち、現時点ｔ２に新しく出現したライダーであると判定し、危険係数Ｗを１に設定し、次のライダーについて判定を行う。存在すると判断した場合、新ライダーではないと判定し、危険係数Ｗを０として初期化して、次に現時点ｔ２でのライダー検出フレームパラメータのフレーム重心座標と向き、相対速度、相対移動方向、状態情報、向きの変化頻度に基づき、危険係数を設定する。
　本例では、たとえばライダーＡが新ライダーではないと判定した場合、危険係数Ｗを０として初期化し、下記条件１－条件５に基づいて、ライダーＡに危険係数を設定する。以下、条件１－条件５について詳細に説明する。
　条件１：現時点ｔ２でのライダー検出フレームパラメータのフレーム重心座標が以下の式（１）から算出する警報安全距離ｄｗより小さいか否かを判定する。　
Figure JPOXMLDOC01-appb-M000005
　式（１）中、ｖは上記ライダーＡの相対速度、ｔｆは車両に必要なブレーキ時間、ｔｄは車両運転者の応答時間、μは車両が所在する道路の摩擦係数、ｇは重力加速度、νｈはステップＳ２１で取得ユニット１１により検出された車両の現在車速である。
　ここで、たとえば以下の式（２）に示されるように、撮影された画像情報に基づいて道路の摩擦係数μの値を決定できる。　
Figure JPOXMLDOC01-appb-M000006
　上述のとおり、座標原点は車両の車頭中間の直下位置であり、この場合、フレーム重心座標と座標原点の距離はライダーと車両の車頭の中間位置との距離になる。ライダーＡの現時点ｔ２でのライダー検出フレームパラメータのフレーム重心座標が（ｘｔ２，ｙｔ２，ｚｔ２）であり、それによって、ライダーＡと車頭の中間位置との距離Ｄを取得する。該距離Ｄを以上のように算出した警報安全距離ｄｗと比較し、距離Ｄが警報安全距離ｄｗより小さいか否かを判定する。
　条件２：ライダーＡの相対移動方向から、ライダーＡが車両に近づいているか否かを判定する。ここで、たとえば、上記算出した相対移動方向ｒに基づいて、ライダーＡが車両に近づいているか否かを判定する。
　条件３：ライダーＡの状態情報は異常状態であるか否か。　
　状態情報は正常状態又は異常状態であり、危険係数設定ユニット１５はライダー検出フレームパラメータのフレーム高さに基づいて、ライダーが子供であると判定し、又は、画像情報からライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、画像情報からライダーが外部物体による干渉を受けていると判定した場合、状態情報を異常状態として決定する。
　たとえば、ライダーＡの現時点ｔ２でのライダー検出フレームパラメータのフレーム高さがｈｔ２であれば、該フレーム高さがｈｔ２であることから、ライダーＡが子供であるか否かを判定し、子供である場合、異常状態であると判定する。
　たとえば、現時点ｔ２を例にすると、ライダーＡとほかのライダー、たとえばライダーＣとの距離はライダーＡのフレーム重心座標とライダーＣのフレーム重心座標との距離ＤＡＣである。所定安全距離ｄｓは、たとえば以下の式（３）から得られる。　
Figure JPOXMLDOC01-appb-M000007
　式（３）中、ｋはライダーＡとライダーＣの相対速度、ｔ’ｆはライダーのブレーキに必要な時間、ｔｄ’はライダーの応答時間、μはライダーＡが所在する道路の摩擦係数（たとえば、上記式（２）から取得）、ｇは重力加速度である。ここで、たとえば、ライダーＡのフレーム重心座標とライダーＣのフレーム重心座標との変化量からｋを取得できる。
　次に、距離ＤＡＣを所定安全距離ｄｓと比較し、距離ＤＡＣが所定安全距離ｄｓより小さいか否かを判定する。所定安全距離ｄｓより小さい場合、異常状態であると判定し、所定安全距離ｄｓ以上である場合、正常状態であると判定する。
　さらに、画像情報からライダーＡが外部物体による干渉を受けているか否か、たとえば、ライダーＡの向きαを起点とする所定角度の範囲内に不明な物体が現れているか否かを判定する。現れている場合、異常状態であると判定し、現れていない場合、正常状態であると判定する。
　上記３つの判定結果がいずれもノーである場合、該ライダーが正常状態であると判定する。
　条件４：ライダーＡの現時点ｔ２での向きαに基づいてライダーＡに車両が見えるか否かを判定する。　
　ここで、たとえば、ライダーの向きαが真後向き、左後向き、右後向き、真左向き、真右向きのいずれかであり、すなわち、向きαが図５に示されるクラスＶＩ、クラスＶ、クラスＶＩＩ、クラスＩＶ、クラスＶＩＩＩのいずれかに属する場合、ライダーに車両が見えないと判定し、それ以外の場合、車両が見えると判定する。
　条件５：向きの変化頻度が所定閾値より大きいか否か。
　ここで、たとえば、ライダーＡの場合、現時点ｔ２の前の連続的な１０個の時点での１０個の向きαを抽出して、これらの向きの変化回数、すなわち、向きの変化頻度を算出する。該所定閾値はたとえば大量のライダーによる統計データに基づいて得られるものである。次に、向きの変化頻度が所定閾値より大きいか否かを判定する。
　以下、ライダーＡを例に、条件１－条件５に基づくライダーＡの危険係数の設定について詳細に説明する。
　まず、条件１又は条件２の判定結果がイエスであり、すなわち、ライダーＡの現時点ｔ２でのフレーム重心座標が警報安全距離より小さく、又は、ライダーＡが車両に近づいている場合、初期化された危険係数０に１を加算し、すなわちＷ＝０＋１＝１であり、それに対して、条件１と条件２の判定結果がいずれもノーである場合、危険係数は依然として初期化された危険係数のままであり、すなわちＷ＝０である。本例では、たとえば条件１の判定結果がイエスであり、Ｗ＝１である。
　次に、条件３の判定結果がイエスであり、すなわち、現状が異常状態である場合、条件１と条件２に基づいて判定された危険係数に１を加算し、ノーの場合は、条件１と条件２に基づいて判定された危険係数を維持する。本例では、たとえば条件３の判定結果がイエスであり、Ｗ＝１＋１＝２である。
　最後に、条件４又は条件５の判定結果がイエスであり、すなわち、ライダーに車両が見え又は向きの変化頻度が所定閾値より大きいと判定した場合、条件３に基づいて判定された危険係数にさらに１を加算し、それに対して、条件４と条件５の判定結果がいずれもノーである場合、条件３に基づいて判定された危険係数を保持する。たとえば条件４と条件５の判定結果がいずれもノーである場合、条件３に基づいて判定された危険係数を保持し、すなわち、Ｗ＝２である。
　このようにして、それぞれのライダーの各時点での危険係数を取得して、危険係数に応じて各ライダーを追跡し、必要な場合、車両にアラームを出すことができる。
　さらに、危険係数設定ユニット１５はさらに、歩行者検出フレームパラメータ、１人又は複数の歩行者のそれぞれの状態情報、向きの変化頻度に基づき、１人又は複数の歩行者のうち、それぞれの歩行者に危険係数を設定する。たとえば、上記したライダーに対する危険係数の設定方式によって歩行者Ｂに危険係数を設定できる。
　以上のとおり本実施例によれば、歩行者のうちの複数のライダーと複数の歩行者を迅速に区別して、リアルタイムに複数のライダーを検出できる。
　本発明について実施例を参照しながら説明したが、当業者であれば、上述の内容について各種の置換、変更や変形を行えることは自明なことである。従って、このような置換、変更や変形は添付した特許請求の範囲の主旨や範囲を逸脱しない限り、本発明に属すべきである。
　また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
１０…車両周囲の歩行者を検出する装置、１１…取得ユニット、１２…初期候補フレームパラメータ算出ユニット、１３…調整ユニット、１４…分類ユニット、１５…危険係数設定ユニット

Claims (12)

  1. 　車両周囲の歩行者を検出する装置であって、
    　車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する取得ユニットと、
    　前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する初期候補フレームパラメータ算出ユニットと、
    　前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する調整ユニットと、
    　前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する分類ユニットと、
    　前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する危険係数設定ユニットと、を備えることを特徴とする車両周囲の歩行者を検出する装置。
  2. 　前記初期候補フレームパラメータは、さらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含み、
    　前記調整後の候補フレームパラメータは、前記フレーム重心座標、調整後のフレーム幅ｗ’、前記フレーム高さｈ、及び前記向きαを含み、ここで、
    Figure JPOXMLDOC01-appb-M000001
     であり、
    　前記分類ユニットは、前記１人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとすることを特徴とする請求項１に記載の車両周囲の歩行者を検出する装置。
  3. 　前記分類ユニットは、前記１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記１人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
    　前記危険係数設定ユニットは、前記歩行者検出フレームパラメータ、前記１人又は複数の歩行者のそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定することを特徴とする請求項１に記載の車両周囲の歩行者を検出する装置。
  4. 　前記１人又は複数のライダーのうちそれぞれのライダーに対して、前記危険係数設定ユニットは、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得することを特徴とする請求項２に記載の車両周囲の歩行者を検出する装置。
  5. 　前記危険係数設定ユニットは、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を１に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定することを特徴とする請求項４に記載の車両周囲の歩行者を検出する装置。
  6. 　前記状態情報は正常状態又は異常状態であり、
    　前記危険係数設定ユニットは、前記ライダー検出フレームパラメータの前記フレーム高さに基づいて、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定することを特徴とする請求項５に記載の車両周囲の歩行者を検出する装置。
  7. 　車両周囲の歩行者を検出する方法であって、
    　車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する第１のステップと、
    　前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する第２のステップと、
    　前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する第３のステップと、
    　前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する第４のステップと、
    　前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する第５のステップと、を含むことを特徴とする車両周囲の歩行者を検出する方法。
  8. 　前記初期候補フレームパラメータはさらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含み、
    　前記第３のステップにおいて、前記調整後の候補フレームパラメータは、前記フレーム重心座標、調整後のフレーム幅ｗ’、前記フレーム高さｈ、及び前記向きαを含み、ここで、
    Figure JPOXMLDOC01-appb-M000002
     であり、
    　前記第４のステップにおいて、前記１人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとすることを特徴とする請求項７に記載の車両周囲の歩行者を検出する方法。
  9. 　前記第４のステップにおいて、前記１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記１人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
    　前記第５のステップにおいて、前記歩行者検出フレームパラメータ、前記１人又は複数の歩行者のそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定することを特徴とする請求項７に記載の車両周囲の歩行者を検出する方法。
  10. 　前記１人又は複数のライダーのうちそれぞれのライダーに対して、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得することを特徴とする請求項８に記載の車両周囲の歩行者を検出する方法。
  11. 　前記第５のステップにおいて、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を１に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定することを特徴とする請求項１０に記載の車両周囲の歩行者を検出する方法。
  12. 　前記状態情報は正常状態又は異常状態であり、
    　前記ライダー検出フレームパラメータの前記フレーム高さに基づき、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定することを特徴とする請求項１１に記載の車両周囲の歩行者を検出する方法。
PCT/JP2018/015194 2017-04-12 2018-04-11 車両周囲の歩行者を検出する方法及び装置 Ceased WO2018190362A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019512544A JP6756908B2 (ja) 2017-04-12 2018-04-11 車両周囲の歩行者を検出する方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710234918.6 2017-04-12
CN201710234918.6A CN108694363A (zh) 2017-04-12 2017-04-12 对车辆周围的行人进行检测的方法和装置

Publications (1)

Publication Number Publication Date
WO2018190362A1 true WO2018190362A1 (ja) 2018-10-18

Family

ID=63792644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015194 Ceased WO2018190362A1 (ja) 2017-04-12 2018-04-11 車両周囲の歩行者を検出する方法及び装置

Country Status (3)

Country Link
JP (1) JP6756908B2 (ja)
CN (1) CN108694363A (ja)
WO (1) WO2018190362A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111856493A (zh) * 2019-04-25 2020-10-30 北醒（北京）光子科技有限公司 一种基于激光雷达的摄像头触发装置及方法
JP2023107533A (ja) * 2022-01-24 2023-08-03 株式会社豊田自動織機 人検知システムの画像処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409309A (zh) * 2018-11-05 2019-03-01 电子科技大学 一种基于人体检测的智能报警系统和方法
MX2021002808A (es) 2018-11-09 2021-08-11 Beijing Didi Infinity Technology & Dev Co Ltd Sistema y método para detectar conflictos dentro de un vehículo.
CN111429754A (zh) * 2020-03-13 2020-07-17 南京航空航天大学 一种行人过街工况下的车辆避撞轨迹风险评估方法
CN115527074B (zh) * 2022-11-29 2023-03-07 深圳依时货拉拉科技有限公司 一种车辆检测框的生成方法、生成装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053925A (ja) * 2007-08-27 2009-03-12 Toyota Motor Corp 行動予測装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
JP2017194432A (ja) * 2016-04-22 2017-10-26 株式会社デンソー 物体検出装置、物体検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
EP3282392B1 (en) * 2015-08-28 2021-09-29 Veoneer Sweden AB Vision system and method for a motor vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053925A (ja) * 2007-08-27 2009-03-12 Toyota Motor Corp 行動予測装置
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
JP2017194432A (ja) * 2016-04-22 2017-10-26 株式会社デンソー 物体検出装置、物体検出方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111856493A (zh) * 2019-04-25 2020-10-30 北醒（北京）光子科技有限公司 一种基于激光雷达的摄像头触发装置及方法
JP2023107533A (ja) * 2022-01-24 2023-08-03 株式会社豊田自動織機 人検知システムの画像処理装置
JP7655233B2 (ja) 2022-01-24 2025-04-02 株式会社豊田自動織機 人検知システムの画像処理装置

Also Published As

Publication number Publication date
CN108694363A (zh) 2018-10-23
JP6756908B2 (ja) 2020-09-16
JPWO2018190362A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6756908B2 (ja) 車両周囲の歩行者を検出する方法及び装置
EP3807128B1 (en) A rider assistance system and method
CN111033510B (zh) 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
CN110651313A (zh) 控制装置和控制方法
JP6197291B2 (ja) 複眼カメラ装置、及びそれを備えた車両
LU101647B1 (en) Road pedestrian classification method and top-view pedestrian risk quantitative method in two-dimensional world coordinate system
CN113044059A (zh) 用于车辆的安全系统
CN107380164A (zh) 基于计算机视觉的驾驶员辅助系统和支持系统
GB2538572A (en) Safety system for a vehicle to detect and warn of a potential collision
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
JP7454685B2 (ja) 車両走行路内のデブリの検出
Smaldone et al. The cyber-physical bike: A step towards safer green transportation
CN103177248A (zh) 一种基于视觉的快速行人检测方法
WO2018212090A1 (ja) 制御装置及び制御方法
CN111081045A (zh) 姿态轨迹预测方法及电子设备
KR102345798B1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
Rammohan et al. Automotive Collision Avoidance System: A Review
CN109308442B (zh) 车外环境识别装置
JP6171608B2 (ja) 物体検出装置
KR20150092505A (ko) 차간 거리 경고 방법 및 전방 충돌 감지 장치
Michalke et al. Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions
JP2018088237A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
Teng Prevention Detection for Cyclists based on Faster R-CNN
RU2829379C1 (ru) Способ и интеллектуальная система обеспечения безопасности средств индивидуальной мобильности

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18784623

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019512544

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18784623

Country of ref document: EP

Kind code of ref document: A1