[go: up one dir, main page]

WO2012005377A1 - 衝突時間算出装置、衝突時間算出方法及びプログラム - Google Patents

衝突時間算出装置、衝突時間算出方法及びプログラム Download PDF

Info

Publication number
WO2012005377A1
WO2012005377A1 PCT/JP2011/065830 JP2011065830W WO2012005377A1 WO 2012005377 A1 WO2012005377 A1 WO 2012005377A1 JP 2011065830 W JP2011065830 W JP 2011065830W WO 2012005377 A1 WO2012005377 A1 WO 2012005377A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
time
point
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/065830
Other languages
English (en)
French (fr)
Inventor
秋田　時彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of WO2012005377A1 publication Critical patent/WO2012005377A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a collision time calculation device, a collision time calculation method, and a program, and more particularly, to a collision time calculation device, a collision time calculation method, and a program for calculating a time until a collision with an approaching object.
  • a driving support system that detects an object such as a vehicle approaching the host vehicle based on an image output from a camera installed in the car is being put into practical use.
  • This type of driving support system detects an object approaching the host vehicle based on the magnitude of a vector (optical flow) indicating a time-series position change of feature points included in an image (for example, Patent Document 1 and 2).
  • Patent Documents 1 and 2 constantly monitor the average value of the magnitude of the optical flow, which is correlated with the positional relationship between the own vehicle and an object approaching the own vehicle. Then, when the average value of the magnitude of the optical flow exceeds the threshold, a warning is issued to the driver.
  • the optical flow represents a locus (vector) of a point (feature point) on an image corresponding to a characteristic part of an actually existing object. For this reason, depending on the positional relationship between the vehicle and the object, an error occurs between the trajectory of the feature point on the image and the trajectory of the characteristic part in the real world. For this reason, it is conceivable that the above-described apparatus cannot detect an object approaching the host vehicle at an appropriate timing due to the error.
  • the present invention has been made under the above circumstances, and an object thereof is to appropriately predict the time until an object approaching the host vehicle collides with the host vehicle.
  • a collision time calculation device provides: An extraction unit for extracting a first feature point included in the first image captured by the imaging unit mounted on the vehicle and a second feature point corresponding to the first feature point included in the second image; Based on the size of the optical flow having the first feature point as the start point and the second feature point as the end point, and the time from the time when the first image was taken to the time when the second image was taken.
  • a prediction unit that calculates a first prediction time until an object in the field of view of the photographing unit collides with the vehicle; Is provided.
  • the prediction unit The first predicted time may be calculated using a second predicted time until the object collides with a first surface that includes the optical center of the photographing unit and is perpendicular to the optical axis of the photographing unit. .
  • the second predicted time may be calculated using a ratio between a distance from the vanishing point of the optical flow to a start point of the optical flow and the magnitude of the optical flow.
  • the first predicted time may be calculated by using a distance between a first surface that includes the foremost point of the vehicle and is orthogonal to the optical axis of the photographing unit.
  • the first predicted time may be calculated using a distance between a portion corresponding to the first or second feature point of the vehicle and the first surface.
  • the time from the time when the first image was taken to the time when the second image was taken is ⁇ t
  • the distance from the vanishing point of the optical flow to the start point of the optical flow is x2
  • the vanishing of the optical flow The distance between the point and the end point of the optical flow is x1
  • the second predicted time TTCc may be calculated using the following equation.
  • the prediction unit The time from the time when the first image was taken to the time when the second image was taken is ⁇ t, the X coordinate of the vanishing point in the XY coordinate system included in the first surface is xvp, and the optical flow The X coordinate of the start point of x is x1, the X coordinate of the end point of the optical flow is x2, and the focal length of the imaging unit is f.
  • the second predicted time TTCc may be calculated using an approximate expression represented by the following expression.
  • the second predicted time is TTCc
  • the distance between the first surface and the second surface that includes the foremost point of the vehicle and is orthogonal to the optical axis of the imaging unit is L
  • the first or second of the vehicle The distance between the portion corresponding to the two feature points and the first surface is Z1
  • the first predicted time TTC may be calculated using the following equation.
  • the focal length of the photographing unit is f
  • the arrangement interval of pixels constituting the first or second image is ⁇
  • the distance between the road surface on which the vehicle travels and the photographing unit is h
  • the first or second The distance between the vanishing point and the road surface in two images is yb
  • the distance Z1 may be calculated using the following equation.
  • the width of the vehicle is WV
  • the width of the vehicle in the second image is wv
  • the width of the second image is wc
  • the viewing angle of the photographing unit corresponding to the second image is FOV.
  • the distance Z1 may be calculated using the following equation.
  • the collision time calculation method is: A first step of extracting a first feature point included in the first image shot by a shooting unit mounted on the vehicle; A second step of extracting a second feature point corresponding to the first feature point, which is included in a second image photographed by the photographing means; Based on the size of the optical flow having the first feature point as the start point and the second feature point as the end point, and the time from the time when the first image was taken to the time when the second image was taken. A third step of calculating a first predicted time until an object in the field of view of the photographing means collides with the vehicle; including.
  • the program according to the third aspect of the present invention is: On the computer, A first procedure for extracting a first feature point included in the first image, which is imaged by an imaging means mounted on the vehicle; A second procedure for extracting a second feature point corresponding to the first feature point, which is included in a second image photographed by the photographing means; Based on the size of the optical flow having the first feature point as the start point and the second feature point as the end point, and the time from the time when the first image was taken to the time when the second image was taken. A third procedure for calculating a first predicted time until an object in the field of view of the photographing means collides with the vehicle; Is executed.
  • FIG. 3 is a first diagram illustrating an image photographed by the photographing apparatus. It is FIG. (2) which shows the image image
  • FIG. 1 is a block diagram showing a schematic configuration of a collision time calculation system 10 according to the present embodiment.
  • the collision time calculation system 10 is a system that calculates the time until an object such as an approaching vehicle that is installed in a vehicle and approaches the vehicle collides with the vehicle.
  • the collision time calculation system 10 includes an imaging device 20 and a collision time calculation device 30.
  • the imaging device 20 is a device that includes, for example, a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor), and converts an image acquired by photographing a subject into an electrical signal and outputs the electrical signal. Moreover, the imaging device 20 includes, for example, an RTC (Real Time Clock) and a timer, the time when the image was captured, the time difference when the first image and the second image were captured, and the frame between the first image and the second image. Output the difference.
  • the imaging device 20 is attached to the upper part of the front window of the vehicle 100, for example, as shown in FIG.
  • the photographing apparatus 20 photographs the front of the vehicle 100 and outputs information (for example, the image, the photographing time of the image, the frame number, and the number of pixels) about the image acquired by photographing to the collision time calculating apparatus 30.
  • FIG. 3 is a diagram showing a relative positional relationship between the vehicle 100 and the vehicle 101.
  • a vehicle 101 traveling in front of the vehicle 100 comes relatively close to the vehicle 100.
  • the vehicle 101 at the position indicated by the arrow a1 relatively moves to the position indicated by the arrow a2 after a predetermined time has elapsed.
  • the vehicle 101 at the position indicated by the arrow a1 is first photographed by the photographing device 20, and then the vehicle 101 at the position indicated by the arrow a2 is photographed.
  • FIG. 4 is a diagram showing an image PH1 obtained by photographing the vehicle 101 at the position indicated by the arrow a1.
  • FIG. 5 is a diagram showing an image PH2 obtained by photographing the vehicle 101 at the position indicated by the arrow a2.
  • the image capturing device 20 captures the images PH1 and PH2
  • the information regarding the images PH1 and PH2 for example, images, image capturing times, frame numbers, frame differences between the images PH1 and PH2, images PH1 and PH2
  • Time difference is output to the collision time calculation device 30.
  • a point corresponding to the optical center of the imaging device 20 is defined as an origin Xc (FOE: FocusFof Define the xy coordinate system as (Expansion).
  • the origin Xc of the xy coordinate system coincides with the centers of the images PH1 and PH2.
  • the collision time calculation device 30 is based on an image (for example, the images PH1 and PH2) output from the imaging device 20, and approaches an approaching vehicle (vehicle 101) relatively approaching the own vehicle (vehicle 100). ) Is a device for calculating the time until the vehicle collides.
  • the collision time calculation device 30 includes a storage unit 31, a feature point extraction unit 32, a correlation value calculation unit 33, an optical flow definition unit 34, a grouping processing unit 35, and a collision prediction time calculation unit 36. is doing.
  • the storage unit 31 stores information on images sequentially output from the photographing apparatus 20 in frame units in time series.
  • the storage unit 31 sequentially stores information as processing results of the units 32 to 36.
  • the feature point extraction unit 32 calculates a feature amount for each pixel constituting the image stored in the storage unit 31. Then, the feature point extraction unit 32 extracts feature points included in the image based on this feature amount. For example, the feature quantity f (x, y) of a certain pixel M (x, y) shown in the xy coordinate system defined on the image PH1 shown in FIG. 4 is a function I ( When x, y) is used, it is expressed by the following formula (1).
  • Ixx, Iyy, and Ixy are respectively expressed by the following equations (2) to (4).
  • K is a constant.
  • the feature point extraction unit 32 first calculates a feature amount f (x, y) for each pixel M (x, y) constituting the image PH1 using Expression (1). Next, the feature point extraction unit 32 calculates the average value AVG (x, y) of the luminance of the pixels around the pixel M (x, y) (for example, the surrounding 4 pixels, the surrounding 8 pixels, and the surrounding 24 pixels). Then, the feature amount f (x, y) is divided by the brightness average value AVG (x, y) raised to the fourth power.
  • the pixel M (x, y) at this time is extracted as a feature point.
  • the reason why the feature quantity f (x, y) is divided by the fourth power of the average luminance value AVG (x, y) is to normalize the feature quantity f (x, y) with respect to the brightness. .
  • FIG. 4 shows feature points P1, P2, P3, and P4 related to the vehicle 101 extracted from the image PH1.
  • FIG. 5 shows feature points Q1, Q2, Q3, and Q4 extracted from the image PH2.
  • the feature point extraction unit 32 specifically forms discontinuous points in which the contour of the vehicle 101 reflected in the images PH1 and PH2 changes sharply, and the vehicle 101. A point where the shape of the part to be changed changes discontinuously is extracted as a feature point.
  • the feature point extraction unit 32 When the feature point extraction unit 32 completes the extraction of the feature points for the images PH1 and PH2, the feature point extraction unit 32 outputs information about the extracted feature points to the storage unit 31 and also indicates that the feature point extraction has been completed. To notify. Although a case where four feature points are extracted is described here, in practice, a large number (for example, 30, 100) of feature points are extracted from one image.
  • the correlation value calculator 33 sequentially selects the feature points P1 to P4 of the image PH1. Then, the correlation value calculator 33 calculates correlation values between the selected feature points P1 to P4 and the feature points Q1 to Q4 of the image PH2.
  • the correlation value calculation unit 33 has a predetermined shape (for example, a rectangle, a square, an ellipse, etc.) centered on the feature point (here, the feature point P1) of the image PH1. )
  • a predetermined shape for example, a rectangle, a square, an ellipse, etc.
  • the template TF1 is an image composed of pixels arranged in a matrix of M rows and N columns.
  • the coordinates of the template TF1 refer to the coordinates of the center of the template.
  • the correlation value calculator 33 sequentially calculates the correlation value R of the template TF1 with respect to the image PH2 while moving the template TF1 in the vicinity of the feature points Q1 to Q4 of the image PH2.
  • the correlation value R can be calculated using, for example, the following equation (5) indicating normalized cross-correlation.
  • T (i, j) is the luminance of the pixel located in the i-th row and the j-th column of the template TF1.
  • I (i, j) is the luminance of the pixel located in the i-th row and the j-th column of the partial image of the image PH2 overlapping the template TF1.
  • IAVG is an average value of luminances of pixels constituting the partial image.
  • TAVG is an average value of the luminance of the pixels constituting the template.
  • I AVG and T AVG are represented by the following formulas (6) and (7).
  • the correlation value calculation unit 33 calculates the correlation value R based on the above equation (5), information on the correlation value R (for example, numerical values, information on feature points used for calculating the correlation value R) is used as a template.
  • the TF1 is stored in the storage unit 31 in association with the position coordinates in the xy coordinate system.
  • the correlation value calculation unit 33 performs the same processing as described above for the feature points P2, P3, and P4 of the image PH1. After calculating the correlation value R for all the feature points P1 to P4, the correlation value calculating unit 33 notifies the optical flow defining unit 34 that the calculation of the correlation value has been completed.
  • the optical flow defining unit 34 starts from the feature points P1 to P4 of the image PH1 and ends at the feature points Q1 to Q4 of the image PH2.
  • the optical flow is defined.
  • the optical flow defining unit 34 uses the feature point (here, the feature point) of the image PH2 closest to the coordinates of the template TF1 when the correlation value R calculated using the template TF1 for the feature point P1 is maximized. Any one of the characteristic points of Q1 to Q4) is specified.
  • the feature point P ⁇ b> 1 is a feature point corresponding to the right end portion of the rear bumper of the vehicle 101. For this reason, the correlation value R calculated using the template TF1 is maximized when the center of the template TF1 substantially matches the feature point Q1 of the image PH2. Therefore, here, the feature point Q1 is specified as the feature point corresponding to the feature point P1.
  • the optical flow defining unit 34 defines an optical flow OP1 having a feature point P1 as a start point and a feature point Q1 as an end point in the xy coordinate system.
  • the optical flow defining unit 34 similarly defines the optical flow OP2 having the feature point P2 as the start point and the feature point Q2 as the end point in the above-described procedure. Further, the optical flow defining unit 34 defines an optical flow OP3 having a feature point P3 as a start point and a feature point Q3 as an end point. Further, the optical flow defining unit 34 defines an optical flow OP4 having a feature point P4 as a start point and a feature point Q4 as an end point.
  • the optical flow defining unit 34 When the optical flow defining unit 34 defines the optical flows OP1 to OP4 for all the feature points P1 to P4, the optical flow defining unit 34 stores information on the optical flows OP1 to OP4 (for example, vector quantities, coordinates of the start and end points of the optical flow). The information is output to the unit 31 and the grouping processing unit 35 is notified that the optical flow has been defined.
  • the grouping processing unit 35 groups the specified group of optical flows OP1 to OP4. As shown in FIG. 6, the present embodiment describes a case where there are four optical flows related to the vehicle 101. However, in practice, tens or hundreds of feature points can be extracted from an image obtained by photographing the vehicle 101. Dozens or hundreds of optical flows can be defined.
  • the grouping processing unit 35 excludes optical flows including a lot of noise components from among tens or hundreds of optical flows, and groups the remaining optical flows. For example, when the vehicle 101 is in a complete linear motion, each straight line that coincides with each optical flow (a straight line extended from the start point of the optical flow) intersects at the vanishing point VP. Therefore, the grouping processing unit 35 excludes the optical flow from the grouping when the straight line that matches the optical flow is significantly away from the vanishing point VP, and the optical flow related to the same moving object is excluded from the grouping. It is considered that it is grouped.
  • the optical flows OP1 to OP4 related to the vehicle 101 are grouped as the optical flows of the vehicle 101.
  • the grouping processing unit 35 When the optical flow grouping is completed, the grouping processing unit 35 outputs information on the grouped optical flows (for example, the vector amount, the coordinates of the start and end points of the optical flow, the name of the optical flow) to the storage unit 31 and the grouping. Is notified to the collision prediction time calculation unit 36.
  • the collision prediction time calculation unit 36 uses the optical flows OP1 to OP4 to calculate the collision prediction time TTC until the vehicle 101 collides with the vehicle 100.
  • FIG. 7 is a diagram for explaining processing executed by the collision prediction time calculation unit 36.
  • a point RP1 in FIG. 7 is a point indicating the right end portion of the rear bumper constituting the vehicle 101 at the position indicated by the arrow a1 in FIG.
  • the point RQ1 in FIG. 7 is a point which shows the right side edge part of the rear bumper which comprises the vehicle 101 in the position shown by arrow a2 in FIG.
  • This point RP1 corresponds to the feature point P1
  • the point RQ1 corresponds to the feature point Q1.
  • the point RP1 and the point RQ1 are also referred to as a corresponding point RP1 and a corresponding point RQ1, respectively.
  • the right end portion of the rear bumper constituting the vehicle 101 is also referred to as an index point for convenience.
  • a straight line LN1 in FIG. 7 indicates a plane including the image plane IM of the imaging device 20.
  • a straight line LN ⁇ b> 2 indicates a collision surface including a portion on the most + Z side of the vehicle 100.
  • the origin O of the XYZ coordinate system coincides with the optical center of the photographing apparatus 20. Therefore, the distance from the origin O of the XYZ coordinate system to the straight line LN1 is equal to the focal length f of the imaging device 20. The distance between the origin O and the straight line LN2 is assumed to be L.
  • the vehicle 101 located at the position indicated by the arrow a1 in FIG. 3 has moved to the position indicated by the arrow a2 in FIG. 3 when the image PH2 is photographed.
  • the vector in the XYZ coordinate system corresponding to the optical flow OP1 having the feature point P1 as the start point and the feature point Q1 as the end point has the start point as the corresponding point RP1 and the end point.
  • the vector MV0 is the point RQ1.
  • the optical flow OP ⁇ b> 1 indicates the movement locus (vector amount) of the feature point in the image plane IM of the photographing apparatus 20.
  • a vector MV0 indicates the movement locus of the corresponding point in the XYZ coordinate system. In the present embodiment, since the vehicle 101 relatively moves in parallel with the Z axis, the vector MV0 is parallel to the Z axis.
  • the feature point P1 and the corresponding point RP1 are arranged on a straight line LN3 passing through the origin O in the XYZ coordinate system.
  • the feature point Q1 and the corresponding point RQ1 are arranged on a straight line LN4 passing through the origin O in the XYZ coordinate system.
  • of the vector MV2 indicating the trajectory until the index point of the vehicle 101 that coincides with the corresponding point RQ1 reaches the point CP1 on the X axis with the X coordinate as X1, and the feature point P1
  • of the vector MV0 is expressed by the following equation (8).
  • the vector MV1 indicating the trajectory until the index point of the vehicle 101 reaches the point CP2 on the collision plane indicated by the straight line LN2 from the corresponding point RQ1 is parallel to the Z axis.
  • of the vector MV2 is expressed by the following equation using the distance Z1 from the X axis to the corresponding point RQ1 and the distance L from the X axis to the point CP2. It is indicated by (10).
  • L in the above equation (11) is a distance between the X axis and the collision surface indicated by the straight line LN2, and is a known value that is substantially equal to the distance between the mounting position of the imaging device 20 and the front end of the vehicle 100. Therefore, if the value of the distance Z1 between the X axis and the corresponding point RQ1 is known, the collision prediction time calculation unit 36 uses the above equation (11) to predict the collision prediction time TTC until the vehicle 101 collides with the vehicle 100. Can be calculated.
  • the collision prediction time calculation unit 36 calculates the distance Z1 using the following equation (12).
  • f is a focal length of the photographing apparatus 20.
  • ⁇ is the arrangement interval in the y-axis direction of the pixels constituting the images PH1 and PH2.
  • h is a distance between the road surface on which the vehicle 100 travels and the photographing apparatus 20.
  • yb is a distance between the feature point Q1 and the road surface on which the vehicle 100 travels in the image PH2, as shown in FIG.
  • the collision prediction time calculation unit 36 calculates the distance Z1 using the equation (12), the collision prediction time until the vehicle 101 collides with the vehicle 100 by substituting the calculated distance Z1 into the equation (11). Time TTC is calculated. Then, the collision prediction time calculation unit 36 outputs the collision prediction time TTC to an external device or the like.
  • the external device is, for example, a device that includes a speaker and issues an alarm to the driver.
  • the external device or the like to issue a warning for avoiding a collision to the driver when, for example, the collision prediction time TTC is equal to or less than a threshold value.
  • the time TTCc until the vehicle 101 reaches the surface including the optical center of the imaging device 20 is calculated using the optical flow for the vehicle 100. Based on this time TTCc, a predicted collision time TTC until the vehicle 101 collides with the collision surface of the vehicle 100 is calculated.
  • the predicted collision time TTC is greatly affected by an error generated between the magnitude of the vector MV0 indicating the trajectory of the index point of the vehicle 101 and the magnitude of the optical flow OP1 even when the vehicle 101 is away from the vehicle 100. It is calculated without. Therefore, by calculating the predicted collision time TTC until the vehicle 100 and the vehicle 101 collide in advance, it is possible to issue an alarm for avoiding the collision to the driver at an appropriate timing.
  • the collision prediction time TTC calculated using the optical flow is a time TTCc required for the vehicle 101 to reach the surface including the optical center of the image capturing device 20, and a distance L from the optical center of the image capturing device 20 to the collision surface is considered. Then, it is obtained by correcting. When this correction is performed, a distance Z1 including a lot of detection errors is used. However, since the error included in the distance Z1 becomes smaller as the vehicle 100 and the vehicle 101 get closer, the reliability of the collision prediction time TTC is sufficiently maintained.
  • the collision prediction until the object collides with the vehicle 100 is based on the time until the object moving relative to the vehicle 100 reaches the surface including the optical center of the imaging device 20.
  • Time TTC is calculated.
  • the predicted collision time TTC can be calculated without being greatly affected by the error even if the vehicle 100 and the object are separated from each other. Therefore, it is possible to issue a warning to the driver at an appropriate timing based on the predicted collision time TTC.
  • the vehicle 100 travels in the + Z direction and the vehicle 101 travels in a direction crossing the Z axis.
  • the vehicle 101 in the XYZ coordinate system in which the optical center of the photographing apparatus 20 is the origin O, the vehicle 101 relatively moves in a direction in which the traveling direction of the vehicle 100 and the traveling direction of the vehicle 101 are combined. .
  • the vehicle 101 at the position indicated by the arrow a1 in FIG. 8 moves relatively to the position indicated by the arrow a2 when a predetermined time has elapsed.
  • the vehicle 101 at the position indicated by the arrow a1 is first photographed by the photographing device 20, and then the vehicle 101 at the position indicated by the arrow a2 is photographed.
  • FIG. 9 shows optical flows OP1 to OP4 defined by the optical flow defining unit 34.
  • the vehicle 101 approaches the vehicle 100 by moving relative to the vehicle 100 in the direction intersecting the Y axis. For this reason, the vanishing point VP of the optical flows OP1 to OP4 does not coincide with the origin O of the xy coordinate system.
  • FIG. 10 is a diagram for explaining processing executed by the collision prediction time calculation unit 36.
  • the straight line LN5 is a straight line that passes through the origin and is orthogonal to the vector MV0.
  • Point CP3 is an intersection of a straight line passing through corresponding point RQ1 and point CP1 and straight line LN5.
  • the point CP3 and the point CP1 are illustrated with a certain distance therebetween.
  • the distance between the point CP3 and the point CP1 is significantly smaller than the distance L between the origin O and the collision surface indicated by the straight line LN2. Therefore, the vector MV3 that is parallel to the vector MV2 and that has the corresponding point RQ1 as the start point and the point CP3 as the end point may be handled as having the same size as the vector MV2.
  • the collision prediction time calculation unit 36 calculates the time TTCc0 as an approximate value of the time TTCc until the vehicle 101 collides with the surface indicated by the straight line LN5, based on the following equation (13).
  • Xvp is the X coordinate of the vanishing point VP.
  • the collision prediction time calculation unit 36 substitutes the time TTCc0 calculated by the above equation (13) into the above equation (11) as the time TTCc, and the collision prediction time until the vehicle 101 collides with the vehicle 100. TTC is calculated. Then, the collision prediction time calculation unit 36 outputs the calculated collision prediction time TTC to an external device or the like.
  • the external device or the like to issue a warning for avoiding a collision to the driver when, for example, the collision prediction time TTC is equal to or less than a threshold value.
  • the time TTCc0 until the vehicle 101 reaches the point CP3 on the straight line LN5 is calculated as an approximate value of the time TTCc.
  • a predicted collision time TTC until the vehicle 101 collides with the collision surface of the vehicle 100 is calculated.
  • the predicted collision time TTC is greatly affected by an error generated between the magnitude of the vector MV0 indicating the trajectory of the index point of the vehicle 101 and the magnitude of the optical flow OP1 even when the vehicle 101 is away from the vehicle 100. It is calculated without. Therefore, by calculating the predicted collision time TTC until the vehicle 100 and the vehicle 101 collide in advance, it is possible to issue an alarm for avoiding the collision to the driver at an appropriate timing.
  • the above equation (13) is obtained when the traveling direction of the vehicle 100 and the traveling direction of the vehicle 101 are parallel, or when the vanishing point VP coincides with the origin O of the XYZ coordinate system. The same holds true.
  • the value of xvp is 0.
  • time TTCc0 coincides with time TTCc.
  • the collision time calculation system 10 is the same as the collision time calculation device 30 in that the collision time calculation device 30 is realized by the same configuration as a general computer or a device such as a microcomputer. This is different from the calculation system 10.
  • FIG. 11 is a block diagram showing a physical configuration of the collision time calculation system 10. As shown in FIG. 11, the collision time calculation system 10 includes an imaging device 20 and a collision time calculation device 30 including a computer.
  • the collision time calculation device 30 includes a central processing unit (CPU) 30a, a main storage unit 30b, an auxiliary storage unit 30c, a display unit 30d, an input unit 30e, an interface unit 30f, and a system bus 30g that interconnects the above units. It consists of
  • the CPU 30a executes processing to be described later on the image acquired by the imaging device 20 according to the program stored in the auxiliary storage unit 30c.
  • the main storage unit 30b includes a RAM (Random Access Memory) and the like, and is used as a work area of the CPU 30a.
  • RAM Random Access Memory
  • the auxiliary storage unit 30c includes a non-volatile memory such as a ROM (Read Only Memory), a magnetic disk, and a semiconductor memory.
  • the auxiliary storage unit 30c stores programs executed by the CPU 30a, various parameters, and the like.
  • information including information (for example, an image, an image capturing time, a frame number, and the number of pixels) related to an image output from the image capturing device 20 and a processing result by the CPU 30a are sequentially stored.
  • the display unit 30d includes a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display), and displays the processing result of the CPU 30a.
  • CRT Cathode Ray Tube
  • LCD Liquid Crystal Display
  • the input unit 30e includes a key switch and a pointing device.
  • the operator's instruction is input via the input unit 30e and notified to the CPU 30a via the system bus 30g.
  • the interface unit 30f includes a serial interface or a LAN (Local Area Network) interface.
  • the imaging device 20 is connected to the system bus 30g via the interface unit 30f.
  • the flowchart of FIG. 12 corresponds to a series of processing algorithms of a program executed by the CPU 30a.
  • the process performed by the collision time calculation device 30 will be described with reference to FIG. Note that this process is executed with a trigger when the collision time calculation system 10 is activated and information regarding an image captured by the imaging device 20 is output.
  • the image capturing device 20 sequentially outputs an image PH1 shown in FIG. 4 and an image PH2 shown in FIG.
  • the CPU 30a calculates a feature amount for each pixel constituting the images PH1 and PH2 stored in the storage unit 31, and extracts feature points included in the image based on the feature amount. .
  • feature points P1, P2, P3, and P4 are extracted from the image PH1 here.
  • feature points Q1, Q2, Q3, and Q4 are extracted from the image PH2.
  • the CPU 30a sequentially selects the feature points P1 to P4 of the image PH1. Then, the CPU 30a calculates a correlation value between the selected feature points P1 to P4 and the feature points Q1 to Q4 of the image PH2. For example, first, the CPU 30a sequentially calculates the correlation value R of the template TF1 with respect to the image PH2 while moving the template TF1 centered on the feature point P1 of the image PH1 in the vicinity of the feature points Q1 to Q4 of the image PH2. The CPU 30a performs the above-described processing for the feature points P2 to P4.
  • the CPU 30a uses the feature points P1 to P4 of the image PH1 as the start points and the feature points Q1 to Q4 of the image PH2 as the end points.
  • the optical flows OP1 to OP4 are defined.
  • the CPU 30a groups the specified group of optical flows OP1 to OP4.
  • the specified group of optical flows OP1 to OP4 As shown in FIG. 6, in the present embodiment, a case where there are four optical flows related to the vehicle 101 is described for convenience of explanation. However, in practice, tens or hundreds of feature points can be extracted from an image obtained by photographing the vehicle 101. Dozens or hundreds of optical flows can be defined.
  • the CPU 30a excludes optical flows including many noise components from the tens or hundreds of optical flows from the grouping, and groups the remaining optical flows. For example, when the vehicle 101 is in a complete linear motion, straight lines that coincide with the optical flows (straight lines extended from the start point of the optical flow) intersect at the vanishing point VP. Therefore, the CPU 30a excludes the optical flow from the grouping when the straight line that matches the optical flow is significantly away from the vanishing point VP, and regards the remaining optical flow as the optical flow related to the same moving object. Group.
  • the optical flows OP1 to OP4 related to the vehicle 101 are grouped as the optical flows of the vehicle 101.
  • the CPU 30a calculates a predicted collision time TTC until the vehicle 101 collides with the vehicle 100 using the optical flows OP1 to OP4.
  • the vehicle 101 located at the position indicated by the arrow a1 in FIG. 3 moves relatively to the position indicated by the arrow a2 in FIG. 3 when the image PH2 is taken.
  • the vector in the XYZ coordinate system corresponding to the optical flow OP1 having the feature point P1 as the start point and the feature point Q1 as the end point has the start point as the corresponding point RP1 and the end point as the corresponding point.
  • the vector MV0 is RQ1.
  • the optical flow OP1 shows the movement locus of the feature points in the image plane IM of the photographing apparatus 20.
  • a vector MV0 indicates the movement locus of the corresponding point in the XYZ coordinate system.
  • the vector MV0 is parallel to the Z axis.
  • the feature point P1 and the corresponding point RP1 are arranged on a straight line LN3 passing through the origin O in the XYZ coordinate system.
  • the feature point Q1 and the corresponding point RQ1 are arranged on a straight line LN4 passing through the origin O in the XYZ coordinate system.
  • of the vector MV2 indicating the trajectory until the index point of the vehicle 101 that coincides with the corresponding point RQ1 reaches the point CP1 on the X axis with the X coordinate as X1, and the feature point P1
  • of the vector MV0 is expressed by the above equation (8).
  • the said Formula (9) is guide
  • the vector MV1 indicating the trajectory until the index point of the vehicle 101 reaches the point CP2 on the collision plane indicated by the straight line LN2 from the corresponding point RQ1 is parallel to the Z axis.
  • of the vector MV2 is obtained by using the distance Z1 from the X axis to the corresponding point RQ1 and the distance L from the X axis to the point CP2. It is indicated by (10).
  • the said Formula (11) is guide
  • L in the above equation (11) is a distance between the X axis and the collision surface indicated by the straight line LN2, and is a known value that is substantially equal to the distance between the mounting position of the imaging device 20 and the front end of the vehicle 100. Therefore, if the value of the distance Z1 between the X axis and the corresponding point RQ1 is known, the collision prediction time calculation unit 36 uses the above equation (11) to predict the collision prediction time TTC until the vehicle 101 collides with the vehicle 100. Can be calculated. Therefore, the CPU 30a calculates the distance Z1 using the above equation (12). Then, the CPU 30a calculates the collision prediction time TTC by substituting the calculated distance Z1 into the above equation (11). After calculating the predicted collision time TTC, the CPU 30a outputs the predicted collision time TTC to an external device or the like.
  • the external device or the like to issue a warning for avoiding a collision to the driver when, for example, the collision prediction time TTC is equal to or less than a threshold value.
  • the time TTCc until the vehicle 101 reaches the surface including the optical center of the imaging device 20 is calculated using the optical flow for the vehicle 100. Based on this time TTCc, a predicted collision time TTC until the vehicle 101 collides with the collision surface of the vehicle 100 is calculated.
  • the predicted collision time TTC is greatly affected by an error generated between the magnitude of the vector MV0 indicating the trajectory of the index point of the vehicle 101 and the magnitude of the optical flow OP1 even when the vehicle 101 is away from the vehicle 100. It is calculated without. Therefore, by calculating the predicted collision time TTC until the vehicle 100 and the vehicle 101 collide in advance, it is possible to issue an alarm for avoiding the collision to the driver at an appropriate timing.
  • the distance Z1 is calculated using Expression (12). Not limited to this, the distance Z1 may be calculated using the following equation (14).
  • WV is the vehicle width of the vehicle 101.
  • wv is the vehicle width of the vehicle 101 in the image PH2.
  • Wc is the horizontal width of the image PH2.
  • FOV is a viewing angle of the photographing apparatus 20 corresponding to the image PH2.
  • Japanese Patent Application Laid-Open No. 2008-97126 discloses that optical flows that are equal to each other with an index C0 expressed by the following equation (15) allowing a certain error are grouped. (See FIG. 9 in particular).
  • the following equation (15) is established from the relationship of geometric similarity, the following equation (16) is also established.
  • the index C1 represented by the following equation (16) is calculated in the same manner as the calculation of the index C0 in the technique disclosed in Japanese Patent Laid-Open No. 2008-97126. .
  • Equation (16) is obtained when the vanishing point VP is equal to the image center Xc (when the optical axis direction of the imaging device 20 and the relative movement direction of the vehicle 101 with respect to the vehicle 100 are parallel).
  • the following equation (17) can be modified.
  • the right side of equation (17) is equivalent to the denominator of the left side of equation (9). Therefore, when optical flow grouping is performed using the technique disclosed in Japanese Patent Application Laid-Open No. 2008-97126, a result calculated in the process of grouping is used to calculate the collision prediction time TTC. Processing can be performed in a short time.
  • using the index C1 calculated in the process of grouping while allowing a certain error uses the value of the average index C1 of the moving object. For example, the index C1 at one specific point of the moving object. It is more resistant to noise than when using the value of.
  • the collision prediction time is calculated using the optical flow OP1 defined by the feature point P1 and the feature point Q1 has been described.
  • the present invention is not limited to this, and the collision prediction time may be calculated using an optical flow other than the optical flow OP1.
  • the average value of the collision prediction times calculated using the respective optical flows OP1 to OP4 may be output to an external device or the like as the final collision prediction time.
  • the photographing apparatus 20 is attached to the upper portion of the front window as shown in FIG. 2 .
  • the imaging device 20 may have a camera arranged in the vicinity of the front bumper.
  • the time TTCc is equivalent to the collision prediction time TTC.
  • the feature amount f (x, y) is calculated using the equation (1), but the present invention is not limited to this.
  • the feature amount may be a so-called KLT feature amount min ( ⁇ 1, ⁇ 2).
  • the comparison value V can be calculated by dividing the feature amount by the square of the average value AVG (x, y) described above.
  • ⁇ 1 and ⁇ 2 are represented by the following equations (18) and (19), respectively.
  • Ix and Iy indicate gradients in the X-axis direction and Y-axis direction of the luminance I (x, y) at the position (x, y) on the image. Specifically, it is represented by the following formula (21) and formula (22).
  • the predicted collision time TTC until an object approaching the host vehicle collides with the host vehicle is calculated based on the time from the time when the image PH1 is captured to the time when the image PH2 is captured. Then explained.
  • the imaging device 20 can capture images PH1 and PH2 used for calculating the predicted collision time TTC at an arbitrary time. For example, an image captured when the ratio of the image of an object in the image to the entire image exceeds a predetermined ratio (10%, 20%, etc.) of the image captured by the image capturing device 20 is: The image is PH1. An image taken after a predetermined time (0.1 seconds, 0.5 seconds, etc.) from the time when the image PH1 was taken can also be set as PH2.
  • the time ⁇ t has been described as the time from the time when the image PH1 is captured to the time when the image PH2 is captured.
  • the collision prediction time calculation unit 36 calculates the collision prediction time TTC using the first frame image captured by the imaging device 20 as the image PH1 and the second frame image as the image PH2, and then the second frame.
  • the collision prediction time TTC can be calculated one after another using the image PH1 as the image PH1 and the third frame image as the image PH2, and the collision prediction time TTC can be calculated one after another.
  • the collision prediction time calculation unit 36 also calculates the collision prediction time TTC based on the time difference between two frames separated by a predetermined interval (for example, the first frame image is the image PH1 and the fifth frame image is the image PH2). Can also be calculated.
  • the function of the collision time calculation device 30 according to each of the above embodiments can be realized by dedicated hardware or by a normal computer system.
  • the programs stored in the auxiliary storage unit 30c of the collision time calculation device 30 are a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk), a MO ( A device that executes the above-described processing may be configured by storing and distributing in a computer-readable recording medium such as Magneto-Optical disk) and installing the program in the computer.
  • a computer-readable recording medium such as Magneto-Optical disk
  • the program may be stored in a disk device or the like of a predetermined server device on a communication network such as the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
  • the collision time calculation device, collision time calculation method, and program of the present invention are suitable for calculating the collision time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　自車に接近する接近車両についてのオプティカルフローを用いて、接近車両が、自車に搭載された撮影装置の光学中心を含む面に到達するまでの到達時間を算出する。そして、この到達時間に基づいて、接近車両が自車に衝突するまでの衝突予測時間を算出する。この衝突予測時間は、接近車両が自車から離れていても、接近車両の移動軌跡を示すベクトルの大きさと、オプティカルフローの大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に自車と接近車両とが衝突するまでの衝突予測時間を算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。

Description

衝突時間算出装置、衝突時間算出方法及びプログラム
　本発明は、衝突時間算出装置、衝突時間算出方法及びプログラムに関し、更に詳しくは、接近する物体と衝突するまでの時間を算出する衝突時間算出装置、衝突時間算出方法及びプログラムに関する。
　車に設置されたカメラから出力される画像に基づいて、自車に接近する車両などの物体を検出する運転支援システムの実用化が進められている。この種の運転支援システムは、画像に含まれる特徴点の時系列的な位置変化を示すベクトル（オプティカルフロー）の大きさに基づいて、自車に接近する物体を検出する（例えば特許文献１及び２参照）。
特開平１１－２５９６３４号公報 特開平９－０１８８６３号公報
　特許文献１及び２に記載された装置は、自車と自車に接近する物体との位置関係に相関のある、オプティカルフローの大きさの平均値を常時監視する。そして、オプティカルフローの大きさの平均値が閾値を超えた場合に、ドライバーに警報を発する。
　オプティカルフローは、実際に存在する物体の特徴的な部分に対応する画像上の点（特徴点）の軌跡（ベクトル）を表すものである。このため、自車と物体との位置関係によっては、画像上の特徴点の軌跡と、実世界での特徴的な部分の軌跡との間に誤差が生じる。このため、上述の装置では、当該誤差により、自車に接近する物体を適切なタイミングで検出できないことが考えられる。
　本発明は、上述の事情の下になされたもので、自車に接近する物体が、自車に衝突するまでの時間を適切に予測することを目的とする。
　上記目的を達成するために、本発明の第１の観点に係る衝突時間算出装置は、
　車両に搭載された撮影部によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出部と、
　前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影部の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測部と、
　を備える。
　前記予測部は、
　前記撮影部の光学中心を含み、前記撮影部の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出することとしてもよい。
　また、前記予測部は、
　前記オプティカルフローの消失点から前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出することとしてもよい。
　また、前記予測部は、
　前記車両の最前の点を含み、前記撮影部の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
　また、前記予測部は、
　前記車両の前記第１又は第２特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
　また、前記予測部は、
　前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
　次式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000006
　また、前記予測部は、
　前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影部の焦点距離をｆとして、
　次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000007
　また、前記予測部は、
　前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影部の光軸と直交する第２面との距離をＬとし、前記車両の前記第１又は第２特徴点に対応する部分と前記第１面との距離をＺ１として、
　次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000008
　また、前記予測部は、
　前記撮影部の焦点距離をｆとし、前記第１又は第２画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影部との距離をｈとし、前記第１又は第２画像における前記消失点と前記路面との距離をｙｂとして、
　次式を用いて、前記距離Ｚ１を算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000009
　また、前記予測部は、
　前記車両の幅をＷＶとし、前記第２画像における前記車両の幅をｗｖとし、前記第２画像の幅をｗｃとし、前記第２画像に対応する前記撮影部の視野角をＦＯＶとして、
　次式を用いて、前記距離Ｚ１を算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000010
　本発明の第２の観点に係る衝突時間算出方法は、
　車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
　前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
　前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
　を含む。
　本発明の第３の観点に係るプログラムは、
　コンピュータに、
　車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
　前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
　前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
　を実行させる。
　本発明によれば、自車に接近する物体が、自車に衝突するまでの時間を適切に予測することが可能となる。
第１の実施形態に係る衝突時間算出システムのブロック図である。 撮影装置の取り付け位置を説明するための図である。 自車と接近車両との相対的な位置関係を示す図である。 撮影装置によって撮影された画像を示す図（その１）である。 撮影装置によって撮影された画像を示す図（その２）である。 オプティカルフローを示す図である。 衝突予測時間を算出するための処理を説明するための図である。 第２の実施形態における、自車と接近車両との相対的な位置関係を示す図である。 オプティカルフローを示す図である。 衝突予測時間を算出するための処理を説明するための図である。 第３の実施形態に係る衝突時間算出システムのブロック図である。 衝突時間算出装置の動作を説明するためのフローチャートである。
《第１の実施形態》
　以下、本発明の第１の実施形態に係る衝突時間算出システムを、図面を参照しつつ説明する。図１は本実施形態に係る衝突時間算出システム１０の概略的な構成を示すブロック図である。衝突時間算出システム１０は、車両に設置され、自車に接近する接近車両などの物体が、自車に衝突するまでの時間を算出するシステムである。この衝突時間算出システム１０は、図１に示されるように、撮影装置２０と、衝突時間算出装置３０とを有している。
　撮影装置２０は、例えば、ＣＣＤ（Charge Coupled Device)）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を備え、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。また、撮影装置２０は、例えば、ＲＴＣ（Real Time Clock）やタイマーを備え、画像を撮影した時刻、第１画像と第２画像とを撮影した時刻差、第１画像と第２画像とのフレーム差を出力する。撮影装置２０は、例えば図２に示されるように、車両１００のフロントウインド上部に取り付けられている。この撮影装置２０は、車両１００の前方を撮影し、撮影により取得した画像に関する情報（例えば、画像、画像の撮影時刻、フレーム番号、画素数）を衝突時間算出装置３０へ出力する。
　図３は、車両１００と車両１０１との相対的な位置関係を示す図である。例えば、車両１００の前方を走行する車両１０１が、車両１００に相対的に接近して来る場合を考える。図３では、車両１００の位置Ｘを基準とすると、矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
　図４は、矢印ａ１に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ１を示す図である。また、図５は、矢印ａ２に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ２を示す図である。撮影装置２０は、画像ＰＨ１，ＰＨ２を撮影すると、画像ＰＨ１，ＰＨ２に関する情報（例えば、画像、画像の撮影時刻、フレーム番号、画像ＰＨ１と画像ＰＨ２とのフレーム差、画像ＰＨ１と画像ＰＨ２との撮影時刻差）を、衝突時間算出装置３０へ出力する。
　本実施形態では、上述の画像ＰＨ１，ＰＨ２について、撮影装置２０の光学中心に対応する点（撮影装置２０の光軸とその画像面との交点である画像中心）を原点Ｘｃ（ＦＯＥ：Focus of Expansion）とするｘｙ座標系を定義する。このｘｙ座標系の原点Ｘｃは、画像ＰＨ１，ＰＨ２の中心と一致する。
　図１に戻り、衝突時間算出装置３０は、撮影装置２０から出力される画像（例えば画像ＰＨ１，ＰＨ２）に基づいて、自車（車両１００）に対して相対的に接近する接近車両（車両１０１）などが、自車に衝突するまでの時間を算出する装置である。図１に示されるように、衝突時間算出装置３０は、記憶部３１、特徴点抽出部３２、相関値演算部３３、オプティカルフロー規定部３４、グルーピング処理部３５、衝突予測時間算出部３６を有している。
　記憶部３１は、撮影装置２０から順次出力される画像に関する情報を時系列的にフレーム単位で記憶する。また、記憶部３１は、上記各部３２～３６の処理結果としての情報を順次記憶する。
　特徴点抽出部３２は、記憶部３１に記憶された画像を構成する画素それぞれについての特徴量を算出する。そして、特徴点抽出部３２は、この特徴量に基づいて画像に含まれる特徴点を抽出する。例えば、図４に示された画像ＰＨ１上に規定されたｘｙ座標系で示される、ある画素Ｍ（ｘ、ｙ）の特徴量ｆ（ｘ、ｙ）は、画像の輝度勾配を示す関数Ｉ（ｘ、ｙ）を用いると次式（１）によって表される。
Figure JPOXMLDOC01-appb-M000011
　ただし、Ｉｘｘ、Ｉｙｙ、Ｉｘｙはそれぞれ次式（２）～（４）によってそれぞれ表される。また、ｋは定数である。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　特徴点抽出部３２は、まず、式（１）を用いて画像ＰＨ１を構成する画素Ｍ（ｘ、ｙ）に対する特徴量ｆ（ｘ、ｙ）をそれぞれ算出する。次に、特徴点抽出部３２は、画素Ｍ（ｘ、ｙ）の周囲（例えば、周囲４ピクセル、周囲８ピクセル、周囲２４ピクセル）にある画素の輝度の平均値ＡＶＧ（ｘ、ｙ）を算出し、特徴量ｆ（ｘ、ｙ）を、輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する。特徴点抽出部３２は、これにより得られた比較値Ｖ（＝ｆ（ｘ、ｙ）／ＡＶＧ（ｘ、ｙ）４）を、予め設定された閾値と比較して、比較値Ｖが閾値以上の場合に、このときの画素Ｍ（ｘ、ｙ）を特徴点として抽出する。ここで、特徴量ｆ（ｘ、ｙ）を輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する理由は、特徴量ｆ（ｘ、ｙ）を輝度に関して正規化するためである。
　図４には、画像ＰＨ１から抽出された車両１０１に関連する特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が示されている。また、図５には、画像ＰＨ２から抽出された特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が示されている。画像ＰＨ１及び画像ＰＨ２を参照するとわかるように、特徴点抽出部３２は、具体的には、画像ＰＨ１，ＰＨ２に写り込んだ車両１０１の輪郭が急峻に変化する不連続点や、車両１０１を構成するパーツの形状が不連続に変化する点などを特徴点として抽出する。
　特徴点抽出部３２は、画像ＰＨ１，ＰＨ２についての特徴点の抽出が完了すると、抽出した特徴点に関する情報を記憶部３１へ出力するとともに、特徴点の抽出が完了したことを相関値演算部３３へ通知する。なお、ここでは、特徴点が４つ抽出された場合について述べているが、実際は、１枚の画像から多数（例えば、３０、１００）の特徴点が抽出される。
　図１に戻り、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１～Ｐ４を順次選択する。そして、相関値演算部３３は、この選択した特徴点Ｐ１～Ｐ４と、画像ＰＨ２の特徴点Ｑ１～Ｑ４との相関値を算出する。
　具体的には、図４に示されるように、相関値演算部３３は、画像ＰＨ１の特徴点（ここでは、特徴点Ｐ１）を中心とする、所定の形状（例えば、長方形、正方形、楕円形）の画像（画像ＰＨ１の部分画像）をテンプレートＴＦ１として規定する。このテンプレートＴＦ１は、Ｍ行Ｎ列のマトリクス状に配置された画素からなる画像である。また、以下の説明では、テンプレートＴＦ１の座標とは、テンプレートの中心の座標をいうものとする。
　次に、相関値演算部３３は、テンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１～Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。この相関値Ｒの算出は、例えば正規化相互相関を示す下記の式（５）を用いることができる。なお、Ｔ（ｉ，ｊ）は、テンプレートＴＦ１のｉ行目かつｊ列目に位置する画素の輝度である。また、Ｉ（ｉ，ｊ）は、テンプレートＴＦ１と重なる画像ＰＨ２の部分画像のｉ行目かつｊ列目に位置する画素の輝度である。また、ＩＡＶＧは、上記部分画像を構成する画素の輝度の平均値である。また、ＴＡＶＧは、テンプレートを構成する画素の輝度の平均値である。ＩＡＶＧ及びＴＡＶＧは下記の式（６）及び式（７）で示される。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　相関値演算部３３は、相関値Ｒを、上記式（５）に基づいて算出すると、この相関値Ｒに関する情報（例えば、数値、相関値Ｒの算出に利用した特徴点の情報）を、テンプレートＴＦ１のｘｙ座標系における位置座標と関連付けて、記憶部３１へ記憶する。相関値演算部３３は、画像ＰＨ１の特徴点Ｐ２，Ｐ３，Ｐ４についても、上述と同様の処理を実行する。そして、相関値演算部３３は、すべての特徴点Ｐ１～Ｐ４についての相関値Ｒを算出すると、相関値の算出が完了したことをオプティカルフロー規定部３４へ通知する。
　図１に戻り、オプティカルフロー規定部３４は、相関値演算部３３によって算出された相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１～Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１～Ｑ４を終点とするオプティカルフローを規定する。
　例えば、オプティカルフロー規定部３４は、特徴点Ｐ１についてのテンプレートＴＦ１を用いて算出した相関値Ｒが最大となったときの、テンプレートＴＦ１の座標に最も近い画像ＰＨ２の特徴点（ここでは、特徴点Ｑ１～Ｑ４の何れか１つの特徴点）を特定する。特徴点Ｐ１は、車両１０１の後部バンパーの右側端部に対応する特徴点である。このため、テンプレートＴＦ１を用いて算出した相関値Ｒは、テンプレートＴＦ１の中心が、画像ＰＨ２の特徴点Ｑ１にほぼ一致するときに最大となる。したがって、ここでは、特徴点Ｐ１に対応する特徴点として、特徴点Ｑ１が特定される。
　この場合、図６に示されるように、オプティカルフロー規定部３４は、ｘｙ座標系において、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１を規定する。
　オプティカルフロー規定部３４は、上述した手順で同様に、特徴点Ｐ２を始点とし、特徴点Ｑ２を終点とするオプティカルフローＯＰ２を規定する。また、オプティカルフロー規定部３４は、特徴点Ｐ３を始点とし、特徴点Ｑ３を終点とするオプティカルフローＯＰ３を規定する。また、オプティカルフロー規定部３４は、特徴点Ｐ４を始点とし、特徴点Ｑ４を終点とするオプティカルフローＯＰ４を規定する。
　オプティカルフロー規定部３４は、すべての特徴点Ｐ１～Ｐ４についてのオプティカルフローＯＰ１～ＯＰ４を規定すると、このオプティカルフローＯＰ１～ＯＰ４に関する情報（例えば、ベクトル量、オプティカルフローの始点と終点の座標）を記憶部３１へ出力するとともに、オプティカルフローの規定が完了したことをグルーピング処理部３５へ通知する。
　グルーピング処理部３５は、規定された１群のオプティカルフローＯＰ１～ＯＰ４のグルーピングを行う。図６に示されるように、本実施形態では、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
　グルーピング処理部３５は、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローをグルーピングから除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線（オプティカルフローの始点から延長された直線）それぞれは消失点ＶＰで交わる。そこで、グルーピング処理部３５は、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合に、このオプティカルフローをグルーピングから除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１～ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
　グルーピング処理部３５は、オプティカルフローのグルーピングが完了すると、グルーピングしたオプティカルフローに関する情報（例えば、ベクトル量、オプティカルフローの始点と終点の座標、オプティカルフローの名称）を記憶部３１へ出力するとともに、グルーピングが完了したことを、衝突予測時間算出部３６へ通知する。
　衝突予測時間算出部３６は、オプティカルフローＯＰ１～ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
　図７は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図７における点ＲＰ１は、図３において矢印ａ１に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。そして、図７における点ＲＱ１は、図３において矢印ａ２に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。この点ＲＰ１は、特徴点Ｐ１に対応し、点ＲＱ１は、特徴点Ｑ１に対応している。以下、説明の便宜上、点ＲＰ１、点ＲＱ１それぞれを、対応点ＲＰ１、対応点ＲＱ１ともいう。また、車両１０１を構成する後部バンパーの右側端部を便宜上指標点ともいう。
　図７におけるＸＹＺ座標系は、車両１００に搭載された撮影装置２０の光学中心を原点Ｏとする直交座標系である。このＸＹＺ座標系におけるＺ軸は、撮影装置２０の光軸と一致する。また、Ｙ軸は、図７では不図示であるが、Ｘ軸及びＺ軸と直交する。またＸＹＺ座標系におけるＸ座標及びＹ座標は、画像ＰＨ１，ＰＨ２に規定されたｘｙ座標系におけるｘ座標及びｙ座標と一致する。また、図７における直線ＬＮ１は、撮影装置２０の画像面ＩＭを含む平面を示している。そして、直線ＬＮ２は、車両１００の最も＋Ｚ側にある部分を含む衝突面を示している。
　本実施形態では、ＸＹＺ座標系の原点Ｏは、撮影装置２０の光学中心と一致する。したがってＸＹＺ座標系の原点Ｏから直線ＬＮ１までの距離は、撮影装置２０の焦点距離ｆと等しい。また、原点Ｏと直線ＬＮ２との距離はＬであるものとする。
　画像ＰＨ１が撮影されたときに、図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に移動している。この場合、図７を参照するとわかるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
　オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡（ベクトル量）を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
　したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、次式（８）で示される。
Figure JPOXMLDOC01-appb-M000018
　ここで、ベクトルＭＶ０の大きさ｜ＭＶ０｜は、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間Δｔと、車両１００に対する車両１０１の相対移動速度Ｖとの積（＝Ｖ・Δｔ）である。また、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。
　そこで、上記式（８）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ０｜に（Ｖ・Δｔ）を代入して、両辺を相対移動速度Ｖで除することで、次式（９）が導かれる。
Figure JPOXMLDOC01-appb-M000019
　また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると次式（１０）で示される。
Figure JPOXMLDOC01-appb-M000020
　ここで、上述したように、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。また、ベクトルＭＶ１の大きさ｜ＭＶ１｜は、指標点が対応点ＲＱ１から直線ＬＮ２上の点ＣＰ２に到達するまでの衝突予測時間ＴＴＣと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣ）である。
　相対移動速度Ｖは、オプティカルフローＯＰ１～ＯＰ４に関する情報を用いても求めることができない。そこで、上記式（１０）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ１｜に（Ｖ・ＴＴＣ）を代入して、両辺を相対移動速度Ｖで除することで、相対移動速度Ｖを含む項を含まない次式（１１）を導く。
Figure JPOXMLDOC01-appb-M000021
　上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。
　そこで、衝突予測時間算出部３６は、次式（１２）を用いて距離Ｚ１を算出する。なお、ｆは撮影装置２０の焦点距離である。また、δは、画像ＰＨ１，ＰＨ２を構成する画素のｙ軸方向の配列間隔である。また、ｈは、車両１００が走行する路面と撮影装置２０との距離である。また、ｙｂは、図５に示されるように、画像ＰＨ２における、特徴点Ｑ１と車両１００が走行する路面との距離である。
Figure JPOXMLDOC01-appb-M000022
　衝突予測時間算出部３６は、上記式（１２）を用いて、距離Ｚ１を算出すると、算出した距離Ｚ１を上記式（１１）に代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、衝突予測時間算出部３６は、この衝突予測時間ＴＴＣを外部装置等へ出力する。ここで、外部装置とは、例えば、スピーカを備え、ドライバーに対して警報を発する装置である。
　これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
　以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
　オプティカルフローを用いて算出された衝突予測時間ＴＴＣは、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃを、撮影装置２０の光学中心から衝突面までの距離Ｌを考慮して補正することにより得られる。この補正を行う際には、検出誤差を多く含む距離Ｚ１が用いられる。しかしながら、この距離Ｚ１に含まれる誤差は、車両１００と車両１０１とが近づくほど小さくなるため、衝突予測時間ＴＴＣの信頼性は十分維持される。
　また、本実施形態では、車両１００に対して相対的に移動する物体が、撮影装置２０の光学中心を含む面に到達するまでの時間に基づいて、物体が車両１００に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１００と物体とが離れていても、誤差の影響を大きく受けることなく算出することができる。したがって、この衝突予測時間ＴＴＣに基づいて、適切なタイミングでドライバーに警報を発することが可能となる。
《第２の実施形態》
　次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施形態では、車両１００の進行方向と、車両１０１との進行方向が交差する場合における衝突予測時間の算出手順について説明する。
　例えば、車両１００が＋Ｚ方向へ進行し、車両１０１がＺ軸と交差する方向へ進行する場合を考える。この場合、撮影装置２０の光学中心を原点ＯとするＸＹＺ座標系では、車両１０１は、車両１００の進行方向と車両１０１の進行方向とが合成された方向へ、相対的に移動することになる。
　図８の矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
　図９には、オプティカルフロー規定部３４によって規定されたオプティカルフローＯＰ１～ＯＰ４が示されている。本実施形態では、車両１０１は、車両１００に対してＹ軸に交差する方向へ相対的に移動することにより、車両１００に接近する。このため、オプティカルフローＯＰ１～ＯＰ４の消失点ＶＰは、ｘｙ座標系の原点Ｏと一致しない。
　しかしながら、図１０を参照するとわかるように、車両１００の進行方向と車両１０１の進行方向が交差する場合にも、オプティカルフローＯＰ１、ベクトルＭＶ０、ベクトルＭＶ２相互間の幾何学的関係は、第１の実施形態におけるオプティカルフローＯＰ１等との関係と等価である。このため、上記式（８）は成立する。したがって、図８における矢印ａ２に示される位置にある車両１０１が、車両１００に衝突するまでの衝突予測時間ＴＴＣは、上記式（１１）で表される。
　図１０は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図１０に示されるように、直線ＬＮ５は、原点を通り、ベクトルＭＶ０と直交する直線である。また、点ＣＰ３は、対応点ＲＱ１と点ＣＰ１とを通る直線と、直線ＬＮ５との交点である。説明の便宜上、図１０では、点ＣＰ３と点ＣＰ１とが、ある程度離間して記載されている。しかしながら、実際には、点ＣＰ３と点ＣＰ１との距離は、原点Ｏと直線ＬＮ２で示される衝突面との距離Ｌ等に比べて著しく小さい。このため、ベクトルＭＶ２と平行で、対応点ＲＱ１を始点とし、点ＣＰ３を終点とするベクトルＭＶ３は、ベクトルＭＶ２と大きさが等価であるものとして取り扱っても差し支えない。
　そこで、衝突予測時間算出部３６は、車両１０１が直線ＬＮ５によって示される面に衝突するまでに時間ＴＴＣｃ０を、時間ＴＴＣｃの近似値として、次式（１３）に基づいて算出する。なお、ｘｖｐは消失点ＶＰのＸ座標である。
Figure JPOXMLDOC01-appb-M000023
　次に、衝突予測時間算出部３６は、上記式（１３）で算出した時間ＴＴＣｃ０を、時間ＴＴＣｃとして、上記式（１１）へ代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、衝突予測時間算出部３６は、算出した衝突予測時間ＴＴＣを外部装置等へ出力する。
　これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
　以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が直線ＬＮ５上にある点ＣＰ３に到達するまでの時間ＴＴＣｃ０が、時間ＴＴＣｃの近似値として算出される。そして、時間ＴＴＣｃ０に基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
　また、上記式（１３）は、図３に示されるように、車両１００の進行方向と、車両１０１の進行方向とが平行な場合や、消失点ＶＰがＸＹＺ座標系の原点Ｏと一致する場合にも成立する。この場合はｘｖｐの値が０となる。そして、車両１００の進行方向と、車両１０１の進行方向とが平行な場合は、時間ＴＴＣｃ０は、時間ＴＴＣｃと一致する。
《第３の実施形態》
　次に、本発明の第３の実施形態を、図面を参照しつつ説明する。なお、上記各実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
　本実施形態に係る衝突時間算出システム１０は、衝突時間算出装置３０が、一般的なコンピュータ、又はマイクロコンピュータなどの装置と同様の構成によって実現されている点で、上記各実施形態に係る衝突時間算出システム１０と相違している。
　図１１は、衝突時間算出システム１０の物理的な構成を示すブロック図である。図１１に示されるように、衝突時間算出システム１０は、撮影装置２０と、コンピュータからなる衝突時間算出装置３０とから構成されている。
　衝突時間算出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
　ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮影装置２０によって取得された画像に対して後述する処理を実行する。
　主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
　補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置２０から出力される画像に関する情報（例えば、画像、画像の撮影時刻、フレーム番号、画素数）、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
　表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
　入力部３０ｅは、キースイッチやポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
　インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
　図１２のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１２を参照しつつ、衝突時間算出装置３０が実行する処理について説明する。なお、この処理は、衝突時間算出システム１０が起動され、撮影装置２０によって撮影された画像に関する情報が出力されたことをトリガとして実行される。また、前提として、撮影装置２０からは、図４に示される画像ＰＨ１、及び図５に示される画像ＰＨ２が順次出力されるものとする。
　まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、記憶部３１に記憶された画像ＰＨ１，ＰＨ２を構成する画素それぞれについての特徴量を算出し、この特徴量に基づいて画像に含まれる特徴点を抽出する。図４に示されるように、ここでは画像ＰＨ１について、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が抽出される。また、図５に示されるように、画像ＰＨ２について、特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が抽出される。
　次のステップＳ１０２では、ＣＰＵ３０ａは、画像ＰＨ１の特徴点Ｐ１～Ｐ４を順次選択する。そして、ＣＰＵ３０ａは、この選択した特徴点Ｐ１～Ｐ４と、画像ＰＨ２の特徴点Ｑ１～Ｑ４との相関値を算出する。例えば、ＣＰＵ３０ａは、まず画像ＰＨ１の特徴点Ｐ１を中心とするテンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１～Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。ＣＰＵ３０ａは、上述の処理を、特徴点Ｐ２～Ｐ４についても行う。
　次のステップＳ１０３では、ＣＰＵ３０ａは、図６を参照するとわかるように、算出した相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１～Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１～Ｑ４を終点とするオプティカルフローＯＰ１～ＯＰ４を規定する。
　次のステップＳ１０４では、ＣＰＵ３０ａは、規定された１群のオプティカルフローＯＰ１～ＯＰ４のグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
　ＣＰＵ３０ａは、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローをグルーピングから除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線（オプティカルフローの始点から延長された直線）は消失点ＶＰで交わる。そこで、ＣＰＵ３０ａは、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合には、このオプティカルフローをグルーピングから除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１～ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
　次のステップＳ１０５では、ＣＰＵ３０ａは、オプティカルフローＯＰ１～ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
　画像ＰＨ１が撮影されたときに、例えば図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に相対的に移動している。この場合、図７に示されるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
　オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
　したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、上記式（８）で示される。そして、上記式（８）から上記式（９）が導かれる。
　また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると上記式（１０）で示される。そして、上記式（１０）から上記式（１１）が導かれる。
　上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。そこで、ＣＰＵ３０ａは、上記式（１２）を用いて距離Ｚ１を算出する。そして、ＣＰＵ３０ａは、算出した距離Ｚ１を、上記式（１１）に代入して、衝突予測時間ＴＴＣを算出する。ＣＰＵ３０ａは、衝突予測時間ＴＴＣを算出すると、この衝突予測時間ＴＴＣを外部装置等へ出力する。
　これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
　以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
　以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
　例えば、上記実施形態では、式（１２）を用いて、距離Ｚ１を算出した。これに限らず、距離Ｚ１を次式（１４）を用いて算出してもよい。なお、ＷＶは、車両１０１の車幅である。また、ｗｖは、画像ＰＨ２における車両１０１の車幅である。また、ｗｃは、画像ＰＨ２の水平方向の幅である。また、ＦＯＶは、画像ＰＨ２に対応する撮影装置２０の視野角である。
Figure JPOXMLDOC01-appb-M000024
　また、オプティカルフローのグルーピングに関しては、例えば特開２００８－９７１２６号公報に、次式（１５）で示される指標Ｃ０が、ある誤差を許容して相互に等しいオプティカルフロー同士をグルーピングすることが開示されている（特に図９参照）。幾何学的な相似の関係から次式（１５）が成立する場合には、次式（１６）も成立する。この式（１６）に基づいて、グルーピングする過程で、特開２００８－９７１２６号公報に開示される技術における指標Ｃ０の算出と同様にして、次式（１６）で示される指標Ｃ１が算出される。式（１６）は、消失点ＶＰが画像中心Ｘｃと等しくなるような場合（撮影装置２０の光軸方向と、車両１０１の車両１００に対する相対的な移動方向とが平行である場合など）には、次式（１７）のように変形することができる。この式（１７）の右辺は、上記式（９）の左辺の分母と等価である。したがって、特開２００８－９７１２６号公報に開示される技術によるオプティカルフローのグルーピングを行った場合には、グルーピングを行った過程で算出された結果を用いることで、衝突予測時間ＴＴＣを算出するための処理を短時間に行うことができる。また、ある誤差を許容してグルーピングを行う過程で算出される指標Ｃ１を用いることは、移動物体の平均的な指標Ｃ１の値を用いることとなり、例えば移動物体のある特定の１点における指標Ｃ１の値を用いる場合に比べてノイズに強くなる。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
Figure JPOXMLDOC01-appb-M000027
　また、上記各実施形態では、特徴点Ｐ１及び特徴点Ｑ１によって規定されたオプティカルフローＯＰ１を用いて、衝突予測時間を算出する場合について説明した。これに限らず、オプティカルフローＯＰ１以外の他のオプティカルフローを用いて、衝突予測時間を算出してもよい。また、それぞれのオプティカルフローＯＰ１～ＯＰ４を用いて算出した衝突予測時間の平均値を、最終的な衝突予測時間として外部装置等へ出力することとしてもよい。
　また、本実施形態では、撮影装置２０が図２に示されるように、フロントウインド上部に取り付けられている場合について説明した。これに限らず、撮影装置２０は、フロントバンパーの近傍に配置されるカメラを有していてもよい。この場合は、時間ＴＴＣｃが衝突予測時間ＴＴＣと等価となる。
　また、上記各実施形態では、式（１）を用いて特徴量ｆ（ｘ、ｙ）を算出したが、本発明はこれに限定されるものではない。例えば、特徴量は、いわゆるＫＬＴ特徴量ｍｉｎ（λ１、λ２）であってもよい。この場合は、特徴量を上述した平均値ＡＶＧ（ｘ、ｙ）を２乗したもので除することで比較値Ｖを算出することができる。なお、λ１及びλ２は、それぞれ下記の式（１８）及び式（１９）で示される。
Figure JPOXMLDOC01-appb-M000028
Figure JPOXMLDOC01-appb-M000029
　なお、Ａ～Ｃは下記の式（２０）で表される。ただし、Ｉｘ、Ｉｙは、画像上の位置（ｘ、ｙ）における輝度Ｉ（ｘ、ｙ）のＸ軸方向及びＹ軸方向の勾配を示す。具体的には、下記の式（２１）及び式（２２）で表される。
Figure JPOXMLDOC01-appb-M000030
Figure JPOXMLDOC01-appb-M000031
Figure JPOXMLDOC01-appb-M000032
　また、上記各実施形態では、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間に基づいて、自車に接近する物体が自車に衝突するまでの衝突予測時間ＴＴＣを算出すると説明した。本発明では、衝突予測時間ＴＴＣを算出するために用いられる画像ＰＨ１、ＰＨ２を、撮影装置２０は任意の時刻に撮影できる。例えば、撮影装置２０が撮影した画像のうち、画像内にある物体の画像が画像全体に対して占める割合が、所定の割合（１０％、２０％など）を超えたときに撮影した画像を、画像ＰＨ１とする。そして、画像ＰＨ１を撮影した時刻から、所定の時刻（０．１秒、０．５秒など）後に撮影した画像をＰＨ２とすることもできる。
　また、上記各実施形態では、時間Δｔは、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間であると説明した。本発明では、この時間Δｔを、２つの画像が撮影された時刻の差から算出するだけでなく、２つの画像のフレームの差から算出することもできる。例えば、撮影装置２０が毎秒３０フレームの動画を撮影している場合を考える。画像ＰＨ１が撮像されたフレーム番号が１であり、画像ＰＨ２が撮像されたフレーム番号が１６である場合、フレーム番号の差と１フレーム間の時間差とから、時間Δｔを０．５秒（＝（１６－１）×１／３０）と算出することもできる。撮影装置２０は、１秒当たり、任意のフレーム数の動画を撮影することができる。また、衝突予測時間算出部３６は、撮影装置２０により撮影された、１フレーム目の画像を画像ＰＨ１、２フレーム目の画像を画像ＰＨ２として衝突予測時間ＴＴＣを算出し、次に、２フレーム目の画像を画像ＰＨ１、３フレーム目の画像を画像ＰＨ２として衝突予測時間ＴＴＣを算出して、次々と衝突予測時間ＴＴＣを算出することもできる。また、衝突予測時間算出部３６は、所定の間隔だけ離れた２つのフレーム（例えば、１フレーム目の画像を画像ＰＨ１、５フレーム目の画像を画像ＰＨ２）の時間差に基づいて、衝突予測時間ＴＴＣを算出することもできる。
　また、上記各実施形態に係る衝突時間算出装置３０の機能は、専用のハードウェアによっても、通常のコンピュータシステムによっても実現することができる。
　また、第３の実施形態において衝突時間算出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
　また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
　なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
　本出願は、２０１０年７月９日に出願された日本国特許出願２０１０－１５７１８２号に基づくものであり、その明細書、特許請求の範囲、図面及び要約書を含むものである。上記日本国特許出願における開示は、その全体が本明細書中に参照として含まれる。
　本発明の衝突時間算出装置、衝突時間算出方法及びプログラムは、衝突時間の算出に適している。
　１０　衝突時間算出システム
　２０　撮影装置
　３０　衝突時間算出装置
　３０ａ　ＣＰＵ
　３０ｂ　主記憶部
　３０ｃ　補助記憶部
　３０ｄ　表示部
　３０ｅ　入力部
　３０ｆ　インターフェイス部
　３０ｇ　システムバス
　３１　記憶部
　３２　特徴点抽出部
　３３　相関値演算部
　３４　オプティカルフロー規定部
　３５　グルーピング処理部
　３６　衝突予測時間算出部
　１００，１０１　車両
　ＣＰ１～ＣＰ３　点
　ＩＭ　画像面
　ＭＶ０～ＭＶ３　ベクトル
　ＯＰ１～ＯＰ４　オプティカルフロー
　Ｐ１～Ｐ４，Ｑ１～Ｑ４　特徴点
　ＰＨ１，ＰＨ２　画像
　ＲＰ１，ＲＱ１　対応点
　ＴＦ１　テンプレート
　ＶＰ　消失点

Claims (12)

  1. 　車両に搭載された撮影部によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出部と、
    　前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影部の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測部と、
    　を備える衝突時間算出装置。
  2. 　前記予測部は、
    　前記撮影部の光学中心を含み、前記撮影部の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出する請求項１に記載の衝突時間算出装置。
  3. 　前記予測部は、
    　前記オプティカルフローの消失点から前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出する請求項２に記載の衝突時間算出装置。
  4. 　前記予測部は、
    　前記車両の最前の点を含み、前記撮影部の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２に記載の衝突時間算出装置。
  5. 　前記予測部は、
    　前記車両の前記第１又は第２特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２に記載の衝突時間算出装置。
  6. 　前記予測部は、
    　前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
    　次式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２に記載の衝突時間算出装置。
    Figure JPOXMLDOC01-appb-M000001
  7. 　前記予測部は、
    　前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影部の焦点距離をｆとして、
    　次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２に記載の衝突時間算出装置。
    Figure JPOXMLDOC01-appb-M000002
  8. 　前記予測部は、
    　前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影部の光軸と直交する第２面との距離をＬとし、前記車両の前記第１又は第２特徴点に対応する部分と前記第１面との距離をＺ１として、
    　次式を用いて、前記第１予測時間ＴＴＣを算出する請求項６に記載の衝突時間算出装置。
    Figure JPOXMLDOC01-appb-M000003
  9. 　前記予測部は、
    　前記撮影部の焦点距離をｆとし、前記第１又は第２画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影部との距離をｈとし、前記第１又は第２画像における前記消失点と前記路面との距離をｙｂとして、
    　次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
    Figure JPOXMLDOC01-appb-M000004
  10. 　前記予測部は、
    　前記車両の幅をＷＶとし、前記第２画像における前記車両の幅をｗｖとし、前記第２画像の幅をｗｃとし、前記第２画像に対応する前記撮影部の視野角をＦＯＶとして、
    　次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
    Figure JPOXMLDOC01-appb-M000005
  11. 　車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
    　前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
    　前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
    　を含む衝突時間算出方法。
  12. 　コンピュータに、
    　車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
    　前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
    　前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
    　を実行させるためのプログラム。
    　
PCT/JP2011/065830 2010-07-09 2011-07-11 衝突時間算出装置、衝突時間算出方法及びプログラム Ceased WO2012005377A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010157182A JP5418427B2 (ja) 2010-07-09 2010-07-09 衝突時間算出装置、衝突時間算出方法及びプログラム
JP2010-157182 2010-07-09

Publications (1)

Publication Number Publication Date
WO2012005377A1 true WO2012005377A1 (ja) 2012-01-12

Family

ID=45441346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/065830 Ceased WO2012005377A1 (ja) 2010-07-09 2011-07-11 衝突時間算出装置、衝突時間算出方法及びプログラム

Country Status (2)

Country Link
JP (1) JP5418427B2 (ja)
WO (1) WO2012005377A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014028064A3 (en) * 2012-08-13 2014-04-10 The Boeing Company Strike detection using video images
EP3855409A1 (en) * 2020-01-21 2021-07-28 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
JP2021118002A (ja) * 2020-01-21 2021-08-10 シンクウェア コーポレーションThinkware Corporation 車両映像に基づく車間距離の測定方法、車間距離測定装置、電子機器、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5655038B2 (ja) * 2012-07-30 2015-01-14 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
WO2025142797A1 (ja) * 2023-12-27 2025-07-03 パナソニックＩｐマネジメント株式会社 遠隔操作支援方法、遠隔操作支援装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2006099155A (ja) * 2004-09-28 2006-04-13 Nissan Motor Co Ltd 衝突判定装置、および方法
JP2006107422A (ja) * 2004-09-07 2006-04-20 Nissan Motor Co Ltd 衝突時間算出装置および障害物検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2006107422A (ja) * 2004-09-07 2006-04-20 Nissan Motor Co Ltd 衝突時間算出装置および障害物検出装置
JP2006099155A (ja) * 2004-09-28 2006-04-13 Nissan Motor Co Ltd 衝突判定装置、および方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014028064A3 (en) * 2012-08-13 2014-04-10 The Boeing Company Strike detection using video images
CN104603839A (zh) * 2012-08-13 2015-05-06 波音公司 使用视频图像的撞击检测
US9047675B2 (en) 2012-08-13 2015-06-02 The Boeing Company Strike detection using video images
EP3855409A1 (en) * 2020-01-21 2021-07-28 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
JP2021118002A (ja) * 2020-01-21 2021-08-10 シンクウェア コーポレーションThinkware Corporation 車両映像に基づく車間距離の測定方法、車間距離測定装置、電子機器、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US11680813B2 (en) 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
US12031834B2 (en) 2020-01-21 2024-07-09 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
JP7658745B2 (ja) 2020-01-21 2025-04-08 シンクウェア コーポレーション 車両映像に基づく車間距離の測定方法、車間距離測定装置、電子機器、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质
CN115472005B (zh) * 2022-08-09 2023-12-19 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP5418427B2 (ja) 2014-02-19
JP2012018637A (ja) 2012-01-26

Similar Documents

Publication Publication Date Title
CN103578115B (zh) 移动体识别系统以及移动体识别方法
JP6473571B2 (ja) Ｔｔｃ計測装置およびｔｔｃ計測プログラム
JP4793324B2 (ja) 車両監視装置および車両監視方法
US9736460B2 (en) Distance measuring apparatus and distance measuring method
JP6184447B2 (ja) 推定装置及び推定プログラム
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6062609B1 (ja) 車両の外側寸法を監視するための方法ならびに装置
JP2004354257A (ja) キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
CN102985957B (zh) 车辆周围监测装置
JP5418427B2 (ja) 衝突時間算出装置、衝突時間算出方法及びプログラム
JP6328327B2 (ja) 画像処理装置及び画像処理方法
US9781336B2 (en) Optimum camera setting device and optimum camera setting method
JP5146446B2 (ja) 移動体検知装置および移動体検知プログラムと移動体検知方法
JP2002366937A (ja) 車外監視装置
JP2008113296A (ja) 車両周辺監視装置
JP2014106901A (ja) 距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラム
JP2013001155A (ja) 車載カメラ姿勢検出装置および方法
JP6708730B2 (ja) 移動体
JP2012174117A (ja) 移動体検出装置
JP4655242B2 (ja) 車両用画像処理装置
CN111932590B (zh) 对象跟踪方法、装置、电子设备及可读存储介质
JP5624370B2 (ja) 移動体検出装置及び移動体検出方法
US20170318279A1 (en) Stereo camera apparatus and vehicle comprising the same
JP6188860B1 (ja) オブジェクト検出装置
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11803708

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11803708

Country of ref document: EP

Kind code of ref document: A1