JP7589079B2

JP7589079B2 - Driving state determination device, driving assistance device, driving state determination method, and driving state determination program

Info

Publication number: JP7589079B2
Application number: JP2021042178A
Authority: JP
Inventors: 興史芝田
Original assignee: J Quad Dynamics Inc
Current assignee: J Quad Dynamics Inc
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2024-11-25
Anticipated expiration: 2041-03-16
Also published as: WO2022195925A1; JP2022142147A

Description

本発明は、運転状態判定装置、運転支援装置、運転状態判定方法、および運転状態判定プログラムに関する。 The present invention relates to a driving state determination device, a driving assistance device, a driving state determination method, and a driving state determination program.

たとえば下記特許文献１には、わき見運転をしている旨判定されている場合に、車両と白線との距離が所定距離以下となる場合、警報を発する運転支援装置が記載されている。 For example, the following Patent Document 1 describes a driving assistance device that issues an alarm if it is determined that the driver is looking away from the road and the distance between the vehicle and the white line is less than a predetermined distance.

特開平１１－３３９１９９号公報Japanese Patent Application Publication No. 11-339199

ところで、車線逸脱事故の主要因には、わき見運転に加えて、運転者が周囲の安全確認を十分に行うことなく車両を漫然と運転することも含まれる。しかし、上記装置の場合、運転者が、車両を漫然と運転していることに対処することについては考慮されていない。 The main causes of lane departure accidents include distracted driving, as well as the driver driving the vehicle carelessly without adequately checking for safety around the vehicle. However, the above device does not take into consideration how to deal with the driver driving the vehicle carelessly.

以下、上記課題を解決するための手段およびその作用効果について記載する。
車両の周囲の物体を感知するセンサ（１２，２２）の出力に応じた前記車両の周囲の物体の情報を取得する物体情報取得処理（Ｓ４０）と、前記物体の情報に基づき、前記車両の運転者が注意を向けるべき対象物体を設定する対象物体設定処理（Ｓ５０～Ｓ５４）と、前記運転者の画像データを取得する画像取得処理（Ｓ６０）と、前記画像データを入力とし、前記対象物体の確認がなされない状態が漫然判定値以上継続する場合、漫然運転状態であると判定する判定処理（Ｓ１４，Ｓ１６～Ｓ２２，Ｓ３０，Ｓ３２）と、を実行し、前記漫然運転状態は、前記車両を運転するうえでの安全確認が不十分な運転状態である運転状態判定装置である。 Means for solving the above problems and their effects will be described below.
The driving state determination device executes an object information acquisition process (S40) for acquiring information about objects around the vehicle in response to output from sensors (12, 22) that detect objects around the vehicle; a target object setting process (S50-S54) for setting a target object to which the driver of the vehicle should pay attention based on the object information; an image acquisition process (S60) for acquiring image data of the driver; and a determination process (S14, S16-S22, S30, S32) for using the image data as input and determining that the driver is in a mindless driving state if a state in which the target object is not confirmed continues for a period of time equal to or longer than a mindless driving determination value, wherein the mindless driving state is a driving state in which safety checks for driving the vehicle are insufficient.

安全確認が十分になされている場合には、運転者が、注意を向けるべき物体に実際に注意を向けているはずである。そのため、注意を向けるべき物体に注意を向けていない場合には、安全確認が不十分である。そのため、上記構成では、対象物体の確認がなされない状態が継続することに基づき、漫然運転状態であるか否かを判定することにより、漫然運転であるか否かを適切に判定できる。 If the driver has made a sufficient safety check, he or she should actually be paying attention to the object to which the driver should be paying attention. Therefore, if the driver is not paying attention to the object to which the driver should be paying attention, the safety check is insufficient. Therefore, in the above configuration, by determining whether or not the driver is in a distracted driving state based on the continuation of a state in which the target object is not checked, it is possible to appropriately determine whether or not the driver is in a distracted driving state.

一実施形態にかかる車両の構成を示す図。FIG. 1 is a diagram showing a configuration of a vehicle according to an embodiment. 同実施形態にかかる漫然運転の判定に関する処理の手順を示す流れ図。4 is a flowchart showing a process for determining whether or not the vehicle is driving aimlessly according to the embodiment; 同実施形態にかかる対象物体設定処理の手順を示す流れ図。11 is a flowchart showing the procedure of a target object setting process according to the embodiment. 同実施形態にかかるポイント規定データを例示する図。FIG. 4 is a diagram illustrating point definition data according to the embodiment. 同実施形態にかかる視野算出処理の手順を示す流れ図。11 is a flowchart showing the procedure of a visual field calculation process according to the embodiment. （ａ）および（ｂ）は、同実施形態にかかる視野に対象物体が含まれるか否かの判定に関する処理を例示する図。5A and 5B are diagrams illustrating a process for determining whether or not a target object is included in a field of view according to the embodiment; 同実施形態にかかるわき見運転の判定に関する処理の手順を示す流れ図。4 is a flowchart showing a process for determining whether the vehicle is inattentive driving according to the embodiment; 同実施形態にかかる車線の逸脱意図の有無の判定に関する処理の手順を示す流れ図。4 is a flowchart showing a process for determining whether or not there is an intention to depart from a lane according to the embodiment; 同実施形態にかかる車線逸脱の回避に関する処理の手順を示す流れ図。4 is a flowchart showing a procedure of a process related to avoidance of lane departure according to the embodiment; 同実施形態の作用を説明するタイムチャート。4 is a time chart illustrating the operation of the embodiment;

図１に、本実施形態における車両ＶＣに搭載される装置を示す。図１に示すように、光センサ１２は、たとえば近赤外線等のレーザ光を照射する。また、光センサ１２は、レーザ光の反射光を受光することに基づき、レーザ光を反射した物体と車両との距離を示す変数である距離変数と、レーザ光の照射方向を示す変数である方向変数と、反射した物体の反射強度を示す変数である強度変数とを示す測距点データを生成する。これは、たとえばＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）方式によって実現できる。もっとも、ＴＯＦ法式に限らず、ＦＭＣＷ（ＦｒｅｑｕｅｎｃｙＭｏｄｕｌａｔｅｄＣｏｎｔｉｎｕｏｕｓＷａｖｅ）方式にて測距点データを生成してもよい。その場合、測距点データに、レーザ光を反射した物体との相対速度を示す変数である速度変数を含めることができる。 Figure 1 shows the device mounted on the vehicle VC in this embodiment. As shown in Figure 1, the optical sensor 12 emits laser light, such as near-infrared light. Based on receiving the reflected light of the laser light, the optical sensor 12 generates distance measurement point data indicating a distance variable, which is a variable indicating the distance between the object that reflected the laser light and the vehicle, a direction variable, which is a variable indicating the direction of irradiation of the laser light, and an intensity variable, which is a variable indicating the reflection intensity of the reflected object. This can be realized, for example, by the TOF (Time of Flight) method. However, the distance measurement point data may be generated not only by the TOF method, but also by the FMCW (Frequency Modulated Continuous Wave) method. In that case, the distance measurement point data can include a speed variable, which is a variable indicating the relative speed with respect to the object that reflected the laser light.

光センサ１２は、レーザ光の照射方向を、周期的に水平方向および垂直方向に走査し、得られた測距点データの集合である測距点群データＤｒｐｃを出力する。
ＬＩＤＡＲＥＣＵ１０は、測距点群データＤｒｐｃに基づき、レーザ光を反射した物体の認識処理を実行する。認識処理は、たとえば測距点群データＤｒｐｃのクラスタリング処理と、クラスタリング処理によって１つの物体として特定された測距点データの集合の特徴量を抽出し、抽出した特徴量を、識別モデルに入力する処理とを含んでもよい。識別モデルは、物体の種類ごとに設けられ、識別モデルが特定対象とする特定の種類に該当するか否かを判定する。ここで物体の種類とは、人、自転車、車両、標識等のことである。また、これに代えて、測距点群データＤｒｐｃを深層学習モデルに直接入力して物体の種類を認識する処理としてもよい。 The optical sensor 12 periodically scans the irradiation direction of the laser light in the horizontal and vertical directions, and outputs ranging point cloud data Drpc which is a collection of the obtained ranging point data.
The LIDARECU 10 executes a recognition process of an object that reflects laser light based on the ranging point cloud data Drpc. The recognition process may include, for example, a clustering process of the ranging point cloud data Drpc, and a process of extracting a feature amount of a set of ranging point data identified as one object by the clustering process and inputting the extracted feature amount into an identification model. The identification model is provided for each type of object, and it is determined whether or not the identification model corresponds to a specific type that is to be identified. Here, the type of object refers to a person, a bicycle, a vehicle, a sign, etc. Alternatively, the ranging point cloud data Drpc may be directly input into a deep learning model to recognize the type of object.

車外カメラ２２は、車両ＶＣの外部の物体を撮影し、撮像された画像に関するデータである車外画像データＤｐｏを出力する。画像ＥＣＵ２０は、車外画像データＤｐｏに基づき、車両の周囲の物体の認識処理を実行する。この認識処理も、物体の種類を特定する処理を含む。 The exterior camera 22 captures images of objects outside the vehicle VC and outputs exterior image data Dpo, which is data related to the captured images. The image ECU 20 performs recognition processing of objects around the vehicle based on the exterior image data Dpo. This recognition processing also includes processing to identify the type of object.

ＡＤＡＳＥＣＵ３０は、運転者による車両ＶＣの運転を支援する処理を実行する。ＡＤＡＳＥＣＵ３０は、運転を支援する処理を実行する際、車内ネットワーク４０を介して、ＬＩＤＡＲＥＣＵ１０および画像ＥＣＵ２０のそれぞれによる認識結果を受信する。また、ＡＤＡＳＥＣＵ３０は、運転を支援する処理を実行する際、車内ネットワーク４０を介して、転舵ＥＣＵ５０に指令を出力する。転舵ＥＣＵ５０は、転舵輪を転舵させる転舵アクチュエータ５２を操作対象とし、転舵アクチュエータ５２を操作することによって転舵角を制御する。転舵角は、転舵輪の回転角度である。換言すれば、タイヤの切れ角である。 The ADASECU 30 executes a process to assist the driver in driving the vehicle VC. When executing the process to assist driving, the ADASECU 30 receives the recognition results from the LIDARECU 10 and the image ECU 20 via the in-vehicle network 40. When executing the process to assist driving, the ADASECU 30 also outputs a command to the steering ECU 50 via the in-vehicle network 40. The steering ECU 50 operates a steering actuator 52 that steers the steered wheels, and controls the steering angle by operating the steering actuator 52. The steering angle is the rotation angle of the steered wheels. In other words, it is the turning angle of the tires.

ＡＤＡＳＥＣＵ３０は、さらに、車内ネットワーク４０を介して、各種センサの検出値を参照する。すなわち、ＡＤＡＳＥＣＵ３０は、車内カメラ６０による車両ＶＣ内部の画像データである車内画像データＤｐｉを参照する。車内カメラ６０は、可視光カメラであり、主に、運転者を撮像する装置である。また、ＡＤＡＳＥＣＵ３０は、車速センサ６２によって検出される車速ＳＰＤと、ブレーキセンサ６４によって検出されるブレーキペダルの踏み込み量であるブレーキ操作量Ｂｒｋと、を参照する。また、ＡＤＡＳＥＣＵ３０は、舵角センサ６６によって検出される操舵角θｓを参照する。操舵角θｓは、ステアリングホイールの回転角度である。また、ＡＤＡＳＥＣＵ３０は、ウィンカー６８の操作状態を示す状態変数Ｗｉｎを取得する。 The ADASECU 30 further refers to the detection values of various sensors via the in-vehicle network 40. That is, the ADASECU 30 refers to in-vehicle image data Dpi, which is image data of the inside of the vehicle VC captured by the in-vehicle camera 60. The in-vehicle camera 60 is a visible light camera, and is a device that mainly captures images of the driver. The ADASECU 30 also refers to the vehicle speed SPD detected by the vehicle speed sensor 62 and the brake operation amount Brk, which is the amount of depression of the brake pedal detected by the brake sensor 64. The ADASECU 30 also refers to the steering angle θs detected by the steering angle sensor 66. The steering angle θs is the rotation angle of the steering wheel. The ADASECU 30 also acquires a state variable Win, which indicates the operation state of the blinker 68.

詳しくは、ＡＤＡＳＥＣＵ３０は、ＣＰＵ３２、ＲＯＭ３４、記憶装置３６および周辺回路３８を備えており、それらがローカルネットワーク３９によって通信可能とされている。ここで、周辺回路３８は、内部の動作を規定するクロック信号を生成する回路、電源回路、およびリセット回路等を含む。 In more detail, the ADASECU 30 includes a CPU 32, a ROM 34, a storage device 36, and peripheral circuits 38, which are capable of communicating with each other via a local network 39. Here, the peripheral circuits 38 include a circuit that generates a clock signal that regulates internal operations, a power supply circuit, a reset circuit, and the like.

ＲＯＭ３４には、運転状態判定プログラムＰｊｓと、運転支援プログラムＰａｄとが記憶されている。また、記憶装置３６は、電気的に書き換え可能な不揮発性の装置である。記憶装置３６には、写像データＤｍと、ポイント規定データＤｐとが記憶されている。 The ROM 34 stores a driving state determination program Pjs and a driving assistance program Pad. The storage device 36 is a non-volatile device that can be electrically rewritten. The storage device 36 stores mapping data Dm and point definition data Dp.

ＡＤＡＳＥＣＵ３０は、運転支援処理として、車両ＶＣが車線を逸脱することを抑制すべく操舵介入をする処理を実行する。ＡＤＡＳＥＣＵ３０は、この運転支援処理を、高速道路等の自動車専用道路のみならず、一般道においても実行する。ＡＤＡＳＥＣＵ３０は、運転支援処理を実行する際、運転者の運転状態を判定する処理を実行する。運転状態の判定処理としては、漫然運転の判定に関する処理と、わき見運転の判定に関する処理とがある。ここで、漫然運転とは、車両ＶＣを運転するうえでの安全確認が不十分な運転状態のこととする。 As a driving assistance process, the ADASECU 30 executes a process of performing steering intervention to prevent the vehicle VC from deviating from the lane. The ADASECU 30 executes this driving assistance process not only on expressways and other motorways, but also on general roads. When executing the driving assistance process, the ADASECU 30 executes a process of determining the driving state of the driver. The driving state determination process includes a process related to determining whether the driver is driving aimlessly and a process related to determining whether the driver is driving distractedly. Here, distracted driving is defined as a driving state in which safety checks are insufficient when driving the vehicle VC.

以下では、ＡＤＡＳＥＣＵ３０が実行する処理について、漫然運転の判定に関する処理、わき見運転の判定に関する処理、運転支援の前処理、運転支援処理の順に説明する。
（漫然運転の判定に関する処理）
ＣＰＵ３２は、車両ＶＣの周囲の物体のうちの対象物体ＴＯを運転者が確認する場合に安全確認をしていると判定する。対象物体ＴＯは、運転者が車両ＶＣを安全に運転するうえで注意を払うべき物体である。本実施形態では、対象物体ＴＯを、車両ＶＣの運転の仕方次第では路面よりも上の領域において車両ＶＣが接触する可能性がある物体とする。すなわち、横断歩道や、信号機等は含まれない。これは、交通指標以外に、車両ＶＣと接触する可能性のある物体に運転者が注意を払っているか否かを判定することを狙った設定である。 The following describes the processes executed by the ADASECU 30 in the order of process related to determination of distracted driving, process related to determination of inattentive driving, pre-processing for driving assistance, and driving assistance process.
(Processing for determining whether or not the vehicle is driving aimlessly)
The CPU 32 determines that the driver is checking for safety when the driver checks a target object TO among the objects around the vehicle VC. The target object TO is an object that the driver should pay attention to in order to drive the vehicle VC safely. In this embodiment, the target object TO is an object that the vehicle VC may come into contact with in an area above the road surface depending on how the vehicle VC is driven. In other words, it does not include crosswalks, traffic lights, etc. This setting is intended to determine whether the driver is paying attention to objects that may come into contact with the vehicle VC other than traffic indicators.

図２に、漫然運転の判定に関する処理の手順を示す。図２に示す処理は、ＲＯＭ３４に記憶されている運転状態判定プログラムＰｊｓを、ＣＰＵ３２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。 Figure 2 shows the procedure for the process of determining whether the vehicle is driving aimlessly. The process shown in Figure 2 is realized by the CPU 32 repeatedly executing the driving state determination program Pjs stored in the ROM 34, for example at a predetermined interval. In the following, the step number of each process is represented by a number preceded by "S."

図２に示す一連の処理において、ＣＰＵ３２は、まず、対象物体ＴＯを設定する処理を実行する（Ｓ１０）。
図３に、Ｓ１０の処理の詳細を示す。 In the series of processes shown in FIG. 2, the CPU 32 first executes a process of setting a target object TO (S10).
FIG. 3 shows the details of the process at S10.

図３に示すように、ＣＰＵ３２は、まず、ＬＩＤＡＲＥＣＵ１０の出力と画像ＥＣＵ２０の出力とを取り込む（Ｓ４０）。次にＣＰＵ３２は、取得した出力が示す車両ＶＣの周囲の物体の中から、対象物体ＴＯの候補となる候補物体ＣＯ１，ＣＯ２，…，ＣＯｎを抽出する（Ｓ４２）。ここで、ＣＰＵ３２は、車両ＶＣの周囲の物体のうち対象物体ＴＯとなりえない信号機等を除いたものを、候補物体ＣＯ１，ＣＯ２，…とする。すなわち、上述したように、ＬＩＤＡＲＥＣＵ１０と画像ＥＣＵ２０とは、物体の種類を特定する処理を実行する。そのため、ＬＩＤＡＲＥＣＵ１０の出力と画像ＥＣＵ２０の出力とには、それぞれ物体の種類に関する情報が含まれている。ＣＰＵ３２は、その情報に基づき、候補物体ＣＯ１，ＣＯ２，…，ＣＯｎを抽出する。なお、「ＣＯ１，ＣＯ２，…，ＣＯｎ」との記載は、候補物体が「ｎ」個あるという意味であるが、候補物体ＣＯの数は、３個以上であることを意味せず、「ｎ」はゼロであることもある。 3, the CPU 32 first takes in the output of the LIDARECU 10 and the output of the image ECU 20 (S40). Next, the CPU 32 extracts candidate objects CO1, CO2, ..., COn that are candidates for the target object TO from among the objects around the vehicle VC indicated by the acquired output (S42). Here, the CPU 32 selects as candidate objects CO1, CO2, ... objects around the vehicle VC excluding traffic lights and the like that cannot be the target object TO. That is, as described above, the LIDARECU 10 and the image ECU 20 execute a process to identify the type of object. Therefore, the output of the LIDARECU 10 and the output of the image ECU 20 each contain information regarding the type of object. The CPU 32 extracts the candidate objects CO1, CO2, ..., COn based on that information. Note that the notation "CO1, CO2, ..., COn" means that there are "n" candidate objects, but it does not mean that the number of candidate objects CO is three or more, and "n" may be zero.

次に、ＣＰＵ３２は、変数ｉが候補の数「ｎ」に等しいか否かを判定する（Ｓ４４）。図３の一連の処理を開始する際には、変数ｉは、「０」とされている。ＣＰＵ３２は、変数ｉが「ｎ」ではないと判定する場合（Ｓ４４：ＮＯ）、変数ｉをインクリメントする（Ｓ４６）。そして、ＣＰＵ３２は、Ｓ４０の処理によって取得した出力変数の値に基づき、候補物体ＣＯｉの種類、候補物体ＣＯｉと車両ＶＣとの距離Ｌｉ、車両ＶＣの走行速度に対する候補物体ＣＯｉの相対速度Ｖｉ、および候補物体ＣＯｉの配置情報を取得する（Ｓ４８）。ここで、候補物体ＣＯｉの配置情報は、車両ＶＣの走行車線上であるか、隣接車線上であるか、歩道上であるか、等の情報である。なお、ＣＰＵ３２は、相対速度Ｖｉを、たとえば距離Ｌｉの時系列データから算出できる。またたとえば、光センサ１２がＦＭＣＷ方式の場合、ＣＰＵ３２は、測距点群データＤｒｐｃに含まれる相対速度を示す変数の値を取得することによって、相対速度Ｖｉを取得してもよい。 Next, the CPU 32 determines whether the variable i is equal to the number of candidates "n" (S44). When starting the series of processes in FIG. 3, the variable i is set to "0". When the CPU 32 determines that the variable i is not "n" (S44: NO), it increments the variable i (S46). Then, based on the value of the output variable acquired by the process of S40, the CPU 32 acquires the type of the candidate object COi, the distance Li between the candidate object COi and the vehicle VC, the relative speed Vi of the candidate object COi with respect to the traveling speed of the vehicle VC, and the location information of the candidate object COi (S48). Here, the location information of the candidate object COi is information on whether it is on the traveling lane of the vehicle VC, on an adjacent lane, on a sidewalk, etc. The CPU 32 can calculate the relative speed Vi, for example, from the time series data of the distance Li. Also, for example, if the optical sensor 12 is of the FMCW type, the CPU 32 may obtain the relative velocity Vi by obtaining the value of a variable indicating the relative velocity contained in the ranging point cloud data Drpc.

次に、ＣＰＵ３２は、ポイント規定データＤｐに基づき、候補物体ＣＯｉのポイントＰｉを算出する（Ｓ５０）。ポイントＰｉは、候補物体ＣＯｉを対象物体ＴＯとするか否かの評価に用いる変数である。特に、ポイントＰｉは、対象物体ＴＯである尤度を定量化した変数である。すなわち、候補物体ＣＯｉが運転を安全に行う上で注意を払うべき物体である尤度を定量化した変数である。 Next, the CPU 32 calculates the point Pi of the candidate object COi based on the point definition data Dp (S50). The point Pi is a variable used to evaluate whether or not the candidate object COi is a target object TO. In particular, the point Pi is a variable that quantifies the likelihood that the candidate object COi is a target object TO. In other words, it is a variable that quantifies the likelihood that the candidate object COi is an object that requires attention in driving safely.

図４に、ポイント規定データＤｐを示す。ポイント規定データＤｐは、物体の種類のそれぞれについて、距離ポイントマップデータ、速度ポイントマップデータ、および配置ポイントマップデータを備える。すなわち、それらマップデータは、人、自転車、車両等の物体の種類ごとに定義されている。 Figure 4 shows the point definition data Dp. The point definition data Dp includes distance point map data, speed point map data, and location point map data for each type of object. In other words, the map data is defined for each type of object, such as a person, bicycle, vehicle, etc.

距離ポイントマップデータは、距離Ｌｉを入力変数とし、ポイントＰを出力変数とするマップデータである。距離ポイントマップデータは、距離Ｌｉが小さいほどポイントＰを大きい値とする。これは、距離Ｌｉが近い物体ほど、運転者が安全確認をするうえで注意を払うべき物体である可能性が高いことに鑑みた設定である。なお、同一の距離Ｌｉであっても、候補物体ＣＯｉの種類が、運転者が安全確認をする上で注意を払うべき度合いが大きいものであるほど、ポイントＰが大きい値とされる。 The distance point map data is map data in which the distance Li is an input variable and the point P is an output variable. In the distance point map data, the smaller the distance Li, the larger the value of the point P. This is set in consideration of the fact that the closer the distance Li is to an object, the more likely it is that the object requires attention from the driver when checking for safety. Note that even for the same distance Li, the point P is set to a larger value if the type of candidate object COi is one that requires greater attention from the driver when checking for safety.

速度ポイントマップデータは、相対速度Ｖｉを入力変数とし、ポイントＰを出力変数とするマップデータである。速度ポイントマップデータは、相対速度Ｖｉが小さいほどポイントＰを大きい値とする。ここで、相対速度Ｖｉは、負である場合に車両ＶＣに近づいてくることを意味する。すなわち、相対速度Ｖｉが小さい場合には大きい場合と比較して、車両ＶＣと接触する可能性が大きいことを意味する。なお、同一の相対速度Ｖｉであっても、候補物体ＣＯｉの種類が、運転者が安全確認をする上で注意を払うべき度合いが大きいものであるほど、ポイントＰが大きい値とされる。 The speed point map data is map data in which the relative speed Vi is an input variable and the point P is an output variable. In the speed point map data, the smaller the relative speed Vi, the larger the point P value. Here, when the relative speed Vi is negative, it means that the vehicle is approaching the vehicle VC. In other words, when the relative speed Vi is small, it means that there is a higher possibility of contact with the vehicle VC compared to when the relative speed Vi is large. Note that even for the same relative speed Vi, the point P value is set to a larger value when the type of candidate object COi requires a greater degree of caution from the driver when checking for safety.

配置ポイントマップデータは、候補物体ＣＯｉの配置情報を示す変数を入力変数とし、ポイントＰを出力変数とするマップデータである。配置ポイントマップデータは、対象物体ＴＯが車両ＶＣの走行車線と同一車線にある場合に、ない場合よりもポイントを大きい値に設定する。なお、同一の配置情報であっても、候補物体ＣＯｉの種類が、運転者が安全確認をする上で注意を払うべき度合いが大きいものであるほど、ポイントＰが大きい値とされる。 The location point map data is map data in which a variable indicating the location information of the candidate object COi is used as an input variable, and a point P is used as an output variable. The location point map data sets the point to a higher value when the target object TO is in the same lane as the vehicle VC than when the target object TO is not in the same lane. Note that even with the same location information, the point P is set to a higher value the more attention the type of candidate object COi requires when checking for safety.

ＣＰＵ３２は、上記３種類のマップデータに基づき、候補物体ＣＯｉに関する３つのポイントをマップ演算しそれらの合計値をポイントＰｉに代入する。なお、マップデータとは、入力変数の離散的な値と、入力変数の値のそれぞれに対応する出力変数の値と、の組データである。また、マップ演算は、たとえば、入力変数の値がマップデータの入力変数の値のいずれかに一致する場合、対応するマップデータの出力変数の値を演算結果とする処理とすればよい。また、マップ演算は、入力変数の値がマップデータの入力変数の値のいずれとも一致しない場合、マップデータに含まれる一対の出力変数の値の補間によって得られる値を演算結果とする処理とすればよい。 Based on the above three types of map data, the CPU 32 performs map calculations on three points related to the candidate object COi and assigns the sum of these values to the point Pi. The map data is a set of data consisting of discrete values of input variables and values of output variables corresponding to each of the input variable values. The map calculation may be a process in which, for example, when the value of an input variable matches any of the input variable values in the map data, the value of the output variable in the corresponding map data is used as the calculation result. When the value of an input variable does not match any of the input variable values in the map data, the map calculation may be a process in which the value obtained by interpolating the values of a pair of output variables included in the map data is used as the calculation result.

図３に戻り、ＣＰＵ３２は、ポイントＰｉが基準値Ｐｔｈ以上であるか否かを判定する（Ｓ５２）。基準値Ｐｔｈは、対象物体ＴＯとしてふさわしい物体がとりうるポイントの下限値に設定されている。ＣＰＵ３２は、基準値Ｐｔｈ以上であると判定する場合（Ｓ５２：ＹＥＳ）、候補物体ＣＯｉを対象物体ＴＯに認定する（Ｓ５４）。 Returning to FIG. 3, the CPU 32 determines whether the point Pi is equal to or greater than a reference value Pth (S52). The reference value Pth is set to the lower limit of the points that an object suitable as the target object TO can have. If the CPU 32 determines that the point Pi is equal to or greater than the reference value Pth (S52: YES), it recognizes the candidate object COi as the target object TO (S54).

ＣＰＵ３２は、Ｓ５４の処理を完了する場合と、Ｓ５２の処理において否定判定する場合とには、Ｓ４４の処理に戻る。そして、ＣＰＵ３２は、Ｓ４４の処理において肯定判定する場合、図２のＳ１０の処理を完了する。 When the CPU 32 completes the process of S54 or when a negative judgment is made in the process of S52, the CPU 32 returns to the process of S44. When a positive judgment is made in the process of S44, the CPU 32 completes the process of S10 in FIG. 2.

図２に戻り、ＣＰＵ３２は、Ｓ１０の処理の結果、対象物体ＴＯが存在するか否かを判定する（Ｓ１２）。そしてＣＰＵ３２は、対象物体ＴＯが存在すると判定する場合（Ｓ１２：ＹＥＳ）、運転者の視野ＦＶを算出する（Ｓ１４）。 Returning to FIG. 2, the CPU 32 determines whether or not a target object TO exists as a result of the processing of S10 (S12). If the CPU 32 determines that a target object TO exists (S12: YES), it calculates the driver's field of view FV (S14).

図５に、Ｓ１４の処理の詳細を示す。
図５に示す一連の処理において、ＣＰＵ３２は、まず、車内カメラ６０による車内画像データＤｐｉを取得する（Ｓ６０）。そして、ＣＰＵ３２は、車内画像データＤｐｉに基づき、頭部姿勢、および視線を算出する（Ｓ６２）。本実施形態では、顔や目のモデルを入力画像にフィッティングすることにより視線を推定するいわゆるモデルベース手法を採用した。上記写像データＤｍは、たとえば、車内画像データＤｐｉを入力とし顔の特徴量を出力する写像を規定するデータとすればよい。その場合、ＣＰＵ３２は、車内画像データＤｐｉを写像への入力とすることによって、顔の特徴量を算出する。顔の特徴量は、予め定められた複数の顔の特徴点の画像中の座標成分である。顔の特徴点は、目の位置のみならず、頭部姿勢の算出において有益な点を含む。上記写像は、たとえば、畳み込みニューラルネットワーク（ＣＮＮ）とすればよい。またこれに代えて、決定木や、サポートベクトル回帰等を用いてもよい。 FIG. 5 shows the details of the process of S14.
In the series of processes shown in FIG. 5, the CPU 32 first acquires in-vehicle image data Dpi from the in-vehicle camera 60 (S60). Then, the CPU 32 calculates the head pose and gaze based on the in-vehicle image data Dpi (S62). In this embodiment, a so-called model-based method is adopted in which a gaze is estimated by fitting a face and eye model to an input image. The mapping data Dm may be, for example, data that specifies a mapping that inputs the in-vehicle image data Dpi and outputs facial features. In this case, the CPU 32 calculates the facial features by inputting the in-vehicle image data Dpi to the mapping. The facial features are coordinate components in the image of a plurality of predetermined facial feature points. The facial feature points include not only the eye positions but also points that are useful in calculating the head pose. The mapping may be, for example, a convolutional neural network (CNN). Alternatively, a decision tree, a support vector regression, or the like may be used.

そして、ＣＰＵ３２は、顔の特徴量である顔の各特徴点の座標から、３次元顔モデルを用いて頭部の位置、方向を定める頭部姿勢を推定する。また、ＣＰＵ３２は、頭部姿勢と、所定の顔特徴点の座標とに基づき、眼球中心を推定する。そしてＣＰＵ３２は、眼球モデルと眼球中心とに基づき、虹彩中心位置を推定する。そしてＣＰＵ３２は、眼球中心から虹彩中心に進む方向を算出し、これを視線方向とする。 Then, the CPU 32 uses a three-dimensional face model to estimate the head pose, which determines the position and direction of the head, from the coordinates of each facial feature point, which are facial features. The CPU 32 also estimates the eyeball center based on the head pose and the coordinates of certain facial feature points. The CPU 32 then estimates the iris center position based on the eyeball model and the eyeball center. The CPU 32 then calculates the direction from the eyeball center to the iris center, and determines this as the gaze direction.

次に、ＣＰＵ３２は、視線方向から所定範囲を視野ＦＶとして算出する（Ｓ６４）。詳しくは、所定範囲を、視線方向とのなす角度が所定角度以内の範囲とする。ここで所定角度は、たとえば１５～２５°とすればよい。 Next, the CPU 32 calculates a predetermined range from the line of sight direction as the field of view FV (S64). More specifically, the predetermined range is a range in which the angle with the line of sight direction is within a predetermined angle. Here, the predetermined angle may be, for example, 15 to 25 degrees.

なお、ＣＰＵ３２は、Ｓ６４の処理を完了する場合、図２のＳ１４の処理を完了する。
図２に戻り、ＣＰＵ３２は、視野ＦＶに対象物体ＴＯの少なくとも１つが含まれるか否かを判定する（Ｓ１６）。ここで、ＣＰＵ３２は、対象物体ＴＯの少なくとも１つについて、視野ＦＶに含まれている部分が所定割合以上である場合に、視野ＦＶに対象物体ＴＯが含まれると判定する。所定割合は、たとえば５０％である。 When completing the process of S64, the CPU 32 completes the process of S14 in FIG.
2, the CPU 32 determines whether or not at least one of the target objects TO is included in the field of view FV (S16). Here, the CPU 32 determines that the target object TO is included in the field of view FV when the portion of at least one of the target objects TO that is included in the field of view FV is equal to or greater than a predetermined ratio. The predetermined ratio is, for example, 50%.

図６（ａ）は、視野ＦＶに対象物体ＴＯが含まれない例を示す。また、図６（ｂ）は、視野ＦＶに対象物体ＴＯが含まれる例を示す。なお、図６には、車両ＶＣの前方ＤＦ、後方ＤＢ、左方向ＤＬおよび右方向ＤＲを記載している。すなわち、図６（ａ）は、人ＨＭが前方ＤＦを向いている例である。 Figure 6(a) shows an example where the target object TO is not included in the field of view FV. Figure 6(b) shows an example where the target object TO is included in the field of view FV. Note that Figure 6 shows the forward direction DF, rearward direction DB, leftward direction DL, and rightward direction DR of the vehicle VC. That is, Figure 6(a) shows an example where the person HM is facing forward DF.

図２に戻り、ＣＰＵ３２は、少なくとも１つが含まれると判定する場合（Ｓ１６：ＹＥＳ）、確認判定カウンタＣ１をインクリメントする（Ｓ１８）。そして、ＣＰＵ３２は、確認判定カウンタの値が確認判定値Ｃ１ｔｈ以上であるか否かを判定する（Ｓ２０）。この処理は、安全確認をしたか否かを判定する処理である。ここで、確認判定値Ｃ１ｔｈは、運転者が対象物体ＴＯを確認する場合に視野ＦＶに含まれる時間の下限値に応じて設定されている。ＣＰＵ３２は、確認判定値Ｃ１ｔｈ以上であると判定する場合（Ｓ２０：ＹＥＳ）、安全確認がなされた旨、判定する（Ｓ２２）。すなわち、対象物体ＴＯは、車両ＶＣの運転の仕方次第では車両ＶＣと接触する可能性のある物体であり、車両ＶＣの運転において注意を払うべき物体である。そのため、対象物体ＴＯを確認した場合には、安全確認がなされたとする。そしてＣＰＵ３２は、後述の漫然判定カウンタＣ２を初期化する（Ｓ２４）。 Returning to FIG. 2, when the CPU 32 determines that at least one object is included (S16: YES), it increments the confirmation determination counter C1 (S18). Then, the CPU 32 determines whether the value of the confirmation determination counter is equal to or greater than the confirmation determination value C1th (S20). This process is a process for determining whether or not a safety check has been made. Here, the confirmation determination value C1th is set according to the lower limit of the time included in the field of view FV when the driver checks the target object TO. When the CPU 32 determines that the confirmation determination value C1th is equal to or greater (S20: YES), it determines that a safety check has been made (S22). That is, the target object TO is an object that may come into contact with the vehicle VC depending on how the vehicle VC is driven, and is an object that requires attention when driving the vehicle VC. Therefore, when the target object TO is confirmed, it is determined that a safety check has been made. Then, the CPU 32 initializes the absentmindedness determination counter C2 (S24), which will be described later.

一方、ＣＰＵ３２は、視野ＦＶに対象物体ＴＯが１つも含まれないと判定する場合（Ｓ１６：ＮＯ）、安全確認がなされていないと判定し、確認判定カウンタＣ１を初期化する（Ｓ２６）。ＣＰＵ３２は、Ｓ２６の処理を完了する場合と、Ｓ２０の処理において否定判定する場合とには、漫然判定カウンタＣ２をインクリメントする（Ｓ２８）。漫然判定カウンタＣ２は、安全確認がなされていない時間を計時するカウンタである。換言すれば、安全確認が不十分な運転がなされている時間を計時するカウンタである。 On the other hand, if the CPU 32 determines that no target object TO is included in the field of view FV (S16: NO), it determines that a safety check has not been made and initializes the check determination counter C1 (S26). If the CPU 32 completes the processing of S26 or makes a negative determination in the processing of S20, it increments the absentmindedness determination counter C2 (S28). The absentmindedness determination counter C2 is a counter that measures the time during which a safety check has not been made. In other words, it is a counter that measures the time during which driving is performed without sufficient safety checks.

ＣＰＵ３２は、Ｓ２８，Ｓ２４の処理を完了する場合、漫然判定カウンタＣ２が漫然判定値Ｃ２ｔｈ以上であるか否かを判定する（Ｓ３０）。漫然判定値Ｃ２ｔｈは、漫然運転がなされている場合に安全確認判定がなされない継続時間の下限値に応じて設定されている。そしてＣＰＵ３２は、漫然判定値Ｃ２ｔｈ以上であると判定する場合（Ｓ３０：ＹＥＳ）、漫然運転であると判定する（Ｓ３２）。 When the CPU 32 completes the processing of S28 and S24, it determines whether the absentmindedness determination counter C2 is equal to or greater than the absentmindedness determination value C2th (S30). The absentmindedness determination value C2th is set according to the lower limit of the duration during which a safety confirmation determination is not made when the vehicle is driving absentmindedly. If the CPU 32 determines that the absentmindedness determination value C2th is equal to or greater (S30: YES), it determines that the vehicle is driving absentmindedly (S32).

なお、ＣＰＵ３２は、Ｓ３２の処理を完了する場合と、Ｓ３０の処理において否定判定する場合と、には、図２に示す一連の処理を一旦終了する。
（わき見運転の判定に関する処理）
図７に、わき見運転の判定に関する処理の手順を示す。図７に示す処理は、ＲＯＭ３４に記憶されている運転状態判定プログラムＰｊｓをＣＰＵ３２がたとえば所定周期で繰り返し実行することにより実現される。 When the CPU 32 completes the process of S32 or when a negative determination is made in the process of S30, the CPU 32 temporarily ends the series of processes shown in FIG.
(Processing for determining distracted driving)
A procedure for a process relating to determination of inattentive driving is shown in Fig. 7. The process shown in Fig. 7 is realized by the CPU 32 repeatedly executing a driving state determination program Pjs stored in the ROM 34, for example, at a predetermined interval.

図７に示す一連の処理において、ＣＰＵ３２は、まず車速ＳＰＤおよび操舵角θｓを取得する（Ｓ７０）。そして、ＣＰＵ３２は、車速ＳＰＤおよび操舵角θｓに基づき車両ＶＣの走行領域を設定する（Ｓ７２）。走行領域は、運転者が車両ＶＣを走行させると予測される領域である。ＣＰＵ３２は、操舵角θｓが右旋回側の値の場合、走行領域を車両ＶＣの直進方向に対して右側の領域とする。また、ＣＰＵ３２は、操舵角θｓが右旋回側の値であるときにおいて車速ＳＰＤが高い場合には低い場合よりも、走行領域を車両ＶＣの直進方向に対してより右側の領域とする。これは、車速ＳＰＤが高いほど、運転者の視線と直進方向とのなす角度がより大きくなると考えられることに鑑みたものである。 In the series of processes shown in FIG. 7, the CPU 32 first acquires the vehicle speed SPD and the steering angle θs (S70). Then, the CPU 32 sets the driving area of the vehicle VC based on the vehicle speed SPD and the steering angle θs (S72). The driving area is the area in which the driver is predicted to drive the vehicle VC. When the steering angle θs is a value on the right-hand side, the CPU 32 sets the driving area to the right of the straight-ahead direction of the vehicle VC. In addition, when the vehicle speed SPD is high and the steering angle θs is a value on the right-hand side, the CPU 32 sets the driving area to the right of the straight-ahead direction of the vehicle VC compared to when the vehicle speed SPD is low. This is in consideration of the fact that the higher the vehicle speed SPD, the larger the angle between the driver's line of sight and the straight-ahead direction is considered to be.

そしてＣＰＵ３２は、走行領域が図５のＳ６２の処理によって算出された視野ＦＶの範囲外か否かを判定する（Ｓ７４）。ＣＰＵ３２は、視野ＦＶに走行領域の少なくとも一部が入っていると判定する場合（Ｓ７４：ＮＯ）、領域確認カウンタＣ３をインクリメントする（Ｓ７６）。そしてＣＰＵ３２は、領域確認カウンタＣ３が領域注視判定値Ｃ３ｔｈ以上であるか否かを判定する（Ｓ７８）。領域注視判定値Ｃ３ｔｈは、運転者が走行領域を注視して運転している場合に、走行領域が視野ＦＶに入っている継続時間の下限値に基づき設定されている。ＣＰＵ３２は、領域注視判定値Ｃ３ｔｈ以上であると判定する場合（Ｓ７８：ＹＥＳ）、走行領域の確認がなされていると判定する（Ｓ８０）。そしてＣＰＵ３２は、後述のわき見判定カウンタＣ４を初期化する（Ｓ８２）。 Then, the CPU 32 judges whether the driving area is outside the range of the visual field FV calculated by the process of S62 in FIG. 5 (S74). When the CPU 32 judges that at least a part of the driving area is within the visual field FV (S74: NO), it increments the area confirmation counter C3 (S76). Then, the CPU 32 judges whether the area confirmation counter C3 is equal to or greater than the area gaze judgment value C3th (S78). The area gaze judgment value C3th is set based on the lower limit of the duration that the driving area is within the visual field FV when the driver is driving while gazing at the driving area. When the CPU 32 judges that the area gaze judgment value C3th or greater (S78: YES), it judges that the driving area has been confirmed (S80). Then, the CPU 32 initializes the inattentive judgment counter C4 (described later) (S82).

一方、ＣＰＵ３２は、走行領域が視野ＦＶの範囲外と判定する場合（Ｓ７４：ＹＥＳ）、領域確認カウンタＣ３を初期化する（Ｓ８４）。ＣＰＵ３２は、Ｓ８４の処理を完了する場合と、Ｓ７８の処理において否定判定する場合とには、わき見判定カウンタＣ４をインクリメントする（Ｓ８６）。ＣＰＵ３２は、Ｓ８６，Ｓ８２の処理を完了する場合、わき見判定カウンタＣ４がわき見判定値Ｃ４ｔｈ以上であるか否かを判定する（Ｓ８８）。そして、ＣＰＵ３２は、わき見判定値Ｃ４ｔｈ以上であると判定する場合、わき見運転である旨判定する（Ｓ８９）。 On the other hand, when the CPU 32 determines that the driving area is outside the range of the visual field FV (S74: YES), it initializes the area confirmation counter C3 (S84). When the CPU 32 completes the processing of S84 or when the CPU 32 makes a negative determination in the processing of S78, it increments the inattentive driving determination counter C4 (S86). When the CPU 32 completes the processing of S86 and S82, it determines whether the inattentive driving determination counter C4 is equal to or greater than the inattentive driving determination value C4th (S88). Then, when the CPU 32 determines that the inattentive driving determination value is equal to or greater than C4th, it determines that the driver is inattentive driving (S89).

なお、ＣＰＵ３２は、Ｓ８９の処理を完了する場合と、Ｓ８８の処理において否定判定する場合と、には、図７に示す一連の処理を一旦終了する。
（運転支援の前処理）
図８に、運転支援処理のための前処理の手順を示す。図８に示す処理は、ＲＯＭ３４に記憶された運転支援プログラムＰａｄをＣＰＵ３２がたとえば所定周期で繰り返し実行することにより実現される。 When the CPU 32 completes the process of S89 or when a negative determination is made in the process of S88, the CPU 32 temporarily ends the series of processes shown in FIG.
(Pre-processing for driving assistance)
A procedure of pre-processing for the driving support processing is shown in Fig. 8. The processing shown in Fig. 8 is realized by the CPU 32 repeatedly executing the driving support program Pad stored in the ROM 34, for example, at a predetermined interval.

図８に示す一連の処理において、ＣＰＵ３２は、まず、ウィンカー６８の状態変数Ｗｉｎおよびブレーキ操作量Ｂｒｋを入力とし、下記の条件（ア）および条件（イ）の論理和が真であるか否かを判定する（Ｓ９０）。 In the series of processes shown in FIG. 8, the CPU 32 first inputs the state variable Win of the turn signal 68 and the brake operation amount Brk, and determines whether the logical sum of the following conditions (a) and (b) is true (S90).

条件（ア）：ウィンカー６８が操作されている旨の条件である。ウィンカー６８が操作されているとは、ウィンカー６８が右旋回または左旋回の操作となっていることを意味する。 Condition (A): This condition indicates that the blinker 68 is being operated. The blinker 68 is being operated to indicate a right turn or a left turn.

条件（イ）：ブレーキが踏み込まれている旨の条件である。これは、ブレーキ操作量Ｂｒｋが所定量以上であることとすればよい。
ＣＰＵ３２は、論理和が真であると判定する場合（Ｓ９０：ＹＥＳ）、車線を逸脱する意図がある旨判定する（Ｓ９２）。すなわち、ウィンカー６８が操作されている場合には、運転者が車両ＶＣを旋回させる意図があることから、運転者が車両ＶＣを車線から逸脱させる意図があると考えられる。また、一般道において、路面に駐車された他の車両をよける場合や、走行車線の左端を走行する２輪車をよける場合等には、ブレーキを踏みつつ走行することがある。そのため、ブレーキ操作がなされている場合にも、運転者が車両ＶＣを車線から逸脱させる意図があると考えられる。 Condition (A): This condition indicates that the brake is being depressed. This may be satisfied if the brake operation amount Brk is equal to or greater than a predetermined amount.
When the CPU 32 determines that the logical sum is true (S90: YES), it determines that there is an intention to deviate from the lane (S92). That is, when the blinker 68 is operated, the driver intends to turn the vehicle VC, and therefore it is considered that the driver intends to deviate the vehicle VC from the lane. In addition, when avoiding other vehicles parked on the road surface on a general road or a two-wheeled vehicle traveling on the left edge of the traveling lane, the driver may travel while applying the brakes. Therefore, even when the brakes are being applied, it is considered that the driver intends to deviate the vehicle VC from the lane.

一方、ＣＰＵ３２は、上記論理和が偽であると判定する場合（Ｓ９０：ＮＯ）、漫然運転判定がなされていることとわき見運転判定がなされていることとの論理和が真であるか否かを判定する（Ｓ９４）。そしてＣＰＵ３２は、論理和が真であると判定する場合（Ｓ９４：ＹＥＳ）、逸脱意図なしと判定する（Ｓ９６）。これに対し、ＣＰＵ３２は、論理和が偽であると判定する場合（Ｓ９４：ＮＯ）、逸脱意図有と判定する（Ｓ９８）。 On the other hand, if the CPU 32 determines that the above logical sum is false (S90: NO), it determines whether the logical sum of the distracted driving judgment and the inattentive driving judgment is true (S94). If the CPU 32 determines that the logical sum is true (S94: YES), it determines that there is no intent to depart (S96). On the other hand, if the CPU 32 determines that the logical sum is false (S94: NO), it determines that there is an intent to depart (S98).

なお、ＣＰＵ３２は、Ｓ９２，Ｓ９６，Ｓ９８の処理を完了する場合には、図８に示す一連の処理を一旦終了する。
（運転支援処理）
図９に、運転支援処理の手順を示す。図９に示す処理は、ＲＯＭ３４に記憶された運転支援プログラムＰａｄをＣＰＵ３２がたとえば所定周期で繰り返し実行することにより実現される。 When the CPU 32 completes the processes of S92, S96, and S98, it temporarily ends the series of processes shown in FIG.
(Driving assistance processing)
The procedure of the driving assistance process is shown in Fig. 9. The process shown in Fig. 9 is realized by the CPU 32 repeatedly executing the driving assistance program Pad stored in the ROM 34, for example, at a predetermined interval.

図９に示す一連の処理において、ＣＰＵ３２は、まず、画像ＥＣＵ２０の出力を取得する（Ｓ１００）。そしてＣＰＵ３２は、取得した出力が示す車両ＶＣの走行車線の境界を示す白線と車両ＶＣとの距離が所定値以下であるか否かを判定する（Ｓ１０２）。この処理は、車両ＶＣが車線を逸脱すると予測されるか否かを判定する処理である。ＣＰＵ３２は、所定値以下であると判定する場合（Ｓ１０２：ＹＥＳ）、図８の処理によって逸脱意図がないと判定されているか否かを判定する（Ｓ１０４）。そしてＣＰＵ３２は、逸脱意図がないと判定している場合（Ｓ１０４：ＹＥＳ）、車両ＶＣが車線を逸脱しないように操舵介入を実行する（Ｓ１０６）。すなわち、ＣＰＵ３２は、運転者によるステアリングホイールの操作とは独立に、転舵アクチュエータ５２の操作によって転舵角を制御する。ここでは、運転者によるステアリングホイールの操作を尊重しつつも、車線を逸脱しないように転舵角を微調整する。詳しくは、ＣＰＵ３２は、転舵ＥＣＵ５０に、転舵角の目標値の補正量を出力する。これにより、転舵ＥＣＵ５０では、操舵角θｓから定まる転舵角の目標値を補正量にて補正した値へと、転舵角を制御すべく転舵アクチュエータ５２を操作する。 In the series of processes shown in FIG. 9, the CPU 32 first acquires the output of the image ECU 20 (S100). Then, the CPU 32 determines whether the distance between the vehicle VC and the white line indicating the boundary of the lane of the vehicle VC, which is indicated by the acquired output, is equal to or less than a predetermined value (S102). This process is a process for determining whether the vehicle VC is predicted to deviate from the lane. If the CPU 32 determines that the distance is equal to or less than the predetermined value (S102: YES), it determines whether or not it is determined by the process of FIG. 8 that there is no intention to deviate (S104). If the CPU 32 determines that there is no intention to deviate (S104: YES), it executes steering intervention so that the vehicle VC does not deviate from the lane (S106). That is, the CPU 32 controls the steering angle by operating the steering actuator 52 independently of the operation of the steering wheel by the driver. Here, the steering angle is finely adjusted so as not to deviate from the lane while respecting the operation of the steering wheel by the driver. In detail, the CPU 32 outputs a correction amount for the target value of the steering angle to the steering ECU 50. As a result, the steering ECU 50 operates the steering actuator 52 to control the steering angle to a value obtained by correcting the target value of the steering angle determined from the steering angle θs with the correction amount.

なお、ＣＰＵ３２は、Ｓ１０６の処理を完了する場合や、Ｓ１０２，Ｓ１０４の処理において否定判定する場合には、図９に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。 When the CPU 32 completes the process of S106 or makes a negative determination in the processes of S102 and S104, the CPU 32 temporarily ends the series of processes shown in FIG.
Here, the operation and effects of this embodiment will be described.

図１０に、本実施形態にかかる漫然運転の判定例を示す。
図１０に示すように、時刻ｔ１以降、視野ＦＶに対象物体ＴＯが含まれることから、確認判定カウンタＣ１がインクリメントされていく。そしてＣＰＵ３２は、時刻ｔ２において、確認判定カウンタＣ１が確認判定値Ｃ１ｔｈ以上となることから、安全確認有と判定し、漫然判定カウンタＣ２を初期化する。その後、時刻ｔ３以降、視野ＦＶに対象物体ＴＯが含まれなくなると、ＣＰＵ３２は、確認判定カウンタＣ１を初期化し、また、漫然判定カウンタＣ２をインクリメントしていく。図１０に示す例では、時刻ｔ４以降、視野ＦＶに対象物体ＴＯが含まれることから、確認判定カウンタＣ１がインクリメントされていくものの、確認判定カウンタＣ１が確認判定値Ｃ１ｔｈに達する前の時刻ｔ５に漫然判定カウンタＣ２が漫然判定値Ｃ２ｔｈに達する。そのため、ＣＰＵ３２は、時刻ｔ５に、漫然運転である旨判定する。 FIG. 10 shows an example of determining whether or not the vehicle is driving aimlessly according to this embodiment.
As shown in Fig. 10, after time t1, the target object TO is included in the visual field FV, so the confirmation judgment counter C1 is incremented. Then, at time t2, the confirmation judgment counter C1 is equal to or greater than the confirmation judgment value C1th, so the CPU 32 judges that safety has been confirmed, and initializes the absentmindedness judgment counter C2. After that, after time t3, when the target object TO is no longer included in the visual field FV, the CPU 32 initializes the confirmation judgment counter C1 and increments the absentmindedness judgment counter C2. In the example shown in Fig. 10, after time t4, the target object TO is included in the visual field FV, so the confirmation judgment counter C1 is incremented, but at time t5 before the confirmation judgment counter C1 reaches the confirmation judgment value C1th, the absentmindedness judgment counter C2 reaches the absentmindedness judgment value C2th. Therefore, the CPU 32 judges that the driving is absentminded at time t5.

このように、ＣＰＵ３２は、安全確認がなされない状態が継続する場合に漫然運転である旨判定することから、運転者が安全確認が不十分な運転をしている状態を適切に判定できる。特に、安全確認がなされない状態が漫然判定値Ｃ２ｔｈ以上となることを漫然運転判定をする条件とすることにより、進行方向の確認等のために視野ＦＶが対象物体ＴＯからそれた場合に、漫然運転であると誤判定することを抑制できる。 In this way, the CPU 32 determines that the driver is driving without adequately checking for safety when a state in which safety checks are not performed continues, and therefore can appropriately determine whether the driver is driving without adequately checking for safety. In particular, by setting the condition for determining that the driver is driving without adequately checking for safety as being the state in which safety checks are not performed to be equal to or greater than the carelessness determination value C2th, it is possible to prevent erroneous determination that the driver is driving without adequately checking for safety when the field of view FV deviates from the target object TO to check the direction of travel, etc.

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１）ＣＰＵ３２は、視野ＦＶに対象物体ＴＯが入っている継続時間が確認判定値Ｃ１ｔｈ以上となる場合に、安全確認がなされたと判定した。これにより、運転者が視線を移動しているときに、視野ＦＶに対象物体ＴＯが入ったことをもって、安全確認がなされたとの誤判定をすることを抑制できる。 According to the present embodiment described above, the following actions and effects can be obtained.
(1) The CPU 32 determines that a safety check has been made when the duration during which the target object TO is in the field of view FV is equal to or greater than the check determination value C1th. This makes it possible to prevent the CPU 32 from erroneously determining that a safety check has been made when the target object TO is in the field of view FV while the driver is moving his or her line of sight.

（２）ＣＰＵ３２は、候補物体ＣＯｉに付与するポイントの大きさを、候補物体ＣＯｉの種類に応じて変更した。これにより、運転者が安全確認をする上で注意を払うべき度合いが大きいものを優先的に対象物体ＴＯに採用することができる。 (2) The CPU 32 changes the size of the points to be assigned to the candidate object COi depending on the type of the candidate object COi. This allows the CPU 32 to preferentially adopt as the target object TO those objects that require the driver to pay greater attention to safety checks.

（３）ＣＰＵ３２は、相対速度Ｖｉが小さいほど、候補物体ＣＯｉに付与するポイントの大きさを大きくした。ここで、相対速度Ｖｉが小さい場合には大きい場合と比較して、車両ＶＣが候補物体ＣＯｉと接触する可能性が高い。そのため、候補物体ＣＯｉが車両ＶＣと接触する可能性が高いほど、ポイントを大きい値とすることができる。そのため、上記設定によれば、運転者が安全確認をする上で注意を払うべき度合いが大きいものを優先的に対象物体ＴＯに採用することができる。 (3) The CPU 32 assigns a larger point to the candidate object COi as the relative velocity Vi decreases. Here, when the relative velocity Vi is small, the vehicle VC is more likely to come into contact with the candidate object COi than when the relative velocity Vi is large. Therefore, the higher the possibility that the candidate object COi will come into contact with the vehicle VC, the larger the point value can be. Therefore, according to the above setting, it is possible to preferentially adopt as the target object TO those objects that the driver needs to pay the most attention to when checking for safety.

（４）ＣＰＵ３２は、距離Ｌｉが小さいほど、候補物体ＣＯｉに付与するポイントの大きさを大きくした。ここで、距離Ｌｉが小さいほど、車両ＶＣの運転に際してより注意すべき度合いが高い傾向にある。そのため、上記設定によれば、運転者が安全確認をする上で注意を払うべき度合いが大きいものを優先的に対象物体ＴＯに採用することができる。 (4) The CPU 32 assigns a larger point to the candidate object COi as the distance Li decreases. Here, the smaller the distance Li, the greater the degree of caution required when driving the vehicle VC. Therefore, according to the above setting, it is possible to preferentially adopt as the target object TO those objects that require the driver to pay a greater degree of caution when checking for safety.

（５）ＣＰＵ３２は、候補物体ＣＯｉが車両ＶＣと同一車線に位置する場合には隣接車線に位置する場合よりもポイントの大きさを大きくした。ここで、同一車線に位置する物体は隣接車線に位置する物体よりも車両ＶＣの運転に際してより注意すべき度合いが高い傾向にある。そのため、上記設定によれば、運転者が安全確認をする上で注意を払うべき度合いが大きいものを優先的に対象物体ＴＯに採用することができる。 (5) The CPU 32 increases the size of the point when the candidate object COi is located in the same lane as the vehicle VC compared to when the candidate object COi is located in an adjacent lane. Here, objects located in the same lane tend to require greater attention when driving the vehicle VC than objects located in an adjacent lane. Therefore, according to the above setting, it is possible to preferentially adopt as the target object TO those objects that the driver needs to pay greater attention to when checking for safety.

（６）ＣＰＵ３２は、走行領域の確認がなされない状態の継続時間がわき見判定値Ｃ４ｔｈ以上となる場合、わき見運転と判定した。これにより、安全確認等のために運転者の視野が一時的に走行領域からそれた場合にわき見運転と誤判定することを抑制できる。 (6) When the duration of the state in which the driving area is not checked is equal to or greater than the inattentive driving judgment value C4th, the CPU 32 judges that the driver is inattentive driving. This makes it possible to prevent erroneous judgment that the driver is inattentive driving when the driver's field of vision temporarily deviates from the driving area to check for safety, etc.

（７）ＣＰＵ３２は、漫然運転判定またはわき見運転判定がなされていることを条件に、逸脱回避のための運転支援処理を実行した。これにより、運転者が車両ＶＣを意図的に車線から逸脱させる場合に、運転支援によって運転者にとって不本意な操舵介入がなされることを抑制できる。 (7) The CPU 32 executes driving assistance processing to avoid deviation, on the condition that a distracted driving judgment or a distracted driving judgment has been made. This makes it possible to prevent undesired steering intervention by the driving assistance when the driver intentionally causes the vehicle VC to deviate from the lane.

（８）ＣＰＵ３２は、ブレーキ操作がなされている場合には、漫然運転判定の有無およびわき見運転判定の有無にかかわらず、操舵介入をしないこととした。これにより、車両ＶＣが走行する車線の左側に駐車されている車両または同車線の左側を走行する２輪車などをよけるために、運転者が意図的に車線を逸脱する場合に、操舵介入がなされることを抑制できる。これにより、運転支援処理を一般道で行う場合であっても、運転者にとって不本意な操舵介入を抑制しつつ、必要な時に操舵介入をすることが可能となる。 (8) When the brakes are being applied, the CPU 32 does not intervene in the steering, regardless of whether or not a distracted driving judgment has been made. This makes it possible to suppress steering intervention when the driver intentionally deviates from the lane in order to avoid a vehicle parked on the left side of the lane in which the vehicle VC is traveling or a two-wheeled vehicle traveling on the left side of the same lane. This makes it possible to suppress steering intervention that is undesirable to the driver, while still allowing steering intervention when necessary, even when the driving assistance processing is performed on a general road.

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。 <Other embodiments>
This embodiment can be modified as follows: This embodiment and the following modifications can be combined with each other to the extent that no technical contradiction occurs.

「物体確認判定処理について」
・上記実施形態では、視野ＦＶに対象物体ＴＯの所定割合以上が含まれている場合に、視野ＦＶに対象物体ＴＯが含まれているとし、所定割合を「５０％」としたが、これに限らない。たとえば、所定割合を、「５０％」よりも大きい値としてもよく、「５０％」よりも小さい値としてもよい。また、視野ＦＶに対象物体ＴＯが包含されている場合に限って、視野ＦＶに対象物体ＴＯが含まれているとしてもよい。 "About object confirmation judgment processing"
In the above embodiment, when the field of view FV includes a predetermined ratio or more of the target object TO, the field of view FV is deemed to include the target object TO, and the predetermined ratio is set to "50%." However, this is not limited to this. For example, the predetermined ratio may be a value greater than "50%" or a value less than "50%." Furthermore, the field of view FV may be deemed to include the target object TO only when the target object TO is included in the field of view FV.

・上記実施形態では、複数の対象物体ＴＯが存在する場合、視野ＦＶにそれらのうちの少なくとも１つが含まれる状態が確認判定値Ｃ１ｔｈ以上継続する場合に、物体の確認がなされたと判定したが、これに限らない。たとえば、複数の対象物体ＴＯのうちの任意の１つが含まれる状態が確認判定値Ｃ１ｔｈ以上継続する場合に物体の確認がなされたと判定する処理であってもよい。これは、たとえば対象物体ＴＯＡ，ＴＯＢが存在する場合であって以下のケースの場合には、物体の確認がなされたとは判定しない処理となる。すなわち、視野ＦＶに対象物体ＴＯＡが含まれる状態と対象物体ＴＯＢが含まれる状態とのいずれも確認判定値Ｃ１ｔｈ以上とはならないケースである。その場合、対象物体ＴＯＡ，ＴＯＢのうちの少なくとも１つが視野ＦＶに含まれる状態については確認判定値Ｃ１ｔｈ以上継続したとしても、物体の確認がなされたとは判定しない処理となる。 - In the above embodiment, when there are multiple target objects TO, it is determined that the object has been confirmed when the state in which at least one of them is included in the field of view FV continues for more than the confirmation judgment value C1th, but this is not limited to the above. For example, it may be a process that determines that the object has been confirmed when the state in which any one of the multiple target objects TO is included continues for more than the confirmation judgment value C1th. This is a process that does not determine that the object has been confirmed in the following cases when target objects TOA and TOB are present. That is, the case in which neither the state in which the target object TOA is included in the field of view FV nor the state in which the target object TOB is included in the field of view FV is equal to or greater than the confirmation judgment value C1th. In that case, even if the state in which at least one of the target objects TOA and TOB is included in the field of view FV continues for more than the confirmation judgment value C1th, it is a process that does not determine that the object has been confirmed.

「漫然運転判定処理について」
・図２の処理では、Ｓ１２の処理において否定判定する場合に、Ｓ２４の処理に移行したが、これに限らない。換言すれば、対象物体ＴＯが存在しない場合、物体の確認がなされた旨の判定がされていない状態の継続時間を初期化したが、これに限らない。たとえば、Ｓ１２の処理において否定判定する場合、図２に示す一連の処理を一旦終了してもよい。換言すれば、物体の確認がなされた旨の判定がされていない状態の継続時間を初期化せず、計時動作を停止してもよい。 "Distracted driving judgment process"
In the process of Fig. 2, when a negative determination is made in the process of S12, the process proceeds to S24, but this is not limited to this. In other words, when the target object TO does not exist, the duration of the state in which it has not been determined that an object has been confirmed is initialized, but this is not limited to this. For example, when a negative determination is made in the process of S12, the series of processes shown in Fig. 2 may be temporarily terminated. In other words, the time counting operation may be stopped without initializing the duration of the state in which it has not been determined that an object has been confirmed.

「評価変数算出処理について」
・上記実施形態では、対象物体ＴＯの候補のポイントＰｉを、３つのマップデータのそれぞれを用いてマップ演算される値の和としたが、これに限らない。換言すれば、ポイントＰｉとしては、距離ポイントマップデータ、速度ポイントマップデータ、および配置ポイントマップデータのそれぞれを用いてマップ演算される３つの値の和に限らない。たとえば、複数のマップデータのそれぞれから算出される値の積であってもよい。 "About the evaluation variable calculation process"
In the above embodiment, the point Pi of the candidate of the target object TO is the sum of values calculated by map calculation using each of the three map data, but this is not limited to this. In other words, the point Pi is not limited to the sum of three values calculated by map calculation using each of the distance point map data, the speed point map data, and the arrangement point map data. For example, the point Pi may be the product of values calculated from each of the multiple map data.

・ポイント規定データＤｐとしては、距離ポイントマップデータと、速度ポイントマップデータと、配置ポイントマップデータとを備えるものに限らない。たとえば、上記３つのマップデータに加えて、対象物体ＴＯの候補となる物体の種類を入力変数とし、ポイントを出力変数とするマップデータを備えてもよい。またたとえば、距離Ｌｉ、相対速度Ｖｉおよび配置情報を入力変数とし、ポイントを出力変数とするマップデータを、対象物体ＴＯの候補となる物体の種類ごとに備えてもよい。またたとえば、距離Ｌｉ、相対速度Ｖｉ、配置情報および候補となる物体の種類を入力変数とし、ポイントを出力変数とするマップデータを備えてもよい。 - The point definition data Dp is not limited to distance point map data, speed point map data, and placement point map data. For example, in addition to the above three map data, map data may be provided in which the type of object that is a candidate for the target object TO is an input variable and points are an output variable. For example, map data in which distance Li, relative speed Vi, and placement information are input variables and points are output variables may be provided for each type of object that is a candidate for the target object TO. For example, map data in which distance Li, relative speed Vi, placement information, and the type of candidate object are input variables and points are output variables may be provided.

・上記実施形態は、対象物体ＴＯの種類ごとに、互いに異なるポイントを定義したが、これに限らない。たとえば、対象物体ＴＯの種類に関係なく、車両ＶＣとの距離Ｌｉ、相対速度Ｖｉ、および配置情報に応じてポイントを付与してもよい。また、距離Ｌｉ、相対速度Ｖｉ、および配置情報の３つについても、それらすべてに応じてポイントを定めることは必須ではない。 - In the above embodiment, different points are defined for each type of target object TO, but this is not limited to the above. For example, points may be awarded according to the distance Li, relative speed Vi, and position information from the vehicle VC, regardless of the type of target object TO. Also, it is not necessary to determine points according to all three of the distance Li, relative speed Vi, and position information.

・評価変数として、対象物体ＴＯである尤度を示す変数であるポイントとする代わりに、対象物体ＴＯではない尤度を示す変数としてもよい。その場合、たとえば、相対速度Ｖｉが小さいほど、評価変数の値を小さい値に算出すればよい。これにより、対象物体ＴＯに設定される側に大きい値を算出することになる。そしてその場合、たとえば、図３のＳ５２の処理において、評価変数の値が閾値以下である場合に、候補物体ＣＯｉを対象物体ＴＯに設定してもよい。 -Instead of using a point as the evaluation variable, which is a variable indicating the likelihood that the object is the target object TO, the evaluation variable may be a variable indicating the likelihood that the object is not the target object TO. In that case, for example, the smaller the relative speed Vi, the smaller the evaluation variable value calculated. This results in a larger value being calculated on the side that is set as the target object TO. In that case, for example, in the process of S52 in FIG. 3, if the value of the evaluation variable is equal to or less than a threshold value, the candidate object COi may be set as the target object TO.

「対象物体設定処理について」
・対象物体ＴＯに設定する処理としては、ポイント等の評価変数の値に基づく処理に限らない。たとえば、対象物体ＴＯとされる物体の種類を定義しておき、定義された物体と車両ＶＣとの距離Ｌｉおよび相対速度Ｖｉが所定範囲内である場合に、その物体を対象物体ＴＯに設定してもよい。 "About target object setting process"
The process of setting the target object TO is not limited to the process based on the value of an evaluation variable such as points. For example, the type of object to be set as the target object TO may be defined, and if the distance Li and the relative speed Vi between the defined object and the vehicle VC are within a predetermined range, the object may be set as the target object TO.

・上記実施形態では、ポイントＰｉが基準値Ｐｔｈ以上となる候補物体ＣＯｉを全て対象物体としたが、これに限らない。換言すれば、車両ＶＣの周囲の物体のうち、基準を満たすものを全て対象物体ＴＯとしたが、これに限らない。たとえば対象物体ＴＯの数に上限値を設けてもよい。その場合、たとえばポイントＰｉが基準値Ｐｔｈ以上となる候補物体ＣＯｉの数が上限値を上回る場合、ポイントＰｉの大きいものを優先的に対象物体ＴＯとすればよい。 - In the above embodiment, all candidate objects COi whose points Pi are equal to or greater than the reference value Pth are set as target objects, but this is not limited to this. In other words, all objects around the vehicle VC that satisfy the criteria are set as target objects TO, but this is not limited to this. For example, an upper limit may be set for the number of target objects TO. In that case, for example, if the number of candidate objects COi whose points Pi are equal to or greater than the reference value Pth exceeds the upper limit, those with larger points Pi may be given priority as target objects TO.

「対象物体ＴＯについて」
・対象物体ＴＯとしては、車両ＶＣの運転の仕方次第では路面よりも上の領域において車両ＶＣが接触する可能性がある物体に限らない。たとえば横断歩道等を含めてもよい。 "Regarding the target object TO"
The target object TO is not limited to an object that the vehicle VC may come into contact with in an area above the road surface depending on how the vehicle VC is driven. For example, the target object TO may include a crosswalk, etc.

「視野算出処理について」
・上記写像データＤｍを、たとえば、車内画像データＤｐｉを入力とし、頭部姿勢および眼球中心位置を出力する写像を規定するデータとしてもよい。またたとえば、上記写像データＤｍを、車内画像データＤｐｉを入力とし虹彩中心位置および眼球中心位置を出力する写像を規定するデータとしてもよい。 "About the field of view calculation process"
The mapping data Dm may be data that specifies a mapping that receives the in-vehicle image data Dpi and outputs the head posture and eyeball center position. Also, the mapping data Dm may be data that specifies a mapping that receives the in-vehicle image data Dpi and outputs the iris center position and the eyeball center position.

・上記実施形態では、眼球中心から虹彩中心へと進む方向を視線方向とするモデルを用いて視線を推定したが、モデルベース手法において採用するモデルとしては、これに限らない。たとえば、まぶたの形状を含む眼球モデルを用いてもよい。 - In the above embodiment, the gaze is estimated using a model in which the gaze direction is the direction from the center of the eyeball to the center of the iris, but the model used in the model-based method is not limited to this. For example, an eyeball model that includes the shape of the eyelids may be used.

・視線方向の推定手法としては、モデルベース手法に限らない。たとえば、画像データを入力として注視点を出力する学習済みモデルを用いたアピアランスベース手法であってもよい。ここで、学習済みモデルとしては、たとえば、線形回帰モデルや、ガウス過程回帰モデル、ＣＮＮ等を用いればよい。 - The gaze direction estimation method is not limited to a model-based method. For example, it may be an appearance-based method using a trained model that inputs image data and outputs a gaze point. Here, the trained model may be, for example, a linear regression model, a Gaussian process regression model, a CNN, or the like.

・下記「車内カメラについて」の欄に記載したように、赤外線カメラを用いる場合、近赤外線の反射光から角膜上の反射点を特定し、これと瞳孔中心位置とに基づき視線推定を行えばよい。 - As described in the "In-vehicle camera" section below, when using an infrared camera, the reflection point on the cornea is identified from the reflected near-infrared light, and the gaze can be estimated based on this and the center position of the pupil.

・上記実施形態では、視線方向から所定角度範囲の領域を視野ＦＶと見なしたが、これに限らない。たとえば、視線方向と水平方向とのなす角度が第１角度以下であって且つ視線方向と垂直方向とのなす角度が第２角度以下である領域を視野ＦＶとし、第１角度を第２角度よりも大きくしてもよい。またたとえば、所定角度範囲を、予め定められた固定値とする代わりに、車速に応じて可変設定してもよい。 - In the above embodiment, the field of view FV is an area within a predetermined angle range from the line of sight, but this is not limited to this. For example, the field of view FV may be an area in which the angle between the line of sight and the horizontal direction is less than or equal to a first angle and the angle between the line of sight and the vertical direction is less than or equal to a second angle, and the first angle may be greater than the second angle. Also, for example, the predetermined angle range may be variably set according to the vehicle speed, instead of being a predetermined fixed value.

「わき見運転判定処理について」
・図７のＳ７４の処理では、走行領域の少なくとも一部が視野ＦＶに入っているか否かを判定したが、これに限らない。たとえば走行領域のうち視野ＦＶとの重複領域の割合が所定割合以上であるか否かを判定してもよい。 "Distracted driving detection process"
7, it is determined whether or not at least a portion of the driving area is within the field of view FV, but this is not limiting. For example, it may be determined whether or not the proportion of the driving area that overlaps with the field of view FV is equal to or greater than a predetermined proportion.

・図７の処理において、Ｓ７６～Ｓ８０，Ｓ８４の処理を削除してもよい。
「センサについて」
・車両ＶＣの周囲の物体を感知するセンサとしては、光センサ１２および車外カメラ２２に限らない。たとえば、ミリ波レーダを照射しその反射波を受信するレーダ装置であってもよい。またたとえば、音波信号を照射し、その反射波を受信するソナーであってもよい。 In the process of FIG. 7, the processes of S76 to S80 and S84 may be deleted.
"About sensors"
The sensor for detecting objects around the vehicle VC is not limited to the optical sensor 12 and the exterior camera 22. For example, it may be a radar device that emits millimeter wave radar and receives the reflected wave. It may also be a sonar that emits sound wave signals and receives the reflected wave.

「逸脱対処処理について」
・逸脱対処処理としては、白線との距離が所定値以下となる場合に、操舵介入する処理に限らない。たとえば、運転者に注意喚起する処理であってもよい。ここで注意喚起するためのハードウェアは、スピーカであってもよく、またたとえばステアリングホイールを振動させる装置であってもよい。 "About deviation handling processing"
The deviation countermeasure process is not limited to a process of performing steering intervention when the distance from the white line becomes equal to or smaller than a predetermined value. For example, the deviation countermeasure process may be a process of alerting the driver. The hardware for alerting the driver may be a speaker or a device that vibrates the steering wheel.

・上記実施形態では、運転者がブレーキ操作をしている場合には、漫然運転判定がなされているか否かにかかわらず、逸脱意図有と判定したが、これに限らない。すなわちたとえば、逸脱対処処理を実行する車速ＳＰＤの領域がある程度高速領域である場合等にあっては、ブレーキ操作に応じて逸脱意図の有無を判定しなくてもよい。 - In the above embodiment, when the driver applies the brakes, it is determined that there is a departure intent regardless of whether or not a distracted driving determination has been made, but this is not limited to the above. That is, for example, when the vehicle speed SPD range in which the departure response processing is executed is a relatively high speed range, it is not necessary to determine whether there is a departure intent based on the brake operation.

「運転支援処理について」
・運転支援処理としては、車両ＶＣが車線から逸脱しないように支援する処理に限らない。たとえば、車両ＶＣが車線の中央を走行する支援をすべく、転舵角を微修正する制御をする処理であってもよい。その場合であっても、図８の処理によって逸脱意図なしと判定されていることを、支援処理の実行条件とすることは有効である。 "About driving assistance processing"
The driving support process is not limited to a process that supports the vehicle VC not to deviate from the lane. For example, the driving support process may be a process that controls the vehicle VC to slightly correct the steering angle in order to support the vehicle VC to drive in the center of the lane. Even in this case, it is effective to set the execution condition of the support process as being that the vehicle VC has no intention to depart by the process in FIG. 8.

またたとえば、車両ＶＣが物体と接触しないように支援する処理であってもよい。その場合、車両ＶＣが物体に接触する可能性がある場合に対処すべく操作対象とされるハードウェアは、ブレーキアクチュエータであってもよい。すなわち、接触を回避すべくブレーキを操作してもよい。この場合、漫然運転である旨判定されている場合に判定されていない場合よりも、運転者のブレーキ操作とは独立に制動力を付与するタイミングを早めることが望ましい。またたとえば、ハードウェアは、スピーカであってもよい。すなわち、接触の可能性があると判定される場合に、警報を発してもよい。その場合、漫然運転である旨判定されている場合に判定されていない場合よりも、警報を発するタイミングを早めることが望ましい。 For example, the process may be a process of assisting the vehicle VC in preventing contact with an object. In that case, the hardware to be operated to deal with the possibility of the vehicle VC contacting an object may be a brake actuator. That is, the brakes may be operated to avoid contact. In this case, it is desirable to apply a braking force independently of the driver's brake operation earlier when it is determined that the vehicle is driving aimlessly than when it is not. For example, the hardware may be a speaker. That is, an alarm may be issued when it is determined that there is a possibility of contact. In that case, it is desirable to issue an alarm earlier when it is determined that the vehicle is driving aimlessly than when it is not determined.

「車内カメラについて」
・車内カメラとしては、可視光カメラに限らず、たとえば赤外線カメラであってもよい。その場合、赤外線ＬＥＤ等によって運転者の角膜に近赤外線を照射し、その反射光を受光すればよい。 About the in-car camera
The in-vehicle camera is not limited to a visible light camera, and may be, for example, an infrared camera. In this case, an infrared LED or the like may be used to irradiate near-infrared light onto the driver's cornea, and the reflected light may be received.

「運転状態判定プログラムについて」
・運転状態判定プログラムＰｊｓに、図７の処理を実行する指令を含まなくてもよい。
・運転状態判定プログラムＰｊｓに、図８の処理を実行する指令を含めてもよい。 "About the driving condition judgment program"
The driving state determination program Pjs does not need to include a command to execute the process shown in FIG.
The driving state determination program Pjs may include a command for executing the process shown in FIG.

「運転支援装置について」
・運転支援装置としては、運転状態を判定する処理である、図２～７の処理と、運転支援のために所定のハードウェア手段を操作する処理である、図９の処理との双方を実行する装置に限らない。たとえば、運転状態を判定する処理については、別の制御装置によって実行し、図８の処理による判定結果が入力されて図９の処理を実行する装置であってもよい。 "About driving assistance devices"
The driving assistance device is not limited to a device that executes both the processes in Figures 2 to 7 that are processes for determining the driving state and the process in Figure 9 that is a process for operating a predetermined hardware means for driving assistance. For example, the process for determining the driving state may be executed by a separate control device, and the device may execute the process in Figure 9 by receiving the determination result from the process in Figure 8.

・運転支援装置としては、ＡＤＡＳＥＣＵ３０に限らない。たとえば転舵ＥＣＵ５０等の運転支援処理による操作対象となるアクチュエータを操作するＥＣＵと、ＡＤＡＳＥＣＵ３０とが一体的に形成されたものであってもよい。またたとえば、ＬＩＤＡＲＥＣＵ１０等の車両ＶＣの外部の物体を検知するためのＥＣＵと、ＡＤＡＳＥＣＵ３０とが一体的に形成されたものであってもよい。 The driving assistance device is not limited to the ADASECU 30. For example, the ADASECU 30 may be integrally formed with an ECU that operates an actuator that is the target of operation by the driving assistance process, such as the steering ECU 50. Also, for example, the ADASECU 30 may be integrally formed with an ECU for detecting objects outside the vehicle VC, such as the LIDARECU 10.

・運転支援装置としては、ＣＰＵとプログラムを格納するプログラム格納装置とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、運転支援装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。 The driving assistance device is not limited to a device that has a CPU and a program storage device that stores a program and executes software processing. For example, it may have a dedicated hardware circuit, such as an ASIC, that performs hardware processing of at least a portion of what was software processed in the above embodiment. That is, the driving assistance device may have any of the following configurations (a) to (c). (a) It has a processing device that executes all of the above processing according to a program, and a program storage device. (b) It has a processing device and program storage device that execute part of the above processing according to a program, and a dedicated hardware circuit that executes the remaining processing. (c) It has a dedicated hardware circuit that executes all of the above processing. Here, there may be multiple software execution devices equipped with a processing device and program storage device, and multiple dedicated hardware circuits.

「運転状態判定装置について」
・運転状態判定装置としては、ＣＰＵとプログラムを格納するプログラム格納装置とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、運転状態判定装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。 "About the driving condition determination device"
The driving state determination device is not limited to a device that includes a CPU and a program storage device that stores a program and executes software processing. For example, a dedicated hardware circuit such as an ASIC that performs hardware processing of at least a part of what is software-processed in the above embodiment may be included. That is, the driving state determination device may have any of the following configurations (a) to (c). (a) A processing device that executes all of the above processing according to a program, and a program storage device. (b) A processing device and a program storage device that execute part of the above processing according to a program, and a dedicated hardware circuit that executes the remaining processing. (c) A dedicated hardware circuit that executes all of the above processing. Here, there may be multiple software execution devices including a processing device and a program storage device, and multiple dedicated hardware circuits.

「コンピュータについて」
・運転状態の判定を行うコンピュータとしては、図１に例示したＣＰＵ３２に限らない。たとえば、図２に示した処理のうち、Ｓ１４の処理についてはユーザの携帯端末が実行することとし、残りの処理をＣＰＵ３２が実行するようにしてもよい。 "About Computers"
The computer that determines the driving state is not limited to the CPU 32 illustrated in Fig. 1. For example, among the processes illustrated in Fig. 2, the process of S14 may be executed by the user's mobile terminal, and the remaining processes may be executed by the CPU 32.

１０…ＬＩＤＡＲＥＣＵ
２０…画像ＥＣＵ
３０…ＡＤＡＳＥＣＵ
４０…車内ネットワーク 10...LIDARCU
20...Image ECU
30...ADASECU
40…In-vehicle network

Claims

an object information acquisition process (S40) for acquiring information on objects around the vehicle in accordance with outputs of sensors (12, 22) that detect objects around the vehicle;
a target object setting process (S50 to S54) for setting a target object to which the driver of the vehicle should pay attention based on the object information;
An image acquisition process (S60) for acquiring image data of the driver;
The image data is input, and if the state where the target object is not confirmed continues for more than a distracted driving determination value, a determination process (S14, S16 to S22, S30, S32) is executed to determine that the vehicle is in a distracted driving state;
The absent-minded driving state is a driving state in which safety confirmation is insufficient when driving the vehicle,
The determination process includes a visual field calculation process (S14), an object confirmation determination process (S16 to S22), and a distracted driving determination process (S30, S32).
The visual field calculation process is a process of calculating the visual field of the driver using the image data as an input,
the object confirmation determination process is a process of determining that the object has been confirmed when a duration during which the target object is present in the field of view is equal to or greater than a confirmation determination value;
The driving state determination device, wherein the distracted driving determination process is a process for determining that the vehicle is in a distracted driving state when a state in which it is determined that no confirmation has been made by the object confirmation determination process continues for a period of time equal to or longer than the distracted driving determination value.

The driving state determination device according to claim 1, wherein the target object is an object that the vehicle may come into contact with in an area above the road surface depending on how the vehicle is driven.

The target object setting process includes an evaluation variable calculation process (S50) and a target object determination process (S52, S54),
the evaluation variable calculation process is a process of calculating, for each object about which information has been acquired by the object information acquisition process, a value of an evaluation variable that is a variable used in evaluating whether or not the object is to be the target object;
the target object determination process is a process of determining whether or not to set the object as the target object according to a value of the evaluation variable of the acquired object;
3. The driving state determination device according to claim 1, wherein the value of the evaluation variable is calculated to be a different value depending on the type of the acquired object by the evaluation variable calculation process.

The target object setting process includes an evaluation variable calculation process (S50) and a target object determination process (S52, S54),
the evaluation variable calculation process is a process of calculating, for each object about which information has been acquired by the object information acquisition process, a value of an evaluation variable that is a variable used in evaluating whether or not the object is to be the target object;
the target object determination process is a process of determining whether or not to set the object as the target object according to a value of the evaluation variable of the acquired object;
A driving state determination device as described in any one of claims 1 to 3, wherein the value of the evaluation variable is calculated by the evaluation variable calculation process to be a larger value set for the target object when the relative velocity of the acquired object relative to the vehicle is negative than when the relative velocity is small or large.

The target object setting process includes an evaluation variable calculation process (S50) and a target object determination process (S52, S54),
the evaluation variable calculation process is a process of calculating, for each object about which information has been acquired by the object information acquisition process, a value of an evaluation variable that is a variable used in evaluating whether or not the object is to be the target object;
the target object determination process is a process of determining whether or not to set the object as the target object according to a value of the evaluation variable of the acquired object;
A driving state determination device as described in claim 3 or 4, wherein the value of the evaluation variable is calculated by the evaluation variable calculation process to be a larger value set on the side of the target object when the distance between the acquired object and the vehicle is small rather than a larger value.

The processes in the driving state determination device according to any one of claims 1 to 5,
A driving assistance device that executes driving assistance processing for the vehicle using the determination result of the determination processing as an input.

The driving assistance device according to claim 6, wherein the driving assistance process includes a process (S94, S96) for relaxing the conditions for operating a specific hardware (52) for driving assistance when it is determined that the vehicle is in the absentminded driving state, compared to when the vehicle is not in the absentminded driving state.

The driving assistance process includes a departure response process (S102 to S106) for operating a predetermined hardware means in order to respond to the departure of the vehicle from a driving lane,
8. The driving support device according to claim 6, wherein the departure countermeasure process is executed when it is determined that the vehicle is in the absentminded driving state when there is a possibility that the vehicle will depart from the driving lane.

The driving support device according to claim 8, wherein when the driver is braking, the departure response process is executed when there is a possibility that the vehicle may deviate from the driving lane, regardless of whether or not it is determined that the driver is in the absentminded driving state.

An area calculation process (S72) for calculating a driving area of the vehicle based on information on the traveling direction of the vehicle;
Executing an inattentive driving determination process (S74 to S89) in which the image data is input and, if the duration of the state in which the driving area is not confirmed is equal to or longer than a predetermined time, it is determined that the driver is inattentive driving;
9. The driving support device according to claim 8, wherein the departure handling process is also executed when it is determined that the inattentive driving is occurring when there is a risk that the vehicle will depart from the driving lane.

The inattentiveness determination process includes a visual field calculation process (S14) and an area confirmation determination process (S74 to S80),
The visual field calculation process is a process of calculating the visual field of the driver using the image data as an input,
The driving support device according to claim 10 , wherein the area confirmation determination process determines that the driving area has been confirmed when a duration during which the driving area is included in the field of view is equal to or longer than an area gaze determination value.

A driving state determination method having a step of executing each of the processes in the driving state determination device according to any one of claims 1 to 5.

A driving state determination program that causes a computer to execute each of the processes in the driving state determination device according to any one of claims 1 to 5.