[go: up one dir, main page]

WO2024261884A1 - 撮像制御装置及び撮像制御方法 - Google Patents

撮像制御装置及び撮像制御方法 Download PDF

Info

Publication number
WO2024261884A1
WO2024261884A1 PCT/JP2023/022841 JP2023022841W WO2024261884A1 WO 2024261884 A1 WO2024261884 A1 WO 2024261884A1 JP 2023022841 W JP2023022841 W JP 2023022841W WO 2024261884 A1 WO2024261884 A1 WO 2024261884A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
irradiation
brightness
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/022841
Other languages
English (en)
French (fr)
Inventor
英樹 杉谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Mobility Corp
Original Assignee
Mitsubishi Electric Mobility Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Mobility Corp filed Critical Mitsubishi Electric Mobility Corp
Priority to JP2025527281A priority Critical patent/JP7793111B2/ja
Priority to PCT/JP2023/022841 priority patent/WO2024261884A1/ja
Publication of WO2024261884A1 publication Critical patent/WO2024261884A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • This disclosure relates to an imaging control device and an imaging control method.
  • a vehicle has been disclosed that is equipped with a camera that takes pictures of the interior of the vehicle, and obtains information about multiple occupants by taking pictures of the multiple occupants in the vehicle with a single camera (see Patent Document 1).
  • the brightness may differ depending on the position of the captured object.
  • the vehicle described in Patent Document 1 has an issue in that when the brightness differs depending on the position of the occupant, it may not be possible to obtain information with sufficient accuracy about an occupant who is in a dark position.
  • the present disclosure aims to solve the above problems by providing an imaging control device and imaging control method that can improve the accuracy of information acquisition.
  • the imaging control device is characterized by including an imaging unit that images a first position and a second position different from the first position within the same field of view, a first irradiation unit that irradiates light toward the first position, a second irradiation unit that irradiates light toward the second position, a brightness information acquisition unit that acquires information regarding the brightness of the first position and information regarding the brightness of the second position, and an irradiation time control unit that controls the irradiation time of light by the first irradiation unit and the second irradiation unit during the exposure time during which imaging is performed by the imaging unit, based on the information acquired by the brightness information acquisition unit, so that the time during which light is irradiated toward one of the first and second positions, which is less bright, is longer than the time during which light is irradiated toward the other position.
  • the duration of light directed at the position to be imaged is controlled based on information regarding the brightness of the position to be imaged, making it possible to reduce the difference in brightness between multiple positions and improving the accuracy of information acquisition.
  • FIG. 1 is a schematic plan view showing an occupant monitoring system according to a first embodiment
  • 1 is a block diagram showing a configuration of an occupant monitoring system according to a first embodiment
  • 1 is a block diagram showing an example of a hardware configuration of an imaging control device according to a first embodiment
  • 1 is a block diagram showing an example of a hardware configuration of an imaging control device according to a first embodiment
  • 4 is a flowchart showing a process performed by the imaging control device according to the first embodiment.
  • 4 is a timing chart showing an exposure time of an imaging section and an irradiation time of an irradiation section controlled by the imaging control device according to the first embodiment.
  • FIG. 11 is a schematic plan view showing an occupant monitoring system according to a second embodiment.
  • 11 is a block diagram showing a configuration of an occupant monitoring system according to a second embodiment.
  • 10 is a flowchart showing a process performed by an imaging control device according to a second embodiment.
  • 13 is a timing chart showing an exposure time of an imaging section and an irradiation time of an irradiation section controlled by an imaging control device according to a second embodiment.
  • 13 is a timing chart showing an exposure time of an imaging section and an irradiation time of an irradiation section controlled by an imaging control device according to embodiment 3.
  • Fig. 1 is a schematic plan view of an occupant monitoring system 100 according to the first embodiment
  • Fig. 2 is a block diagram showing the configuration of the occupant monitoring system 100 according to the first embodiment.
  • the occupant monitoring system 100 is a system for detecting an occupant of the vehicle V1 by imaging an interior S1 of the vehicle V1.
  • an image analysis unit (not shown)
  • the occupant monitoring system 100 includes an imaging unit 10, an irradiation device 20, and an imaging control device 50.
  • the imaging control device 50 is electrically connected to the imaging unit 10 and the irradiation device 20 so as to be able to transmit and receive information, and controls the imaging unit 10 and the irradiation device 20 based on information from the imaging unit 10.
  • the imaging control device 50 according to the first embodiment may be provided in an external device to which some of the functions described below are connected via a network.
  • the front direction of a driver seated in the driver's seat P1 of the vehicle V1 in a driving position is defined as the forward direction, and the front-rear, up-down, left-right directions are defined based on this.
  • the irradiation device 20 emits light to irradiate light toward the interior S1 of the vehicle V1.
  • the irradiation device 20 is configured with multiple LEDs, and receives a current supply to irradiate infrared light toward the interior S1 of the vehicle V1.
  • the irradiation device 20 has multiple irradiation sections that are arranged at different positions and irradiate light.
  • the irradiation device 20 has a first irradiation section 21, a second irradiation section 22, a third irradiation section 23, and a fourth irradiation section, and the first irradiation section 21 to the fourth irradiation section 24 irradiate light toward each part of the interior S1 of the vehicle V1.
  • the first irradiation section 21 irradiates light toward the driver's seat P1 of the vehicle V1, which is the first position, toward an irradiation range 21a.
  • the second irradiation section 22 irradiates light toward one of the rear seats P2 of the vehicle V1, which is the second position, toward an irradiation range 22a.
  • the third irradiation unit 23 irradiates light onto an irradiation range 23a toward the passenger seat P3 of the vehicle V1.
  • the fourth irradiation unit 24 irradiates light onto an irradiation range 24a toward the other rear seat P4 of the vehicle V1.
  • the first irradiation unit may be arranged to irradiate light onto a seat other than the driver's seat, and the second irradiation unit may be configured to irradiate light onto a seat other than one of the rear seats.
  • the imaging unit 10 captures an image within a specific field of view 10a within the vehicle and outputs imaging information obtained by imaging.
  • the imaging unit 10 captures an image within the field of view 10a, which is a specific shooting range within the vehicle, and outputs a signal corresponding to the imaging information obtained by imaging.
  • the imaging unit 10 captures images of the driver's seat P1, one rear seat P2, the passenger seat P3, and the other rear seat P4 of the vehicle V1 within the same field of view.
  • the imaging unit 10 is composed of an infrared camera having an image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging control device 50 includes an exposure time control unit 51, an occupant detection unit 52, and an irradiation time control unit 53.
  • the exposure time control unit 51 controls the exposure time during which imaging is performed by the imaging unit 10.
  • the exposure time calculation unit 511 calculates the length of the exposure time during which imaging is performed by the imaging unit 10 based on information from the imaging unit 10 and information from the irradiation time control unit 53.
  • the exposure time control unit 51 includes an exposure time calculation unit 511 and an exposure time setting unit 512.
  • the exposure time setting unit 512 sets the exposure time calculated by the exposure time calculation unit 511.
  • the exposure time setting unit 512 outputs a control signal to the imaging unit 10 according to the exposure time set by the exposure time setting unit 512 and the preset exposure frequency.
  • the exposure time setting unit 512 outputs a control signal to the imaging unit 10 according to the exposure time set by the exposure time setting unit 512 and the preset exposure start timing.
  • the occupant detection unit 52 detects occupants in the interior S1 of the vehicle V1 as specific targets. In other words, the occupant detection unit 52 detects occupants located within the field of view of the imaging unit 10. For example, the occupant detection unit 52 detects occupants located within the field of view of the imaging unit 10 based on the imaging information obtained by imaging with the imaging unit 10, and outputs a signal according to the detection result. Specifically, the occupant detection unit 52 detects the presence or absence of an occupant for each seat of the vehicle V1 based on the imaging information obtained by imaging with the imaging unit 10. The occupant detection unit 52 may be configured to detect the presence or absence of an occupant using a sensor that detects whether or not a seat belt is fastened for each seat (not shown), a weight sensor that detects the weight on each seat, or other sensors (not shown).
  • the irradiation time control unit 53 controls the irradiation time of light by the irradiation device 20 based on the imaging information obtained by the imaging unit 10 and the occupant detection result by the occupant detection unit 52.
  • the irradiation time control unit 53 has a brightness target value setting unit 531, a brightness information acquisition unit 532, a brightness determination unit 533, an irradiation time calculation unit 534, and an irradiation time setting unit 535.
  • the brightness target value setting unit 531 which serves as a target value acquisition unit, acquires target values for brightness acquired by the imaging unit 10 from each seat and sets the acquired target value. In other words, it acquires and sets the target value of brightness for each seat in the imaging information, and sets the acquired target value.
  • the brightness target value setting unit 531 sets a target value of brightness for each seat in the imaging information that allows the imaging unit 10 to acquire a sufficient amount of light from each seat when the imaging unit 10 images the interior S1 of the vehicle V1. In other words, it sets a target value for the imaging information obtained by imaging the imaging unit 10 to be sufficiently bright to detect an occupant.
  • the brightness target value set by the target value setting unit 531 is the digital signal value (DN; Digital Number) of the image sensor.
  • the digital signal value refers to a value obtained by converting the amount of photons received by the photodiode of the image sensor into a voltage and AD-converting the converted voltage (no physical quantity). Specifically, if the digital signal value is 8 bits, the target brightness value is 0x80, and the digital signal value DN corresponding to the actual brightness of the seat (passenger) is 0x40, the actual brightness can be said to be half the target value. In such a case, the irradiation time control unit 53 can double the light emission time of the light source to double the radiant flux (W), thereby adjusting the digital signal value DN corresponding to the actual brightness of the seat to reach the target value.
  • the brightness target value setting unit 531 may be configured to acquire the target value from another component of the imaging control device 50 (not shown), or may be configured to acquire the target value from a device external to the imaging control device 50 (not shown), or may be configured to acquire the target value based on a signal from an input device (not shown) operated by an operator, or may be configured to acquire the target value by the brightness target value setting unit 531 setting the target value based on various conditions.
  • the brightness target value setting unit 531 may be configured to set the target value as one value, or may be configured to set a lower target value and an upper target value that indicate a target range, or may be configured to set a different target value for each seat.
  • the brightness information acquisition unit 532 acquires information related to the brightness in the interior S1 of the vehicle V1. For example, the brightness information acquisition unit 532 acquires information related to the brightness of each seat in the vehicle V1. Specifically, the brightness information acquisition unit 532 acquires information related to the amount of light acquired from each of the driver's seat P1, one rear seat P2, the passenger seat P3, and the other rear seat P4 of the vehicle V1 based on the imaging information acquired by imaging with the imaging unit 10. For example, the brightness information acquisition unit 532 acquires information indicating the amount of light acquired from each seat in the vehicle V1 based on image analysis of the imaging information acquired by imaging with the imaging unit 10.
  • the brightness determination unit 533 determines whether the brightness in the interior S1 of the vehicle V1 reaches the target value set by the brightness target value setting unit 531 based on the information related to the brightness of the interior S1 of the vehicle V1 acquired by the brightness information acquisition unit 532. For example, the brightness determination unit 533 determines whether the amount of light acquired from each seat reaches the target value by comparing the brightness of each seat of the vehicle V1 in the imaging information with the target value related to brightness set by the brightness target value setting unit 531. In other words, the brightness determination unit 533 determines whether the imaging information obtained by imaging with the imaging unit 10 has sufficient brightness corresponding to the target value.
  • the irradiation time calculation unit 534 calculates the irradiation time of light by the irradiation device 20 based on the information on the brightness of the interior S1 of the vehicle V1 acquired by the brightness information acquisition unit 532. Specifically, the irradiation time calculation unit 534 calculates the irradiation time of light by each of the first irradiation unit 21 to the fourth irradiation unit 24 so that the difference in brightness between each seat is reduced based on the information on the brightness of the interior S1 of the vehicle V1 acquired by the brightness information acquisition unit 532.
  • the irradiation time calculation unit 534 calculates the length of continuous irradiation time of each of the first irradiation unit 21 to the fourth irradiation unit 24 so that the difference in brightness between each seat is reduced based on the information on the brightness of the interior S1 of the vehicle V1 acquired by the brightness information acquisition unit 532.
  • the irradiation time setting unit 535 sets the time for irradiating light by the irradiation device 20 calculated by the irradiation time calculation unit 534. For example, the irradiation time setting unit 535 outputs a current for making the irradiation device 20 emit light according to the set irradiation time to each of the first irradiation unit 21 to the fourth irradiation unit 24. Also, for example, the irradiation time setting unit 535 outputs a control signal for making the irradiation device 20 emit light based on the set irradiation time to each of the first irradiation unit 21 to the fourth irradiation unit 24.
  • Fig. 3 is a block diagram showing an example of the hardware configuration of the imaging control device 50 according to the first embodiment
  • Fig. 4 is a block diagram showing an example of a hardware configuration of the imaging control device 50 according to the first embodiment, which is different from that shown in Fig. 3.
  • the imaging control device 50 has a processor 50a, a memory 50b, and an I/O port 50c, and is configured so that the processor 50a reads and executes a program stored in the memory 50b.
  • the memory 50b may be, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM, a flash memory, an EPROM, or an EEPROM.
  • the memory 50b may also be a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like.
  • the memory 50b may also be an HDD or SSD.
  • the imaging control device 50 has a processing circuit 50d, which is dedicated hardware, and an I/O port 50c.
  • the processing circuit 50d is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a system LSI (Large-Scale Integration), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these.
  • Each function of the imaging control device 50 is realized by the processor 50a or the processing circuit 50d, which is dedicated hardware, executing a program that is software, firmware, or a combination of software and firmware.
  • FIG. 5 is a flowchart showing the processing performed by the imaging control device 50 according to embodiment 1.
  • the imaging control device 50 sets a target value X for the brightness of each seat of the vehicle V1 (step ST1).
  • the brightness target value setting unit 531 sets a target value for the brightness of each seat for the imaging information obtained by imaging by the imaging unit 10.
  • the imaging control device 50 After performing the process of step ST1, the imaging control device 50 causes the imaging unit 10 to capture an image of the interior of the vehicle V1 (step ST2).
  • the exposure time control unit 51 causes the imaging unit 10 to capture an image of the interior of the vehicle V1 based on the length of the exposure time and the preset imaging frequency, which are preset by the exposure time setting unit 512.
  • the imaging control device 50 causes the imaging unit 10 to capture an image of the interior of the vehicle V1, thereby acquiring imaging information of the image of the interior of the vehicle V1.
  • the irradiation device 20 irradiates light from each of the first irradiation unit 21 to the fourth irradiation unit 24 during the exposure time based on the preset irradiation time.
  • the imaging control device 50 After performing the processing of step ST2, the imaging control device 50 acquires information regarding the brightness of each seat in the vehicle V1 (step ST3).
  • the brightness information acquisition unit 532 acquires information regarding the brightness of each seat based on the imaging information acquired in the processing of step ST2.
  • the imaging control device 50 After performing the process of step ST3, the imaging control device 50 detects the occupants sitting in each seat of the vehicle V1 (step ST4). For example, in this process, the occupant detection unit 52 detects the presence or absence of an occupant sitting in each seat based on the imaging information acquired in the process of step ST2.
  • the imaging control device 50 judges whether the brightness of each seat of the vehicle V1 is equal to or greater than the target value X set by the brightness target value setting unit 531 (step ST5). In other words, the imaging control device 50 judges whether the brightness of each seat of the vehicle V1 has reached the target value X set by the brightness target value setting unit 531. For example, the imaging control device 50 judges whether the brightness of all seats of the vehicle V1 has reached the target value X set by the brightness target value setting unit 531 by the brightness determination unit 533.
  • the brightness determination unit 533 may be configured to exclude seats that are already known to have no occupants from the targets for which the determination of whether the brightness has reached the target value X is made.
  • step ST5 if the brightness of all seats is equal to or greater than the target value X (YES in step ST5), the imaging control device 50 determines whether or not an occupant has been detected in each seat of the vehicle V1 in the process of step ST4 (step ST6). For example, the imaging control device 50 determines whether or not an occupant has been detected in each seat of the vehicle V1. In this process, the occupant detection unit 52 determines whether or not an occupant has been detected in each seat of the vehicle V1 based on the imaging information obtained by imaging by the imaging unit 10. Note that in this process, the occupant detection unit 52 may be configured to exclude seats that are already known to have no occupant from the targets for determining whether or not an occupant is present.
  • the imaging control device 50 calculates the exposure time for imaging the interior of the vehicle V1 by the imaging unit 10 (step ST7). In this process, the imaging control device 50 calculates an exposure time suitable for imaging by the imaging unit 10 based on the fact that the brightness of any of the seats does not reach the target value X, or that there is a seat in which an occupant could not be detected even though the brightness of all the seats reaches the target value X.
  • the exposure time calculation unit 511 calculates, for the seat with the lowest brightness among the seats, the exposure time at which the brightness of the seat reaches the target value X when the exposure time is matched with the irradiation time of light by any of the first irradiation unit 21 to the fourth irradiation unit 24 that irradiates light toward the seat.
  • the imaging control device 50 calculates the light irradiation time of each of the first irradiation unit 21 to the fourth irradiation unit 24 for each seat other than the seat with the lowest brightness, such that the brightness of each seat becomes the target value X (step ST8).
  • the irradiation time calculation unit 534 calculates the light irradiation time of the first irradiation unit 21 to the fourth irradiation unit 24 so that the difference in brightness between each seat, including the seat with the lowest brightness, becomes small, based on the target value X for brightness.
  • the imaging control device 50 determines whether or not there was a seat whose brightness reached the target value X in the processing of step ST3 (step ST9).
  • the brightness determination unit 533 determines whether or not there was a seat from which information indicating that the brightness was sufficient was obtained in the processing of step ST3.
  • step ST9 If, in the process of step ST9, there is a seat whose brightness has reached the target value X (YES in step ST9), the imaging control device 50 judges whether or not an occupant has been detected for each seat whose brightness has reached the target value X (step ST10). For example, in this process, the occupant detection unit 52 judges whether or not an occupant has been detected for all seats whose brightness has reached the target value X. In this process, the occupant detection unit 52 judges whether or not there was a seat in which an occupant was not detected even though the brightness was sufficient. Note that the occupant detection unit 52 may be configured to exclude seats that are already known to have no occupant before performing this process from the targets for which it is determined whether or not an occupant has been detected.
  • step ST10 if an occupant is not detected in all seats whose brightness has reached the target value X (NO in step ST10), in other words, if there is a seat in which no occupant is detected even though the brightness has reached the target value X in the process of step ST10, the imaging control device 50 shortens the light emission time of the irradiation unit that irradiates light to the seat in which no occupant is detected (step ST11). For example, in the process of step ST10, if there is a seat in which no occupant is detected even though the brightness has reached the target value X, the imaging control device 50 sets the light emission time of the irradiation unit that irradiates light to the seat in which no occupant is detected to 0.
  • the imaging control device 50 sets the light irradiation time of the irradiation unit that irradiates light to the seat in which no occupant is detected to 0.
  • the irradiation time setting unit 535 suppresses the current consumption by the irradiation device 20 by stopping the light emission of the irradiation unit corresponding to the seat in which no occupant is detected even though the brightness was sufficient.
  • the imaging control device 50 sets the light emission time of each of the first irradiation unit 21 to the fourth irradiation unit 24 (step ST12).
  • the irradiation time setting unit 535 sets the irradiation time of light by each of the first irradiation unit 21 to the fourth irradiation unit 24 calculated by the irradiation time calculation unit 534 in step ST8.
  • step ST6 If, in the process of step ST6, occupants are detected in all seats (YES in step ST6), and if the process of step ST12 has been performed, the imaging control device 50 ends the process.
  • the imaging control device 50 By performing the processes of steps ST1 to ST12 at a preset frequency, the imaging control device 50 repeatedly captures images of the interior of the vehicle V1, making it possible to obtain information about the occupants inside the vehicle V1.
  • FIG. 6 is a timing chart showing the exposure time of the imaging unit 10 and the irradiation time of each irradiation unit controlled by the imaging control device 50 according to the first embodiment.
  • the length of the exposure time and the exposure start timing are set by the imaging control device 50, and the imaging unit 10 repeatedly images the interior of the vehicle V1 at a period Tf.
  • the irradiation time is also set by the imaging control device 50, and the first irradiation unit 21 to the fourth irradiation unit 24 are controlled to irradiate light during the exposure time.
  • the first irradiation unit 21 to the fourth irradiation unit 24 are controlled by the imaging control device 50 so that part of the exposure time overlaps with the light irradiation time.
  • the first irradiation unit 21 to the fourth irradiation unit 24 are controlled by the imaging control device 50 so that the light irradiation time is included in the exposure time.
  • the first irradiation unit 21 to the fourth irradiation unit 24 are controlled by the imaging control device 50 to start emitting light in accordance with the start timing of the exposure time and to irradiate light according to the irradiation time set for each irradiation unit.
  • the first irradiation unit 21 to the fourth irradiation unit 24 are controlled by the imaging control device 50 to continuously irradiate light from the start of the exposure time until the irradiation time set for each irradiation unit has elapsed.
  • the first irradiation unit 21 to the fourth irradiation unit 24 irradiate light during exposure time T1, and irradiate light again during exposure time T2, which is a period Tf after the start of exposure time T1.
  • the imaging control device 50 controls the light irradiation time of the first irradiation unit 21 to the fourth irradiation unit 24 without adjusting the light intensity of the first irradiation unit 21 to the fourth irradiation unit 24, thereby making it possible to obtain imaging information of sufficient brightness by imaging the imaging unit 10.
  • the irradiation time setting unit 535 only needs to be configured to set the irradiation time during which each irradiation unit irradiates light during the exposure time.
  • the irradiation time may be set so that the duty ratio of irradiation during the exposure time is set to perform PWM (Pulse Width Modulation) control.
  • PWM Pulse Width Modulation
  • the irradiation time setting unit 535 is also configured to control the irradiation time of each irradiation unit so that at least one of the irradiation start time and irradiation end time of each irradiation unit is aligned. This makes it possible to reduce the processing load of the device and to miniaturize the device, compared to when the irradiation start time and irradiation end time of each irradiation unit are individually controlled.
  • the occupant monitoring system 100 includes an imaging unit 10 that images the driver's seat P1 and one of the rear seats different from the driver's seat P1 within the same field of view 10a, a first irradiation unit 21 that irradiates light toward the driver's seat P1, a second irradiation unit 22 that irradiates light toward one of the rear seats P2, a brightness information acquisition unit 532 that acquires information regarding the brightness of the driver's seat P1 and information regarding the brightness of one of the rear seats P2, and an irradiation time control unit 53 that controls the irradiation time of light by the first irradiation unit 21 and the second irradiation unit 22 during the exposure time T1 during which imaging is performed by the imaging unit 10, so as to reduce the difference in brightness between the driver's seat P1 and one of the rear seats P2, based on the information acquired by the brightness information acquisition unit 532.
  • the occupant monitoring system 100 is configured as described above, and controls the duration of light irradiation by the multiple irradiation units toward the imaged position based on information regarding the brightness of the imaged position, making it possible to suppress the difference in brightness between the multiple positions and improving the accuracy of information acquisition.
  • it is possible to suppress the difference in brightness between the multiple positions in the imaged information without controlling the light intensity of the irradiation units it is possible to suppress the difference in brightness between the multiple positions in the imaged information with high accuracy compared to the case of controlling the light intensity, and it is also possible to simplify the processing and miniaturize the device.
  • the imaging control device 50 is configured to detect passengers inside the vehicle V1 based on imaging information obtained by imaging the interior of the vehicle V1, but is not limited to this.
  • the imaging control device only needs to be configured to control the irradiation time of multiple irradiation units that irradiate light toward each position based on the brightness of multiple positions within at least the same field of view, and may not perform any detection based on imaging information, for example, and the target of detection does not have to be a passenger or something other than a person.
  • the range imaged by the imaging unit does not have to be the inside of a vehicle, but may be the inside of a ship, the inside of an aircraft, the inside of a railway car, the inside of a building, or outdoors.
  • Embodiment 2 an occupant monitoring system 200 according to embodiment 2 will be described.
  • the occupant monitoring system 200 according to embodiment 2 differs from the occupant monitoring system 100 according to embodiment 1 in the configuration of the lighting device and part of the configuration of the imaging control device, but the other configuration is similar to the occupant monitoring system 100 according to embodiment 1, and the same names or symbols are used for the configurations similar to those of the occupant monitoring system 100 according to embodiment 1, and the description thereof will be omitted.
  • FIG. 7 is a schematic diagram showing an occupant monitoring system 200 according to embodiment 2 in a plan view
  • FIG. 8 is a block diagram showing the configuration of the occupant monitoring system 200 according to embodiment 2.
  • the occupant monitoring system 200 according to embodiment 2 includes an imaging unit 10, an irradiation device 30, and an imaging control device 60.
  • the irradiation device 30 emits light to irradiate the interior of the vehicle V2.
  • the irradiation device 30 is configured with a plurality of LEDs, and receives a current supply to irradiate the interior of the vehicle V2 with infrared light.
  • the irradiation device 30 has a plurality of irradiation units that are arranged at different positions and irradiate light.
  • the irradiation device 30 has a first irradiation unit 21, a second irradiation unit 32, and a third irradiation unit 23, and the first irradiation unit 21 to the third irradiation unit 23 irradiate light toward each part inside the vehicle V2.
  • the first irradiation unit 21 irradiates light toward an irradiation range 21a toward the driver's seat P1 of the vehicle V2, which is the first position.
  • the second irradiation unit 32 irradiates light toward an irradiation range 32a toward one rear seat P2 and the other rear seat P4 of the vehicle V2, which are the second position.
  • the third irradiation unit 23 irradiates light toward an irradiation range 23a toward the passenger seat P3 of the vehicle V2.
  • the irradiation area 32a of the light from the second irradiating section 32 partially overlaps with the irradiation area 21a of the light from the first irradiating section 21 and the irradiation area 23a of the light from the third irradiating section 23 in the region A1.
  • the direct light from the first irradiating section 21, the direct light from the second irradiating section 32, and the direct light from the third irradiating section 23 overlap each other in an area A1.
  • the imaging control device 60 aims to improve the accuracy of acquiring information from imaging information by reducing the amount of light acquired by the imaging unit 10 from areas where the direct light from multiple irradiation units overlaps with each other.
  • the imaging control device 60 includes an exposure time control unit 51, an occupant detection unit 52, an irradiation time control unit 53, and an imaging information correction unit 64.
  • the imaging information correction unit 64 performs a process of reducing the brightness of an area where direct light from a plurality of preset irradiation units overlaps with each other in the imaging information obtained by imaging with the imaging unit 10.
  • the imaging information correction unit 64 corrects the imaging information obtained by imaging with the imaging unit 10 so as to reduce the brightness of an area where direct light from a plurality of preset irradiation units overlaps with each other.
  • the occupant detection unit 52 detects an occupant based on the imaging information whose brightness has been corrected by the imaging information correction unit 64.
  • the imaging information correction unit 64 corrects the imaging information so as to reduce the brightness of an area where direct light from a plurality of preset irradiation units overlaps with each other according to the time for which the direct light overlaps with each other based on the irradiation time of the light from each irradiation unit.
  • the hardware configuration of the imaging control device 60 according to embodiment 2 is similar to the hardware configuration of the imaging control device 50 according to embodiment 1, so a description thereof will be omitted.
  • FIG. 9 is a flowchart showing the processing performed by the imaging control device 60 according to the second embodiment.
  • the processing performed by the imaging control device 60 according to the second embodiment differs from the processing performed by the imaging control device 50 according to the first embodiment in that step ST13 is performed between steps ST3 and ST4.
  • the other steps are the same as those of the imaging control device 50 according to the first embodiment, and therefore steps similar to those of the processing performed by the imaging control device 50 according to the first embodiment are given the same reference numerals and will not be described.
  • the imaging control device 60 performs an imaging information correction process to correct the imaging information obtained by the imaging unit 10 so as to reduce the brightness of the area where the direct light from the preset multiple irradiation units overlaps with each other.
  • the imaging information correction unit 64 as a brightness reduction unit performs an imaging information correction process as a brightness reduction process to correct the imaging information obtained by the imaging of step ST2 so as to reduce the brightness of the area A1 (see FIG. 7) where the direct light from the first irradiation unit 21, the second irradiation unit 32, and the third irradiation unit 23 overlap with each other.
  • the imaging information correction unit may be configured to perform a process to reduce the brightness of the area where the direct light from the multiple irradiation units overlaps with each other in the imaging information obtained by the imaging unit 10.
  • the imaging control device 60 may be configured to control the imaging unit 10 so as to suppress the amount of light acquired by the imaging unit 10 from the above-mentioned area A1 when the imaging unit 10 performs imaging, or may be configured to thin out a part of the information corresponding to the above-mentioned area A1 when acquiring imaging information from the imaging unit 10.
  • the imaging control device 60 After performing the processing of step ST13, the imaging control device 60 performs the processing of step ST4.
  • FIG. 10 is a timing chart showing the exposure time of the imaging unit 10 and the irradiation time of the irradiation unit controlled by the imaging control device 60 according to embodiment 2.
  • the imaging control device 60 according to embodiment 2 controls the imaging unit 10 and each irradiation unit in the same manner as the imaging control device 50 according to embodiment 1, so that the imaging unit 10 repeatedly captures images of the interior of the vehicle V1 at a period Tf.
  • Embodiment 3 Next, an occupant monitoring system 300 according to embodiment 3 will be described.
  • the occupant monitoring system 300 according to embodiment 3 differs from the occupant monitoring system 200 according to embodiment 2 in the processing related to the imaging information correction unit, but other configurations are similar to the occupant monitoring system 200 according to embodiment 2. Therefore, the same names or symbols are used for the same configurations as the occupant monitoring system 200 according to embodiment 2, and descriptions thereof will be omitted.
  • the occupant monitoring system 300 includes an imaging unit 10, an irradiation unit 30, and an imaging control device 70.
  • the imaging control device 70 includes an exposure time control unit 51, an occupant detection unit 52, an irradiation time control unit 53, and an imaging information correction unit 74.
  • the exposure time calculation unit 511 calculates the length of the exposure time by the imaging unit 10 based on the information acquired by the brightness information acquisition unit 532, so that when the brightness of any seat exceeds a preset brightness, the exposure time is shorter than when the brightness does not exceed the preset brightness.
  • FIG. 11 is a timing chart showing the exposure time of the imaging unit 10 and the irradiation time of the irradiation unit controlled by the imaging control device 70 according to the third embodiment.
  • the imaging control device 70 controls the imaging unit 10 so that the exposure time for the next and subsequent imaging is exposure time T4, which is shorter than the exposure times T1 and T2 shown in FIG. 10, which are the exposure times when the amount of light acquired from any seat does not exceed the preset value.
  • T4 the exposure time for the next and subsequent imaging
  • T1 and T2 shown in FIG. 10 which are the exposure times when the amount of light acquired from any seat does not exceed the preset value.
  • the imaging information correction unit 74 in embodiment 3 is configured to partially overlap the first imaging information acquired in the first exposure time T1 and the second imaging information acquired in the second exposure time T2 at a position of each seat where the brightness of the imaging information is less than other positions, and the occupant detection unit 52 detects an occupant within the field of view based on the overlapped information.
  • the hardware configuration of the imaging control device 70 according to embodiment 3 is similar to the hardware configuration of the imaging control device 50 according to embodiment 1, so a description thereof will be omitted.
  • the imaging device can be used, for example, in an occupant monitoring system that acquires information about occupants in a vehicle by capturing images of the occupants.
  • an imaging unit that images a first position and a second position different from the first position within the same field of view; A first irradiating unit that irradiates light toward the first position; A second irradiating unit that irradiates light toward the second position; a brightness information acquisition unit that acquires information about brightness at the first position and information about brightness at the second position; an irradiation time control unit that controls, based on the information acquired by the brightness information acquisition unit, an irradiation time control unit that controls an irradiation time of light by the first irradiation unit and the second irradiation unit during an exposure time during which image is captured by the imaging unit, so that a time during which light is irradiated toward one of the first position and the second position, which has less brightness, is longer than a time during which light is irradiated toward the other position.
  • (Appendix 2) The imaging control device according to claim 1, wherein the brightness information acquisition unit acquires information about the brightness at the first position and the second position based on imaging information obtained by imaging by the imaging unit. (Appendix 3) 3.
  • the imaging unit images the first position and the second position within the same field of view during a first exposure time and a second exposure time different from the first exposure time;
  • the imaging control device according to any one of claims 1 to 4, wherein the detection unit detects a specific object within the field of view based on information obtained by superimposing first imaging information acquired by the imaging unit during the first exposure time and second imaging information acquired by the imaging unit during the second exposure time.
  • the imaging control device according to any one of claims 1 to 5, wherein the detection unit detects a specific object within the field of view based on information acquired by the brightness information acquisition unit and on information obtained by superimposing the first imaging information and the second imaging information at a position where the imaging information is less bright between the first position and the second position.
  • Appendix 8 The imaging control device according to any one of appendixes 1 to 7, wherein the irradiation time control unit controls irradiation times of light by the first irradiation unit and the second irradiation unit so that at least one of an irradiation start time and an irradiation end time of the first irradiation unit and the second irradiation unit is aligned.
  • (Appendix 9) a target value acquisition unit that acquires a target value related to the amount of light acquired by the imaging unit from the first position and the second position; the illumination time control unit controls illumination times of the first illumination unit and the second illumination unit based on the information acquired by the brightness information acquisition unit so that the amount of light acquired by the imaging unit from the first position and the second position approaches the target value.
  • (Appendix 10) 10.
  • Appendix 12 12.
  • Appendix 13 13.
  • the imaging control device wherein the brightness reducing unit performs the brightness reducing process based on irradiation times of the first irradiating unit and the second irradiating unit.
  • An imaging control method performed by an apparatus including an imaging unit, a first irradiating unit, a second irradiating unit, a brightness information acquiring unit, and an irradiation time control unit, The imaging unit captures an image of a first position and a second position different from the first position within the same field of view; A step in which the first irradiating unit irradiates light toward the first position; The second irradiating unit irradiates light toward the second position; a brightness information acquisition unit acquiring information about the brightness of the first position and information about the brightness of the second position; and a step of controlling, based on the information acquired by the brightness information acquisition unit, a time period for which light is irradiated toward one of the first position and the second position, which is less bright, by

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

撮像制御装置（１００）は、第１位置と、第１位置とは異なる第２位置と、を同一の視野内で撮像する撮像部（１０）と、第１位置に向けて光を照射する第１照射部（２１）と、第２位置に向けて光を照射する第２照射部（２２）と、第１位置の明るさに関する情報及び第２位置の明るさに関する情報を取得する明るさ情報取得部（５３２）と、明るさ情報取得部によって取得された情報に基づいて、第１位置及び第２位置のうち明るさが小さい一方の位置に向けて光が照射される時間が、他方の位置に向けて光が照射される時間よりも長くなるように、撮像部によって撮像が行われる露光時間における、第１照射部及び第２照射部による光の照射時間を制御する照射時間制御部（５３）と、を備えた。

Description

撮像制御装置及び撮像制御方法
　本開示は、撮像制御装置及び撮像制御方法に関する。
　従来、車室内を撮影するカメラを備え、１台のカメラで車室内の複数の乗員を撮影することで、これら複数の乗員の情報を取得する車両が開示されている（特許文献１参照）。
特開２０２２－１９０５０４号公報
　一般に、カメラ等によって同一の視野内で互いに異なる位置に存在する複数の対象を撮像する場合、撮像の対象が存在する位置によって明るさが異なる場合がある。しかしながら、特許文献１に記載された車両は、乗員が存在する位置によって明るさが異なる場合、暗い位置に存在する乗員について、十分な情報の取得精度が得られない場合があるという課題がある。
　本開示は、上記課題を解決するものであって、情報の取得精度を向上させることができる撮像制御装置及び撮像制御方法を提供することを目的とする。
　本開示に係る撮像制御装置は、第１位置と、第１位置とは異なる第２位置と、を同一の視野内で撮像する撮像部と、第１位置に向けて光を照射する第１照射部と、第２位置に向けて光を照射する第２照射部と、第１位置の明るさに関する情報及び第２位置の明るさに関する情報を取得する明るさ情報取得部と、明るさ情報取得部によって取得された情報に基づいて、第１位置及び第２位置のうち明るさが小さい一方の位置に向けて光が照射される時間が、他方の位置に向けて光が照射される時間よりも長くなるように、撮像部によって撮像が行われる露光時間における、第１照射部及び第２照射部による光の照射時間を制御する照射時間制御部と、を備えたことを特徴とする。
　本開示によれば、撮像される位置の明るさに関する情報に基づいて、撮像される位置に向けた光の照射時間を制御するので、複数の位置間の明るさの差を抑制することが可能になり、情報の取得精度を向上させることができる。
実施の形態１に係る乗員モニタリングシステムを示す平面視における模式図。 実施の形態１に係る乗員モニタリングシステムの構成を示すブロック図。 実施の形態１に係る撮像制御装置のハードウェア構成の一例を示すブロック図。 実施の形態１に係る撮像制御装置のハードウェア構成の一例を示すブロック図。 実施の形態１に係る撮像制御装置が行う処理を示すフローチャート。 実施の形態１に係る撮像制御装置によって制御される撮像部の露光時間及び照射部の照射時間を示すタイミングチャート。 実施の形態２に係る乗員モニタリングシステムを示す平面視における模式図。 実施の形態２に係る乗員モニタリングシステムの構成を示すブロック図。 実施の形態２に係る撮像制御装置が行う処理を示すフローチャート。 実施の形態２に係る撮像制御装置によって制御される撮像部の露光時間及び照射部の照射時間を示すタイミングチャート。 実施の形態３に係る撮像制御装置によって制御される撮像部の露光時間及び照射部の照射時間を示すタイミングチャート。
　以下、本開示に係る実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　まず、図１及び図２を参照して、実施の形態１に係る車両の概略構成について説明する。図１は、実施の形態１に係る乗員モニタリングシステム１００を示す平面視における模式図であり、図２は、実施の形態１に係る乗員モニタリングシステム１００の構成を示すブロック図である。例えば、乗員モニタリングシステム１００は、車両Ｖ１の内部Ｓ１を撮像することによって、車両Ｖ１の乗員を検知するためのシステムである。また、例えば、乗員モニタリングシステム１００によって検知された乗員の撮像情報を図示しない画像解析部によって解析することで、乗員の識別情報、乗員の位置情報等、乗員の姿勢情報等、乗員に関する情報を取得することが可能になる。
　図１及び図２に示すように、実施の形態１に係る乗員モニタリングシステム１００は、撮像部１０と、照射装置２０と、撮像制御装置５０と、を備えている。撮像制御装置５０は、撮像部１０及び照射装置２０と、情報の送受信が可能になるように互いに電気的に接続されており、撮像部１０からの情報に基づいて、撮像部１０及び照射装置２０を制御する。なお、実施の形態１に係る撮像制御装置５０は、後述する機能の一部がネットワークを介して接続されている車外の装置に設けられていてもよい。なお、実施の形態１において、車両Ｖ１の運転座席Ｐ１に運転を行う姿勢で着座している運転手の正面方向を前方とし、これを基準として前後上下左右方向を定義する。
　照射装置２０は、発光することによって車両Ｖ１の内部Ｓ１に向けて光を照射する。例えば、照射装置２０は、複数のＬＥＤを有して構成されており、電流の供給を受けて赤外光を車両Ｖ１の内部Ｓ１に照射する。また、例えば、照射装置２０は、それぞれ互いに異なる位置に配置されて光を照射する複数の照射部を有している。具体的には照射装置２０は、第１照射部２１と、第２照射部２２と、第３照射部２３と、第４照射部と、を有しており、第１照射部２１～第４照射部２４によって、車両Ｖ１の内部Ｓ１の各部に向けて光を照射する。例えば、第１照射部２１は、第１位置である車両Ｖ１の運転座席Ｐ１に向けて、照射範囲２１ａに光を照射する。第２照射部２２は、第２位置である車両Ｖ１の一方の後部座席Ｐ２に向けて、照射範囲２２ａに光を照射する。第３照射部２３は、車両Ｖ１の助手座席Ｐ３に向けて、照射範囲２３ａに光を照射する。第４照射部２４は、車両Ｖ１の他方の後部座席Ｐ４に向けて、照射範囲２４ａに光を照射する。なお、第１照射部が運転座席以外の座席に向けて光を照射するように配置されていてもよいし、第２照射部が一方の後部座席以外の座席に向けて光を照射するように構成されていてもよい。
　撮像部１０は、車両内の特定の視野１０ａ内を撮像し、撮像によって得られた撮像情報を出力する。言い換えると、撮像部１０は、車両内の特定の撮影範囲である視野１０ａ内を撮像し、撮像によって得られた撮像情報に応じた信号を出力する。例えば、撮像部１０は、車両Ｖ１の運転座席Ｐ１、一方の後部座席Ｐ２、助手座席Ｐ３及び他方の後部座席Ｐ４の各座席を同一の視野内で撮像する。また、例えば、撮像部１０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）画像センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサ等の画像センサを有する赤外線カメラによって構成されている。
　撮像制御装置５０は、露光時間制御部５１と、乗員検知部５２と、照射時間制御部５３と、を備えている。露光時間制御部５１は、撮像部１０によって撮像が行われる露光時間を制御する。例えば、露光時間算出部５１１は、撮像部１０からの情報、及び照射時間制御部５３からの情報に基づいて、撮像部１０によって撮像が行われる露光時間の長さを算出する。露光時間制御部５１は、露光時間算出部５１１と、露光時間設定部５１２と、を有している。露光時間設定部５１２は、露光時間算出部５１１によって算出された露光時間を設定する。また、露光時間設定部５１２は、露光時間設定部５１２が設定した露光時間、及び予め設定されている露光の頻度に応じた制御信号を撮像部１０に出力する。言い換えると、露光時間設定部５１２は、露光時間設定部５１２が設定した露光時間、及び予め設定されている露光の開始タイミングに応じた制御信号を撮像部１０に出力する。
　乗員検知部５２は、特定の対象として、車両Ｖ１の内部Ｓ１の乗員を検知する。言い換えると、乗員検知部５２は、撮像部１０の視野内に位置している乗員を検知する。例えば、乗員検知部５２は、撮像部１０の撮像によって得られた撮像情報に基づいて、撮像部１０の視野内に位置している乗員を検知し、検知結果に応じた信号を出力する。具体的には、乗員検知部５２は、撮像部１０の撮像によって得られた撮像情報に基づいて、車両Ｖ１の各座席のそれぞれについて、乗員の有無を検知する。なお、乗員検知部５２は、図示しない各座席のシートベルトの装着の有無を検知するセンサ、各座席にかかる重量を検知する重量センサ、その他図示しないセンサによって乗員の有無を検知するように構成されていてもよい。
　照射時間制御部５３は、撮像部１０の撮像によって得られた撮像情報、及び乗員検知部５２による乗員の検知結果に基づいて、照射装置２０による光の照射時間を制御する。照射時間制御部５３は、明るさ目標値設定部５３１と、明るさ情報取得部５３２と、明るさ判定部５３３と、照射時間算出部５３４と、照射時間設定部５３５と、を有している。
　目標値取得部としての明るさ目標値設定部５３１は、撮像部１０が各座席から取得した明るさに関する目標値を取得し、取得した目標値を設定する。言い換えると、撮像情報における各座席の明るさの目標値を取得して設定し、取得した目標値を設定する。例えば、明るさ目標値設定部５３１は、撮像部１０が車両Ｖ１の内部Ｓ１を撮像した際に、撮像部１０が各座席から十分な光の量を取得することができる、撮像情報における各座席の明るさの目標値を設定する。言い換えると、撮像部１０の撮像によって得られた撮像情報が、乗員の検知を行うために十分な明るさになるための目標値を設定する。例えば、目標値設定部５３１が設定する明るさの目標値は、イメージセンサのデジタル信号値（ＤＮ；Ｄｉｇｉｔａｌ　Ｎｕｍｂｅｒ）である。デジタル信号値は、イメージセンサのフォトダイオードで受光した光子量を電圧に変換し、変換した電圧をＡＤ変換した値を指す（物理量なし）。具体的には、デジタル信号値が８ｂｉｔ、明るさの目標値が０ｘ８０、実際の座席（乗員）の明るさに対応するデジタル信号値ＤＮが０ｘ４０だった場合、目標値に対して実際の明るさが半分であるといえる。このような場合、照射時間制御部５３は、光源の発光時間を２倍にすることで放射束（Ｗ）を２倍にして、実際の座席の明るさに対応するデジタル信号値ＤＮが目標値に達するように調整することができる。
　なお、明るさ目標値設定部５３１は、図示しない撮像制御装置５０の他の構成から目標値を取得するように構成されていてもよいし、図示しない撮像制御装置５０の外部の装置から目標値を取得するように構成されていてもよいし、操作者の操作による図示しない入力装置からの信号に基づいて目標値を取得するように構成されていてもよいし、明るさ目標値設定部５３１が各種条件に基づいて目標値を設定することによって、目標値を取得するように構成されていてもよい。また、明るさ目標値設定部５３１は、目標値を、１つの値として設定するように構成されていてもよいし、目標とする範囲を示す下限目標値と上限目標値とを設定するように構成されていてもよいし、座席毎に異なる目標値を設定するように構成されていてもよい。
　明るさ情報取得部５３２は、車両Ｖ１の内部Ｓ１における明るさに関する情報を取得する。例えば、明るさ情報取得部５３２は、車両Ｖ１の各座席の明るさに関する情報を取得する。具体的には、明るさ情報取得部５３２は、撮像部１０の撮像によって得られた撮像情報に基づいて、車両Ｖ１の運転座席Ｐ１、一方の後部座席Ｐ２、助手座席Ｐ３及び他方の後部座席Ｐ４のそれぞれから取得された光の量に関する情報を取得する。例えば、明るさ情報取得部５３２は、撮像部１０の撮像によって得られた撮像情報の画像解析に基づいて、車両Ｖ１の各座席から取得された光の量を示す情報を取得する。
　明るさ判定部５３３は、明るさ情報取得部５３２によって取得された車両Ｖ１の内部Ｓ１の明るさに関する情報に基づいて、車両Ｖ１の内部Ｓ１における明るさが、明るさ目標値設定部５３１によって設定されている目標値に達しているか否かを判定する。例えば、明るさ判定部５３３は、撮像情報における車両Ｖ１の各座席の明るさと、明るさ目標値設定部５３１によって設定されている明るさに関する目標値と、を比較することによって、各座席から取得された光の量がそれぞれ目標値に達しているか否かを判定する。言い換えると、明るさ判定部５３３は、撮像部１０の撮像によって得られた撮像情報が、目標値に対応する十分な明るさを有しているか否かを判定する。
　照射時間算出部５３４は、明るさ情報取得部５３２によって取得された車両Ｖ１の内部Ｓ１の明るさに関する情報に基づいて、照射装置２０による光の照射時間を算出する。具体的には、照射時間算出部５３４は、明るさ情報取得部５３２によって取得された車両Ｖ１の内部Ｓ１の明るさに関する情報に基づいて、各座席間の明るさの差が小さくなるように、各第１照射部２１～第４照射部２４による光の照射時間を算出する。例えば、照射時間算出部５３４は、明るさ情報取得部５３２によって取得された車両Ｖ１の内部Ｓ１の明るさに関する情報に基づいて、各座席間の明るさの差が小さくなるように、各第１照射部２１～第４照射部２４の連続する照射時間の長さを算出する。
　照射時間設定部５３５は、照射時間算出部５３４が算出した照射装置２０によって光を照射する時間を設定する。例えば、照射時間設定部５３５は、設定した照射時間に応じて照射装置２０を発光させるための電流を、各第１照射部２１～第４照射部２４に出力する。また、例えば、照射時間設定部５３５は、設定した照射時間に基づいて照射装置２０を発光させるための制御信号を、各第１照射部２１～第４照射部２４に出力する。
　次に、図３及び図４を参照して、撮像制御装置５０のハードウェア構成について説明する。図３は、実施の形態１に係る撮像制御装置５０のハードウェア構成の一例を示すブロック図であり、図４は、実施の形態１に係る撮像制御装置５０の図３とは異なるハードウェア構成の一例を示すブロック図である。例えば、図３に示すように、撮像制御装置５０は、プロセッサ５０ａ、メモリ５０ｂ及びＩ／Ｏポート５０ｃを有し、メモリ５０ｂに格納されているプログラムをプロセッサ５０ａが読み出して実行するように構成されている。メモリ５０ｂは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリであってよい。また、メモリ５０ｂは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等であってもよい。さらにメモリ５０ｂは、ＨＤＤ又はＳＳＤであってもよい。
　また、例えば、図４に示すように、撮像制御装置５０は、専用のハードウェアである処理回路５０ｄ及びＩ／Ｏポート５０ｃを有している。処理回路５０ｄは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらの組み合わせによって構成される。撮像制御装置５０の各機能は、これらプロセッサ５０ａ又は専用のハードウェアである処理回路５０ｄがソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組合せであるプログラムを実行することによって実現される。
　次に、図５及び図６を参照して、実施の形態１に係る撮像制御装置５０が行う処理の詳細について説明する。図５は、実施の形態１に係る撮像制御装置５０が行う処理を示すフローチャートである。図５に示すように、処理を開始すると、撮像制御装置５０は、車両Ｖ１の各座席の明るさに関する目標値Ｘを設定する（ステップＳＴ１）。この処理において、明るさ目標値設定部５３１は、撮像部１０の撮像によって得られる撮像情報の、各座席の明るさに関する目標値を設定している。
　ステップＳＴ１の処理を行うと、撮像制御装置５０は、撮像部１０に車両Ｖ１の内部を撮像させる（ステップＳＴ２）。この処理において、露光時間制御部５１は、露光時間設定部５１２によって予め設定されている、露光時間の長さ及び予め設定されている撮像の頻度に基づいて、撮像部１０に車両Ｖ１の内部を撮像させる。また、この処理において、撮像制御装置５０は、撮像部１０に車両Ｖ１の内部を撮像させることによって、車両Ｖ１の内部を撮像した撮像情報を取得している。また、この処理において、照射装置２０は、予め設定されている照射時間に基づいて、露光時間に各第１照射部２１～第４照射部２４による光の照射を行う。
　ステップＳＴ２の処理を行うと、撮像制御装置５０は、車両Ｖ１の各座席の明るさに関する情報を取得する（ステップＳＴ３）。この処理において、明るさ情報取得部５３２は、ステップＳＴ２の処理で取得した撮像情報に基づいて、各座席の明るさに関する情報を取得している。
　ステップＳＴ３の処理を行うと、撮像制御装置５０は、車両Ｖ１の各座席に位置している乗員を検知する（ステップＳＴ４）。例えば、この処理において、乗員検知部５２は、ステップＳＴ２の処理で取得した撮像情報に基づいて、各座席に位置している乗員の有無を検知している。
　ステップＳＴ４の処理を行うと、撮像制御装置５０は、車両Ｖ１の各座席の明るさが、明るさ目標値設定部５３１によって設定されている目標値Ｘ以上であるか否かを判定する（ステップＳＴ５）。言い換えると、撮像制御装置５０は、車両Ｖ１の各座席の明るさが、明るさ目標値設定部５３１によって設定されている目標値Ｘに達しているか否かを判定する。例えば、撮像制御装置５０は、車両Ｖ１の全座席の明るさが、明るさ目標値設定部５３１によって設定されている目標値Ｘに達しているか否かを明るさ判定部５３３によって判定する。なお、この処理において、明るさ判定部５３３は、既に乗員がいないことが分かっている座席については、明るさが目標値Ｘに達しているか否かを判定する対象から除外するように構成されていてもよい。
　ステップＳＴ５の処理において、全座席の明るさが目標値Ｘ以上である場合（ステップＳＴ５のＹＥＳ）、撮像制御装置５０は、ステップＳＴ４の処理において車両Ｖ１の各座席に位置している乗員を検知したか否かを判定する（ステップＳＴ６）。例えば、撮像制御装置５０は、車両Ｖ１の全座席において、座席に位置している乗員を検知したか否かを判定する。この処理において、乗員検知部５２は、撮像部１０の撮像によって得られた撮像情報に基づいて、車両Ｖ１の各座席に位置している乗員を検知したか否かを判定している。なお、この処理において、乗員検知部５２は、既に乗員がいないことが分かっている座席については、乗員がいるか否かを判定する対象から除外するように構成されていてもよい。
　ステップＳＴ５の処理において、全座席の明るさが目標値Ｘ以上ではなかった場合（ステップＳＴ５のＮＯ）、及びステップＳＴ６の処理において、全座席に位置している乗員を検知しなかった場合（ステップＳＴ６のＮＯ）、撮像制御装置５０は、撮像部１０によって車両Ｖ１の内部を撮像する際の露光時間を算出する（ステップＳＴ７）。この処理において、撮像制御装置５０は、いずれかの座席の明るさが目標値Ｘに達していない、又は全座席の明るさが目標値Ｘに達しているにもかかわらず乗員を検知できなかった座席があることに基づいて、撮像部１０の撮像に適した露光時間を算出している。例えば、この処理において、露光時間算出部５１１は、各座席のうち明るさが最も低い座席について、露光時間と、当該座席に向けて光を照射する第１照射部２１～第４照射部２４のうちのいずれかの照射部による光の照射時間と、を一致させた場合に、当該座席の明るさが目標値Ｘに達する露光時間を算出する。
　ステップＳＴ７の処理を行うと、撮像制御装置５０は、明るさが最も低い座席以外の各座席について、各座席の明るさが目標値Ｘになる各第１照射部２１～第４照射部２４の光の照射時間を算出する（ステップＳＴ８）。この処理において、照射時間算出部５３４は、明るさに関する目標値Ｘを基準として、明るさが最も小さい座席を含めた各座席間の明るさの差が小さくなるような第１照射部２１～第４照射部２４の光の照射時間を算出している。
　ステップＳＴ８の処理を行うと、撮像制御装置５０は、ステップＳＴ３の処理において、明るさが目標値Ｘに達していた座席があったか否かを判定する（ステップＳＴ９）。この処理において、明るさ判定部５３３は、ステップＳＴ３の処理において明るさが十分であることを示す情報を取得した座席があったか否かを判定している。
　ステップＳＴ９の処理において、明るさが目標値Ｘに達していた座席があった場合（ステップＳＴ９のＹＥＳ）、撮像制御装置５０は、明るさが目標値Ｘに達していた各座席について乗員を検知したか否かを判定する（ステップＳＴ１０）。例えば、この処理において、乗員検知部５２は、明るさが目標値Ｘに達していた全ての座席について乗員を検知したか否かを判定する。この処理において、乗員検知部５２は、明るさが十分であったにも関わらず乗員を検知しなかった座席があったか否かを判定している。なお、乗員検知部５２は、この処理を行う前に既に乗員がいないことが分かっている座席については、乗員を検知したか否かを判定する対象から除外するように構成されていてもよい。
　ステップＳＴ１０の処理において、明るさが目標値Ｘに達している全ての座席の乗員を検知しなかった場合（ステップＳＴ１０のＮＯ）、言い換えると、ステップＳＴ１０の処理において、明るさが目標値Ｘに達しているにも関わらず乗員を検知しない座席があった場合、撮像制御装置５０は、乗員を検知しなかった座席に光を照射する照射部の発光時間を短縮する（ステップＳＴ１１）。例えば、ステップＳＴ１０の処理において、明るさが目標値Ｘに達しているにも関わらず乗員を検知しない座席があった場合、撮像制御装置５０は、乗員を検知しなかった座席に光を照射する照射部の発光時間を０にする。言い換えると、ステップＳＴ１０の処理において、明るさが目標値Ｘに達しているにも関わらず乗員を検知しない座席があった場合、撮像制御装置５０は、乗員を検知しなかった座席に光を照射する照射部による光の照射時間を０にする。この処理において、照射時間設定部５３５は、明るさが十分であったにも関わらず乗員を検知しなかった座席に対応する照射部の発光を停止することで、照射装置２０による電流の消費量を抑制している。
　ステップＳＴ９の処理において、明るさが目標値Ｘに達していた座席がなかった場合（ステップＳＴ９のＮＯ）、及びステップＳＴ１１の処理を行った場合、撮像制御装置５０は、各第１照射部２１～第４照射部２４の発光時間を設定する（ステップＳＴ１２）。この処理において、照射時間設定部５３５は、ステップＳＴ８で照射時間算出部５３４によって算出された各第１照射部２１～第４照射部２４による光の照射時間を設定している。
　ステップＳＴ６の処理において、全座席に位置している乗員を検知した場合（ステップＳＴ６のＹＥＳ）、及びステップＳＴ１２の処理を行った場合、撮像制御装置５０は、処理を終了する。撮像制御装置５０は、ステップＳＴ１乃至ステップＳＴ１２の処理を予め設定されている頻度で行うことにより、車両Ｖ１の内部が繰返し撮像されて、車両Ｖ１の内部の乗員の情報を取得可能にしている。
　図６は、実施の形態１に係る撮像制御装置５０によって制御される撮像部１０の露光時間及び各照射部の照射時間を示すタイミングチャートである。図６に示すように、撮像制御装置５０によって露光時間の長さ及び露光開始タイミングが設定されて、撮像部１０は、周期Ｔｆで車両Ｖ１の内部の撮像を繰り返す。また、撮像制御装置５０によって照射時間が設定されて、第１照射部２１～第４照射部２４は、露光時間において光を照射するように制御される。言い換えると、第１照射部２１～第４照射部２４は、露光時間の一部と光の照射時間とが重なるように、撮像制御装置５０によって制御される。また、言い換えると、第１照射部２１～第４照射部２４は、露光時間に光の照射時間が含まれるように、撮像制御装置５０によって制御される。
　例えば、第１照射部２１～第４照射部２４は、露光時間の開始タイミングと合うように光の照射を開始し、各照射部に設定されている照射時間に応じて光を照射すように、撮像制御装置５０によって制御される。例えば、第１照射部２１～第４照射部２４は、露光時間が開始されてから各照射部に設定されている照射時間が経過するまで、連続して光を照射するように、撮像制御装置５０によって制御される。第１照射部２１～第４照射部２４は、露光時間Ｔ１において光を照射し、露光時間Ｔ１の開始から周期Ｔｆ後の露光時間Ｔ２において、再び光を照射する。このように、実施の形態１に係る撮像制御装置５０は、第１照射部２１～第４照射部２４の光の強さを調節することなく、第１照射部２１～第４照射部２４の光の照射時間を制御することにより、撮像部１０の撮像によって十分な明るさの撮像情報を得ることを可能にしている。なお、照射時間設定部５３５は、露光時間において各照射部が光を照射する照射時間を設定するように構成されていればよく、連続して光を照射するように照射時間を設定する以外に、露光時間における照射のデューティ比を設定してＰＷＭ（Ｐｕｌｓｅ　Ｗｉｄｔｈ　Ｍｏｄｕｌａｔｉｏｎ）制御を行うように、照射時間を設定するものであってもよい。
　また、照射時間設定部５３５は、各照射部の照射開始時刻及び照射終了時刻の少なくとも一方が揃うように、各照射部による光の照射時間を制御するように構成されている。これにより、各照射部の照射開始時刻及び照射終了時刻を個々に制御する場合と比べて、装置の処理負担を抑制し、装置の小型化を図ることが可能になる。
　以上、実施の形態１に係る乗員モニタリングシステム１００は、運転座席Ｐ１と、運転座席Ｐ１とは異なる一方の後部座席と、を同一の視野１０ａ内で撮像する撮像部１０と、運転座席Ｐ１に向けて光を照射する第１照射部２１と、一方の後部座席Ｐ２に向けて光を照射する第２照射部２２と、運転座席Ｐ１の明るさに関する情報及び一方の後部座席Ｐ２の明るさに関する情報を取得する明るさ情報取得部５３２と、明るさ情報取得部５３２によって取得された情報に基づいて、運転座席Ｐ１の明るさと一方の後部座席Ｐ２の明るさとの差が小さくなるように、撮像部１０によって撮像が行われる露光時間Ｔ１における、第１照射部２１及び第２照射部２２による光の照射時間を制御する照射時間制御部５３と、を備えている。
　一般に、車両の内部をカメラ等の撮像部によって撮像する場合、乗員の位置によって明るさが異なると、同一の視野内で複数の乗員を撮像して、撮像によって得られた撮像情報に基づいて乗員の検知を行うことは難しい。例えば、後部座席よりも運転座席に近い位置に光源とカメラとを配置すると、得られた撮像情報は後部座席が暗くなりやすい。このような状態の撮像によって得られた撮像情報は、運転座席と後部座席との明るさの差によって、撮像情報から乗員の検知等を行う際の情報の取得精度を向上させることがむずかしい。
　実施の形態１に係る乗員モニタリングシステム１００は、上述したように構成されていることにより、撮像される位置の明るさに関する情報に基づいて、撮像される位置に向けた複数の照射部による光の照射時間を制御するので、複数の位置間の明るさの差を抑制することが可能になり、情報の取得精度を向上させることができる。また、照射部の光の強さを制御することなく、撮像情報における複数の位置間の明るさの差を抑制することが可能になるので、光の強さを制御する場合と比較して、撮像情報における複数の位置間の明るさの差を高い精度で抑制することが可能になると共に、処理を簡略化して、装置の小型化を図ることが可能になる。
　なお、実施の形態１に係る撮像制御装置５０は、車両Ｖ１の内部の撮像によって得られた撮像情報に基づいて車両Ｖ１の内部にいる乗員を検知するように構成されているが、これに限定されない。撮像制御装置は、少なくとも同一の視野内における複数の位置の明るさに基づいて、それぞれの位置に向けて光を照射する複数の照射部の照射時間を制御するように構成されていればよく、例えば、撮像情報に基づいた何らかの検知を行わないものであってもよいし、検知を行う対象は乗員でなくてもよく、人物以外であってもよい。また、撮像部が撮像する範囲は、車両の内部でなくてもよく、船舶の内部であってもよいし、航空機の内部であってもよいし、鉄道車両の内部であってもよいし、建物の内部であってもよいし、屋外であってもよい。
実施の形態２．
　次に、実施の形態２に係る乗員モニタリングシステム２００について説明する。実施の形態２に係る乗員モニタリングシステム２００は、実施の形態１に係る乗員モニタリングシステム１００に対し、照明装置の構成と、撮像制御装置の一部の構成が異なるが、他の構成については実施の形態１に係る乗員モニタリングシステム１００と同様であり、実施の形態１に係る乗員モニタリングシステム１００と同様の構成については、同一の名称又は同一の符号を付して説明を省略する。
　図７は、実施の形態２に係る乗員モニタリングシステム２００を示す平面視における模式図であり、図８は、実施の形態２に係る乗員モニタリングシステム２００の構成を示すブロック図である。図７及び図８に示すように、実施の形態２に係る乗員モニタリングシステム２００は、撮像部１０と、照射装置３０と、撮像制御装置６０と、を備えている。
　照射装置３０は、発光することによって車両Ｖ２の内部に向けて光を照射する。例えば、照射装置３０は、複数のＬＥＤを有して構成されており、電流の供給を受けて赤外光を車両Ｖ２の内部に照射する。また、例えば、照射装置３０は、それぞれ互いに異なる位置に配置されて光を照射する複数の照射部を有している。具体的には照射装置３０は、第１照射部２１と、第２照射部３２と、第３照射部２３と、を有しており、第１照射部２１～第３照射部２３によって、車両Ｖ２の内部の各部に向けて光を照射する。例えば、第１照射部２１は、第１位置である車両Ｖ２の運転座席Ｐ１に向けて、照射範囲２１ａに光を照射する。第２照射部３２は、第２位置である車両Ｖ２の一方の後部座席Ｐ２及び他方の後部座席Ｐ４に向けて、照射範囲３２ａに光を照射する。第３照射部２３は、車両Ｖ２の助手座席Ｐ３に向けて、照射範囲２３ａに光を照射する。また、第２照射部３２による光の照射範囲３２ａは、第１照射部２１による光の照射範囲２１ａ、及び第３照射部２３による光の照射範囲２３ａと、領域Ａ１において一部が互いに重なっている。言い換えると、
第１照射部２１からの直接光と、第２照射部３２からの直接光と、第３照射部２３からの直接光と、は、互いに領域Ａ１で重なっている。
　このように、複数の照射部からの直接光が互いに重なる領域と重ならない領域とが存在する場合、直接光が重なる領域は、重ならない領域よりも明るくなるため、視野１０ａ全体として明るさが不均一になる。視野１０ａ内で明るさが不均一になると、撮像情報による情報の取得精度が低下する場合がある。
　このため、実施の形態２に係る撮像制御装置６０は、複数の照射部からの直接光が互いに重なる領域から、撮像部１０が取得する光の量を減少させることにより、撮像情報による情報の取得精度の向上を図っている。
　撮像制御装置６０は、露光時間制御部５１と、乗員検知部５２と、照射時間制御部５３と、撮像情報補正部６４と、を備えている。撮像情報補正部６４は、撮像部１０の撮像によって得られる撮像情報において、予め設定されている複数の照射部からの直接光が互いに重なる領域の明るさを減少させる処理を行う。例えば、撮像情報補正部６４は、撮像部１０の撮像によって得られる撮像情報において、予め設定されている複数の照射部からの直接光が互いに重なる領域の明るさを減少させるように、撮像情報を補正する。乗員検知部５２は、撮像情報補正部６４によって明るさが補正された撮像情報に基づいて、乗員の検知を行う。また、例えば、撮像情報補正部６４は、各照射部の光の照射時間に基づいて、予め設定されている複数の照射部からの直接光が互いに重なる領域の明るさを、直接光が互いに重なる時間に応じて減少させるように、撮像情報を補正する。
　なお、実施の形態２に係る撮像制御装置６０のハードウェア構成については、実施の形態１に係る撮像制御装置５０のハードウェア構成と同様であるため、説明を省略する。
　図９は、実施の形態２に係る撮像制御装置６０が行う処理を示すフローチャートである。実施の形態２に係る撮像制御装置６０が行う処理は、実施の形態１に係る撮像制御装置５０が行う処理におけるステップＳＴ３とステップＳＴ４との間に、ステップＳＴ１３を行う点が異なるが、他のステップについては実施の形態１に係る撮像制御装置５０と同様であるため、実施の形態１に係る撮像制御装置５０が行う処理と同様のステップについては、同一の符号を付して説明を省略する。
　ステップＳＴ３の処理を行うと、撮像制御装置６０は、撮像部１０の撮像によって得られる撮像情報において、予め設定されている複数の照射部からの直接光が互いに重なる領域の明るさを減少させるように、撮像情報を補正する撮像情報補正処理を行う。例えば、この処理において、明るさ減少部としての撮像情報補正部６４は、第１照射部２１、第２照射部３２及び第３照射部２３からの直接光が互いに重なる領域Ａ１（図７参照）の明るさを減少させるように、ステップＳＴ２の撮像によって得られた撮像情報を補正する、明るさ減少処理としての撮像情報補正処理を行う。なお、撮像情報補正部は、撮像部１０の撮像によって得られる撮像情報において、複数の照射部からの直接光が互いに重なる領域の明るさを減少させる処理を行うように構成されていればよく、例えば、撮像部１０が撮像を行う際に、撮像部１０が上記領域Ａ１から取得する光の量を抑制するように、撮像部１０を制御するように構成されていてもよいし、撮像部１０から撮像情報を取得する際に、上記領域Ａ１に対応する情報の一部を間引くように構成されていてもよい。
　ステップＳＴ１３の処理を行うと、撮像制御装置６０は、ステップＳＴ４の処理を行う。
　図１０は、実施の形態２に係る撮像制御装置６０によって制御される撮像部１０の露光時間及び照射部の照射時間を示すタイミングチャートである。実施の形態２に係る撮像制御装置６０は、実施の形態１に係る撮像制御装置５０と同様に、撮像部１０及び各照射部を制御して、撮像部１０によって周期Ｔｆで車両Ｖ１の内部の撮像が繰り返される。
実施の形態３．
　次に、実施の形態３に係る乗員モニタリングシステム３００について説明する。実施の形態３に係る乗員モニタリングシステム３００は、実施の形態２に係る乗員モニタリングシステム２００に対し、撮像情報補正部に係る処理が異なるが、他の構成については実施の形態２に係る乗員モニタリングシステム２００と同様であり、実施の形態２に係る乗員モニタリングシステム２００と同様の構成については、同一の名称又は同一の符号を付して説明を省略する。
　図８に示すように、実施の形態３に係る乗員モニタリングシステム３００は、撮像部１０と、照射装置３０と、撮像制御装置７０と、を備えている。撮像制御装置７０は、露光時間制御部５１と、乗員検知部５２と、照射時間制御部５３と、撮像情報補正部７４と、を備えている。
　例えば、図７に示すように、車両Ｖ２の外部から内部Ｓ１に向けて車両Ｖ２の窓を介して外乱光としての光Ｇ１が入射した場合、光Ｇ１の強さ及び入射した時間の長さによっては、撮像部１０が露光時間において取得する光の量が過大になり、撮像によって得られる撮像情報が明るすぎることで、撮像情報からの情報の取得精度が十分に得られない場合がある。このため、実施の形態３に係る露光時間算出部５１１は、明るさ情報取得部５３２によって取得された情報に基づいて、いずれかの座席の明るさが予め設定されている明るさを超えた場合、予め設定されている明るさを超えていない場合よりも露光時間が短くなるように、撮像部１０による露光時間の長さを算出する。
　図１１は、実施の形態３に係る撮像制御装置７０によって制御される撮像部１０の露光時間及び照射部の照射時間を示すタイミングチャートである。例えば、撮像制御装置７０は、撮像部１０が露光時間において、いずれかの座席から取得した光の量が予め設定されている値を超えた場合、次回以降の撮像における露光時間を、いずれかの座席から取得した光の量が予め設定されている値を超えていない場合の露光時間である図１０に示す露光時間Ｔ１及びＴ２よりも短い露光時間Ｔ４で撮像するように、撮像部１０を制御する。これにより、撮像情報の明るさが過大になること（白飛び）を抑制し、撮像情報からの情報の取得精度を向上させることが可能になる。
　また、露光時間を短くしたことによって、撮像情報の明るさが減少してしまった座席については、複数回分、例えば２回分の撮像情報の部分的に重ねることにより、撮像情報からの情報の取得精度を向上させることが可能になる。例えば、実施の形態３に係る撮像情報補正部７４は、各座席のうち撮像情報の明るさが他の位置よりも小さい位置において、第１露光時間Ｔ１に取得された第１撮像情報と、第２露光時間Ｔ２に取得された第２撮像情報と、を部分的に重ね合わせ、重ね合わせた情報に基づいて、乗員検知部５２が視野内の乗員を検知するように構成されている。
　なお、実施の形態３に係る撮像制御装置７０のハードウェア構成については、実施の形態１に係る撮像制御装置５０のハードウェア構成と同様であるため、説明を省略する。
　なお、本開示は、各実施の形態の自由な組合せ、あるいは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
　本開示に係る撮像装置は、例えば、車両内の乗員を撮像することによって乗員の情報を取得する乗員モニタリングシステムに利用することができる。
　以下、本開示の諸態様を付記としてまとめて記載する。
　　（付記１）
　第１位置と、前記第１位置とは異なる第２位置と、を同一の視野内で撮像する撮像部と、
　前記第１位置に向けて光を照射する第１照射部と、
　前記第２位置に向けて光を照射する第２照射部と、
　前記第１位置の明るさに関する情報及び前記第２位置の明るさに関する情報を取得する明るさ情報取得部と、
　前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置のうち明るさが小さい一方の位置に向けて光が照射される時間が、他方の位置に向けて光が照射される時間よりも長くなるように、前記撮像部によって撮像が行われる露光時間における、前記第１照射部及び前記第２照射部による光の照射時間を制御する照射時間制御部と、を備えた
　ことを特徴とする撮像制御装置。
　　（付記２）
　前記明るさ情報取得部は、前記撮像部の撮像によって得られた撮像情報に基づいて、前記第１位置及び前記第２位置の明るさに関する情報を取得する
　ことを特徴とする付記１記載の撮像制御装置。
　　（付記３）
　前記視野内に位置している特定の対象を検知する検知部を備えた
　ことを特徴とする付記１又は２記載の撮像制御装置。
　　（付記４）
　前記検知部は、前記撮像部の撮像によって得られた撮像情報に基づいて、前記視野内の特定の対象を検知する
　ことを特徴とする付記１乃至３のいずれか１項記載の撮像制御装置。
　　（付記５）
　前記撮像部は、第１露光時間と、前記第１露光時間とは異なる第２露光時間と、において、前記第１位置と前記第２位置とを同一の視野内で撮像し、
　前記検知部は、前記撮像部によって前記第１露光時間に取得された第１撮像情報と、前記撮像部によって前記第２露光時間に取得された第２撮像情報と、を重ね合わせた情報に基づいて、前記視野内の特定の対象を検知する
　ことを特徴とする付記１乃至４のいずれか１項記載の撮像制御装置。
　　（付記６）
　前記検知部は、前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置のうち撮像情報の明るさが小さい位置の前記第１撮像情報と前記第２撮像情報とを重ね合わせた情報に基づいて、前記視野内の特定の対象を検知する
　ことを特徴とする付記１乃至５のいずれか１項記載の撮像制御装置。
　　（付記７）
　前記照射時間制御部は、前記検知部によって前記第１位置及び前記第２位置の一方に位置する特定の対象を検知しない場合、特定の対象を検知した場合よりも光の照射時間が短くなるように、前記第１位置及び前記第２位置の一方による光の照射時間を制御する
　ことを特徴とする付記１乃至６のいずれか１項記載の撮像制御装置。
　　（付記８）
　前記照射時間制御部は、前記第１照射部及び前記第２照射部の照射開始時刻及び照射終了時刻の少なくとも一方が揃うように、前記第１照射部及び前記第２照射部による光の照射時間を制御する
　ことを特徴とする付記１乃至７のいずれか１項記載の撮像制御装置。
　　（付記９）
　前記撮像部が前記第１位置及び前記第２位置から取得した光の量に関する目標値を取得する目標値取得部を備え、
　前記照射時間制御部は、前記明るさ情報取得部によって取得された情報に基づいて、前記撮像部が前記第１位置及び前記第２位置から取得した光の量が前記目標値に近づくように、前記第１照射部及び前記第２照射部による光の照射時間を制御する
　ことを特徴とする付記１乃至８のいずれか１項記載の撮像制御装置。
　　（付記１０）
　前記明るさ情報取得部によって取得された情報に基づいて、前記露光時間の長さを制御する露光時間制御部を備えた
　ことを特徴とする付記１乃至９のいずれか１項記載の撮像制御装置。
　　（付記１１）
　前記露光時間制御部は、前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置の少なくとも一方の明るさが予め設定されている明るさを超えた場合、前記予め設定されている明るさを超えていない場合よりも前記露光時間が短くなるように、前記露光時間の長さを制御する
　ことを特徴とする付記１乃至１０のいずれか１項記載の撮像制御装置。
　　（付記１２）
　前記撮像部の撮像によって得られる撮像情報において、前記第１照射部からの直接光と前記第２照射部からの直接光とが重なる領域の明るさを減少させる明るさ減少処理を行う明るさ減少部を備えた
　ことを特徴とする付記１乃至１１のいずれか１項記載の撮像制御装置。
　　（付記１３）
　前記明るさ減少部は、前記第１照射部及び前記第２照射部の照射時間に基づいて、前記明るさ減少処理を行う
　ことを特徴とする付記１乃至１２のいずれか１項記載の撮像制御装置。
　　（付記１４）
　撮像部と、第１照射部と、第２照射部と、明るさ情報取得部と、照射時間制御部と、を備えた装置が行う撮像制御方法であって、
　前記撮像部が、第１位置と、前記第１位置とは異なる第２位置と、を同一の視野内で撮像するステップと、
　前記第１照射部が、前記第１位置に向けて光を照射するステップと、
　前記第２照射部が、前記第２位置に向けて光を照射するステップと、
　前記明るさ情報取得部が、前記第１位置の明るさに関する情報及び前記第２位置の明るさに関する情報を取得するステップと、
　前記照射時間制御部が、前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置のうち明るさが小さい一方の位置に向けて光が照射される時間が、他方の位置に向けて光が照射される時間よりも長くなるように、前記撮像部によって撮像が行われる露光時間における、前記第１照射部及び前記第２照射部による光の照射時間を制御するステップと、を備えた
　ことを特徴とする撮像制御方法。
　１０　撮像部、１０ａ　視野、２０　照射装置、２１　第１照射部、２１ａ　照射範囲、２２　第２照射部、２２ａ　照射範囲、２３　第３照射部、２３ａ　照射範囲、２４　第４照射部、２４ａ　照射範囲、３０　照射装置、３２　第２照射部、３２ａ　照射範囲、５０　撮像制御装置、５１　露光時間制御部、５２　乗員検知部（検知部）、５３　照射時間制御部、６０　撮像制御装置、６４　撮像情報補正部（明るさ減少部）、７０　撮像制御装置、７４　撮像情報補正部、１００　乗員モニタリングシステム（撮像制御装置）、２００　乗員モニタリングシステム（撮像制御装置）、３００　乗員モニタリングシステム（撮像制御装置）、５１１　露光時間算出部、５１２　露光時間設定部、５３１　明るさ目標値設定部（目標値取得部）、５３２　明るさ情報取得部、５３３　明るさ判定部、５３４　照射時間算出部、５３５　照射時間設定部、Ａ１　領域、Ｇ１　光（外乱光）、Ｐ１　運転座席、Ｐ２　後部座席、Ｐ３　助手座席、Ｐ４　後部座席、Ｓ１　内部、Ｔ１　露光時間（第１露光時間）、Ｔ２　露光時間（第２露光時間）、Ｔ４　露光時間、Ｔｆ　周期、Ｖ１　車両、Ｖ２　車両、Ｘ　目標値。

Claims (14)

  1. 　第１位置と、前記第１位置とは異なる第２位置と、を同一の視野内で撮像する撮像部と、
    　前記第１位置に向けて光を照射する第１照射部と、
    　前記第２位置に向けて光を照射する第２照射部と、
    　前記第１位置の明るさに関する情報及び前記第２位置の明るさに関する情報を取得する明るさ情報取得部と、
    　前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置のうち明るさが小さい一方の位置に向けて光が照射される時間が、他方の位置に向けて光が照射される時間よりも長くなるように、前記撮像部によって撮像が行われる露光時間における、前記第１照射部及び前記第２照射部による光の照射時間を制御する照射時間制御部と、を備えた
    　ことを特徴とする撮像制御装置。
  2. 　前記明るさ情報取得部は、前記撮像部の撮像によって得られた撮像情報に基づいて、前記第１位置及び前記第２位置の明るさに関する情報を取得する
    　ことを特徴とする請求項１記載の撮像制御装置。
  3. 　前記視野内に位置している特定の対象を検知する検知部を備えた
    　ことを特徴とする請求項１又は２記載の撮像制御装置。
  4. 　前記検知部は、前記撮像部の撮像によって得られた撮像情報に基づいて、前記視野内の特定の対象を検知する
    　ことを特徴とする請求項３記載の撮像制御装置。
  5. 　前記撮像部は、第１露光時間と、前記第１露光時間とは異なる第２露光時間と、において、前記第１位置と前記第２位置とを同一の視野内で撮像し、
    　前記検知部は、前記撮像部によって前記第１露光時間に取得された第１撮像情報と、前記撮像部によって前記第２露光時間に取得された第２撮像情報と、を重ね合わせた情報に基づいて、前記視野内の特定の対象を検知する
    　ことを特徴とする請求項４記載の撮像制御装置。
  6. 　前記検知部は、前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置のうち撮像情報の明るさが小さい位置の前記第１撮像情報と前記第２撮像情報とを重ね合わせた情報に基づいて、前記視野内の特定の対象を検知する
    　ことを特徴とする請求項５記載の撮像制御装置。
  7. 　前記照射時間制御部は、前記検知部によって前記第１位置及び前記第２位置の一方に位置する特定の対象を検知しない場合、特定の対象を検知した場合よりも光の照射時間が短くなるように、前記第１位置及び前記第２位置の一方による光の照射時間を制御する
    　ことを特徴とする請求項３乃至６のいずれか１項記載の撮像制御装置。
  8. 　前記照射時間制御部は、前記第１照射部及び前記第２照射部の照射開始時刻及び照射終了時刻の少なくとも一方が揃うように、前記第１照射部及び前記第２照射部による光の照射時間を制御する
    　ことを特徴とする請求項１乃至７のいずれか１項記載の撮像制御装置。
  9. 　前記撮像部が前記第１位置及び前記第２位置から取得した光の量に関する目標値を取得する目標値取得部を備え、
    　前記照射時間制御部は、前記明るさ情報取得部によって取得された情報に基づいて、前記撮像部が前記第１位置及び前記第２位置から取得した光の量が前記目標値に近づくように、前記第１照射部及び前記第２照射部による光の照射時間を制御する
    　ことを特徴とする請求項１乃至８のいずれか１項記載の撮像制御装置。
  10. 　前記明るさ情報取得部によって取得された情報に基づいて、前記露光時間の長さを制御する露光時間制御部を備えた
    　ことを特徴とする請求項１乃至９のいずれか１項記載の撮像制御装置。
  11. 　前記露光時間制御部は、前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置の少なくとも一方の明るさが予め設定されている明るさを超えた場合、前記予め設定されている明るさを超えていない場合よりも前記露光時間が短くなるように、前記露光時間の長さを制御する
    　ことを特徴とする請求項１０記載の撮像制御装置。
  12. 　前記撮像部の撮像によって得られる撮像情報において、前記第１照射部からの直接光と前記第２照射部からの直接光とが重なる領域の明るさを減少させる明るさ減少処理を行う明るさ減少部を備えた
    　ことを特徴とする請求項１乃至１１のいずれか１項記載の撮像制御装置。
  13. 　前記明るさ減少部は、前記第１照射部及び前記第２照射部の照射時間に基づいて、前記明るさ減少処理を行う
    　ことを特徴とする請求項１２記載の撮像制御装置。
  14. 　撮像部と、第１照射部と、第２照射部と、明るさ情報取得部と、照射時間制御部と、を備えた装置が行う撮像制御方法であって、
    　前記撮像部が、第１位置と、前記第１位置とは異なる第２位置と、を同一の視野内で撮像するステップと、
    　前記第１照射部が、前記第１位置に向けて光を照射するステップと、
    　前記第２照射部が、前記第２位置に向けて光を照射するステップと、
    　前記明るさ情報取得部が、前記第１位置の明るさに関する情報及び前記第２位置の明るさに関する情報を取得するステップと、
    　前記照射時間制御部が、前記明るさ情報取得部によって取得された情報に基づいて、前記第１位置及び前記第２位置のうち明るさが小さい一方の位置に向けて光が照射される時間が、他方の位置に向けて光が照射される時間よりも長くなるように、前記撮像部によって撮像が行われる露光時間における、前記第１照射部及び前記第２照射部による光の照射時間を制御するステップと、を備えた
    　ことを特徴とする撮像制御方法。
PCT/JP2023/022841 2023-06-21 2023-06-21 撮像制御装置及び撮像制御方法 Pending WO2024261884A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025527281A JP7793111B2 (ja) 2023-06-21 撮像制御装置及び撮像制御方法
PCT/JP2023/022841 WO2024261884A1 (ja) 2023-06-21 2023-06-21 撮像制御装置及び撮像制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/022841 WO2024261884A1 (ja) 2023-06-21 2023-06-21 撮像制御装置及び撮像制御方法

Publications (1)

Publication Number Publication Date
WO2024261884A1 true WO2024261884A1 (ja) 2024-12-26

Family

ID=93934960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022841 Pending WO2024261884A1 (ja) 2023-06-21 2023-06-21 撮像制御装置及び撮像制御方法

Country Status (1)

Country Link
WO (1) WO2024261884A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012567A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
JP2016050972A (ja) * 2014-08-29 2016-04-11 ソニー株式会社 制御装置、制御方法、及びプログラム
JP2023035327A (ja) * 2021-09-01 2023-03-13 トヨタ自動車株式会社 搭乗者を撮像する撮像機能を備えた車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012567A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
JP2016050972A (ja) * 2014-08-29 2016-04-11 ソニー株式会社 制御装置、制御方法、及びプログラム
JP2023035327A (ja) * 2021-09-01 2023-03-13 トヨタ自動車株式会社 搭乗者を撮像する撮像機能を備えた車両

Also Published As

Publication number Publication date
JPWO2024261884A1 (ja) 2024-12-26

Similar Documents

Publication Publication Date Title
CN104838644B (zh) 求取检测区域图像信息的摄像机系统和方法
JP4701279B2 (ja) 視覚支援装置
CN112104813A (zh) 拍摄控制装置
US20210208383A1 (en) Light source control device, endoscope system, and light quantity control method
JP4313996B2 (ja) 撮像装置
WO2016031666A1 (ja) 視線検出装置
JP7109866B2 (ja) 照明制御システム及び照明制御方法
JP7793111B2 (ja) 撮像制御装置及び撮像制御方法
WO2024261884A1 (ja) 撮像制御装置及び撮像制御方法
WO2017073045A1 (ja) 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
JP6646879B2 (ja) 撮像装置
JP6003396B2 (ja) 撮像装置、車載用監視装置および対象物検知方法
JP2019156146A (ja) 乗員監視装置
JP4314883B2 (ja) 撮像装置及び撮像方法
JP5486242B2 (ja) 撮像装置
US20240267631A1 (en) Imaging apparatus
WO2019044009A1 (ja) 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
JP4950570B2 (ja) 撮像画像を基に照度を測定する車室内観測装置
JP7464431B2 (ja) 撮影制御システムおよび撮影制御プログラム
JP2012095910A (ja) 内視鏡画像輝度検知システムおよび内視鏡プロセッサ
JP2019204988A (ja) 画像処理装置及び画像処理方法
JP2017161405A (ja) 距離計測装置
US20210166410A1 (en) Distance measurement device
US12367652B2 (en) Synchronizing image frames by super sampling
US12206992B2 (en) Image capture with varied illuminations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23942321

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2025527281

Country of ref document: JP