[go: up one dir, main page]

WO2012014327A1 - 移動体用スペクトル測定装置および移動体用スペクトル測定方法 - Google Patents

移動体用スペクトル測定装置および移動体用スペクトル測定方法 Download PDF

Info

Publication number
WO2012014327A1
WO2012014327A1 PCT/JP2010/062960 JP2010062960W WO2012014327A1 WO 2012014327 A1 WO2012014327 A1 WO 2012014327A1 JP 2010062960 W JP2010062960 W JP 2010062960W WO 2012014327 A1 WO2012014327 A1 WO 2012014327A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
spectrum
information
measurement
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/062960
Other languages
English (en)
French (fr)
Inventor
船山 竜士
健史 佐々木
佐藤 潤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2012507208A priority Critical patent/JP5321735B2/ja
Priority to PCT/JP2010/062960 priority patent/WO2012014327A1/ja
Priority to CN201080042079.4A priority patent/CN103038628B/zh
Priority to DE112010005786.9T priority patent/DE112010005786B4/de
Priority to US13/383,595 priority patent/US9121818B2/en
Publication of WO2012014327A1 publication Critical patent/WO2012014327A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer

Definitions

  • the present invention relates to a spectrum measuring apparatus for a moving body having a spectrum sensor mounted on a moving body such as a vehicle, particularly an automobile, for measuring the spectrum data to be measured, and a spectrum measuring method for the moving body.
  • the present invention relates to improvement of transfer processing.
  • spectrum measuring apparatuses that are being put into practical use recognize a measurement object existing in the surrounding environment by using a spectrum sensor that measures multispectral data including an invisible light region.
  • the spectrum measurement device provides information related to the measurement target to a driving support device that is put to practical use in a vehicle such as an automobile
  • the driving support device recognizes pedestrians and other vehicles existing in the traffic environment around the vehicle. be able to.
  • the driving support device can support the driving operation and decision making of the driver (driver).
  • the spatial resolution that is, the resolution and the wavelength resolution of spectrum data obtained by such a spectrum measuring apparatus are both high, that is, fine, based on the viewpoint of improving the accuracy of recognizing the measurement object.
  • the amount of spectrum data may increase excessively. That is, the spectrum measuring apparatus may require a high data transfer capability and a high data processing capability for transferring a large amount of spectrum data.
  • spectrum measurement devices mounted on mobile objects such as automobiles are subject to various strict constraints such as design constraints and cost constraints, so they must achieve high data transfer capabilities and high data processing capabilities. Is not always realistic.
  • the spectrum measuring apparatus described in Patent Document 1 switches between multispectral observation in which the wavelength resolution is set coarsely instead of finely setting the spatial resolution and hyperspectral observation in which the spatial resolution is coarsely set instead of finely setting the wavelength resolution.
  • the spectrum measuring apparatus performs wavelength reading and spatial resolution by performing binning reading in which data of each pixel received by a detector composed of a two-dimensional CCD is read out in a vertical direction and a horizontal direction. Is set to a value corresponding to multispectral observation or a value corresponding to hyperspectral observation.
  • the data amount of the spectral data certainly changes. That is, the amount of spectrum data observed by the spectrum measuring apparatus is changed as necessary, and the amount of spectrum data read from the detector is suppressed as necessary.
  • An object of the present invention is to enable suitable real-time processing of imaging data obtained from a spectrum sensor while maintaining the identification accuracy of a measurement object by a versatile spectrum sensor mounted on a moving body such as a vehicle. It is an object to provide a moving body spectrum measuring apparatus and a moving body spectrum measuring method.
  • a spectrum measuring apparatus for a mobile object is mounted on a mobile object to measure measurement spectrum data including information consisting of wavelength information and light intensity information of a measurement target.
  • a spectrum sensor ; a processing device mounted on the mobile body to identify the measurement object by processing the measured spectrum data; and signal transmission for transmitting the measured spectrum data from the spectrum sensor to the processing device.
  • Road The mobile spectrum measuring apparatus further transfers data to obtain reconstructed spectrum data by reconfiguring the measured spectrum data so as to select selection information as predetermined information from information included in the measured spectrum data Equipment.
  • the gist of the invention is that the data transfer device is configured to transfer the reconstructed spectrum data to the processing device via the signal transmission path.
  • the data transfer device reduces the information included in the measured spectrum data to only the selection information, and transfers the reconfigured spectrum data after the reduction to the processing device. Therefore, the amount of data flowing through the signal transmission path, that is, the communication line is reduced, and the amount of spectrum data processed by the processing device is also reduced.
  • the spectrum sensor may be a high performance hyperspectral sensor. That is, even when the spectrum sensor acquires measurement spectrum data including a large amount of information, the data transferred from the spectrum sensor to the processing device is reduced to an appropriate data amount. Therefore, the transfer delay in the signal transmission path and the processing delay in the processing device are also eliminated. As a result, the spectrum measuring apparatus can perform the recognition processing in real time while maintaining high recognition accuracy of the measurement target by the spectrum sensor.
  • the spectrum measuring apparatus reduces the data amount of the measured spectrum data obtained by the spectrum sensor. Therefore, when selecting a spectrum sensor to be employed in the spectrum measuring apparatus, it is not necessary to keep the spectrum sensor capability low. That is, it is not necessary to suppress the upper limit of the data amount of the measured spectrum data detected by the spectrum sensor. Therefore, the degree of freedom in selecting the spectrum sensor is improved. That is, a general-purpose spectrum sensor can be employed in the spectrum measuring apparatus.
  • the selection information is preferably information on a wavelength band including a part of wavelength information among the wavelength information included in the measurement spectrum data.
  • the data transfer device generates reconstructed spectrum data based on wavelength band information including a part of wavelength information among the wavelength information obtained by the spectrum sensor. Therefore, the data amount of the reconstructed spectrum data transferred by the data transfer device is surely reduced as compared with the measured spectrum data.
  • the partial wavelength information may be wavelength information required for identifying the measurement target.
  • the data transfer apparatus reconstructs the measurement spectrum data based on the wavelength band information including a part of the wavelength information necessary for identifying the measurement object among the wavelength information. Therefore, the amount of the reconstructed spectrum data transferred by the data transfer device is reliably reduced as compared with the measured spectrum data while maintaining the recognition accuracy of the measurement target.
  • the partial wavelength information may be wavelength information included in ambient light around the moving body.
  • the data transfer device generates reconstructed spectrum data based on the wavelength band information including a part of the wavelength information included in the ambient light around the mobile body among the wavelength information. Therefore, wavelength information of wavelengths that are not included in the ambient light, wavelength information of weak wavelengths, and light intensity information corresponding to the wavelength information are excluded from the measured spectrum data.
  • the data transfer apparatus selects only the wavelength information of light having high intensity among the ambient light and the light intensity information corresponding to the wavelength information. Therefore, the data amount of the reconstructed spectrum data is surely reduced as compared with the measured spectrum data. Since the wavelength information included in the ambient light includes wavelength information with strong light intensity corresponding to the measurement target, the processing apparatus can appropriately recognize the measurement target based on the reconstructed spectrum data.
  • the selection information may be a part of the light intensity information included in the measurement spectrum data.
  • the data transfer device generates reconstructed spectrum data based on a part of the light intensity information in the measured spectrum data. That is, the reconstructed spectrum data is generated based on the density of the light intensity information. Therefore, the data amount of the reconstructed spectrum data transferred by the data transfer device is surely reduced as compared with the measured spectrum data.
  • the measured spectral data may correspond to a plurality of spectral images over time.
  • the selection information may be information of the measurement spectrum data corresponding to only a part of the plurality of measurement spectrum data.
  • the data transfer device generates reconstructed spectrum data based on measurement spectrum data corresponding to only a part of time among all measurement spectrum data. Therefore, the data amount of the reconstructed spectrum data transferred by the data transfer device is surely reduced as compared with the measured spectrum data.
  • the data transfer device may be configured to obtain the reconstructed spectrum data by extracting and excluding wavelength information having meaningless light intensity information from information included in the measurement spectrum data. .
  • wavelength information having a meaningless value in which the value of the light intensity information is saturated or has not changed much is excluded from the reconstructed spectrum data. Therefore, the amount of spectrum data to be transferred is reduced.
  • the data transfer device may be configured to set a transfer maximum value as a maximum value of data amount that can be transferred to the processing device.
  • the data transfer device may limit the amount of the selection information so that the data amount of the reconstructed spectrum data is less than or equal to the maximum transfer value.
  • the data transfer device limits the amount of reconstructed spectrum data so as not to exceed the data transfer capability of the signal transmission path, that is, the communication line, and so as not to exceed the data processing capability of the processing device. be able to. Therefore, transfer delay and processing delay of reconstructed spectrum data are suppressed. That is, the real time property when the spectrum measuring apparatus recognizes the measurement object is ensured.
  • a priority may be set for each of the plurality of measurement objects.
  • the data transfer device may be configured to determine the selection information based on the priority. According to such a configuration, the data transfer device generates reconstructed spectrum data according to the priority. Therefore, the processing apparatus can reliably recognize a high-priority measurement object by real-time processing.
  • the mobile body has a mobile body state acquisition unit that acquires a mobile body state as the state of the mobile body.
  • the data transfer device may be configured to determine the selection information according to the moving body state.
  • the data transfer device can determine the wavelength interval of the wavelength information and the information density of the light intensity information for generating the reconstructed spectrum data according to the state of the moving body such as the vehicle speed and the steering operation. Or, the acquisition time of spectrum data can be changed. Therefore, the processing apparatus can perform recognition processing on the measurement object based on the appropriate reconstructed spectrum data according to the state of the moving body. Thus, the measurement object is suitably identified.
  • the processing apparatus may be configured to be able to set the selection information.
  • the processing device may be configured to issue a request to the data transfer device based on the recognition result of the measurement target.
  • the data transfer device may be configured to determine the selection information in response to the request.
  • the data transfer device generates reconstructed spectrum data by adjusting the wavelength interval of the wavelength information, the information density of the light intensity information, and the acquisition time of the spectrum data based on the feedback from the processing device. can do. For example, when the processing apparatus determines that the appearance of a certain measurement target is expected to be high by processing the reconstructed spectrum data, the processing device, that is, the priority of the high appearance rate target is increased, and the high appearance rate target is set. Change the selection information to correspond. By using the tuned selection information, the data transfer apparatus generates reconstructed spectrum data so as to include information effective for recognition of a high appearance rate target. Therefore, the processing apparatus can recognize and measure the measurement target with a flexible target. That is, the recognition performance of the measurement object can be improved.
  • the selection information may be set so that the data reduction amount for the high appearance rate target is smaller than the data reduction amount for the other measurement targets.
  • the processing apparatus can identify the high appearance rate target in a mode in which the data amount is larger. Therefore, the identification accuracy of the measurement object is maintained high.
  • a spectrum image is generated by the measured spectrum data.
  • the selection information corresponding to the central region of the spectrum image may be set to be different from the selection information corresponding to the peripheral region of the spectrum image.
  • the data transfer apparatus selects different information for the central region and the peripheral region of the spectrum image.
  • the measurement object existing in the central region of the spectrum image looks small because it is far from the moving body, and the relative velocity is low. Therefore, the data transfer apparatus sets the frame rate low instead of finely setting the wavelength information and the light intensity information of the selection information corresponding to the central region of the spectrum image. Therefore, an increase in data amount can be suppressed.
  • the measurement object present in the peripheral region of the spectrum image appears large because it is close to the moving object, but has a high relative velocity. Therefore, the data transfer apparatus sets the wavelength information and the light intensity information roughly instead of setting the frame rate of the selection information corresponding to the peripheral region of the spectrum image high. Therefore, an increase in data amount can be suppressed.
  • the data transfer device can finely identify the measurement object corresponding to the position of the spectrum image.
  • the processing apparatus may be configured to be able to set the selection information.
  • the specific measurement object is referred to as a specific measurement object.
  • the processing device recognizes that the specific measurement target exists in the measurement range of the spectrum sensor, the processing device sets the selection information so as to exclude the measurement spectrum data of a portion corresponding to the presence of the specific measurement target. May be.
  • the data transfer device reconstructs the spectral data of the portion corresponding to the specific measurement target. It can be excluded from the spectral data. Therefore, the data amount of the reconstructed spectrum data is surely reduced.
  • the data transfer device In order to generate the reconstructed spectrum data, the data transfer device represents wavelength information corresponding to a certain range of wavelengths as representative wavelength information, and representative light intensity information based on the light intensity information corresponding to each wavelength information. May be calculated.
  • wavelength information included in a certain wavelength range is replaced with one representative wavelength information
  • light intensity information corresponding to a certain wavelength range is replaced with one representative light intensity information. Therefore, the reconstructed spectrum data is naturally reduced.
  • the data transfer apparatus replaces the wavelength information included in the wavelength range of 550 nm to 650 nm with the wavelength information of 600 nm as a superposition method. Further, the data transfer device replaces the light intensity information corresponding to the wavelength range of 550 nm to 650 nm with light intensity information of 600 nm as one representative light intensity information by convolution or averaging. Therefore, the data amount of the reconstructed spectrum data is surely reduced.
  • a spectrum measurement method for a mobile object includes measurement spectrum data including information including wavelength information and light intensity information of a measurement object by a spectrum sensor mounted on the mobile object.
  • a measurement step of measuring the measurement spectrum data by a processing device mounted on the mobile body, and an identification step of identifying the measurement object; and the measurement spectrum data from the spectrum sensor A transmission step of transmitting the signal to the device via a signal transmission path.
  • the transmitting step further includes obtaining reconstructed spectrum data by reconstructing the measured spectrum data so as to select selection information as predetermined information from information included in the measured spectrum data; And a step of transferring the constituent spectrum data to the processing device via the signal transmission path.
  • the reconstructed spectrum data after reduction in which the information included in the measured spectrum data is reduced to only the selection information is transferred to the processing device. Therefore, the amount of data flowing through the signal transmission path, that is, the communication line is reduced, and the amount of spectrum data processed by the processing device is also reduced.
  • the spectrum sensor may be a high performance hyperspectral sensor. That is, even when the spectrum sensor acquires measurement spectrum data including a large amount of information, the data transferred from the spectrum sensor to the processing device is reduced to an appropriate data amount. Therefore, the transfer delay in the signal transmission path and the processing delay in the processing device are also eliminated.
  • the spectrum measurement method for a mobile object can cause the spectrum measurement device to perform recognition processing in real time while maintaining high recognition accuracy of the measurement target by the spectrum sensor.
  • the spectrum measurement method reduces the data amount of the measured spectrum data after being obtained by the spectrum sensor. Therefore, according to this spectrum measurement method, it is not necessary to keep the capability of the spectrum sensor low when selecting a spectrum sensor to be employed in the spectrum measurement apparatus. That is, it is not necessary to suppress the upper limit of the data amount of the measured spectrum data detected by the spectrum sensor. Therefore, the degree of freedom in selecting the spectrum sensor is improved.
  • the block diagram which shows schematic structure of the spectrum measuring apparatus for moving bodies of 3rd Embodiment of this invention The block diagram which shows schematic structure of the spectrum measuring apparatus for moving bodies of 4th Embodiment of this invention.
  • the block diagram which shows schematic structure of the spectrum measuring apparatus for moving bodies of the modification of this invention The block diagram which shows schematic structure of the spectrum measuring apparatus for moving bodies of the other modification of this invention.
  • the block diagram which shows schematic structure of the spectrum measuring apparatus for moving bodies of the further another modification of this invention The schematic diagram which shows the conditions from which the spectrum measuring apparatus for mobile bodies of the other modification of this invention selects the information contained in spectrum data.
  • the schematic diagram which shows the conditions from which the spectrum measuring apparatus for mobile bodies of the other modification of this invention selects the information contained in spectrum data.
  • FIG. 1 is a block diagram showing an outline of the system configuration of the spectrum measuring apparatus 11.
  • a vehicle 10 as a moving body includes a hyperspectral sensor together with various sensors as a moving body state acquisition unit such as a vehicle speed sensor 6 that detects a vehicle speed V and a steering angle sensor 7 that detects a steering angle. 13 is provided.
  • the hyperspectral sensor 13 constitutes a part of the spectrum measuring device 11.
  • the vehicle 10 includes various control devices such as an engine control device 9 that controls an engine (not shown), and an assist control device 12 that supports a driver's driving operation.
  • Information from the vehicle speed sensor 6 and the steering angle sensor 7 is directly or indirectly input to the engine control device 9 and the support control device 12.
  • An in-vehicle network 20 is connected between the processing device 21 and the support control device 12 and between the support control device 12 and the engine control device 9.
  • the spectrum measurement device 11 recognizes the measurement object by observing the observation light L outside the vehicle 10 including light information including visible light and invisible light, and outputs the recognition information regarding the measurement object to the support control device 12. It is configured.
  • the support control device 12 transmits the recognition information to another control device such as the engine control device 9.
  • the assistance control device 12 is configured to perform driving assistance required for each measurement target.
  • the support control device 12 transmits vehicle information as information on the vehicle 10 transmitted directly from the vehicle speed sensor 6 and the steering angle sensor 7 or indirectly via the engine control device 9 to the spectrum measurement device 11. That is, the vehicle speed sensor 6, the steering angle sensor 7, and the engine control device 9 constitute a vehicle information acquisition unit that acquires vehicle information indicating the state of the vehicle 10.
  • the vehicle information includes the lighting / extinguishing status of the headlamp of the vehicle 10, the operating status of the direction indicator, and the vehicle speed V.
  • a spectrum measuring apparatus 11 includes a hyperspectral sensor 13 that detects measured spectrum data D1 to Dm from observation light L that is light from a measurement target; and a large capacity that transports the measured spectrum data D1 to Dm.
  • m and n are integers each indicating a frame rate and will be described in detail later.
  • the spectrum measuring device 11 has a processing device 21 that performs recognition processing for recognizing a measurement object by using the reconstructed spectrum data E1 to En.
  • the data transfer device 15 and the processing device 21 are connected by an in-vehicle network 20.
  • the large-capacity communication circuit 14 has a shorter length, instead of being able to communicate with a larger capacity than the in-vehicle network 20.
  • the large-capacity communication circuit 14 and the part of the in-vehicle network 20 between the data transfer device 15 and the processing device 21 constitute a signal transmission path between the hyperspectral sensor 13 and the processing device 21.
  • the hyperspectral sensor 13 observes the observation light L as light composed of visible light and invisible light, thereby generating a spectral image that is split into a plurality of wavelength bands.
  • FIG. 2 details the measured spectrum data D1 to Dm as spectrum images obtained by the hyperspectral sensor 13.
  • the measured spectrum data D1 to Dm correspond to the frame rate times t1 to tm of the hyperspectral sensor 13, respectively.
  • the hyperspectral sensor 13 measures 20 pieces of measured spectrum data D1 to Dm per second.
  • Each of the measured spectrum data D1 to Dm corresponds to a momentary spectrum image obtained by the hyperspectral sensor 13.
  • the measurement spectrum data D1 has 150 single-wavelength images F1 to Fx.
  • the single wavelength images F1 to Fx are images corresponding to the wavelengths included in the measurement wavelength band measured by the hyperspectral sensor 13, respectively. That is, the measurement spectrum data D1 is composed of single wavelength images F1 to Fx having the number x of measurement bands as the number obtained by dividing the measurement wavelength band by the wavelength resolution f.
  • one single-wavelength image F1 has i ⁇ j single-wavelength pixels P11 to Pij in a matrix shape.
  • each of the measured spectrum data D1 to Dm as a spectrum image includes wavelength information (number of bands m) as information indicating the wavelength constituting the wavelength band after the spectrum, and the observation light L for each wavelength in these wavelength bands.
  • wavelength information number of bands m
  • Single-wavelength light intensity information p11 to pij as information indicating the light intensity.
  • Each of the measured spectrum data D1 to Dm as a spectrum image has a plurality of single wavelength images F1 to Fx which are images observed for each wavelength in the wavelength band.
  • the single wavelength images F1 to Fx are images observed for each wavelength included in the measurement wavelength band of the hyperspectral sensor 13.
  • the hyperspectral sensor 13 has a detection surface (not shown) configured by a plurality of imaging elements such as a CCD and a CMOS that detect light intensity information.
  • Each of the image sensors constituting the detection surface detects single wavelength light intensity information p11 to pij corresponding to each of the single wavelength pixels P11 to Pij constituting the spectrum image. That is, the plurality of single wavelength pixels P11 to Pij constituting the measurement spectrum data D1 to Dm have single wavelength light intensity information p11 to pij as individual spectrum data corresponding to the measurement wavelength band. That is, each of the single wavelength images F1 to Fx has a plurality of single wavelength pixels P11 to Pij and single wavelength light intensity information p11 to pij respectively corresponding to the plurality of single wavelength pixels P11 to Pij. Therefore, for example, the single wavelength light intensity information p11 of the single wavelength pixel P11 constitutes single pixel light intensity information.
  • the large-capacity communication circuit 14 shown in FIG. 1 transfers the measured spectrum data D1 to Dm composed of 3000 single-wavelength images F1 to Fx per second to the data transfer device 15 as described above.
  • the large-capacity communication circuit 14 is a communication circuit such as a data bus capable of transferring a large amount of data at high speed. That is, the large-capacity communication circuit 14 can sequentially transfer the measured spectrum data D1 to Dm obtained by the hyperspectral sensor 13 to the data transfer device 15 without causing traffic congestion on the way, that is, without delay.
  • the large-capacity communication circuit 14 is a general-purpose, low-cost, high-speed, large-capacity communication circuit that has high reliability and can be realized by a known communication circuit.
  • the communication distance of the large-capacity communication circuit 14 is limited to a short distance, for example, several centimeters to several tens of centimeters at the longest to maintain communication performance.
  • the communication distance of the large-capacity communication circuit 14 is limited to a shorter distance.
  • the data transfer device 15 is mainly composed of a microcomputer having an arithmetic device and a storage device.
  • a program used for data selection processing for generating the reconstructed spectrum data E1 to En and various setting values required for the data selection processing are stored in advance.
  • the data transfer device 15 includes a temporary storage device (not shown) for temporarily storing a plurality of measured spectrum data D1 to Dm and reconstructed spectrum data E1 to En.
  • FIG. 3 shows reconstructed spectrum data E1 to En generated by the data transfer device 15 reconstructing the measured spectrum data D1 to Dm. That is, the data transfer device 15 generates reconstructed spectrum data E1 to En by reducing and reconstructing a part of the information included in the measured spectrum data D1 to Dm by thinning or convolution. The data transfer device 15 outputs the reconstructed spectrum data E1 to En to the processing device 21 via the in-vehicle network 20.
  • N represents the frame rate of the reconstructed spectrum data E1 to En
  • y represents the number of reconstructed bands.
  • the reconstructed spectrum data E1 is a spectrum image constituted by a plurality, that is, y reconstructed single wavelength images G1 to Gy.
  • the reconstructed single wavelength images G1 to Gy are images made up of information selected from the measured spectrum data D1 to Dm by the data selection process, respectively.
  • the reconstructed single wavelength image G1 has reconfigurable single wavelength pixels Q11 to Qgh in a matrix form. That is, g indicates the horizontal resolution of the reconstruction space decomposition, and h indicates the vertical resolution. Corresponding to these reconstructed single wavelength pixels Q11 to Qgh, reconstructed light intensity information q11 to qgh as reconstructed single wavelength light intensity information is obtained.
  • the storage device 16 shown in FIG. 1 is all or part of a storage area provided in a known storage device.
  • the storage device 16 stores in advance one or a plurality of data selection conditions as predetermined information, that is, selection information used by the data transfer device 15 for data selection processing.
  • the data transfer device 15 acquires a data selection condition used for data selection processing from the storage device 16.
  • the storage device 16 of the present embodiment stores a plurality of data selection conditions with different information reduction methods and different information reduction amounts.
  • the data transfer device 15 selects an appropriate data selection condition from the storage device 16 based on the specifications of the in-vehicle network 20 and the processing device 21, and performs a data selection process based on the selected data selection condition.
  • Predetermined information that is selected by the data transfer device 15 to generate reconstructed spectrum data E1 to En from the measured spectrum data D1 to Dm that is, a predetermined condition indicating the selection information is, for example, the following “frame rate changing condition” , “Wavelength resolution changing condition”, and “resolution changing condition”. “Frame rate changing condition” reduces the number of measurement spectrum data D1 to Dm, “Wavelength resolution changing condition” reduces the number of single wavelength images F1 to Fx, and “Resolution changing condition” is a single wavelength pixel. The number of P11 to Pij is reduced.
  • the data selection conditions are not limited to these.
  • the frame rate changing condition is used to select a part of the measured spectrum data D1 to Dm, which are spectrum images, and generate reconstructed spectrum data E1 to En. That is, the frame rate n of the reconstructed spectrum data E1 to En is set smaller than the frame rate m of the measured spectrum data D1 to Dm. m> n.
  • the data transfer device 15 selects only D1 as selection information from the measured spectrum data D1 to D5, and deletes D2, D3, D4, and D5. That is, only 1/5 of the measured spectrum data D1 is selected.
  • the wavelength resolution changing condition is used to generate a reconstructed single wavelength image G1 to Gy by selecting a part of the single wavelength images F1 to Fx. That is, the reconstruction band number y as the number of bands of the reconstructed single wavelength images G1 to Gy is set to be smaller than the measurement band number x which is the number of bands of the single wavelength images F1 to Fx. x> y.
  • reconstructed spectrum data E1 to En are generated. That is, the wavelength resolution of the reconstructed spectrum data E1 to En is coarser or lower than the wavelength resolution of the measured spectrum data D1 to Dm.
  • the information amount of the reconstructed spectrum data E1 to En is 1/10 compared to the 3000 single wavelength images F1 to Fx of the measured spectrum data D1 to Dm.
  • the resolution change condition is used to select a part of the single wavelength pixels P11 to Pij and generate the reconstructed single wavelength pixels Q11 to Qgh. That is, reconstructed light intensity information q11 to qgh corresponding to some pixels is generated from the single wavelength light intensity information p11 to pij corresponding to the single wavelength pixels P11 to Pij, respectively. Therefore, the resolution of the reconstructed single wavelength images G1 to Gy is coarser, that is, lower than the resolution of the single wavelength images F1 to Fx.
  • the data transfer device 15 selects at least one of these data selection conditions and executes a data selection process based on the selected data selection conditions. For these reasons, the information amount of the reconstructed spectrum data E1 to En created by the data transfer device 15 is surely reduced as compared with the information amount output from the hyperspectral sensor 13. That is, the amount of data based on the information included in the reconstructed spectrum data E1 to En per unit time is reduced as compared to the measured spectrum data D1 to Dm per unit time.
  • the in-vehicle network 20 shown in FIGS. 1 and 3 is, for example, an in-vehicle local CAN (Controller Area Network), and is a general-purpose communication line that can secure a certain communication distance, for example, several meters to several tens of meters. . That is, since the in-vehicle network 20 has a high degree of freedom of wiring constituting the communication line, it is possible to secure a distance between the communicating devices.
  • the in-vehicle network 20 may be connected to another device of the data transfer device 15 and the processing device 21. That is, according to the in-vehicle network 20, the degree of freedom of arrangement of the data transfer device 15 and the processing device 21 in the vehicle 10 can be increased.
  • the in-vehicle network 20 has a high degree of freedom in connection of wiring and devices, but has a characteristic that when the amount of communication data increases, collision of communication data and waiting for communication occur and communication efficiency decreases. Be constrained.
  • the amount of data that can be communicated by the in-vehicle network 20 is smaller than the amount of data that can be transferred by the large-capacity communication circuit 14, and is, for example, 1/100 to 1/100.
  • the data transfer device 15 reconstructs the reconstructed spectrum data E1 to En having a data amount reduced from the measured spectrum data D1 to Dm, and outputs the reconstructed spectrum data E1 to En to the in-vehicle network 20.
  • the data amount transferred to the in-vehicle network 20 by the data transfer device 15 can be reduced to a data amount that can be suitably transferred by the in-vehicle network 20. That is, the reconstructed spectrum data E1 to En can be suitably transferred to the processing device 21 via the in-vehicle network 20.
  • the processing device 21 shown in FIG. 1 is mainly configured by a microcomputer having an arithmetic device 22 and a storage device. Since the processing device 21 is connected to the data transfer device 15, the reconstructed spectrum data E1 to En output from the data transfer device 15 are input. The processing device 21 recognizes the measurement target by performing a measurement target identification process based on the input reconstructed spectrum data E1 to En. Since the processing device 21 recognizes the measurement target by a known method, in this embodiment, the configuration of the processing device 21 for recognizing the measurement target and the recognition processing portion for recognizing the measurement target. The detailed description is omitted for convenience.
  • the processing device 21 performs measurement target identification processing based on the input reconstructed spectrum data E1 to En. For example, the processing device 21 determines whether or not the spectrum images match or does not match by comparing the measured spectrum image with the spectrum image to be measured stored in advance in a storage device (not shown). Recognize the object to be measured. In general, comparison of spectral images requires a process for selecting a comparison area, a process for comparing by sequentially updating a measurement object until the measurement object is specified in the selected comparison area, and many processes. For this reason, many operations by the arithmetic unit 22 are required for these processes.
  • the processing device 21 performs recognition processing for all of the spectral images picked up by the hyperspectral sensor 13, high performance is required for the processing device 22 that performs calculations related to the recognition processing.
  • the processing device 21 (arithmetic device 22) is subject to various restrictions in terms of design and cost due to restrictions placed on the vehicle. Therefore, simply increasing the performance of the processing device 21 and the arithmetic device 22 included therein may cause problems in their versatility, low cost, and maintainability.
  • the data transfer device 15 reduces the data amount of the reconstructed spectrum data E1 to En transferred to the processing device 21 to a data amount that can be suitably recognized and processed by the processing device 21, whereby the reconstructed spectrum data
  • the data E1 to En can be suitably processed in real time by the processing device 21.
  • the processing device 21 recognizes the measurement object while ensuring the real-time property through the recognition processing by the arithmetic device 22. Further, the processing device 21 uses the recognized measurement target information by the processing device 21 itself, or transmits the information to the support control device 12 that is an external device of the spectrum measurement device 11.
  • FIG. 4 is a flowchart showing a procedure of data selection processing performed by the data transfer device 15. The data selection process is sequentially executed in synchronization with the measurement of the spectrum image by the hyperspectral sensor 13.
  • the data transfer device 15 sets data selection conditions in step S10.
  • the data transfer device 15 of the present embodiment specifies the maximum transfer value as the maximum amount of data that can be transferred to the in-vehicle network 20, the transferable data amount specified in the in-vehicle network 20, and the processing device 21. This is set based on the amount of data that can be recognized in real time.
  • the maximum transfer value is preset in the data transfer device 15 and the storage device 16. When the transfer maximum value is set, the data transfer device 15 acquires from the storage device 16 data selection conditions for generating the reconstructed spectrum data E1 to En that do not exceed the transfer maximum value.
  • step S20 the data transfer device 15 selects information included in the measured spectrum data D1 to Dm based on the data selection condition, and generates reconstructed spectrum data E1 to En by reconstructing the selected information. Therefore, reconstructed spectrum data E1 to En with a reduced amount of information, that is, the amount of data are generated.
  • step S30 the data transfer device 15 transfers the reconstructed spectrum data E1 to En to the processing device 21.
  • the data transfer device 15 prevents the data amount of the reconstructed spectrum data E1 to En from exceeding the data transfer capability of the in-vehicle network 20 and the processing capability of the processing device 21. Therefore, a delay in transfer of the reconstructed spectrum data E1 to En by the in-vehicle network 20 and a delay of the processing device 21 based on the reconfigured spectrum data E1 to En are prevented. Therefore, the measurement object recognition process based on the spectrum image is suitably performed in real time.
  • the spectrum measuring apparatus that performs binning readout can also change the data amount in various ways by arbitrarily setting the wavelength resolution and spatial resolution of data readout from the detector. .
  • the data transfer device 15 of this embodiment does not modify the hyperspectral sensor 13 itself, but reduces the measured spectral data D1 to Dm output from the hyperspectral sensor 13. Therefore, in this embodiment, the hyperspectral sensor 13 having a high spectrum measurement capability can be used as it is in the spectrum measurement device 11.
  • the data transfer device 15 reduces the information included in the measurement spectrum data D1 to Dm by selecting only the selection information as the predetermined information, and reconstructed spectrum data E1 to En, which is data after the reduction Is transferred to the processing device 21. As a result, the amount of data flowing through the in-vehicle network 20 and the amount of reconstructed spectrum data E1 to En to be processed by the processing device 21 are reduced.
  • the spectrum measurement device 11 reduces the measurement spectrum data D1 to Dm to an appropriate data amount, Reconstructed spectrum data E1 to En, which is data after reduction, can be transferred to the processing device 21.
  • the transfer delay of the in-vehicle network 20 and the processing delay of the processing device 21 are eliminated. That is, the spectrum measuring apparatus 11 can sufficiently perform the recognition process in real time while maintaining the recognition accuracy of the measurement object high by using the hyperspectral sensor 13.
  • the data transfer device 15 uses the reconstructed spectrum data E1 to E1 based on the wavelength band information composed of a part of the wavelength information out of the wavelength information output from the hyperspectral sensor 13, that is, based on the wavelength resolution changing condition. En is generated. Therefore, the data amount of the reconstructed spectrum data E1 to En transferred from the data transfer device 15 can be surely reduced.
  • the data transfer device 15 responds to the resolution based on a part of the light intensity information output from the hyperspectral sensor 13, that is, based on the resolution change condition, in other words, based on the density of the light intensity information.
  • the resolution change condition in other words, based on the density of the light intensity information.
  • the data transfer device 15 reconstructs the spectral data E1 based on partial time information of the measured spectral data D1 to Dm respectively corresponding to the temporal spectral images output from the hyperspectral sensor 13. ⁇ En are generated. That is, reconstructed spectrum data E1 to En are generated from the measured spectrum data D1 to Dm according to the frame rate of the spectrum image captured over time, that is, according to the frame rate changing condition. Therefore, the data amount of the reconstructed spectrum data E1 to En transferred from the data transfer device 15 can be surely reduced.
  • the data transfer device 15 handles the maximum value of the reconstructed spectrum data E1 to En in real time determined by the data transfer capability of the in-vehicle network 20, that is, the signal transmission path or communication line, and the data processing capability of the processing device 21. Set it below the maximum capacity of the possible data volume. Therefore, when transferring the reconfigured spectrum data E1 to En, the data transfer delay and the data processing delay are suppressed, and the real-time performance of the spectrum measuring apparatus 11 for the measurement object recognition process is reliably improved.
  • (Second Embodiment) 5 and 6 illustrate a spectrum measuring apparatus 11 according to the second embodiment of the present invention.
  • the present embodiment is different from the first embodiment in that it has a speed table 19 for selecting the reconfigured frame rate n according to the vehicle speed V, and the other configurations are the same. For this reason, the same reference numerals are given to the same components, and redundant description is omitted. That is, the data selection condition of the present embodiment is not determined in advance, but changes according to the vehicle speed V.
  • the data selection condition setting shown in the flowchart of FIG. 6 corresponds to the details of step S10 of FIG.
  • the reconstruction frame rate n is set to 15 fps when the speed is less than 120 km, and the reconstruction frame rate n is set to 30 fps when the vehicle speed V is 120 km or more.
  • FIG. 6 is a flowchart showing a processing procedure for setting data selection conditions by the spectrum measuring apparatus 11.
  • the data transfer device 15 sets the initial transmittable capacity ct0.
  • the initial transmittable capacity ct0 is set based on information on the vehicle 10 newly acquired by the data transfer device 15.
  • the newly acquired information of the vehicle 10 includes information acquired based on the recognition status of the measurement target and the external environment of the vehicle, and the data transfer device 15 acquires from the processing device 21 via the in-vehicle network 20.
  • the initial transmittable capacity ct0 may be set by the data transfer device 15 based on the priority of the measurement target or based on limited information necessary for identifying the measurement target.
  • the initial transferable capacity ct0 is set by the data transfer device 15 based on the amount of data that can be transferred from the processing device 21 and the data that can be transferred in the in-vehicle network 20 or the data that can be processed by the processing device 21. May be.
  • the initial transmittable capacity ct0 n0 ⁇ y0 ⁇ g0 ⁇ h0.
  • the initial reconstruction frame rate n0 10 fps
  • the number of initial reconstruction bands y0 20 (20 bands)
  • the initial reconstruction resolution g0 ⁇ h0 320 ⁇ 240 (320 ⁇ 240 pixels).
  • step S12 the data transfer device 15 acquires the vehicle speed V from the support control device 12 via the processing device 21.
  • step S13 the data transfer device 15 selects the reconstructed frame rate n by referring to the speed table 19 stored in the storage device 16.
  • step S14 the data transfer device 15 selects a new reconstruction resolution g1 ⁇ h1.
  • the data transfer device 15 determines the reconstruction frame rate n1, the resolution m2, and the new number of bands. Based on b2, reconstructed spectrum data E1 to En are generated. Then, the data transfer device 15 transmits the reconstructed spectrum data E1 to En to the processing device 21 via the in-vehicle network 20.
  • the second embodiment shown in FIGS. 5 and 6 has an effect equivalent to or equivalent to the effect of the first embodiment, and further has the following effects.
  • the data transfer device 15 changes the reconstructed frame rate n of the reconstructed spectrum data E1 to En according to the vehicle speed V. Therefore, it is possible to recognize the measurement object in real time by the processing device 21 while maintaining the recognition accuracy even when the vehicle speed V changes.
  • FIG. 7 is a block diagram showing a schematic configuration of the spectrum measuring apparatus 11 according to the third embodiment of the present invention.
  • the data transfer device 15 does not acquire the data selection condition from the storage device 16, but the processing device 21 sets the data selection condition C1 as selection information in the data transfer device 15 described above. This is different from the first embodiment.
  • the arithmetic device 22 includes a selection condition generation unit 23 that generates a data selection condition C1. Since other configurations are the same, redundant description with the first embodiment is omitted.
  • the processing device 21 acquires various tables indicating the priority of the measurement target from the storage device 25.
  • the priority of the measurement target is a priority that changes by feedback according to the current recognition status of the measurement target of the processing device 21 or the priority of the vehicle 10. There is a priority that changes according to the state and the environment outside the vehicle.
  • the storage device 25 also stores wavelength information (wavelength band made up of one or more pieces of wavelength information) required for identification for each measurement target.
  • the wavelength information suitable for the recognition of the measurement object corresponding to the light source spectrum of the ambient light may be stored in the storage device 25, for example, day or night.
  • the selection condition generation unit 23 calculates a measurement target to be detected preferentially based on referring to the priority of the measurement target set in the storage device 25.
  • the selection condition generation unit 23 refers to the storage device 25 so as to reflect the current recognition state of the measurement target of the processing device 21.
  • the selection condition generation unit 23 generates a data selection condition C1 as selection information suitable for detecting a measurement target based on the calculated priority with reference to the storage device 25 and outputs the data selection condition C1 to the data transfer device 15. .
  • the selection condition generation unit 23 selects data suitable for detecting pedestrians, cars, and road surfaces.
  • the condition C1 may be generated.
  • a data selection condition C1 suitable for detecting pedestrians is set.
  • the data transfer device 15 may be output after generation. For example, as the data selection condition C1, when no pedestrian is found in the preprocessing, the reconstruction frame rate n is increased in order to quickly find a newly appearing pedestrian, while the reconstruction resolution g ⁇ h or the reconstruction is performed. The number of bands y may be reduced.
  • the data selection condition C1 may be set so that the wavelength resolution before and after the wavelength corresponding to the pedestrian is set high.
  • the selection condition generation unit 23 may generate the data selection condition C1 so that wavelength information suitable for detection of the measurement target is set separately for day and night.
  • the data selection condition C1 mainly includes wavelength information corresponding to the wavelength component included in the headlamp as the light source. Is generated.
  • the selection condition generation unit 23 detects that it is nighttime through the support control device 12, the selection condition generation unit 23 generates the data selection condition C1 so that wavelength information corresponding to the wavelength components of the illuminating lamp and the projector is mainly used.
  • the selection condition generation unit 23 may generate a data selection condition C1 suitable for detection of the measurement target according to the vehicle speed V and the steering angle acquired from the support control device 12.
  • the selection condition generation unit 23 sets the data selection condition C1 generated as described above in the data transfer device 15.
  • the data transfer device 15 generates reconstructed spectrum data E1 to En from the measured spectrum data D1 to Dm based on the set data selection condition C1. Therefore, the data amount of the reconstructed spectrum data E1 to En is surely reduced than the data amount of the measured spectrum data D1 to Dm.
  • the third embodiment of FIG. 7 also has the same or similar effects as those of the first embodiment, and the effects listed below.
  • the processing device 21 sets the data selection condition C1 and transmits it to the data transfer device 15. Therefore, the data transfer device 15 can generate the reconstructed spectrum data E1 to En based on detailed instructions according to the situation.
  • the processing device 21 can set the data selection condition C1 so as to be based on the wavelength information including the wavelength information included in the ambient light around the moving body, that is, the wavelength information included in the light source in the wavelength information. Therefore, the processing device 21 can set the data selection condition C1 so as to exclude the wavelength information of the ambient light, that is, the wavelength not included in the light source, the wavelength information of the weak intensity, and the light intensity information corresponding to the wavelength information. Accordingly, since the data transfer device 15 can select only the wavelength information of the wavelength having a strong intensity under the ambient light, that is, the light source, and the light intensity information corresponding to the wavelength information, the data amount of the reconstructed spectrum data E1 to En is ensured. Reduced.
  • the recognition processing by the processing device 21 is performed with the reconstructed spectrum data E1 to E1 with a reduced data amount. Even when based on En, it is preferably performed.
  • the selection condition generation unit 23 can set the data selection condition C1 as a request so as to be fed back to the data transfer device 15 according to the recognition result of the measurement target by the processing device 21.
  • the selection condition generation unit 23 can change the data selection condition C1 based on the wavelength interval of the wavelength information, the information density of the light intensity information, and the acquisition time of the spectrum data. For example, according to the recognition result of the processing device 21, when the priority is changed in order to measure the high appearance rate target that is expected to appear, the processing device 21 selects the data so as to capture the high appearance rate target.
  • the condition C1 can be changed.
  • the data reconstruction process of the data transfer device 15 is improved so that the necessary measurement object can be flexibly changed and recognized.
  • the recognition performance of the measurement object is improved.
  • FIG. 8 is a block diagram showing a schematic configuration of the spectrum measuring apparatus 11 according to the fourth embodiment of the present invention. Note that this embodiment is different from the above-described third embodiment of FIG. 7 in that a navigation device 30 that extends the environment information acquisition device is added. Furthermore, it has an optical sensor 8.
  • the navigation device 30 that forms part of the environment information acquisition device is connected to the processing device 21 via the support control device 12.
  • the navigation device 30 may be directly connected to the processing device 21.
  • the navigation device 30 is a device that acquires information on the external environment of the vehicle 10, and constitutes various environment acquisition devices that acquire, for example, the travel position and day and night of the vehicle 10.
  • the navigation device 30 transmits these various environmental information to the processing device 21.
  • the navigation device 30 detects the position information of the vehicle 10 to detect the characteristics of the traveling place such as the urban area, the highway, and the field, and shows the position on the map of the display panel. Can tell.
  • the navigation device 30 may determine day and night with a clock or illuminometer.
  • the navigation device 30 may specify the position by GPS (Global Positioning System) position information or a combination of the position information and the map, or may be acquired by communication from a system that reports the position information. May be. Further, the optical sensor 8 forming a part of the environmental information acquisition device may transmit environmental light or other detection information of day and night to the processing device 21 via the engine control device 9.
  • GPS Global Positioning System
  • various tables indicating the priority of the measurement target are set.
  • the priority of the measurement target the priority of the measurement target set in accordance with the environmental state acquired by the navigation device 30 is stored in advance. For example, information in which the priority of the measurement object that frequently appears from the characteristics of the travel location is increased, or information in which the priority of the measurement object that should not appear from the characteristics of the travel location is decreased is set.
  • the storage device 25 also stores wavelength information necessary for identification for each measurement target.
  • the selection condition generation unit 23 calculates the measurement target to be detected with priority based on referring to the priority of the measurement target set in the storage device 25 according to the environment information input from the navigation device 30. To do.
  • the selection condition generation unit 23 generates a data selection condition C2 based on the calculated priority, and sets the data selection condition C2 in the data transfer device 15.
  • the processing device 21 when the navigation device 30 detects the city area, the processing device 21 generates the data selection condition C2 that causes the data transfer device 15 to select information suitable for detecting a bicycle or a pedestrian. May be. Further, for example, when the navigation device 30 detects an expressway, the processing device 21 generates a data selection condition C2 that causes the data transfer device 15 to select information suitable for detecting a car. Also good. Further, the data selection condition C2 may be generated so that the data transfer device 15 selects information suitable for detecting a pedestrian that has a low possibility of appearing on an expressway but has a large influence. The selection condition generation unit 23 may generate the data selection condition C ⁇ b> 2 so that the data transfer device 15 selects information suitable for detection of the measurement object day or night.
  • the selection condition generation unit 23 may generate the data selection condition C2 that causes the data transfer device 15 to select only the wavelength information corresponding to the spectrum of the light source observed or estimated by the optical sensor 8. Good. Further, for example, the selection condition generation unit 23 responds to a request for image information to be displayed on the display panel of the navigation device 30 with light of red “R”, green “G”, and blue “B” as selection conditions for wavelength information. As the wavelength information, the data selection condition C2 may be generated.
  • the selection condition generation unit 23 sets the data selection condition C2 generated as described above in the data transfer device 15.
  • the data transfer device 15 generates reconstructed spectrum data E1 to En from the measured spectrum data D1 to Dm based on the set data selection condition C2. Therefore, the data amount of the reconstructed spectrum data E1 to En is surely reduced than the data amount of the measured spectrum data D1 to Dm.
  • the same effects as those of the first and third embodiments can be obtained, and the following effects can also be obtained.
  • FIG. 9 is a block diagram showing a schematic configuration of the spectrum measuring apparatus 11 according to the fifth embodiment of the present invention. This embodiment is different from the third embodiment of FIG. 7 in that an object detection device 31 such as a camera, a radar, or a laser measurement device is used.
  • an object detection device 31 such as a camera, a radar, or a laser measurement device is used.
  • the target detection device 31 is connected to the processing device 21 via the support control device 12. Alternatively, the target detection device 31 may be directly connected to the processing device 21.
  • the object detection device 31 detects a measurement object and a detection object that exist in the external environment of the vehicle 10. For example, the object detection device 31 detects a measurement object or a detection object such as a vehicle traveling ahead, a structure around a road, or a building in order to detect the measurement object or the detection object based on the map information and the position information. It is an information acquisition device.
  • the target detection device 31 transmits the detected detection target to the processing device 21. That is, the target detection device 31 is a device that detects a vehicle ahead by image recognition based on a captured image of a camera, radar, or laser. Further, the object detection device 31 may be a navigation system that detects structures and buildings around the road from the position information of the vehicle 10 and conveys these positions to a passenger by displaying them on a map on the display panel.
  • the selection condition generation unit 23 does not include information on the portion corresponding to the position where the detection target exists in the reconstructed spectrum data E 1 to En.
  • the data selection condition C3 is set. Furthermore, the selection condition generation unit 23 may generate the data selection condition C3 based on the priority of the measurement target. For example, the selection condition generation unit 23 may generate a data selection condition C3 by adding a condition that does not select a position where the detection target exists to the data selection condition C2 generated in advance. The data selection condition C3 may be generated from the data selection condition C2 and the condition that does not select the position where the detection target exists.
  • the selection condition generation unit 23 sets the data selection condition C3 generated as described above in the data transfer device 15.
  • the data transfer device 15 generates reconstructed spectrum data E1 to En from the measured spectrum data D1 to Dm based on the set data selection condition C3. Therefore, the data amount of the reconstructed spectrum data E1 to En is surely reduced than the data amount of the measured spectrum data D1 to Dm.
  • the data transfer device 15 may process the data selection condition C2 and then process other data selection conditions C3, or may process the data selection condition C3 at a time.
  • the fifth embodiment of FIG. 9 also obtains the same or equivalent effects as those of the first embodiment and the third actual embodiment, and the following effects.
  • the map information may be provided in the storage device 25 of the spectrum measuring device 11. That is, the map information is not limited to being provided in the navigation device 30 or the object detection device 31 outside the spectrum measurement device 11 as in the third and fourth embodiments.
  • the data transfer device 15 of each of the above embodiments may include an inappropriate data selection unit 17.
  • the inappropriate data selection unit 17 excludes meaningless information included in the measured spectrum data D1 to Dm so that meaningless information is not included in the reconstructed spectrum data E1 to En.
  • the inadequate data selection unit 17 inspects the light intensity information included in the measurement spectrum data D1 to Dm, for example, the light intensity information value is saturated exceeding the upper limit value or the lower limit value, or less than the lower limit value. The light intensity information that is meaningless as information that is not changed at all is detected.
  • the data transfer device 15 does not select, that is, exclude the light intensity information detected as inappropriate data from the reconstructed spectrum data E1 to En.
  • the amount of data transferred as the reconstructed spectrum data E1 to En is reduced, and the recognizing spectrum data E1 to En is prevented from containing meaningless light intensity information, thereby improving the recognition accuracy of the measuring apparatus. It can also be maintained.
  • the inappropriate data selection unit 17 may be applied later to the reconstructed spectrum data E1 to En generated based on the data selection conditions from the measured spectrum data D1 to Dm.
  • the data transfer device 15 may be provided with a spectrum data processing unit 18 for processing a part of the measured spectrum data D1 to Dm.
  • the spectrum data processing unit 18 reduces the wavelength information based on the condition set by the data selection condition C1. For example, the spectrum data processing unit 18 averages or convolves light intensity information in a specific wavelength region, for example, 550 nm to 650 nm, which is set as a region that has little influence on the recognition of the measurement object because the change in information is small. . That is, the spectrum data processing unit 18 obtains one representative light intensity information corresponding to one specific representative wavelength, for example, 600 nm.
  • the data transfer device 15 uses a plurality of wavelength information corresponding to wavelengths of 550 nm to 650 nm as wavelength information of 600 nm, and converts light intensity information corresponding to wavelengths of 550 nm to 650 nm to wavelength information of 600 nm by convolution or averaging. Is calculated as light intensity information. Accordingly, wavelength information of 550 nm to 650 nm and light intensity information corresponding to them are selected as wavelength information of 600 nm and light intensity information corresponding thereto.
  • the selection condition generation unit 23 of the third to fifth embodiments includes a peripheral region 35 as a peripheral portion of the spectrum image 34, a transition region 36 as an intermediate portion, and a center as a central portion.
  • the reconstruction frame rate n, the number of reconstruction bands y, and the reconstruction resolution, that is, the reconstruction resolution g ⁇ h may be changed in accordance with each of the areas 37.
  • the measurement object that appears in the peripheral region 35 appears large because the relative distance to the vehicle 10 is close, and the relative speed with respect to the vehicle 10 is high.
  • the moving speed of is also fast.
  • the data selection condition for the peripheral region 35 of the spectrum image 34 can be set to a low reconstruction resolution g ⁇ h or a small reconstruction rate instead of increasing the reconstruction frame rate n so that the processing device 21 can quickly recognize the measurement target. Set the number of constituent bands to y.
  • the measurement object shown in the central region 37 of the spectrum image 34 appears small because the relative distance to the vehicle 10 is long, the relative speed with respect to the vehicle 10 is slow, and the moving speed in the spectrum image 34 is also slow. From this, so that the processing device 21 can recognize the measurement target with high accuracy, the data selection condition for the central region 37 of the spectrum image 34 is not a high reconstruction resolution g ⁇ h or a large number of reconstruction bands y. Set to low reconstruction frame rate n. In addition, for the transition region 36 located between the peripheral region 35 and the central region 37 of the spectrum image 34, the data selection condition is set to the medium reconstruction resolution g ⁇ h and the number of reconstruction bands y, and the medium reconstruction is performed. The configuration frame rate is set to n.
  • the data transfer device 15 uses the wavelength interval of the wavelength information, that is, the wavelength resolution, and the information density of the light intensity information for generating the reconstructed spectrum data E1 to En according to the vehicle speed V and the state of the vehicle 10 by the steering operation. That is, the resolution and the acquisition time interval of the measurement spectrum data, that is, the frame rate can be changed. Therefore, the spectrum measuring apparatus can perform recognition processing of the measurement object based on appropriate reconstructed spectrum data E1 to En reconfigured according to the state of the moving object. As a result, more suitable identification of the measurement object is realized. For example, the amount of reconstructed spectrum data can be reduced while maintaining the recognition accuracy of the measurement object, compared to a case where information is selected for all regions of the spectrum image under the same conditions. Therefore, the recognition process of the measurement object in real time is easy.
  • the data transfer device 15 and the storage device 16 are reconfigured with the reconstructed frame rate n and the reconfiguration according to the peripheral region 35, the transition region 36, and the central region 37 of the spectrum image 34.
  • the data selection condition may be set by changing the number of constituent bands y and the reconstruction resolution g ⁇ h.
  • the selection condition generation unit 23 of the third to fifth embodiments may set the reconstructed frame rate n of the portion corresponding to the new traveling direction in the spectrum image 34 to be large according to the steering operation angle, that is, the steering angle. Good. That is, instead of allowing the measurement object to be recognized quickly, the reconstruction resolution g ⁇ h and the number of reconstruction bands y may be set small. Therefore, the processing device 21 can appropriately recognize and process a new measurement object in the traveling direction in real time.
  • the selection condition generation unit 23 of the third to fifth embodiments places a priority frame on the boundary portion between the measurement target 39 and the background.
  • W may be set.
  • the data selection condition may be generated by changing the reconstruction frame rate n, the reconstruction resolution g ⁇ h, and the number of reconstruction bands y for the priority frame W.
  • the priority frame W is set so that the pedestrian's face and the like can be locked on in advance so that the pedestrian's face and the like appearing from a shadow as a blind spot of another vehicle as the measurement target 39 can be quickly recognized.
  • the priority frame W is set to a high reconstruction frame rate n and the priority frame W is small, the reconstruction resolution g ⁇ h and the number of reconstruction bands y are also set high. Therefore, a further measurement object appearing from the blind spot of the measurement object 39 can be quickly detected by real-time recognition processing without greatly increasing the data amount of the reconstructed spectrum data E1 to En.
  • the data transfer device 15 acquires the data selection condition from the storage device 16 in order to generate the reconstructed spectrum data E1 to En that does not exceed the maximum transfer value.
  • the data transfer device sequentially selects the information of the measurement object having a high priority, and the reconfigured spectrum data E1 to En are transferred.
  • the maximum value should not be exceeded.
  • the data transfer device 15 has a high priority. The reconstructed spectrum data E1 to En are recreated so as to limit the information related to the measurement target.
  • the new reconstruction resolution g1 ⁇ h1 is not limited to the initial reconstruction resolution g0 ⁇ h1, but may be changed.
  • both the new reconstruction resolution g1 ⁇ h1 and the new reconstruction band number y1 are changed.
  • the degree of freedom in setting data selection conditions is increased.
  • the speed table 19 is not limited to setting the reconstruction frame rate n in relation to the vehicle speed V, but may set the reconstruction frame rate n in relation to the steering angle of the vehicle. Good. For example, as the steering angle increases, the reconstruction frame rate n is increased and the reconstruction band number y is decreased so that the measurement target can be found in a short time. Therefore, a suitable reconstruction frame rate n can be set according to the vehicle state.
  • the storage device 16 may store data including wavelength information necessary for recognition of the measurement target. Therefore, the data transfer apparatus may generate reconstructed spectrum data including wavelength information required for the measurement target by acquiring data corresponding to the measurement target. Therefore, as the spectrum measuring apparatus 11, the amount of data is reduced, and the recognition accuracy for the selected measurement object is improved.
  • the storage device 16 may store wavelength information data included in the light source. That is, the data transfer device 15 can generate the reconstructed spectrum data E1 to En so as to surely include the wavelength information included in the light source.
  • a plurality of conditions may be selected simultaneously from among the reconstruction frame rate n, the reconstruction resolution g ⁇ h, and the number of reconstruction bands y, or only one may be set. Good.
  • the degree of freedom in designing the spectrum measuring apparatus 11 can be expanded. For example, when the data amount of the measured spectrum data D1 to Dm is small, the information may be selected under effective conditions.
  • the reconstruction frame rate n, the reconstruction resolution g ⁇ h, and the number of reconstruction bands y are not limited to predetermined values, and can be arbitrarily changed by a setting device. May be.
  • the data transfer device 15 and the processing device 21 may change the selection information in response to other data amount fluctuations passing through the in-vehicle network 20.
  • Other devices may change the selection information. The degree of freedom of data selection conditions is increased.
  • the data selection condition may be set by an arithmetic expression instead of a map.
  • the degree of freedom in designing data selection conditions in the spectrum measuring apparatus 11 is increased.
  • the hyperspectral sensor 13 and the data transfer device 15 may be unitized to form one hyperspectral sensor unit 40.
  • the hyperspectral sensor unit 40 has a bus that constitutes a large-capacity communication circuit 14 that connects the hyperspectral sensor 13 to the data transfer device 15. In this case, the spectrum measuring apparatus 11 can be reduced in size.
  • the selection information as the data selection condition constitutes the reconstructed spectrum data E1 to En
  • the present invention is not limited to this, and conversely, information that does not constitute the reconstructed spectrum data E1 to En may be set as the data selection condition. Also in this case, the degree of freedom in setting the data selection condition is increased.
  • the in-vehicle network 20 is a CAN
  • the present invention is not limited to this, and the in-vehicle network 20 may be other networks such as Ethernet (registered trademark), FlexRay (registered trademark), and IEEE1394 (FireWire (registered trademark)) as long as network communication is possible. . Thereby, the adoption possibility of this spectrum measuring device is increased.
  • DESCRIPTION OF SYMBOLS 10 ... Vehicle, 11 ... Spectrum measuring device, 12 ... Support control device, 13 ... Hyper spectrum sensor, 14 ... Large capacity communication circuit, 15 ... Data transfer device, 16 ... Storage device, 17 ... Inappropriate data selection part, 18 ... Spectrum Data processing unit, 19 ... speed table, 20 ... in-vehicle network, 21 ... processing device, 22 ... calculation device, 23 ... selection condition generation unit, 25 ... storage device, 30 ... navigation device, 31 ... target detection device, 34 ... spectrum Image, 35 ... Peripheral region, 36 ... Transition region, 37 ... Center region, 38 ... Spectral image, 39 ... Measurement object, 40 ... Hyperspectral sensor unit, D ... Measurement spectrum data, E ... Reconstructed spectrum data, F ... Single Wavelength image, G: Reconstructed single wavelength image, L: Observation light, P, Q: Pixel.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

移動体用スペクトル測定装置(11)は、測定対象の波長情報と光強度情報からなる情報を含む測定スペクトルデータ(D1~Dm)を測定するために移動体(10)に搭載されるスペクトルセンサ(13)と;測定スペクトルデータを処理することによって測定対象を識別すべく移動体(10)に搭載される処理装置(21)と;測定スペクトルデータをスペクトルセンサ(13)から処理装置(21)に伝達するための信号伝達路(20)とを備える。移動体用スペクトル測定装置は更に、測定スペクトルデータ(D1~Dm)に含まれる情報の中から所定情報としての選択情報を選択するように測定スペクトルデータを再構成することによって再構成スペクトルデータ(E1~En)を得るデータ転送装置(15)を備える。データ転送装置は、再構成スペクトルデータを、信号伝達路(20)経由で処理装置(21)に転送する。

Description

移動体用スペクトル測定装置および移動体用スペクトル測定方法
 本発明は、測定対象のスペクトルデータを測定すべく車両とりわけ自動車のような移動体に搭載されたスペクトルセンサを有する移動体用スペクトル測定装置、及び移動体用スペクトル測定方法に係り、特にスペクトルデータの転送処理の改良に関する。
 近年、実用化が検討されているスペクトル測定装置は、不可視光領域をも含むマルチスペクトルデータを測定するスペクトルセンサを用いることによって、周辺環境に存在する測定対象を認識する。スペクトル測定装置が、自動車のような車両に実用化されている運転支援装置に、測定対象に関する情報を提供すると、運転支援装置は、車両周囲の交通環境に存在する歩行者や他車両を認識することができる。すると運転支援装置は、運転者(ドライバー)の運転操作や意思決定を支援することができる。
 このようなスペクトル測定装置によるスペクトルデータの空間分解能すなわち解像度と、波長分解能とは、測定対象を認識する精度を向上させる観点に基づくと、何れも高いつまり細かいことが望ましい。しかし、空間分解能と波長分解能が両方とも高い場合、スペクトルデータのデータ量が過剰に増大してしまう場合がある。つまりスペクトル測定装置は、大量のスペクトルデータを転送するための高いデータ転送能力や、高いデータ処理能力が必要になってしまう場合がある。特に自動車のような移動体に搭載されるスペクトル測定装置は、設計上の制約やコストの制約といった様々な厳しい制約を受けざるを得ないため、高いデータ転送能力や高いデータ処理能力を実現することは、必ずしも現実的ではない。
 たとえば特許文献1記載のスペクトル測定装置は、空間分解能を細かく設定する代わりに波長分解能を粗く設定するマルチスペクトル観測と、波長分解能を細かく設定する代わりに空間分解能を粗く設定するハイパースペクトル観測とを切換える。
 前記文献ではスペクトル測定装置はたとえば、2次元CCDからなる検出器が受光した各画素のデータを、縦方向や横方向にまとめて読出すビニング(binning)読出を行なうことによって、波長分解能と空間分解能を、マルチスペクトル観測に対応する値や、ハイパースペクトル観測に対応する値に設定する。このようにマルチスペクトル観測とハイパースペクトル観測を切換えると、スペクトルデータのデータ量は確かに変化する。つまりスペクトル測定装置が観測するスペクトルデータのデータ量は、必要に応じて変化され、検出器から読出すスペクトルデータのデータ量は、必要に応じて抑制される。
特開2006-145362号公報
 しかし、様々な測定対象や必要な測定精度に柔軟に対応しつつスペクトルデータのデータ量を抑制するためには、特許文献1のようなマルチスペクトル観測とハイパースペクトル観測の切換えだけでは、実用上の十分な実時間性を確保できるとは限らない。
 本発明の目的は、車両のような移動体に搭載された汎用性の高いスペクトルセンサによる測定対象の識別精度を維持しつつ、スペクトルセンサから得られる撮影データの好適な実時間処理を可能とする移動体用スペクトル測定装置、及び移動体用スペクトル測定方法を提供することにある。
 上記課題を解決するために、本発明によって提供される移動体用スペクトル測定装置は、測定対象の波長情報と光強度情報からなる情報を含む測定スペクトルデータを測定するために移動体に搭載されるスペクトルセンサと;前記測定スペクトルデータを処理することによって前記測定対象を識別すべく前記移動体に搭載される処理装置と;前記測定スペクトルデータを前記スペクトルセンサから前記処理装置に伝達するための信号伝達路とを備える。前記移動体用スペクトル測定装置は更に、前記測定スペクトルデータに含まれる情報の中から所定情報としての選択情報を選択するように前記測定スペクトルデータを再構成することによって再構成スペクトルデータを得るデータ転送装置を備える。前記データ転送装置は、前記再構成スペクトルデータを、前記信号伝達路経由で前記処理装置に転送するように構成されていることを要旨とする。
 このような構成によれば、データ転送装置は、測定スペクトルデータに含まれる情報を、選択情報のみに削減し、削減後の再構成スペクトルデータを処理装置に転送する。よって、信号伝達路つまり通信回線を流れるデータ量が削減されるし、処理装置が処理するスペクトルデータのデータ量も低減される。よってスペクトルセンサは、高性能のハイパースペクトルセンサであってもよい。つまりスペクトルセンサが、大量の情報を含む測定スペクトルデータを取得した場合であっても、スペクトルセンサから処理装置に転送されるデータは、適切なデータ量にまで削減される。従って、信号伝達路での転送遅延や処理装置での処理遅延も解消される。その結果、スペクトル測定装置は、スペクトルセンサによる測定対象の認識精度を高く維持しつつ、認識処理を実時間処理できる。
 このようにスペクトル測定装置は、スペクトルセンサによって得られた後の測定スペクトルデータのデータ量を削減する。よってスペクトル測定装置に採用するスペクトルセンサを選択するに際し、スペクトルセンサの能力を低く抑える必要が無い。つまりスペクトルセンサが検出する測定スペクトルデータのデータ量の上限値を、低く抑制する必要がなくなる。よって、スペクトルセンサの選択自由度が向上する。つまり汎用的なスペクトルセンサを、スペクトル測定装置に採用することができる。
 前記選択情報は、前記測定スペクトルデータに含まれる前記波長情報のうちの、一部の波長情報からなる波長帯域の情報であると好ましい。
 このような構成によればデータ転送装置は、スペクトルセンサによって得られた波長情報のうちの、一部の波長情報からなる波長帯域の情報に基づき、再構成スペクトルデータを生成する。よって、データ転送装置が転送する再構成スペクトルデータのデータ量は、測定スペクトルデータよりも確実に削減される。
 前記一部の波長情報は、前記測定対象の識別に必要とされる波長情報であるとよい。
 このような構成によればデータ転送装置は、波長情報のうち、測定対象の識別に必要とされる一部の波長情報からなる波長帯域の情報に基づき、測定スペクトルデータを再構成する。よって、測定対象の認識精度を維持しつつ、データ転送装置が転送する再構成スペクトルデータのデータ量は、測定スペクトルデータよりも確実に削減される。
 前記一部の波長情報は、前記移動体の周囲の環境光に含まれる波長情報であるとよい。
 このような構成によればデータ転送装置は、波長情報のうち、移動体周囲の環境光に含まれる一部の波長情報からなる波長帯域の情報に基づき、再構成スペクトルデータを生成する。よって測定スペクトルデータのうち、環境光に含まれない波長の波長情報や、強度の弱い波長の波長情報や、それら波長情報にそれぞれ対応する光強度情報は、除かれる。データ転送装置は、環境光のうち強度が強い光の波長情報と、その波長情報に対応する光強度情報のみを選択する。よって再構成スペクトルデータのデータ量は、測定スペクトルデータよりも確実に削減される。環境光に含まれる波長情報は、測定対象に応じた強い光強度の波長情報を含むため、処理装置は、再構成スペクトルデータに基づき好適に測定対象を認識することができる。
 前記選択情報は、前記測定スペクトルデータに含まれる光強度情報のうちの、一部の情報であってもよい。
 このような構成によればデータ転送装置は、測定スペクトルデータのうちの、光強度情報の一部の情報に基づき、再構成スペクトルデータを生成する。すなわち再構成スペクトルデータは、光強度情報の密度に基づき生成される。よって、データ転送装置が転送する再構成スペクトルデータのデータ量は、測定スペクトルデータよりも確実に削減される。
 前記測定スペクトルデータは、経時的な複数のスペクトル画像にそれぞれ対応してもよい。前記選択情報は、複数の前記測定スペクトルデータのうちの、一部の時間のみに対応する前記測定スペクトルデータの情報であってもよい。
 このような構成によればデータ転送装置は、すべての測定スペクトルデータのうち、一部の時間のみに対応する測定スペクトルデータに基づき、再構成スペクトルデータを生成する。よって、データ転送装置が転送する再構成スペクトルデータのデータ量は、測定スペクトルデータよりも確実に削減される。
 前記データ転送装置は、前記測定スペクトルデータに含まれる情報から、無意味な光強度情報を有する波長情報を抽出し且つ除外することによって、前記再構成スペクトルデータを得るように構成されていてもよい。
 このような構成によれば、光強度情報の値が飽和していたり、ずっと変化していなかったりする無意味な値を有する波長情報は、再構成スペクトルデータから除外される。よって、転送されるスペクトルデータのデータ量が削減される。
 前記データ転送装置は、前記処理装置に転送できるデータ量の最大値としての転送最大値を設定するように構成されてもよい。前記データ転送装置は、前記再構成スペクトルデータのデータ量が前記転送最大値以下に収まるように、前記選択情報の量を制限してもよい。
 このような構成によればデータ転送装置は、信号伝達路つまり通信回線のデータ転送能力を超えないように、また処理装置のデータ処理能力を超えないように、再構成スペクトルデータの量を制限することができる。よって、再構成スペクトルデータの転送遅延や、処理遅延が抑制される。つまり前記スペクトル測定装置が測定対象を認識処理する際の実時間性が確保される。
 複数の前記測定対象には、それぞれ優先度が設定されてもよい。前記データ転送装置は、前記優先度に基づき前記選択情報を決定するように構成されてもよい。
 このような構成によればデータ転送装置は、優先度に応じて、再構成スペクトルデータを生成する。よって処理装置は、優先度の高い測定対象を、確実に実時間処理で認識できる。
 前記移動体は、前記移動体の状態としての移動体状態を取得する移動体状態取得部を有する。前記データ転送装置は、前記移動体状態に応じて前記選択情報を決定するように構成されてもよい。
 このような構成によればデータ転送装置は、車両速度やステアリング操作のような移動体の状態に応じて、再構成スペクトルデータを生成するための波長情報の波長間隔や、光強度情報の情報密度や、スペクトルデータの取得時間を変更することができる。よって処理装置は、移動体の状態に応じた適切な再構成スペクトルデータに基づき、測定対象を認識処理することができる。よって測定対象は、好適に識別される。
 前記処理装置は、前記選択情報を設定可能に構成されてもよい。前記処理装置は、前記測定対象の認識結果に基づき、前記データ転送装置にリクエストを発するように構成されてもよい。前記データ転送装置は、前記リクエストに応じて前記選択情報を決定するように構成されてもよい。
 このような構成によればデータ転送装置は、処理装置からのフィードバックに基づき、波長情報の波長間隔や、光強度情報の情報密度や、スペクトルデータの取得時間を調整して再構成スペクトルデータを生成することができる。たとえば処理装置は、再構成スペクトルデータを処理することによって、或る測定対象の出現が高く予想されると判断すると、その測定対象つまり高出現率対象の優先度を高くし、高出現率対象に対応するように選択情報を変更する。データ転送装置は、そのチューニングされた選択情報を用いることによって、高出現率対象の認識に有効な情報を含むように再構成スペクトルデータを生成する。よって処理装置は、柔軟に目標を絞って測定対象を認識処理することができる。つまり測定対象の認識性能を向上できる。
 複数の前記測定対象のうちには、他の前記測定対象よりも出現率が高いと判断される高出現率対象がある。前記測定スペクトルデータから前記再構成スペクトルデータへの前記再構成によって削減されるデータ量をデータ削減量と称する。前記高出現率対象のための前記データ削減量が、他の前記測定対象のための前記データ削減量よりも少ないように、前記選択情報は設定されてもよい。
 このような構成によれば処理装置は、よりデータ量が多い態様で、高出現率対象を識別すことができる。よって、測定対象の識別精度が高く維持される。
 前記測定スペクトルデータによって、スペクトル画像が生成される。前記スペクトル画像の中央領域に対応する前記選択情報は、前記スペクトル画像の周辺領域に対応する前記選択情報とは異なるように設定されてもよい。
 このような構成によればデータ転送装置は、スペクトル画像の中央領域と周辺領域とで、互いに異なる情報を選択する。たとえばスペクトル画像の中央領域に存在する測定対象は、移動体から遠いために小さく見え、相対速度は低い。そこでデータ転送装置は、スペクトル画像の中央領域に対応する選択情報の波長情報と光強度情報を細かく設定する代わりに、フレームレートを低く設定する。よってデータ量の増加を抑えることができる。一方、スペクトル画像の周辺領域に存在する測定対象は、移動体から近いために大きく見えるが、相対速度が高い。そこでデータ転送装置は、スペクトル画像の周辺領域に対応する選択情報のフレームレートを高く設定する代わりに、波長情報と光強度情報を粗く設定する。よってデータ量の増加を抑えることができる。その結果、データ転送装置は、スペクトル画像の位置に対応してきめ細かく、測定対象を識別することができる。
 前記処理装置は、前記選択情報を設定可能に構成されてもよい。特定の前記測定対象を、特定測定対象と称する。前記処理装置は、前記スペクトルセンサの測定範囲に前記特定測定対象が存在することを認知する場合、前記特定測定対象の存在に対応する部分の前記測定スペクトルデータを除外するように前記選択情報を設定してもよい。
 このような構成によれば、処理装置がたとえば地図情報やレーダのような他の手段によって特定測定対象を認知済みの場合、データ転送装置は、特定測定対象に対応する部分のスペクトルデータを再構成スペクトルデータから除外することができる。よって、再構成スペクトルデータのデータ量は、確実に削減される。
 前記データ転送装置は、前記再構成スペクトルデータを生成するために、或る範囲の波長に対応する波長情報を代表波長情報で表し、これら波長情報にそれぞれ対応する光強度情報に基づき代表光強度情報を算出してもよい。
 このような構成によれば、或る波長範囲に含まれる波長情報は、1つの代表波長情報に置き換えられ、或る波長範囲に対応する光強度情報は、1つの代表光強度情報に置き換えられる。よって、再構成スペクトルデータは、自ずと削減される。たとえばデータ転送装置は、550nm~650nmの波長範囲に含まれる波長情報を、代表は重畳法としての600nmの波長情報に置き換える。更にデータ転送装置は、550nm~650nmの波長範囲に対応する光強度情報を、畳込みや平均化することによって、1つの代表光強度情報としての600nmの光強度情報に置き換える。よって、再構成スペクトルデータのデータ量は、確実に削減される。
 上記課題を解決するために、本発明によって提供される移動体用スペクトル測定方法は、移動体に搭載されているスペクトルセンサによって、測定対象の波長情報と光強度情報からなる情報を含む測定スペクトルデータを測定する測定工程と;前記移動体に搭載されている処理装置によって前記測定スペクトルデータを処理することで、前記測定対象を識別する識別工程と;前記測定スペクトルデータを、前記スペクトルセンサから前記処理装置に信号伝達路を介して伝達する伝達工程とを備える。前記伝達工程は更に、前記測定スペクトルデータに含まれる情報の中から、所定情報としての選択情報を選択するように前記測定スペクトルデータを再構成することによって再構成スペクトルデータを得る工程と;前記再構成スペクトルデータを前記信号伝達路経由で前記処理装置に転送する工程とを含むことを要旨とする。
 このような方法によれば、測定スペクトルデータに含まれる情報を、選択情報のみに削減した削減後の再構成スペクトルデータが、処理装置に転送される。よって、信号伝達路つまり通信回線を流れるデータ量が削減されるし、処理装置が処理するスペクトルデータのデータ量も低減される。よってスペクトルセンサは、高性能のハイパースペクトルセンサであってもよい。つまりスペクトルセンサが、大量の情報を含む測定スペクトルデータを取得した場合であっても、スペクトルセンサから処理装置に転送されるデータは、適切なデータ量にまで削減される。従って、信号伝達路での転送遅延や処理装置での処理遅延も解消される。その結果、移動体用スペクトル測定方法は、スペクトルセンサによる測定対象の認識精度を高く維持しつつ、スペクトル測定装置に認識処理を実時間処理させることができる。
 このようにスペクトル測定方法は、スペクトルセンサによって得られた後の測定スペクトルデータのデータ量を削減する。よってこのスペクトル測定方法によれば、スペクトル測定装置に採用するスペクトルセンサを選択するに際し、スペクトルセンサの能力を低く抑える必要が無い。つまりスペクトルセンサが検出する測定スペクトルデータのデータ量の上限値を、低く抑制する必要がなくなる。よって、スペクトルセンサの選択自由度が向上する。
本発明を具体化した第1実施形態に係る移動体用スペクトル測定装置の、概略構成を示すブロック図。 図1に示すスペクトルセンサが、測定するスペクトルデータの模式図。 図1に示すデータ転送装置が、スペクトルデータ情報を選択する態様を示す模式図。 図1のスペクトル測定装置が、再構成スペクトルデータを生成する手順を示すフローチャート。 本発明の第2実施形態の移動体用スペクトル測定装置の、車両速度とフレームレートの関係を示す速度テーブルを有する概略構成を示すブロック図。 図5の移動体用スペクトル測定装置による、スペクトルデータ生成手順のフローチャート。 本発明の第3実施形態の移動体用スペクトル測定装置の、概略構成を示すブロック図。 本発明の第4実施形態の移動体用スペクトル測定装置の、概略構成を示すブロック図。 本発明の第5実施形態の移動体用スペクトル測定装置の、概略構成を示すブロック図。 本発明の変更例の移動体用スペクトル測定装置の、概略構成を示すブロック図。 本発明の他の変更例の移動体用スペクトル測定装置の、概略構成を示すブロック図。 本発明の更に他の変更例の移動体用スペクトル測定装置の、概略構成を示すブロック図。 本発明の更に他の変更例の移動体用スペクトル測定装置が、スペクトルデータに含まれる情報を選択する条件を示す模式図。 本発明の更に他の変更例の移動体用スペクトル測定装置が、スペクトルデータに含まれる情報を選択する条件を示す模式図。 本発明の更に他の変更例の移動体用スペクトル測定装置の、概略構成を示すブロック図。
 (第1実施形態)
 図1~図4は、本発明の第1実施形態に係る移動体用スペクトル測定装置としてのスペクトル測定装置11を示す。図1は、スペクトル測定装置11のシステム構成の概要を示すブロック図である。
 図1に示すように、移動体としての車両10は、車速Vを検出する車速センサ6や、ステアリングの角度を検出する操舵角センサ7といった移動体状態取得部としての各種センサとともに、ハイパースペクトルセンサ13を備えている。ハイパースペクトルセンサ13は、スペクトル測定装置11の一部を構成している。更に車両10は、エンジン(図示略)を制御するエンジン制御装置9といった各種制御装置と、ドライバーの運転操作を支援する支援制御装置12とを備えている。車速センサ6や操舵角センサ7からの情報は、エンジン制御装置9や支援制御装置12に直接または間接的に入力される。処理装置21と支援制御装置12の間や、支援制御装置12とエンジン制御装置9の間は、車載ネットワーク20で接続されている。
 スペクトル測定装置11は、可視光と不可視光を含む光情報からなる車両10外部の観測光Lを観測することによって測定対象を認識し、測定対象に関する認識情報を支援制御装置12に出力するように構成されている。支援制御装置12は、認識情報を、エンジン制御装置9といった他の制御装置に伝達する。支援制御装置12は、測定対象ごとに要求される運転支援を実行するように構成されている。また支援制御装置12は、車速センサ6や操舵角センサ7から直接に、またはエンジン制御装置9を介して間接的に伝えられる車両10の情報としての車両情報を、スペクトル測定装置11に伝達する。つまり車速センサ6、操舵角センサ7、およびエンジン制御装置9は、車両10の状態を示す車両情報を取得する車両情報取得部を構成する。車両情報には、車両10の前照灯の点灯/消灯状況や、方向指示器の動作状況、さらに車速Vも含まれる。
 図1に示すように、スペクトル測定装置11は、測定対象からの光である観測光Lから測定スペクトルデータD1~Dmを検出するハイパースペクトルセンサ13と;測定スペクトルデータD1~Dmを輸送する大容量通信回路14と;測定スペクトルデータD1~Dmから再構成スペクトルデータE1~Enを生成するデータ転送装置15とを有する。mとnは、それぞれフレームレートを示す整数であり、後に詳述する。
 更にスペクトル測定装置11は、再構成スペクトルデータE1~Enを用いることによって、測定対象を認識する認識処理を行なう処理装置21を有する。データ転送装置15と処理装置21は、車載ネットワーク20で接続されている。大容量通信回路14は、車載ネットワーク20よりも大容量の通信が可能である代わりに、長さが短い。大容量通信回路14と、データ転送装置15と処理装置21の間の車載ネットワーク20の部分は、ハイパースペクトルセンサ13と処理装置21の間の信号伝達路を構成する。ハイパースペクトルセンサ13は、可視光と不可視光からなる光としての観測光Lを観測することによって、複数の波長帯域に分光したスペクトル画像を生成する。
 図2は、ハイパースペクトルセンサ13によって得られるスペクトル画像としての測定スペクトルデータD1~Dmを詳述する。それぞれ測定スペクトルデータD1~Dmは、ハイパースペクトルセンサ13のフレームレートの時間t1~tmに対応する。フレームレートm=20fps(frame per second)とすると、ハイパースペクトルセンサ13は、1秒間に20個の測定スペクトルデータD1~Dmを測定する。これら測定スペクトルデータD1~Dmはそれぞれ、ハイパースペクトルセンサ13によって得られる時々刻々のスペクトル画像に対応する。
 ハイパースペクトルセンサ13の波長の測定バンド数x=150個とすると、測定スペクトルデータD1は、150個の単波長画像F1~Fxを有する。たとえばハイパースペクトルセンサ13の測定波長帯域の範囲を、測定開始波長として400nm(ナノメートル)を設定し、測定終了波長として2635nmに設定し、波長分解能f=15nmを選択する。この場合、ハイパースペクトルセンサ13の測定バンド数xは、測定波長帯域[2635nm-400nm]を、波長分解能f=15nmで割算することによって、x=150が求められる。なお時間t1の測定スペクトルデータD1だけでなく、他の時間t2やtmの測定スペクトルデータD2,Dmでも、それぞれ150個の単波長画像F1~Fxを有する。つまりハイパースペクトルセンサ13は、1秒間にフレームレートf×測定バンド数x=20×150=3000個の単波長画像F1~Fxを測定する。このように単波長画像F1~Fxはそれぞれ、ハイパースペクトルセンサ13が測定した測定波長帯域に含まれる波長のそれぞれに対応する画像である。すなわち測定スペクトルデータD1は、測定波長帯域を波長分解能fによって区分した数としての測定バンド数x個の、単波長画像F1~Fxによって構成される。
 ハイパースペクトルセンサ13の空間分解能つまり解像度を640個×480個とすると、1つの単波長画像F1は、マトリックス状のi個×j個の単波長画素P11~Pijを有する。横分解能としてのi=640個であり、縦分解能としてのj=480個である。1つの単波長画素P11が1つの単波長光強度情報p11を有するため、1つの単波長画像F1は、640×480個の単波長光強度情報p11~pijを含む。
 これらフレームレートm、測定バンド数x、および空間分解能i×jは、上記の値に限られず、ハイパースペクトルセンサ13の仕様に応じて任意に定められる。
 このことからスペクトル画像としてのそれぞれ測定スペクトルデータD1~Dmは、分光後の波長帯域を構成する波長を示す情報としての波長情報(バンド数m)と、これら波長帯域の波長ごとに観測光Lの光強度を示す情報としての単波長光強度情報p11~pijとを有する。またそれぞれスペクトル画像としての測定スペクトルデータD1~Dmは、波長帯域の波長ごとに観測される画像である単波長画像F1~Fxを複数有する。単波長画像F1~Fxは、ハイパースペクトルセンサ13の測定波長帯域に含まれる波長ごとに観測される画像である。
 ハイパースペクトルセンサ13は、光強度情報を検出するCCDやCMOSといった複数の撮像素子によって構成した検出面(図示略)を有する。検出面を構成するそれぞれの撮像素子は、スペクトル画像を構成するそれぞれの単波長画素P11~Pijに対応する単波長光強度情報p11~pijを検出する。つまり測定スペクトルデータD1~Dmを構成する複数の単波長画素P11~Pijは、測定波長帯域に対応する個別のスペクトルデータとしての単波長光強度情報p11~pijを有する。すなわちそれぞれ単波長画像F1~Fxは、複数の単波長画素P11~Pijと、これら複数の単波長画素P11~Pijにそれぞれ対応する単波長光強度情報p11~pijとを有する。よってたとえば単波長画素P11の単波長光強度情報p11は、単画素光強度情報を構成する。
 図1に示す大容量通信回路14は、上述のように1秒間に3000個の単波長画像F1~Fxからなる測定スペクトルデータD1~Dmを、データ転送装置15に転送する。大容量通信回路14は、大量のデータを高速転送可能なデータバスのような通信回路である。つまり大容量通信回路14は、ハイパースペクトルセンサ13によって得られた測定スペクトルデータD1~Dmを、途中で渋滞を起こすことなく、つまり遅延することなく、逐次にデータ転送装置15に転送できる。大容量通信回路14は、高い信頼性を備えるとともに汎用的かつ低価格な高速大容量の通信回路であり、公知の通信回路で実現できる。一方、大容量通信回路14の通信距離は、通信性能を維持すべく短距離たとえば長くても数cm~十数cmに限られている。とりわけ車両のように電気的ノイズが多い環境に用いられる場合、大容量通信回路14の通信距離は、より短距離に限られる。
 データ転送装置15は、演算装置や記憶装置を有するマイクロコンピュータを中心に構成されている。記憶装置には、再構成スペクトルデータE1~Enを生成するためのデータ選択処理に用いるプログラムや、データ選択処理に要する各種設定値が予め記憶されている。またデータ転送装置15には、複数の測定スペクトルデータD1~Dmや再構成スペクトルデータE1~Enを一時的に記憶するための一時記憶装置(図示略)を備える。
 図3は、データ転送装置15が測定スペクトルデータD1~Dmを再構成することによって生成される再構成スペクトルデータE1~Enを示す。つまりデータ転送装置15は、測定スペクトルデータD1~Dmに含まれる情報の一部を間引いたり畳込みしたりすることによって削減し且つ再構成することによって、再構成スペクトルデータE1~Enを生成する。データ転送装置15は、再構成スペクトルデータE1~Enを、車載ネットワーク20を介して処理装置21に出力する。
 nは、再構成スペクトルデータE1~Enのフレームレートを示し、yは、再構成バンド数を示す。たとえば再構成スペクトルデータE1は、複数つまりy個の再構成単波長画像G1~Gyによって構成されるスペクトル画像である。再構成単波長画像G1~Gyはそれぞれ、データ選択処理によって測定スペクトルデータD1~Dmから選択した情報からなる画像である。たとえば再構成単波長画像G1は、マトリックス状の再構成単波長画素Q11~Qghを有する。つまりgは、再構成空間分解の横分解能を示し、hは縦分解能を示す。これら再構成単波長画素Q11~Qghにそれぞれ対応して、再構成単波長光強度情報としての再構成光強度情報q11~qghが得られる。
 図1に示す記憶装置16は、公知の記憶装置に設けられている記憶領域の全部もしくは一部である。記憶装置16には、データ転送装置15がデータ選択処理に用いる所定情報つまり選択情報としての、1つもしくは複数のデータ選択条件を予め記憶している。データ転送装置15は、記憶装置16から、データ選択処理に用いるデータ選択条件を取得する。本実施形態の記憶装置16には、情報の削減方法や情報の削減量が互いに異なる複数のデータ選択条件が記憶されている。本実施形態のデータ転送装置15は、車載ネットワーク20や処理装置21の仕様に基づき、記憶装置16から適切なデータ選択条件を選択し、選択したデータ選択条件に基づきデータ選択処理を実施する。
 データ転送装置15が、測定スペクトルデータD1~Dmのうちから、再構成スペクトルデータE1~Enを生成するために選択する所定情報すなわち選択情報を示す所定条件は、たとえば以下の「フレームレート変更条件」、「波長分解能変更条件」、および「解像度変更条件」の少なくとも1つである。「フレームレート変更条件」は、測定スペクトルデータD1~Dmの数を削減し、「波長分解能変更条件」は、単波長画像F1~Fxの数を削減し、「解像度変更条件」は、単波長画素P11~Pijの数を削減する。なおデータ選択条件は、これらに限られない。
 [フレームレート変更条件]
 フレームレート変更条件は、スペクトル画像である測定スペクトルデータD1~Dmのうちから、一部を選択して再構成スペクトルデータE1~Enを生成するために用いられる。つまり再構成スペクトルデータE1~Enのフレームレートnは、測定スペクトルデータD1~Dmのフレームレートmよりも小さく設定される。m>nである。
 たとえばデータ転送装置15は、測定した測定スペクトルデータD1~D5のうち、選択情報としてD1だけを選択し、D2、D3,D4,D5を削除する。つまり5分の1の測定スペクトルデータD1だけを選択する。要するにデータ転送装置15は、再構成スペクトルデータE1=D1、E2=D6、E3=D11、E4=D16,...に設定する。つまり再構成フレームレートn=m/5=4である。
 この場合、測定バンド数x=再構成バンド数y=150で一定としても、再構成スペクトルデータE1~Enの再構成単波長画像G1~Gyの数は、n×y=4×150=600個である。よって、3000個の単波長画像F1~Fxに比べて、再構成スペクトルデータE1~Enの情報量は5分の1である。
 [波長分解能変更条件]
 波長分解能変更条件は、単波長画像F1~Fxのうちから、一部を選択して再構成単波長画像G1~Gyを生成するために用いられる。つまり再構成単波長画像G1~Gyのバンド数としての再構成バンド数yは、単波長画像F1~Fxのバンド数である測定バンド数xよりも小さく設定される。x>yである。再構成単波長画像G1~Gyに基づき、再構成スペクトルデータE1~Enは生成される。つまり再構成スペクトルデータE1~Enの波長分解能は、測定スペクトルデータD1~Dmの波長分解能よりも粗くつまり低くされる。たとえばデータ転送装置15は、単波長画像F1~F10のうち、一部の波長情報としてF1だけを選択し、残りのF2~F9を削除する。つまり10分の1の単波長画像F1のみを選択する。要するにデータ転送装置15は、再構成単波長画像G1=F1,G2=F11,G3=F21,…,G15=F141に設定する。つまり再構成バンド数y=15である。
 この場合、フレーム数m=n=20個で一定としても、再構成スペクトルデータE1~Enの再構成単波長画像G1~Gyの数は、n×y=20×15=300個である。よって、測定スペクトルデータD1~Dmの3000個の単波長画像F1~Fxに比べて、再構成スペクトルデータE1~Enの情報量は10分の1である。
 [解像度変更条件]
 解像度変更条件は、単波長画素P11~Pijのうちから、一部を選択して再構成単波長画素Q11~Qghを生成するために用いられる。すなわち単波長画素P11~Pijにそれぞれ対応する単波長光強度情報p11~pijのうちから、一部の画素に対応する再構成光強度情報q11~qghが生成される。よって再構成単波長画像G1~Gyの解像度は、単波長画像F1~Fxの解像度よりも粗くつまり低くなる。たとえばデータ転送装置15は、縦4個×横4個の計16個の単波長光強度情報p11~p14、p21~p24、p31~p34、およびp41~p44のうち、p11のみを選択し、残りの15個のp12~p14、p21~p24、p31~p34、およびp41~p44を削除する。つまりデータ転送装置15は、再構成光強度情報q11=p11,q12=p15,q13=p19,・・・,q21=p51,q22=p55,q23=p59,・・・に設定する。すなわち横方向で4分の1の画素を選択し、且つ縦方向でも4分の1の画素を選択する。
 よって、再構成空間分解のg×h=(640/4)×(480/4)=160×120である。つまり640×480個の単波長光強度情報p11~pijに比べて、再構成光強度情報q11~qghの情報量は、16分の1になる。
 データ転送装置15は、これらデータ選択条件の少なくとも1つを選択するとともに、選択したデータ選択条件に基づきデータ選択処理を実行する。
 これらのことから、データ転送装置15によって作成される再構成スペクトルデータE1~Enの情報量は、ハイパースペクトルセンサ13から出力された情報量に比べて、確実に削減される。すなわち単位時間当りの再構成スペクトルデータE1~Enに含まれる情報に基づくデータ量は、単位時間当りの測定スペクトルデータD1~Dmよりも削減される。
 図1と図3に示す車載ネットワーク20は、たとえば車載用のローカルCAN(Controller Area Network)であり、或る程度の通信距離、たとえば数m~数十mを確保できる汎用的な通信回線である。すなわち車載ネットワーク20は、通信回線を構成する配線の自由度が高いことから、通信する装置同士の間の距離を確保できる。車載ネットワーク20には、データ転送装置15と処理装置21の他の装置が接続されてもよい。すなわち車載ネットワーク20によれば、車両10におけるデータ転送装置15と処理装置21との配置の自由度を高くできる。
 なお車載ネットワーク20は、配線や装置の接続の自由度が高い一方、通信データ量が多くなると通信データの衝突や通信待ちが生じて通信効率が低下する特性を有するため、転送可能なデータ量が制約される。本実施形態では、車載ネットワーク20による通信可能なデータ量は、大容量通信回路14の転送可能なデータ量に比べて少なく、たとえば数分の1~100分の1となっている。データ転送装置15は、測定スペクトルデータD1~Dmよりもデータ量が削減された再構成スペクトルデータE1~Enを再構成することによって車載ネットワーク20に出力する。従って、データ転送装置15によって、車載ネットワーク20に転送されるデータ量を、車載ネットワーク20が好適に転送可能なデータ量に削減できる。つまり再構成スペクトルデータE1~Enを、車載ネットワーク20を介して好適に処理装置21に転送させることができる。
 図1に示す処理装置21は、演算装置22や記憶装置を有するマイクロコンピュータを中心に構成されている。処理装置21は、データ転送装置15に接続されているため、該データ転送装置15から出力された再構成スペクトルデータE1~Enが入力される。処理装置21は、入力された再構成スペクトルデータE1~Enに基づき測定対象の識別処理を行なうことによって測定対象を認識する。なお処理装置21は、公知の方法によって測定対象を認識することから、本実施形態では、測定対象を認識するための処理装置21の部分の構成と、測定対象を認識するための認識処理の部分の詳細な説明は、便宜上、割愛する。
 処理装置21は、入力された再構成スペクトルデータE1~Enに基づき測定対象の識別処理を行なう。処理装置21は、たとえば測定されたスペクトル画像と、記憶装置(図示略)に予め記憶された測定対象のスペクトル画像との比較を通じて、それらスペクトル画像の一致/不一致を判定するとともに、その判定結果に基づき測定対象を認識する。通常、スペクトル画像の比較には、比較領域の選定する処理や、選定された比較領域において測定対象が特定されるまで順次測定対象を更新することによって比較する処理、多くの処理が必要とされるため、それらの処理に演算装置22による多くの演算を要する。
 それに比べて、ハイパースペクトルセンサ13によるスペクトル画像の測定は短時間で済む。このことから、ハイパースペクトルセンサ13に撮像されたスペクトル画像の全てについての認識処理を処理装置21にて行なうとする場合、認識処理に係る演算を行なう演算装置22には高い性能が要求される。しかし、車載される制約から処理装置21(演算装置22)は設計上やコストの面の様々な制約を受けざるを得ない。このため、処理装置21とそこに含まれる演算装置22は、それら単に高性能化することは、それらの汎用性や低価格性、メンテナンス性に課題を生じる虞もある。
 本実施形態は、データ転送装置15が、処理装置21に転送される再構成スペクトルデータE1~Enのデータ量を、処理装置21が好適に認識処理できるデータ量に削減することによって、再構成スペクトルデータE1~Enが処理装置21によって好適に実時間処理されるようにできる。
 以上のようにして処理装置21は、演算装置22による認識処理によって、実時間性を確保しつつ測定対象を認識する。また処理装置21は、認識した測定対象の情報を、処理装置21自身にて用いたり、スペクトル測定装置11の外部の装置である支援制御装置12に伝達したりする。
 図4は、データ転送装置15が行なうデータ選択処理の手順を示すフローチャートである。データ選択処理は、ハイパースペクトルセンサ13によるスペクトル画像の測定に同期して、逐次実行される。
 データ選択処理が開始されると、ステップS10においてデータ転送装置15は、データ選択条件を設定する。つまり本実施形態のデータ転送装置15は、車載ネットワーク20に転送可能なデータ量の最大値としての転送最大値を、車載ネットワーク20に規定される転送可能なデータ量や、処理装置21に規定される実時間性のある認識処理の可能なデータ量に基づき設定する。本実施形態では、転送最大値は、データ転送装置15や記憶装置16に予め設定されている。転送最大値が設定されると、データ転送装置15は、転送最大値を超えない再構成スペクトルデータE1~Enを生成するためのデータ選択条件を、記憶装置16から取得する。ステップS20においてデータ転送装置15は、データ選択条件に基づき、測定スペクトルデータD1~Dmに含まれる情報を選択するとともに、選択した情報を再構成することによって再構成スペクトルデータE1~Enを生成する。よって、情報量つまりデータ量が削減された再構成スペクトルデータE1~Enが生成される。ステップS30においてデータ転送装置15は、再構成スペクトルデータE1~Enを、処理装置21に転送する。
 このようにデータ転送装置15は、再構成スペクトルデータE1~Enのデータ量を、車載ネットワーク20のデータ転送能力や、処理装置21の処理能力を超えないようにする。よって、車載ネットワーク20による再構成スペクトルデータE1~Enの転送の遅延や、再構成スペクトルデータE1~Enに基づく処理装置21の遅延が防止される。よってスペクトル画像に基づく測定対象の認識処理は、リアルタイムで好適に行なわれる。
 前述した特許文献1において、ビニング読出を実行するスペクトル測定装置は、検出器からのデータ読出しの波長分解能や空間分解能を任意に設定することで、データ量を多様に変更させることも可能にはなる。しかし、通常の検出器はスペクトルセンサの一部であるため、検出器そのものを制御することは、スペクトルセンサの設計を煩雑にしたり、スペクトルセンサの汎用性やメンテナンス性を低下させたりする虞がある。その点、本実施形態のデータ転送装置15は、ハイパースペクトルセンサ13そのものに手を加えのではなく、ハイパースペクトルセンサ13から出力された測定スペクトルデータD1~Dmを削減する。このことから本実施形態は、高いスペクトル測定能力を有するハイパースペクトルセンサ13を、スペクトル測定装置11にそのまま用いることができる。
 以上説明したように、図1~図4の第1実施形態のスペクトル測定装置11は、以下に列記する効果を有する。
 (1)データ転送装置15は、測定スペクトルデータD1~Dmに含まれる情報を、所定情報としての選択情報のみに選択することによって削減し、そして削減後のデータである再構成スペクトルデータE1~Enを処理装置21に転送するように構成される。このことから、車載ネットワーク20を流れるデータ量や、処理装置21が処理すべき再構成スペクトルデータE1~Enのデータ量が、低減される。よって、高性能のハイパースペクトルセンサ13が取得した測定スペクトルデータD1~Dmが大量の情報を含む場合であれ、スペクトル測定装置11は、測定スペクトルデータD1~Dmを適切なデータ量にまで削減し、削減後のデータである再構成スペクトルデータE1~Enを処理装置21に転送できる。その結果、車載ネットワーク20の転送遅延や、処理装置21の処理遅延が解消される。すなわちスペクトル測定装置11は、ハイパースペクトルセンサ13を用いることによって測定対象の認識精度を高く維持しつつ、認識処理を十分に実時間処理できる。
 (2)ハイパースペクトルセンサ13から出力後の測定スペクトルデータD1~Dmが、一部削減される。このことから、ハイパースペクトルセンサ13の採用に際し、測定スペクトルデータD1~Dmのデータ量が車載ネットワーク20に対して大き過ぎるのではとか、処理装置21の処理能力を超えるのでは、と配慮する必要がなくなる。よって、スペクトルセンサの選択自由度が向上する。つまり汎用的なスペクトルセンサであれ、スペクトル測定装置11に用いることができる。
 (3)データ転送装置15は、ハイパースペクトルセンサ13から出力された波長情報のうち、一部の波長情報からなる波長帯域の情報に基づき、つまり波長分解能変更条件に基づき、再構成スペクトルデータE1~Enを生成する。よって、データ転送装置15から転送される再構成スペクトルデータE1~Enのデータ量を、確実に削減できる。
 (4)データ転送装置15は、ハイパースペクトルセンサ13から出力された光強度情報のうちの一部の情報に基づき、つまり解像度変更条件に基づき、更に換言すると光強度情報の密度に基づく解像度に応じて、再構成スペクトルデータE1~Enを生成する。よって、データ転送装置15が転送する再構成スペクトルデータのデータ量は、測定スペクトルデータから確実に削減される。
 (5)データ転送装置15は、ハイパースペクトルセンサ13から出力された経時的なスペクトル画像にそれぞれ対応する測定スペクトルデータD1~Dmのうちの、一部の時間の情報に基づき、再構成スペクトルデータE1~Enを生成する。すなわち経時的に撮像されるスペクトル画像のフレームレートに応じて、つまりフレームレート変更条件に応じて、測定スペクトルデータD1~Dmから再構成スペクトルデータE1~Enが生成される。よって、データ転送装置15から転送される再構成スペクトルデータE1~Enのデータ量を、確実に削減できる。
 (6)データ転送装置15は、再構成スペクトルデータE1~Enの最大値を、車載ネットワーク20つまり信号伝達路または通信回線のデータ転送能力や、処理装置21のデータ処理能力によって決まる実時間で取扱可能なデータ量の最大容量値以下に設定する。よって、再構成スペクトルデータE1~Enの転送の際、データの転送遅延やデータの処理遅延が抑制され、スペクトル測定装置11が測定対象認識処理にかかる実時間性が確実に向上される。
 (第2実施形態)
 図5と図6は、本発明の第2実施形態に係るスペクトル測定装置11を説明する。図5に示すように、本実施形態は、車速Vに応じて再構成フレームレートnを選択するための速度テーブル19を有する点が、第1実施形態と異なっており、他の構成は同様であるため、同様の構成には同一符号を付して重複説明を省略する。つまり本実施形態のデータ選択条件は、予め定められているのではなく、車速Vに応じて変化する。なお図6のフローチャートで示すデータ選択条件設定は、図4のステップS10の詳細に該当する。
 図5に示すように、速度テーブル19は、車速Vが20km未満の場合に再構成フレームレートn=2fpsに設定する。同様に速度テーブル19は、車速Vが20km以上かつ60km未満の場合に再構成フレームレートn=4fps、車速Vが60km以上かつ90km未満のとき再構成フレームレートn=8fps、車速Vが90km以上かつ120km未満のとき再構成フレームレートn=15fps、車速Vが120km以上のとき再構成フレームレートn=30fpsに設定する。
 たとえば、車載ネットワーク20の転送最大値としての伝送可能容量ctを、再構成フレームレートnと、再構成バンド数yと、再構成解像度g×hで、ct=n×y×g×hと表現する。
 図6は、スペクトル測定装置11によるデータ選択条件設定の処理手順を示すフローチャートである。図6に示すように、データ選択条件設定が開始されると、ステップS11においてデータ転送装置15は、初期伝送可能容量ct0を設定する。初期伝送可能容量ct0は、データ転送装置15が新たに取得した車両10の情報に基づき、設定される。新たに取得された車両10の情報とは、測定対象の認識状況や、車両の外部環境に基づき取得される情報が含まれ、データ転送装置15が車載ネットワーク20を介して処理装置21から取得する。またたとえば初期伝送可能容量ct0は、測定対象の優先度に基づいたり、測定対象を識別するために必要な限定された情報に基づき、データ転送装置15によって設定されてもよい。更にたとえば初期伝送可能容量ct0は、処理装置21から取得される、車載ネットワーク20の時々の転送可能なデータ量や、処理装置21の時々の処理可能なデータ量に基づき、データ転送装置15によって設定されてもよい。下添字「0」を付けて初期値を表現すると、初期伝送可能容量ct0=n0×y0×g0×h0である。たとえば初期再構成フレームレートn0=10fps、初期再構成バンド数y0=20個(20band)、初期再構成解像度g0×h0=320個×240個(320×240pixel)とする。
 ステップS12においてデータ転送装置15は、支援制御装置12から、処理装置21を介して車速Vを取得する。ステップS13においてデータ転送装置15は、記憶装置16に記憶されている速度テーブル19を参照することによって、再構成フレームレートnを選択する。
 ステップS14においてデータ転送装置15は、新たな再構成解像度g1×h1を選択する。ステップS15においてデータ転送装置15は、新たな再構成バンド数y1を算出する。たとえば、再構成解像度g1×h1を、車速Vに拘わらず一定値つまりg0×h0に維持すると、新たな再構成バンド数y1は、y1=ct0/(g0×h0)/n1によって算出される。このことから、車速Vが遅い場合、再構成フレームレートn1を小さくする代わりに、再構成バンド数y1を増加させることで、波長分解能を増大させる。逆に、車速Vが速い場合、測定対象を短時間で見つけるために再構成フレームレートn1を大きくする代わりに、再構成バンド数y1を減少させる。新たな再構成フレームレートn1、新たな再構成解像度g1×h1、および新たな再構成バンド数y1が決まると、データ転送装置15は、これら再構成フレームレートn1、解像度m2、および新たなバンド数b2に基づき、再構成スペクトルデータE1~Enを生成する。そしてデータ転送装置15は、再構成スペクトルデータE1~Enを、車載ネットワーク20を介して処理装置21に伝達する。
 このように図5と図6の第2実施形態は、第1実施形態の効果と同等もしくはそれに準じた効果を有し、更に以下の効果を奏する。
 (7)データ転送装置15は、車速Vに応じて再構成スペクトルデータE1~Enの再構成フレームレートnを変更する。よって、車速Vの変化に対しても認識精度を維持しつつ、処理装置21による実時間での測定対象の認識処理を可能にする。
 (第3実施形態)
 図7は、本発明の第3実施形態に係るスペクトル測定装置11の、概略構成を示すブロック図である。本実施形態は、データ転送装置15が、記憶装置16からデータ選択条件を取得するのではなく、処理装置21が選択情報としてのデータ選択条件C1をデータ転送装置15に設定する点が、上記第1実施形態とは相違する。演算装置22は、データ選択条件C1を生成する選択条件生成部23を有している。他の構成は同様であるので、第1実施形態との重複説明は省略する。
 図7に示すように、処理装置21は、記憶装置25から、測定対象の優先度を示す各種のテーブルを取得する。測定対象の優先度は、測定対象ごとに予め定められた固定の優先度の他に、処理装置21の現在の測定対象の認識状況に応じて、フィードバックして変化する優先度や、車両10の状態や車両外部の環境に応じて変化する優先度がある。記憶装置25は、測定対象ごと識別に必要とされる波長情報(1つもしくは複数の波長情報からなる波長帯域)も記憶している。またたとえば昼夜の別で、環境光の光源スペクトルに対応して測定対象の認識に好適な波長情報が、記憶装置25に記憶されていてもよい。
 選択条件生成部23は、記憶装置25に設定されている測定対象の優先度を参照することに基づき、優先的に検出すべき測定対象を算出する。また選択条件生成部23は、処理装置21の現在の測定対象の認識状況を反映するように、記憶装置25を参照する。選択条件生成部23は、算出した優先度に基づき、測定対象を検出するために好適な選択情報としてのデータ選択条件C1を、記憶装置25を参照して生成し、データ転送装置15に出力する。
 たとえば常時、歩行者、車、路面を優先的に検出すべきであると算出される場合、選択条件生成部23は、歩行者、車、路面を検出することに好適な情報を選択するデータ選択条件C1を生成してもよい。またたとえば歩行者を優先的に検出したい場合、たとえば事前に歩行者が検出されていないゆえに特に歩行者を優先的に検出したい場合には、歩行者を検出するために好適なデータ選択条件C1を生成して、データ転送装置15を出力してもよい。たとえばデータ選択条件C1としては、前処理で歩行者が見つかっていない場合に、新たに出現する歩行者を早く見つけるために再構成フレームレートnを高くする一方、再構成解像度g×hや再構成バンド数yを少なくしてもよい。または、前の処理結果で歩行者が見つかった場合、見つかった歩行者を精度高く識別するために、歩行者と周囲との境界線を明確にすべく、または歩行者の属性を判別すべく、歩行者に対応する波長の前後の波長分解能を高く設定するようにデータ選択条件C1を設定してもよい。
 また選択条件生成部23は、測定対象の検出に好適な波長情報を、昼夜の別に設定するようにデータ選択条件C1を生成してもよい。たとえば選択条件生成部23は、支援制御装置12を通じて前照灯の点灯を検知した場合、光源としての前照灯に含まれる波長成分に対応する波長情報を主とするように、データ選択条件C1を生成する。また選択条件生成部23は、支援制御装置12を通じて夜間であることを検出した場合、照明灯や投光器の波長成分に対応する波長情報を主とするように、データ選択条件C1を生成する。
 更に選択条件生成部23は、支援制御装置12から取得される車速Vや操舵角に応じて、測定対象の検出に好適なデータ選択条件C1を生成してもよい。
 選択条件生成部23は、上述のように生成したデータ選択条件C1を、データ転送装置15に設定する。データ転送装置15は、設定されたデータ選択条件C1に基づき、測定スペクトルデータD1~Dmから再構成スペクトルデータE1~Enを生成する。よって、再構成スペクトルデータE1~Enのデータ量は、確実に測定スペクトルデータD1~Dmのデータ量よりも削減される。
 このように図7の第3実施形態も、先の第1実施形態と同等もしくは準じた効果が得られるとともに、以下に列記する効果も得られる。
 (8)処理装置21が、データ選択条件C1を設定し、データ転送装置15に伝える。よってデータ転送装置15は、状況に応じた細かな指示に基づき、再構成スペクトルデータE1~Enを生成できる。
 (9)処理装置21は、波長情報のうちの移動体周囲の環境光つまり光源に含まれる一部の波長情報からなる波長帯域の情報に基づくように、データ選択条件C1を設定できる。よって処理装置21は、環境光つまり光源には含まれない波長や、強度の弱い波長の波長情報と、それら波長情報に対応する光強度情報を除くように、データ選択条件C1を設定できる。従ってデータ転送装置15は、環境光つまり光源下において強度の強い波長の波長情報と、それら波長情報に対応する光強度情報のみを選択できるため、再構成スペクトルデータE1~Enのデータ量は確実に削減される。また再構成スペクトルデータE1~Enは、環境光下において測定対象に応じて光強度が変化する波長情報を含むため、処理装置21による認識処理は、データ量の削減された再構成スペクトルデータE1~Enに基づく場合でも好適に行なわれる。
 (10)選択条件生成部23は、処理装置21による測定対象の認識結果に応じて、データ転送装置15にフィードバックするように、リクエストとしてのデータ選択条件C1を設定できる。選択条件生成部23は、データ選択条件C1を、波長情報の波長間隔や、光強度情報の情報密度や、スペクトルデータの取得時間に基づき変更できる。たとえば処理装置21の認識結果によれば、出現が予想される高出現率対象を測定するために優先度が変更された場合、この高出現率対象を捕捉するように、処理装置21はデータ選択条件C1を変更できる。その結果、必要な測定対象を柔軟に変更して認識できるように、データ転送装置15のデータ再構成処理が改良される。ひいては測定対象の認識性能が向上する。
 (第4実施形態)
 図8は、本発明の第4実施形態に係るスペクトル測定装置11の、概略構成を示すブロック図である。なお本実施形態は、環境情報取得装置を拡張するナビゲーション装置30が追加されている点が、上記の図7の第3実施形態と相違する。さらに光センサ8も有している。
 図8に示すように、環境情報取得装置の一部をなすナビゲーション装置30は、支援制御装置12を介して処理装置21に接続されている。またはナビゲーション装置30は直接に処理装置21に接続されてもよい。ナビゲーション装置30は、車両10の外部環境の情報を取得する装置であって、たとえば車両10の走行位置や昼夜を取得する各種の環境取得装置を構成する。ナビゲーション装置30は、これらの各種の環境情報を、処理装置21に伝達する。ナビゲーション装置30は、車両10の位置情報を検知することによって、市街地や、高速道路や、田畑といった走行場所の特性を検出するとともに、それらの位置を、表示パネルの地図上に示すことによって搭乗者に伝えることができる。ナビゲーション装置30は、時計や照度計によって昼夜を判別してもよい。ナビゲーション装置30は、位置を取得する場合にGPS(Global Positioning System)による位置情報や、位置情報と地図の組合せによって位置を特定してもよいし、位置情報を通報するシステムから、通信によって取得してもよい。また環境情報取得装置の一部をなす光センサ8が、環境光や昼夜の別の検出情報を、エンジン制御装置9を介して処理装置21に伝達するようにしてもよい。
 記憶装置25には、測定対象の優先度を示す各種のテーブルが設定されている。測定対象の優先度には、ナビゲーション装置30によって取得される環境状態に応じてそれぞれ設定される測定対象の優先度が予め記憶されている。たとえば走行場所の特性から頻繁に出現する測定対象の優先度を高くした情報や、走行場所の特性から出現するはずのない測定対象の優先度を低くした情報が設定されている。また記憶装置25には、測定対象ごとに識別に必要とされる波長情報も記憶されている。
 選択条件生成部23は、ナビゲーション装置30から入力される環境情報に応じて、記憶装置25に設定されている測定対象の優先度を参照することに基づき、優先的に検出すべき測定対象を算出する。選択条件生成部23は、算出した優先度に基づきデータ選択条件C2を生成し、データ選択条件C2をデータ転送装置15に設定する。
 たとえば処理装置21は、ナビゲーション装置30によって市街地であることが検出された場合、自転車や歩行者を検出することに好適な情報をデータ転送装置15に選択させるデータ選択条件C2を、生成するようにしてもよい。またたとえばナビゲーション装置30によって高速道路であることが検出された場合、自動車を検出することに好適な情報をデータ転送装置15に選択させるようにするデータ選択条件C2を、処理装置21は生成してもよい。また高速道路において出現する可能性は低いが影響が大きな歩行者を検出することに好適な情報を、データ転送装置15に選択させるようにするデータ選択条件C2を生成するようにしてもよい。選択条件生成部23は、昼夜の別に測定対象の検出に好適な情報を、データ転送装置15に選択させるようにデータ選択条件C2を生成するようにしてもよい。
 またたとえば選択条件生成部23は、光センサ8によって観測もしくは推定された光源のスペクトルに対応した波長情報のみを、データ転送装置15に選択させるようにするデータ選択条件C2を生成するようにしてもよい。更にたとえば選択条件生成部23は、ナビゲーション装置30の表示パネルに表示させるための画像情報の要求に応じて、波長情報の選択条件に赤色「R」、緑色「G」、青色「B」の光の波長情報として、データ選択条件C2を生成するようにしてもよい。
 選択条件生成部23は、上述のように生成したデータ選択条件C2を、データ転送装置15に設定する。データ転送装置15は、設定されたデータ選択条件C2に基づき、測定スペクトルデータD1~Dmから再構成スペクトルデータE1~Enを生成する。よって、再構成スペクトルデータE1~Enのデータ量は、確実に測定スペクトルデータD1~Dmのデータ量よりも削減される。
 以上説明したように、図8の第4実施形態によっても、先の第1実施形態と第3実施形態の効果と同等もしくは準じた効果が得られるとともに、以下の効果も得られる。
 (11)処理装置21はよりデータ量が多い態様で再構成された再構成スペクトルデータE1~Enに基づき測定対象を識別すことができるため、スペクトル測定装置11としての識別精度も自ずと向上される。
 (第5実施形態)
 図9は、本発明の第5実施形態に係るスペクトル測定装置11の、概略構成を示すブロック図である。本実施形態は、カメラ、レーダ、またはレーザ測定装置といった対象検知装置31が用いられている点が、図7の第3実施形態とは相違する。
 図9に示すように、対象検知装置31は、支援制御装置12を介して処理装置21に接続されている。または対象検知装置31は、処理装置21に直接に接続されてもよい。対象検知装置31は、車両10の外部環境に存在する測定対象や検知対象を検知する。たとえば対象検知装置31は、地図情報と位置情報とに基づき測定対象や検知対象を検知すべく、たとえば前方を走行している車両、道路周辺の構造物、建物といった測定対象や検知対象を検知する情報取得装置である。対象検知装置31は、検知した検知対象を、処理装置21に伝達する。つまり対象検知装置31は、カメラの撮像画像に基づく画像認識や、レーダや、レーザによって前方の車両を検知するような装置である。また対象検知装置31は、車両10の位置情報から道路周辺の構造物、建物を検知し、それらの位置を表示パネルの地図上に示すことによって搭乗者に伝えるナビゲーションシステムであってもよい。
 選択条件生成部23には、対象検知装置31が検知した検知対象の位置と大きさに基づき、検知対象が存在する位置に対応する部分の情報を再構成スペクトルデータE1~Enが含まないように、データ選択条件C3を設定する。更に選択条件生成部23は、データ選択条件C3を、測定対象の優先度に基づき生成するようにしてもよい。たとえば選択条件生成部23は、予め生成したデータ選択条件C2に、検知対象の存在する位置を選択させない条件を加えたものを、データ選択条件C3として生成してもよい。またデータ選択条件C2と、検知対象の存在する位置を選択させない条件とからから、データ選択条件C3を生成してもよい。
 選択条件生成部23は、上述のように生成したデータ選択条件C3を、データ転送装置15に設定する。データ転送装置15は、設定されたデータ選択条件C3に基づき、測定スペクトルデータD1~Dmから再構成スペクトルデータE1~Enを生成する。よって、再構成スペクトルデータE1~Enのデータ量は、確実に測定スペクトルデータD1~Dmのデータ量よりも削減される。なおデータ転送装置15もデータ選択条件C2を処理してから、その他のデータ選択条件C3を処理してもよいし、一度にデータ選択条件C3を処理してもよい。
 以上説明したように、図9の第5実施形態も、先の第1実施形態や第3実記形態の効果と同等もしくは準じた効果が得られるとともに、以下の効果が得られる。
 (12)データ転送装置15は、地図情報やレーダのような対象検知装置31が既に検知済みの測定対象に対応する部分のスペクトルデータを、再構成スペクトルデータE1~Enから除外する。よって、再構成スペクトルデータE1~Enのデータ量は、不要な部分が確実に削減される。
 なお上記各実施形態は、以下の態様で実施することもできる。
 ・図10に示すように、地図情報を、スペクトル測定装置11の記憶装置25に設けてもよい。つまり地図情報は、上記第3および第4実施形態のように、スペクトル測定装置11の外部のナビゲーション装置30や対象検知装置31に設けることに限られない。
 ・図11に示すように、上記各実施形態のデータ転送装置15は、不適データ選択部17を設けてもよい。不適データ選択部17は、測定スペクトルデータD1~Dmに含まれる無意味な情報を除外することによって、無意味な情報が再構成スペクトルデータE1~Enに含まれないようにする。不適データ選択部17は、測定スペクトルデータD1~Dmに含まれている光強度情報を検査することによって、たとえば光強度情報の値として上限値や下限値を超えて飽和していたり、下限値以下で全く変化していない、情報として無意味な光強度情報を検出する。データ転送装置15は、不適データとして検出された光強度情報を、再構成スペクトルデータE1~Enには選択しないつまり除外するようにする。よって、再構成スペクトルデータE1~Enとして転送されるデータ量が削減されるとともに、再構成スペクトルデータE1~Enに無意味な光強度情報が含まれることを防ぐことによって、測定装置の認識精度を維持することもできる。なお測定スペクトルデータD1~Dmからデータ選択条件に基づき生成された再構成スペクトルデータE1~Enに、後から不適データ選択部17を適用してもよい。
 ・図12に示すように、データ転送装置15は、測定スペクトルデータD1~Dmの一部を加工するスペクトルデータ加工部18を設けてもよい。スペクトルデータ加工部18は、データ選択条件C1によって設定された条件に基づき、波長情報を削減する。たとえばスペクトルデータ加工部18は、情報の変化が小さいために測定対象の認識に影響が少ない領域として設定されている特定の波長域たとえば550nm~650nmの光強度情報を平均化したり、畳込んだりする。つまりスペクトルデータ加工部18は、特定の1つの代表波長たとえば600nmに対応する1つの代表光強度情報として求める。
 よって、波長が連続する複数の波長情報とそれに対応する光強度情報が、それぞれ1つの波長情報と、その1つの波長情報に対応する1つの光強度情報とに置き換えられる。このため、再構成スペクトルデータE1~Enのデータ量も、自ずと削減される。たとえばデータ転送装置15は、550nm~650nmの波長に対応する複数の波長情報を、600nmの波長情報とし、550nm~650nmの波長に対応する光強度情報を、畳込みや平均化によって600nmの波長情報の光強度情報として算出する。よって、550nm~650nmの波長情報と、それらに対応する光強度情報が、600nmの波長情報と、それに対応する光強度情報として選択される。
 ・図13に示すように、上記第3~第5実施形態の選択条件生成部23は、スペクトル画像34の周辺部としての周辺領域35、中間部としての遷移領域36、および中央部としての中央領域37にそれぞれ応じて、再構成フレームレートn、再構成バンド数y、および再構成解像度つまり再構成解像度g×hを変化させてもよい。
 通常、単波長画像F1~Fxなどのスペクトル画像34において、周辺領域35に写る測定対象は、車両10との相対距離が近いため大きく見え、車両10に対する相対速度が速く、つまりスペクトル画像34上での移動速度も速い。このことから処理装置21が測定対象を素早く認識できるように、スペクトル画像34の周辺領域35に対するデータ選択条件は、再構成フレームレートnを高くする代わりに、低い再構成解像度g×hや少ない再構成バンド数yに設定する。一方、スペクトル画像34の中央領域37に写る測定対象は、車両10との相対距離が遠いため小さく見え、また車両10に対する相対速度が遅く、スペクトル画像34における移動速度も遅い。このことから処理装置21が測定対象を高い精度で認識できるように、スペクトル画像34の中央領域37に対するデータ選択条件は、高い再構成解像度g×hや大きな再構成バンド数yにする代わりに、低い再構成フレームレートnに設定する。またスペクトル画像34の周辺領域35と中央領域37の間に位置する遷移領域36については、データ選択条件を、中程度の再構成解像度g×hや再構成バンド数yにし、且つ中程度の再構成フレームレートnに設定するようにする。
 よってデータ転送装置15は、車速Vや、ステアリング操作による車両10の状態に応じて、再構成スペクトルデータE1~Enを生成するための波長情報の波長間隔つまり波長分解能や、光強度情報の情報密度つまり解像度や、測定スペクトルデータの取得時間間隔つまりフレームレートを変更可能である。よって、スペクトル測定装置は、移動体の状態に応じて再構成された適切な再構成スペクトルデータE1~Enに基づき、測定対象の認識処理を行なうことができる。ひいては測定対象のより好適な識別が実現される。たとえばスペクトル画像の全ての領域に同一の条件によって情報を選択するような場合に比べて、測定対象の認識精度を維持しつつ、再構成スペクトルデータのデータ量を削減できる。よって実時間での測定対象の認識処理が容易である。
 ・なお上記第1または第2実施形態の場合でも、データ転送装置15や記憶装置16に、スペクトル画像34の周辺領域35、遷移領域36、および中央領域37に応じた再構成フレームレートn、再構成バンド数y、および再構成解像度g×hを変化させてデータ選択条件を設定してもよい。
 ・上記第3~第5実施形態の選択条件生成部23は、ステアリングの操作角度つまり操舵角に応じて、スペクトル画像34における新たな進行方向にあたる部分の再構成フレームレートnを大きく設定してもよい。つまり測定対象を素早く認識できるようにする代わりに、再構成解像度g×hや再構成バンド数yを小さく設定するようにしてもよい。よって処理装置21は、新たな進行方向の測定対象を、実時間にて好適に認識処理できる。
 ・図14に示すように、第3~第5実施形態の選択条件生成部23は、スペクトル画像38から測定対象39が認識された場合、測定対象39と背景の間の境界部分に、重点枠Wを設定してもよい。この重点枠Wに対する再構成フレームレートn、再構成解像度g×h、および再構成バンド数yを変化させてデータ選択条件を生成してもよい。重点枠Wは、たとえば測定対象39としての他車両の死角としての影から現れる歩行者の顔等を素早く認識できるように、この歩行者の顔等を予めロックオンできるように設定する。つまり重点枠Wについて、高い再構成フレームレートnにし、更に重点枠Wが小さいため、再構成解像度g×hと再構成バンド数yも高く設定する。よって、再構成スペクトルデータE1~Enのデータ量を大きく増加させずに、測定対象39の死角から出現する更なる測定対象を、実時間の認識処理で素早く検出できる。
 ・上記第1実施形態では、データ転送装置15は、転送最大値を超えない再構成スペクトルデータE1~Enを生成するために、データ選択条件を記憶装置16から取得する。これに限らず、データ選択条件が、測定対象の優先度を有している場合、データ転送装置は、優先度の高い測定対象の情報を順次選択し、且つ再構成スペクトルデータE1~Enが転送最大値を超えないようにすればよい。たとえばまず優先度を考慮せずに再構成スペクトルデータE1~Enを生成し、再構成スペクトルデータE1~Enのデータ量が転送最大値を超えるような場合、データ転送装置15は、優先度の高い測定対象に関する情報に制限するように、再構成スペクトルデータE1~Enを再作成する。
 ・上記第2実施形態では、新たな再構成解像度g1×h1を初期再構成解像度g0×h1に維持することに限らず、変更してもよい。たとえば新たな再構成解像度g1×h1と、新たな再構成バンド数y1との両方を変化させる。データ選択条件の設定自由度が高められる。
 ・上記第2実施形態では、速度テーブル19は、再構成フレームレートnを車速Vに関連して設定するに限らず、車両のステアリング操舵角に関連して再構成フレームレートnを設定してもよい。たとえばステアリング操舵角が増大するに連れて、測定対象を短時間で見つけることができるように再構成フレームレートnを高く、そして再構成バンド数yを減らす。よって、車両状態に応じた好適な再構成フレームレートnの設定が可能となる。
 ・上記第1および第2実施形態において、記憶装置16には、測定対象の認識に必要とされる波長情報からなるデータが記憶されていてもよい。よって、データ転送装置は、測定対象に対応したデータを取得することによって、測定対象に必要とされる波長情報からなる再構成スペクトルデータを生成してもよい。よって、スペクトル測定装置11としては、データ量が削減されるとともに、選択した測定対象についての認識精度が向上される。
 ・上記第1および第2実施形態において、記憶装置16は、光源に含まれる波長情報のデータを記憶してもよい。つまりデータ転送装置15は、光源に含まれる波長情報を確実に含むように、再構成スペクトルデータE1~Enを生成できる。
 ・上記第1実施形態では、再構成フレームレートn、再構成解像度g×h、および再構成バンド数yのうち、複数の条件が同時に選択されてもよいし、1つのみが設定されてもよい。スペクトル測定装置11の設計自由度が拡げられる。たとえば測定スペクトルデータD1~Dmのデータ量が少ない場合、効果的な条件で情報選択すればよい。
 ・上記第1実施形態において、再構成フレームレートn、再構成解像度g×h、および再構成バンド数yは、予め定められていることに限らず、設定装置によって任意に変更できるように構成してもよい。たとえばデータ転送装置15や処理装置21は、車載ネットワーク20を通過する他のデータ量の変動に対応して、選択情報を変更してもよい。他の装置は、選択情報を変更してもよい。データ選択条件の自由度が高められる。
 ・またデータ選択条件を、マップではなく、演算式で設定してもよい。スペクトル測定装置11における、データ選択条件の設計自由度が高められる。
 ・図15に示すように、ハイパースペクトルセンサ13とデータ転送装置15をユニット化して、1つのハイパースペクトルセンサユニット40を構成してもよい。ハイパースペクトルセンサユニット40は、ハイパースペクトルセンサ13をデータ転送装置15に接続する大容量通信回路14を構成するバスを有する。この場合、スペクトル測定装置11は小型化できる。
 ・上記各実施形態では、データ選択条件としての選択情報は、再構成スペクトルデータE1~Enを構成する場合を例示した。しかしこれに限らず、逆に、データ選択条件として、再構成スペクトルデータE1~Enを構成しない情報を設定されてもよい。この場合も、データ選択条件の条件設定の自由度が高められる。
 ・上記各実施形態では、車載ネットワーク20がCANである場合について例示した。しかしこれに限らず、車載ネットワーク20は、ネットワーク通信が可能であれば、Ethernet(登録商標)や、FlexRay(登録商標)や、IEEE1394(FireWire(登録商標))などその他のネットワークであってもよい。これにより、このスペクトル測定装置の採用可能性が高められる。
 10…車両、11…スペクトル測定装置、12…支援制御装置、13…ハイパースペクトルセンサ、14…大容量通信回路、15…データ転送装置、16…記憶装置、17…不適データ選択部、18…スペクトルデータ加工部、19…速度テーブル、20…車載ネットワーク、21…処理装置、22…演算装置、23…選択条件生成部、25…記憶装置、30…ナビゲーション装置、31…対象検知装置、34…スペクトル画像、35…周辺領域、36…遷移領域、37…中央領域、38…スペクトル画像、39…測定対象、40…ハイパースペクトルセンサユニット、D…測定スペクトルデータ、E…再構成スペクトルデータ、F…単波長画像、G…再構成単波長画像、L…観測光、P,Q…画素。

Claims (16)

  1.  測定対象の波長情報と光強度情報からなる情報を含む測定スペクトルデータを測定するために移動体に搭載されるスペクトルセンサと;前記測定スペクトルデータを処理することによって前記測定対象を識別すべく前記移動体に搭載される処理装置と;前記測定スペクトルデータを前記スペクトルセンサから前記処理装置に伝達するための信号伝達路とを備える移動体用スペクトル測定装置であって、
     前記移動体用スペクトル測定装置は更に、前記測定スペクトルデータに含まれる情報の中から所定情報としての選択情報を選択するように前記測定スペクトルデータを再構成することによって再構成スペクトルデータを得るデータ転送装置を備え、前記データ転送装置は、前記再構成スペクトルデータを前記信号伝達路経由で前記処理装置に転送するように構成されている
    ことを特徴とする、移動体用スペクトル測定装置。
  2.  前記選択情報は、前記測定スペクトルデータに含まれる前記波長情報のうちの、一部の波長情報からなる波長帯域の情報である、
     請求項1記載の移動体用スペクトル測定装置。
  3.  前記一部の波長情報は、前記測定対象の識別に必要とされる波長情報である、
     請求項2記載の移動体用スペクトル測定装置。
  4.  前記一部の波長情報は、前記移動体の周囲の環境光に含まれる波長情報である、
     請求項2記載の移動体用スペクトル測定装置。
  5.  前記選択情報は、前記測定スペクトルデータに含まれる光強度情報のうちの、一部の情報である、
     請求項1記載の移動体用スペクトル測定装置。
  6.  前記測定スペクトルデータは、経時的な複数のスペクトル画像にそれぞれ対応し、
     前記選択情報は、複数の前記測定スペクトルデータのうちの、一部の時間のみに対応する前記測定スペクトルデータの情報である、
     請求項1記載の移動体用スペクトル測定装置。
  7.  前記データ転送装置は、前記測定スペクトルデータに含まれる情報から、無意味な光強度情報を有する波長情報を抽出し且つ除外することによって、前記再構成スペクトルデータを得るように構成されている、
     請求項1~6何れか一項記載の移動体用スペクトル測定装置。
  8.  前記データ転送装置は、前記処理装置に転送できるデータ量の最大値としての転送最大値を設定するように構成され、
     前記データ転送装置は、前記再構成スペクトルデータのデータ量が前記転送最大値以下に収まるように、前記選択情報の量を制限する、
     請求項1~7何れか一項記載の移動体用スペクトル測定装置。
  9.  複数の前記測定対象には、それぞれ優先度が設定され、
     前記データ転送装置は、前記優先度に基づき前記選択情報を決定するように構成される、
     請求項8記載の移動体用スペクトル測定装置。
  10.  前記移動体は、前記移動体の状態としての移動体状態を取得する移動体状態取得部を有し、
     前記データ転送装置は、前記移動体状態に応じて前記選択情報を決定するように構成される、
     請求項1~9何れか一項記載の移動体用スペクトル測定装置。
  11.  前記処理装置は、前記選択情報を設定可能に構成され、
     前記処理装置は、前記測定対象の認識結果に基づき、前記データ転送装置にリクエストを発するように構成され、
     前記データ転送装置は、前記リクエストに応じて前記選択情報を決定するように構成される、
     請求項1~9何れか一項記載の移動体用スペクトル測定装置。
  12.  複数の前記測定対象のうちには、他の前記測定対象よりも出現率が高いと判断される高出現率対象があり、
     前記測定スペクトルデータから前記再構成スペクトルデータへの前記再構成によって削減されるデータ量をデータ削減量と称すると、
     前記高出現率対象のための前記データ削減量が、他の前記測定対象のための前記データ削減量よりも少ないように、前記選択情報は設定される、
     請求項11記載の移動体用スペクトル測定装置。
  13.  前記測定スペクトルデータによってスペクトル画像が生成され、
     前記スペクトル画像の中央領域に対応する前記選択情報は、前記スペクトル画像の周辺領域に対応する前記選択情報とは異なるように設定される、
     請求項1~12何れか一項記載の移動体用スペクトル測定装置。
  14.  前記処理装置は、前記選択情報を設定可能に構成され、
     特定の前記測定対象を、特定測定対象と称すると、
     前記処理装置は、前記スペクトルセンサの測定範囲に前記特定測定対象が存在することを認知する場合、前記特定測定対象の存在に対応する部分の前記測定スペクトルデータを除外するように前記選択情報を設定する、
     請求項1~10何れか一項記載の移動体用スペクトル測定装置。
  15.  前記データ転送装置は、前記再構成スペクトルデータを生成するために、
     或る範囲の波長に対応する波長情報を、代表波長情報で表し、
     これら波長情報にそれぞれ対応する光強度情報に基づき、代表光強度情報を算出するように構成される、
     請求項1~14何れか一項記載の移動体用スペクトル測定装置。
  16.  移動体に搭載されているスペクトルセンサによって、測定対象の波長情報と光強度情報からなる情報を含む測定スペクトルデータを測定する測定工程と;
     前記移動体に搭載されている処理装置によって前記測定スペクトルデータを処理することで、前記測定対象を識別する識別工程と;
     前記測定スペクトルデータを、前記スペクトルセンサから前記処理装置に信号伝達路を介して伝達する伝達工程と
    を備える移動体用スペクトル測定方法であって、
     前記伝達工程は更に、前記測定スペクトルデータに含まれる情報の中から、所定情報としての選択情報を選択するように前記測定スペクトルデータを再構成することによって再構成スペクトルデータを得る工程と;
     前記再構成スペクトルデータを前記信号伝達路経由で前記処理装置に転送する工程と
    を含むことを特徴とする、移動体用スペクトル測定方法。
PCT/JP2010/062960 2010-07-30 2010-07-30 移動体用スペクトル測定装置および移動体用スペクトル測定方法 Ceased WO2012014327A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012507208A JP5321735B2 (ja) 2010-07-30 2010-07-30 移動体用スペクトル測定装置および移動体用スペクトル測定方法
PCT/JP2010/062960 WO2012014327A1 (ja) 2010-07-30 2010-07-30 移動体用スペクトル測定装置および移動体用スペクトル測定方法
CN201080042079.4A CN103038628B (zh) 2010-07-30 2010-07-30 移动体用光谱测定装置以及移动体用光谱测定方法
DE112010005786.9T DE112010005786B4 (de) 2010-07-30 2010-07-30 Vorrichtung und Verfahren zum Messen eines Spektrums eines bewegbaren Körpers
US13/383,595 US9121818B2 (en) 2010-07-30 2010-07-30 Movable body spectrum measuring apparatus and movable body spectrum measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/062960 WO2012014327A1 (ja) 2010-07-30 2010-07-30 移動体用スペクトル測定装置および移動体用スペクトル測定方法

Publications (1)

Publication Number Publication Date
WO2012014327A1 true WO2012014327A1 (ja) 2012-02-02

Family

ID=45529569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/062960 Ceased WO2012014327A1 (ja) 2010-07-30 2010-07-30 移動体用スペクトル測定装置および移動体用スペクトル測定方法

Country Status (5)

Country Link
US (1) US9121818B2 (ja)
JP (1) JP5321735B2 (ja)
CN (1) CN103038628B (ja)
DE (1) DE112010005786B4 (ja)
WO (1) WO2012014327A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307548B2 (en) * 2013-12-12 2016-04-05 Nokia Solutions And Networks Oy Band and channel selection in 5G
US9977961B2 (en) * 2014-10-21 2018-05-22 Bae Systems Information And Electronic Systems Integration Inc. Method for maintaining detection capability when a frame in a multispectral image is corrupted
JP2016103708A (ja) * 2014-11-27 2016-06-02 株式会社ソシオネクスト 撮像装置および撮像方法
JP6775285B2 (ja) * 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
CN105450869B (zh) * 2015-12-02 2018-06-12 广东小天才科技有限公司 一种有害光提示方法及装置
CN105450868B (zh) * 2015-12-02 2018-06-12 广东小天才科技有限公司 一种有害光提示方法及装置
US10868981B2 (en) * 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus
FR3052904A1 (fr) * 2016-06-16 2017-12-22 Peugeot Citroen Automobiles Sa Procede d'aide a la conduite pour vehicule automobile
US10291326B2 (en) * 2016-09-26 2019-05-14 The Boeing Company Communication systems and methods
JP7065356B2 (ja) * 2019-11-11 2022-05-12 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、およびプログラム
JP7463870B2 (ja) * 2020-06-12 2024-04-09 株式会社オートネットワーク技術研究所 車載装置、車載通信システムおよび通信制御方法
CN111775962B (zh) * 2020-07-13 2022-04-22 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077347A (ja) * 2003-09-03 2005-03-24 Kokusai Kogyo Co Ltd 大気計測用レーザレーダ装置
JP2005528280A (ja) * 2002-05-30 2005-09-22 ラファエル―アーマメント ディベロップメント オーソリティー リミテッド 航空偵察システム
JP2006145362A (ja) * 2004-11-19 2006-06-08 Nec Toshiba Space Systems Ltd 光学スペクトルセンサ
JP2008026998A (ja) * 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd 障害物位置算出システム、及び障害物位置算出方法
JP2008541664A (ja) * 2005-05-18 2008-11-20 ディーティーエス (ビーヴィーアイ) エイゼット リサーチ リミテッド スケーラブルに符号化された画像のレート制御
JP2010210355A (ja) * 2009-03-09 2010-09-24 Kobe Univ 近赤外線分光法を用いた野菜等の成分の非破壊計測法および非破壊計測装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080147253A1 (en) * 1997-10-22 2008-06-19 Intelligent Technologies International, Inc. Vehicular Anticipatory Sensor System
JP4326621B2 (ja) 1999-03-01 2009-09-09 株式会社エヌ・ティ・ティ・データ データ管理方法及び装置、記録媒体
JP4624594B2 (ja) 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US7495774B2 (en) * 2002-03-01 2009-02-24 Michigan Aerospace Corporation Optical air data system
US7564539B2 (en) * 2002-08-02 2009-07-21 Ophir Corporation Optical air data systems and methods
JP4262072B2 (ja) 2003-12-05 2009-05-13 株式会社日立製作所 自動車用補助機器制御装置
US7308342B2 (en) 2004-01-23 2007-12-11 Rafael Armament Development Authority Ltd. Airborne reconnaissance system
US7026600B2 (en) * 2004-02-26 2006-04-11 Rosemount Aerospace Inc. System and method of identifying an object in a laser beam illuminated scene based on material types
DE102005024716B4 (de) * 2005-05-30 2023-09-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung und Klassifizierung von Objekten
US20080059080A1 (en) * 2006-08-31 2008-03-06 Caterpillar Inc. Method and system for selective, event-based communications
WO2010137175A1 (ja) 2009-05-29 2010-12-02 トヨタ自動車 株式会社 移動体用スペクトル測定装置
JP5212544B2 (ja) 2009-05-29 2013-06-19 トヨタ自動車株式会社 移動体用スペクトル測定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528280A (ja) * 2002-05-30 2005-09-22 ラファエル―アーマメント ディベロップメント オーソリティー リミテッド 航空偵察システム
JP2005077347A (ja) * 2003-09-03 2005-03-24 Kokusai Kogyo Co Ltd 大気計測用レーザレーダ装置
JP2006145362A (ja) * 2004-11-19 2006-06-08 Nec Toshiba Space Systems Ltd 光学スペクトルセンサ
JP2008541664A (ja) * 2005-05-18 2008-11-20 ディーティーエス (ビーヴィーアイ) エイゼット リサーチ リミテッド スケーラブルに符号化された画像のレート制御
JP2008026998A (ja) * 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd 障害物位置算出システム、及び障害物位置算出方法
JP2010210355A (ja) * 2009-03-09 2010-09-24 Kobe Univ 近赤外線分光法を用いた野菜等の成分の非破壊計測法および非破壊計測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIROHITO KOJIMA ET AL.: "A GA-based Band Selection Algorithm for Hyper-spectral Image Classification", JOURNAL OF THE REMOTE SENSING SOCIETY OF JAPAN, vol. 25, no. 1, January 2005 (2005-01-01), pages 1 - 12 *

Also Published As

Publication number Publication date
JPWO2012014327A1 (ja) 2013-09-09
US20120194817A1 (en) 2012-08-02
DE112010005786T5 (de) 2013-05-29
CN103038628A (zh) 2013-04-10
CN103038628B (zh) 2015-07-22
DE112010005786B4 (de) 2023-03-02
JP5321735B2 (ja) 2013-10-23
US9121818B2 (en) 2015-09-01

Similar Documents

Publication Publication Date Title
JP5321735B2 (ja) 移動体用スペクトル測定装置および移動体用スペクトル測定方法
CN109923855B (zh) 图像处理装置、图像处理方法和程序
US11372200B2 (en) Imaging device
EP3757603B1 (en) Ranging system, light receiving module, and method for manufacturing band-pass filter
JP7225600B2 (ja) 情報処理装置、情報処理方法、プログラム
US11953376B2 (en) Imaging apparatus, signal processing apparatus, signal processing method, and program
JPWO2018037678A1 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2017113403A1 (zh) 一种影像信息处理方法及增强现实ar设备
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
JP2016031648A (ja) 車載機器
EP3585045B1 (en) Information processing device, information processing method, and program
WO2017122396A1 (ja) 制御装置、制御方法及びプログラム
JP2018006785A (ja) 信号処理装置、撮像装置、及び信号処理方法
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2018100992A1 (ja) 撮像光学系、カメラモジュール、及び、電子機器
JPWO2018042815A1 (ja) 画像処理装置と画像処理方法
JPWO2010137175A1 (ja) 移動体用スペクトル測定装置
WO2021116045A1 (en) A situational awareness system for an autonomous or semi-autonomous vehicle
JPWO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2019082686A1 (ja) 撮像装置
WO2022054742A1 (ja) 撮像素子及び撮像装置
EP3761636B1 (en) Signal processing device, signal processing method, and imaging device
CN119659325A (zh) 一种车辆视角图渲染方法以及装置
CN118355653A (zh) 图像显示方法和装置
WO2021229983A1 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080042079.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13383595

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012507208

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10855335

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120100057869

Country of ref document: DE

Ref document number: 112010005786

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10855335

Country of ref document: EP

Kind code of ref document: A1