[go: up one dir, main page]

WO2018150683A1 - 情報処理装置と情報処理方法とプログラムおよび撮像装置 - Google Patents

情報処理装置と情報処理方法とプログラムおよび撮像装置 Download PDF

Info

Publication number
WO2018150683A1
WO2018150683A1 PCT/JP2017/043308 JP2017043308W WO2018150683A1 WO 2018150683 A1 WO2018150683 A1 WO 2018150683A1 JP 2017043308 W JP2017043308 W JP 2017043308W WO 2018150683 A1 WO2018150683 A1 WO 2018150683A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
pixel
unit
filter
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/043308
Other languages
English (en)
French (fr)
Inventor
辰起 柏谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018568004A priority Critical patent/JP7024737B2/ja
Priority to US16/479,378 priority patent/US11062170B2/en
Priority to CN201780086043.8A priority patent/CN110291773B/zh
Priority to EP17896708.9A priority patent/EP3585045B1/en
Publication of WO2018150683A1 publication Critical patent/WO2018150683A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • This technology relates to an information processing device, an information processing method, a program, and an imaging device, and enables polarization information to be accurately acquired from a polarization image.
  • Patent Document 1 the polarization ratio intensities of a vertically polarized image and a horizontally polarized image are calculated, and each time the polarization ratio intensity is calculated, the moving average intensity corresponding to the average of a predetermined period in the time series data of the polarization ratio intensity is calculated. Noise removal is performed by calculation. Further, the predetermined period is adjusted according to the traveling speed of the vehicle, and the road surface state is determined based on the moving average intensity after noise removal.
  • noise removal of polarization information (polarized image) acquired by an imaging device is performed using a noise removal parameter corresponding to a specified road surface state.
  • noise removal when noise removal is performed by calculating the moving average intensity corresponding to the average of a predetermined period, time series data is required. For example, when the acquired polarization information is only information of a temporary point, noise is removed. I can't. Further, when noise removal is performed using a noise removal parameter corresponding to a road surface state, noise cannot be removed unless the road surface state is correctly specified.
  • an object of this technology is to provide an information processing apparatus, an information processing method, a program, and an imaging apparatus that can accurately acquire polarization information from a polarization image.
  • the first aspect of this technology is Using a pixel signal of a polarization image generated by an imaging device in which polarization pixels in a plurality of polarization directions are provided in a predetermined array, a polarization component is extracted by filtering the pixel signal in a polarization order in a predetermined rotation direction.
  • the information processing apparatus includes a filter processing unit.
  • pixel signals of a polarization image generated by an imaging device in which polarization pixels having a plurality of polarization directions are provided in a predetermined arrangement are converted by a rearrangement unit into a polarization order in which a horizontal direction or a vertical direction has a predetermined rotation direction, for example. It rearranges to become the array which becomes.
  • the filter processing unit performs a filter process for extracting a signal component of the polarization period as a polarization component from the rearranged pixel signals.
  • the array restoration unit restores the filtered pixel signal, that is, the pixel signal indicating the polarization component, to the array before the rearrangement unit performs the rearrangement.
  • the rearrangement unit rearranges the pixel signals of the polarization image generated by the imaging device into an array in which one of the horizontal direction and the vertical direction is in the polarization order of the predetermined rotation direction, and performs filtering by the filter processing unit.
  • the processed pixel signals are rearranged into an array in which the other direction is a polarization order of a predetermined rotation direction.
  • the filter processing unit performs a filter process using the pixel signal rearranged in the one direction by the rearrangement unit and a filter process using the pixel signal rearranged in the other direction.
  • the rearrangement unit converts the pixel signal in the pixel block.
  • the arrangement is rearranged so that the horizontal direction or the vertical direction is the polarization order of the predetermined rotation direction.
  • the rearrangement unit rotates the pixel signal of the polarization pixel by a predetermined rotation in the horizontal direction or the vertical direction except for the pixel signal of the non-polarization pixel. Rearrange in the order of polarization direction.
  • the rearrangement unit when the polarization pixels having four polarization directions and the same angle difference between the polarization directions are provided as a predetermined array, the rearrangement unit outputs the pixel signal of the polarization image generated by the imaging device. Then, after rearranging the array in the horizontal direction or the vertical direction so that the polarization order is the predetermined rotation direction, two pixel signal groups are generated by alternately allocating each pixel, and the filter processing unit is generated by the rearrangement unit Filter processing is performed for each pixel signal group.
  • the second aspect of this technology is Using the pixel signal of the polarization image generated by the imaging device in which the polarization pixels in a plurality of polarization directions are provided in a predetermined arrangement, the filter processing unit performs the filter processing of the pixel signal in the polarization order in the predetermined rotation direction.
  • An information processing method includes extracting a polarization component.
  • the third aspect of this technology is A program for causing a computer to execute signal processing of a pixel signal of a polarization image generated by an imaging device in which polarization pixels in a plurality of polarization directions are provided in a predetermined arrangement, A program for causing a computer to execute a procedure of extracting a polarization component by filtering the pixel signal in a polarization order in a predetermined rotation direction.
  • the program of the present technology is, for example, a storage medium or a communication medium provided in a computer-readable format to a general-purpose computer that can execute various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer.
  • the fourth aspect of this technology is In the imaging apparatus, the polarization pixels having a plurality of polarization directions are provided as a polarization order in a predetermined rotation direction in at least one of the horizontal direction and the vertical direction.
  • polarization pixels in a plurality of polarization directions are provided as a polarization order in a predetermined rotation direction in at least one of the horizontal direction and the vertical direction, and for example, the polarization angle difference between the polarization pixels in the polarization order is set equal.
  • a polarized pixel group adjacent to a polarized pixel group arranged in the order of polarization in a predetermined rotation direction in the horizontal direction or the vertical direction may be provided in the order of polarization in the reverse rotation direction with respect to the predetermined rotation direction.
  • FIG. 1 is a diagram for explaining the operation when acquiring polarization information.
  • the subject OB is illuminated using a light source (non-polarized light source) LT, and the subject OB is imaged by the imaging unit CM via the polarizing plate PL.
  • the luminance of the subject OB changes in the polarization image generated by the imaging unit CM according to the rotation of the polarizing plate PL.
  • the highest luminance when the polarizing plate PL is rotated is Imax, and the lowest luminance is Imin.
  • an angle on the xy plane with respect to the x axis when the polarizing plate PL is rotated is a polarization angle ⁇ .
  • the polarizing plate PL returns to the original polarization state when rotated 180 degrees and has a period of 180 degrees.
  • the polarization angle ⁇ when the maximum luminance Imax is observed is the azimuth angle ⁇
  • the luminance I observed when the polarizing plate PL is rotated can be expressed as shown in Expression (1).
  • the relationship between the luminance and the polarization angle is as shown in FIG. 2, for example, and the specular reflection component causes a change in cosine law according to the polarization period.
  • the specular reflection component is filtered using the characteristic that the change in the cosine law becomes the characteristic shown in Formula (1), and even if noise or pixel defects occur in the polarization image, Polarization information indicating a specular reflection component is acquired with high accuracy.
  • FIG. 3 illustrates a configuration of a polarization information acquisition system using the information processing apparatus and the imaging apparatus of the present technology.
  • the polarization camera 20 and the information processing device 30 may be configured separately or may be configured integrally. Further, the polarization camera 20 and the information processing apparatus 30 may be configured to supply the polarization image generated by the polarization camera 20 to the information processing apparatus 30 via a recording medium or the like without being limited to the transmission path.
  • the polarization camera 20 includes an imaging optical system 21 and an imaging unit 22 corresponding to the imaging device of the present technology.
  • the imaging optical system 21 causes subject light to enter the imaging surface of the imaging unit 22.
  • the imaging unit 22 is provided with polarization pixels having a plurality of polarization directions (polarization angles) as a predetermined array, and generates a polarization image.
  • FIG. 4 illustrates the configuration of the imaging unit. As shown in FIG. 4A, in the imaging unit 22, a polarization filter PLF is disposed on the incident surface of the image sensor IMS, and the pixels of the image sensor IMS are provided with polarization pixels in a plurality of polarization directions in a predetermined arrangement. It has been configured. Further, as shown in FIG.
  • the polarization filter PLF and the color mosaic filter CFL are arranged on the incident surface of the image sensor IMS so that the pixels of the image sensor IMS become polarization pixels for each color component. May be.
  • the polarization camera 20 outputs the pixel signal of the polarization image generated by the imaging unit 22 to the information recording / reproducing device 25 and the information processing device 30.
  • the information recording / reproducing apparatus 25 is configured using a recording medium, and records the polarization image generated by the polarization camera 20 on the recording medium.
  • the information recording / reproducing device 25 reads out the polarized image recorded on the recording medium and outputs it to the information processing device 30.
  • the recording medium may be fixed to the information recording / reproducing device 25 or may be detachable.
  • the information processing apparatus 30 includes a filter unit 32, a memory unit 33, and a filter coefficient storage unit 34. Further, the information processing apparatus 30 may have a configuration including the reception buffer 31 and the transmission buffer 35.
  • the reception buffer 31 of the information processing apparatus 30 temporarily stores the polarization image output from the polarization camera 20 or the information recording / reproducing apparatus 25.
  • the reception buffer 31 temporarily stores the polarization image, so that the processing in the information processing device 30 requires more time than the acquisition of the polarization image from the polarization camera 20 or the information recording / reproducing device 25 or the pixel order of the polarization image. Makes it possible to perform filtering of the polarization image even when processing is performed using the pixel signals of the polarization image in different orders.
  • the filter unit 32 uses the pixel signal of the polarization image stored in the reception buffer 31 to filter the pixel signal in the polarization order in the predetermined rotation direction and extract the polarization component. That is, the filter unit 32 uses the pixel signal in the polarization order of a predetermined rotation direction and the filter coefficient stored in the filter coefficient storage unit 34 to change the signal component that changes according to the polarization period, that is, the cosine corresponding to the polarization period. A filter operation is performed to extract a signal component that causes a change in law. By performing such a filtering process, the filter unit 32 accurately extracts a polarization component even if noise, pixel defects, or the like occurs in the polarization image. The filter unit 32 outputs the polarization information indicating the polarization component extracted by performing the filtering process to the transmission buffer 35. The filter unit 32 uses the memory unit 33 to perform filter calculation processing and rearrangement of pixel signals.
  • the transmission buffer 35 of the information processing apparatus 30 temporarily stores the polarization information output from the filter unit 32.
  • the transmission buffer 35 temporarily stores the polarization information after the filter processing, so that the processing in the polarization information utilization unit 50 and the information recording / reproducing device 60 requires more time than the filter processing in the information processing device 30 or the filter processing. Even if the polarization information for each pixel later is different from the predetermined arrangement, the polarization information can be used or recorded in the order of the predetermined arrangement.
  • FIG. 5 illustrates a pixel array of the imaging unit in the first embodiment.
  • the imaging unit 22-1 has a plurality of polarization pixels arranged in a predetermined array by repeatedly providing pixel blocks including polarization pixels in a plurality of polarization directions.
  • the polarization pixel has four different polarization directions
  • the 2 ⁇ 2 pixel block is a polarization pixel having a different polarization direction, and pixel blocks are repeatedly provided.
  • the four polarization directions have an equal angle difference (45 degrees), the polarization direction of the polarization pixel W is 0 degree, the polarization direction of the polarization pixel X is 45 degrees, and the polarization direction of the polarization pixel Y is 90 degrees.
  • the polarization direction of the polarization pixel Z is 135 degrees.
  • a 6 ⁇ 6 pixel pixel region which is a part of the pixel region in the imaging unit is illustrated and described.
  • the filter unit 32-1 of the information processing apparatus 30 converts the pixel signal of the polarization pixel in the pixel block into the predetermined rotation direction with respect to the pixel signal of the polarization image generated by the imaging unit 22-1. Filtering processing is performed in the order of polarization, and polarization information indicating a specular reflection component is generated.
  • FIG. 6 illustrates the functional configuration of the filter unit in the first embodiment.
  • the filter unit 32-1 includes a rearrangement unit 321, a filter processing unit 322, and an array restoration unit 323.
  • the rearrangement unit 321 rearranges the pixel signals in the pixel block into an array in which the horizontal direction or the vertical direction is a polarization order in a predetermined rotation direction.
  • the filter processing unit 322 performs band-pass filter processing using the pixel signal that has been subjected to the polarization order in the predetermined rotation direction by the rearrangement unit 321 and the filter coefficient stored in the filter coefficient storage unit 34, and according to the polarization period. Extract changing signal components.
  • the array restoration unit 323 performs an array restoration process for returning the pixel signal filtered by the filter processing unit 322 to the array before the rearrangement unit 321 performs the rearrangement. Note that the function of the array restoration unit 323 may be provided in the transmission buffer 35 and output the pixel signals after filtering in the order of the array before rearrangement is performed.
  • FIG. 7 is a diagram for explaining the horizontal rearrangement operation.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block shown in FIG. 7A in the horizontal direction.
  • the rearrangement unit 321 has a polarization order of a predetermined rotation direction (for example, a polarization order of the rotation direction in which the polarization angle increases) as shown in FIG. Rearrange the pixel signals of the pixel block.
  • a pixel signal of a 2 ⁇ 2 pixel block composed of polarization pixels W1, X1, Y1, and Z1 is a pixel block of a 1 ⁇ 4 pixel block in the order of polarization pixels W1, X1, Y1, and Z1. Rearrange to signal. Further, the pixel signal of the 2 ⁇ 2 pixel block composed of the polarized pixels W2, X2, Y2, and Z2 is converted into the pixel signal of the 1 ⁇ 4 pixel block in the order of the polarized pixels W2, X2, Y2, and Z2. Rearrange. Similarly, the pixel signals of the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 1 ⁇ 4 pixel block which is the polarization order in the predetermined rotation direction.
  • the filter processing unit 322 performs a band-pass filter process on the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and extracts a signal component that changes according to the polarization period. Specifically, the filter processing unit 322 performs a filter operation using the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and the filter coefficient that is stored in the filter coefficient storage unit 34, and performs cosine law. The signal component causing the change is extracted.
  • FIG. 8 exemplifies pixel signals after rearrangement in the horizontal direction.
  • the pixel signal generated by the imaging unit 22-1 is rearranged into a pixel signal of a 1 ⁇ 4 pixel block having a polarization order in a predetermined rotation direction
  • the pixel signal after the rearrangement in the horizontal direction is as shown in FIG. It has characteristics that can be approximated by equation (1) as described with reference to FIG.
  • FIG. 9 illustrates a pixel signal when noise is superimposed.
  • FIG. 9 shows a case where noise is superimposed on the pixel signal of the polarization pixel W3.
  • the filter processing unit 322 performs band-pass filter processing, and extracts a signal component causing a change in cosine law.
  • FIG. 10 illustrates the pixel signal after the filter processing.
  • the filter processing unit 322 extracts a signal component that causes a change in the cosine law from the pixel signal after the rearrangement in the horizontal direction by bandpass filter processing.
  • FIG. 9 illustrates the case where noise is superimposed, the same bandpass filter processing is performed even when a pixel signal corresponding to the polarization component is not generated due to a pixel defect or the like, as shown in FIG. A signal component causing a change in cosine law can be extracted.
  • FIG. 11 is a diagram for explaining the rearrangement operation in the vertical direction.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block shown in FIG. 11A in which the horizontal filter processing is performed in the vertical direction.
  • the rearrangement unit 321 has a 4 ⁇ 1 pixel which is the polarization order in the predetermined rotation direction (for example, the polarization order in the rotation direction in which the polarization angle increases) as shown in FIG. Rearrange the pixel signals of the pixel block.
  • a pixel signal of a 2 ⁇ 2 pixel block composed of polarization pixels W1, X1, Y1, and Z1 is converted into a pixel block of 4 ⁇ 1 pixels in the order of polarization pixels W1, X1, Y1, and Z1. Rearrange to pixel signals. Further, a 2 ⁇ 2 pixel block made up of polarized pixels W2, X2, Y2, and Z2 is rearranged into a pixel signal of a 4 ⁇ 1 pixel block in the order of polarized pixels W2, X2, Y2, and Z2. .
  • FIG. 11 illustrates a case where the pixel signal of the 2 ⁇ 2 pixel block obtained by performing the array restoration process on the pixel signal after the filter processing is rearranged to the pixel signal of the 4 ⁇ 1 pixel block.
  • the filter unit 32-1 may rearrange the pixel signals shown in FIG. 7B after the filter processing into the pixel signals shown in FIG. 11B.
  • the filter processing unit 322 performs the above-described bandpass filter processing using the pixel signal after the filter processing that has been rearranged in the vertical direction by the rearrangement unit 321 and the filter coefficient stored in the filter coefficient storage unit 34. Then, a signal component causing a change in cosine law is extracted.
  • the array restoration unit 323 performs an array restoration process so that the pixel signal output from the filter processing unit 322 becomes the same array as the pixel signal generated by the imaging unit 22-1.
  • the filter unit 32-1 performs band-pass filter processing on the pixel image having the polarization order in the horizontal direction and the vertical direction as described above with respect to the captured image generated by the imaging unit 22-1 to obtain the captured image.
  • the specular reflection component is extracted without being affected by noise or the like included in the.
  • FIG. 12 is a flowchart illustrating the operation of the filter unit in the first embodiment.
  • the filter unit performs horizontal rearrangement processing.
  • the rearrangement unit 321 of the filter unit 32-1 rearranges the pixel signals generated by the imaging unit 22-1 into pixel signals whose horizontal direction is the polarization order of the predetermined rotation direction, and proceeds to step ST2.
  • step ST2 the filter unit performs horizontal filter processing.
  • the filter processing unit 322 of the filter unit 32-1 performs bandpass filter processing using the pixel signals rearranged in step ST1 in the order of the horizontal direction, extracts a polarization component, and proceeds to step ST3.
  • step ST3 the filter unit performs vertical rearrangement processing.
  • the rearrangement unit 321 of the filter unit 32-1 rearranges the pixel signals filtered in step ST2 into pixel signals whose vertical direction is the polarization order of the predetermined rotation direction, and proceeds to step ST4.
  • step ST4 the filter unit performs vertical filter processing.
  • the filter processing unit 322 of the filter unit 32-1 performs bandpass filter processing using the pixel signals rearranged in step ST3 in the order of the vertical direction, extracts a polarization component, and proceeds to step ST5.
  • step ST5 the filter unit performs an array restoration process.
  • the array restoration unit 323 of the filter unit 32-1 restores the pixel signal filtered in step ST4 to an array equal to the pixel signal generated by the imaging unit 22-1.
  • the polarization order in the predetermined rotation direction is set using the pixel signal of the polarization image generated by the imaging device in which the polarization pixels in a plurality of polarization directions are repeatedly provided in a predetermined arrangement.
  • Filter processing for extracting a signal component that changes in accordance with the polarization period from the pixel signal is performed in the horizontal and vertical directions. Therefore, it is possible to accurately acquire polarization information indicating a specular reflection component without being affected by noise or the like included in the polarization image.
  • FIG. 13 exemplifies the pixel array of the imaging unit (when the polarization direction is three directions) in the second embodiment.
  • the imaging unit 22-2a is a polarized pixel in which the three pixels of the 2 ⁇ 2 pixel block have different polarization directions, and the remaining one pixel is a non-polarized pixel (a polarization filter is provided). Pixel block), and pixel blocks are repeatedly provided.
  • the three polarization directions have an equal angle difference (60 degrees), the polarization direction of the polarization pixel X is 0 degrees, the polarization direction of the polarization pixel Y is 60 degrees, and the polarization direction of the polarization pixel Z is 120 degrees. Degree.
  • the filter unit 32-2 of the information processing apparatus 30 in the second embodiment is configured in the same manner as the filter unit 32-1 in the first embodiment.
  • the filter unit 32-2 performs a filtering process on the pixel signal of the polarization image generated by the imaging unit 22-2a with the pixel signal of the polarization pixel in the pixel block as a polarization order in a predetermined rotation direction, and a specular reflection component Is generated.
  • the rearrangement unit 321 of the filter unit 32-2 rearranges the pixel signals of the polarized pixels of the 2 ⁇ 2 pixel block shown in FIG. 13A in the horizontal direction.
  • the pixel signal of the pixel block of 1 ⁇ 3 pixels which is the polarization order in a predetermined rotation direction (for example, the polarization order in the rotation direction in which the polarization angle increases), Rearrange.
  • the pixel signals of the polarized pixels X1, Y1, and Z1 in the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 1 ⁇ 3 pixel block in the order of the polarized pixels X1, Y1, and Z1. .
  • the pixel signals of the polarized pixels X2, Y2, and Z2 in the 2 ⁇ 2 pixel block adjacent on the right side are re-converted into the pixel signals of the 1 ⁇ 3 pixel block in the order of the polarized pixels X2, Y2, and Z2.
  • the pixel signals of the polarized pixels in the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 1 ⁇ 3 pixel block which is the polarization order in the predetermined rotation direction.
  • the filter processing unit 322 performs a band-pass filter process on the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and extracts a signal component that changes according to the polarization period. Specifically, the filter processing unit 322 performs a filter operation using the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and the filter coefficient that is stored in the filter coefficient storage unit 34, and performs cosine law. The signal component causing the change is extracted.
  • the rearrangement unit 321 rearranges the pixel signals after the filter processing in the vertical direction.
  • the rearrangement unit 321 rearranges pixel signals that have been subjected to horizontal filter processing in the vertical direction.
  • the pixel signal of the pixel block of 3 ⁇ 1 pixels which is the polarization order in a predetermined rotation direction (for example, the polarization order in the rotation direction in which the polarization angle increases) is obtained. Rearrange.
  • the pixel signals of the polarized pixels X1, Y1, and Z1 in the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 3 ⁇ 1 pixel block in the order of the polarized pixels X1, Y1, and Z1.
  • the pixel signals of the polarized pixels X2, Y2, and Z2 in the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 3 ⁇ 1 pixel block in the order of the polarized pixels X2, Y2, and Z2.
  • the pixel signals of the polarized pixels of the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 3 ⁇ 1 pixel block which is the polarization order in the predetermined rotation direction.
  • FIG. 13 illustrates a case where the pixel signal of the 2 ⁇ 2 pixel block obtained by performing the array restoration process on the pixel signal after the filter processing is rearranged into the pixel signal of the 3 ⁇ 1 pixel block.
  • the filter unit 32-2 may rearrange the pixel signals shown in FIG. 13B after the filter processing into the pixel signals shown in FIG.
  • the filter processing unit 322 performs the above-described bandpass filter processing using the pixel signal after the filter processing that has been rearranged in the vertical direction by the rearrangement unit 321 and the filter coefficient stored in the filter coefficient storage unit 34. Then, a signal component causing a change in cosine law is extracted.
  • the array restoration unit 323 performs an array restoration process so that the pixel signal output from the filter processing unit 322 becomes an array equal to the pixel signal generated by the imaging unit 22-2a.
  • the filter unit 32-2 performs band-pass filter processing on the pixel image having the polarization order in the horizontal direction and the vertical direction as described above with respect to the captured image generated by the image capturing unit 22-2a, and the captured image
  • the specular reflection component is extracted without being affected by noise or the like included in the.
  • FIG. 14 illustrates another pixel arrangement (when the polarization direction is two directions) of the imaging unit in the second embodiment.
  • the imaging unit 22-2b includes two pixels of a 2 ⁇ 2 pixel block that are polarized pixels having different polarization directions, and the remaining two pixels are non-polarized pixels (a polarization filter is provided). Pixel block), and pixel blocks are repeatedly provided.
  • the two polarization directions have an equal angle difference (90 degrees)
  • the polarization direction of the polarization pixel X is 0 degrees
  • the polarization direction of the polarization pixel Y is 90 degrees.
  • the filter unit 32-2 of the information processing device 30 performs a filtering process on the pixel signal of the polarization image generated by the imaging unit 22-2b with the pixel signal of the polarization pixel in the pixel block as the polarization order in a predetermined rotation direction. To generate polarization information indicating a specular reflection component.
  • the rearrangement unit 321 of the filter unit 32-2 rearranges the pixel signals of the polarized pixels of the 2 ⁇ 2 pixel block shown in FIG. 14A in the horizontal direction.
  • the pixel signal of the pixel block of 1 ⁇ 2 pixels which is the polarization order in a predetermined rotation direction (for example, the polarization order in the rotation direction in which the polarization angle increases), Rearrange.
  • the pixel signals of the polarization pixels X1 and Y1 in the pixel block of 2 ⁇ 2 pixels are rearranged into the pixel signals of the pixel block of 1 ⁇ 2 pixels in the order of the polarization pixels X1 and Y1.
  • the pixel signals of the polarized pixels X2 and Y2 in the pixel block of 2 ⁇ 2 pixels adjacent to the right side are rearranged into the pixel signals of the pixel block of 1 ⁇ 2 pixels in the order of the polarized pixels X2 and Y2.
  • the pixel signals of the polarized pixels in the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 1 ⁇ 2 pixel block which is the polarization order in the predetermined rotation direction.
  • the filter processing unit 322 performs a band-pass filter process on the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and extracts a signal component that changes according to the polarization period. Specifically, the filter processing unit 322 performs a filter operation using the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and the filter coefficient that is stored in the filter coefficient storage unit 34, and performs cosine law. The signal component causing the change is extracted.
  • the rearrangement unit 321 rearranges the pixel signals after the filter processing in the vertical direction.
  • the rearrangement unit 321 rearranges pixel signals that have been subjected to horizontal filter processing in the vertical direction.
  • the pixel signal of the pixel block of 2 ⁇ 1 pixels which is the polarization order in a predetermined rotation direction (for example, the polarization order in the rotation direction in which the polarization angle increases), Rearrange.
  • the pixel signals of the polarization pixels X1 and Y1 in the pixel block of 2 ⁇ 2 pixels are rearranged into the pixel signals of the pixel block of 2 ⁇ 1 pixels in the order of the polarization pixels X1 and Y1.
  • the pixel signals of the polarization pixels X2 and Y2 in the pixel block of 2 ⁇ 2 pixels are rearranged into pixel signals of the pixel block of 2 ⁇ 1 pixels in the order of the polarization pixels X2 and Y2.
  • the pixel signals of the polarized pixels of the 2 ⁇ 2 pixel block are rearranged into the pixel signals of the 2 ⁇ 1 pixel block which is the polarization order in the predetermined rotation direction.
  • FIG. 14 illustrates a case where the pixel signal of the 2 ⁇ 2 pixel block obtained by performing the array restoration process on the pixel signal after the filter processing is rearranged into the pixel signal of the 2 ⁇ 1 pixel block.
  • the filter unit 32-2 may rearrange the pixel signals shown in FIG. 14B after the filter processing into the pixel signals shown in FIG.
  • the filter processing unit 322 performs the above-described bandpass filter processing using the pixel signal after the filter processing that has been rearranged in the vertical direction by the rearrangement unit 321 and the filter coefficient stored in the filter coefficient storage unit 34. Then, a signal component causing a change in cosine law is extracted.
  • the array restoration unit 323 performs an array restoration process so that the pixel signal output from the filter processing unit 322 becomes an array equal to the pixel signal generated by the imaging unit 22-2a.
  • the filter unit 32-2 performs band-pass filter processing on the pixel image having the polarization order in the horizontal direction and the vertical direction as described above with respect to the captured image generated by the imaging unit 22-2b, and performs the captured image
  • the specular reflection component is extracted without being affected by noise or the like included in the.
  • a pixel signal of a polarization image generated by an imaging device in which polarization pixels in a plurality of polarization directions are repeatedly provided in a predetermined arrangement is used.
  • filter processing for extracting a signal component that changes in accordance with the polarization period from the pixel signal having the polarization order in the predetermined rotation direction is performed in the horizontal direction and the vertical direction. Therefore, it is possible to accurately acquire polarization information indicating a specular reflection component without being affected by noise or the like included in the polarization image.
  • the polarization pixels in the 2 ⁇ 2 pixel block in the imaging unit are not limited to the four directions, and the three or two directions are also affected by noise included in the polarization image. It becomes possible to acquire polarization information indicating a specular reflection component. Further, since the non-polarized pixels are provided in the pixel block of 2 ⁇ 2 pixels, the polarization information indicating the specular reflection component can be accurately generated even when the polarized image and the non-polarized image are generated simultaneously.
  • FIG. 15 illustrates a pixel array of the imaging unit in the third embodiment.
  • each pixel is a polarization pixel in any one of four different polarization directions, and an array of polarization pixels is arranged in the order of polarization in a predetermined rotation direction in the horizontal direction and the vertical direction.
  • the four polarization directions have the same angle difference (45 degrees)
  • the polarization direction of the polarization pixel W is 0 degree
  • the polarization direction of the polarization pixel X is 45 degrees
  • the polarization direction of the polarization pixel Y is 90 degrees.
  • the polarization direction of the polarization pixel Z is 135 degrees.
  • the polarization pixels are arranged in the order of the polarization pixels W, X, Y, Z in the horizontal direction and the vertical direction, for example.
  • the filter unit 32-3 of the information processing apparatus 30 performs rearrangement of pixel signals because the polarization pixels of the imaging unit 22-3a are arranged in the order of a predetermined polarization rotation direction. Perform the filtering process. For this reason, in the filter part 32-3, it is not necessary to provide the rearrangement part 321 and the arrangement
  • the filter processing unit 322 of the filter unit 32-3 performs bandpass filter processing using the pixel signals in the horizontal direction of the polarization image generated by the imaging unit 22-3a and the filter coefficients stored in the filter coefficient storage unit 34. To extract a signal component that changes in accordance with the polarization period. Specifically, the filter processing unit 322 performs a filter operation using the pixel signal in the horizontal direction of the polarization image and the filter coefficient stored in the filter coefficient storage unit 34, and a signal causing a change in the cosine law. Extract ingredients.
  • the filter processing unit 322 performs bandpass filter processing using the pixel signals and the filter coefficients stored in the filter coefficient storage unit 34 using the pixel signals after the horizontal filter processing in the vertical direction, A signal component that changes in accordance with the polarization period is extracted.
  • the filter unit 32-3 performs bandpass filter processing using the pixel signals of the captured image generated by the image capturing unit 22-3a in the order of the horizontal direction and the vertical direction as described above, and includes noise included in the captured image.
  • the specular reflection component is extracted without being affected by.
  • FIG. 16 is a flowchart illustrating the operation of the filter unit in the third embodiment.
  • the filter unit performs horizontal filtering.
  • the filter unit 32-3 performs band-pass filter processing using the pixel signals generated by the imaging unit 22-3a in the order of the horizontal direction, extracts the pixel signal of the polarization component, and proceeds to step ST12.
  • step ST12 the filter unit performs vertical filter processing.
  • the filter unit 32-3 performs a band-pass filter process using the pixel signals filtered in step ST2 in the vertical direction order to generate a polarization component pixel signal from which noise has been removed.
  • each pixel is a polarization pixel in any one of three different polarization directions, and the arrangement of the polarization pixels has a predetermined rotation direction in the horizontal direction and the vertical direction.
  • the three polarization directions have an equal angle difference (60 degrees)
  • the polarization direction of the polarization pixel X is 0 degrees
  • the polarization direction of the polarization pixel Y is 60 degrees
  • the polarization direction of the polarization pixel Z is 120 degrees.
  • each pixel is a polarization pixel having one of two different polarization directions, and the arrangement of the polarization pixels is rotated by a predetermined amount in the horizontal direction and the vertical direction. They are arranged in the order of polarization of directions.
  • the two polarization directions have an equal angle difference (90 degrees)
  • the polarization direction of the polarization pixel X is 0 degrees
  • the polarization direction of the polarization pixel Y is 90 degrees.
  • the polarization pixels are arranged in the order of the polarization pixels X and Y in the horizontal direction and the vertical direction, for example.
  • the filter processing unit 322 of the filter unit 32-3 uses the pixel signal in the horizontal direction of the polarization image generated by the imaging unit 22-3b (22-3c) and the filter coefficient stored in the filter coefficient storage unit 34. Band-pass filter processing is performed to extract a signal component that changes in accordance with the polarization period. Specifically, the filter processing unit 322 performs a filter operation using the pixel signal in the horizontal direction of the polarization image and the filter coefficient stored in the filter coefficient storage unit 34, and a signal causing a change in the cosine law. Extract ingredients.
  • the filter processing unit 322 performs bandpass filter processing using the pixel signals and the filter coefficients stored in the filter coefficient storage unit 34 using the pixel signals after the horizontal filter processing in the vertical direction, A signal component that changes in accordance with the polarization period is extracted.
  • the filter unit 32-3 performs band-pass filter processing using the pixel signals of the captured image generated by the image capturing unit 22-3b (22-3c) in the order of the horizontal direction and the vertical direction as described above, and generates a captured image.
  • the specular reflection component is extracted without being affected by the included noise or the like.
  • a pixel signal of a polarization image generated by an imaging device in which polarization pixels in a plurality of polarization directions are repeatedly provided in a predetermined arrangement is used.
  • filter processing for extracting a signal component that changes in accordance with the polarization period from the pixel signal having the polarization order in the predetermined rotation direction is performed in the horizontal direction and the vertical direction. Therefore, it is possible to accurately acquire polarization information indicating a specular reflection component without being affected by noise or the like included in the polarization image.
  • the imaging unit has the polarization pixels arranged in the horizontal and vertical directions in the predetermined rotation direction, it is not necessary to rearrange the pixel signals in the filter unit.
  • the configuration of the information processing apparatus can be simplified as compared with the embodiment and the second embodiment.
  • the pixel signal is not limited to the polarization order in the predetermined rotation direction, and the same filter processing is performed even in the polarization order in the reverse rotation direction to the predetermined rotation direction.
  • the arrangement of the polarization pixels may include a pixel group having a polarization order in which the horizontal direction and the vertical direction have a predetermined rotation direction and a pixel group having a polarization order having a rotation direction opposite to the predetermined rotation direction.
  • FIG. 18 illustrates a pixel array of the imaging unit in the fourth embodiment.
  • each pixel is a polarization pixel having any one of four different polarization directions.
  • the four polarization directions have an equal angle difference (45 degrees).
  • the polarization direction of the polarization pixel X is 45 degrees
  • the polarization direction of the polarization pixel Y is 90 degrees
  • the polarization direction of the polarization pixel Z is 135 degrees.
  • the arrangement of the polarization pixels is an arrangement in which pixel groups having the polarization order in the predetermined rotation direction and the polarization order in the reverse direction are alternately provided in the horizontal direction and the vertical direction.
  • a pixel group adjacent in the vertical direction to a pixel group in which the horizontal direction is arranged in the order of polarized pixels W, X, Y, Z is arranged in the order of polarized pixels Z, Y, X, W.
  • a pixel group adjacent in the vertical direction to a pixel group in which the horizontal direction is arranged in the order of polarized pixels Z, Y, X, and W is arranged in the order of polarized pixels W, X, Y, and Z.
  • the 2 ⁇ 2 pixel image block is configured to include polarization pixels W, X, Y, and Z having four polarization directions.
  • polarization pixels are arranged in the order of a predetermined rotation direction or reverse direction, and polarization in four polarization directions in an image block of 2 ⁇ 2 pixels. Since the pixel is included, the configuration is the same as either the filter unit 32-1 of the first embodiment or the filter unit 32-3 of the third embodiment.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block in the horizontal direction, for example, the polarization order in a predetermined rotation direction. Are rearranged into pixel signals of a pixel block of 1 ⁇ 4 pixels.
  • the filter processing unit 322 performs band-pass filter processing on the pixel signals that have been rearranged in the horizontal direction by the rearrangement unit 321, and extracts signal components that change according to the polarization period.
  • the filter processing unit 322 performs a filter operation using the pixel signal that has been rearranged in the horizontal direction by the rearrangement unit 321 and the filter coefficient that is stored in the filter coefficient storage unit 34, and performs cosine law.
  • the signal component causing the change is extracted.
  • the rearrangement unit 321 rearranges the filtered pixel signals in the vertical direction.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block that has been subjected to the filtering process in the horizontal direction in the vertical direction, for example, a 4 ⁇ 1 pixel pixel that has a polarization order in a predetermined rotation direction. Rearrange to block pixel signals.
  • the filter processing unit 322 performs the above-described bandpass filter processing using the pixel signal after the filter processing that has been rearranged in the vertical direction by the rearrangement unit 321 and the filter coefficient stored in the filter coefficient storage unit 34. Then, a signal component causing a change in cosine law is extracted.
  • the array restoration unit 323 performs an array restoration process so that the pixel signal output from the filter processing unit 322 becomes the same array as the pixel signal generated by the imaging unit 22-4.
  • the filter unit 32-4 performs band-pass filter processing on the captured image generated by the imaging unit 22-4 using the pixel signals of the pixel block of 2 ⁇ 2 pixels as the polarization order in the horizontal direction and the vertical direction as described above.
  • the specular reflection component is extracted without being affected by noise or the like included in the captured image.
  • the filter processing unit 322 of the filter unit 32-4 uses the pixel signals and filters in the horizontal direction of the polarization image generated by the imaging unit 22-4. Band-pass filter processing is performed using the filter coefficients stored in the coefficient storage unit 34, and signal components that change in accordance with the polarization period are extracted. Specifically, the filter processing unit 322 performs a filter operation using the pixel signal in the horizontal direction of the polarization image and the filter coefficient stored in the filter coefficient storage unit 34, and a signal causing a change in the cosine law. Extract ingredients.
  • the filter processing unit 322 performs bandpass filter processing using the pixel signals and the filter coefficients stored in the filter coefficient storage unit 34 using the pixel signals after the horizontal filter processing in the vertical direction, A signal component that changes in accordance with the polarization period is extracted.
  • the filter unit 32-4 performs band-pass filter processing using the pixel signals of the captured image generated by the imaging unit 22-4 in the order of the horizontal direction and the vertical direction as described above, and includes noise included in the captured image.
  • the specular reflection component is extracted without being affected by.
  • the filter unit 32-4 of the information processing apparatus 30 may selectively perform the operation of the filter unit 32-1 and the operation of the filter unit 32-3.
  • the pixel processing is performed by rearranging the pixels for each 2 ⁇ 2 pixel block, so that the pixel signals generated by the imaging unit 22-4 are sequentially ordered in the horizontal direction and the vertical direction.
  • the length of the pixel range used for the tap can be shortened as compared with the operation of the filter unit 32-3 that uses the filter processing.
  • the information processing apparatus 30 performs the operation of the filter unit 32-3 on a subject that is long in the horizontal direction or the vertical direction, for example, and when the size of the subject in the imaging screen is small, the filter unit 32-1 If the above operation is performed, filter processing suitable for the subject imaged by the imaging unit 22-4 can be performed.
  • a pixel signal of a polarization image generated by an imaging device in which polarization pixels in a plurality of polarization directions are repeatedly provided in a predetermined arrangement is used.
  • filter processing for extracting a signal component that changes in accordance with the polarization period from the pixel signal having the polarization order in the predetermined rotation direction is performed in the horizontal direction and the vertical direction. Therefore, it is possible to accurately acquire polarization information indicating a specular reflection component without being affected by noise or the like included in the polarization image.
  • it is possible to perform the filtering operation of the first embodiment or the third embodiment it is possible to perform a filtering process according to the subject.
  • FIG. 19 illustrates filter coefficients.
  • the imaging unit is an array in which pixel blocks each composed of polarized pixels of four polarization directions are repeatedly provided, and the polarization direction is an angle (45 degrees) having the same angle difference.
  • the polarization direction of the polarization pixel X is 45 degrees
  • the polarization direction of the polarization pixel Y is 90 degrees
  • the polarization direction of the polarization pixel Z is 135 degrees.
  • the filter coefficient when the filter unit is 35 taps is “0” every other tap as shown in the figure. It becomes. That is, when the coefficient is “0”, it does not contribute to the filter calculation result. Therefore, when the polarization pixel is filtered, the pixels in the polarization direction in which the filter coefficient is “0” are distributed to the pixel signal group different from the polarization pixel to be filtered, and the filtering process is performed for each pixel signal group. Thus, the scale of the filter processing unit 322 is reduced.
  • FIR Finite Impulse Response
  • the filter unit 32-5 in the fifth embodiment includes a rearrangement unit 321, a filter processing unit 322, and an array restoration unit 323, similarly to the filter unit 32-1 in the first embodiment.
  • the rearrangement unit 321 rearranges the pixel signals in the pixel block into an array in which the horizontal direction or the vertical direction is a polarization order in a predetermined rotation direction. Further, the rearrangement unit 321 distributes the rearranged pixel signals for each pixel to generate two pixel signal groups.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block shown in FIG. 20A in the horizontal direction. In the rearrangement in the horizontal direction, rearrangement is performed in the polarization order in a predetermined rotation direction (for example, the polarization order in the rotation direction in which the polarization angle increases). Furthermore, the rearrangement unit 321 distributes the rearranged pixel signals for each pixel, and the WY pixel signal group illustrated in FIG. 20B including the pixel signals of the polarization pixel W and the polarization pixel Y, and the polarization pixel X And an XZ pixel signal group shown in (c) of FIG.
  • the filter processing unit 322 performs band-pass filter processing using the filtered WY pixel signal group pixel signals and the filter coefficients stored in the filter coefficient storage unit 34. Further, the filter processing unit 322 performs band-pass filter processing using the pixel signals of the XZ pixel signal group subjected to fill division and the filter coefficients stored in the filter coefficient storage unit 34. Note that FIG. 22 illustrates filter coefficients used for band-pass filter processing of the WY pixel signal group and the XZ pixel signal group. In this way, if bandpass filter processing is performed separately for the WY pixel signal group and the XZ pixel signal group, FIR (FiniteFiImpulse Response) filter processing can be performed with 16 taps, and the scale of the filter processing unit 322 is reduced. Can be reduced.
  • FIR FiniteFiImpulse Response
  • the rearrangement unit 321 rearranges the filtered pixel signals in the vertical direction, sorts the rearranged pixel signals for each pixel, and generates two pixel signal groups.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block shown in FIG. 21A in the vertical direction. In the rearrangement in the vertical direction, rearrangement is performed in a polarization order in a predetermined rotation direction (for example, a polarization order in the rotation direction in which the polarization angle increases). Furthermore, the rearrangement unit 321 distributes the rearranged pixel signals for each pixel, and the WY pixel signal group illustrated in FIG. 21B including the pixel signals of the polarization pixel W and the polarization pixel Y, and the polarization pixel X And an XZ pixel signal group shown in (c) of FIG.
  • the filter processing unit 322 performs band-pass filter processing using the pixel signals of the WY pixel signal group subjected to the distribution and the filter coefficients stored in the filter coefficient storage unit 34, and the XZ pixel signal group subjected to the fill division
  • the band pass filter process using the pixel signal and the filter coefficient stored in the filter coefficient storage unit 34 is performed.
  • the array restoration unit 323 performs an array restoration process so that the pixel signal output from the filter processing unit 322 becomes the same array as the pixel signal generated by the imaging unit 22.
  • the filter unit 32-5 performs band pass filter processing on the captured image generated by the imaging unit 22 for each of a plurality of pixel signal groups having the polarization order in the horizontal direction and the vertical direction as described above.
  • the specular reflection component is extracted without being affected by noise or the like included in the.
  • FIG. 23 is a flowchart illustrating the operation of the filter unit in the fifth embodiment.
  • the filter unit performs horizontal rearrangement processing.
  • the rearrangement unit 321 of the filter unit 32-5 rearranges the pixel signals generated by the imaging unit 22-1 into pixel signals whose horizontal direction is the polarization order of the predetermined rotation direction. Further, the rearrangement unit 321 distributes the pixel signals in the polarization order in the predetermined rotation direction for each pixel, and proceeds to step ST22 as pixel signals of the WY pixel signal group and the WY pixel signal group.
  • step ST22 the filter unit performs WY pixel signal group horizontal filter processing.
  • the filter processing unit 322 of the filter unit 32-5 performs band-pass filter processing using the pixel signals of the WY pixel signal group generated in step ST21 in the horizontal direction, and proceeds to step ST23.
  • step ST23 the filter unit performs XZ pixel signal group horizontal direction filter processing.
  • the filter processing unit 322 of the filter unit 32-5 performs band-pass filter processing using the pixel signals of the XZ pixel signal group generated in step ST21 in the horizontal direction, and proceeds to step ST24.
  • step ST24 the filter unit performs vertical rearrangement processing.
  • the rearrangement unit 321 of the filter unit 32-5 rearranges the pixel signals filtered in steps ST22 and ST23 into pixel signals whose vertical direction is the polarization order of the predetermined rotation direction. Further, the rearrangement unit 321 distributes the pixel signals in the polarization order in the predetermined rotation direction for each pixel, and proceeds to step ST25 as pixel signals of the WY pixel signal group and the XZ pixel signal group.
  • step ST25 the filter unit performs WY pixel signal group vertical direction filter processing.
  • the filter processing unit 322 of the filter unit 32-5 performs bandpass filter processing using the pixel signals of the WY pixel signal group generated in step ST24 in the order of the vertical direction, and proceeds to step ST26.
  • step ST26 the filter unit performs XZ pixel signal group vertical filter processing.
  • the filter processing unit 322 of the filter unit 32-5 performs bandpass filter processing using the pixel signals of the XZ pixel signal group generated in step ST24 in the order of the vertical direction, and proceeds to step ST27.
  • step ST27 the filter unit performs an array restoration process.
  • the array restoration unit 323 of the filter unit 32-5 restores the pixel signals filtered in step ST25 and step ST26 into an array equal to the pixel signal generated by the imaging unit 22.
  • the imaging unit only needs to have a polarization pixel configuration that can filter pixels for each pixel signal group by allocating pixels in the polarization direction in which the filter coefficient is “0” when filtering the polarization pixel to other pixel signal groups.
  • the number of polarization directions and the polarization angle may be different from those of the imaging unit exemplified.
  • the pixel signal of the polarization image generated by the imaging device in which the polarization pixels in a plurality of polarization directions are repeatedly provided in a predetermined arrangement is used.
  • filter processing for extracting a signal component that changes in accordance with the polarization period from the pixel signal having the polarization order in the predetermined rotation direction is performed in the horizontal direction and the vertical direction. Therefore, it is possible to accurately acquire polarization information indicating a specular reflection component without being affected by noise or the like included in the polarization image.
  • the pixel signals are distributed and the filter processing is performed for each pixel signal group, the number of taps of the filter processing unit 322 can be reduced, and the filter processing unit can be simplified as compared with the first embodiment. Can be configured.
  • the filter unit performs the filtering process only in the horizontal direction and acquires the polarization information indicating the specular reflection component. Also good.
  • the imaging unit has the configuration shown in the third embodiment, the pixel signal generated by the imaging unit can be sequentially filtered to obtain polarization information, and thus the field where polarization information is required in real time. This is suitable when using an information processing apparatus.
  • FIG. 24 shows another example of the horizontal rearrangement operation
  • FIG. 25 shows another example of the vertical rearrangement operation.
  • the rearrangement unit 321 rearranges the pixel signals of the 2 ⁇ 2 pixel block shown in FIG. 24A in the horizontal direction. In the rearrangement in the horizontal direction, the rearrangement unit 321 performs pixel order of a 2 ⁇ 2 pixel block so that the polarization order in the predetermined rotation direction and the spatial order are maintained as shown in FIG.
  • the signal is rearranged into a pixel signal of a pixel block of 1 ⁇ 4 pixels.
  • a pixel signal of a 2 ⁇ 2 pixel block composed of polarization pixels W1, X1, Y1, and Z1 is a pixel block of a 1 ⁇ 4 pixel block in the order of polarization pixels Z1, Y1, X1, and W1. Rearrange to signal.
  • the pixel signal of the 2 ⁇ 2 pixel block composed of the polarized pixels W2, X2, Y2, and Z2 is converted into the pixel signal of the 1 ⁇ 4 pixel block in the order of the polarized pixels Z2, Y2, X2, and W2. Rearrange.
  • the pixel signals of the 2 ⁇ 2 pixel block are rearranged into pixel signals of the 1 ⁇ 4 pixel block in which the spatial order is maintained in the polarization order in the predetermined rotation direction. If rearrangement is performed in this way, when the pixel signals of the 2 ⁇ 2 pixel block are arranged in the horizontal direction, the order of the pixel signals is that the pixel Z is on the right side of the pixel W and the pixel Y is on the right side of the pixel X. , Can keep the horizontal spatial order. In the case of FIG. 7B, the pixel W and the pixel X are on the right side of the pixel Y and the pixel Z, and the spatial order is reversed. Therefore, if the rearrangement operation in the horizontal direction shown in FIG. 24B is performed, the filtering process can be performed while maintaining the spatial order in the horizontal direction.
  • the rearrangement unit 321 rearranges the vertical direction so as to maintain the spatial order as in the horizontal direction.
  • the rearrangement unit 321 converts the pixel signal of the 2 ⁇ 2 pixel block shown in FIG. 25A into a polarization order in a predetermined rotation direction and a spatial order as shown in FIG. So that the pixel signal of the 2 ⁇ 2 pixel block is rearranged into the pixel signal of the 4 ⁇ 1 pixel block. If rearrangement is performed in this way, when the pixel signals of the 2 ⁇ 2 pixel block are arranged in the vertical direction, the pixel Z is above the pixel Y and the pixel W is above the pixel X. Can keep order. In the case of FIG.
  • the pixel Y is located above the pixel Z, and the spatial order is reversed. Therefore, if the rearrangement operation in the vertical direction is performed as shown in FIG. 25B, the filtering process can be performed while maintaining the spatial order in the vertical direction.
  • the above-described polarization direction is an exemplification, and the polarization direction may be different from the above-described embodiment.
  • the information processing apparatus 30 performs a color captured image by demosaic processing using pixel signals of non-polarized pixels in the pixel block. Can be generated. Further, the information processing apparatus 30 can acquire polarization information for each color.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is not limited to an information processing terminal, but is an automobile, an electric car, a hybrid electric car, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may be realized as an apparatus mounted on any kind of moving body.
  • FIG. 26 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 27 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 27 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the imaging unit that images the polarization information acquisition range is configured using the imaging unit of the above-described embodiment.
  • the information processing apparatus 30 may be provided in the integrated control unit 7600 of the application example illustrated in FIG. 26 or may be provided integrally with the imaging unit. With such a configuration, it is possible to acquire polarization information from which noise or the like has been removed from a captured image generated by an imaging unit that captures an acquisition range of polarization information, so the acquired polarization information is used for driving support, driving control, or the like. Available.
  • the information processing apparatus 30 may be realized in a module (for example, an integrated circuit module including one die) for the integrated control unit 7600 illustrated in FIG.
  • the configuration of the vehicle control system 7000 is an example, and may be a configuration that does not include a part of the blocks illustrated in FIG. 26, or may include a block that is not illustrated in FIG. 26.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the information processing apparatus may have the following configuration.
  • a polarization component is obtained by filtering the pixel signal in the polarization order of a predetermined rotation direction using pixel signals of a polarization image generated by an imaging device in which polarization pixels of a plurality of polarization directions are provided in a predetermined arrangement.
  • An information processing apparatus provided with a filter processing unit for extracting.
  • a rearrangement unit that rearranges the pixel signals into an array in which a horizontal direction or a vertical direction is a polarization order of the predetermined rotation direction, The information processing apparatus according to (1), wherein the filter processing unit performs the filter processing using the pixel signals rearranged by the rearrangement unit.
  • the rearrangement unit rearranges the pixel signals of the polarization image generated by the imaging device into an array in which one of the horizontal direction and the vertical direction is the polarization order of the predetermined rotation direction,
  • the pixel signals filtered by the filter processing unit are rearranged into an array in which the other direction is the polarization order of the predetermined rotation direction,
  • the filter processing unit is configured to filter the pixel signal that has been rearranged in the one direction in the rearrangement unit and the filtered pixel signal that has been rearranged in the other direction.
  • the information processing apparatus according to (2) which performs filter processing.
  • the imaging device includes the pixel blocks including the polarization pixels in the plurality of polarization directions repeatedly, so that the polarization pixels in the plurality of polarization directions are in the predetermined array,
  • the imaging device includes a polarization pixel and a non-polarization pixel in the plurality of polarization directions,
  • the rearrangement unit rearranges the pixel signals of the polarized pixels except for the pixel signals of the non-polarized pixels into an array in which a horizontal direction or a vertical direction is a polarization order of the predetermined rotation direction.
  • polarization pixels having four polarization directions and an equal angle difference between the polarization directions are provided as the predetermined array
  • the rearrangement unit rearranges the pixel signals of the polarization image generated by the imaging device into an array in which the horizontal direction or the vertical direction is the polarization order of the predetermined rotation direction, and then alternately distributes the pixel signals for each pixel.
  • Generate pixel signal group The information processing apparatus according to any one of (2) to (5), wherein the filter processing unit performs the filter processing for each pixel signal group generated by the rearrangement unit.
  • the data processing apparatus according to any one of (2) to (6), further including an array restoration unit that returns the pixel signals filtered by the filter processing unit to an array before rearrangement by the rearrangement unit.
  • Information processing device. (8) The filter processing unit extracts, as the polarization component, a signal component that changes in accordance with a polarization period from the pixel signal having the polarization order in the predetermined rotation direction. Information processing device.
  • the imaging device of this technique can also take the following structures.
  • the polarized pixel group adjacent to the polarized pixel group arranged in the order of polarization in the predetermined rotation direction in the horizontal direction or the vertical direction has a polarization order in the reverse rotation direction with respect to the predetermined rotation direction.
  • Imaging device (3) The imaging device according to (1) or (2), wherein the polarization pixels have the same angle difference in the polarization direction between the polarization pixels in the polarization order of the predetermined rotation direction.
  • a predetermined rotation direction is obtained by using a pixel signal of a polarization image generated by an imaging apparatus in which polarization pixels having a plurality of polarization directions are repeatedly provided in a predetermined arrangement. Filtering of the image signal in the polarization order is performed to extract the polarization component. Further, according to the imaging device of this technology, the polarization pixels having a plurality of polarization directions are provided as the polarization order in the predetermined rotation direction in at least one of the horizontal direction and the vertical direction. For this reason, the polarization information indicating the polarization component that changes in accordance with the polarization period can be accurately acquired from the polarization image. Therefore, it is suitable for a device that performs reflection removal, shape estimation, etc. using a polarization image.
  • DESCRIPTION OF SYMBOLS 10 ... Polarization information acquisition system 20 ... Polarization camera 21 ... Imaging optical system 22, 22-1, 22-2a, 22-2b, 22-3a, 22-3b, 22-3c, 22-4 Image capturing unit 25, 60 Information recording / reproducing device 30 Information processing device 31 Reception buffer 32, 32-1, 32-2, 32-3, 32-4, 32-5 .... Filter unit 33 ... Memory unit 34 ... Filter coefficient storage unit 35 ... Transmission buffer 50 ... Polarization information utilization unit 321 ... Rearrangement unit 322 ... Filter processing unit 323 ... Array restoration part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

フィルタ部３０は、複数偏光方向の偏光画素が所定の配列で繰り返し設けられている撮像部２２で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画像信号のフィルタ処理を行い偏光成分を抽出する。また、撮像部２２は、複数偏光方向の偏光画素が水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けられてよい。このため、フィルタ部３０は撮像部２２で生成された偏光画像から偏光周期に応じて変化する偏光成分を精度よく取得できるようになる。

Description

情報処理装置と情報処理方法とプログラムおよび撮像装置
　この技術は、情報処理装置と情報処理方法とプログラムおよび撮像装置に関し、偏光画像から偏光情報を精度よく取得できるようにする。
　従来、偏光情報を取得可能な撮像装置を用いて物体の形状や状態の識別等が行われている。また、偏光情報を用いた処理を精度よく行うことができるように、偏光情報からノイズを除去することが行われている。例えば特許文献１では、垂直偏光画像と水平偏光画像の偏光比強度の算出を行い、偏光比強度が算出される毎に偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度の演算によってノイズ除去が行われている。また、車両の走行速度応じて所定期間を調整して、ノイズ除去後の移動平均強度に基づき路面状態の判別が行われている。特許文献２では、特定した路面状態に対応するノイズ除去用パラメータを用いて、撮像装置で取得された偏光情報（偏光画像）のノイズ除去が行われている。
特開２００４－２９９４４３号公報 特開２０１１－１５４６９５号公報
　ところで、所定期間の平均に対応する移動平均強度の演算によってノイズ除去を行う場合には時系列データが必要となり、例えば取得されている偏光情報が一時点のみの情報である場合はノイズを除去することができない。また、路面状態に対応するノイズ除去用パラメータを用いてノイズ除去を行う場合、路面状態が正しく特定されないとノイズを除去できない。
　そこで、この技術では偏光画像から偏光情報を精度よく取得できる情報処理装置と情報処理方法とプログラムおよび撮像装置を提供することを目的とする。
　この技術の第１の側面は、
　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出するフィルタ処理部を備える情報処理装置にある。
　この技術においては、複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を、再配列部で例えば水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。フィルタ処理部は並び替えられた画素信号から偏光周期の信号成分を偏光成分として抽出するフィルタ処理を行う。配列復元部はフィルタ処理された画素信号すなわち偏光成分を示す画素信号を、再配列部で並び替えが行われる前の配列に復元する。
　また、再配列部は、撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向の一方の方向が所定回転方向の偏光順となる配列への並び替えと、フィルタ処理部でフィルタ処理された画素信号を、他方の方向が所定回転方向の偏光順となる配列への並び替えを行う。フィルタ処理部は、再配列部で前記一方の方向の並び替えが行われた画素信号を用いたフィルタ処理と他方の方向の並び替えが行われた画素信号を用いたフィルタ処理を行う。
　また、撮像装置において、複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、複数偏光方向の偏光画素が所定の配列とされている場合、再配列部は、画素ブロック内の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。また、撮像装置が複数偏光方向の偏光画素と無偏光画素を有している場合、再配列部は、無偏光画素の画素信号を除いて偏光画素の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。
　さらに、撮像装置において、偏光方向が４方向であって偏光方向の角度差が等しい偏光画素を所定の配列として設けている場合、再配列部は、撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向が所定回転方向の偏光順となる配列へ並び替えたのち画素毎に交互に振り分けて２つの画素信号群を生成して、フィルタ処理部は、再配列部で生成された画素信号群毎にフィルタ処理を行う。
　この技術の第２の側面は、
　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理をフィルタ処理部で行い偏光成分を抽出すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号の信号処理をコンピュータで実行させるプログラムであって、
　所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出する手順を
前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　複数偏光方向の偏光画素を、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けた撮像装置にある。
　この技術においては、複数偏光方向の偏光画素が、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けられて、例えば偏光順とした偏光画素間の偏光角度差が等しく設定されている。また、撮像装置では、水平方向または垂直方向に所定回転方向の偏光順に並ぶ偏光画素群に対して隣接する偏光画素群は、所定回転方向に対して逆回転方向の偏光順に設けられてもよい。
　この技術によれば、複数偏光方向の偏光画素が所定の配列で繰り返し設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画像信号のフィルタ処理が行われて偏光成分が抽出される。このため、偏光周期に応じて変化する偏光成分を示す偏光情報を偏光画像から精度よく取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
偏光情報を取得する場合の動作を説明するための図である。 輝度と偏光角の関係を例示した図である。 情報処理装置と撮像装置を用いた偏光情報取得システムの構成を例示した図である。 撮像部の構成を例示した図である。 第１の実施の形態における撮像部の画素配列を例示した図である。 第１の実施の形態におけるフィルタ部の機能構成を例示した図である。 水平方向再配列動作を説明するための図である。 水平方向再配列後の画素信号を例示した図である。 ノイズが重畳した場合の画素信号を例示した図である。 フィルタ処理後の画素信号を例示した図である。 垂直方向再配列動作を説明するための図である。 第１の実施の形態におけるフィルタ部の動作を例示したフローチャートである。 第２の実施の形態における撮像部の画素配列（偏光方向が３方向である場合）を例示した図である。 第２の実施の形態における撮像部の他の画素配列（偏光方向が２方向である場合）を例示している。 第３の実施の形態における撮像部の画素配列を例示した図である。 第３の実施の形態におけるフィルタ部の動作を例示したフローチャートである。 第３の実施の形態における撮像部の他の画素配列を例示した図である。 第４の実施の形態における撮像部の画素配列を例示した図である。 フィルタ係数を例示した図である。 第５の実施の形態における再配列部の動作（その１）を説明するための図である。 第５の実施の形態における再配列部の動作（その２）を説明するための図である。 ＷＹ画素信号群およびＸＺ画素信号群のバンドパスフィルタ処理に用いるフィルタ係数を例示した図である。 第５の実施の形態におけるフィルタ部の動作を例示したフローチャートである。 水平方向再配列動作の他の例を説明するための図である。 垂直方向再配列動作の他の例を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．偏光情報について
　２．偏光情報取得システムの構成
　３．第１の実施の形態
　４．第２の実施の形態
　５．第３の実施の形態
　６．第４の実施の形態
　７．第５の実施の形態
　８．他の実施の形態
　９．応用例
　＜１．偏光情報について＞
　図１は偏光情報を取得する場合の動作を説明するための図である。図１に示すように、光源（無偏光光源）ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。ここで、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φとすると、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。また、輝度と偏光角の関係は例えば図２に示すようになり、鏡面反射成分は偏光周期に応じたコサイン則の変化を生じる。
Figure JPOXMLDOC01-appb-M000001
　したがって、本技術の情報処理装置では、鏡面反射成分はコサイン則の変化が式（１）に示す特性となることを利用してフィルタ処理を行い、偏光画像にノイズや画素欠陥が生じても、精度よく鏡面反射成分を示す偏光情報を取得する。
　＜２．偏光情報取得システムの構成＞
　図３は、本技術の情報処理装置と撮像装置を用いた偏光情報取得システムの構成を例示している。偏光情報取得システム１０は、偏光カメラ２０と情報処理装置３０が別個に構成されていてもよく、一体に構成されてもよい。また、偏光カメラ２０と情報処理装置３０は、伝送路に限らず記録媒体等を介して情報処理装置３０に偏光カメラ２０で生成された偏光画像を供給するように構成されてもよい。
　偏光カメラ２０は、撮像光学系２１と本技術の撮像装置に相当する撮像部２２を有している。撮像光学系２１は、被写体光を撮像部２２の撮像面に入射する。撮像部２２は、複数偏光方向（偏光角）の偏光画素が所定の配列として設けられており偏光画像を生成する。図４は、撮像部の構成を例示している。図４の（ａ）に示すように、撮像部２２では、イメージセンサＩＭＳの入射面に偏光フィルタＰＬＦが配置されて、イメージセンサＩＭＳの画素は、複数偏光方向の偏光画素を所定の配列に設けた構成とされている。また、図４の（ｂ）に示すように、イメージセンサＩＭＳの入射面に偏光フィルタＰＬＦとカラーモザイクフィルタＣＦＬを配置して、イメージセンサＩＭＳの画素が色成分毎の偏光画素となるように構成されてもよい。偏光カメラ２０は、撮像部２２で生成した偏光画像の画素信号を情報記録再生装置２５や情報処理装置３０へ出力する。
　情報記録再生装置２５は、記録媒体を用いて構成されており、偏光カメラ２０で生成された偏光画像を記録媒体に記録する。また、情報記録再生装置２５は、記録媒体に記録されている偏光画像を読み出して情報処理装置３０へ出力する。なお、記録媒体は、情報記録再生装置２５に固定して設けられてもよく、着脱可能に設けられてもよい。
　情報処理装置３０は、フィルタ部３２、メモリ部３３、フィルタ係数記憶部３４を有している。また、情報処理装置３０は、受信バッファ３１や送信バッファ３５を有する構成であってもよい。
　情報処理装置３０の受信バッファ３１は、偏光カメラ２０または情報記録再生装置２５から出力された偏光画像を一時記憶する。受信バッファ３１は、偏光画像を一時記憶することで、偏光カメラ２０や情報記録再生装置２５からの偏光画像の取得に比べて情報処理装置３０における処理に時間を要する場合や偏光画像の画素順とは異なる順序で偏光画像の画素信号を用いて処理を行う場合でも、偏光画像のフィルタ処理を行えるようにする。
　フィルタ部３２は、受信バッファ３１に記憶されている偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号のフィルタ処理を行い偏光成分を抽出する。すなわち、フィルタ部３２は、所定回転方向の偏光順とした画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて、偏光周期に応じて変化する信号成分すなわち偏光周期に応じたコサイン則の変化を生じる信号成分を抽出するフィルタ演算を行う。フィルタ部３２は、このようなフィルタ処理を行うことで、偏光画像にノイズや画素欠陥等が生じても精度よく偏光成分を抽出する。フィルタ部３２は、フィルタ処理を行うことにより抽出した偏光成分を示す偏光情報を送信バッファ３５へ出力する。なお、フィルタ部３２は、メモリ部３３を利用してフィルタ演算処理や画素信号の並び替えを行う。
　情報処理装置３０の送信バッファ３５は、フィルタ部３２から出力された偏光情報を一時記憶する。送信バッファ３５は、フィルタ処理後の偏光情報を一時記憶することで、情報処理装置３０におけるフィルタ処理に比べて偏光情報利用部５０や情報記録再生装置６０での処理に時間を要する場合やフィルタ処理後の画素毎の偏光情報が所定の配列と異なる場合であっても、偏光情報を所定の配列の順で利用または記録できるようにする。
　＜３．第１の実施の形態＞
　次に第１の実施の形態について説明する。図５は第１の実施の形態における撮像部の画素配列を例示している。撮像部２２-1は、複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、複数偏光方向の偏光画素が所定の配列とされている。例えば偏光画素は、４つの異なる偏光方向とされており、２×２画素の画素ブロック内は偏光方向が互いに異なる偏光画素とされて、画素ブロックが繰り返し設けられている。また、例えば４つの偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。なお、説明を簡単するため、本明細書の実施の形態では、撮像部における画素領域の一部である６×６画素の画素領域を図示して説明を行う。
　第１の実施の形態における情報処理装置３０のフィルタ部３２-1は、撮像部２２-1で生成された偏光画像の画素信号に対して、画素ブロック内の偏光画素の画素信号を所定回転方向の偏光順としてフィルタ処理を行い、鏡面反射成分を示す偏光情報を生成する。
　図６は、第１の実施の形態におけるフィルタ部の機能構成を例示している。フィルタ部３２-1は、再配列部３２１とフィルタ処理部３２２と配列復元部３２３を有している。
　再配列部３２１は、画素ブロック内の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。
　フィルタ処理部３２２は、再配列部３２１で所定回転方向の偏光順とされた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。
　配列復元部３２３は、フィルタ処理部３２２でフィルタ処理された画素信号を、再配列部３２１で並び替えが行われる前の配列に戻す配列復元処理を行う。なお、配列復元部３２３の機能は、送信バッファ３５に設けて、並び替えが行われる前の配列の順にフィルタ処理後の画素信号を出力してもよい。
　次に、フィルタ部３２-1の動作について説明する。図７は、水平方向の再配列動作を説明するための図である。再配列部３２１は、図７の（ａ）に示す２×２画素の画素ブロックの画素信号を水平方向に再配列する。再配列部３２１は、水平方向の再配列において、図７の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である１×４画素の画素ブロックの画素信号に再配列する。具体的には、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1からなる２×２画素の画素ブロックの画素信号を偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1の順序とされた１×４画素の画素ブロックの画素信号に再配列する。また、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2からなる２×２画素の画素ブロックの画素信号を、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2の順序とされた１×４画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの画素信号を所定回転方向の偏光順である１×４画素の画素ブロックの画素信号に再配列する。
　フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。
　図８は、水平方向の再配列後の画素信号を例示している。撮像部２２-1で生成された画素信号を、所定回転方向の偏光順である１×４画素の画素ブロックの画素信号に再配列すると、水平方向の再配列後の画素信号は、図１および図２を用いて説明した場合のように式（１）で近似可能な特性を有する。
　図９は、ノイズが重畳した場合の画素信号を例示している。なお、図９では偏光画素Ｗ3の画素信号にノイズが重畳した場合を示している。水平方向の再配列後の画素信号において、ノイズが重畳した画素信号は、式（１）で近似可能な特性から信号レベルが外れた状態となる。したがって、フィルタ処理部３２２は、バンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。
　図１０は、フィルタ処理後の画素信号を例示している。フィルタ処理部３２２は、バンドパスフィルタ処理によって、水平方向の再配列後の画素信号からコサイン則の変化を生じている信号成分を抽出する。
　なお、図９ではノイズが重畳した場合を例示したが、画素欠陥等によって偏光成分に応じた画素信号が生成されていない場合も同様なバンドパスフィルタ処理を行うことで、図１０に示すようなコサイン則の変化を生じている信号成分を抽出できる。
　次に、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。図１１は、垂直方向の再配列動作を説明するための図である。再配列部３２１は、水平方向のフィルタ処理が行われている図１１の（ａ）に示す２×２画素の画素ブロックの画素信号を垂直方向に再配列する。再配列部３２１は、垂直方向の再配列において、図１１の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である４×１画素の画素ブロックの画素信号に再配列する。具体的には、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1からなる２×２画素の画素ブロックの画素信号を、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1の順序とされた４×１画素の画素ブロックの画素信号に再配列する。また、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2からなる２×２画素の画素ブロックを、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2の順序とされた４×１画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの画素信号を所定回転方向の偏光順である４×1画素の画素ブロックの画素信号に再配列する。なお、図１１では、フィルタ処理後の画素信号に対して配列復元処理が行われた２×２画素の画素ブロックの画素信号を４×１画素の画素ブロックの画素信号に再配列した場合を例示しているが、フィルタ部３２-1は、フィルタ処理後の図７の（ｂ）に示す画素信号を図１１の（ｂ）の画素信号に再配列してもよい。
　フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。
　配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-1で生成された画素信号と等しい配列となるように配列の復元処理を行う。
　フィルタ部３２-1は、撮像部２２-1で生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした画素信号に対してバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　図１２は、第１の実施の形態におけるフィルタ部の動作を例示したフローチャートである。ステップＳＴ１でフィルタ部は水平方向再配列処理を行う。フィルタ部３２-1の再配列部３２１は、撮像部２２-1で生成された画素信号を、水平方向が所定回転方向の偏光順である画素信号に並び替えてステップＳＴ２に進む。
　ステップＳＴ２でフィルタ部は水平方向フィルタ処理を行う。フィルタ部３２-1のフィルタ処理部３２２は、ステップＳＴ１で並び替えられた画素信号を水平方向の順に用いてバンドパスフィルタ処理を行い、偏光成分を抽出してステップＳＴ３に進む。
　ステップＳＴ３でフィルタ部は垂直方向再配列処理を行う。フィルタ部３２-1の再配列部３２１は、ステップＳＴ２でフィルタ処理された画素信号を、垂直方向が所定回転方向の偏光順である画素信号に並び替えてステップＳＴ４に進む。
　ステップＳＴ４でフィルタ部は垂直方向フィルタ処理を行う。フィルタ部３２-1のフィルタ処理部３２２は、ステップＳＴ３で並び替えられた画素信号を垂直方向の順に用いてバンドパスフィルタ処理を行い、偏光成分を抽出してステップＳＴ５に進む。
　ステップＳＴ５でフィルタ部は配列復元処理を行う。フィルタ部３２-1の配列復元部３２３は、ステップＳＴ４でフィルタ処理された画素信号を、撮像部２２-1で生成された画素信号と等しい配列に復元する。
　このような第１の実施の形態によれば、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。
　＜４．第２の実施の形態＞
　次に、第２の実施の形態について説明する。第２の実施の形態では、偏光方向が４方向よりも少なく２方向以上である場合について説明する。図１３は第２の実施の形態における撮像部の画素配列（偏光方向が３方向である場合）を例示している。撮像部２２-2aは、図１３の（ａ）に示すように、２×２画素の画素ブロックの３画素が異なる偏光方向の偏光画素で、残りの１画素が無偏光画素（偏光フィルタが設けられていない画素）とされており、画素ブロックが繰り返し設けられている。また、例えば３つの偏光方向は角度差が等しい角度（６０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は６０度，偏光画素Ｚの偏光方向は１２０度である。
　第２の実施の形態における情報処理装置３０のフィルタ部３２-2は、第１の実施の形態のフィルタ部３２-1と同様に構成されている。フィルタ部３２-2は、撮像部２２-2aで生成された偏光画像の画素信号に対して、画素ブロック内の偏光画素の画素信号を所定回転方向の偏光順としてフィルタ処理を行い、鏡面反射成分を示す偏光情報を生成する。
　フィルタ部３２-2の再配列部３２１は、図１３の（ａ）に示す２×２画素の画素ブロックの偏光画素の画素信号を水平方向に再配列する。水平方向の再配列では、図１３の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である１×３画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロックにおける偏光画素Ｘ1，Ｙ1，Ｚ1の画素信号を偏光画素Ｘ1，Ｙ1，Ｚ1の順序とされた１×３画素の画素ブロックの画素信号に再配列する。また、右側に隣接する２×２画素の画素ブロックにおける偏光画素Ｘ2，Ｙ2，Ｚ2の画素信号を、偏光画素Ｘ2，Ｙ2，Ｚ2の順序とされた１×３画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックにおける偏光画素の画素信号を所定回転方向の偏光順である１×３画素の画素ブロックの画素信号に再配列する。
　フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。
　また、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。再配列部３２１は、水平方向のフィルタ処理が行われている画素信号を垂直方向に再配列する。垂直方向の再配列では、図１３の（ｃ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である３×１画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロック内における偏光画素Ｘ1，Ｙ1，Ｚ1の画素信号を偏光画素Ｘ1，Ｙ1，Ｚ1の順序とされた３×１画素の画素ブロックの画素信号に再配列する。また、２×２画素の画素ブロック内における偏光画素Ｘ2，Ｙ2，Ｚ2の画素信号を、偏光画素Ｘ2，Ｙ2，Ｚ2の順序とされた３×１画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの偏光画素の画素信号を所定回転方向の偏光順である３×1画素の画素ブロックの画素信号に再配列する。なお、図１３では、フィルタ処理後の画素信号に対して配列復元処理が行われた２×２画素の画素ブロックの画素信号を３×１画素の画素ブロックの画素信号に再配列した場合を例示しているが、フィルタ部３２-2は、フィルタ処理後の図１３の（ｂ）に示す画素信号を図１３の（ｃ）の画素信号に再配列してもよい。
　フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。
　配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-2aで生成された画素信号と等しい配列となるように配列の復元処理を行う。
　フィルタ部３２-2は、撮像部２２-2aで生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした画素信号に対してバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　図１４は第２の実施の形態における撮像部の他の画素配列（偏光方向が２方向である場合）を例示している。撮像部２２-2bは、図１４の（ａ）に示すように、２×２画素の画素ブロックの２画素が異なる偏光方向の偏光画素で、残りの２画素が無偏光画素（偏光フィルタが設けられていない画素）とされており、画素ブロックが繰り返し設けられている。また、例えば２つの偏光方向は角度差が等しい角度（９０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は９０度である。
　情報処理装置３０のフィルタ部３２-2は、撮像部２２-2bで生成された偏光画像の画素信号に対して、画素ブロック内の偏光画素の画素信号を所定回転方向の偏光順としてフィルタ処理を行い、鏡面反射成分を示す偏光情報を生成する。
　フィルタ部３２-2の再配列部３２１は、図１４の（ａ）に示す２×２画素の画素ブロックの偏光画素の画素信号を水平方向に再配列する。水平方向の再配列では、図１４の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である１×２画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロックにおける偏光画素Ｘ1，Ｙ1の画素信号を偏光画素Ｘ1，Ｙ1の順序とされた１×２画素の画素ブロックの画素信号に再配列する。また、右側に隣接する２×２画素の画素ブロックにおける偏光画素Ｘ2，Ｙ2の画素信号を、偏光画素Ｘ2，Ｙ2の順序とされた１×２画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックにおける偏光画素の画素信号を所定回転方向の偏光順である１×２画素の画素ブロックの画素信号に再配列する。
　フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。
　また、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。再配列部３２１は、水平方向のフィルタ処理が行われている画素信号を垂直方向に再配列する。垂直方向の再配列では、図１４の（ｃ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である２×１画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロック内における偏光画素Ｘ1，Ｙ1の画素信号を偏光画素Ｘ1，Ｙ1の順序とされた２×１画素の画素ブロックの画素信号に再配列する。また、２×２画素の画素ブロック内における偏光画素Ｘ2，Ｙ2の画素信号を、偏光画素Ｘ2，Ｙ2の順序とされた２×１画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの偏光画素の画素信号を所定回転方向の偏光順である２×１画素の画素ブロックの画素信号に再配列する。なお、図１４では、フィルタ処理後の画素信号に対して配列復元処理が行われた２×２画素の画素ブロックの画素信号を２×１画素の画素ブロックの画素信号に再配列した場合を例示しているが、フィルタ部３２-2は、フィルタ処理後の図１４の（ｂ）に示す画素信号を図１４の（ｃ）の画素信号に再配列してもよい。
　フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。
　配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-2aで生成された画素信号と等しい配列となるように配列の復元処理を行う。
　フィルタ部３２-2は、撮像部２２-2bで生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした画素信号に対してバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　このような第２の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、撮像部における２×２画素の画素ブロック内の偏光画素が４方向である場合に限らず、３方向や２方向である場合にも、偏光画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を示す偏光情報を取得できるようになる。さらに、２×２画素の画素ブロック内に無偏光画素が設けられていることから、偏光画像と無偏光画像を同時に生成する場合でも、鏡面反射成分を示す偏光情報を精度よく生成できる。
　＜５．第３の実施の形態＞
　次に、第３の実施の形態について説明する。第１および第２の実施の形態では、水平方向および垂直方向の再配列を行う場合について説明したが、第３の実施の形態では、再配列を行う必要がない構成について説明する。
　図１５は第３の実施の形態における撮像部の画素配列を例示している。撮像部２２-3aは、各画素が４つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順に配置されている。例えば、４つの偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。また、偏光画素は例えば水平方向および垂直方向に偏光画素Ｗ，Ｘ，Ｙ，Ｚの順に配置されている。
　第３の実施の形態における情報処理装置３０のフィルタ部３２-3は、撮像部２２-3aの偏光画素が所定の偏光回転方向の順に配置されていることから、画素信号の再配列を行うことなくフィルタ処理を行う。このため、フィルタ部３２-3では、第１の実施の形態のフィルタ部３２-1の再配列部３２１と配列復元部３２３を設ける必要がない。
　フィルタ部３２-3のフィルタ処理部３２２は、撮像部２２-3aで生成された偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。さらに、フィルタ処理部３２２は、水平方向のフィルタ処理後の画素信号を垂直方向の順に用いて、画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。
　フィルタ部３２-3は、撮像部２２-3aで生成された撮像画像の画素信号を上述のように水平方向および垂直方向の順に用いてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　図１６は、第３の実施の形態におけるフィルタ部の動作を例示したフローチャートである。ステップＳＴ１１でフィルタ部は水平方向フィルタ処理を行う。フィルタ部３２-3は、撮像部２２-3aで生成された画素信号を水平方向順に用いてバンドパスフィルタ処理を行い、偏光成分の画素信号を抽出してステップＳＴ１２に進む。
　ステップＳＴ１２でフィルタ部は垂直方向フィルタ処理を行う。フィルタ部３２-3は、ステップＳＴ２でフィルタ処理された画素信号を、垂直方向順に用いてバンドパスフィルタ処理を行いノイズが除去された偏光成分画素信号を生成する。
　また、撮像部における偏光方向は４方向に限らず３方向や２方向であってもよい。図１７は第３の実施の形態における撮像部の他の画素配列を例示している。図１７の（ａ）に示す撮像部２２-3bは、各画素が３つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順に配置されている。例えば、３つの偏光方向は角度差が等しい角度（６０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は６０度，偏光画素Ｚの偏光方向は１２０度である。また、偏光画素は例えば水平方向および垂直方向に偏光画素Ｘ，Ｙ，Ｚの順に配置されている。また、図１７の（ｂ）に示す撮像部２２-3cは、各画素が２つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順に配置されている。例えば、２つの偏光方向は角度差が等しい角度（９０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は９０度である。また、偏光画素は例えば水平方向および垂直方向に偏光画素Ｘ，Ｙの順に配置されている。
　フィルタ部３２-3のフィルタ処理部３２２は、撮像部２２-3b（２２-3c）で生成された偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。さらに、フィルタ処理部３２２は、水平方向のフィルタ処理後の画素信号を垂直方向の順に用いて、画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。
　フィルタ部３２-3は、撮像部２２-3b（２２-3c）で生成された撮像画像の画素信号を上述のように水平方向および垂直方向の順に用いてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　このような第３の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、撮像部は、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順とされているので、フィルタ部で画素信号の再配列を行う必要がないことから、第１の実施の形態や第２の実施の形態に比べて情報処理装置の構成を簡単にできる。
　＜６．第４の実施の形態＞
　ところで、鏡面反射成分はコサイン則の変化を生じることから、画素信号は所定回転方向の偏光順に限らず、所定回転方向とは逆回転方向の偏光順であっても、同様なフィルタ処理を行うことで、偏光周期に応じて変化する信号成分を抽出できる。したがって、偏光画素の配列は、水平方向および垂直方向が所定回転方向の偏光順の画素群と所定回転方向とは逆回転方向の偏光順の画素群を含む構成としてもよい。
　図１８は第４の実施の形態における撮像部の画素配列を例示している。撮像部２２-4は、各画素が４つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、例えば４つの偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。また、偏光画素の配列は、水平方向および垂直方向で所定回転方向の偏光順と逆方向の偏光順の画素群を交互に設けた配列とする。例えば水平方向が偏光画素Ｗ，Ｘ，Ｙ，Ｚの順に配置されている画素群に対して垂直方向に隣接する画素群は偏光画素Ｚ，Ｙ，Ｘ，Ｗの順に配置する。また、水平方向が偏光画素Ｚ，Ｙ，Ｘ，Ｗの順に配置されている画素群に対して垂直方向に隣接する画素群は偏光画素Ｗ，Ｘ，Ｙ，Ｚの順に配置する。また、垂直方向に対しても同様に構成する。さらに、２×２画素の画像ブロック内では４つの偏光方向の偏光画素Ｗ，Ｘ，Ｙ，Ｚが含まれるように構成する。
　第４の実施の形態における情報処理装置３０のフィルタ部３２-4は、偏光画素が所定回転方向または逆方向の順に配置されており、２×２画素の画像ブロック内では４つの偏光方向の偏光画素が含まれることから、第１の実施の形態のフィルタ部３２-1と第３の実施の形態のフィルタ部３２-3の何れかと等しい構成とする。
　フィルタ部３２-4をフィルタ部３２-1と等しい構成とした場合、再配列部３２１は、２×２画素の画素ブロックの画素信号を水平方向に再配列して、例えば所定回転方向の偏光順である１×４画素の画素ブロックの画素信号に再配列する。フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。
　次に、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。再配列部３２１は、水平方向のフィルタ処理が行われている２×２画素の画素ブロックの画素信号を垂直方向に再配列して、例えば所定回転方向の偏光順である４×１画素の画素ブロックの画素信号に再配列する。フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。
　配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-4で生成された画素信号と等しい配列となるように配列の復元処理を行う。
　フィルタ部３２-4は、撮像部２２-4で生成された撮像画像に対して、上述のように２×２画素の画素ブロックの画素信号を水平方向および垂直方向の偏光順としてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　フィルタ部３２-4をフィルタ部３２-3と等しい構成とした場合、フィルタ部３２-4のフィルタ処理部３２２は、撮像部２２-4で生成された偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。さらに、フィルタ処理部３２２は、水平方向のフィルタ処理後の画素信号を垂直方向の順に用いて、画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。
　フィルタ部３２-4は、撮像部２２-4で生成された撮像画像の画素信号を上述のように水平方向および垂直方向の順に用いてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　さらに、第４の実施の形態における情報処理装置３０のフィルタ部３２-4は、フィルタ部３２-1の動作とフィルタ部３２-3の動作を選択的に行えるようにしてもよい。例えばフィルタ部３２-1の動作では２×２画素のブロック毎に画素の再配列を行ってフィルタ処理を行うことから、撮像部２２-4で生成された画素信号を水平方向や垂直方向の順に用いてフィルタ処理を行うフィルタ部３２-3の動作に比べて、タップに用いる画素範囲の長さを短くできる。したがって、情報処理装置３０は、例えば水平方向や垂直方向に長い被写体等ではフィルタ部３２-3の動作を行うようにして、撮像画面内での被写体のサイズが小さい場合は、フィルタ部３２-1の動作を行うようにすれば、撮像部２２-4で撮像される被写体に適したフィルタ処理を行える。
　このような第４の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、第１の実施の形態または第３の実施の形態のフィルタ動作を行うことが可能であることから、被写体に応じたフィルタ処理を行うことができる。
　＜７．第５の実施の形態＞
　次に、第５の実施の形態について説明する。情報処理装置３０のフィルタ部３２では、フィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理が行われる。図１９はフィルタ係数を例示している。撮像部は、例えば図５に示すように、４つの偏光方向の偏光画素からなる画素ブロックを繰り返し設けた配列で、偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。この撮像部で生成された偏光画像をフィルタ部で例えばＦＩＲ(Finite Impulse Response)フィルタ処理を行う場合、フィルタ部を３５タップとしたときのフィルタ係数は、図のように１タップおきに「０」となる。すなわち係数が「０」の場合はフィルタ演算結果に寄与しない。したがって、偏光画素をフィルタ処理する際にフィルタ係数が「０」となる偏光方向の画素をフィルタ処理対象の偏光画素とは異なる画素信号群に振り分けて、画素信号群毎にフィルタ処理を行うようにして、フィルタ処理部３２２の規模を削減する。
　第５の実施の形態におけるフィルタ部３２-5は第１の実施の形態のフィルタ部３２-1と同様に、再配列部３２１とフィルタ処理部３２２と配列復元部３２３を有している。
　再配列部３２１は、画素ブロック内の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。さらに、再配列部３２１は、再配列後の画素信号を画素毎に振り分けて２つの画素信号群を生成する。
　図２０および図２１は、第５の実施の形態における再配列部の動作を説明するための図である。再配列部３２１は、図２０の（ａ）に示す２×２画素の画素ブロックの画素信号を水平方向に再配列する。水平方向の再配列では、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）に再配列する。さらに、再配列部３２１は、再配列後の画素信号を画素毎に振り分けて、偏光画素Ｗと偏光画素Ｙの画素信号からなる図２０の（ｂ）に示すＷＹ画素信号群と、偏光画素Ｘと偏光画素Ｚの画素信号からなる図２０の（ｃ）に示すＸＺ画素信号群を生成する。
　フィルタ処理部３２２は、振り分けが行われたＷＹ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理を行う。また、フィルタ処理部３２２は、フィル分けが行われたＸＺ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理を行う。なお、図２２は、ＷＹ画素信号群およびＸＺ画素信号群のバンドパスフィルタ処理に用いるフィルタ係数を例示している。このように、ＷＹ画素信号群とＸＺ画素信号群に分けてバンドパスフィルタ処理を行うようにすれば、ＦＩＲ(Finite Impulse Response)フィルタ処理は１６タップで行えるようになり、フィルタ処理部３２２の規模を削減できる。
　次に、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列して、再配列後の画素信号を画素毎に振り分けて２つの画素信号群を生成する。再配列部３２１は、図２１の（ａ）に示す２×２画素の画素ブロックの画素信号を垂直方向に再配列する。垂直方向の再配列では、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）に再配列する。さらに、再配列部３２１は、再配列後の画素信号を画素毎に振り分けて、偏光画素Ｗと偏光画素Ｙの画素信号からなる図２１の（ｂ）に示すＷＹ画素信号群と、偏光画素Ｘと偏光画素Ｚの画素信号からなる図２１の（ｃ）に示すＸＺ画素信号群を生成する。
　フィルタ処理部３２２は、振り分けが行われたＷＹ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理と、フィル分けが行われたＸＺ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理を行う。
　配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２で生成された画素信号と等しい配列となるように配列の復元処理を行う。
　フィルタ部３２-5は、撮像部２２で生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした複数の画素信号群毎にバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。
　図２３は、第５の実施の形態におけるフィルタ部の動作を例示したフローチャートである。ステップＳＴ２１でフィルタ部は水平方向再配列処理を行う。フィルタ部３２-5の再配列部３２１は、撮像部２２-1で生成された画素信号を、水平方向が所定回転方向の偏光順である画素信号に並び替える。さらに、再配列部３２１は、所定回転方向の偏光順の画素信号を画素毎に振り分けてＷＹ画素信号群とＷＹ画素信号群の画素信号としてステップＳＴ２２に進む。
　ステップＳＴ２２でフィルタ部はＷＹ画素信号群水平方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２１で生成されたＷＹ画素信号群の画素信号を水平方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２３に進む。
　ステップＳＴ２３でフィルタ部はＸＺ画素信号群水平方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２１で生成されたＸＺ画素信号群の画素信号を水平方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２４に進む。
　ステップＳＴ２４でフィルタ部は垂直方向再配列処理を行う。フィルタ部３２-5の再配列部３２１は、ステップＳＴ２２，２３でフィルタ処理された画素信号を、垂直方向が所定回転方向の偏光順である画素信号に並び替える。さらに、再配列部３２１は、所定回転方向の偏光順の画素信号を画素毎に振り分けてＷＹ画素信号群とＸＺ画素信号群の画素信号としてステップＳＴ２５に進む。
　ステップＳＴ２５でフィルタ部はＷＹ画素信号群垂直方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２４で生成されたＷＹ画素信号群の画素信号を垂直方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２６に進む。
　ステップＳＴ２６でフィルタ部はＸＺ画素信号群垂直方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２４で生成されたＸＺ画素信号群の画素信号を垂直方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２７に進む。
　ステップＳＴ２７でフィルタ部は配列復元処理を行う。フィルタ部３２-5の配列復元部３２３は、ステップＳＴ２５とステップＳＴ２６でフィルタ処理された画素信号を、撮像部２２で生成された画素信号と等しい配列に復元する。
　なお、第５の実施の形態では、撮像部２２で４つの異なる偏光方向の偏光画素（Ｗ＝０度，Ｘ＝４５度，Ｙ＝９０度，Ｚ＝１３５度）である場合を例示したが、撮像部は、偏光画素をフィルタ処理する際にフィルタ係数が「０」となる偏光方向の画素を他の画素信号群に振り分けて画素信号群毎にフィルタ処理を行える偏光画素構成であればよく、偏光方向の数や偏光角が例示した撮像部と異なっていてもよい。
　このように第５の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、画素信号の振り分けを行い画素信号群毎にフィルタ処理を行うことから、フィルタ処理部３２２のタップ数を削減することが可能となり、第１の実施の形態等に比べてフィルタ処理部を簡単な構成にできる。
　＜８．他の実施の形態＞
　上述の実施の形態では、水平方向と垂直方向のそれぞれについてフィルタ処理を行う場合を例示しているが、フィルタ部は水平方向についてのみフィルタ処理を行い、鏡面反射成分を示す偏光情報を取得してもよい。例えば、撮像部を第３の実施の形態で示した構成とすれば、撮像部で生成された画素信号を順にフィルタ処理して偏光情報を取得できるため、リアルタイムで偏光情報が必要とされる分野で情報処理装置を用いる場合に適している。
　また、水平方向の再配列動作や垂直方向の再配列動作は、図７，図１１に示す順序に限らず、空間的順序を保つように再配列してもよい。図２４は水平方向再配列動作の他の例を示しており、図２５は垂直方向再配列動作の他の例を示している。再配列部３２１は、図２４の（ａ）に示す２×２画素の画素ブロックの画素信号を水平方向に再配列する。再配列部３２１は、水平方向の再配列において、図２４の（ｂ）に示すように、所定回転方向の偏光順であって空間的順序を保つように、２×２画素の画素ブロックの画素信号を１×４画素の画素ブロックの画素信号に再配列する。具体的には、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1からなる２×２画素の画素ブロックの画素信号を偏光画素Ｚ1，Ｙ1，Ｘ1，Ｗ1の順序とされた１×４画素の画素ブロックの画素信号に再配列する。また、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2からなる２×２画素の画素ブロックの画素信号を、偏光画素Ｚ２，Ｙ2，Ｘ2，Ｗ2の順序とされた１×４画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの画素信号を所定回転方向の偏光順で空間的順序が保たれた１×４画素の画素ブロックの画素信号に再配列する。このように再配列を行えば、２×２画素の画素ブロックの画素信号を水平方向に並べたとき、画素信号の順序は画素Ｚが画素Ｗよりも右側で画素Ｙが画素Ｘよりも右側となり、水平方向の空間的順序を保つことができる。なお、図７の（ｂ）の場合は、画素Ｗと画素Ｘが画素Ｙと画素Ｚよりも右側となり空間的順序が逆順となっている。したがって、図２４の（ｂ）に示す水平方向の再配列動作を行えば、水平方向の空間的順序を保った状態でフィルタ処理を行えるようになる。
　また、再配列部３２１は、垂直方向についても水平方向と同様に、空間的順序を保つように再配列を行う。再配列部３２１は、図２５の（ａ）に示す２×２画素の画素ブロックの画素信号を、図２５の（ｂ）に示すように、所定の回転方向の偏光順であって空間的順序を保つように、２×２画素の画素ブロックの画素信号を４×１画素の画素ブロックの画素信号に再配列する。このように再配列を行えば、２×２画素の画素ブロックの画素信号を垂直方向に並べたとき、画素Ｚが画素Ｙよりも上側で画素Ｗが画素Ｘよりも上側となり垂直方向の空間的順序を保つことができる。なお、図１１の（ｂ）の場合は、画素Ｙの画素が画素Ｚよりも上側となり空間的順序が逆順となっている。したがって、図２５の（ｂ）に示すように垂直方向の再配列動作を行えば、垂直方向の空間的順序を保った状態でフィルタ処理を行えるようになる。
　なお、偏光画素Ｗ，Ｘ，Ｙ，Ｚからなる２×２画素の画素ブロックの画素信号を水平方向に偏光画素Ｙ，Ｚ，Ｗ，Ｘの順序とすれば、図２５の（ｂ）の場合と同様に偏光角が増加する回転方向の偏光順で空間的順序を保つことができる。また、偏光画素Ｗ，Ｘ，Ｙ，Ｚからなる２×２画素の画素ブロックの画素信号を垂直方向に偏光画素Ｗ，Ｚ，Ｙ，Ｘの順序とすれば、図２４の（ｂ）の場合と同様に偏光角が減少する回転方向の偏光順で空間的順序を保つことができる。
　また、上述の偏光方向は例示であって、偏光方向は上述の実施の形態と異なる方向であってもよい。さらに、撮像部でカラーモザイクフィルタを用いて例えば２×２画素の画素ブロックを色単位とすれば、情報処理装置３０は画素ブロック内の無偏光画素の画素信号を用いたデモザイク処理によってカラー撮像画像を生成できる。また、情報処理装置３０は色毎に偏光情報を取得できる。
　＜９．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　車両制御システム７０００における撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８において、偏光情報の取得範囲を撮像する撮像部は、上述の実施の形態の撮像部を用いた構成とする。また、情報処理装置３０は、図２６に示した応用例の統合制御ユニット７６００に設けてもよく、撮像部と一体に設けてもよい。このような構成とすれば、偏光情報の取得範囲を撮像する撮像部で生成された撮像画像からノイズ等が除去された偏光情報を取得できるので、取得した偏光情報を運転支援や運転制御等に利用できる。なお、情報処理装置３０は、図２６に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。また、車両制御システム７０００の構成は一例であって、図２６に示すブロックの一部を備えていない構成であってもよく、図２６に示されていないブロックを有する構成であってもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出するフィルタ処理部
を備える情報処理装置。
　（２）　前記画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える再配列部をさらに備え、
　前記フィルタ処理部は、前記再配列部で並び替えられた前記画素信号を用いて前記フィルタ処理を行う（１）に記載の情報処理装置。
　（３）　前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向の一方の方向が前記所定回転方向の偏光順となる配列への並び替えと、前記フィルタ処理部で前記フィルタ処理された画素信号を、他方の方向が前記所定回転方向の偏光順となる配列への並び替えを行い、
　前記フィルタ処理部は、前記再配列部で前記一方の方向の並び替えが行われた前記画素信号の前記フィルタ処理と前記他方の方向の並び替えが行われた前記フィルタ処理後の画素信号の前記フィルタ処理を行う（２）に記載の情報処理装置。
　（４）　前記撮像装置は、前記複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、前記複数偏光方向の偏光画素が前記所定の配列とされており、
　前記再配列部は、前記画素ブロック内の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える（２）または（３）に記載の情報処理装置。
　（５）　前記撮像装置は前記複数偏光方向の偏光画素と無偏光画素を有しており、
　前記再配列部は、前記無偏光画素の画素信号を除いて前記偏光画素の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える（２）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記撮像装置は、偏光方向が４方向であって偏光方向の角度差が等しい偏光画素を前記所定の配列として設けられており、
　前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向が前記所定回転方向の偏光順となる配列へ並び替えたのち画素毎に交互に振り分けて２つの画素信号群を生成し、
　前記フィルタ処理部は、前記再配列部で生成された画素信号群毎に前記フィルタ処理を行う（２）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記フィルタ処理部で前記フィルタ処理された画素信号を、前記再配列部で並び替えが行われる前の配列に戻す配列復元部をさらに備える（２）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記フィルタ処理部は、前記所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を前記偏光成分として抽出する（１）乃至（７）のいずれかに記載の情報処理装置。
　また、本技術の撮像装置は以下のような構成も取ることができる。
　（１）　複数偏光方向の偏光画素を、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けた撮像装置。
　（２）　前記水平方向または垂直方向に前記所定回転方向の偏光順に並ぶ偏光画素群に対して隣接する偏光画素群は前記所定回転方向に対して逆回転方向の偏光順とした（１）に記載の撮像装置。
　（３）　前記偏光画素は、前記所定回転方向の偏光順とした偏光画素間の偏光方向の角度差を等しくした（１）または（２）に記載の撮像装置。
　この技術の情報処理装置と情報処理方法およびプログラムによれば、複数偏光方向の偏光画素が所定の配列で繰り返し設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画像信号のフィルタ処理が行われて偏光成分が抽出される。また、この技術の撮像装置によれば、複数偏光方向の偏光画素が水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けられる。このため、偏光周期に応じて変化する偏光成分を示す偏光情報を偏光画像から精度よく取得できる。したがって、偏光画像を用いて反射除去や形状推定等を行う機器に適している。
　１０・・・偏光情報取得システム
　２０・・・偏光カメラ
　２１・・・撮像光学系
　２２，２２-1，２２-2a，２２-2b，２２-3a，２２-3b，２２-3c，２２-4・・・ 撮像部
　２５，６０・・・情報記録再生装置
　３０・・・情報処理装置
　３１・・・受信バッファ
　３２，３２-1，３２-2，３２-3，３２-4，３２-5・・・フィルタ部
　３３・・・メモリ部
　３４・・・フィルタ係数記憶部
　３５・・・送信バッファ
　５０・・・偏光情報利用部
　３２１・・・再配列部
　３２２・・・フィルタ処理部
　３２３・・・配列復元部

Claims (13)

  1. 　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出するフィルタ処理部
    を備える情報処理装置。
  2. 　前記画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える再配列部をさらに備え、
    　前記フィルタ処理部は、前記再配列部で並び替えられた前記画素信号を用いて前記フィルタ処理を行う
    請求項１に記載の情報処理装置。
  3. 　前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向の一方の方向が前記所定回転方向の偏光順となる配列への並び替えと、前記フィルタ処理部で前記フィルタ処理された画素信号を、他方の方向が前記所定回転方向の偏光順となる配列への並び替えを行い、
    　前記フィルタ処理部は、前記再配列部で前記一方の方向の並び替えが行われた前記画素信号の前記フィルタ処理と前記他方の方向の並び替えが行われた前記フィルタ処理後の画素信号の前記フィルタ処理を行う
    請求項２に記載の情報処理装置。
  4. 　前記撮像装置は、前記複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、前記複数偏光方向の偏光画素が前記所定の配列とされており、
    　前記再配列部は、前記画素ブロック内の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える
    請求項２に記載の情報処理装置。
  5. 　前記撮像装置は前記複数偏光方向の偏光画素と無偏光画素を有しており、
    　前記再配列部は、前記無偏光画素の画素信号を除いて前記偏光画素の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える
    請求項２に記載の情報処理装置。
  6. 　前記撮像装置は、偏光方向が４方向であって偏光方向の角度差が等しい偏光画素を前記所定の配列として設けられており、
    　前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向が前記所定回転方向の偏光順となる配列へ並び替えたのち画素毎に交互に振り分けて２つの画素信号群を生成し、
    　前記フィルタ処理部は、前記再配列部で生成された画素信号群毎に前記フィルタ処理を行う
    請求項２に記載の情報処理装置。
  7. 　前記フィルタ処理部で前記フィルタ処理された画素信号を、前記再配列部で並び替えが行われる前の配列に戻す配列復元部をさらに備える
    請求項２に記載の情報処理装置。
  8. 　前記フィルタ処理部は、前記所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を前記偏光成分として抽出する
    請求項１に記載の情報処理装置。
  9. 　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理をフィルタ処理部で行い偏光成分を抽出すること
    を含む情報処理方法。
  10. 　複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号の信号処理をコンピュータで実行させるプログラムであって、
    　所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出する手順を
    前記コンピュータで実行させるプログラム。
  11. 　複数偏光方向の偏光画素を、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けた撮像装置。
  12. 　前記水平方向または垂直方向に前記所定回転方向の偏光順に並ぶ偏光画素群に対して隣接する偏光画素群は前記所定回転方向に対して逆回転方向の偏光順とした
    請求項１１に記載の撮像装置。
  13. 　前記偏光画素は、前記所定回転方向の偏光順とした偏光画素間の偏光方向の角度差を等しくした
    請求項１１に記載の撮像装置。
PCT/JP2017/043308 2017-02-15 2017-12-01 情報処理装置と情報処理方法とプログラムおよび撮像装置 Ceased WO2018150683A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018568004A JP7024737B2 (ja) 2017-02-15 2017-12-01 情報処理装置と情報処理方法とプログラムおよび撮像装置
US16/479,378 US11062170B2 (en) 2017-02-15 2017-12-01 Information processing apparatus, information processing method, and imaging apparatus
CN201780086043.8A CN110291773B (zh) 2017-02-15 2017-12-01 信息处理装置、信息处理方法和成像装置
EP17896708.9A EP3585045B1 (en) 2017-02-15 2017-12-01 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-025803 2017-02-15
JP2017025803 2017-02-15

Publications (1)

Publication Number Publication Date
WO2018150683A1 true WO2018150683A1 (ja) 2018-08-23

Family

ID=63169256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043308 Ceased WO2018150683A1 (ja) 2017-02-15 2017-12-01 情報処理装置と情報処理方法とプログラムおよび撮像装置

Country Status (5)

Country Link
US (1) US11062170B2 (ja)
EP (1) EP3585045B1 (ja)
JP (1) JP7024737B2 (ja)
CN (1) CN110291773B (ja)
WO (1) WO2018150683A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281801A1 (ja) * 2021-07-05 2023-01-12 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
US10750136B2 (en) * 2016-10-17 2020-08-18 Sony Corporation Image processing apparatus, image processing method, and image pickup device
KR102714205B1 (ko) * 2019-02-28 2024-10-10 삼성전자주식회사 이미지 센서
JP2021118479A (ja) * 2020-01-28 2021-08-10 株式会社ジャパンディスプレイ 画像処理装置およびヘッドアップディスプレイ
JP7647450B2 (ja) * 2021-08-30 2025-03-18 オムロン株式会社 撮像システムおよびその制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299443A (ja) 2003-03-28 2004-10-28 Nagoya Electric Works Co Ltd 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム
JP2011154695A (ja) 2011-02-14 2011-08-11 Kenwood Corp 無線装置を用いた乗車料金課金装置
WO2015093206A1 (ja) * 2013-12-16 2015-06-25 ソニー株式会社 画像処理装置と画像処理方法
JP2015144421A (ja) * 2013-12-24 2015-08-06 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
JP2017017563A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175686A1 (ja) 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
CN105973164B (zh) * 2016-04-29 2019-02-12 中国科学技术大学 一种基于像素偏振片阵列的数字全息显微方法
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299443A (ja) 2003-03-28 2004-10-28 Nagoya Electric Works Co Ltd 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム
JP2011154695A (ja) 2011-02-14 2011-08-11 Kenwood Corp 無線装置を用いた乗車料金課金装置
WO2015093206A1 (ja) * 2013-12-16 2015-06-25 ソニー株式会社 画像処理装置と画像処理方法
JP2015144421A (ja) * 2013-12-24 2015-08-06 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
JP2017017563A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023281801A1 (ja) * 2021-07-05 2023-01-12 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法
JPWO2023281801A1 (ja) * 2021-07-05 2023-01-12

Also Published As

Publication number Publication date
US20190385006A1 (en) 2019-12-19
EP3585045A4 (en) 2020-02-26
CN110291773B (zh) 2021-06-29
US11062170B2 (en) 2021-07-13
EP3585045B1 (en) 2023-11-01
EP3585045A1 (en) 2019-12-25
JPWO2018150683A1 (ja) 2019-12-12
JP7024737B2 (ja) 2022-02-24
CN110291773A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
JP7070423B2 (ja) 画像処理装置と画像処理方法および撮像装置
JP7024737B2 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
JPWO2018037678A1 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2016132950A1 (ja) 撮像装置および撮像方法
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
WO2018150685A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6981416B2 (ja) 画像処理装置と画像処理方法
JPWO2017208536A1 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
JP2018029280A (ja) 撮像装置と撮像方法
JPWO2018034209A1 (ja) 撮像装置と撮像方法
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
US11585898B2 (en) Signal processing device, signal processing method, and program
JP7160085B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114788257A (zh) 信息处理装置、信息处理方法、程序、成像装置和成像系统
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2024150690A1 (ja) 固体撮像装置
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896708

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018568004

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017896708

Country of ref document: EP

Effective date: 20190916