[go: up one dir, main page]

WO2025070011A1 - 情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラム - Google Patents

情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2025070011A1
WO2025070011A1 PCT/JP2024/032180 JP2024032180W WO2025070011A1 WO 2025070011 A1 WO2025070011 A1 WO 2025070011A1 JP 2024032180 W JP2024032180 W JP 2024032180W WO 2025070011 A1 WO2025070011 A1 WO 2025070011A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
processors
information processing
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/032180
Other languages
English (en)
French (fr)
Inventor
俊輝 小林
一樹 石田
康一 田中
真一 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of WO2025070011A1 publication Critical patent/WO2025070011A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an information processing system, an image processing device, an optical device, an information processing method, and a program.
  • One embodiment of the technology disclosed herein provides an information processing system, image processing device, optical device, information processing method, and program that can obtain a good image from multiple polarized images of an object.
  • the information processing system of the first aspect is an information processing system that includes one or more processors, which acquire a plurality of polarized images acquired by capturing an object in a plurality of shooting directions with different polarization directions, and acquire a first image from the two or more polarized images.
  • one or more processors acquire supplementary information including information on the polarization direction of the polarized image.
  • one or more processors acquire a first image generated based on the analysis of two or more images with different polarization directions.
  • the analysis is pixel-by-pixel analysis.
  • the pixel-by-pixel analysis of corresponding parts at the same position in two or more polarized images with different polarization directions is comparative dark synthesis.
  • the information processing system of the sixth aspect is any one of the first to fifth aspects, in which, when generating a first image, the one or more processors convert at least one of the two or more images having different polarization directions into the coordinate system of at least one other image by geometric transformation based on information between the two or more images having different polarization directions.
  • the information processing system of the seventh aspect is any one of the first to sixth aspects, in which one or more processors determine whether or not it is appropriate to apply a first image to generate a plurality of polarized images.
  • the additional information includes the position information of the imaging device at the time of shooting.
  • the information processing system of the ninth aspect associates the supplementary information with the first image in the second or eighth aspect.
  • the information processing system of the tenth aspect is any one of the first to ninth aspects, in which one or more processors generate a 3D model of the object based on first images generated in multiple shooting directions.
  • one or more processors analyze two or more images with different polarization directions acquired in one of a plurality of shooting directions, and determine a polarization direction in a shooting direction different from the one of the plurality of shooting directions.
  • the information processing system of the 12th aspect is any one of the first to 11th aspects, in which one or more processors determine the conditions for capturing two or more images with different polarization directions based on the environmental conditions under which the object is captured and the capture position for capturing the object.
  • the information processing system of the thirteenth aspect is any one of the first to eleventh aspects, in which one or more processors receive a shooting mode and determine conditions for shooting two or more images with different polarization directions based on the shooting mode.
  • the information processing system of the 14th aspect is any one of the first to 13th aspects, in which one or more processors calculate the specular reflectance or diffuse reflectance at coordinate positions in two or more images with different polarization directions based on information on the shooting direction and polarization direction.
  • the information processing system of the 15th aspect is any one of the first to 14th aspects, in which one or more processors determine the conditions for capturing the multiple polarized images based on a preliminary image of the object before acquiring the multiple polarized images.
  • the information processing system of the 16th aspect is any one of the first to 15th aspects, in which the two or more polarized images are time frame images included in a moving image.
  • the image processing device of the 17th aspect is an image processing device including an optical device equipped with a polarizing filter capable of capturing an image of an object, and an information processing device, and is equipped with one or more processors included in either the optical device or the information processing device, and obtains a plurality of polarized images obtained by capturing images of the object in a plurality of shooting directions with different polarization directions, and obtains a first image from the two or more polarized images.
  • one or more processors acquire supplementary information including information on the polarization direction of the polarized image.
  • one or more processors generate a 3D model of the object based on the first images generated in multiple shooting directions.
  • the image processing device of the 20th aspect is any one of the 17th to 19th aspects, in which one or more processors determine the conditions for capturing the multiple polarized images based on a preliminary image of the object before acquiring the multiple polarized images.
  • the image processing device of the 21st aspect is any one of the 17th to 20th aspects, in which one or more processors control the movement of the optical device or the object.
  • the image processing device of the 22nd aspect is any one of the 17th to 21st aspects, in which one or more processors perform control to change the polarization direction of the polarizing filter.
  • the optical device of the 23rd aspect is an optical device capable of capturing an image of an object, comprising one or more processors and a polarizing filter, in which the one or more processors acquire a plurality of polarized images acquired by capturing images of the object in a plurality of shooting directions with different polarization directions, and acquire a first image from the two or more polarized images.
  • one or more processors acquire supplementary information including information on the polarization direction of the polarized image.
  • the one or more processors determine the conditions for capturing the multiple polarized images based on a pre-image of the object before acquiring the multiple polarized images.
  • the optical device of the 26th aspect is any one of the optical devices of the 23rd to 25th aspects, in which the one or more processors generate a 3D model of the object based on the first images generated in multiple shooting directions.
  • the information processing method of the 27th aspect is an information processing method executed by an information processing system having one or more processors, in which the one or more processors acquire a plurality of polarized images acquired by photographing an object in a plurality of shooting directions with different polarization directions, and acquire a first image from the two or more polarized images.
  • the program of the 28th aspect is a program for executing an information processing method by an information processing system having one or more processors, and causes the one or more processors to acquire a plurality of polarized images obtained by photographing an object in a plurality of shooting directions with different polarization directions, and to acquire a first image from the two or more polarized images.
  • FIG. 1 is a diagram illustrating an overview of an image processing device.
  • FIG. 2 is a diagram illustrating an image processing device different from that shown in FIG. 1 .
  • FIG. 1 is a block diagram showing a schematic configuration of a camera.
  • FIG. 1 is a block diagram showing a schematic configuration of a computer.
  • 11 is a flowchart illustrating an information processing method.
  • FIG. 2 is a diagram for explaining an example of polarized image capture.
  • FIG. 2 is a diagram for explaining an example of polarized image capture.
  • FIG. 2 is a block diagram showing functions related to acquisition of a first image.
  • FIG. 2 is a block diagram showing functions related to 3D model generation.
  • 1 is a flow chart illustrating a method for identifying polarization images to be excluded.
  • FIG. 10 is a flow chart illustrating a method for identifying a first image to be excluded.
  • 11 is a flowchart for explaining an information processing method including pre-photographing.
  • FIG. 4 is a diagram illustrating an example of setting conditions for capturing a polarized image.
  • a polarizing component is used to obtain images with reduced reflection, thereby improving the quality of the 3D model.
  • ⁇ Embodiment> 1 is a diagram showing a system 1 according to an embodiment.
  • the system 1 includes a camera 10 and a computer 20.
  • An object 30 to be photographed is placed on an imaging stand 40.
  • the camera 10 can move around the object 30.
  • the camera 10 is configured to capture the object 30 from multiple directions when moving around the object 30.
  • the camera 10 is equipped with a rotatable polarizing filter 50.
  • the camera 10 moves around the object 30 (e.g., 360° or more).
  • the camera 10 moves within a specific range of the object 30 (a range smaller than 360°).
  • the camera 10 can be moved around the object 30 by a user holding the camera 10 or by a moving body supporting the camera 10.
  • the moving body is, for example, an arm attached to the shooting stand 40. This arm is configured to be able to move around the shooting stand 40 by a motor or the like.
  • the moving body may be a vehicle or a drone.
  • the polarizing filter 50 is an example of a polarizing member of the present invention.
  • the polarizing component is not limited to the polarizing filter 50, as long as it can control the polarization of light that vibrates in a specific direction and remove the light component from a specific direction (reflected light component).
  • the camera 10 is configured to capture images of the object 30 in the shooting direction at each position of the camera 10 while moving around the object 30.
  • the camera 10 can also obtain multiple polarized images captured in different polarization directions in the shooting direction of the object 30 through a polarizing filter 50 whose polarization direction can be set to any angle.
  • the polarization direction is the rotation angle of the polarizing filter 50 relative to the reference angle when the object 30 is captured by the camera 10.
  • the shooting direction is an angle that represents the relative positional relationship between the camera 10 and the object 30 with respect to the reference positions of the camera 10 and the object 30 when the object 30 is captured by the camera 10.
  • the polarization direction of the polarizing filter 50 can be changed manually by the user directly or automatically according to the user's instructions.
  • a polarized image is an image captured through the polarizing filter 50.
  • the camera 10 is configured to store polarized images of the object 30 captured through the polarizing filter 50. While the camera 10 is moving around the object 30, the camera 10 can acquire multiple polarized images captured (polarized image capture) in different polarization directions with respect to the shooting direction of the object 30, either manually by a user's operation or automatically.
  • Computer 20 has a display and a keyboard.
  • the display is an example of a display device that displays various information.
  • the keyboard is an example of an input device that allows a user to input instructions.
  • Computer 20 is configured to process various data including images, input and output various data, and store various data.
  • Computer 20 is configured to store programs, etc. for executing its functions, and to be able to execute programs, etc.
  • the computer 20 can acquire multiple polarized images for the shooting direction captured by the camera 10. Furthermore, the computer 20 can acquire a first image from multiple (two or more) polarized images for the shooting direction. As a result, the computer 20 can acquire multiple first images.
  • the computer 20 is configured to execute a program to generate a 3D model of the object 30 from a plurality of first images by photogrammetry.
  • Photogrammetry is a technique for analyzing a plurality of images of the object 30 taken from different angles, and synthesizing the plurality of images to generate (restore) a three-dimensional shape or structure (3D model).
  • the plurality of images are a plurality of first images.
  • the object 30 may be any object that has a physical shape.
  • the imaging stand 40 has multiple marks 41 on its placement surface (top surface).
  • the marks 41 serve as an indicator of the imaging direction.
  • the distance between two marks 41 serves as a reference for the size when creating a 3D model.
  • the imaging stand 40 has a cylindrical shape with a flat top surface.
  • the shape of the imaging stand 40 is not limited as long as it is capable of placing the object 30 thereon.
  • the imaging stand 40 may be a rectangular parallelepiped. However, the imaging stand 40 is not essential when considering conditions such as the size of the object 30 and the location where the object 30 is placed.
  • FIG. 2 is a diagram showing an overview of system 2 that generates a 3D model different from system 1.
  • System 2 in FIG. 2 includes a camera 10 and a computer 20.
  • Camera 10 is fixed to a tripod 44 and is in a stationary state.
  • Tripod 44 is an example of a support member that keeps camera 10 in a stationary state.
  • the object 30 is placed on an imaging stand 42 having a mark 43. Unlike the imaging stand 40 of the system 1, the imaging stand 42 can rotate. The imaging stand 42 can rotate the object 30 at any angle.
  • the imaging stand 42 rotates the object 30 (e.g., 360° or more).
  • the imaging stand 42 rotates the object 30 within a specific range (a range smaller than 360°).
  • the imaging stand 42 includes a motor or the like and can rotate at any speed.
  • the camera 10 is configured to acquire multiple polarized images taken with different polarization directions in the shooting direction of the object 30, similar to the system 1, while the object 30 is rotated by the shooting stand 42.
  • the camera 10 can manually or automatically capture images of the object 30 from multiple shooting directions. While the object 30 is rotated, the camera 10 can acquire multiple polarized images taken with different polarization directions in the shooting direction of the object 30, either manually by user operation or automatically.
  • the camera 10 and computer 20 of system 2 are essentially the same as the camera 10 and computer 20 of system 1.
  • FIG. 3 is a block diagram showing a schematic configuration of the camera 10.
  • the camera 10 includes a lens device 100.
  • the lens device 100 includes an imaging optical system 102 including a lens group 104 and an aperture 106, a lens driver 110, an aperture driver 112, a polarizing filter 50, a filter driver 160, a polarization direction detector 162, and the like.
  • the lens device 100 may be detachable from the camera 10, or may be integrated with the camera 10.
  • the lens group 104 includes at least a focus lens that can move in the optical axis direction.
  • This focus lens is a lens for focus adjustment.
  • the focus of the imaging optical system 102 is adjusted by moving the focus lens back and forth along the optical axis.
  • the focus lens is driven and operated by the lens drive unit 110.
  • the focus lens can be moved to a focus position where it is focused on the object 30.
  • the aperture 106 is, for example, an iris aperture.
  • the amount of light passing through the imaging optical system 102 is adjusted by the aperture 106.
  • the aperture 106 is driven and operated by the aperture drive unit 112.
  • the polarizing filter 50 is an optical filter for controlling the polarization of light that vibrates in a specific direction and removing light components (reflected light components) from a specific direction.
  • the polarizing filter 50 can change the polarization direction by rotating it.
  • the polarizing filter 50 is driven to operate by the filter drive unit 160.
  • the filter drive unit 160 is controlled by commands from the system control unit 146. The user can change the polarization direction by rotating the polarizing filter 50 without using the filter drive unit 160.
  • the polarizing filter 50 can be detachably attached to the lens device 100.
  • the camera 10 can capture an image of the object 30 without using the polarizing filter 50.
  • the filter drive unit 160 can include a motor that rotates the polarizing filter 50.
  • the polarization direction detection unit 162 detects the rotation angle of the polarization filter 50 during shooting relative to the reference angle of the polarization filter 50.
  • the polarization direction detection unit 162 can include, for example, an encoder.
  • the camera 10 includes an image sensor 130, a shutter 132, a shutter driver 134, a memory 136, a digital signal processor 138, an input/output interface 140, a display 142, an operation unit 144, and a system controller 146.
  • the image sensor 130 is, for example, a CMOS (Complementary Mental-Oxide Semiconductor) type image sensor having a predetermined color filter array (e.g., a Bayer array, etc.).
  • the image sensor 130 is configured to include a drive unit, an ADC (Analog to Digital Converter), a signal processing unit, etc.
  • the image sensor 130 is driven by the built-in drive unit to operate.
  • the signal of each pixel is converted into a digital signal by the built-in ADC.
  • the signal of each pixel is subjected to correlated double sampling processing, gain processing, correction processing, etc. as necessary by the built-in signal processing unit.
  • the signal processing can be configured to be performed on the analog signal of each pixel, or can be configured to be performed on the digital signal of each pixel.
  • the imaging element 130 can be configured with an organic thin-film imaging element, an XY address type, a CCD (Charged Coupled Device) type, or other image sensor, in addition to a CMOS type image sensor.
  • an organic thin-film imaging element an XY address type, a CCD (Charged Coupled Device) type, or other image sensor, in addition to a CMOS type image sensor.
  • CCD Charge Coupled Device
  • the shutter 132 is disposed between the aperture 106 and the image sensor 130.
  • the shutter 132 is driven to operate by a shutter driver 134.
  • the shutter driver 134 controls the opening and closing of the shutter 132, and controls the exposure time (shutter speed) at the image sensor 130.
  • Memory 136 includes flash memory, ROM (Read-only Memory), RAM (Random Access Memory), auxiliary storage devices, etc.
  • the flash memory and ROM store a camera control program, a program for focus bracket shooting that executes shooting in focus bracket shooting mode, an image processing program, various data required for camera control, etc.
  • the RAM temporarily stores shooting data and functions as a working area for processing by the system control unit 146. It also temporarily stores camera control programs, image processing programs, etc. stored in flash memory, etc.
  • the system control unit 146 may have a part of the memory 136 (RAM) built in.
  • the digital signal processor 138 performs signal processing such as offset processing, gamma correction, demosaic processing, and RGB/YCrCb conversion processing on the image obtained by shooting to generate image data.
  • the input/output interface 140 includes a connection section that can be connected to an external display device, a connection section that can be connected to an external recording device, a card connection section for inserting and removing a memory card, and a communication section that can be connected to a network.
  • the input/output interface 140 can be a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (HDMI is a registered trademark), etc.
  • the display unit 142 is used as a playback monitor when playing back captured images, and as a live view monitor on which a live view image is displayed during shooting. It is also used as a settings monitor when making various settings.
  • the display unit 142 is composed of a display such as an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diode).
  • the operation unit 144 is configured to include various operation members for operating the camera 10.
  • the operation members include a power button, a shutter button, and various other operation buttons.
  • the various operation buttons include a button for turning the function of the shake correction mechanism 150 on and off.
  • the display unit 142 is configured as a display unit with a touch panel
  • the operation members that make up the operation unit 144 include a touch panel.
  • the operation unit 144 outputs signals in response to the operation of each operation member to the system control unit 146. For example, the user can set the conditions for shooting using the polarizing filter 50 (polarized image shooting) from the operation unit 144.
  • the system control unit 146 provides overall control of the camera 10.
  • the system control unit 146 also calculates various physical quantities required for control.
  • the system control unit 146 is configured, for example, by a microcomputer equipped with a processor and memory.
  • the processor is configured, for example, by a CPU (Central Processing Unit).
  • the system control unit 146 can execute a program for capturing polarized images.
  • the system control unit 146 also controls the shake correction mechanism 150.
  • the camera 10 may be equipped with a shake correction mechanism 150.
  • the shake correction mechanism 150 is a shake correction mechanism of the BIS (Body Image Stabilizer) control type that performs shake correction by shifting (including rotating) the image sensor 130 in a plane perpendicular to the optical axis in the direction opposite to the shake direction.
  • the shake correction mechanism 150 includes a shake control unit 152, an image sensor drive unit 154, a shake detection unit 156, and a position detection unit 158.
  • the image sensor driving unit 154 may include an actuator that moves the image sensor 130.
  • the shake detection unit 156 may include an acceleration sensor and/or a gyro sensor.
  • the position detection unit 158 may include a Hall element that generates a voltage signal corresponding to the position of the image sensor 130.
  • the shake control unit 152 controls the image sensor driving unit 154 based on the signal from the shake detection unit 156 and the signal from the position detection unit 158 to shift the image sensor 130 in a plane perpendicular to the optical axis so as to offset the shake of the camera 10.
  • the shake correction mechanism may be provided in the lens device 100.
  • the camera 10 is an example of an optical device of the present invention.
  • FIG. 4 is a block diagram showing an example of a hardware configuration of the computer 20.
  • the computer 20 is configured to include a CPU 200, a RAM 202, a ROM 204, an auxiliary storage device 206, an input/output interface (IF) 207, an input device 208, and a display device 209.
  • the ROM 204 and/or the auxiliary storage device 206 store programs and various data executed by the CPU 200.
  • the auxiliary storage device 206 is configured, for example, by a hard disk drive (HDD), a solid state drive (SSD), or the like.
  • the input device 208 is configured, for example, by a keyboard, a mouse, a touch panel, or the like.
  • the display device 209 is configured, for example, by an LCD or an OLED, or the like. An image captured by the camera 10 is taken into the computer 20 via the input/output interface 207 and stored, for example, in the auxiliary storage device 206.
  • Computer 20 includes a program for creating a first image from two or more polarized images, and further includes a program for generating a three-dimensional (3D) model from the multiple first images.
  • CPU 200 can generate the first image and further generate the 3D model by executing the program.
  • Computer 20 is an example of an information processing device of the present invention.
  • FIG. 5 is a flow chart showing the information processing method.
  • Figs. 6 and 7 are diagrams for explaining polarized image photographing.
  • the user prepares a camera 10 equipped with a polarizing filter 50 and capable of taking polarized images, a computer 20 capable of acquiring a first image and creating a 3D model, and an object 30.
  • the user places the object 30 on the shooting stand 40 (step S1).
  • the user holds the camera 10 and moves to a shooting position to start shooting (step S2).
  • the user fixes the object 30 to the shooting stand 40, and while holding the camera 10, moves around the object 30, taking polarized images of the object 30 in multiple shooting directions to obtain polarized images. Therefore, the user moves to an arbitrary reference shooting position as a shooting position to start shooting.
  • a shooting direction that serves as a reference for the relative position between the camera 10 and the object 30 is determined.
  • the user uses the camera 10 to capture a polarized image of the object 30 in a certain shooting direction (step S3).
  • the user holds the camera 10 and moves to a shooting position (here, the reference shooting position), and the user decides on settings (shooting position and camera focal length, etc.) that allow the entire object 30 to be captured in the shooting range in a certain shooting direction.
  • the user points the camera 10 at the object 30 and presses the shutter button.
  • each polarized image can be expressed as Img( ⁇ 1, ⁇ 1), Img( ⁇ 1, ⁇ 2), Img( ⁇ 1, ⁇ 3), Img( ⁇ 1, ⁇ 4) ... Img( ⁇ n, ⁇ m) by associating the shooting direction ⁇ with the polarization direction ⁇ .
  • ⁇ is the shooting direction and ⁇ is the polarization direction.
  • m is a parameter that identifies the shooting direction
  • n is a parameter that identifies the polarization direction.
  • a polarized image is captured, it is stored in memory 136 as Img( ⁇ m, ⁇ n).
  • Camera 10 can capture multiple polarized images.
  • the polarized image can be stored in the memory 136 as, for example, Img(0,0), Img(0,30), Img(0,90) ... Img(0,175).
  • the output value of the shake detection unit 156 may be associated and stored.
  • the polarizing filter 50 may move smoothly (continuously). Alternatively, the polarizing filter 50 may move in a discrete manner, rotating a set angle, stopping, and then rotating again. While the polarizing filter 50 is rotating, the camera 10 captures polarized images for each of the set polarization directions.
  • the camera 10 can capture 12 polarized images (180 degrees) with the polarization direction ⁇ changed by 15 degrees each time.
  • the system control unit 146 can rotate the polarizing filter 50 to a reference angle in order to capture the next polarized image.
  • the captured polarized image can contain data on the shooting direction ⁇ and the polarization direction ⁇ in a tag area within the same file, such as EXIF.
  • the polarized image and the data on the shooting direction ⁇ and the polarization direction ⁇ may be in separate files.
  • the camera 10 analyzes the live view image and determines at what degree increments the polarizing filter 50 should be used to capture a polarized image.
  • the conditions for capturing a polarized image may be determined based on this determination. For example, if it is determined that the object 30 has a large mirror surface area, the camera 10 can change the polarization direction finely (in 5 degree increments). Therefore, the shooting direction for capturing a polarized image may differ for each shooting direction. For example, from one shooting direction, the polarization direction of the polarizing filter 50 may be changed in 15 degree increments, and from another shooting direction, the polarization direction of the polarizing filter 50 may be changed in 5 degree increments. This configuration reduces the user's effort and optimizes the number of polarized images captured.
  • lighting conditions e.g., lighting position, direction, intensity, etc.
  • the camera 10 or computer 20 can use this information and information on the current position of the camera 10 to determine the conditions for capturing polarized images, for example, the polarization direction of the polarizing filter 50.
  • the user can manually set the mode, or the camera 10 can automatically set the reflection suppression rate (low, medium, high), etc. Depending on the setting, the number of polarized images can be increased or decreased in a certain shooting direction ⁇ i.
  • step S3 it is determined whether or not photographing of the object 30 has been completed. If the result of this determination is that photographing has not been completed (step S4: No), the camera 10 is moved to the next photographing position (step S5). Then, the process returns to step S3, and the user uses the camera 10 to photograph a polarized image of the object 30 in the next photographing direction at the next photographing position (step S3).
  • the user points the camera 10 at the object 30 and presses the shutter button.
  • additional information may be stored in association with the polarized images.
  • the output value of the shake detection unit 156 may be stored in association with the polarized images.
  • the camera 10 or computer 20 may analyze information such as the polarization direction ⁇ i and the polarized image of another shooting direction ⁇ i for which polarized image shooting has already been completed, and determine the polarization direction of a certain shooting direction ⁇ k.
  • the polarization direction ⁇ i can be applied to the polarization direction of the shooting direction ⁇ k as a condition for polarized image shooting in the shooting direction ⁇ k.
  • polarized image shooting is performed without rotating the polarizing filter 50. This reduces the user's effort and optimizes the number of shots.
  • the current position may be identified using an acceleration sensor and/or a gyro sensor in the shake detection unit 156 of the camera 10, and the capture direction may be presented to the user as auxiliary information.
  • the polarized image specified by Img( ⁇ 1, ⁇ 1) is acquired as a still image, but it may be acquired from a moving image.
  • the camera 10 captures a moving image of the object 30 while rotating the polarizing filter 50 from the reference shooting direction.
  • a plurality of time frame images contained in the captured moving image are acquired, and the time frame images can be treated as polarized images.
  • the shooting direction ⁇ and the polarization direction ⁇ can be associated and stored as supplementary information.
  • step S4 the system control unit 146 may determine whether the shooting operation in the set shooting direction has been completed.
  • the system control unit 146 may display images that have already been shot on the display unit 142 so that the user can easily determine whether the shooting operation has been completed.
  • step S4 Yes
  • the camera 10 ends the polarized image photographing.
  • All polarized images are stored in the auxiliary storage device 206 of the computer 20, for example, in association with the shooting direction ⁇ m and the polarization direction ⁇ n as shown in Table 1 below.
  • Table 1 includes polarized images taken in shooting directions ⁇ 1 to ⁇ m and polarization directions ⁇ 1 to ⁇ n. It is not necessary for the conditions (number of images, polarization direction, etc.) of the included polarized images to be the same for all shooting directions ⁇ 1 to ⁇ m.
  • the computer 20 acquires a first image from two or more polarized images in the shooting direction (step S7). That is, the first image is acquired from two or more polarized images that have the same shooting direction ⁇ and differ only in the polarization direction ⁇ . Specifically, the first image is acquired by the CPU 200 of the computer 20 performing comparative dark synthesis of two or more polarized images. Note that the comparative dark synthesis technology itself is a known technology. The process is outlined below.
  • FIG. 8 shows functional blocks related to generation of the first image by the CPU 200.
  • the image acquisition unit 210 acquires all polarized images for the shooting direction from the auxiliary storage device 206 (1: Img( ⁇ 1, ⁇ 1), Img( ⁇ 1, ⁇ 2) ... Img( ⁇ 1, ⁇ n), 2: Img( ⁇ 2, ⁇ 1), Img( ⁇ 2, ⁇ 2) ... Img( ⁇ 2, ⁇ n), ..., m: Img( ⁇ m, ⁇ 1), Img( ⁇ m, ⁇ 2) ... Img( ⁇ m, ⁇ n)).
  • the alignment unit 211 aligns the two or more polarized images used to obtain the first image. For example, if camera shake or the like occurs, the multiple polarized images may be aligned in the same coordinate system by a geometric transformation such as an affine transformation. Alignment in the same coordinate system may be performed by using one of the two or more polarized images as a reference polarized image and aligning the other polarized images to the reference polarized image, or by aligning the two or more polarized images to a different coordinate system.
  • the presence or absence of camera shake can be determined, for example, from the output value of the shake detection unit 156, which is one of the additional information. However, camera shake may be detected by other methods without being limited to the output value of the shake detection unit 156. By accurately aligning the positions of the multiple polarized images, unnatural edges and blurring during synthesis can be prevented.
  • the image analysis unit 212 of the CPU 200 selects the pixel value with the lowest brightness for pixels at the same coordinates from the polarized images of the shooting direction (e.g., Img( ⁇ 1, ⁇ 1), Img( ⁇ 1, ⁇ 2) ... Img( ⁇ 1, ⁇ n)) as the pixel value for that coordinate position.
  • the image analysis unit 212 performs image analysis on pixels (pixel by pixel) at the same coordinates for each polarized image with the same shooting direction ⁇ but different polarization directions ⁇ .
  • the computer 20 can obtain a first image in which the effects of reflection are suppressed. As will be described later, even if the object 30 has a highly reflective surface, a high-quality three-dimensional (3D) model can be generated.
  • the specular reflectance and diffuse reflectance of each position on the object 30 may be calculated from multiple polarized images and polarization directions.
  • the specular reflectance and diffuse reflectance can be calculated using the Bidirectional Reflectance Distribution Function (BRDF), which is a well-known technique.
  • BRDF Bidirectional Reflectance Distribution Function
  • the synthesis unit 213 obtains a first image (Img_syn( ⁇ 1), Img_syn( ⁇ 2)...Img_syn( ⁇ m)) from polarized images (1: Img( ⁇ 1, ⁇ 1), Img( ⁇ 1, ⁇ 2)...Img( ⁇ 1, ⁇ n), 2: Img( ⁇ 2, ⁇ 1), Img( ⁇ 2, ⁇ 2)...Img( ⁇ 2, ⁇ n),..., m: Img( ⁇ m, ⁇ 1), Img( ⁇ m, ⁇ 2)...Img( ⁇ m, ⁇ n)).
  • the image analysis and synthesis methods used in comparative dark synthesis are not particularly limited, and known techniques can be applied.
  • the CPU 200 stores the first image (Img_syn( ⁇ 1), Img_syn( ⁇ 2) ... Img_syn( ⁇ m)) in the auxiliary storage device 206. Furthermore, the first image may be stored in association with additional information about the polarized image, specular reflectance, diffuse reflectance, etc.
  • the first image is obtained from two or more polarized images in the shooting directions ⁇ 1 to ⁇ m.
  • the polarization direction ⁇ may be determined for a certain shooting direction ⁇ . In other words, this is the case when multiple polarized images are not obtained in a certain shooting direction ⁇ . Therefore, in the shooting direction ⁇ i, one polarized image is obtained, and that polarized image is obtained as the first image.
  • step S8 it is determined whether to generate a 3D model. If it is determined in step S8 that a 3D model will not be generated (step S8: No), the information processing ends.
  • the stored multiple first images can be provided to another information system, for example, as images for generating a 3D model.
  • the first image As an example of acquiring the first image, a case has been described in which all polarized images are acquired, and then the first image is acquired for the shooting direction. However, this is not limited to this, and it is also possible to acquire a polarized image for a certain shooting direction, acquire the first image, move to the next shooting position, acquire a polarized image for the next shooting direction, and then acquire the first image. In other words, acquisition of the polarized image and acquisition of the first image may be performed sequentially.
  • step S8 If it is determined in step S8 that a 3D model is to be generated (step S8: Yes), proceed to step S9.
  • the computer 20 generates a 3D model from the multiple first images (step S9).
  • the technology for generating a 3D model using photogrammetry is a well-known technology.
  • the outline of the process is as follows.
  • FIG. 9 shows functional blocks related to the generation of a 3D model by the CPU 200.
  • the image acquisition unit 220 acquires a first image (Img_syn( ⁇ 1), Img_syn( ⁇ 2) ... Img_syn( ⁇ m)) from the auxiliary storage device 206 in the shooting direction, thereby acquiring multiple first images.
  • the point cloud data generation unit 221 performs processing to analyze multiple first images and generate three-dimensional point cloud data of feature points.
  • the point cloud data generation unit 221 extracts feature points from each first image.
  • the point cloud data generation unit 221 sets corresponding feature points between different first images as corresponding points and matches the corresponding points.
  • the point cloud data generation unit 221 estimates the camera parameters (for example, fundamental matrix, fundamental matrix, internal parameters, etc.) of the camera, and estimates the shooting position and orientation based on the estimated camera parameters. Then, it obtains the three-dimensional positions of the feature points of the target object 30. If necessary, bundle adjustment is performed.
  • the three-dimensional coordinates of the estimated feature points are combined to generate point cloud data (point cloud).
  • the 3D patch model generation unit 222 performs processing to generate a 3D patch model of the subject based on the three-dimensional point cloud data of the object 30 generated by the point cloud data generation unit 221. Specifically, it generates a patch (mesh) from the generated three-dimensional point cloud and generates a 3D patch model. This makes it possible to express the undulations of the surface with a small number of points.
  • the 3D model generation unit 223 performs texture mapping on the 3D patch model generated by the 3D patch model generation unit 222 to generate a textured 3D model (three-dimensional model).
  • the 3D model generation unit 223 maps the texture onto the mesh to give the 3D patch model a realistic appearance of the object 30. By adding specular reflectance and diffuse reflectance, the material, etc. of the object 30 can be expressed when the 3D model is generated.
  • the generated 3D model data is stored in the auxiliary storage device 206, etc. Also, if necessary, the 3D model data is displayed on the display device 209.
  • a 3D model is generated by photogrammetry from a plurality of first images in which reflections of the object 30 are suppressed, so that a highly accurate 3D model can be generated.
  • distance information between the two marks 41 on the imaging stand 40 can be provided as a reference for the size of the 3D model.
  • the positional relationship between the camera 10 and the object 30 can be calculated based on the multiple marks 41 on the imaging stand 40, and a 3D model can be generated.
  • FIG. 10 shows a flowchart for identifying polarized images to be excluded when acquiring a first image.
  • multiple polarized images are acquired for the shooting direction (step S11).
  • the image acquisition unit 210 acquires multiple polarized images.
  • the multiple polarized images are aligned in the shooting direction (step S12).
  • the alignment unit 211 performs the alignment. For example, a reference image is selected from the multiple polarized images, and feature points are extracted from this reference image. The positions to which points in the remaining polarized images that correspond to the feature points in the reference image have moved are tracked. From the results, the remaining polarized images are translated, rotated, enlarged, and reduced in size using affine transformation or the like. The multiple polarized images are aligned. Alignment in the polarized images is possible even if there is some camera shake, etc.
  • the inappropriate polarized image is excluded from the targets when acquiring the first image (step S13).
  • the alignment unit 211 excludes the polarized image from the targets of the first image.
  • the alignment unit 211 can determine not to apply the polarized image that could not be aligned with the reference image in step S12 to acquiring the first image.
  • the alignment unit 211 associates information indicating that the polarized image is not to be applied to obtaining the first image with the polarized image, and stores this in the auxiliary storage device 206.
  • the polarized image itself may be excluded, or only a specific area within the polarized image may be excluded.
  • step S14 image analysis is performed for each unit pixel for the multiple polarized images captured in the same direction.
  • step S15 a first image is obtained from each polarized image. Note that the polarized images do not include the polarized images excluded in step S13.
  • a high-quality first image can be obtained. Therefore, a high-quality 3D model can be obtained from the high-quality first image.
  • the computer 20 can also prompt the camera 10 to take a re-image.
  • Information on the position and attitude of the camera 10 that took the polarized image can be obtained from the accompanying information when the polarized image is acquired.
  • the computer 20 can notify the user of the position and attitude of the camera 10. The user can easily know the location of the object 30 for which a polarized image needs to be re-acquired.
  • FIG. 11 shows a flowchart for identifying first images to be excluded when generating a 3D model.
  • a first image is acquired (step S21).
  • the image acquisition unit 220 acquires a plurality of first images.
  • feature points are extracted from the multiple first images (step S22). Feature points are detected as corresponding points from the multiple first images (step S23). Specifically, the point cloud data generation unit 221 extracts feature points from the multiple first images and compares each feature point of the multiple first images to detect matching feature points as corresponding points.
  • the point cloud data generation unit 221 can determine not to apply a first image from which feature points cannot be extracted in step S22 or from which corresponding points cannot be detected in step S23 to the 3D model. Furthermore, the point cloud data generation unit 221 can determine that an image is to be excluded from the target of the 3D model based on high frequency components, etc. of the first image. The point cloud data generation unit 221 associates information indicating that the first image will not be applied to the generation of the 3D model with the first image and stores it in the auxiliary storage device 206.
  • a 3D model is generated from the first image (step S25).
  • the point cloud data generation unit 221 generates point cloud data from the first image by combining the camera parameters, the shooting position and orientation, and the three-dimensional coordinates of the estimated feature points, and the 3D patch model generation unit 222 and the 3D model generation unit 223 generate a 3D model.
  • the first image does not include the first images that have been excluded from the target of the 3D model. As the first images that are not suitable for generating a 3D model have been excluded, a high-quality 3D model can be generated.
  • the computer 20 can also prompt the camera 10 to retake the image.
  • Information on the position and attitude of the camera 10 that captured the polarized image applied to the first image can be obtained from the accompanying information when the first image was captured.
  • the computer 20 can notify the user of the position and attitude of the camera 10. The user can easily know the location of the object 30 for which a polarized image required for generating the first image needs to be recaptured.
  • the condition settings include pre-capturing an image of the object 30 before acquiring a polarized image.
  • Figure 12 is a flowchart showing a method for generating a three-dimensional model, including pre-photographing.
  • a camera 10 capable of capturing polarized images, a computer 20 capable of acquiring a first image and creating a 3D model, and an object 30 are prepared. As shown in FIG. 12, the user places the object 30 on the imaging stand 40 (step S41).
  • the user takes the camera 10 and moves to a shooting position to start pre-shooting, fixes the object 30 to the shooting stand 40, and while moving around the object 30 with the camera 10, takes pre-shooting images of the object 30 from each shooting direction (step S42).
  • Pre-shooting means taking pictures of the object 30 before taking a polarized image (step S45).
  • the pre-shooting may be a still image or a moving image of the object 30. It may also be a live view image.
  • the distance between the object 30 and the camera 10 can also be obtained.
  • the computer 20 acquires the preliminary image captured by the camera 10, and acquires information for determining the conditions for capturing the polarized image (step S43).
  • the information that can be acquired includes the approximate size of the object 30, the surface properties of the object 30 (specular, rough, or degree of reflection), the polarization direction of the polarizing filter 50, the lighting environment, etc. There are no particular limitations on the information, so long as it can be used in capturing the polarized image in step S45.
  • the user takes the camera 10 and moves to a shooting position to start shooting (step S44). At the shooting position, the user uses the camera 10 to shoot a polarized image of the object 30 (step S45). Polarized image shooting is performed based on the information acquired in the pre-shooting acquired in step S43.
  • the conditions for capturing polarized images are set by the system control unit 146 (CPU) of the camera 10 or the CPU 200 of the computer 20.
  • FIG. 13 is a diagram explaining an example of setting conditions for capturing a polarized image.
  • FIG. 13 shows the results of a pre-photograph of an object 30 from a certain direction.
  • attention is paid to the pixel value of position P1 of the object 30.
  • FIG. 13, 13-2 attention is paid to the pixel value of position P2 of the object 30.
  • Positions P1 and P2 are in the same position on the X-axis, and position P1 is located above position P2 on the Y-axis.
  • Graphs 13-1 and 13-2 are graphs with the vertical axis representing the intensity of pixel values and the horizontal axis representing the polarization direction ⁇ .
  • Graph 13-1 is a graph in which pixel values for each polarization direction at position P1 are decomposed into RGB and plotted.
  • Graph 13-2 is a graph in which pixel values for each polarization direction at position P2 are decomposed into RGB and plotted.
  • step S45 which will be described later, the accuracy of the polarized image can be improved and the reflectance can be reduced by using information obtained in the pre-photography (e.g., polarization angle).
  • step S46 it is determined whether or not photographing of the object 30 has been completed (step S46). If the result of this determination is that photographing has not been completed (step S46: No), the camera 10 is moved to the next photographing position (step S47). At the next photographing position, the user uses the camera 10 to photograph the object 30 in the next photographing direction (step S45). The processes from step S45 to step S47 are repeated until photographing of the object 30 is completed.
  • step S46 Yes
  • the camera 10 ends the polarized image photographing.
  • the computer 20 acquires multiple polarized images of the object 30 captured by the camera 10 in the shooting direction (step S48).
  • the computer 20 acquires a first image from two or more polarized images for the shooting direction (step S49).
  • step S50 it is determined whether to generate a 3D model (step S50). If it is determined in step S50 that a 3D model will not be generated (step S50: No), the information processing ends.
  • step S50 If it is determined in step S50 that a 3D model is to be generated (step S50: Yes), proceed to step S51.
  • the computer 20 generates a 3D model from the multiple first images (step S51). Once the 3D model has been generated from the first images, the information processing ends.
  • the camera 10 includes a system control unit 146
  • the computer 20 includes a CPU
  • the functions of the system control unit 146 and the CPU 200 are not particularly limited.
  • the determination of conditions for capturing a polarized image may be performed by either the CPU 200 or the system control unit 146.
  • the CPU 200 it is sufficient for either the CPU 200 or the system control unit 146 to perform the function.
  • the present invention also includes an information processing system configured with a computer 20 that generates a first image. It also includes an optical device that captures a polarized image using only a camera 10, obtains a first image from the polarized image, and generates a 3D model from the first image. Although an example of capturing a polarized image using one camera 10 has been given, polarized images can also be captured using multiple cameras 10.
  • the functions of the system control unit 146 and the CPU 200 are realized by various processors.
  • the various processors include a CPU, which is a general-purpose processor that executes a program and functions as various processing units, and/or a GPU (Graphic Processing Unit), a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacture such as an FPGA (Field Programmable Gate Array), and a dedicated electric circuit, which is a processor having a circuit configuration designed exclusively for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • a program is synonymous with software.
  • a single processing unit may be configured with one of these various processors, or may be configured with two or more processors of the same or different types.
  • a single processing unit may be configured with multiple FPGAs, or a combination of a CPU and an FPGA.
  • multiple processing units may be configured with one processor.
  • first there is a form in which one processor is configured with a combination of one or more CPUs and software, as represented by computers used as clients or servers, and this processor functions as multiple processing units.
  • a processor is used to realize the functions of the entire system, including multiple processing units, with a single IC (Integrated Circuit) chip, as represented by system on chip (SoC).
  • SoC system on chip
  • Auxiliary storage device 207 Input/output interface 208... Input device 209... Display device 210... Image acquisition unit 211... Position alignment unit 212... Image analysis unit 213... Synthesis unit 220... Image acquisition unit 221... Point cloud data generation unit 222... 3D patch model generation unit 223... 3D model generation unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

対象物を撮影した複数の偏光画像から良好な画像を取得可能な情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラムを提供する。１以上のプロセッサを備える情報処理システムであって、１以上のプロセッサは、対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、２以上の偏光画像から第１画像を取得する。

Description

情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラム
　本発明は、情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラムに関する。
　特許文献１は、光学レンズと、回転可能な偏光フィルタと、偏光フィルタの回転角度を検出し、複数の画像を撮影してそれぞれの画像に回転角度情報を関連付けて記録する制御手段と、を備えるカメラを開示する。
特開２０１４－１８２３２８号公報
　本開示の技術に係る一つの実施形態は、対象物を撮影した複数の偏光画像から良好な画像を取得可能な情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラムを提供する。
　第１態様の情報処理システムは、１以上のプロセッサを備える情報処理システムであって、１以上のプロセッサは、対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、２以上の偏光画像から第１画像を取得する。
　第２態様の情報処理システムは、第１態様において、１以上のプロセッサは、偏光画像の偏光方向の情報を含む付帯情報を取得する。
　第３態様の情報処理システムは、第１態様又は第２態様において、１以上のプロセッサは、偏光方向の異なる２以上の画像の解析に基づいて生成された、第１画像を取得する。
　第４態様の情報処理システムは、第３態様において、解析とは、画素単位の解析である。
　第５態様の情報処理システムは、第４態様において、偏光方向の異なる２以上の偏光画像の同じ位置に相当する対応部分の画素単位の解析は、比較暗合成である。
　第６態様の情報処理システムは、第１態様から第５態様のいずれか一態様において、１以上のプロセッサは、第１画像を生成する際、偏光方向の異なる２以上の画像間の情報に基づいて、偏光方向の異なる２以上の画像のうち少なくとも１つを幾何学変換により他の少なくとも１つの画像の座標系に変換する。
　第７態様の情報処理システムは、第１態様から第６態様のいずれか一態様において、１以上のプロセッサは、複数の偏光画像について、第１画像を生成に適用するか否かの適否を判断する。
　第８態様の情報処理システムは、第２態様において、付帯情報は、撮影の際の撮像装置の位置情報を含む。
　第９態様の情報処理システムは、第２態様又は第８態様において、付帯情報と第１画像とを関連付ける。
　第１０態様の情報処理システムは、第１態様から第９態様のいずれか一態様において、１以上のプロセッサは、複数の撮影方向において生成された第１画像に基づいて対象物の３Ｄモデルを生成する。
　第１１態様の情報処理システムは、第１態様から第１０態様のいずれか一態様において、１以上のプロセッサは、複数の撮影方向の１つの撮影方向おいて取得された偏光方向の異なる２以上の画像を解析し、複数の撮影方向の１つの撮影方向とは異なる撮影方向における偏光方向を決定する。
　第１２態様の情報処理システムは、第１態様から第１１態様のいずれか一態様において、１以上のプロセッサは、対象物を撮影する環境条件、及び対象物を撮影する撮影位置に基づいて、偏光方向の異なる２以上の画像を撮影する条件を決定する。
　第１３態様の情報処理システムは、第１態様から第１１態様のいずれか一態様において、１以上のプロセッサは、撮影モードを受付け、撮影モードに基づいて、偏光方向の異なる２以上の画像を撮影する条件を決定する。
　第１４態様の情報処理システムは、第１態様から第１３態様のいずれか一態様において、１以上のプロセッサは、撮影方向及び偏光方向の情報に基づいて、偏光方向の異なる２以上の画像中の座標位置における鏡面反射率、又は拡散反射率を算出する。
　第１５態様の情報処理システムは、第１態様から第１４態様のいずれか一態様において、１以上のプロセッサは、複数の偏光画像を取得する前に、対象物を撮影したプレ画像に基づいて、複数の偏光画像を撮影する際の条件を決定する。
　第１６態様の情報処理システムは、第１態様から第１５態様のいずれか一態様において、２以上の偏光画像は動画像中に含まれる時刻フレーム画像である。
　第１７態様の画像処理装置は、対象物の画像を撮影できる偏光フィルタを備える光学装置と、情報処理装置と、を含む画像処理装置において、光学装置及び情報処理装置のいずれかに含まれる１以上のプロセッサを備え、対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、２以上の偏光画像から第１画像を取得する。
　第１８態様の画像処理装置は、第１７態様において、１以上のプロセッサは、偏光画像の偏光方向の情報を含む付帯情報を取得する。
　第１９態様の画像処理装置は、第１７態様又は第１８態様において、１以上のプロセッサは、複数の撮影方向において生成された第１画像に基づいて対象物の３Ｄモデルを生成する。
　第２０態様の画像処理装置は、第１７態様から第１９態様のいずれか一態様において、１以上のプロセッサは、複数の偏光画像を取得する前に、対象物を撮影したプレ画像に基づいて、複数の偏光画像を撮影する際の条件を決定する。
　第２１態様の画像処理装置は、第１７態様から第２０態様のいずれか一態様において、１以上のプロセッサは、光学装置、又は対象物を移動させる制御を行なう。
　第２２態様の画像処理装置は、第１７態様から第２１態様のいずれか一態様において、１以上のプロセッサは、偏光フィルタの偏光方向を変更する制御を行なう。
　第２３態様の光学装置は、１以上のプロセッサ、及び偏光フィルタを備える、対象物の画像を撮影できる光学装置において、１以上のプロセッサは、対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、２以上の偏光画像から第１画像を取得する。
　第２４態様の光学装置は、第２３態様において、１以上のプロセッサは、偏光画像の偏光方向の情報を含む付帯情報を取得する。
　第２５態様の光学装置は、第２３態様又は第２４態様において、１以上のプロセッサは、複数の偏光画像を取得する前に、対象物を撮影したプレ画像に基づいて、複数の偏光画像を撮影する際の条件を決定する。
　第２６態様の光学装置は、第２３態様から第２５態様のいずれか一態様において、１以上のプロセッサは、複数の撮影方向おいて生成された第１画像に基づいて対象物の３Ｄモデルを生成する。
　第２７態様の情報処理方法は、１以上のプロセッサを備える情報処理システムが実行する情報処理方法であって、１以上のプロセッサは、対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、２以上の偏光画像から第１画像を取得する。
　第２８態様のプログラムは、１以上のプロセッサを備える情報処理システムにより情報処理方法を実行させるプログラムであって、１以上のプロセッサに、対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得させ、２以上の偏光画像から第１画像を取得させる。
画像処理装置の概要を示す図である。 図１とは異なる画像処理装置を示す図である。 カメラの概略構成を示すブロック図である。 コンピュータの概略構成を示すブロック図である。 情報処理方法を説明するためのフローチャートである。 偏光画像撮影の一例を説明するための図である。 偏光画像撮影の一例を説明するための図である。 第１画像の取得に関連する機能を示すブロック図である。 ３Ｄモデル生成に関連する機能を示すブロック図である。 除外すべき偏光画像を特定する方法を示すフローチャートである。 除外すべき第１画像を特定する方法を示すフローチャートである。 プレ撮影を含む、情報処理方法を説明するためのフローチャートである。 偏光画像撮影の条件設定の一例を説明する図である。
　以下、添付図面に従って本発明の好ましい実施形態について説明する。
　［概要］
　フォトグラメトリによる、３Ｄモデリングにおいては、モデリング作成に使用する画像が反射部を含んでいると、生成される３Ｄモデリングの精度が劣化するおそれがある。外部照明などの環境を構築できない場面、反射影響を最大限に抑えて、３Ｄモデリングに使用する画像を取得する必要がある。
　そこで、実施形態では３Ｄモデルの品質を向上させることができるように、偏光部材を利用することで反射が抑制された画像を取得できるようにする。
　＜実施形態＞
　図１は、実施形態のシステム１を示す図である。システム１は、カメラ１０とコンピュータ２０とを含む。撮影の対象である対象物３０が、撮影台４０の上に配置されている。
　カメラ１０は、対象物３０の周りを移動することができる。カメラ１０は、対象物３０の周りを移動する際、複数の方向から対象物３０を撮影できるよう構成されている。カメラ１０は、回転可能な偏光フィルタ５０を備える。対象物３０全体を撮影する場合、カメラ１０は、対象物３０の周り（例えば３６０°又はそれ以上）を移動する。対象物３０の一部のみを撮影する場合、カメラ１０は対象物３０の特定の範囲（３６０°より小さい範囲）を移動する。カメラ１０は、カメラ１０を持つユーザにより、又はカメラ１０を支持する移動体により、対象物３０の周りを移動することができる。移動体は、例えば、撮影台４０に取り付けられたアームである。このアームはモータ等により撮影台４０の周りを移動できるよう構成される。また、対象物３０が大きい場合、移動体は車両又はドローンであってもよい。偏光フィルタ５０は、本発明の偏光部材の一例である。偏光部材は、特定の方向に振動する光の偏光を制御し、特定方向からの光の成分（反射光成分）を取り除くことができれば、偏光フィルタ５０に限定されない。
　カメラ１０は、対象物３０の周りを移動する間、カメラ１０の各位置で、撮影方向について対象物３０を撮影できるよう構成されている。また、カメラ１０は、偏光方向を任意の角度に設定可能な偏光フィルタ５０を介して、対象物３０の撮影方向について偏光方向の異なる状態で撮影した複数の偏光画像を取得できる。後述するが、偏光方向は、カメラ１０で対象物３０を撮影した際の、偏光フィルタ５０の基準角度に対する回転角度である。撮影方向は、カメラ１０で対象物３０を撮影した際の、カメラ１０と対象物３０との基準位置に対するカメラ１０と対象物３０との相対的な位置関係を表す角度である。偏光フィルタ５０の偏光方向は、ユーザが直接手動で、又はユーザの指示に従って自動で変更できる。偏光画像は、偏光フィルタ５０を介して撮影された画像である。
　カメラ１０は、対象物３０を、偏光フィルタ５０を介して撮影した偏光画像を記憶できるよう構成されている。カメラ１０は、カメラ１０を対象物３０の周りを移動させている間、ユーザからの操作による手動で、又は自動で、対象物３０の撮影方向について偏光方向の異なる状態で撮影（偏光画像撮影）した複数の偏光画像を取得できる。
　コンピュータ２０は、ディスプレイ、及びキーボードを有する。ディスプレイは各種情報を表示する表示装置の一例である。キーボードはユーザが指示を入力できる入力装置の一例である。コンピュータ２０は、画像を含む各種データを処理し、各種データを入力及び出力し、及び各種データを記憶するよう構成されている。コンピュータ２０は、その機能を実行するためのプログラム等を記憶し、プログラム等を実行できるよう構成されている。
　コンピュータ２０は、プログラムを実行することで、カメラ１０が取得した撮影方向について複数の偏光画像を取得することができる。さらに、コンピュータ２０は、撮影方向について、複数の（２以上の）偏光画像から第１画像を取得することができる。その結果、コンピュータ２０は、複数の第１画像を取得することができる。
　コンピュータ２０は、プログラムを実行することで、複数の第１画像からフォトグラメトリにより対象物３０の３Ｄモデルを生成できるよう構成されている。フォトグラメトリは、対象物３０を異なる角度から撮影した複数の画像を解析し、複数の画像を合成し立体的な形状又は構造（３Ｄモデル）を生成（復元）する技術である。実施形態では、複数の画像は複数の第１画像である。
　対象物３０は、３Ｄモデルを生成したい物であれば、特に形状及び大きさは限定されない。対象物３０は、物理的な形状を有する物であればよい。
　撮影台４０は、載置面（上面）に複数のマーク４１を有している。マーク４１は、撮影方向の指標となる。また、２つのマーク４１の間の距離は３Ｄモデルを作成した際の大きさの基準となる。撮影台４０は、上面が平坦な円柱形上を有している。撮影台４０は、対象物３０を置くことができれば、その形状は限定されない。撮影台４０は、直方体であってもよい。但し、撮影台４０は、対象物３０の大きさ、対象物３０の配置されている場所等の条件を考慮した場合、必須ではない。
　図２は、システム１とは異なる３Ｄモデルを生成するシステム２の概要を示す図である。図２において、上述したシステム１と共通する部分には同一の符号を付して、その説明を省略する。図２のシステム２は、カメラ１０とコンピュータ２０とを含む。カメラ１０は三脚４４に固定され、静止状態にある。三脚４４は、カメラ１０を静止状態にする支持部材の一例である。
　対象物３０が、マーク４３を有する撮影台４２の上に配置されている。撮影台４２は、システム１の撮影台４０と異なり、回転することができる。撮影台４２は、対象物３０を任意の角度で回転できる。
　対象物３０全体を撮影する場合、撮影台４２は、例えば、対象物３０を（例えば３６０°又はそれ以上）を回転させる。対象物３０の一部を撮影する場合、撮影台４２は対象物３０を特定の範囲（３６０°より小さい範囲）内で回転させる。撮影台４２はモータ等を含み、任意の速度で回転できる。
　カメラ１０は、撮影台４２により対象物３０を回転させる間、システム１と同様に、対象物３０の撮影方向について偏光方向の異なる状態で撮影した複数の偏光画像を取得できるよう構成されている。カメラ１０は、複数の撮影方向から対象物３０の画像を、手動で又は自動で撮影できる。カメラ１０は、対象物３０を回転させる間、ユーザからの操作による手動で、又は自動で、対象物３０の撮影方向について偏光方向の異なる状態で撮影した複数の偏光画像を取得できる。
　システム２のカメラ１０及びコンピュータ２０は、システム１とカメラ１０及びコンピュータ２０と基本的に同じである。
　［カメラ］
　図３はカメラ１０の概略構成を示すブロック図である。図３に示すように、カメラ１０は、レンズ装置１００を備える。レンズ装置１００は、レンズ群１０４及び絞り１０６を含む撮像光学系１０２と、レンズ駆動部１１０と、絞り駆動部１１２と、偏光フィルタ５０と、フィルタ駆動部１６０と、偏光方向検出部１６２等を含んでいる。
　レンズ装置１００は、カメラ１０に着脱可能なものであってもよいし、カメラ１０と一体化されたものであってもよい。
　レンズ群１０４は、光軸方向に移動可能なフォーカスレンズを少なくとも含む。このフォーカスレンズは、焦点調節用のレンズである。撮像光学系１０２は、フォーカスレンズを光軸に沿って前後移動させることにより、焦点調節される。フォーカスレンズは、レンズ駆動部１１０に駆動されて動作される。フォーカスレンズは、対象物３０に合焦する合焦位置となるよう移動させることができる。
　絞り１０６は、たとえば、アイリス絞りで構成される。撮像光学系１０２を通過する光量は、絞り１０６によって調節される。絞り１０６は、絞り駆動部１１２に駆動されて動作する。
　偏光フィルタ５０は、特定の方向に振動する光の偏光を制御し、特定方向からの光の成分（反射光成分）を取り除くための光学フィルタである。偏光フィルタ５０は、回転させることにより、偏光方向を変えることができる。偏光フィルタ５０は、フィルタ駆動部１６０に駆動されて動作する。フィルタ駆動部１６０は、システム制御部１４６からの指令により制御される。フィルタ駆動部１６０を使用せずに、ユーザが偏光フィルタ５０を回転させて、偏光方向を変更できる。偏光フィルタ５０は、レンズ装置１００に着脱自在に取り付けることができる。カメラ１０は、偏光フィルタ５０を介さずに、対象物３０を撮影することができる。フィルタ駆動部１６０は、偏光フィルタ５０を回転させるモータを含むことができる。
　偏光方向検出部１６２は、偏光フィルタ５０の基準角度に対する、撮影の際の偏光フィルタ５０の回転角度を検出する。偏光方向検出部１６２は、例えば、エンコーダを含むことができる。
　図３に示すように、カメラ１０は、撮像素子１３０、シャッタ１３２、シャッタ駆動部１３４、メモリ１３６、デジタル信号処理部１３８、入出力インターフェース１４０、表示部１４２、操作部１４４及びシステム制御部１４６等を備える。
　撮像素子１３０は、たとえば、所定のカラーフィルタ配列（たとえば、ベイヤ配列等）を有するＣＭＯＳ（Complementary Mental-Oxide Semiconductor）型のイメージセンサで構成される。実施形態のカメラ１０では、撮像素子１３０が、駆動部、ＡＤＣ（Analog to Digital Converter）及び信号処理部等を含んで構成される。この場合、撮像素子１３０は、内蔵する駆動部に駆動されて動作する。また、各画素の信号は、内蔵するＡＤＣによってデジタル信号に変換される。更に、各画素の信号は、内蔵する信号処理部によって、相関二重サンプリング処理、ゲイン処理、補正処理等の処理が必要に応じて施される。信号処理は、各画素のアナログ信号に対して行う構成とすることもできるし、各画素のデジタル信号に対して行う構成とすることもできる。
　なお、撮像素子１３０は、ＣＭＯＳ型のイメージセンサの他、有機薄膜撮像素子、ＸＹアドレス型、ＣＣＤ（Charged Coupled Device）型等のイメージセンサで構成することもできる。
　シャッタ１３２は、絞り１０６と撮像素子１３０との間に配置される。シャッタ１３２は、シャッタ駆動部１３４に駆動されて動作する。シャッタ駆動部１３４は、シャッタ１３２の開閉を制御し、撮像素子１３０における露光時間（シャッタスピード）を制御する。
　メモリ１３６は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、及びＲＡＭ(Random Access Memory)、補助記憶装置等を含む。フラッシュメモリ及びＲＯＭは、カメラ制御プログラム、及びフォーカスブラケット撮影モードでの撮影を実行させるフォーカスブラケット撮影用のプログラム、画像処理プログラム，カメラ制御等に必要な各種データ等を記憶する。ＲＡＭは、撮影データを一時的に記憶し、システム制御部１４６による処理の作業領域として機能する。また、フラッシュメモリ等に格納されたカメラ制御プログラム、画像処理プログラム等を一時的に記憶する。尚、システム制御部１４６が、メモリ１３６の一部（ＲＡＭ）を内蔵していてもよい。
　デジタル信号処理部１３８は、撮影により得られた画像に対し、オフセット処理、ガンマ補正処理、デモザイク処理、ＲＧＢ／ＹＣｒＣｂ変換処理等の信号処理を施して、画像データを生成する。
　入出力インターフェース１４０は、外部表示機器と接続可能な接続部、外部記録機器と接続可能な接続部、メモリカードが着脱されるカード接続部、及びネットワークと接続可能な通信部等を含む。例えば、入出力インターフェース１４０としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）等を適用することができる。
　表示部１４２は、撮影した画像を再生する際の再生用モニタ、及び撮影の際にライブビュー画像が表示されるライブビュー用のモニタとして使用される。また、各種設定を行う際に設定用のモニタとして使用される。表示部１４２は、たとえば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）などのディスプレイで構成される。
　操作部１４４は、カメラ１０を操作するための各種操作部材を含んで構成される。操作部材には、電源ボタン、シャッタボタンの他、各種操作ボタン類が含まれる。各種操作ボタン類には、振れ補正機構１５０の機能をＯＮ、ＯＦＦするボタンが含まれる。また、表示部１４２が、タッチパネル付きの表示部で構成される場合、操作部１４４を構成する操作部材には、タッチパネルが含まれる。操作部１４４は、各操作部材の操作に応じた信号をシステム制御部１４６に出力する。ユーザは、例えば、操作部１４４から、偏光フィルタ５０を利用した撮影（偏光画像撮影）条件を設定することができる。
　システム制御部１４６は、カメラ１０の全体を統括制御する。また、システム制御部１４６は、制御に必要な各種物理量を算出する。システム制御部１４６は、たとえば、プロセッサ及びメモリ等を備えたマイクロコンピュータで構成される。プロセッサは、たとえば、ＣＰＵ（Central Processing Unit）等で構成される。システム制御部１４６は、偏光画像撮影用のプログラムを実行できる。システム制御部１４６は、振れ補正機構１５０の制御を含んでいる。
　カメラ１０は、振れ補正機構１５０を備えることができる。振れ補正機構１５０は、撮像素子１３０を光軸と直交する面内で、振れ方向と反対方向にシフト（回転を含む）させることにより振れ補正を行う、ＢＩＳ(Body Image Stabilizer)制御方式の振れ補正機構である。振れ補正機構１５０は、振れ制御部１５２、撮像素子駆動部１５４、振れ検出部１５６、及び位置検出部１５８を備える。
　撮像素子駆動部１５４は、撮像素子１３０を移動させるアクチュエータを含むことができる。振れ検出部１５６は、加速度センサ及び／又はジャイロセンサなどを含むことができる。位置検出部１５８は、撮像素子１３０の位置に対応した電圧信号を発生するホール素子を含むことができる。振れ制御部１５２は、振れ検出部１５６からの信号及び位置検出部１５８からの信号に基づき、撮像素子駆動部１５４を制御して、カメラ１０の振れを相殺するように撮像素子１３０を光軸に垂直な面内にシフトさせる。振れ補正機構は、レンズ装置１００に備えることができる。カメラ１０は、本発明の光学装置の一例である。
　［コンピュータ］
　図４は、コンピュータ２０のハードウェア構成の一例を示すブロック図である。図４に示すように、コンピュータ２０は、ＣＰＵ２００、ＲＡＭ２０２、ＲＯＭ２０４、補助記憶装置２０６、入出力インターフェース（Interface, IF）２０７、入力装置２０８及び表示装置２０９等を備えて構成される。ＲＯＭ２０４及び／又は補助記憶装置２０６には、ＣＰＵ２００が実行するプログラム及び各種データが記憶される。補助記憶装置２０６は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等で構成される。入力装置２０８は、たとえば、キーボード、マウス、タッチパネル等で構成される。表示装置２０９は、たとえば、ＬＣＤ、又はＯＬＥＤ等で構成される。カメラ１０で撮影された画像は、入出力インターフェース２０７を介してコンピュータ２０に取り込まれ、例えば、補助記憶装置２０６に格納される。
　コンピュータ２０は、２以上の偏光画像から、第１画像を作成するプログラムを含み、さらに、複数の第１画像から３次元（３Ｄ）モデルを生成するプログラムを含む。ＣＰＵ２００は、プログラムを実行することで、第１画像を生成し、さらに３Ｄモデルを生成することができる。コンピュータ２０は、本発明の情報処理装置の一例である。
　［情報処理方法］
　次に、カメラ１０、コンピュータ２０及び撮影台４０を使用した情報処理方法を説明する。図５は情報処理方法を示すフローチャートである。図６及び図７は、偏光画像撮影を説明するための図である。
　図５に示すように、ユーザは、偏光フィルタ５０を備え偏光画像撮影可能なカメラ１０、第１画像の取得と３Ｄモデル作成とが可能なコンピュータ２０及び対象物３０を準備する。ユーザは、対象物３０を撮影台４０に設置する（ステップＳ１）。
　ユーザは、カメラ１０を持ち、撮影を開始するための撮影位置に移動する（ステップＳ２）。ユーザは撮影台４０に対象物３０を固定し、カメラ１０を持ちながら対象物３０の周りを移動し、対象物３０の複数の撮影方向について偏光画像撮影を行い、偏光画像を取得する。したがって、ユーザは撮影を開始するための撮影位置として、任意の基準撮影位置に移動する。基準撮影位置で、カメラ１０と対象物３０との相対位置の基準となる撮影方向を決定する。
　ユーザは、撮影位置で、カメラ１０により、ある撮影方向で対象物３０に対して偏光画像撮影を行う（ステップＳ３）。
　図６の６－１に示すように、ユーザはカメラ１０を持って、撮影位置（ここでは基準撮影位置）に移動し、ユーザが、対象物３０をある１の撮影方向において、対象物３０全体を撮影範囲にとらえられる設定（撮影位置及びカメラの焦点距離等）を決定する。偏光画像撮影を開始する際に、カメラ１０と対象物３０との相対的な位置関係を表す撮影方向θが決定される。６－１においては、偏光画像撮影を開始する位置なので撮影方向θ＝０度と決定される。
　次に、ユーザは、カメラ１０を偏光画像撮影モードに変更する。図６の６－２に示すように、システム制御部１４６はフィルタ駆動部１６０を制御し、フィルタ駆動部１６０は偏光フィルタ５０を基準角度となる偏光方向φ（＝０度）に移動する。
　次いで、ユーザがカメラ１０を対象物３０に向けて、シャッタボタンを押す。図６の６－２に示すように、カメラ１０はシステム制御部１４６により制御され、連写機能により偏光フィルタ５０の偏光方向を変えながら、複数の偏光画像を撮影する。これにより、同じ対象物３０を同じ撮影位置（θ＝０度）で同じ画角で、偏光方向のみが異なる複数の偏光画像を取得できる。
　図６の６－３に示すように、各偏光画像は、撮影方向θと偏光方向φとを関連付けて、Ｉｍｇ（θ１，φ１）、Ｉｍｇ（θ１，φ２）、Ｉｍｇ（θ１，φ３）、Ｉｍｇ（θ１，φ４）・・・Ｉｍｇ（θｎ，φｍ）で表すことができる。既述したようにθは撮影方向であり、φは偏光方向である。ｍは撮影方向を識別するパラメータであり、ｎは偏光方向を識別するためパラメータである。
　偏光画像撮影ごとに、偏光画像はＩｍｇ（θｍ，φｎ）のように、メモリ１３６に記憶される。カメラ１０は複数の偏光画像が取得できる。
　具体的には、偏光画像は、例えば、Ｉｍｇ（０，０）、Ｉｍｇ（０，３０）、Ｉｍｇ（０，９０）・・・Ｉｍｇ（０，１７５）のように、メモリ１３６に記憶することができる。また、カメラ１０の位置情報、例えば（Ｘ，Ｙ，Ｚ，Ｐｉｔｃｈ，Ｙａｗ，Ｒｏｌｌ）=（１，１，１．２，３，３，５）が、付帯情報として偏光画像に関連付けて記憶されてもよい。また、振れ検出部１５６の出力値を関連付けて記憶させてもよい。
　偏光フィルタ５０は滑らかに（連続的に）動いてもよい。また、偏光フィルタ５０は設定された角度分だけ回転し、停止し、さらに回転する動作を繰り返すような、離散的な動きでもよい。カメラ１０は、偏光フィルタ５０の回転移動中、設定された偏光方向ごとに、偏光画像撮影を行う。
　カメラ１０は、例えば、システム制御部１４６の制御により、偏光方向φを１５度ずつ変えた偏光画像を１２枚（１８０度分）撮影することができる。システム制御部１４６は、偏光画像撮影を終えると、次の偏光画像撮影のため偏光フィルタ５０を基準角度に回転移動することができる。撮影された偏光画像は、例えば、ＥＸＩＦのような同一ファイル内のタグ領域に、撮影方向θと偏光方向φのデータを含むことができる。偏光画像と、撮影方向θ及び偏光方向φのデータとは別のファイルであってもよい。
　また、ユーザがシャッタボタンを半押しすると、カメラ１０は、ライブビュー画像を解析して、偏光フィルタ５０を何度刻みにして偏光画像を取得するべきかを判断する。この判断に基づいて偏光画像撮影の条件を決定してもよい。例えば、対象物３０の鏡面領域が多いと判断したら、カメラ１０は偏光方向を細かく（５度刻み）とすることができる。したがって、撮影方向毎に、偏光画像撮影する撮影方向が異なってもよい。例えば、ある撮影方向からは偏光フィルタ５０を１５度刻みで偏光方向を変更し、別の撮影方向からは偏光フィルタ５０を５度刻みで偏光方向を変更してもよい。この構成により、ユーザの手間の削減と、偏光画像を取得する枚数を適正化できる。
　また、カメラ１０又はコンピュータ２０に、あらかじめ照明条件（例えば、照明の位置方向、強さ等）などを入力することできる。カメラ１０又はコンピュータ２０は、その情報とカメラ１０の現在位置の情報を用いて、偏光画像撮影の条件、例えば、偏光フィルタ５０の偏光方向を決めることができる。
　ユーザは手動で、またカメラ１０が自動で、モードとして反射抑制率（小、中、高）などを設定できる。その設定に応じて、ある撮影方向θｉにおいて、偏光画像の枚数を増減することができる。
　次に、ステップＳ３の後、対象物３０の撮影を完了したか判定を行う（ステップＳ４）。この判定の結果、撮影を完了していない場合（ステップＳ４：Ｎｏ）には、カメラ１０を次の撮影位置まで移動する（ステップＳ５）。そして、ステップＳ３に戻り、ユーザは、次の撮影位置で、カメラ１０により、次の撮影方向で対象物３０に対して偏光画像撮影を行う（ステップＳ３）。
　図７の７－１に示すように、ユーザはカメラ１０を持って、次の撮影位置に移動し、ユーザが、対象物３０を次の撮影方向（θ＝１５度）において、対象物３０全体を撮影範囲にとらえられる設定を決定する。
　次いで、ユーザがカメラ１０を対象物３０に向けて、シャッタボタンを押す。図７の７－２に示すように、カメラ１０はシステム制御部１４６により制御され、連写機能により偏光フィルタ５０の偏光方向を変えながら、複数の偏光画像を撮影する。これにより、同じ対象物３０を同じ撮影位置（θ＝１５度）で複数の偏光画像を取得できる。具体的には、図７の７－３に示すように、撮影方向θ（＝１５度）で偏光画像撮影された偏光画像が、メモリ１３６には、例えば、Ｉｍｇ（１５，０）、Ｉｍｇ（１５，３０）、Ｉｍｇ（１５，９０）・・・Ｉｍｇ（１５，１７５）のように記憶される。図６と同様に、付帯情報が偏光画像に関連付けて記憶されてもよい。また、振れ検出部１５６の出力値を関連付けて記憶されてもよい。
　なお、カメラ１０又はコンピュータ２０は、既に偏光画像撮影を終えた別の撮影方向θｉの偏光方向φｉ及び偏光画像等の情報を解析し、ある撮影方向θｋの偏光方向を決定してもよい。撮影方向θｉと撮影方向θｋが近接している場合、撮影方向θｋにおいて、偏光画像撮影の条件として偏光方向φｉを撮影方向θｋの偏光方向に適用でる。撮影方向θｋでは偏光フィルタ５０を回転させることなく、偏光画像撮影を行う。ユーザの手間と、撮影枚数の適正化を図ることができる。
　ユーザが対象物３０の周り（例えば、θ＝３６０度）を移動し、各撮影方向からの偏光画像撮影を終了するまでステップＳ３からステップＳ５の処理を繰り返し実行する。ユーザが対象物３０の周りを移動する際、カメラ１０の振れ検出部１５６の加速度センサ及び／又はジャイロセンサなどから、現在位置を特定し、撮影方向を補助情報としてユーザに提示してもよい。
　なお、上記の形態では、Ｉｍｇ（θ１，φ１）で特定される偏光画像を静止画像で取得する場合を説明したが、動画像から取得してもよい。具体的には、カメラ１０は、偏光フィルタ５０を基準の撮影方向から回転させながら、対象物３０の動画像を撮影する。撮影された動画像中に含まれる複数の時刻フレーム画像を取得し、時刻フレーム画像を偏光画像とすることができる。時刻フレーム画像を取得する際、付帯情報として撮影方向θ、及び偏光方向φを関連して記憶することができる。
　ステップＳ４において、システム制御部１４６が、設定された撮影方向の撮影動作が完了しているか、判定してもよい。システム制御部１４６が、既に撮影を完了した画像を表示部１４２に表示させて、ユーザが容易に判定できるようにしてもよい。
　一方、対象物３０の撮影を完了している場合（ステップＳ４：Ｙｅｓ）には、カメラ１０は偏光画像撮影を終了する。
　次に、コンピュータ２０は、カメラ１０が取得した対象物３０の撮影方向について複数の偏光画像を取得する（ステップＳ６）。コンピュータ２０は、入出力インターフェース２０７を介してカメラ１０のメモリ１３６から有線又は無線で、又はメモリカード等の記録媒体から複数の偏光画像を取得する。
　全ての偏光画像は、コンピュータ２０の補助記憶装置２０６に、例えば、撮影方向θｍと偏光方向φｎとが以下の表１に示すように関連付けて記憶されている。表１では、撮影方向θ１～θｍにおいて、偏光方向φ１～φｎで撮影された偏光画像を含んでいる。撮影方向θ１～θｍにおいて、含まれる偏光画像の条件（枚数、又は偏光方向等）がすべて一致している必要はない。
Figure JPOXMLDOC01-appb-T000001
　次に、コンピュータ２０は、撮影方向について２以上の偏光画像から第１画像を取得する（ステップＳ７）。すなわち、撮影方向θが同じで、偏光方向φのみが異なる２以上の偏光画像から第1画像を取得する。具体的には、コンピュータ２０のＣＰＵ２００により、２以上の偏光画像を比較暗合成することで第1画像を取得する。なお、比較暗合成の技術自体は公知の技術である。その処理の概要は、次のとおりである。
　図８は、ＣＰＵ２００の第１画像の生成に関連する機能ブロックを示している。図８に示すように、画像取得部２１０は、補助記憶装置２０６から撮影方向について全ての偏光画像（１：Ｉｍｇ（θ１、φ１）、Ｉｍｇ（θ１、φ２）・・・Ｉｍｇ（θ１、φｎ）、２：Ｉｍｇ（θ２、φ１）、Ｉｍｇ（θ２、φ２）・・・Ｉｍｇ（θ２、φｎ）、・・・、ｍ：Ｉｍｇ（θｍ、φ１）、Ｉｍｇ（θｍ、φ２）・・・Ｉｍｇ（θｍ、φｎ））を取得する。
　位置合わせ部２１１は、第１画像の取得に利用される２以上の偏光画像の位置合わせを行う。例えば、手振れ等が生じた場合、複数の偏光画像をアフィン変換などの幾何学変換により同一座標系にして位置合わせしてもよい。同一座標系への位置合わせは、２以上の偏光画像のいずれかを基準偏光画像とし、他の偏光画像を基準偏光画像に合わせてもよいし、２以上の偏光画像を別の座標系に合わせるようにしてもよい。手振れの有無は、例えば、付帯情報の一つである振れ検出部１５６の出力値から判断することができる。ただし、振れ検出部１５６の出力値に限定されず、他の方法により手振れを検出してもよい。複数の偏光画像の位置を正確に揃えることで、合成時の不自然なエッジやブレを防ぐことができる。
　ＣＰＵ２００の画像解析部２１２は、撮影方向の偏光画像（例えば、Ｉｍｇ（θ１、φ１）、Ｉｍｇ（θ１、φ２）・・・Ｉｍｇ（θ１、φｎ））から同じ座標の画素について、最も明度の低い画素値を当該座標位置の画素値に選択する。すなわち、画像解析部２１２は、撮影方向θが同じで偏光方向φの異なる各偏光画像の、同じ座標の画素（画素単位）に対して画像解析を行う。
　次に、ＣＰＵ２００の合成部２１３は、２以上の偏光画像における同一画素位置の中で、画素ごとに選択された小さい方の画素値で該当の画素位置の画素値を置き換え、新しい第１画像を取得する。
　これは、偏光角度の設定が反射光に対して不適切な場合、反射光の影響を除去できず、結果的に各画素に到達する光の強度は高くなり（すなわち、明るく且つ白くなり）、大きな画素値になる、からである。一方で、反射が抑えられていた場合、反射物（水面やガラス）の向こう側が撮影されるため（基本的には）反射光よりは暗い物体及び景色が撮影されるからである。
　対象物３０が、例えば、反射率の高い表面性状であっても、コンピュータ２０は、反射の影響が抑制された第１画像を取得できる。後述するが、反射率の高い表面性状の対象物３０であっても、質の高い３次元（３Ｄ）モデルを生成することができる。
　また、複数の偏光画像及び偏光方向から、対象物３０の各位置（この場合は偏光画像中の各座標）の鏡面反射率、拡散反射率を求めてもよい。鏡面反射率、拡散反射率は、公知技術であるＢＲＤＦ(Bidirectional Reflectance Distribution Function：双方向反射率分布関数)によりもとめるこができる。
　鏡面反射率、及び拡散反射率を求めることで、３Ｄモデルを生成した際、対象物３０の材質によって異なる光沢、拡散度及び反射色などを表現することができる。
　合成部２１３は、偏光画像（１：Ｉｍｇ（θ１、φ１）、Ｉｍｇ（θ１、φ２）・・・Ｉｍｇ（θ１、φｎ）、２：Ｉｍｇ（θ２、φ１）、Ｉｍｇ（θ２、φ２）・・・Ｉｍｇ（θ２、φｎ）、・・・、ｍ：Ｉｍｇ（θｍ、φ１）、Ｉｍｇ（θｍ、φ２）・・・Ｉｍｇ（θｍ、φｎ））から、第１画像（Ｉｍｇ＿ｓｙｎ（θ１）、Ｉｍｇ＿ｓｙｎ（θ２）・・・Ｉｍｇ＿ｓｙｎ（θｍ））を取得する。比較暗合成における、画像解析及び合成の方法は、特に限定されず、公知の技術を適用できる。
　撮影方向について第１画像を取得すると、ＣＰＵ２００は、第１画像（Ｉｍｇ＿ｓｙｎ（θ１）、Ｉｍｇ＿ｓｙｎ（θ２）・・・Ｉｍｇ＿ｓｙｎ（θｍ））を補助記憶装置２０６に記憶する。さらに、第１画像に、偏光画像の付帯情報、鏡面反射率、又は拡散反射率等を関連付けて記憶してもよい。
　上記の説明では、撮影方向θ１からθｍにおいて、２以上の偏光画像から第１画像を取得する例を説明した。しかしながら、これに限定されることなく、例えば、ある撮影方向θに関して、偏光方向φが決定されていてもよい。すなわち、ある撮影方向θでは、複数の偏光画像を取得しない場合である。したがって、撮影方向θｉは、１枚の偏光画像が取得され、その偏光画像が第１画像として取得される。
　次に、３Ｄモデルを生成するか判断する（ステップＳ８）。ステップＳ８において、３Ｄモデルを生成しないと判断した場合（ステップＳ８：Ｎｏ）には、情報処理を終了する。記憶された複数の第１画像は、例えば、３Ｄモデル生成用の画像として、別の情報システムに提供することができる。
　なお、第１画像を取得する例として、全ての偏光画像を取得した後、撮影方向について第１画像を取得する場合を説明した。ただし、これに限定されず、ある撮影方向の偏光画像を取得後、第１画像を取得し、次の撮影位置に移動し、次の撮影方向の偏光画像を取得後、第１画像を取得してもよい。すなわち、偏光画像の取得と第１画像の取得とを順次実行してもよい。
　ステップＳ８において、３Ｄモデルを生成すると判断した場合（ステップＳ８：Ｙｅｓ）には、ステップＳ９に進む。
　次に、コンピュータ２０は、複数の第１画像から３Ｄモデルを生成する（ステップＳ９）。なお、フォトグラメトリにより３Ｄモデルを生成する技術は公知の技術である。その処理の概要は、次のとおりである。
　図９は、ＣＰＵ２００の３Ｄモデル生成に関連する機能ブロックを示している。図９に示すように、画像取得部２２０は、補助記憶装置２０６から撮影方向について第１画像（Ｉｍｇ＿ｓｙｎ（θ１）、Ｉｍｇ＿ｓｙｎ（θ２）・・・Ｉｍｇ＿ｓｙｎ（θｍ））を取得することで、結果として複数の第１画像を取得する。
　点群データ生成部２２１は、複数の第１画像を解析し、特徴点の３次元の点群データを生成する処理を行う。点群データ生成部２２１は、各第１画像から特徴点を抽出する。次に、点群データ生成部２２１は、異なる第１画像間で対応する特徴点を対応点とし、対応点同士をマッチングする。点群データ生成部２２１は、カメラのカメラパラメータ（たとえば、基礎行列、基本行列及び内部パラメータ等）を推定し、推定されたカメラパラメータに基づいて、撮影位置及び姿勢を推定する。そして、対象物３０の特徴点の３次元位置を求める。必要に応じてバンドル調整が行われる。推定された特徴点の３次元座標を組み合わせて、点群データ（ポイントクラウド）を生成する。
　３Ｄパッチモデル生成部２２２は、点群データ生成部２２１で生成された対象物３０の３次元の点群データに基づいて、被写体の３Ｄパッチモデルを生成する処理を行う。具体的には、生成された３次元の点群からパッチ（メッシュ）を生成し、３Ｄパッチモデルを生成する。これにより、少ない点数で表面の起伏を表現できるようになる。
　３Ｄモデル生成部２２３は、３Ｄパッチモデル生成部２２２で生成された３Ｄパッチモデルに対し、テクスチャマッピングを行うことにより、テクスチャが付与された３Ｄモデル（３次元モデル）を生成する。３Ｄモデル生成部２２３は、メッシュにテクスチャをマッピングすることで、３Ｄパッチモデルに対して対象物３０のリアルな外観を付与する。鏡面反射率、及び拡散反射率を加えることで、３Ｄモデルを生成した際、対象物３０の材質等を表現することができる。
　生成された３Ｄモデルのデータは、補助記憶装置２０６等に記憶される。また、必要に応じて、３Ｄモデルのデータは、表示装置２０９に表示される。
　実施形態では、対象物３０を撮影台４０に設置し、カメラ１０が対象物３０の周りを移動するシステム１の場合を説明した。これに限定されず、システム２においても３Ｄモデルを生成することができる。
　実施形態では、対象物３０を撮影した反射が抑制された複数の第１画像からフォトグラメトリにより３Ｄモデルを生成するので、精度の高い３Ｄモデルを生成できる。
　３Ｄモデルを作成する際、撮影台４０の２つのマーク４１の間の距離情報を与えることで、３Ｄモデルの大きさの基準とすることができる。撮影台４０の複数のマーク４１をベースにカメラ１０と対象物３０の位置関係を求め、３Ｄモデル生成してもよい。
　［好ましい実施形態］
　次に、好ましい実施形態について説明する。好ましい実施形態では、コンピュータ２０は、第１画像を取得する際に除外すべき偏光画像を特定する。また、コンピュータ２０は、３Ｄモデルを生成する際に除外すべき第１画像を特定する。
　図１０は、第１画像を取得する際に除外すべき偏光画像を特定するフローチャートを示している。図１０に示すように、撮影方向について複数の偏光画像を取得する（ステップＳ１１）。具体的には、画像取得部２１０が、複数の偏光画像を取得する。
　次に、撮影方向において複数の偏光画像の位置合わせを行う（ステップＳ１２）。具体的には、位置合わせ部２１１が、位置合わせを行う。位置合わせは、例えば、複数の偏光画像の中から基準画像を選択し、この基準画像から特徴点を抽出する。基準画像の特徴点に対応する対応点が、残りの偏光画像においてどの位置に移動したか追跡する。その結果から、残りの偏光画像に対して、平行移動、回転、及び拡大、縮小処理を、アフィン変換等により行う。複数の偏光画像の位置合わせを行う。多少の手振れ等が生じていても、偏光画像における位置合わせが可能になる。
　次に、不適切な偏光画像を第１画像の取得の際の対象から除外する（ステップＳ１３）。具体的には、位置合わせ部２１１が、偏光画像を第1画像の対象から除外する。位置合わせ部２１１は、ステップＳ１２において、基準画像に位置合わせできなかった偏光画像を、第１画像の取得に適用しないことを決定できる。
　また、手振れが大きい偏光画像を第１画像に適用しないと決定できる。手振れ発生の有無は、偏光画像の高周波成分等から、又は手振れ検出部１５６の出力値から判断できる。位置合わせ部２１１は、第１画像の取得に適用しないことを示す情報を偏光画像に関連付し、補助記憶装置２０６に記憶させる。
　偏光画像を対象から除外する際、偏光画像そのものを除外してもよいし、偏光画像の中の特定の領域のみを除外してもよい。
　次に、撮影方向が共通する複数の偏光画像について単位画素毎に画像解析する（ステップＳ１４）。最後に、各偏光画像から第１画像を取得する（ステップＳ１５）。なお、偏光画像にはステップＳ１３で除外された偏光画像は含まれていない。
　第１画像に適さない偏光画像を除外することで、質の高い第１画像を取得できる。したがって、質の高い第１画像から質の高い３Ｄモデルを得ることができる。
　なお、図１０に示すフローにおいて、第１画像の対象から除外する偏光画像を決定した際、コンピュータ２０は、カメラ１０に再撮影を促すこともできる。偏光画像を取得した際の付帯する情報等から、偏光画像を撮影したカメラ１０の位置、及び姿勢の情報を取得できる。コンピュータ２０は、カメラ１０の位置、及び姿勢をユーザに通知することができる。ユーザは、偏光画像の再撮影が必要な対象物３０の場所を容易に知ることができる。
　図１１は、３Ｄモデルを生成する際に除外すべき第１画像を特定するフローチャートを示している。図１１に示すように、第１画像を取得する（ステップＳ２１）。具体的には、画像取得部２２０が複数の第１画像を取得する。
　次に、複数の第１画像から特徴点を抽出する（ステップＳ２２）。複数の第１画像から特徴点を対応点として検出する（ステップＳ２３）。具体的には、点群データ生成部２２１が、複数の第１画像から特徴点を抽出し、複数の第１画像の各特徴点を比較することにより、一致する特徴点を対応点として検出する。
　次に、第１画像を３Ｄモデルの対象から除外する（ステップＳ２４）。具体的には、点群データ生成部２２１は、ステップＳ２２で特徴点を抽出できない第１画像、又はステップＳ２３で対応点を検出できない第１画像を、第１画像を３Ｄモデルに適用しないことを決定できる。また、点群データ生成部２２１は、第１画像の高周波成分等から３Ｄモデルの対象から除外する画像として決定することができる。点群データ生成部２２１は、３Ｄモデルの生成に適用しないことを示す情報を第１画像に関連付けて、補助記憶装置２０６に記憶させる。
　次に、第１画像から３Ｄモデルを生成する（ステップＳ２５）。具体的には、点群データ生成部２２１が、カメラのカメラパラメータ、撮影位置及び姿勢、及び推定された特徴点の３次元座標を組み合わせて、第１画像から点群データを生成し、３Ｄパッチモデル生成部２２２及び３Ｄモデル生成部２２３が３Ｄモデルを生成する。ただし、第１画像は、３Ｄモデルの対象から除外された第１画像を含んでいない。３Ｄモデルの生成に適さない第１画像が除外されているので、質の高い３Ｄモデルを生成することができる。
　なお、図１１に示すフローにおいて、３Ｄモデルの対象から除外する第１画像を決定した際、コンピュータ２０は、カメラ１０に再撮影を促すこともできる。第１画像を取得した際の付帯する情報等から、第１画像に適用された偏光画像を撮影したカメラ１０の位置、及び姿勢の情報を取得できる。コンピュータ２０は、カメラ１０の位置、及び姿勢をユーザに通知することができる。ユーザは、第１画像の生成に必要な偏光画像の再撮影が必要な対象物３０の場所を容易に知ることができる。
　＜偏光画像撮影の条件設定＞
　偏光画像撮影する際の条件設定の決定について説明する。条件設定は、偏光画像を取得する前に、対象物３０をプレ撮影することを含む。
　次に、対象物３０をカメラ１０によりプレ撮影する場合について説明する。図１２は、プレ撮影を含む、３次元モデルの生成方法を示すフローチャートである。
　偏光画像撮影可能なカメラ１０、第１画像の取得と３Ｄモデル作成とが可能なコンピュータ２０及び対象物３０を準備する。図１２に示すように、ユーザは、対象物３０を撮影台４０に設置する（ステップＳ４１）。
　ユーザは、カメラ１０を持って、プレ撮影を開始するための撮影位置に移動し、撮影台４０に対象物３０を固定し、ユーザがカメラ１０を持って対象物３０の周りを移動しながら、各撮影方向から対象物３０の画像をプレ撮影する（ステップＳ４２）。プレ撮影は、偏光画像撮影（ステップＳ４５）の前に、対象物３０を撮影することを意味する。プレ撮影は、対象物３０の静止画像であっても、動画像であってもよい。また、ライブビュー画像であってもよい。対象物３０とカメラ１０との距離を得ることもできる。
　次に、コンピュータ２０は、カメラ１０がプレ撮影したプレ画像を取得し、偏光画像撮影の条件を決定するための情報を取得する（ステップＳ４３）。取得できる情報として、対象物３０の概略の大きさ、対象物３０の表面性状（鏡面、粗面又は反射の程度）、偏光フィルタ５０の偏光方向、照明環境等が把握できればよい。ステップＳ４５の偏光画像撮影で利用できる情報であれば特に限定されない。
　ユーザは、カメラ１０を持って、撮影を開始するための撮影位置に移動する（ステップＳ４４）。ユーザは、撮影位置で、カメラ１０により、対象物３０に対して偏光画像撮影を行う（ステップＳ４５）。ステップＳ４３で取得されたプレ撮影で取得された情報に基づいて、偏光画像撮影を行う。
　偏光画像撮影の条件設定は、カメラ１０のシステム制御部１４６（ＣＰＵ）又はコンピュータ２０のＣＰＵ２００により実行される。
　図１３は、偏光画像撮影の条件設定の一例を説明する図である。図１３は、対象物３０をある方向からプレ撮影した結果を示している。図１３の１３－１では、対象物３０の位置Ｐ１の画素値に注目している。一方で、図１３の１３－２では、対象物３０の位置Ｐ２の画素値に注目している。位置Ｐ１と位置Ｐ２とは、Ｘ軸に関し共通の位置であり、Ｙ軸に関し位置Ｐ１が位置Ｐ２より上方に位置している。
　カメラ１０は、偏光フィルタ５０の偏光方向を連続的に変更させながら、偏光フィルタ５０を介して位置Ｐ１及び位置Ｐ２を撮影する。１３－１及び１３－２に示すグラフは、縦軸を画素値の強度、横軸を偏光方向φとするグラフである。１３－１のグラフは、位置Ｐ１における偏光方向ごとの画素値を、ＲＧＢに分解して、プロットしたグラフである。１３－２のグラフは、位置Ｐ２における偏光方向ごとの画素値を、ＲＧＢに分解して、プロットしたグラフである。
　１３－１及び１３－２から、偏光方向が３度から４度、及び２４度から２５度の場合に、画素値が低く、対象物３０からの反射が抑制されていることが理解できる。
　１３－１及び１３－２に示すグラフから、Ｘ軸が共通する位置では、同じ偏光方向φで画素値が低かった。すなわち、全ての画素値に注目する必要がないことが理解できる。
　後述するステップＳ４５において、プレ撮影で得れた情報（例えば、偏光角度）を利用することで、偏光画像の精度が向上し、反射率を抑制できる。
　また、１３－１及び１３－２のグラフでは、全ての偏光方向について画素値を取得しプロットしている。そのため、画素値の低い偏光方向を決定するのにデータが大きく、時間が掛かることが予想される。そこで、プレ撮影において、偏光フィルタ５０を間欠的に（例えば、５度間隔、又は１０度間隔）で回転させて、画素値を取得する。取得した画素値をグラフにプロットする。
　グラフには欠落部分が存在するが、これらのグラフは、ある種のパターンが存在する。そこで、グラフには欠落部分を補間（例えば、スプライン補間）することで、画素値が低くなる偏光方向を推定することができる。推定された偏光方向を、偏光画像撮影に適用することができる。
　図１２に戻って、ステップＳ４５の後、対象物３０の撮影を完了したか判定を行う（ステップＳ４６）。この判定の結果、撮影を完了していない場合（ステップＳ４６：Ｎｏ）には、カメラ１０を次の撮影位置まで移動する（ステップＳ４７）。ユーザは、次の撮影位置において、次の撮影方向で、カメラ１０により、対象物３０に対して偏光画像撮影を行う（ステップＳ４５）。対象物３０の撮影を完了するまで、ステップＳ４５からステップＳ４７までの処理を繰り返し実行する。
　対象物３０の撮影を完了している場合（ステップＳ４６：Ｙｅｓ）、カメラ１０は偏光画像撮影を終了する。
　次に、コンピュータ２０は、カメラ１０が取得した対象物３０の撮影方向について複数の偏光画像を取得する（ステップＳ４８）。
　次に、コンピュータ２０は、撮影方向について２以上の偏光画像から第１画像を取得する（ステップＳ４９）。
　次に、３Ｄモデルを生成するか判断する（ステップＳ５０）。ステップＳ５０において、３Ｄモデルを生成しないと判断した場合（ステップＳ５０：Ｎｏ）には、情報処理を終了する。
　ステップＳ５０において、３Ｄモデルを生成すると判断した場合（ステップＳ５０：Ｙｅｓ）には、ステップＳ５１に進む。
　次に、コンピュータ２０は、複数の第１画像から３Ｄモデルを生成する（ステップＳ５１）。第１画像から３Ｄモデルを生成すると情報処理は終了する。
　上述に実施形態ではカメラ１０とコンピュータ２０とを含む画像処理装置を構成するシステム１及び２について説明した。カメラ１０はシステム制御部１４６を含み、コンピュータ２０はＣＰＵを含み、システム制御部１４６とＣＰＵ２００の機能は特に限定されない。例えば、偏光画像撮影の条件決定は、ＣＰＵ２００及びシステム制御部１４６のいずれかで実行してもよい。すなわち、カメラ１０とコンピュータ２０とは第１画像を生成できれば、ＣＰＵ２００及びシステム制御部１４６のいずれかで機能を果せばよい。
　また、本発明は、コンピュータ２０で構成される第１画像を生成する、情報処理システムを含む。また、カメラ１０のみで偏光画像撮影、偏光画像から第１画像の取得、及び第１画像からの３Ｄモデルの生成まで行う光学装置を含む。１台のカメラ１０で偏光画像撮影する場合を例示したが、複数のカメラ１０により偏光画像撮影することもできる。
　［システム制御部１４６とＣＰＵ２００の構成について］
　システム制御部１４６とＣＰＵ２００の機能は、各種のプロセッサ（Processor）で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ及び／又はＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device，ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどに用いられるコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip，ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　以上、本発明について説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
１…システム
２…システム
１０…カメラ
２０…コンピュータ
３０…対象物
４０…撮影台
４１…マーク
４２…撮影台
４３…マーク
４４…三脚
５０…偏光フィルタ
１００…レンズ装置
１０２…撮像光学系
１０４…レンズ群
１０６…絞り
１１０…レンズ駆動部
１１２…絞り駆動部
１３０…撮像素子
１３２…シャッタ
１３４…シャッタ駆動部
１３６…メモリ
１３８…デジタル信号処理部
１４０…入出力インターフェース
１４２…表示部
１４４…操作部
１４６…システム制御部
１５０…補正機構
１５２…制御部
１５４…撮像素子駆動部
１５６…検出部
１５８…位置検出部
１６０…フィルタ駆動部
１６２…偏光方向検出部
２００…ＣＰＵ
２０２…ＲＡＭ
２０４…ＲＯＭ
２０６…補助記憶装置
２０７…入出力インターフェース
２０８…入力装置
２０９…表示装置
２１０…画像取得部
２１１…位置合わせ部
２１２…画像解析部
２１３…合成部
２２０…画像取得部
２２１…点群データ生成部
２２２…３Ｄパッチモデル生成部
２２３…３Ｄモデル生成部

Claims (29)

  1. 　１以上のプロセッサを備える情報処理システムであって、
    　前記１以上のプロセッサは、
    　対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、
    　２以上の前記偏光画像から第１画像を取得する、情報処理システム。
  2. 　前記１以上のプロセッサは、
    　前記偏光画像の前記偏光方向の情報を含む付帯情報を取得する、請求項１に記載の情報処理システム。
  3. 　前記１以上のプロセッサは、
    　前記偏光方向の異なる２以上の画像の解析に基づいて生成された、前記第１画像を取得する、請求項１又は２に記載の情報処理システム。
  4. 　前記解析とは、画素単位の解析である、請求項３に記載の情報処理システム。
  5. 　前記偏光方向の異なる２以上の偏光画像の同じ位置に相当する対応部分の前記画素単位の解析は、比較暗合成である、請求項４に記載の情報処理システム。
  6. 　前記１以上のプロセッサは、
    　前記第１画像を生成する際、前記偏光方向の異なる２以上の画像間の情報に基づいて、前記偏光方向の異なる２以上の画像のうち少なくとも１つを幾何学変換により他の少なくとも１つの画像の座標系に変換する、請求項１又は２に記載の情報処理システム。
  7. 　前記１以上のプロセッサは、
    　前記複数の偏光画像について、前記第１画像を生成に適用するか否かの適否を判断する、請求項１又は２に記載の情報処理システム。
  8. 　前記付帯情報は、前記撮影の際の撮像装置の位置情報を含む、請求項２に記載の情報処理システム。
  9. 　前記付帯情報と前記第１画像とを関連付ける、請求項２又は８に記載の情報処理システム。
  10. 　前記１以上のプロセッサは、
    　前記複数の撮影方向において生成された前記第１画像に基づいて前記対象物の３Ｄモデルを生成する、請求項１又は２に記載の情報処理システム。
  11. 　前記１以上のプロセッサは、
    　前記複数の撮影方向の１つの撮影方向おいて取得された前記偏光方向の異なる２以上の画像を解析し、前記複数の撮影方向の前記１つの撮影方向とは異なる撮影方向における偏光方向を決定する、請求項１又は２に記載の情報処理システム。
  12. 　前記１以上のプロセッサは、
    　前記対象物を撮影する環境条件、及び前記対象物を撮影する撮影位置に基づいて、前記偏光方向の異なる２以上の画像を撮影する条件を決定する、請求項１に記載の情報処理システム。
  13. 　前記１以上のプロセッサは、
    　撮影モードを受付け、前記撮影モードに基づいて、前記偏光方向の異なる２以上の画像を撮影する条件を決定する、請求項１又は２に記載の情報処理システム。
  14. 　前記１以上のプロセッサは、
    　前記撮影方向及び前記偏光方向の情報に基づいて、前記偏光方向の異なる２以上の画像中の座標位置における鏡面反射率、又は拡散反射率を算出する、請求項１又は２に記載の情報処理システム。
  15. 　前記１以上のプロセッサは、
    　前記複数の偏光画像を取得する前に、前記対象物を撮影したプレ画像に基づいて、前記複数の偏光画像を撮影する際の条件を決定する、請求項１又は２に記載の情報処理システム。
  16. 　前記２以上の偏光画像は動画像中に含まれる時刻フレーム画像である、請求項１又は２に記載の情報処理システム。
  17. 　対象物の画像を撮影できる偏光フィルタを備える光学装置と、情報処理装置と、を含む画像処理装置において、
    　前記光学装置及び前記情報処理装置のいずれかに含まれる１以上のプロセッサを備え、
    　対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、
    　２以上の前記偏光画像から第１画像を取得する、画像処理装置。
  18. 　前記１以上のプロセッサは、
    　前記偏光画像の前記偏光方向の情報を含む付帯情報を取得する、請求項１７に記載の画像処理装置。
  19. 　前記１以上のプロセッサは、
    　前記複数の撮影方向において生成された前記第１画像に基づいて前記対象物の３Ｄモデルを生成する、請求項１７又は１８に記載の画像処理装置。
  20. 　前記１以上のプロセッサは、
    　前記複数の偏光画像を取得する前に、前記対象物を撮影したプレ画像に基づいて、前記複数の偏光画像を撮影する際の条件を決定する、請求項１７又は１８に記載の画像処理装置。
  21. 　前記１以上のプロセッサは、
    　前記光学装置、又は前記対象物を移動させる制御を行なう、請求項１７又は１８に記載の画像処理装置。
  22. 　前記１以上のプロセッサは、
    　前記偏光フィルタの偏光方向を変更する制御を行なう、請求項１７又は１８に記載の画像処理装置。
  23. 　１以上のプロセッサ、及び偏光フィルタを備える、対象物の画像を撮影できる光学装置において、
    　前記１以上のプロセッサは、
    　対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、
    　２以上の前記偏光画像から第１画像を取得する、光学装置。
  24. 　前記１以上のプロセッサは、
    　前記偏光画像の前記偏光方向の情報を含む付帯情報を取得する、請求項２３に記載の光学装置。
  25. 　前記１以上のプロセッサは、
    　前記複数の偏光画像を取得する前に、前記対象物を撮影したプレ画像に基づいて、前記複数の偏光画像を撮影する際の条件を決定する、請求項２３又は２４に記載の光学装置。
  26. 　前記１以上のプロセッサは、
    　前記複数の撮影方向において生成された前記第１画像に基づいて前記対象物の３Ｄモデルを生成する、請求項２３又は２４に記載の光学装置。
  27. 　１以上のプロセッサを備える情報処理システムが実行する情報処理方法であって、
    　前記１以上のプロセッサは、
    　対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得し、
    　２以上の前記偏光画像から第１画像を取得する、情報処理方法。
  28. 　１以上のプロセッサを備える情報処理システムにより情報処理方法を実行させるプログラムであって、
    　前記１以上のプロセッサに、
    　対象物の複数の撮影方向について偏光方向の異なる状態で撮影して取得された複数の偏光画像を取得させ、
    　２以上の前記偏光画像から第１画像を取得させる、プログラム。
  29. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２８に記載のプログラムが記録された記録媒体。
PCT/JP2024/032180 2023-09-28 2024-09-09 情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラム Pending WO2025070011A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-168623 2023-09-28
JP2023168623 2023-09-28

Publications (1)

Publication Number Publication Date
WO2025070011A1 true WO2025070011A1 (ja) 2025-04-03

Family

ID=95203315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/032180 Pending WO2025070011A1 (ja) 2023-09-28 2024-09-09 情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2025070011A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63298139A (ja) * 1987-05-29 1988-12-05 Shimadzu Corp 反射率測定装置
JP2012513607A (ja) * 2008-12-22 2012-06-14 イーストマン コダック カンパニー 回転偏光フィルタを備えるカメラ
JP2014183516A (ja) * 2013-03-21 2014-09-29 Nikon Corp カメラ
JP2016010063A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 撮像装置
WO2016035181A1 (ja) * 2014-09-03 2016-03-10 株式会社ニコン 撮像装置、情報処理装置、及び撮像システム
JP2019144803A (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2021181448A1 (ja) * 2020-03-09 2021-09-16 オリンパス株式会社 面推定方法、面推定装置、および記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63298139A (ja) * 1987-05-29 1988-12-05 Shimadzu Corp 反射率測定装置
JP2012513607A (ja) * 2008-12-22 2012-06-14 イーストマン コダック カンパニー 回転偏光フィルタを備えるカメラ
JP2014183516A (ja) * 2013-03-21 2014-09-29 Nikon Corp カメラ
JP2016010063A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 撮像装置
WO2016035181A1 (ja) * 2014-09-03 2016-03-10 株式会社ニコン 撮像装置、情報処理装置、及び撮像システム
JP2019144803A (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2021181448A1 (ja) * 2020-03-09 2021-09-16 オリンパス株式会社 面推定方法、面推定装置、および記録媒体

Similar Documents

Publication Publication Date Title
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
US9001255B2 (en) Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
CN104247395B (zh) 图像处理装置、图像处理方法
EP2154648B1 (en) Image processing device, image processing method, and image processing program
JP6504274B2 (ja) 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法並びに情報記録媒体
CN101715053B (zh) 成像设备、成像方法
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
US20100033553A1 (en) In-camera panorama image stitching assistance
JP4345940B2 (ja) 手ぶれ画像補正方法、記録媒体及び撮像装置
TW201239807A (en) Image capture device and method for monitoring specified scene using the image capture device
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN1875618A (zh) 具有全景摄影或镶嵌功能的数字照相机
JP2004198732A (ja) 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP2013027021A (ja) 全方位撮像装置及び全方位撮像方法
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
US9729798B2 (en) Image-capturing apparatus which controls image-capturing direction
WO2021035524A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2023052772A (ja) 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム
JP2012075088A (ja) 画像処理システムおよび画像処理方法
WO2025070011A1 (ja) 情報処理システム、画像処理装置、光学装置、情報処理方法及びプログラム
JP7289929B2 (ja) 撮像支援装置、撮像システム、撮像支援方法、及びプログラム
WO2025070010A1 (ja) 情報処理システム、３次元モデル生成装置、光学装置、情報処理方法及びプログラム
WO2022227040A1 (zh) 视频增稳方法、成像装置、手持云台、可移动平台及存储介质
JP2013168822A (ja) 画像撮像装置、その制御方法及びプログラム
TWI906985B (zh) 雙鏡頭電子裝置與其影像一致性提昇方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24871809

Country of ref document: EP

Kind code of ref document: A1