[go: up one dir, main page]

WO2005008174A1 - ３次元形状検出装置、撮像装置、及び、３次元形状検出方法 - Google Patents

３次元形状検出装置、撮像装置、及び、３次元形状検出方法 Download PDF

Info

Publication number
WO2005008174A1
WO2005008174A1 PCT/JP2004/010298 JP2004010298W WO2005008174A1 WO 2005008174 A1 WO2005008174 A1 WO 2005008174A1 JP 2004010298 W JP2004010298 W JP 2004010298W WO 2005008174 A1 WO2005008174 A1 WO 2005008174A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pattern
dimensional shape
image
slit light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2004/010298
Other languages
English (en)
French (fr)
Inventor
Takeo Iwasaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003278410A external-priority patent/JP4360145B2/ja
Priority claimed from JP2003278411A external-priority patent/JP4608855B2/ja
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Publication of WO2005008174A1 publication Critical patent/WO2005008174A1/ja
Priority to US11/296,347 priority Critical patent/US7440119B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00684—Object of the detection
    • H04N1/00726—Other properties of the sheet, e.g. curvature or reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00031—Testing, i.e. determining the result of a trial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00045—Methods therefor using a reference pattern designed for the purpose, e.g. a test chart
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00092—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to the original or to the reproducing medium, e.g. imperfections or dirt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753—Control or error compensation of scanning position or velocity
    • H04N2201/04758—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area
    • H04N2201/04787—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area by changing or controlling the addresses or values of pixels, e.g. in an array, in a memory, by interpolation

Definitions

  • 3D shape detection device imaging device, and 3D shape detection method
  • the present invention relates to a three-dimensional shape detection device that detects a three-dimensional shape of a target object using a light beam, an imaging device using the three-dimensional shape detection device, and a three-dimensional shape detection method. .
  • a slit light is projected on a target object, an image of the target object on which the slit light is projected is captured by an imaging device, and the image of the target object is captured based on image data captured by the imaging device.
  • a three-dimensional shape detecting device for detecting a three-dimensional shape the following device described in JP-A-7-318315 is known.
  • the three-dimensional shape detection device is configured to convert a light beam from one light source into slit light, split the slit light into two rows by a half mirror, and project the split light onto a target object. .
  • the three-dimensional shape detection device captures the reflection positions of the two rows of slit light reflected on the target object (hereinafter referred to as the locus of the slit light), and corresponds to the trajectory of the slit light in the captured image.
  • the position of each pixel to be calculated is determined based on the 3D shape detection device.
  • the three-dimensional shape detection device when the target object is a sheet, the three-dimensional shape of the entire target object is inferred. As a result, the three-dimensional shape of the target object is detected.
  • the three-dimensional shape detection device described above has a configuration in which one slit light generated by the light source unit is divided into two by a half mirror. In this case, two slit lights with the same spread angle are emitted toward the target object, and two slit lights of substantially the same length are projected on the target object. .
  • Such a configuration has the following disadvantages.
  • a single point light source having a limited total output power is used for the light source unit.
  • the power of each slit light is distributed in half when the light is split into two by a half mirror. Power is split in half If the brightness of the locus of the slit light required for accurate reading cannot be obtained with the slit light that has been obtained, there is power.
  • the small light source of the light beam used in the above-described three-dimensional shape detection device is a laser diode having a rated output power mW of the total output power.
  • the power per unit angular width of this slit light is about 21 ⁇ W / degree.
  • the power of each slit light is about 10 ⁇ W / degree, which is half of that.
  • the present invention has been made in view of these problems.
  • the present invention provides a three-dimensional shape capable of reliably discriminating the trajectory of the pattern light on the target object while maintaining the superiority in terms of the total emission power of the light beam converted into the pattern light.
  • An object is to provide a detection device, an imaging device, and a three-dimensional shape detection method.
  • a pattern light projecting means for projecting a plurality of pattern lights including two pattern lights having different angular widths, and the plurality of patterns.
  • Imaging means for capturing an image of the target object on which the turn light is projected from a position at a certain distance from the pattern light projection means; and projecting the target object based on the image captured by the imaging means.
  • the power per angular width of the two patterns having different angular widths can be made the same as when the slit light is in one row. Therefore, even when two rows of pattern light are used, it is possible to reliably discriminate the trajectory of the pattern light without increasing the total output power unlike the conventional three-dimensional shape detection device.
  • an imaging device having the following configuration.
  • the imaging apparatus includes an imaging unit for imaging a predetermined surface of a target object from an arbitrary direction, a storage unit for storing an image captured by the imaging unit as image data, and a three-dimensional shape of the target object. Based on the three-dimensional shape of the target object obtained by the three-dimensional shape obtaining means, and obtaining the image data stored in the storage means on a predetermined surface of the target object based on the three-dimensional shape of the target object obtained by the three-dimensional shape obtaining means.
  • Image correction means for correcting the image data to be plane image data observed from a substantially vertical direction.
  • the three-dimensional shape obtaining means includes pattern light projecting means for projecting a plurality of pattern lights including two pattern lights having different angular widths.
  • the imaging unit captures an image of the target object on which the plurality of pattern lights are projected from a position at a fixed distance from the pattern light projection unit.
  • the three-dimensional shape obtaining means calculates a position of the plurality of pattern lights projected on the target object based on an image captured by the imaging means, and calculates a three-dimensional shape of the target object. Equipped with the required three-dimensional shape calculation means
  • a three-dimensional shape detecting method for detecting a three-dimensional shape of a target object, which outputs a light beam, and outputs the light beam. It is converted into a pattern light which is a light beam radiated in a plane at a predetermined angular width, and the pattern light is emitted for projecting to a target object, and a position at a certain distance from the emitted pattern light.
  • An image of the target object on which the pattern light is projected Calculating the position of the pattern light projected on the target object based on the obtained image, and calculating the three-dimensional shape of the target object.
  • the emitted pattern light includes first and second pattern lights having different angular widths.
  • FIG. 1 (a) shows an overall perspective view of an imaging device according to a first embodiment of the present invention
  • FIG. 1 (b) shows a schematic sectional view of the imaging device. .
  • FIG. 2 is a block diagram illustrating an entire configuration of the imaging device in FIG. 1.
  • FIG. 3 is a diagram showing a configuration of a slit light projecting unit in the imaging device in FIG. 1.
  • FIG. 4 (a) shows a cross-sectional shape of a rod lens and a reflecting mirror
  • FIG. 4 (b) shows a perspective view of a reflecting mirror
  • FIG. 5 is a flowchart showing a process in a processor of the imaging device in FIG. 1.
  • FIG. 6 (a) is a diagram for explaining an image with slit light by the imaging device of FIG. 1, and FIG. 6 (b) shows an example in which three slit lights are projected on a document.
  • FIG. 6C is a diagram showing an example in which dotted slit light is projected on the document.
  • FIG. 7 (a) is a diagram for explaining a three-dimensional space position calculation method and also shows a YZ plane
  • FIG. 7 (b) is a diagram for explaining a three-dimensional space position calculation method. And the XZ plane.
  • FIG. 8 shows a coordinate system at the time of document posture calculation and shows a document in a tilted state
  • FIG. 8 (b) shows a coordinate system at the time of document posture calculation
  • 8C shows a state in which the original is made parallel to the XY plane
  • FIG. 8C shows a coordinate system in the calculation of the original posture and also shows a state of the original being curved.
  • FIG. 9 is a flowchart illustrating a process performed by a plane conversion program according to the first embodiment.
  • FIG. 10 is a diagram showing a modification of the slit light projecting unit.
  • FIG. 11 (a) is a diagram showing a configuration in which slit light is generated using a one-dimensional minute displacement mirror array
  • FIG. 11 (b) is a light projection onto a document by the one-dimensional minute displacement mirror array. It is a figure showing the slit light performed.
  • FIG. 12 (a) is a diagram for explaining a state of imaging when smear occurs
  • FIG. 12 (b) is a diagram showing a state of smear occurring on a document.
  • FIG. 13 (a) is a perspective view of an entire imaging device according to a second embodiment of the present invention
  • FIG. 13 (b) is a schematic sectional view of the imaging device.
  • FIG. 14 is a block diagram showing the entire configuration of the imaging device in FIG.
  • FIG. 15 is a diagram illustrating a configuration of a slit light projecting unit of the imaging device in FIG. 13.
  • FIG. 16 is a diagram for explaining an angular width of slit light generated by a rod lens
  • FIG. 16 (b) is an angular width of slit light generated by using a cylindrical lens.
  • FIG. 17 is a flowchart illustrating a process in a processor of the imaging device in FIG. 1.
  • FIG. 18 (a) is a diagram for explaining an image with slit light by the imaging device of FIG. 13, and FIG. 18 (b) shows an example in which three slit lights are projected on a document.
  • FIG. 18 (b) shows an example in which three slit lights are projected on a document.
  • FIG. 19 (a) is a diagram for explaining a three-dimensional space position calculation method and also shows a YZ plane
  • FIG. 19 (b) is a diagram for explaining the three-dimensional space position calculation method. The figure also shows the XZ plane.
  • FIG. 20 (a) shows the coordinate system when calculating the orientation of the original and shows the original in a tilted state
  • FIG. 20 (b) shows the coordinate system when calculating the orientation of the original
  • FIG. 20 (c) shows a state in which the original is made parallel to the XY plane
  • FIG. 20 (c) shows a coordinate system at the time of the original posture calculation and also shows a state in which the original is curved.
  • FIG. 21 is a flowchart showing processing by the plane conversion program according to the second embodiment.
  • FIG. 22 (a) is a diagram for explaining the method of identifying the peak of the locus of the slit light according to the second embodiment
  • FIG. 22 (b) is a comparative example of FIG. 22 (a).
  • Light Pi It is a figure showing the case where a mark is different.
  • FIG 23 is a description of the c code a diagram illustrating a modification of the slit beam projection unit of the second embodiment
  • the imaging device 1 according to the present embodiment when compared with a conventional three-dimensional shape detection device as described in the above-mentioned Japanese Patent Application Laid-Open No. 7-318315, can reduce the total output power of the light beam converted into slit light.
  • the object of reliably discriminating the trajectory of the slit light without ascending can be achieved.
  • FIG. 1A is a perspective view of the entire imaging device 1 according to the first embodiment of the present invention.
  • FIG. 1B is a schematic cross-sectional view of the imaging device 1.
  • FIG. 1B also shows a state of the first slit light 71 and the second slit light 72 projected on the document P.
  • Figure 2 shows the block diagram of imaging device 1.
  • FIG. 1A is a perspective view of the entire imaging device 1 according to the first embodiment of the present invention.
  • FIG. 1B is a schematic cross-sectional view of the imaging device 1.
  • FIG. 1B also shows a state of the first slit light 71 and the second slit light 72 projected on the document P.
  • Figure 2 shows the block diagram of imaging device 1.
  • FIG. 1A is a perspective view of the entire imaging device 1 according to the first embodiment of the present invention.
  • FIG. 1B is a schematic cross-sectional view of the imaging device 1.
  • FIG. 1B also shows a state of the first slit light 71 and the second
  • the imaging device 1 includes a rectangular box-shaped main body case 10, an imaging lens 31 provided on the front of the main body case 10, and It has a CCD image sensor 32 provided behind the image lens 31 (inside the imaging device 1) and a slit light projecting unit 20 provided below the imaging lens 31.
  • the imaging device 1 further includes a processor 40 built in the main body case 10, a release button 52 and a mode switching switch 59 provided on an upper part of the main body case 10, and a card memory 55 built in the main body case 10. Have. As shown in FIG. 2, each of these components is connected by a signal line.
  • the imaging device 1 further includes an LCD (Liquid Crystal) provided on the back of the main body case 10.
  • LCD Liquid Crystal
  • Display 51 and a finder 53 disposed from the back to the front of the main body case 10. These are used when the user determines the imaging range of the imaging device 1.
  • the LCD 51 is configured by a liquid crystal display or the like that displays an image, and receives an image signal from the processor 40 and displays an image. From the processor 40 to the LCD 51, an image signal for displaying a real-time image received by the CCD image sensor 32, an image stored in the card memory 55, characters of the device setting, etc., according to the situation. Is sent.
  • the imaging device 1 has a “normal mode” function corresponding to a function as a so-called digital camera and a “corrected imaging mode” function.
  • the “normal mode” when the release button 52 is pressed by the user, the image formed on the CCD image sensor 32 by the imaging lens 31 is captured as image data and written to the card memory 55.
  • the ⁇ corrected imaging mode '' is a function that, when the subject is a document P such as paper, makes it possible to create image data corrected as if it were captured from the front even if the document P was imaged from an oblique direction. is there.
  • the slit light projecting unit 20 of the imaging apparatus 1 includes a laser diode 21, a collimating lens 22, and a lens. —Has a chair 23, a rod lens 24, and a reflection mirror 25.
  • the laser diode 21 emits a red laser beam.
  • the switch 21 controls the emission and stop of the laser beam in response to a command from the processor 40.
  • the output of the laser diode 21 is based on the maximum power rating (for example, 5 mW).
  • the rated output is adjusted so that a constant output (for example, lmW) can be obtained at a portion passing through the aperture 23 in consideration of the individual variation of the spread angle of the laser beam.
  • the collimating lens 22 focuses the laser beam from the laser diode 21 so as to focus on a reference distance VP (for example, 330 mm) from the slit light projecting unit 20.
  • VP for example, 330 mm
  • the aperture 23 is formed of a plate having a rectangular opening.
  • the laser beam from the collimating lens 22 is shaped into a rectangle by passing through the opening of the aperture 23.
  • the rod lens 24 is a cylindrical lens having a short positive focal length. The rod lens 24 is disposed downstream of the laser beam emitted from the aperture 23.
  • FIG. 4 (a) shows a cross-sectional shape of the rod lens 24 and the reflection mirror, and also shows a state in which the laser beam is condensed.
  • FIG. 4B is a perspective view of the reflection mirror 25.
  • the laser beam passing through the rod lens 24 is condensed at a focal point in the immediate vicinity of the rod lens 24, spreads thereafter, and expands at a predetermined distance. It is emitted as slit light with a spread angle ⁇ (for example, 48 degrees).
  • the reflection mirror 25 is made of an optical plastic such as a moldable polymethyl methacrylate ( ⁇ ). As shown in FIG. 4B, the reflection mirror 25 includes a first mirror surface 25a inclined at a predetermined angle ⁇ (for example, 45 degrees) with respect to a surface parallel to the optical axis of the imaging lens 31, and a first mirror surface. And a second mirror surface 25b formed on a wedge-shaped projection formed on the surface 25a. The second mirror surface 25b is inclined at a predetermined angle ⁇ : (for example, 12 degrees) with respect to the first mirror surface 25a at a central portion of the first mirror surface 25a in a direction orthogonal to the inclination direction. I have. On the surface of the reflection mirror 25, an aluminum film and a silicon oxide protective film are deposited so as to substantially totally reflect the laser beam.
  • ⁇ polymethyl methacrylate
  • the reflection mirror 25 is disposed downstream of the slit light emitted from the rod lens 24.
  • the slit light incident on the first mirror surface 25a is reflected by changing the direction at a predetermined angle; twice (90 degrees) I, and is emitted as the first slit light 71.
  • the slit light incident on the second mirror surface 25b is reflected away from the first slit light 71 by twice (24 degrees) the predetermined angle c, and is emitted as the second slit light 72.
  • the direction in which the first slit light 71 is emitted is called a first direction
  • the direction in which the second slit light 72 is emitted is called a second direction.
  • the slit light projecting unit 20 responds to the command of the processor 40 by the laser beam.
  • a laser beam is emitted from one diode 21 to emit a first slit light 71 in a first direction and a second slit light 72 in a second direction.
  • the first slit light 71 and the second slit light 72 are emitted from a window 29 provided below the imaging lens 31 of the main body case 10.
  • the imaging lens 31 is composed of a plurality of lenses.
  • the imaging device 1 has an autofocus function.
  • the imaging lens 31 is driven by the autofocus function to adjust the focal length and the aperture so that light from the outside is formed on the CCD image sensor 32.
  • the CCD image sensor 32 has a matrix arrangement of photoelectric conversion elements such as CCD (Charge Coupled Device) elements.
  • the CCD image sensor 32 generates a signal corresponding to the color and intensity of the light of the image formed on the surface, converts the signal into digital data, and outputs the digital data to the processor 40.
  • the data of one CCD element is pixel data of a pixel forming an image, and the image data is composed of pixel data of the number of CCD elements.
  • the release button 52 is constituted by a push button type switch.
  • the release button 52 is connected to the socket processor 40, and the processor 40 detects a pressing operation by a user.
  • the card memory 55 is constituted by a nonvolatile and rewritable memory, and is detachable from the main body case 10.
  • the mode switching switch 59 is configured by a slide switch or the like that can be switched to two positions.
  • the processor 40 detects the position of the button of the mode switching switch 59. In the processor 40, one of the positions of the mode switching switch 59 is detected as the "normal mode", and the other is detected as the "corrected imaging mode".
  • the processor 40 includes a CPU (Central Processing Unit) 41, a ROM 42, and a RAM 43.
  • the CPU 41 executes processing by a program stored in the ROM 42 while using the RAM 43.
  • the CPU 41 detects the pressing operation of the release button 52, captures the image data from the CCD image sensor 32, writes the image data to the card memory 55, detects the state of the mode switching switch 59, detects the state of the slit light emitting unit 20, Various processes such as switching of the emission of slit light by the above are performed.
  • CPU Central Processing Unit
  • the ROM 42 includes a camera control program 421, a difference extraction program 422, a triangulation calculation program 423, a document orientation calculation program 424, and a plane conversion program 425 (see FIG. 2).
  • the camera control program 421 is a program relating to control of the entire imaging apparatus 1 including the processing of the flowchart shown in FIG. 5 (details will be described later).
  • the difference extraction program 422 is a program for generating image data in which the trajectory of the slit light is extracted from the image of the document P on which the slit light is projected.
  • the triangulation calculation program 423 is a program for calculating the three-dimensional spatial position of each trajectory of the slit light based on the image data generated by the difference extraction program with respect to each pixel.
  • the document attitude calculation program 424 is a program for estimating the position and the three-dimensional shape of the document P from the three-dimensional spatial positions of the first slit light locus 71a and the second slit light locus 72a.
  • the plane conversion program 425 converts the image data stored in the slit-lightless image storage unit 432 into an image as if the image was taken from the front of the document P based on the given position and orientation of the document P.
  • the RAM 43 As a storage area, a slit light image storage unit 431, a slit light non-image storage unit 432, and a slit light non-slit image storage unit 432 having a size for storing data in the form of image data from the CCD image sensor 32,
  • the difference image storage unit 433 is allocated.
  • the RAM 43 stores a triangulation calculation result storage section 434 large enough to store the result of calculating the position of each point of the slit light image, and a document large enough to store the calculation result of the position and orientation of the document P.
  • a posture calculation storage section 435 and a working area 436 having a size used for temporarily storing data for calculation in the CPU 41 are allocated.
  • the finder 53 has an optical lens.
  • the finder 53 is configured such that when a user looks into the image pickup apparatus 1 from behind, a range substantially coincident with a range where the imaging lens 31 forms an image on the CCD image sensor 32 can be seen.
  • FIG. 5 is executed under the control of the processor 40 of the imaging device 1.
  • the position of the mode switching switch 59 is detected. If the result of the detection in S110 is that the mode switching switch 59 is in the position of the "corrected imaging mode", If so, the processing shifts to SI 20. If the mode switching switch 59 is not in the "corrected imaging mode” but in the "normal mode” position, the process proceeds to S200.
  • a command to emit light from the laser diode 21 is issued to the slit light projecting unit 20, and the first slit light 71 and the second slit light 72 are emitted.
  • image data is acquired from the CCD image sensor 32 as an image with slit light. The acquired image data is stored in the image storage unit 431 with slit light in the RAM 43.
  • the slit light projecting unit 20 is instructed to stop emitting the laser diode 21, and the first slit light 71 and the second slit light 72 are no longer emitted.
  • Image data is acquired from the image sensor 32.
  • the acquired image is stored in the image storage unit 432 without slit light of the RAM 43.
  • the difference extraction program 422 generates image data in which the difference between the image data of the image storage unit 431 with slit light and the image data of the image storage unit 432 without slit light is generated, and stores the difference image. Stored in section 433. That is, images of the locus 71a of the first slit light and the locus 72a of the second slit light projected on the document P are extracted.
  • the original posture calculation program is used by using the three-dimensional spatial positions of the first slit light trajectory 71a and the second slit light trajectory 72a stored in the triangulation calculation result storage unit 434. According to 424, the position and orientation of the document P are calculated.
  • step S170 based on the position and orientation of the document P calculated in step S160, the image data force stored in the image storage unit 432 without slit light is observed by the plane conversion program 425 from the front side. Is converted into image data of a simple image.
  • the image data in the image storage unit 432 without slit light is subtracted from the image data in the image storage unit 431 with slit light, and the attractive force is obtained. That is, subtraction of RGB values is performed for each pixel of both image data. Thereby, a multi-valued image in which only the trajectory of the slit light is extracted is obtained.
  • the processing by the triangulation calculation program 423 in S150 is specifically as follows. For example, in the image data of the difference image storage unit 433, the vertical peak force of the trajectory 7la of the first slit light and the trajectory 72a of the second slit light in the vertical direction is obtained for each horizontal coordinate of the image data by calculating the center of gravity. The three-dimensional spatial position with respect to the extracted coordinates is determined as described below.
  • the coordinate system of the imaging apparatus 1 with respect to the horizontally curved original P imaged as shown in Fig. 6A is defined as shown in Figs. 7A and 7B. . That is, the optical axis direction of the imaging lens 31 is the Z axis, the position at a reference distance VP from the imaging device 1 is the origin position of the X, Y, and Z axes. The direction is defined as the Y axis.
  • the number of pixels in the X-axis direction of the CCD image sensor 32 is referred to as ResX
  • the number of pixels in the Y-axis direction is referred to as ResY.
  • the upper end of the position where the CCD image sensor 32 is projected on the XY plane through the imaging lens 31 is called Yftop, the lower end is called Yfbottom, the left end is called Xfstart, and the right end is called Xfend.
  • the distance from the optical axis of the imaging lens 31 to the optical axis of the first slit light 71 emitted from the slit light projecting unit 20 is D, and the Y axis at which the first slit light 71 intersects the XY plane.
  • the position in the direction is las1
  • the position in the Y-axis direction where the second slit light 72 intersects the XY plane is las2.
  • the three-dimensional spatial position (Xl, Yl) corresponding to the coordinates (ccdxl, ccdyl) on the CCD image sensor 32 of the point of interest 1 that focuses on one of the pixels of the image of the trajectory 71a of the first slit light 71a , Z1) are set for a triangle formed by a point on the image plane of the CCD image sensor 32, an emission point of the first slit light 71 and the second slit light 72, and a point intersecting the XY plane.
  • the processing by the document orientation calculation program 424 in S160 is specifically as follows. For example, a line obtained by approximating a regression curve to each point of the three-dimensional space position corresponding to the locus 71a of the first slit light from the data of the triangulation calculation result storage unit 434 is obtained, and the position of the curve in the X-axis direction is set to “0”. ”And a three-dimensional position where the position of the second slit light trajectory 72a in the X-axis direction is“ 0 ”.
  • the point at which the linear force axis intersects that is, the point at which the optical axis intersects the document P, is defined as the three-dimensional spatial position (0, 0, L) of the document P (see FIG. 8A).
  • the angle between the straight line and the XY plane is defined as the inclination ⁇ of the document P about the X axis.
  • a line obtained by approximating a regression curve to the locus 71a of the first slit light is rotationally transformed in the opposite direction by the previously obtained inclination ⁇ ⁇ ⁇ around the X axis. That is, consider a state where the document P is parallel to the XY plane. Further, as shown in FIG. 8 (c), the cross-sectional shape of the document P in the X-axis direction is obtained by calculating the displacement in the Z-axis direction at a plurality of points in the X-axis direction with respect to the cross section of the document P in the X--Z plane. From the displacement, the curvature ⁇ (X), which is a function of the tilt in the X-axis direction with the position in the X-axis direction as a variable, is obtained.
  • the processing by the plane conversion program 425 in S 170 is specifically shown in, for example, FIG. This is a process described below, which is represented by a flowchart.
  • the processing area for the process is allocated to the working area 436 of the RAM 43, and the initial values of variables used for the process, such as variables for the counter, are set (S1002).
  • the area of the erect image which is an image when the surface of the original P on which the characters and the like are written is observed in a substantially vertical direction, is the three-dimensional space of the original P based on the calculation result of the original posture calculation program 424. It is set by transforming the four corner points of the image without slit light based on the position (0, 0, L), the inclination X around the X axis, and the curvature ⁇ (X), and is included in this area. The number of pixels a is obtained (S1003).
  • the area of the set erect image is first arranged on the XY plane (S1005), and the three-dimensional spatial position of each pixel included therein is determined based on the curvature ⁇ (X).
  • ⁇ curvature
  • the coordinates are converted to the coordinates (ccdcx, ccdcy) on the CCD image captured by the ideal camera according to the above triangulation relational expression (S1009).
  • the coordinates are converted into the coordinates (ccdx, ccdy) on the CCD image captured by the actual camera by a known calibration method (S1010).
  • the state of the pixel of the image without slit light at the position of is determined and stored in the working area 436 of the RAM 43 (S1011). This is repeated for the number of pixels a to generate image data of the erect image.
  • the imaging apparatus 1 has the trajectory 71a of the first slit light 72a and the trajectory of the first slit light 72 above it, as shown in FIG. 6 (a).
  • a locus 72a of the second slit light having the same length is formed on the original P in the missing portion of the document P.
  • the image of the document P is formed on the CCD image sensor 32 by the imaging lens 31 and then imaged. Subsequently, an image of the document P on which the locus of the slit light is not formed is imaged.
  • the images of the trajectories 71a and 72a of the first and second slit lights are extracted from the image data, and the first and second slit lights are extracted based on the principle of triangulation.
  • the three-dimensional spatial position of each part of the trajectories 71a and 72a is calculated.
  • the position L, the inclination ⁇ , and the curvature ⁇ (X) of the document P are obtained from the calculation result, and the shape of the trajectory 71a of the first slit light is defined as the cross-sectional shape of the entire document P, and the three-dimensional shape of the document P is obtained.
  • the user switches the mode switching switch 59 to the “corrected imaging mode” side, and determines whether the desired range of the document P is within the imaging range with the viewfinder 53 or the LCD 51.
  • the image data as if the flat original P was imaged from the front can be stored in the card memory 55. Can be stored.
  • the image data stored in the card memory 55 is displayed on the LCD 51 to check the imaged content, or the card memory 55 is removed from the imaging device 1 and displayed on an external personal computer or the like. It can be used after printing.
  • the power per unit angular width of the first slit light 71 and the second slit light 72 is the same as that of the slit light before being deflected, and is not different from the case where one row of slit light is emitted. Therefore, according to the present embodiment, the luminance difference between the trajectory of the slit light and the document P is sufficient, and the trajectory image of the slit light can be reliably extracted by the difference extraction program 422.
  • the imaging device 1 can reliably detect the three-dimensional shape of the target object without increasing the output of the laser diode 21 as the light source. Therefore, the configuration of the imaging device 1 can be made simple and small.
  • the imaging device 1 of the present embodiment since the central portion of the first slit light 71 is deflected, the possibility that specular reflection light of the first slit light 71 is incident on the imaging lens 31 is low. Les ,. The angle of the second slit light 72 with respect to the document P increases. For this reason, in order for the specular reflection light of the document P by the second slit light 72 to be incident on the imaging lens 31, it is necessary to take an image with a positional force exceeding 90 degrees with respect to the document P. The state is hard to think about for realistic use.
  • the imaging device 1 can accurately detect the bright spot ⁇ smear in the image to be captured by the specularly reflected light that does not allow the specular reflected light of the slit light applied to the original P to be incident from the imaging lens 31. It is possible to prevent a problem that a three-dimensional shape cannot be detected. If it is assumed that the central portion of the first slit light 71 is not deflected as in the present embodiment and smear occurs due to the central portion, the situation in that case is shown in FIGS. 12 (a) and 12 (b). ).
  • the vapor deposition film forming the reflection film on the mirror surface is usually a specific film. Since the film is formed from one direction, a correct reflective film is not formed on the side surface orthogonal to the first mirror surface 25a and the second mirror surface 25b, and the transflective film is interrupted or has insufficient reflectance. Become. However, if the cross-section is convex as in the reflection mirror 25 of the present embodiment, as shown in FIG. 4B, the slit light from the rod lens 24 that is not reflected by the second mirror surface 25b is radiated. The slit light does not enter the side surface or the corner portion between the first mirror surface 25a and the second mirror surface 25b at all. Therefore, it is possible to accurately detect the three-dimensional shape without disturbing the slit light when the slit light is incident on a portion where the reflective film is insufficient.
  • the slit light projecting unit 20 corresponds to a pattern light projecting unit, and the imaging lens 31 and the CCD image sensor 32 are used as a projected image photographing unit.
  • the processing from S140 to S160 by the processor 40 corresponds to the three-dimensional shape calculation means.
  • the imaging lens 31 and the CCD image sensor 32 correspond to an imaging unit
  • the processing in S170 by the processor 40 corresponds to an image correcting unit
  • the RAM 42 corresponds to a storage unit.
  • the target object imaged by the imaging apparatus 1 may be a smooth surface of a solid block, or a surface of an object having a ridgeline in some cases, in addition to the sheet-shaped original P.
  • the effect of detecting the three-dimensional shape of the target object can be similarly exhibited in all applications in which the three-dimensional shape in the three-dimensional space is desired to be obtained from the trajectories of the slit light in approximately two rows.
  • the target object is a sheet-shaped document P as in the present embodiment
  • the entire shape of the document P is estimated by assuming that the trajectory 71a of the first slit light is the cross-sectional shape of the document P.
  • the target object has a three-dimensional shape that is substantially uniform in the direction perpendicular to the longitudinal direction of the slit light
  • the detection posture shift caused by a unique shape such as a projection of the target object included in the position where the slit light is projected Therefore, it is not necessary to pay attention to the location where the slit light is projected without taking into account.
  • the first slit light 71 and the second slit light 72 emitted from the imaging device 1 are used to convert the slit light, which is also output from the rod lens 24, into the first mirror surface 25 a and the second mirror surface 25 b of the reflection mirror 25.
  • a reflecting mirror 26 which is a single mirror and a transparent flat plate 27 having a predetermined section (near the center) as a diffraction grating 27a are formed. Is also good. In this configuration, the slit light from the rod lens 24 is reflected by the reflection mirror 26 as it is and the direction thereof is changed.
  • the slit light is deflected by the diffraction grating 27a by the transparent flat plate 27 in the direction corresponding to the grating width.
  • the second slit light 72 is formed.
  • the first slit light 71 is formed and emitted by the slit light transmitted through a part other than the diffraction grating 27a.
  • the power distribution ratio between the zero-order light and the high-order light can be changed depending on the grating width, so that the power per angular width of the second slit light 72 can be changed.
  • Device 28 may be used. According to such a configuration, the tilt angle of the one-dimensional minute displacement mirror array 28a near the center of the mirror device 28 is changed according to a command from the processor 40 to deflect the slit light emitted from the rod lens 24.
  • the first slit light 71 and the second slit light 72 can be formed with two types of angles.
  • the length and position of the second slit light can be changed according to the use condition.
  • the first slit light 71 is changed depending on the shape of the target object.
  • the tilt angle of the one-dimensional minute displacement mirror array 28a at the position is changed so that the position where smear occurs becomes the second slit light 72, and the CCD image sensor 32 The specularly reflected light does not enter the
  • the slit light is deflected by the reflection mirror 25 composed of the first mirror surface 25a and the second mirror surface 25b to convert the first slit light 71 and the second slit light 72.
  • the configuration is simple, and the entire device can be reduced in size and cost.
  • the part where the first slit light is partially deflected and dropped may not be limited to only one point, but may be configured to deflect a plurality of points.
  • a configuration is provided in which a plurality of second mirror surfaces 25b of the reflection mirror 25 are provided, and a substantially dotted linear second surface deflected at a plurality of positions like a locus image of the slit light projected on the document P shown in FIG.
  • the slit light projecting unit 20 is configured to emit two rows of slit light of the first slit light 71 and the second slit light 72.
  • the light is not limited to two rows, and may be configured to emit three or more rows.
  • the reflecting mirror 25 has a configuration in which a third mirror surface inclined at a predetermined angle is provided on the second mirror surface 25b, and the locus image of the slit light projected on the original P shown in FIG.
  • the original P may be configured such that the locus of the third slit light is formed above the locus 72a of the second slit light.
  • the second slit light 72 is deflected so as to be above the first slit light 71.
  • the positional relationship between them is not particularly limited.
  • the locus 71a of the first slit light is located below the locus 72b of the second slit light.
  • the slit light projecting unit 20 may be configured so as to be formed. Alternatively, the location where the first slit light is lost due to the formation of the second slit light may be formed near the end rather than near the center.
  • the angular width of the second slit light 72 is not particularly limited either.
  • the second mirror surface 25b is made to have a large width, and most of the angular width is deflected with respect to the first slit light by the second slit light.
  • the light 72 may be formed.
  • a laser diode 21 that emits a red laser beam is used as a light source.
  • other light sources such as a surface emitting laser, an LED, and an EL element can output a light beam. In this case, any one may be used.
  • the slit light emitted from the slit light projecting unit 20 may be a stripe-shaped light pattern having a certain width, in addition to a fine line sharply narrowed in a direction perpendicular to the longitudinal direction. .
  • the imaging apparatus 1 is configured to capture an image with slit light and an image without slit light using the imaging lens 31 and the CCD image sensor 32.
  • an imaging lens and a CCD image sensor for capturing an image having a slit may be additionally provided.
  • the accuracy of the three-dimensional shape of the target object to be detected without any shift in the imaging range of the image without slit light with respect to the image can be improved.
  • the imaging device 1 of the present embodiment can be made smaller and less expensive with fewer components.
  • the term “pattern light” includes a shape in which a part is missing like the first slit light 71.
  • the size of the missing part in one pattern light may be various. For example, there may be a case where the force of the missing portion with respect to the entire length of one pattern light is greater than 1Z2.
  • the imaging device 1 according to the present embodiment has a total emission power of a light beam converted into slit light when compared with a conventional three-dimensional shape detection device as described in Japanese Patent Application Laid-Open No. 7-318315. To achieve the task of achieving a simple configuration with a low cost, low power consumption and a simple configuration.
  • FIG. 13A is a perspective view of the entire imaging device 1 according to the second embodiment of the present invention.
  • FIG. 13B is a schematic cross-sectional view of the imaging device 201.
  • Figure 1 3 (b) also shows the state of the first slit light 171 and the second slit light 172 projected on the document P.
  • FIG. 14 is a block diagram of the imaging device 201.
  • the imaging device 201 includes a rectangular box-shaped main body case 10, an imaging lens 31 provided on the front of the main body case 10, and It has a CCD image sensor 32 provided behind the image lens 31 (inside the imaging device 1). Further, the imaging device 201 includes a slit light projecting unit 120 provided below the imaging lens 31, a processor 40 built in the main body case 10, a release button 52 provided on an upper part of the main body case 10, and a mode switching mode. It has a switch 59 and a card memory 55 built in the main body case 10. These components are connected by signal lines as shown in FIG.
  • the imaging device 201 includes an LCD (Liquid Crystal Display) 51 provided on the back of the main body case 10 and a finder 53 provided from the back to the front of the main body case 10. These are used when the user determines the imaging range of the imaging device 201.
  • LCD Liquid Crystal Display
  • the LCD 51 is configured by a liquid crystal display or the like that displays an image, and receives an image signal from the processor 40 and displays an image.
  • the imaging device 201 has a “normal mode” function and a “corrected imaging mode” function corresponding to functions as a so-called digital camera.
  • the “normal mode” when the release button 52 is pressed by the user, an image formed on the CCD image sensor 32 by the imaging lens 31 is taken in as image data and written into the card memory 55.
  • the “correction imaging mode” is a function that can generate image data corrected as if it were captured from the front, even if the document P is imaged from an oblique direction when the subject is a document P such as paper. .
  • the slit light projecting unit 120 of the imaging device 201 includes a laser diode 21, a collimating lens 22, and a laser diode.
  • a laser diode 21 has a cylinder 23, a transparent flat plate 124, a cylindrical lens 125, a reflection mirror 126, and a rod lens 127.
  • the laser diode 21 emits a red laser beam. Under the control of the processor 40, the emission and the stop of the laser beam at the laser diode 21 are switched.
  • a certain output for example, lmW
  • the maximum output rating for example, 5mW
  • the collimating lens 22 focuses the laser beam from the laser diode 21 so as to focus on a reference distance VP (for example, 330 mm) from the slit light projecting unit 120.
  • VP for example, 330 mm
  • the aperture 23 is formed of a plate having a rectangular opening.
  • the laser beam of the collimating lens 22 is shaped into a rectangle by passing through the opening of the aperture 23.
  • the transparent flat plate 124 is made of a transparent flat plate made of a solid glass material or the like, and has an AR coat (anti-reflection coating) on the back surface.
  • the transparent flat plate 124 has a predetermined angle (for example, 33 °) at the front side of the main body case 10 with respect to the plane of light reflected from the transparent flat plate 124 (second slit light 172) with respect to a plane orthogonal to the optical axis of the laser beam from the aperture 23. (Degree) It is arranged to incline. About 5% (about 50 ⁇ W) of the laser beam incident on the transparent plate 124 from the aperture 23 is reflected by the surface, and about 95% (about 950 ⁇ W) is transmitted through the transparent plate 124.
  • the direction in which the laser beam is reflected by the transparent flat plate 124 and travels (upward by 33 degrees with respect to the horizontal plane in front of the imaging device 1) is referred to as a second direction.
  • the reflection mirror 126 is made of a member such as a mirror that totally reflects the laser beam.
  • the reflection mirror 126 is disposed downstream of the laser beam transmitted through the transparent flat plate 124 at an angle of 45 degrees in front of the main body case 10 with respect to a horizontal plane.
  • the laser beam is totally reflected and changes the direction of the optical path by 90 degrees.
  • the direction in which the laser beam reflected by the reflecting mirror 126 travels (the direction of 0 ° with respect to the horizontal plane in front of the imaging device 1) is referred to as a first direction.
  • the rod lens 127 is formed of a cylindrical lens having a short positive focal length.
  • the rod lens 127 is disposed downstream of the laser beam reflected by the reflection mirror 126 so that the axial direction of the cylindrical shape is vertical.
  • the focal length of the rod lens 127 is short. Therefore, as shown in FIG. 16A, the laser beam incident on the rod lens 127 is The light spreads beyond the focal point near the rod lens 127 and is emitted in the first direction as slit light having a predetermined spread angle ⁇ (for example, 48 degrees).
  • the slit light emitted from the rod lens 127 is referred to as first slit light 171.
  • the cylindrical lens 125 is a lens having a concave shape in one direction so as to have a negative focal length.
  • the cylindrical lens 125 is disposed downstream of the laser beam reflected by the transparent flat plate 124 such that the lens surface is orthogonal to the second direction.
  • the cylindrical lens 125 emits the laser beam incident from the transparent flat plate 124 at a spread angle ⁇ as slit light spread in the second direction.
  • the slit light emitted from the cylindrical lens 125 is referred to as a second slit light 172.
  • the ratio of the spread angle ⁇ of the second slit light 172 after passing through the cylindrical lens 125 to the spread angle ⁇ of the first slit light 171 is determined by the power at which the laser beam is split by the transparent flat plate 124. Equal to. That is, the spread angle of the second slit light 172 is 5% (2.4 degrees) of the spread angle ⁇ of the first slit light 171.
  • the slit light projecting unit 120 emits a laser beam from the laser diode 21 in response to a command from the processor 40, and outputs the first slit light in the first direction.
  • the imaging lens 31 includes a plurality of lenses.
  • the imaging device 201 has an auto force function.
  • the imaging lens 31 is driven by the autofocus function so that the focal length and the aperture are adjusted so that light from the outside forms an image on the CCD image sensor 32.
  • the CCD image sensor 32 has a matrix arrangement of photoelectric conversion elements such as CCD (Charge Coupled Device) elements.
  • the CCD image sensor 32 generates a signal corresponding to the color and intensity of light of the image formed on the surface, converts the signal into digital data, and outputs the digital data to the processor 40.
  • the data for one CCD element is pixel data of a pixel forming an image, and the image data is composed of pixel data of the number of CCD elements.
  • the release button 52 is constituted by a push button type switch.
  • the release button 52 is connected to the socket processor 40, and the processor 40 detects a pressing operation by a user.
  • the card memory 55 is composed of a nonvolatile and rewritable memory, It can be attached to and detached from the case 10.
  • the mode switching switch 59 is configured by a slide switch that can be switched to two positions.
  • the processor 40 detects the position of the button of the mode switching switch 59. In the processor 40, one of the positions of the mode switching switch 59 is detected as the "normal mode", and the other is detected as the "corrected imaging mode".
  • the processor 40 includes a CPU (Central Processing Unit) 41, a ROM 42, and a RAM 43.
  • the CPU 41 executes processing by a program stored in the ROM 42 while using the RAM 43.
  • the CPU 41 detects the pressing operation of the release button 52, captures image data from the CCD image sensor 32, writes the image data to the card memory 55, detects the state of the mode switching switch 59, detects the state of the slit light emitting unit 120, Performs various processes such as switching the emission of slit light by.
  • CPU Central Processing Unit
  • the ROM 42 includes a camera control program 421, a difference extraction program 422, a triangulation calculation program 423, a document attitude calculation program 424, and a plane conversion program 425 (see FIG. 2).
  • the camera control program 421 is a program relating to the control of the entire imaging apparatus 1 including the processing of the flowchart shown in FIG. 17 (details will be described later).
  • the difference extraction program 422 is a program for generating image data in which the trajectory of the slit light is extracted from the image of the document P on which the slit light is projected.
  • the triangulation calculation program 423 is a program for calculating the three-dimensional spatial position of each trajectory of the slit light based on the image data generated by the difference extraction program with respect to each pixel.
  • the document attitude calculation program 424 is a program for estimating and obtaining the position and the three-dimensional shape of the document P from the three-dimensional space positions of the trajectory 171a of the first slit light and the trajectory 172a of the second slit light.
  • the plane conversion program 425 converts the image data stored in the slit-lightless image storage unit 432 into an image as if the image was taken from the front of the document P based on the given position and orientation of the document P.
  • the RAM 43 data in the form of image data from the CCD image sensor 32 is stored as a storage area.
  • the image storage unit 431 with slit light, the image storage unit 432 without slit light, and the difference image storage unit 433 that are large enough to store data are allocated.
  • the RAM 43 stores a triangulation calculation result storage section 434 large enough to store the result of calculating the position of each point of the slit light image, and a document large enough to store the calculation result of the position and orientation of the document P.
  • a posture calculation storage section 435 and a working area 436 having a size used for temporarily storing data for calculation in the CPU 41 are allocated.
  • the viewfinder 53 is configured by an optical lens.
  • the viewfinder 53 is configured such that when a user looks into the image capturing apparatus 201 from behind, a range that substantially matches the range where the imaging lens 31 forms an image on the CCD image sensor 32 can be seen.
  • S 2110 the position of the mode switching switch 59 is detected. If the result of the detection in S2110 is that the mode switching switch 59 is at the position of the “corrected imaging mode” (S2110: YES), the process proceeds to S2120. In the case of the “normal mode” position (S2110: N :), the processing shifts to S2200.
  • the stop of light emission of the laser diode 21 is instructed to the slit light projecting unit 120, and the CCD image sensor 32 outputs the first slit light 171 and the second slit light 172 in a state where they are no longer emitted.
  • Image data is obtained.
  • the acquired image is stored in the image storage unit 432 without slit light as an image without slit light.
  • the difference extraction program 422 extracts the difference between the image data in the image storage unit 431 with slit light and the image data in the image storage unit 432 without slit light. That is, the image data from which the trajectory 171a of the first slit light projected on the document P and the trajectory 172a of the second slit light 172a are generated are stored in the difference image storage unit 433.
  • the three-dimensional spatial position of each pixel of the trajectory 171a of the first slit light and the trajectory 172a of the second slit light extracted from the image data of the difference image storage unit 433 is calculated by triangulation. It is calculated by the program 423. The calculation results are stored in the triangulation calculation result storage unit 434.
  • the original posture calculation program 424 is used by using the three-dimensional spatial positions of the trajectories of the first slit light 171 and the second slit light 172 stored in the triangulation calculation result storage unit 434. Thus, the position and orientation of the document P are calculated.
  • the image data stored in the image storage unit 432 without slit light 432 is viewed from the front. Is converted into image data of a simple image.
  • the processing by the difference extraction program 422 in S2140 is specifically as follows.
  • the image data of the image storage unit 432 without slit light is subtracted from the image data of the image storage unit 431 with slit light for each pixel. That is, the RGB values of both image data are subtracted for each pixel. Thereby, a multi-valued image in which only the trajectory of the slit light is extracted is obtained.
  • the processing by the triangulation calculation program 423 in S2150 is specifically as follows.
  • the vertical peaks of the locus 171a of the first slit light and the locus 172a of the second slit light are obtained for each horizontal coordinate of the image data by calculating the center of gravity.
  • the three-dimensional space position for this peak extraction coordinate is obtained as follows.
  • the coordinate system of the image capturing apparatus 201 with respect to the horizontally curved original P to be imaged as shown in FIG. 18A is defined as follows. That is, as shown in Fig. 19 (a) and Fig. 19 (b).
  • the optical axis direction of the imaging lens 31 as the Z axis
  • the horizontal direction with respect to the imaging device 201 as the X axis and the vertical direction.
  • the direction be the Y axis.
  • the number of pixels in the X-axis direction of the CCD image sensor 32 is called ResX, and the number of pixels in the Y-axis direction is called ResY.
  • the upper end of the position where the CCD image sensor 32 is projected on the XY plane through the imaging lens 31 is called Yftop, the lower end is called Yfbottom, the left end is called Xfstart, and the right end is called Xfend.
  • the distance from the optical axis of the imaging lens 31 to the optical axis of the first slit light 171 emitted from the slit light projecting unit 120 is D, and the first slit light 171 intersects the XY plane in Y.
  • the position in the axial direction is las1
  • the position in the Y-axis direction where the second slit light 172 intersects the XY plane is las2.
  • the three-dimensional spatial position (XI,) corresponding to the coordinates (ccdxl, ccdyl) on the CCD image sensor 32 of the point of interest 1 that focuses on one of the pixels of the image of the first slit light trajectory 171a Yl, Z 1) are formed by points on the image plane of the CCD image sensor 32, emission points of the first slit light 171 and the second slit light 172, and points intersecting the XY plane. It is derived from the solution of the following five simultaneous equations set up for the triangle.
  • the three-dimensional spatial position (X2, Y2) corresponding to the coordinates (ccdx2, ccdy2) of the point of interest 2 that focuses on one of the pixels of the image of the locus 172a of the second slit light on the CCD image sensor 32 , Z2) are derived from the solution of the following five simultaneous equations.
  • the processing by the document orientation calculation program 424 in S2160 is specifically as follows. For example, from the data in the triangulation calculation result storage unit 434, a line obtained by approximating a regression curve at each point in the three-dimensional space corresponding to the locus 171a of the first slit light is obtained. It is assumed that a straight line connects a point at “0” and a three-dimensional position where the position of the second slit light trajectory 172a in the X-axis direction is “0”. The next assumed point of intersection with the linear force axis, that is, the point where the optical axis intersects the document P, is defined as the three-dimensional spatial position (0, 0, of the document P) (see FIG. 20 (a)). The angle between this straight line and the XY plane is defined as the inclination ⁇ ⁇ of the document P around the X axis.
  • a line obtained by approximating the trajectory 171a of the first slit light with a regression curve is rotationally transformed in the reverse direction by the previously obtained inclination X about the X axis. That is, consider a state in which the original P is parallel to the XY plane.
  • the cross-sectional shape of the document P in the X-axis direction is determined with respect to the cross section of the document P in the X-Z plane, and the displacement in the Z-axis direction is obtained at a plurality of points in the X-axis direction.
  • a curvature ⁇ (X) which is a function of the tilt in the X-axis direction with the position in the X-axis direction as a variable is obtained from the displacement degree.
  • the process by the plane conversion program 425 in S2170 is, for example, a process as shown in the flowchart of FIG. The processing in FIG. 21 will be described below.
  • the processing area power S of the process is allocated to the working area 436 of the RAM 43, and initial values of variables used in the process, such as variables for a counter, are set (S3002).
  • the area of the erect image which is an image when the surface of the document P on which the characters and the like are written is observed in a substantially vertical direction, is the position of the document P based on the result calculated by the document attitude calculation program 425.
  • the points at the four corners of the image without slit light are converted and set.
  • the number a of pixels included in this area is determined (S3003).
  • the set erect image region is first arranged on the XY plane (S3005), and for each pixel included therein, the three-dimensional spatial position is determined based on the curvature ⁇ (X). Is displaced in the Z-axis direction (S3006), rotated about the X-axis with an inclination ⁇ (S3007), and shifted by a distance L in the Z-axis direction (S3008).
  • the obtained three-dimensional spatial position is the relational expression of the previous triangulation. Is converted to coordinates (ccdcx, ccdcy) on the CCD image captured by the ideal camera (S3009).
  • the imaging lens 31 is converted to coordinates (ccdx, ccdy) on the CCD image captured by the actual camera by a known calibration method (S3010).
  • the state of the pixel of the image without slit light at the position of the converted coordinates is obtained and stored in the working area 436 of the RAM 43 (S3011).
  • the above processing is repeatedly executed for the number of pixels a (S3012, S3004), and image data of an erect image is generated.
  • the imaging device 201 As described above, in the imaging device 201, the first slit light 171 and the second slit light 172
  • Two rows of slit lights are projected on the document P, and the document P is imaged on the CCD image sensor 32 by the image forming lens 31 to perform imaging. Subsequently, an image of the document P to which the slit light is not projected is captured.
  • the locus image of the slit light is extracted from the image data, and the three-dimensional spatial position of each part of the locus of the slit light is calculated based on the principle of triangulation. From these, the position, inclination, and bending state of the document P are obtained, and a flat document P is imaged from the front based on the result of estimating the shape of the trajectory 171a of the first slit light as the cross-sectional shape of the entire document P.
  • the corrected image data is generated as if it were performed.
  • the generated image data is recorded in the card memory 55.
  • the imaging apparatus 201 even when the original P whose shape has been deformed such as a curve is imaged obliquely, the user can force image data as if the flat original P were imaged from the front.
  • Memory 55 the user switches the normal shooting operation (that is, switches the mode switching switch 59 to the “correction imaging mode” side, and confirms whether the desired range of the document P is within the imaging range using the viewfinder 53 or the LCD 51). Then, by pressing the release button 52 and taking an image), an image can be obtained as if the flat original P was imaged from the front.
  • the image data stored in the card memory 55 can be displayed on the LCD 51 to confirm the imaged content.
  • the card memory 55 can be removed from the image pickup device 201 to provide an external personal computer. By attaching it to such a device, the image data can be displayed on a PC or printed.
  • the laser Of the power output from one diode 21 the power of the first slit light 171 split by the transparent flat plate 124 is 95%, while the power of the second slit light 172 is as small as about 5%.
  • the first slit beam 171 with a divergence angle of 48 degrees has a power per unit angle of about 20 zWZ degrees and the second slit beam 172 with a divergence angle of 2.4 degrees.
  • the power per unit angle is about 21 zW / degree, which is almost the same.
  • the illuminance by the first slit light 171 and the second slit light 172 is about 1,260 lettuce, which is the brightness of a room with a general white steepness. Even at a location of 500-1000 lux, there is a sufficient difference in brightness between the locus of the slit light and the document P. Accordingly, the locus image of the slit light can be extracted by the difference extraction program 422.
  • the imaging device 201 emits two rows of slit lights with the same power per angular width as when projecting one row of slit lights without increasing the output of the laser diode 21 as a light source. I do. According to such a configuration, the three-dimensional shape of the target object can be detected, and the configuration of the imaging device 201 can be simplified and reduced in size.
  • the first slit light 171 and the second slit light 172 have substantially the same power per unit angle, they correspond to the locus 171a of the first slit light and the locus 172a of the second slit light.
  • the signal of the CCD image sensor 32 has a signal level representing substantially the same luminance. For example, as shown in FIG. 22A, a pixel signal viewed in a vertical direction at a predetermined position of the CCD image sensor 32 has a portion where a locus 171a of the first slit light and a locus 172a of the second slit light appear. The signal is as high as the background level.
  • the difference extraction program 422 can share the setting of the threshold value for extracting the locus of the slit light.
  • the first slit light 171 and the second slit light 172 When there is a difference in power per unit angle between the first slit light 171 and the second slit light 172, as shown in FIG. 22 (b), the first slit light 171 and the second slit light 172
  • the peak value may be scattered in the fluctuation of the background level, and the locus of the slit light may not be detected accurately.
  • a threshold is set for each detection point in accordance with the background noise in order to detect the locus of the slit light, the number of calculations increases and the efficiency becomes inefficient, but according to the present embodiment, There is no such thing.
  • the transparent flat plate 24 is provided with an AR coating on the back surface, the reflection of the laser beam incident on the transparent flat plate 24 when the transparent flat plate 24 is emitted from the transparent flat plate 24 is reduced. The loss of the laser beam within 24 is reduced.
  • the transparent flat plate 124 is necessary when the ratio of the laser beam reflected by the transparent flat plate 124 is set as 5% of the surface reflectance determined by the refractive index of the material of the transparent flat plate 124, so that it can be realized by a normal half mirror. In addition, it is not necessary to perform a manufacturing process of forming a metal deposition film on the reflection surface.
  • the laser diode 21 corresponds to the light source of the light output means
  • the transparent flat plate 24 corresponds to the division means of the light output means.
  • the slit light projecting unit 120 corresponds to a pattern light projecting unit, and includes an image forming lens.
  • the CCD image sensor 32 corresponds to a projected image capturing unit
  • the processing from S140 to S160 in the processor 40 corresponds to a three-dimensional shape calculating unit.
  • the imaging lens 31 and the CCD image sensor 32 correspond to imaging means
  • the processing of S170 in the processor 40 corresponds to image correction means
  • the RAM 43 corresponds to storage means. I do.
  • the target object imaged by the imaging device 201 may be a smooth surface of an individual block or a surface of an object having a ridge line in some cases, in addition to the sheet-shaped document P. . That is, the imaging device 201 detects the three-dimensional shape in the three-dimensional space from the trajectories of the slit light in two rows, and detects the three-dimensional shape of the target object in almost all applications. The effect can be exhibited.
  • the entire shape of the document P is estimated by assuming that the trajectory 171a of the first slit light is the cross-sectional shape of the document P.
  • the target object has a three-dimensional shape that is substantially uniform in the direction perpendicular to the longitudinal direction of the slit light, the detection posture shift caused by a unique shape such as the projection of the target object included in the position where the slit light is projected, etc. Therefore, it is not necessary to pay attention to the location where the slit light is projected without considering the problem.
  • the slit light projecting unit 120 is configured to emit the first slit light 171 and the second slit light 172 in two rows of slit light.
  • the slit light is not limited to two rows, and may be configured to emit three or more rows.
  • the slit light projecting unit 120 includes the second slit light 172 in addition to the first slit light 171 and the second slit light 172.
  • a similar third slit light power document P may be configured to be projected above the second slit light 172 in the document P.
  • a laser diode 21 that emits a red laser beam is used as a light source.
  • Various light sources that can emit a light beam such as a surface emitting laser, an LED, and an EL element, are used. Can be used.
  • a force using a transparent flat plate 124 that reflects a predetermined ratio is used as a splitting unit.
  • a function equivalent to that of the transparent flat plate 124 is obtained by diffracting a predetermined ratio of the power of the incident laser beam in a predetermined direction.
  • the laser beam of the primary light diffracted by the diffraction grating can be used as the second slit light 172, and the laser light of the zero-order light transmitted as it is can be used as the first slit light 171.
  • the first and second slit lights 171 and 172 can be generated by using a reflection type diffraction grating 128.
  • the reflection type diffraction grating 128 can also play a role instead of the reflection mirror 26 in the above embodiment.
  • the laser beam of the primary light diffracted by the diffraction grating of the reflection type diffraction grating 128 can be used as the second slit light 172, and the laser light of the zero-order light reflected as it is can be used as the first slit light 171.
  • Such a diffraction grating can change the power distribution ratio between the zero-order light and the high-order light depending on its cross-sectional shape, and is therefore suitable as a dividing means.
  • the slit light emitted from the slit light projecting unit 120 is not only a thin line sharply narrowed in a direction orthogonal to the longitudinal direction, but also a stripe-shaped light pattern having a certain width. good.
  • each optical element is arranged such that the second slit light 172 is arranged in the first direction, that is, the lower side when viewed from the imaging device 201, and the first slit light 171 is arranged in the second direction. May be.
  • the imaging device 201 is configured to capture an image with slit light and an image without slit light using the imaging lens 31 and the CCD image sensor 32.
  • an imaging lens and a CCD image sensor for capturing an image with a slit may be separately added to the imaging device 201.
  • the accuracy of the three-dimensional shape of the target object that can be detected without any shift in the imaging range of the image without slit light with respect to the image with slit light can be improved.
  • the imaging device 201 of the present embodiment can be made smaller and less expensive with fewer components.
  • the pattern light projecting means has a light output means for outputting light, and emits light from the light output means in a plane at a predetermined angular width.
  • a first pattern light in which a light beam is converted and a part of the light beam in the predetermined angular width direction is deflected; and the first pattern light in which a part of the light beam in the predetermined angle width direction is missing due to the deflection,
  • the second pattern light deflected with respect to the pattern light may be formed and emitted.
  • the distance between the position of the pattern light projecting means and the position of the projected image capturing means is a fixed distance, and the angle of the slit light emitted from the pattern light projecting means is constant. (Known from the physical configuration). Therefore, based on the image of the target object captured by the projected image capturing means, the predetermined point of the pattern light reflection position (the locus of the slit light) on the target object and the projected image capturing means are used by the three-dimensional shape calculating means. The angle between the line connecting the light source and the optical axis direction of the projected image capturing means is determined, and the angle is used to determine a predetermined point of the trajectory of the pattern light, the pattern light projecting means, and the projected image capturing means.
  • the three-dimensional spatial position of a predetermined point on the trajectory of the slit light is determined, and the three-dimensional spatial position of each point on the trajectory of the slit light is determined.
  • Slit light projected on Can be determined. It should be noted that the three-dimensional shape of the missing portion of the trajectory of the first pattern light can be inferred from an approximate curve other than the missing portion.
  • the target object Since the trajectory of the first pattern light and the trajectory of the second pattern light are formed on the same plane of the target object, the target object is substantially uniform in the direction orthogonal to the length direction of the pattern light. Assuming that the object has a three-dimensional shape, the object obtained by extending the shape based on the three-dimensional spatial position obtained for the trajectory of the first pattern light by the three-dimensional shape calculation means in the direction of the trajectory of the second pattern light is the target object.
  • the 3D shape of the target object can be obtained by inferring the 3D shape of the target object.
  • the three-dimensional shape detection device having the above configuration, it is possible to detect the three-dimensional shape of the target object without touching the target object. Since the first pattern light and the second pattern light are formed by deflecting a part of the one-row pattern light converted from the light beam, the power per angular width of the first pattern light and the second pattern light is reduced. Also, the pattern light (slit light) can be made the same as when it is in one row, and the discrimination of the locus of the slit light can be surely made even with two rows of slit light without increasing the total output power as in the conventional case.
  • the pattern light projecting unit reflects the light beam and emits the first pattern light by a first reflecting surface that reflects light at a predetermined angle;
  • the second pattern light is emitted by reflecting the light beam by a second reflection surface that reflects light at a predetermined angle with respect to the optical path direction of the first pattern light with respect to the first reflection surface. It is composed of
  • the formation of the pattern light obtained by converting the light beam into the first pattern light and the second pattern light can be performed by using two mirrors or the like.
  • a simple and inexpensive configuration can be achieved when using a device for splitting a light beam such as a prism or a diffraction grating.
  • the three-dimensional shape calculation means obtains the three-dimensional shape by interpolating the missing part with the partially missing pattern light
  • the first pattern light is projected onto the target object.
  • the interpolation accuracy of the three-dimensional shape is higher when the data of the missing part is interpolated and calculated based on the trajectory of the pattern light from the image in which both ends are projected. Therefore, in one embodiment of the present invention, the first pattern light emitted from the pattern light projecting unit is Alternatively, a configuration may be adopted in which a portion missing due to the deflection does not include an end of the light beam.
  • the first pattern light is converted from a light beam converted from a light beam that does not cause the end portion of the pattern light to be cut off and the angular width to be narrowed in order to form the second pattern light. Angle width. For this reason, the first pattern light having the widest possible angle width can be projected at the stage of irradiating the target object.
  • the trajectory (that is, the reflected light) of the pattern light captured by the projected image capturing means includes, as shown in FIG. Some are due to diffused light diffused by the target object. The luminance of the captured image is much higher in the locus of the slit light caused by the specular reflection light than in the locus of the pattern light caused by the diffused light.
  • the projected image capturing means is arranged in the vertical direction of the plane of the pattern light with respect to the pattern light projecting means, the pattern light emitted from the pattern light projecting means has a substantially central portion which is specularly reflected. As a result, the light is likely to be incident on the projected image capturing means.
  • the three-dimensional shape detection device may be configured as follows. That is, the first pattern light emitted by the pattern light projecting means is formed by lacking a light beam at a substantially central portion in the direction of the predetermined angular width.
  • the substantially central portion which is likely to be the specular reflection light of the first pattern light, becomes a missing portion. You can see.
  • the three-dimensional shape detection device includes a three-dimensional shape of the target object having a substantially uniform three-dimensional shape in a direction intersecting the projection direction of the plurality of pattern lights. Good to be used to detect.
  • the shape of the portion where the pattern light is projected is a three-dimensional shape that is substantially uniform in a direction intersecting with the direction in which the pattern light is projected.
  • the three-dimensional shape can be detected by estimating the shape of the whole or a part of the target object, for example, assuming that the top and bottom of the trace have the same shape as the locus of the pattern light.
  • the target object has a substantially uniform three-dimensional shape in a direction orthogonal to the direction of the pattern light
  • the target object is detected by a peculiar shape such as a projection of the target object included in the position where the pattern light is projected. It is not necessary to take into account deviations in the three-dimensional shape. When detecting the three-dimensional shape, it is not necessary to pay attention to the position where the pattern light is projected.
  • the target object having a substantially uniform three-dimensional shape in a direction intersecting the projection direction of the plurality of pattern lights may be a substantially sheet shape.
  • the pattern light projecting means has a light output means for outputting a plurality of light beams, and is configured to convert the plurality of light beams into the plurality of pattern lights.
  • the plurality of pattern lights may include at least a long pattern light having a predetermined angular width and a short pattern light having an angular width relatively smaller than the long pattern light.
  • the pattern emitted from the pattern light projecting means is at a fixed distance between the position of the pattern light projecting means and the position of the projected image capturing means.
  • the angle of the light is constant (known from the physical configuration).
  • the three-dimensional shape calculation means uses the image of the target object imaged by the light projection image imaging means to determine a predetermined point of the pattern light reflection position (pattern light locus) on the target object and the light projection image imaging means. The angle of the connecting line with respect to the optical axis direction of the projection image capturing means is obtained.
  • the so-called triangulation is used to determine the shape of the triangle connecting the predetermined point of the trajectory of the pattern light, the pattern light projecting means, and the projected image capturing means using this angle.
  • the position of the pattern light projected on the target object can be obtained by obtaining the three-dimensional space position of the predetermined point and obtaining the three-dimensional space position for each point of the trajectory of the pattern light.
  • the trajectory of the pattern light by the long pattern light The shape of the trace can be obtained by analogy as extending in the direction of the locus of the short pattern light, and the three-dimensional shape of the target object can be detected.
  • the 3D shape of the target object can be detected.
  • the pattern light irradiating the target object a long pattern light and a short pattern light
  • the total length of the pattern light can be shortened, and compared with the case of projecting two rows of long pattern light. Therefore, the total output power of the three-dimensional shape detecting device can be reduced.
  • the light output means may be configured to output the light beam serving as the short pattern light with less power than the light beam serving as the long pattern light. good.
  • the power ratio of each light beam output from the light output means is determined by an angle for each pattern light at which each light beam is converted by the pattern light projecting means. It may be substantially equal to the width ratio.
  • the reference value for identifying the trajectory of the pattern light by the three-dimensional shape calculation means can be set in the same manner for the long pattern light and the short pattern light, so that the trajectory of the pattern light is accurate and efficient. Can be identified.
  • a method for converting a light beam into pattern light by the pattern light projecting means For example, a method in which a light beam is evenly diffused on a predetermined surface and converted into slit light through a slit having a predetermined length of an elongated hole, or a method in which a rotating polygon mirror is irradiated with the light beam and run. There is a method of making a slit light.
  • the pattern light projecting means uses a cylindrical lens having a focal length corresponding to an angular width of the plurality of pattern lights into which the plurality of light beams are converted, respectively. It is configured to convert the plurality of light beams into the plurality of pattern lights.
  • the pattern light projecting means can be made compact and simple with small power loss of the light source. In other words, in the above-described method in which the slit light is transmitted through the slit, the power loss of the light beam is large because the light blocked by the slit is large.
  • the light output means may be provided with light sources so as to output light beams having different powers in accordance with the angular width of the converted pattern light.
  • the number and type of light sources are changed. And the apparatus becomes large and expensive.
  • the light output means includes: a light source that generates one light beam; and a dividing means that divides the light beam from the light source into a plurality of light beams and outputs the plurality of light beams. It may be configured.
  • the minimum number of light sources is required, and the three-dimensional shape detection device can be reduced in size and cost.
  • the power of the light beam that becomes a short pattern light is reduced, and the total output power of the light beam from the light output means is suppressed, so that the output of the light source becomes large, so that one light source can be used. Suitable to do.
  • the splitting means may be configured to split the light beam by a substantially transparent flat plate having at least one surface subjected to a non-reflection treatment.
  • the light beam can be divided by the substantially transparent flat plate into a light beam reflected when entering the substantially transparent flat plate and a light beam transmitted through the substantially transparent flat plate.
  • the power distribution of the light beam can be set.
  • the loss due to reflection when transmitting through the substantially transparent flat plate is small, and the weight is lighter than that of a prism or the like. Can be realized.
  • the three-dimensional shape detecting device detects the three-dimensional shape of the target object having a substantially uniform three-dimensional shape in a direction intersecting the projection direction of the long pattern light. It may be used to detect.
  • the portion where the pattern light is projected intersects the projection direction. It can be assumed that the pattern light has a substantially uniform three-dimensional shape in any direction, and that the upper and lower trajectories of the pattern light are similar to the three-dimensional shape corresponding to the trajectory of the pattern light. The shape of the whole or a part of the target object can be estimated.
  • the target object has a three-dimensional shape that is substantially uniform in a direction intersecting with the pattern light projecting direction
  • a special object such as a projection of the target object included in the position where the pattern light is projected is included. Eliminates the need to consider deviations in the three-dimensional shape detected by different shapes.Eliminates the need to be aware of where the pattern light is projected when detecting the three-dimensional shape.
  • the target object having a substantially uniform three-dimensional shape in a direction intersecting the projection direction of the long pattern light may be substantially sheet-shaped.
  • the pattern light projecting unit includes a light output unit that outputs light, and converts the light from the light output unit into a plane at a predetermined angular width.
  • the second pattern light deflected with respect to the first pattern light may be formed and emitted.
  • the pattern light projecting means includes light output means for outputting a plurality of light beams, and outputs the plurality of light beams to the plurality of pattern lights. May be configured to be converted.
  • the plurality of pattern lights may include at least a long pattern light having a predetermined angular width and a short pattern light having an angular width relatively smaller than the long pattern light.
  • the imaging unit, the storage unit, the three-dimensional shape acquisition unit, and the image correction unit are configured to be built in a main body case of the imaging device. Is also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　角度幅の異なる２つのパターン光を含む複数のパターン光を投光するパターン光投光手段と、前記複数のパターン光が投光された対象物体の画像を、前記パターン光投光手段から一定距離離れた位置から撮像する撮像手段と、前記撮像手段で撮像された画像に基づき、前記対象物体に投光された前記複数のパターン光の位置を算出して前記対象物体の３次元形状を求める３次元形状演算手段と、を備えることを特徴とする３次元形状検出装置が提供される。

Description

明 細 書
3次元形状検出装置、撮像装置、及び、 3次元形状検出方法
技術分野
[0001] 本発明は、光ビームを用いて対象物体の 3次元形状を検出する 3次元形状検出装 置、この 3次元形状検出装置を用いた撮像装置、及び、 3次元形状検出方法に関す る。
背景技術
[0002] 対象物体にスリット光を投光して、そのスリット光が投光された対象物体の画像を撮 像装置によって撮像し、その撮像装置によって撮像された画像データに基づいて、 対象物体の 3次元形状を検出するようにした 3次元形状検出装置として、特開平 7 - 3 18315号公報に記載された次のような装置が知られている。
[0003] この 3次元形状検出装置は、 1つの光源からの光ビームをスリット光に変換し、この スリット光をハーフミラーで 2列に分割して対象物体へ投光するように構成されている 。また、この 3次元形状検出装置は、対象物体で反射した 2列のスリット光の反射位置 (以下、スリット光の軌跡と呼ぶ。）を撮像し、撮像された画像におけるスリット光の軌 跡に対応する画素毎の点について 3次元形状検出装置を基準とする位置を求める。 さらに、この 3次元形状検出装置において、対象物体がシート状である場合、その対 象物体全体の 3次元形状が類推される。結果として対象物体の 3次元形状が検出さ れる。
発明の開示
[0004] 上記の 3次元形状検出装置は、光源部で生成された 1本のスリット光が、ハーフミラ 一によつて 2分割される構成となっている。この場合、広がり角度が同一の 2つのスリ ット光が対象物体に向けて放たれ、対象物体上には実質的に同一の長さの 2本のス リット光が投光されることになる。
[0005] このような構成は次のような不利な面を持つ。一例として、光源部に全出射パワー の限られた 1つの点光源が用いられる場合を想定する。この場合、各スリット光のパヮ 一はハーフミラーによる 2分割の際に半分ずつに配分される。パワーが半分に配分さ れたスリット光では、正確な読取に必要なスリット光の軌跡の輝度が得られない場合 力ある。
[0006] 上記例について、さらに具体的に説明する。前述の 3次元形状検出装置に用いら れる光ビームの小型の光源が、全出射パワーの定格出力力 mWのレーザーダイォ ードであるとする。このレーザーダイオードによるレーザー光線が広がり角 48度の 1 列のスリット光に変換されると、このスリット光の単位角度幅あたりのパワーは約 21 μ W/度となる。上記 3次元形状検出装置においては 1つの光源からのスリット光がハ 一フミラーにより 2分割されるので、各スリット光のパワーはその半分の約 10 μ W/度 となる。
[0007] スリット光力 距離が 330mm離れた白色の用紙に対して投光される場合に、スリット 光が一列だけであればその照度は約 1320ルクスとなる。それに対し、スリット光が 2 列に分割される場合、各スリット光についての照度は約 660ルクスとなる。なお、ここ では、スリット光は波長 650nmの赤色レーザー光線で、 1W= 73. 1ルーメン、スリツ ト光の幅 0. 2mmであるとしている。一般的な室内の明るさである 500— 1000ルクス の場所では、 2分割されたスリット光の軌跡と用紙との輝度差が小さぐ対象物体を撮 像した画像上で、これらの弁別が難しくなる。
[0008] 上記弁別を確実に行うためには、全出射パワーが高く光源を用いなければならな レ、。光源のパワーを高くすると、消費電力が多くなり、光源に付随する部品の変更も 必要となって、価格の上昇及び装置の大型化が生じる。
[0009] 本発明は、こうした問題点に鑑みなされたものである。本発明は、対象物体上での ノ ターン光の軌跡の弁別を確実に行うことをパターン光に変換される光ビームの全 出射パワーの点で優位性を保ちつつ実現することのできる 3次元形状検出装置、撮 像装置、および 3次元形状検出方法を提供することを目的とする。
[0010] 上記課題を解決する為、本発明の一つの側面によれば、角度幅の異なる 2つのパ ターン光を含む複数のパターン光を投光するパターン光投光手段と、前記複数のパ ターン光が投光された対象物体の画像を、前記パターン光投光手段から一定距離 離れた位置から撮像する撮像手段と、前記撮像手段で撮像された画像に基づき、前 記対象物体に投光された前記複数のパターン光の位置を算出して前記対象物体の 3次元形状を求める 3次元形状演算手段と、を備えることを特徴とする 3次元形状検 出装置が提供される。
[0011] この構成によれば、角度幅の異なる 2つのパターンの角度幅あたりのパワーを、スリ ット光が 1列のときと同じにすることができる。したがって、 2列のパターン光が用いら れる場合でも、従来の 3次元形状検出装置のように全出力パワーを上昇することなく 、パターン光の軌跡の弁別を確実に行うことができる。
[0012] 上記課題を解決するため本発明の別の側面によれば、次のような構成の撮像装置 が提供される。この撮像装置は、対象物体の所定の面を任意の方向から撮像するた めの撮像手段と、該撮像手段で撮像された画像を画像データとして記憶する記憶手 段と、対象物体の 3次元形状を取得する 3次元形状取得手段と、該 3次元形状取得 手段で取得された対象物体の 3次元形状を基に、前記記憶手段に記憶された画像 データに対して、対象物体の所定の面の略鉛直方向から観察される平面画像データ となるように補正する画像補正手段とを備える。この構成において、前記 3次元形状 取得手段は、角度幅の異なる 2つのパターン光を含む複数のパターン光を投光する パターン光投光手段を備える。前記撮像手段は、前記複数のパターン光が投光され た対象物体の画像を、前記パターン光投光手段から一定距離離れた位置から撮像 する。さらに、前記 3次元形状取得手段は、前記撮像手段で撮像された画像に基づ き、前記対象物体に投光された前記複数のパターン光の位置を算出して前記対象 物体の 3次元形状を求める 3次元形状演算手段を備える。
[0013] この構成によれば、角度幅の異なる 2つのパターンの角度幅あたりのパワーを、スリ ット光が 1列のときと同じにすることができる。したがって、 2列のパターン光が用いら れる場合でも、従来の 3次元形状検出装置のように全出力パワーを上昇することなく 、パターン光の軌跡の弁別を確実に行うことができる。
[0014] 上記課題を解決する為本発明の別の側面によって提供されるのは、対象物体の 3 次元形状を検出する 3次元形状検出方法であって、光ビームを出力し、該光ビーム を所定の角度幅で平面状に放射される光束であるパターン光に変換して、対象物体 へ投光するために該パターン光を出射し、出射される前記パターン光に対して一定 距離離れた位置から、前記パターン光が投光された対象物体の画像を撮像し、撮像 された画像に基づき、対象物体に投光された前記パターン光の位置を算出して、対 象物体の 3次元形状を求める演算を行うことからなる。出射される前記パターン光は、 角度幅の異なる第 1と第 2のパターン光を含む。
[0015] この構成によれば、角度幅の異なる 2つのパターンの角度幅あたりのパワーを、スリ ット光が 1列のときと同じにすることができる。したがって、 2列のパターン光が用いら れる場合でも、従来の 3次元形状検出装置のように全出力パワーを上昇することなく 、パターン光の軌跡の弁別を確実に行うことができる。
図面の簡単な説明
[0016] [図 1]図 1 (a)は本発明の第 1の実施形態による撮像装置の全体の斜視図を示し、図 1 (b)は撮像装置の概略断面図を示してレ、る。
[図 2]図 2は、図 1の撮像装置の全体構成を表すブロック図である。
[図 3]図 3は、図 1の撮像装置におけるスリット光投光ユニットの構成を表す図である。
[図 4]図 4 (a)はロッドレンズおよび反射ミラーの断面形状を示し、図 4 (b)は反射ミラ 一の斜視図を示している。
[図 5]図 5は、図 1の撮像装置のプロセッサにおける処理を表すフローチャートである
[図 6]図 6 (a)は図 1の撮像装置によるスリット光有り画像を説明するための図であり、 図 6 (b)は原稿上に 3つのスリット光が投光される例を示す図であり、図 6 (c)は、原稿 に点線状のスリット光が投光される場合の例を示す図である。
[図 7]図 7 (a)は 3次元空間位置算出方法を説明するための図であると共に YZ平面を 示しており、図 7 (b)は 3次元空間位置算出方法を説明するための図であると共に XZ 平面を示している。
[図 8]図 8 (a)は、原稿姿勢演算の際の座標系を表すと共に傾レ、た状態の原稿を示し ており、図 8 (b)は原稿姿勢演算の際の座標系を表すと共に原稿が XY平面に対して 平行にされた状態を示しており、図 8 (c)は、原稿姿勢演算の際の座標系を表すと共 に原稿の湾曲の状態を示してレ、る。
[図 9]図 9は、第 1の実施形態による平面変換プログラムによる処理を表すフローチヤ ート図である。 園 10]図 10は、スリット光投光ユニットの変形例を表す図である。
園 11]図 11 (a)は 1次元微小変位ミラーアレイを用いてスリット光を発生させる場合の 構成を示す図であり、図 11 (b)は 1次元微小変位ミラーアレイによって原稿上に投光 されたスリット光を示す図である。
園 12]図 12 (a)はスミアが発生する場合の撮像の状態を説明する為の図であり、図 1 2 (b)は原稿上に発生したスミアの状態を示す図である。
[図 13]図 13 (a)は本発明の第 2の実施形態による撮像装置の全体の斜視図を示し、 図 13 (b)は撮像装置の概略断面図を示している。
園 14]図 14は図 13の撮像装置の全体構成を表すブロック図である。
[図 15]図 15は、図 13の撮像装置のスリット光投光ユニットの構成を表す図である。
[図 16]図 16 (a)は、ロッドレンズにより生成されるスリット光の角度幅を説明するための 図であり、図 16 (b)はシリンドリカルレンズを用いて生成されるスリット光の角度幅を説 明するための図である。
[図 17]図 17は、図 1の撮像装置のプロセッサにおける処理を表すフローチャートであ る。
[図 18]図 18 (a)は図 13の撮像装置によるスリット光有り画像を説明するための図であ り、図 18 (b)は原稿上に 3つのスリット光が投光される例を示す図である。
[図 19]図 19 (a)は 3次元空間位置算出方法を説明するための図であると共に YZ平 面を示しており、図 19 (b)は 3次元空間位置算出方法を説明するための図であると 共に XZ平面を示している。
園 20]図 20 (a)は、原稿姿勢演算の際の座標系を表すと共に傾レ、た状態の原稿を 示しており、図 20 (b)は原稿姿勢演算の際の座標系を表すと共に原稿が XY平面に 対して平行にされた状態を示しており、図 20 (c)は、原稿姿勢演算の際の座標系を 表すと共に原稿の湾曲の状態を示している。
園 21]図 21は、第 2の実施形態による平面変換プログラムによる処理を表すフローチ ヤートである。
園 22]図 22 (a)は第 2の実施形態によるスリット光の軌跡のピークの識別方法につい て説明するための図であり、図 22 (b)は図 22 (a)に対する比較例としてスリット光のピ ークが異なる場合を表す図である。
園 23]図 23は、第 2の実施形態のスリット光投光ユニットの変形例を表す図である c 符号の説明
[0017]
10 本体ケース
20 スリット光投光ユニット
21 レーザーダイオード
22 コリメートレンズ
23 アパーチャ
24 ロッドレンズ
25 反射ミラー
31 結像レンズ
32 CCD画像センサ
40 プロセッサ
51 LCD
52 レリーズボタン
55 カードメモリ
59 モード切替スィッチ
発明を実施するための最良の形態
[0018] 以下に本発明の実施形態を図面と共に説明する。
[0019] 第 1の実施形態
本実施形態による撮像装置 1は、上述の特開平 7 - 318315号公報に記載されたよ うな従来の 3次元形状検出装置と比較してみたとき、スリット光に変換される光ビーム の全出射パワーを上昇することなぐスリット光の軌跡の弁別が確実にできるようにす るという課題を達成することができる。
[0020] 図 1 (a)は、本発明の第 1の実施形態による撮像装置 1全体の斜視図である。図 1 ( b)は、撮像装置 1の概略断面図を示している。図 1 (b)には、原稿 Pに投光される第 1 スリット光 71及び第 2スリット光 72の状態も示されている。図 2は、撮像装置 1のブロッ ク図である。
[0021] 図 1 (a)および図 1 (b)に示す様に、撮像装置 1は、方形箱形の本体ケース 10と、本 体ケース 10の正面に設けられた結像レンズ 31と、結像レンズ 31の後方 (撮像装置 1 の内部側）に設けられた CCD画像センサ 32と、結像レンズ 31の下方に設けられたス リット光投光ユニット 20とを有する。撮像装置 1は、更に、本体ケース 10に内蔵された プロセッサ 40と、本体ケース 10の上部に設けられたレリーズボタン 52及びモード切 替スィッチ 59と、本体ケース 10に内蔵されるカードメモリ 55とを有する。図 2に示され るように、これらの構成品はそれぞれ信号線により接続されている。
[0022] さらに撮像装置 1には、本体ケース 10の背面に設けられた LCD (Liquid Crystal
Display) 51と、本体ケース 10の背面から前面を通して配設されるファインダ 53と が装備されている。これらは、撮像装置 1による撮像範囲を使用者が決定する際に利 用される。
[0023] 尚、 LCD51は、画像を表示する液晶ディスプレイなどで構成され、プロセッサ 40か らの画像信号を受けて画像を表示する。プロセッサ 40から LCD51に対しては、状況 に応じて CCD画像センサ 32で受光したリアルタイムの画像や、カードメモリ 55に記 憶された画像や、装置の設定内容の文字等を表示するための画像信号が送られる。
[0024] 撮像装置 1は、いわゆるデジタルカメラとして機能に対応する「ノーマルモード」の機 能と、「補正撮像モード」の機能とを有する。 「ノーマルモード」では、使用者によりレリ ーズボタン 52が押されると、結像レンズ 31によって CCD画像センサ 32上に結像され た画像が、画像データとして取り込まれカードメモリ 55に書き込まれる。 「補正撮像モ ード」とは、被写体が用紙などの原稿 Pである場合に、原稿 Pを斜め方向から撮像し ても、正面から撮像したように補正した画像データを作ることのできる機能である。
[0025] 図 3に示すように、撮像装置 1のスリット光投光ユニット 20は、レーザーダイオード 2 1と、コリメートレンズ 22と、ァノヽ。—チヤ 23と、ロッドレンズ 24と、反射ミラー 25とを有す る。
[0026] 尚、レーザーダイオード 21は、赤色レーザー光線を放射する。レーザーダイオード
21は、プロセッサ 40からの指令に応じて、レーザー光線の放射及び停止を切り換え 制御される。レーザーダイオード 21の出力は、最大出力定格 (例えば 5mW)に対し て、レーザービームの広がり角の個体ばらつきを考慮して、アパーチャ 23を通った箇 所で一定の出力（例えば lmW)を得られるように定格出力が調整されている。
[0027] コリメートレンズ 22は、レーザーダイオード 21からのレーザービームを、スリット光投 光ユニット 20からの基準距離 VP (例えば 330mm)に焦点を結ぶように集光する。
[0028] アパーチャ 23は、矩形の開口を有する板で構成される。コリメートレンズ 22からのレ 一ザ一ビームはアパーチャ 23の開口部を通過することによって矩形に整形される。 ロッドレンズ 24は、正の焦点距離が短い円筒形状のレンズで構成される。ロッドレン ズ 24はアパーチャ 23から出射されるレーザービームの下流に配設されている。
[0029] 図 4 (a)は、ロッドレンズ 24および反射ミラーの断面形状を示すと共に、レーザービ ームの集光の状態を表している。また、図 4 (b)は、反射ミラー 25の斜視図である。図 4 (a)に示されるように、ロッドレンズ 24の焦点距離は短いため、ロッドレンズ 24を通 過したレーザービームは、ロッドレンズ 24のすぐ近くの焦点で集光してその後広がり 、所定の広がり角度 ε (例えば 48度）のスリット光として出射する。
[0030] 反射ミラー 25は、成形可能なポリメチルメタタリレート（ΡΜΜΑ)等の光学プラスチッ クで構成される。図 4 (b)に示すように、反射ミラー 25は、結像レンズ 31の光軸に平 行な面に対して所定角度 λ (例えば 45度)傾いた第 1ミラー面 25aと、第 1ミラー面 25 a上に形成されたくさび形状の突起部分に形成された第 2ミラー面 25bとを有する。こ の第 2ミラー面 25bは、第 1ミラー面 25a上の傾斜方向に直交する方向の中央部に、 第 1ミラー面 25aに対して所定角度 κ: (例えば 12度)傾斜した状態になっている。反 射ミラー 25の表面には、レーザー光線をほぼ全反射するようアルミ膜及び酸化シリコ ン保護膜が蒸着される。
[0031] 反射ミラー 25は、ロッドレンズ 24から出射されたスリット光の下流に配置される。第 1 ミラー面 25aに入射されたスリット光は、所定角度; Iの 2倍（90度）向きを変えて反射 され、第 1スリット光 71として出射される。第 2ミラー面 25bに入射されたスリット光は、 所定角度 cの 2倍（24度）だけ第 1スリット光 71に対して離間して反射され、第 2スリッ ト光 72として出射される。尚、第 1スリット光 71が出射される方向を第 1の方向、第 2ス リット光 72が出射される方向を第 2の方向と呼ぶ。
[0032] このように、スリット光投光ユニット 20は、プロセッサ 40力 の指令に応じて、レーザ 一ダイオード 21からレーザービームを放射させ、第 1の方向へ第 1スリット光 71を、及 び、第 2の方向へ第 2スリット光 72を出射する。第 1スリット光 71および第 2スリット光 7 2は、本体ケース 10の結像レンズ 31の下方に設けられた窓 29から出射する。
[0033] 結像レンズ 31は、複数枚のレンズで構成される。撮像装置 1は、オートフォーカス機 能を有する。外部からの光が CCD画像センサ 32上に結像するように、オートフォー カス機能により結像レンズ 31が駆動され焦点距離及び絞りが調整される。 CCD画像 センサ 32は、 CCD (Charge Coupled Device)素子などの光電変換素子のマトリ タス状の配列を有する。 CCD画像センサ 32は、その表面に結像される画像の光の 色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ 40へ 出力する。尚、 CCD素子一つ分のデータが画像を形成する画素の画素データであ り、画像データは CCD素子の数の画素データで構成される。
[0034] レリーズボタン 52は、押しボタン式のスィッチで構成される。レリーズボタン 52はプ 口セッサ 40に接続されており、プロセッサ 40において使用者による押し下げ操作が 検知される。カードメモリ 55は、不揮発性で書き換え可能なメモリで構成され、本体ケ ース 10に着脱可能である。
[0035] モード切替スィッチ 59は、 2つの位置に切換え可能なスライドスィッチなどで構成さ れる。プロセッサ 40によりモード切替スィッチ 59のボタンがいずれの位置にあるかが 検知される。プロセッサ 40において、モード切替スィッチ 59のスィッチの位置の一方 は「ノーマルモード」として、もう一方は「補正撮像モード」として検知される。
[0036] プロセッサ 40は、 CPU (Central Processing Unit) 41、 ROM42、 RAM43で構成さ れる。 CPU41は、 ROM42に記憶されたプログラムによる処理を RAM43を利用し つつ実行する。 CPU41は、レリーズボタン 52の押し下げ操作の検知、 CCD画像セ ンサ 32からの画像データの取り込み、画像データのカードメモリ 55への書き込み、モ ード切替スィッチ 59の状態検出、スリット光投光ユニット 20によるスリット光の出射切り 換え等の各種処理を行う。
[0037] ROM42には、カメラ制御プログラム 421と、差分抽出プログラム 422と、三角測量 演算プログラム 423と、原稿姿勢演算プログラム 424と、平面変換プログラム 425とが 含まれる（図 2参照)。 カメラ制御プログラム 421は、図 5に示すフローチャートの処理（詳細は後述する。 ) を含む撮像装置 1全体の制御に関するプログラムである。
差分抽出プログラム 422は、スリット光を投光した原稿 Pの画像から、スリット光の軌 跡を抽出した画像データを生成するためのプログラムである。
三角測量演算プログラム 423は、差分抽出プログラムで生成された画像データによ るスリット光の軌跡の各画素に対する 3次元空間位置を演算するためのプログラムで める。
原稿姿勢演算プログラム 424は、第 1スリット光の軌跡 71a及び第 2スリット光の軌跡 72aの 3次元空間位置から、原稿 Pの位置及び 3次元形状を推定して求めるプロダラ ムである。
平面変換プログラム 425は、与えられた原稿 Pの位置及び姿勢に基づいて、スリット 光無し画像格納部 432に格納された画像データを、原稿 Pの正面から撮像したような 画像に変換する。
[0038] RAM43には、記憶領域として、 CCD画像センサ 32からの画像データの形式のデ ータを保存する大きさのスリット光有り画像格納部 431、スリット光無し画像格納部 43 2、及び、差分画像格納部 433が割り当てられている。さらに、 RAM43には、スリット 光画像の各ポイントの位置を演算した結果を保存する大きさの三角測量演算結果格 納部 434と、原稿 Pの位置及び姿勢の演算結果を保存する大きさの原稿姿勢演算格 納部 435と、 CPU41での演算のために一時的にデータを記憶させるのに使用する 大きさのワーキングエリア 436とが割り当てられている。
[0039] ファインダ 53は、光学レンズを有する。ファインダ 53は、撮像装置 1の後ろ側から使 用者がのぞき込んだ時に、結像レンズ 31が CCD画像センサ 32上に結像する範囲と ほぼ一致する範囲が見えるように構成されている。
[0040] 次に、使用者によりレリーズボタン 52が押されてからの撮像装置 1の動作を図 5のフ ローチャートを用いて説明する。なお、図 5の動作は撮像装置 1のプロセッサ 40の制 御の下で実行される。
[0041] はじめに、 S110にて、モード切替スィッチ 59のスィッチの位置が検知される。 S11 0における検知の結果、モード切替スィッチ 59が「補正撮像モード」の位置にある場 合は処理は SI 20へ移行する。モード切替スィッチ 59が「補正撮像モード」ではなく「 ノーマルモード」の位置にある場合には処理は S200へ移行する。
[0042] S120では、スリット光投光ユニット 20に対しレーザーダイオード 21の発光の指令が 行われ、第 1スリット光 71及び第 2スリット光 72が出射される。さらに S120では、スリツ ト光有り画像として、 CCD画像センサ 32から画像データが取得される。取得された画 像データは、 RAM43のスリット光有り画像格納部 431に記憶される。
[0043] S130では、スリット光投光ユニット 20に対しレーザーダイオード 21の発光停止が指 令され、第 1スリット光 71及び第 2スリット光 72が出射されなくなった状態で、スリット光 無し画像として CCD画像センサ 32から画像データが取得される。取得された画像は 、 RAM43のスリット光無し画像格納部 432に記憶される。
[0044] 次に S140では、差分抽出プログラム 422によりスリット光有り画像格納部 431の画 像データに対する、スリット光無し画像格納部 432の画像データの差分を抽出した画 像データが生成され差分画像格納部 433に記憶される。すなわち、原稿 Pに投光さ れた第 1スリット光の軌跡 71a及び第 2スリット光の軌跡 72aの画像が抽出される。
[0045] 次に S150では、差分画像格納部 433の画像データとして抽出された、第 1スリット 光の軌跡 71a及び第 2スリット光の軌跡 72aの画素毎の 3次元空間位置力 三角測量 演算プログラム 423により演算される。ここでの演算結果は、それぞれ三角測量演算 結果格納部 434に記憶される。
[0046] 次に、 S160では、三角測量演算結果格納部 434に記憶された第 1スリット光の軌 跡 71a及び第 2スリット光の軌跡 72aの 3次元空間位置を用いて、原稿姿勢演算プロ グラム 424により、原稿 Pの位置及び姿勢が演算される。
[0047] 次に、 S170では、 S160で算出した原稿 Pの位置及び姿勢に基づいて、平面変換 プログラム 425により、スリット光無し画像格納部 432に記憶された画像データ力 正 面から観察されたような画像の画像データに変換される。
[0048] 次に、 S180では、 S170で変換された画像データがカードメモリ 55に記憶される。
S180における処理の後、本処理は終了する。
S200では、スリット光投光ユニット 20のレーザーダイオード 21が発光せず、第 1スリ ット光 71及び第 2スリット光 72が出射されていない状態で、 CCD画像センサ 32から 画像データが取得される。次に S210では、取得された画像データがカードメモリ 55 に記憶される。 S210での処理の後、本処理は終了する。
[0049] S140での差分抽出プログラム 422による処理について具体的には、スリット光有り 画像格納部 431の画像データからスリット光無し画像格納部 432の画像データが差 し引力、れる。すなわち、両画像データの画素毎に RGB値の引き算が行われる。これ により、スリット光の軌跡のみが抽出された多値画像が得られる。
[0050] S150での三角測量演算プログラム 423による処理は、具体的には次のようなもの である。例えば、差分画像格納部 433の画像データにおける、第 1スリット光の軌跡 7 la及び第 2スリット光の軌跡 72aの縦方向のピーク力 重心計算によって画像データ の横方向座標毎に求められ、このピーク抽出座標に対する 3次元空間位置が以下で 説明するように求められる。
[0051] 図 6 (a)に示すように撮像される横方向に湾曲した原稿 Pに対する撮像装置 1の座 標系は、図 7 (a)および図 7 (b)に示すように定義される。すなわち、結像レンズ 31の 光軸方向は Z軸として、撮像装置 1から基準距離 VP離れた位置は X, Y, Z軸の原点 位置として、撮像装置 1に対して水平方向は X軸、垂直方向は Y軸と定義される。
[0052] さらに、 CCD画像センサ 32の X軸方向の画素数を ResX、 Y軸方向の画素数を Re sYと呼ぶ。 X— Y平面に、結像レンズ 31を通して CCD画像センサ 32を投影した位置 の上端を Yftop、下端を Yfbottom、左端を Xfstart、右端を Xfendと呼ぶ。また、結 像レンズ 31の光軸から、スリット光投光ユニット 20から出射される第 1スリット光 71の 光軸までの距離を D、第 1スリット光 71が X— Y平面に交差する Y軸方向の位置を las 1、第 2スリット光 72が X-Y平面に交差する Y軸方向の位置を las2とする。
[0053] このとき、第 1スリット光の軌跡 71aの画像の画素の 1つに注目した注目点 1の CCD 画像センサ 32上の座標（ccdxl, ccdyl)に対応する 3次元空間位置 (Xl， Yl, Z1 )を、 CCD画像センサ 32の結像面上の点と、第 1スリット光 71及び第 2スリット光 72の 出射点と、 X— Y平面に交差する点とで形成される三角形について立てた次の 5つの 連立方程式の解から導き出す。
(1) Yl =-( (lasl +D) /VP) Zl +lasl
(2) Yl
Figure imgf000014_0001
Zl +Ytarget (3) XI =- (Xtarget/VP) Zl +Xtarget
(4) Xtarget =Xf start + (ccdxl/ResX) X (Xfend_Xf start)
(5) Ytarget = Yftop- (ccdy 1/ResY) X (Yftop— Yfbottom)
尚、本実施例では、第 1スリット光 71が Z軸に対して平行のため lasl =_Dであり、 Y 1 =_Dである。
[0054] 同様に、 CCD画像センサ 32上の第 2スリット光の軌跡 72aの画像の画素の一つに 注目した注目点 2の座標 (ccdx2, ccdy2)に対応する 3次元空間位置 (X2， Y2, Z2 )を、次に 5つの連立方程式の解から導き出す。 （l) Y2 =_ ( (las2 + D) /VP) Z2 + las2
(2) Y2 =— (Ytarget/VP) Z2 + Ytarget
(3) X2 =- (Xtarget/VP) Z2 + Xtarget
(4) Xtarget =Xf start + (ccdx2/ResX) X (Xfend_Xf start)
(5) Ytarget = Yftop- (ccdy2/ResY) X (Yftop— Yfbottom)
[0055] S 160での原稿姿勢演算プログラム 424による処理については具体的には次のよう なものである。例えば、三角測量演算結果格納部 434のデータから、第 1スリット光の 軌跡 71aに対応する 3次元空間位置の各点を回帰曲線近似した線を求め、この曲線 の X軸方向の位置が「0」における点と、第 2スリット光の軌跡 72aの X軸方向の位置が 「0」における 3次元位置とを結ぶ直線を想定する。次にこの直線力 軸と交わる点、 つまり、光軸が原稿 Pと交差する点を、原稿 Pの 3次元空間位置（0， 0， L)とする（図 8 (a)参照。）。そして、この直線が X— Y平面となす角を原稿 Pの X軸まわりの傾き Θと する。
[0056] さらに、図 8 (b)に示すように、第 1スリット光の軌跡 71aを回帰曲線近似した線を、 先に求めた X軸まわりの傾き Θ分だけ逆方向に回転変換した状態、つまり、原稿 Pを X— Y平面に対して平行にした状態を考える。さらに、図 8 (c)に示すように、原稿 Pの X軸方向の断面形状を、 X— Z平面における原稿 Pの断面について、 Z軸方向の変位 を複数の X軸方向の点で求めてその変位度から、 X軸方向の位置を変数とした X軸 方向の傾きの関数である湾曲 φ (X)を求める。
[0057] S 170での平面変換プログラム 425による処理は具体的には、例えば、図 9に示す フローチャートで表される次に説明するような処理である。
[0058] はじめに、 RAM43のワーキングエリア 436に当該処理の処理領域力割り当てられ 、カウンタのための変数など当該処理に用いる変数の初期値が設定される（S1002) 。次に、原稿 Pの文字等が書かれた面が略鉛直方向力 観察された場合の画像であ る正立画像の領域が、原稿姿勢演算プログラム 424での演算結果による原稿 Pの 3 次元空間位置（0， 0， L)と、 X軸まわりの傾き Θと、湾曲 φ (X)とに基づき、スリット光 無し画像の 4隅の点を変換することにより設定され、この領域内に含まれる画素数 aが 求められる（S1003)。
[0059] 設定された正立画像の領域を、まず X— Y平面に配置して（S1005)、その中に含ま れる画素毎に、各々の 3次元空間位置を、湾曲 φ (X)に基づいて Z軸方向に変位さ せ（S1006)、傾き Θで X軸まわりに回転移動し（S1007)、 Z軸方向に距離 Lだけシ フトして（S1008)、求められた 3次元空間位置を、先の 3角測量の関係式により理想 カメラで写された CCD画像上の座標（ccdcx, ccdcy)に変換する（S1009)。次に、 使用している結像レンズ 31の収差特性に従って、公知のキャリブレーション手法によ り、実際のカメラで写された CCD画像上の座標（ccdx, ccdy)に変換し（S1010)、こ の位置にあるスリット光無し画像の画素の状態を求めて、 RAM43のワーキングエリ ァ 436に格納する（S1011)。これを画素数 aだけ繰り返し、正立画像の画像データ を生成する。
[0060] 以上のように、撮像装置 1は、図 6 (a)に示すような、中央部が欠落した線分の第 1 スリット光の軌跡 71aと、その上方に第 1スリット光 72の軌跡の欠落部に同じ長さの第 2スリット光の軌跡 72aとを原稿 P上に形成する。その原稿 Pを結像レンズ 31によって CCD画像センサ 32に結像させて撮像し、続けて、スリット光の軌跡が形成されてい ない原稿 Pの画像を撮像する。さらに、これら 2つの画像データの差分をとることによ つて、画像データから第 1 ,第 2スリット光の軌跡 71a, 72aの画像を抽出して、三角測 量原理により第 1 ,第 2スリット光の軌跡 71a, 72a各部の 3次元空間位置を演算する 。さらに、その演算結果から原稿 Pの位置 L、傾き Θ、及び湾曲 φ (X)を求め、第 1スリ ット光の軌跡 71aの形状を原稿 P全体の横断面形状として原稿 Pの 3次元形状を類 推した結果を基に、平らな原稿 Pが正面から撮像されたかのように補正した画像デー タを、カードメモリ 55に記録する。
[0061] よって、撮像装置 1によれば、使用者は、モード切替スィッチ 59を「補正撮像モード 」側に切り換え、ファインダ 53、又は、 LCD51で原稿 Pの所望の範囲が撮像範囲に 入っているか確認し、レリーズボタン 52を押して画像を撮影することによって、湾曲な どの形状変形した原稿 Pを斜めから撮像した場合でも、平らな原稿 Pを正面から撮像 したかのような画像データをカードメモリ 55に記憶させることができる。
[0062] 尚、カードメモリ 55に記憶された画像データは、 LCD51で表示して撮像内容を確 認したり、カードメモリ 55を撮像装置 1から取り外して、外部のパーソナルコンピュータ などにより表示したり、印刷したりして用いることができる。
[0063] また、第 1スリット光 71及び第 2スリット光 72の単位角度幅あたりのパワーは、偏向さ れる前のスリット光と同じであり、 1列のスリット光を出射する場合と変わらない。したが つて本実施形態によれば、スリット光の軌跡と原稿 Pとの輝度差が十分であり、差分抽 出プログラム 422にてスリット光の軌跡画像を確実に抽出することができる。
[0064] このように、撮像装置 1は、光源であるレーザーダイオード 21の出力を上げることな ぐ対象物体の 3次元形状を確実に検出することができる。したがって撮像装置 1の 構成を簡易で小型のものにできる。
[0065] 本実施形態の撮像装置 1は、第 1スリット光 71の中央部分が偏向されているため、 第 1スリット光 71による正反射光が、結像レンズ 31に入射される可能性は低レ、。第 2 スリット光 72は、原稿 Pに対する角度が大きくなる。このため、第 2スリット光 72による 原稿 Pでの正反射光が、結像レンズ 31に入射するようになるには、原稿 Pに対して 90 度を超えた位置力 撮像する必要があり、このような状態は現実的な使用上考えにく レ、。このように、撮像装置 1は、原稿 Pに照射したスリット光の正反射光が結像レンズ 3 1から入射されることはなぐ正反射光により撮像する画像に輝点ゃスミアが発生して 正確な 3次元形状の検出ができないという問題が発生しないようにできる。なお、もし 第 1スリット光 71の中央部分が本実施形態のように偏向されておらず中央部分により スミアが発生すると仮定すると、その場合の様子は、図 12 (a)、および図 12 (b)に示 される。
[0066] 反射ミラー 25を製造する際、ミラー面の反射膜を形成する蒸着膜は、通常特定の 一方向から膜形成を行うため、第 1ミラー面 25aや、第 2ミラー面 25bに直交する側面 には、正しい反射膜が形成されず、途切れてしまったり、反射率が不十分な半透過 膜になってしまう。しかし、本実施形態の反射ミラー 25のように断面凸形状であれば 、図 4 (b)に示すように、第 2ミラー面 25bにて反射されないロッドレンズ 24からのスリ ット光が、放射状に入射されて、図中点線経路の様に通過するため、第 1ミラー面 25 aと第 2ミラー面 25bとの間にある側面やコーナー部には、スリット光が全く入射しない 。したがって、反射膜が不十分な箇所にスリット光が入射されてスリット光を乱すことは 無ぐ正確な 3次元形状の検出を行うことができる。
[0067] 本発明の実施形態としての 3次元形状検出装置に関して、スリット光投光ユニット 2 0はパターン光投光手段に相当し、結像レンズ 31、 CCD画像センサ 32が投光像撮 像手段に相当し、プロセッサ 40による S140から S160の処理が 3次元形状演算手段 に相当する。
[0068] 本発明における撮像装置に対して、結像レンズ 31、 CCD画像センサ 32が撮像手 段に相当し、プロセッサ 40による S170の処理が画像補正手段に相当し、 RAM42 が記憶手段に相当する。
[0069] 以上、本発明の第 1の実施形態について説明したが、本発明は上記の具体的な実 施形態に限定されず、このほかにも様々な形態で実施することができる。以下に第 1 の実施形態に関する変形例について説明する。
[0070] 例えば、撮像装置 1で撮像する対象物体は、シート状の原稿 Pの他にも、固体プロ ックの滑らかな表面であったり、場合によっては稜線をもつ物体の表面であっても良く 、およそ 2列のスリット光の軌跡から、その 3次元空間における 3次元形状を希求した い用途にはすべて同様に、対象物体の 3次元形状を検出する効果を発揮することが できる。
[0071] 但し、本実施形態のように、対象物体がシート状の原稿 Pであれば、第 1スリット光の 軌跡 71aを原稿 Pの断面形状であるとして、原稿 Pの全体の形状を推定し、原稿 の 湾曲などの形状変形に対する画像補正をすることができる。また、対象物体がスリット 光の長手方向に対する直交方向に略均一な 3次元形状であれば、スリット光を投光 する位置に含まれる対象物体の突起部など特異な形状により生じる検出姿勢のずれ などを考慮しなくて良ぐスリット光が投光される箇所に気をつかわないでも良いように できる。
[0072] 撮像装置 1から出射される第 1スリット光 71及び第 2スリット光 72は、ロッドレンズ 24 力も出射されたスリット光を、反射ミラー 25の第 1ミラー面 25aと、第 2ミラー面 25bとで 偏向して形成されているが、スリット光を偏向する方法は種々あり、いずれの方法によ るものであっても良い。例えば、図 10に示す様に、反射ミラー 25の代わりに、単なる 1 枚の鏡とした反射ミラー 26と、所定の区間（中央部付近）を回折格子 27aとした透明 平板 27とで構成しても良い。この構成において、ロッドレンズ 24からのスリット光は反 射ミラー 26でそのまま反射して向きを変えられ、透明平板 27にて、回折格子 27aに より、その格子幅に応じた方向へスリット光が偏向され第 2スリット光 72が形成される。 回折格子 27a以外の箇所を透過したスリット光で第 1スリット光 71が形成され出射さ れる。このような回折格子 27aは、その格子幅により、 0次光と高次光のパワー配分比 率を変えることができるため、第 2スリット光 72の角度幅あたりのパワーを変えることが できる。
[0073] 図 11 (a)に示す様に、反射ミラー 25の代わりに、水平面に対する倒れ角を電気信 号により変位可能な鏡である 1次元微小変位ミラーアレイ 28aを横方向に複数並べた ミラーデバイス 28が用いられても良い。このような構成によれば、プロセッサ 40からの 指令により、ミラーデバイス 28の中央部付近の 1次元微小変位ミラーアレイ 28aの倒 れ角を変えて、ロッドレンズ 24から出射されるスリット光を偏向する角度を 2種類にし て第 1スリット光 71と第 2スリット光 72とを形成することができる。
[0074] この場合、使用状況に応じて第 2スリット光の長さ及び位置を変えることができ、例 えば、図 11 (b)に示すように、対象物体の形状により第 1スリット光 71が中央部付近 で正反射光となる場合に、当該箇所の 1次元微小変位ミラーアレイ 28aの倒れ角を変 え、スミアを発生する箇所が第 2スリット光 72となるようにして、 CCD画像センサ 32に 正反射光が入射されなレ、ようにできる。
[0075] 但し、本実施例のように、第 1ミラー面 25a及び第 2ミラー面 25bで構成される反射ミ ラー 25によりスリット光を偏向して第 1スリット光 71及び第 2スリット光 72を形成する構 成によれば、構成が簡易であり、装置全体を小型で低価格にすることができる。 [0076] 第 1スリット光の一部を偏向して欠落させる箇所は、ただ一箇所にとどまるのみなら ず、複数箇所を偏向させるように構成されるものであってもよい。例えば、反射ミラー 2 5における第 2ミラー面 25bを複数設ける構成とし、図 6 (c)に示す原稿 Pに投光され たスリット光の軌跡画像のように複数箇所偏向された略点線状の第 1スリット光及び第 2スリット光が形成されるようにしたものであっても良レ、。これにより、原稿 Pの上部及び 下部における湾曲形状の変化を計測することができるため、より正確な原稿の 3次元 形状モデルを得ることができる。
[0077] 本実施形態の撮像装置 1では、スリット光投光ユニット 20が、第 1スリット光 71及び 第 2スリット光 72の 2列のスリット光を出射するように構成されている力 出射するスリツ ト光は、 2列に限らず、 3列以上を出射するように構成されるものであっても良レ、。例え ば、反射ミラー 25を、第 2ミラー面 25bの上に所定角度傾いた第 3ミラー面を設けた 構成とし、図 6 (b)に示す原稿 Pに投光されたスリット光の軌跡画像のように、原稿 Pに て第 2スリット光の軌跡 72aの上方に第 3スリット光の軌跡が形成されるようにしたもの であっても良い。このように構成すれば、第 1一第 3スリット光の軌跡の各点の位置か ら、原稿 Pの縦方向の湾曲形状に対しても推定することができ、これにより縦方向の 湾曲形状に対しても画像を補正して、更に見やすい正立画像とすることができる。
[0078] 本実施形態では、第 1スリット光 71の上方になるように第 2スリット光 72を偏向してい るが、これらの位置関係は、特に限定されず、例えば、反射ミラー 25の第 1ミラー面 2 5a及び第 2ミラー面 25bの角度を変更するなどして、スリット有り画像を撮像した際に 、第 1スリット光の軌跡 71aが、第 2スリット光の軌跡 72bに対して下側に形成されるよ うに、スリット光投光ユニット 20を構成したものであっても良い。或いは、第 2スリット光 の形成による第 1スリット光の欠損箇所が、中央部付近となるのではなぐ端部付近に 形成されるものであっても良い。
[0079] 第 2スリット光 72の角度幅も特に限定されず、第 2ミラー面 25bを幅の広いものとし て、第 1スリット光に対して、その角度幅のほとんどを偏向して第 2スリット光 72を形成 するものであっても良い。
[0080] 本実施形態では光源に、赤色レーザー光線を放射するレーザーダイオード 21を用 いているが、その他、面発光レーザー、 LED, EL素子など、光ビームを出力できるも のであれば、いずれを用いたものであっても良い。
[0081] スリット光投光ユニット 20から出射されるスリット光は、長手方向に直交する方向に、 急峻に絞り込まれた細線の他に、一定の幅を備えたストライプ状の光パターンでも良 レ、。
[0082] 撮像装置 1は、スリット光有り画像及びスリット光無し画像を、結像レンズ 31及び CC D画像センサ 32を用いて撮像するよう構成されている。これに対して、結像レンズ 31 及び CCD画像センサ 32の他に、スリット有り画像を撮像するための結像レンズ及び CCD画像センサを別途追加して設けたもので合っても良レ、。このように構成すること により、スリット光有り画像とスリット光無し画像とを撮像する間の時間経過（CCD画像 センサ 32の画像データを転送する時間など）を無くすることができ、スリット光有り画 像に対してスリット光無し画像の撮像範囲のずれが無ぐ検出する対象物体の 3次元 形状の精度が高レ、ものとすることができる。
[0083] 但し、本実施例の撮像装置 1の方が、構成部品が少なぐ小型で安価なものとする こと力 Sできる。
[0084] 上述のように本実施形態において、パターン光というときには、第 1スリット光 71のよ うに一部が欠落したような形状のものも含まれる。一つのパターン光において欠落し た部分の大きさは様々な場合があり得る。例えば、一つのパターン光において全長 に対する欠落部分の長さ力 であったり、或いは 1Z2を超えるような場合も有りう る。
[0085] 第 2の実施形態
次に本発明の第 2の実施形態について説明する。本実施形態による撮像装置 1は 、上述の特開平 7— 318315号公報に記載されたような従来の 3次元形状検出装置と 比較してみたとき、スリット光に変換される光ビームの全出射パワーを低く抑えて、 3 次元形状検出装置を安価で消費電力が小さく簡易な構成とするという課題を達成す ること力 Sできる。
[0086] なお、以下で説明する図において、第 1の実施形態と同等の機能を有する要素に は同一の符号を用いている。図 13 (a)は、本発明の第 2の実施形態による撮像装置 1全体の斜視図である。図 13 (b)は、撮像装置 201の概略断面図を示している。図 1 3 (b)には、原稿 Pに投光される第 1スリット光 171及び第 2スリット光 172の状態も示さ れている。図 14は、撮像装置 201のブロック図である。
[0087] 撮像装置 201は、図 13 (a)および図 13 (b)に示す様に、方形箱形の本体ケース 1 0と、本体ケース 10の正面に設けられた結像レンズ 31と、結像レンズ 31の後方（撮像 装置 1の内部側）に設けられた CCD画像センサ 32とを有する。さらに撮像装置 201 は、結像レンズ 31の下方に設けられたスリット光投光ユニット 120と、本体ケース 10 に内蔵されたプロセッサ 40と、本体ケース 10の上部に設けられたレリーズボタン 52 及びモード切替スィッチ 59と、本体ケース 10に内蔵されるカードメモリ 55とを有する 。これらの構成品は図 14に示すように、それぞれ信号線により接続されている。
[0088] さらに、撮像装置 201は、本体ケース 10の背面に設けられた LCD (Liquid Cryst al Display) 51と、本体ケース 10の背面から前面を通して配設されるファインダ 53と を備えている。これらは、撮像装置 201による撮像範囲を使用者が決定する際に利 用される。
[0089] LCD51は、画像を表示する液晶ディスプレイなどで構成され、プロセッサ 40からの 画像信号を受けて画像を表示する。 LCD51に対してプロセッサ 40からは、状況に 応じて CCD画像センサ 32で受光したリアルタイムの画像や、カードメモリ 55に記憶さ れた画像や、装置の設定内容の文字等を表示するための画像信号が送られて来る
[0090] 撮像装置 201は、いわゆるデジタルカメラとして機能に対応する「ノーマルモード」 の機能と、「補正撮像モード」の機能とを有する。「ノーマルモード」では、使用者によ りレリーズボタン 52が押されると、結像レンズ 31によって CCD画像センサ 32上に結 像された画像が、画像データとして取り込まれカードメモリ 55に書き込まれる。「補正 撮像モード」とは、被写体が用紙などの原稿 Pである場合に、原稿 Pを斜め方向から 撮像しても、正面から撮像したように補正した画像データを作ることのできる機能であ る。
[0091] 図 15に示すように、撮像装置 201のスリット光投光ユニット 120は、レーザーダイォ ード 21と、コリメートレンズ 22と、ァノヽ。—チヤ 23と、透明平板 124と、シリンドリカノレレン ズ 125と、反射ミラー 126と、ロッドレンズ 127とを有する。 [0092] レーザーダイオード 21は、赤色レーザービームを放射する。プロセッサ 40の制御 の下で、レーザーダイオード 21におけるレーザービームの放射及び停止が切り換え られる。レーザーダイオード 21の出力は、最大出力定格 (例えば 5mW)に対して、レ 一ザ一ビームの広がり角の個体ばらつきを考慮して、アパーチャ 23を通った箇所で 一定の出力（例えば lmW)を得られるように定格出力が調整されている。
[0093] コリメートレンズ 22は、レーザーダイオード 21からのレーザービームを、スリット光投 光ユニット 120からの基準距離 VP (例えば 330mm)に焦点を結ぶように集光する。
[0094] アパーチャ 23は、矩形の開口部を有する板で構成されている。コリメートレンズ 22 力ものレーザービームはアパーチャ 23の開口部を通過することにより矩形に整形さ れる。
透明平板 124は、無垢のガラス材料などの透明な平板で構成され、また裏面には ARコート（無反射コーティング）が施されている。透明平板 124は、アパーチャ 23か らのレーザービームの光軸に直交する面に対して、透明平板 124からの反射光（第 2 スリット光 172)力 本体ケース 10の正面側に所定角度 （例えば 33度)傾斜するよう 配設されている。アパーチャ 23から透明平板 124に入射するレーザービームのパヮ 一の約 5% (約 50 μ W)がその表面で反射され、約 95% (約 950 μ W)が透明平板 1 24を透過する。透明平板 124でレーザービームが反射されて進行する方向（撮像装 置 1の前方へ水平面に対して 33度上向き）を第 2の方向と呼ぶ。
[0095] 反射ミラー 126は、鏡などのレーザー光線を全反射する部材で構成される。反射ミ ラー 126は、透明平板 124を透過したレーザービームの下流において、水平面に対 して本体ケース 10の正面側に 45度傾斜して配設される。反射ミラー 126においてレ 一ザ一ビームは全反射し光路の向きを 90度変える。反射ミラー 126におレ、て反射さ れたレーザービームが進行する方向（撮像装置 1の前方へ水平面に対して 0度の向 き）を第 1の方向と呼ぶ。
[0096] ロッドレンズ 127は、正の焦点距離が短い円筒形状のレンズで構成される。ロッドレ ンズ 127は、反射ミラー 126で反射されるレーザービームの下流において、円筒形状 の軸方向が垂直方向になるように配設されている。ロッドレンズ 127の焦点距離は短 レ、。その為、図 16 (a)に示すように、ロッドレンズ 127に入射したレーザービームは、 ロッドレンズ 127近傍の焦点を越えて広がり、所定の広がり角度 ε (例えば 48度）の スリット光として第 1の方向へ出射される。ロッドレンズ 127から出射されるスリット光を 第 1スリット光 1 71と呼ぶ。
[0097] シリンドリカルレンズ 1 25は、負の焦点距離となるように一方向が凹形状となったレ ンズである。シリンドリカノレレンズ 1 25は、透明平板 124で反射されたレーザービーム の下流において、第 2の方向に対してレンズ面が直交するように配設さている。シリン ドリカルレンズ 1 25は、図 16 (b)に示すように透明平板 124から入射されるレーザー ビームを広がり角度 κで、第 2の方向に広がるスリット光として出射する。シリンドリカ ルレンズ 1 25から出射されるスリット光を第 2スリット光 172と呼ぶ。より詳細には、シリ ンドリカルレンズ 1 25通過後の第 2スリット光 172の広がり角度 Κと第 1スリット光 1 71 の広がり角度 εとの比は、透明平板 124でレーザービームが分割されるパワーの比 に等しい。すなわち、第 2スリット光 1 72の広がり角度 は、第 1スリット光 171の広がり 角度 εの 5 % ( 2 · 4度）である。
[0098] 以上の構成により、スリット光投光ユニット 1 20は、プロセッサ 40からの指令に応じて 、レーザーダイオード 21からレーザービームを放射させ、第 1の方向へ第 1スリット光
171を、及び、第 2の方向へ第 2スリット光 1 72を、本体ケース 10の結像レンズ 31の 下方に設けられた窓 29から出射する。
[0099] 結像レンズ 31は、複数枚のレンズで構成される。撮像装置 201は、オートフォー力 ス機能を有する。外部からの光が CCD画像センサ 32上に結像するように、オートフ オーカス機能により結像レンズ 31が駆動され焦点距離及び絞りが調整される。 CCD 画像センサ 32は、 CCD (Charge Coupled Device)素子などの光電変換素子の マトリクス状の配列を有する。 CCD画像センサ 32は、その表面に結像される画像の 光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ 40へ出力する。尚、 CCD素子一つ分のデータが画像を形成する画素の画素データ であり、画像データは CCD素子の数の画素データで構成される。
[0100] レリーズボタン 52は、押しボタン式のスィッチで構成される。レリーズボタン 52はプ 口セッサ 40に接続されており、プロセッサ 40において使用者による押し下げ操作が 検知される。カードメモリ 55は、不揮発性で書き換え可能なメモリで構成され、本体ケ ース 10に着脱可能である。
[0101] モード切替スィッチ 59は、 2つの位置に切換え可能なスライドスィッチなどで構成さ れる。プロセッサ 40によりモード切替スィッチ 59のボタンがいずれの位置にあるかが 検知される。プロセッサ 40において、モード切替スィッチ 59のスィッチの位置の一方 は「ノーマルモード」として、もう一方は「補正撮像モード」として検知される。
[0102] プロセッサ 40は、 CPU (Central Processing Unit) 41、 ROM42、 RAM43で構成さ れる。 CPU41は、 ROM42に記憶されたプログラムによる処理を RAM43を利用し つつ実行する。 CPU41は、レリーズボタン 52の押し下げ操作の検知、 CCD画像セ ンサ 32からの画像データの取り込み、画像データのカードメモリ 55への書き込み、モ ード切替スィッチ 59の状態検出、スリット光投光ユニット 120によるスリット光の出射切 り換え等の各種処理を行う。
[0103] ROM42には、カメラ制御プログラム 421と、差分抽出プログラム 422と、三角測量 演算プログラム 423と、原稿姿勢演算プログラム 424と、平面変換プログラム 425とが 含まれる（図 2参照)。
カメラ制御プログラム 421は、図 17に示すフローチャートの処理（詳細は後述する。 )を含む撮像装置 1全体の制御に関するプログラムである。
差分抽出プログラム 422は、スリット光を投光した原稿 Pの画像から、スリット光の軌 跡を抽出した画像データを生成するためのプログラムである。
三角測量演算プログラム 423は、差分抽出プログラムで生成された画像データによ るスリット光の軌跡の各画素に対する 3次元空間位置を演算するためのプログラムで める。
原稿姿勢演算プログラム 424は、第 1スリット光の軌跡 171a及び第 2スリット光の軌 跡 172aの 3次元空間位置から、原稿 Pの位置及び 3次元形状を推定して求めるプロ グラムである。
平面変換プログラム 425は、与えられた原稿 Pの位置及び姿勢に基づいて、スリット 光無し画像格納部 432に格納された画像データを、原稿 Pの正面から撮像したような 画像に変換する。
[0104] RAM43には、記憶領域として、 CCD画像センサ 32からの画像データの形式のデ ータを保存する大きさのスリット光有り画像格納部 431、スリット光無し画像格納部 43 2、及び、差分画像格納部 433が割り当てられている。さらに、 RAM43には、スリット 光画像の各ポイントの位置を演算した結果を保存する大きさの三角測量演算結果格 納部 434と、原稿 Pの位置及び姿勢の演算結果を保存する大きさの原稿姿勢演算格 納部 435と、 CPU41での演算のために一時的にデータを記憶させるのに使用する 大きさのワーキングエリア 436とが割り当てられている。
[0105] ファインダ 53は、光学レンズで構成される。ファインダ 53は、撮像装置 201の後ろ 側から使用者がのぞき込んだ時に、結像レンズ 31が CCD画像センサ 32上に結像す る範囲とほぼ一致する範囲が見えるように構成されている。
[0106] 続いて、撮像装置 201のプロセッサ 40での処理手順を表す図 17のフローチャート を用いて、使用者によりレリーズボタン 52が押されてからの撮像装置 201の動作を説 明する。
[0107] S2110では、モード切替スィッチ 59のスィッチの位置が検知される。 S2110で検 知の結果、モード切替スィッチ 59が「補正撮像モード」の位置である場合は（S2110 ： YES)、処理は S2120へ移行する。 「ノーマルモード」の位置の場合は（S2110 : N 〇）、処理は S2200へ移行する。
[0108] 次に、 S2120では、スリット光投光ユニット 120に対しレーザーダイオード 21の発光 を指令が行われ、第 1スリット光 171及び第 2スリット光 172が出射される。この状態で 、 CCD画像センサ 32から画像データが取得され、取得された画像データが、スリット 光有り画像として、 RAM43のスリット光有り画像格納部 431に記憶される。
[0109] 次に、 S2130では、スリット光投光ユニット 120に対しレーザーダイオード 21の発光 停止が指令され、第 1スリット光 171及び第 2スリット光 172が出射されなくなった状態 で CCD画像センサ 32から画像データが取得される。取得された画像は、スリット光無 し画像としてスリット光無し画像格納部 432に記憶される。
[0110] 次に、 S2140では、差分抽出プログラム 422によりスリット光有り画像格納部 431の 画像データに対する、スリット光無し画像格納部 432の画像データの差分が抽出され る。つまり、原稿 Pに投光された第 1スリット光の軌跡 171a及び第 2スリット光の軌跡 1 72aが抽出された画像データを生成され、差分画像格納部 433に記憶される。 [0111] 次に、 S2150では、差分画像格納部 433の画像データに抽出された、第 1スリット 光の軌跡 171a及び第 2スリット光の軌跡 172aの画素毎の 3次元空間位置が三角測 量演算プログラム 423により演算される。演算結果はそれぞれ三角測量演算結果格 納部 434に記憶される。
[0112] 次に、 S2160では、三角測量演算結果格納部 434に記憶された第 1スリット光 171 及び第 2スリット光 172のスリット光の軌跡の 3次元空間位置を用いて、原稿姿勢演算 プログラム 424により、原稿 Pの位置及び姿勢が演算される。
[0113] 次に、 S2170では、平面変換プログラム 425により、 S2160で算出された原稿 Pの 位置及び姿勢に基づいて、スリット光無し画像格納部 432に記憶された画像データ 力 正面から観察されたような画像の画像データに変換される。
[0114] 次に、 S2180では、 S2170で変換された画像データがカードメモリ 55に記憶され る。 S2170の処理の後、図 17の処理は終了する。
[0115] S2200では、スリット光投光ユニット 120のレーザーダイオード 21が発光しない状 態、すなわち第 1スリット光 171及び第 2スリット光 172が出射されていない状態で、 C CD画像センサ 32から画像データを取得される。次に S2210では、取得された画像 データがカードメモリ 55に記憶される。 S2210での処理の後図 17の処理は終了する
[0116] S2140での差分抽出プログラム 422による処理は具体的には次のようなものである 。スリット光有り画像格納部 431の画像データからスリット光無し画像格納部 432の画 像データを画素毎に差し引く。つまり両画像データの RGB値を画素ごとに差し引く。 これにより、スリット光の軌跡のみが抽出された多値画像が得られる。
[0117] S2150での三角測量演算プログラム 423による処理は、具体的には次のようなもの である。例えば、差分画像格納部 433の画像データに関して、第 1スリット光の軌跡 1 71a及び第 2スリット光の軌跡 172aの縦方向のピークを重心計算によって画像デー タの横方向座標毎に求める。さらに、このピーク抽出座標に対する 3次元空間位置が 次のようにして求められる。
[0118] ここで、図 18 (a)に示すように撮像される横方向に湾曲した原稿 Pに対する撮像装 置 201の座標系を次のように定義する。すなわち、図 19 (a)および図 19 (b)に示すよ うに、結像レンズ 31の光軸方向を Z軸として、撮像装置 201から基準距離 VP離れた 位置を X， Υ, Z軸の原点位置として、撮像装置 201に対して水平方向を X軸、垂直 方向を Y軸とする。
[0119] CCD画像センサ 32の X軸方向の画素数を ResX、 Y軸方向の画素数を ResYと呼 ぶ。 X— Y平面に、結像レンズ 31を通して CCD画像センサ 32を投影した位置の上端 を Yftop、下端を Yfbottom、左端を Xfstart、右端を Xfendと呼ぶ。また、結像レン ズ 31の光軸から、スリット光投光ユニット 120から出射される第 1スリット光 171の光軸 までの距離を D、第 1スリット光 171が X— Y平面に交差する Y軸方向の位置を las 1、 第 2スリット光 172が X— Y平面に交差する Y軸方向の位置を las2とする。
[0120] このとき、第 1スリット光の軌跡 171aの画像の画素の 1つに注目した注目点 1の CC D画像センサ 32上の座標（ccdxl , ccdyl)に対応する 3次元空間位置 (XI , Yl , Z 1)は、 CCD画像センサ 32の結像面上の点と、第 1スリット光 171及び第 2スリット光 1 72の出射点と、 X— Y平面に交差する点とで形成される三角形について立てた次の 5 つの連立方程式の解から導き出される。
(1) Yl =-( (lasl +D) /VP) Zl +lasl
(2) Yl
Figure imgf000028_0001
Zl +Ytarget
(3) XI =- (Xtarget/VP) Zl +Xtarget
(4) Xtarget =Xf start + (ccdxl/ResX) X (Xfend_Xf start)
(5) Ytarget = Yftop- (ccdy 1/ResY) X (Yftop— Yfbottom)
尚、本実施例では、第 1スリット光 171が Z軸に対して平行のため lasl =_Dであり、 Yl =_Dである。
[0121] 同様に、 CCD画像センサ 32上の第 2スリット光の軌跡 172aの画像の画素の一つ に注目した注目点 2の座標（ccdx2, ccdy2)に対応する 3次元空間位置（X2, Y2, Z2)は、次の 5つの連立方程式の解から導き出される。
(1) Y2=-( (las2 + D) /VP) Z2 + las2
(2) Y2=-(Ytarget/VP) Z2 + Ytarget
(3) X2=- (Xtarget/VP) Z2 + Xtarget
(4) Xtarget =Xf start + (ccdx2/ResX) X (Xfend_Xf start) (5) Ytarget = Yftop- (ccdy2/ResY) X (Yf top— Yf bottom)
[0122] S2160での原稿姿勢演算プログラム 424による処理は具体的には次のようなもの である。例えば、三角測量演算結果格納部 434のデータから、第 1スリット光の軌跡 1 71aに対応する 3次元空間位置の各点を回帰曲線近似した線を求め、この曲線の X 軸方向の位置が「0」における点と、第 2スリット光の軌跡 172aの X軸方向の位置が「0 」における 3次元位置とを結ぶ直線を想定する。次に想定されたこの直線力 軸と交 わる点、つまり、光軸が原稿 Pと交差する点を、原稿 Pの 3次元空間位置 (0, 0, と する（図 20 (a)参照。）。この直線が X— Y平面となす角を原稿 Pの X軸まわりの傾き Θ とする。
[0123] 次に、図 20 (b)に示すように、第 1スリット光の軌跡 171aを回帰曲線近似した線を、 先に求めた X軸まわりの傾き Θ分だけ逆方向に回転変換した状態、つまり、原稿 Pを X— Y平面に対して平行にした状態を考える。図 20 (c)に示すように、原稿 Pの X軸方 向の断面形状を、 X— Z平面における原稿 Pの断面について、 Z軸方向の変位を複数 の X軸方向の点で求める。次に、その変位度から、 X軸方向の位置を変数とした X軸 方向の傾きの関数である湾曲 φ (X)を求める。
[0124] S2170での平面変換プログラム 425による処理は具体的には、例えば、図 21に示 すフローチャートで表されるような処理である。図 21の処理について以下説明する。
[0125] 初めに、 RAM43のワーキングエリア 436に当該処理の処理領域力 S割り当てられ、 カウンタのための変数など当該処理に用いる変数の初期値が設定される（S3002)。
[0126] 次に、原稿 Pの文字等が書かれた面が略鉛直方向力 観察された場合の画像であ る正立画像の領域が、原稿姿勢演算プログラム 425での演算結果による原稿 Pの 3 次元空間位置（0， 0， L)と、 X軸まわりの傾き Θと、湾曲 φ (X)とに基づき、スリット光 無し画像の 4隅の点を変換して設定される。次にこの領域内に含まれる画素数 aが求 められる（S3003)。
[0127] 次に、設定された正立画像の領域は、まず X-Y平面に配置され (S3005)、その中 に含まれる画素毎に、各々の 3次元空間位置が、湾曲 φ (X)に基づいて Z軸方向に 変位され（S3006)、傾き Θで X軸まわりに回転移動され（S3007)、 Z軸方向に距離 Lだけシフされる（S3008)。求められた 3次元空間位置は、先の 3角測量の関係式 により理想カメラで写された CCD画像上の座標（ccdcx, ccdcy)に変換される（S30 09)。さらに、使用している結像レンズ 31の収差特性に従って、公知のキヤリブレー シヨン手法により、実際のカメラで写された CCD画像上の座標（ccdx, ccdy)に変換 される（S3010)。次に、変換された座標の位置にあるスリット光無し画像の画素の状 態が求められ、 RAM43のワーキングエリア 436に格納される（S3011)。以上の処 理は画素数 aだけ繰り返し実行され（S3012、 S3004)、正立画像の画像データが生 成される。
[0128] 以上のように、撮像装置 201において、第 1スリット光 171及び第 2スリット光 172の
2列のスリット光が原稿 Pに投光され、その原稿 Pは、結像レンズ 31によって CCD画 像センサ 32に結像され撮像が行われる。続けて、スリット光が投光されていない原稿 Pの画像が撮像される。これら 2つの画像データの差分をとることによって、画像デー タからスリット光の軌跡画像が抽出され、三角測量原理によりスリット光の軌跡各部の 3次元空間位置が演算される。これらから原稿 Pの位置、傾き、及び湾曲状態が求め られ、第 1スリット光の軌跡 171aの形状を原稿 P全体の横断面形状として類推した結 果を基に、平らな原稿 Pが正面から撮像されたかのように補正した画像データが生成 される。生成された画像データはカードメモリ 55に記録される。
[0129] よって、撮像装置 201によれば、使用者は、湾曲などの形状変形した原稿 Pを斜め から撮像した場合でも、平らな原稿 Pを正面から撮像したかのような画像データを力 一ドメモリ 55に記憶させることができる。すなわち、使用者は、通常の撮影の動作 (つ まり、モード切替スィッチ 59を「補正撮像モード」側に切り換え、ファインダ 53、又は、 LCD51で原稿 Pの所望の範囲が撮像範囲に入っているか確認し、レリーズボタン 52 を押して画像を撮影すること）を行えば、平らな原稿 Pを正面から撮像したかのような 画像を得ることができる。
[0130] カードメモリ 55に記憶された画像データは、 LCD51で表示して撮像内容を確認す ることも可能であるし、また、カードメモリ 55を撮像装置 201から取り外して外部のパ 一ソナルコンピュータなどに装着することにより、その画像データを PC上で表示させ たり、印刷させたりすることも可能である。
[0131] スリット光投光ユニット 120の諸元が説明中例示した数値によるものの場合、レーザ 一ダイオード 21から出力されるパワーのうち、透明平板 124で分割される第 1スリット 光 171のパワーは 95%に対し、第 2スリット光 172のパワーは約 5%と少なレ、。しかし ながら、角度幅あたりのパワーで見ると、広がり角が 48度の第 1スリット光 171の単位 角度あたりのパワーが約 20 z WZ度で、広がり角が 2. 4度の第 2スリット光 172の単 位角度あたりのパワーも約 21 z W/度であり、ほぼ同じである。原稿 Pが基準距離 V Pである 330mmの位置にある白色の用紙の場合、第 1スリット光 171及び第 2スリット 光 172による照ゝ度は約 1260ノレタスとなり、一般白勺な室内の明るさである 500一 1000 ルクスの場所でも、スリット光の軌跡と原稿 Pとの輝度差が十分ある。したがって差分 抽出プログラム 422にてスリット光の軌跡画像を抽出することができる。
[0132] このように、撮像装置 201は、光源であるレーザーダイオード 21の出力を上げること なぐ 1列のスリット光を投光する場合と同等の角度幅あたりのパワーで 2列のスリット 光を出射する。このような構成によれば、対象物体の 3次元形状を検出することがで きる共に、撮像装置 201の構成を簡易で小型のものにすることができる。
[0133] 本実施例では、第 1スリット光 171と、第 2スリット光 172との単位角度当たりのパヮ 一がほぼ等しいため、第 1スリット光の軌跡 171aと第 2スリット光の軌跡 172aに対応 する CCD画像センサ 32の信号は、ほぼ同じ輝度を表す信号レベルとなる。例えば、 CCD画像センサ 32の所定の位置で縦方向に見た画素信号は、図 22 (a)に示すよう に、第 1スリット光の軌跡 171aと第 2スリット光の軌跡 172aが写った部分が背景レべ ルに対し、同じ程度の高くなつた信号になる。これにより、差分抽出プログラム 422で は、スリット光の軌跡を抽出する為のしきい値の設定を共通化できる。尚、第 1スリット 光 171と、第 2スリット光 172との単位角度当たりのパワーに差があると、図 22 (b)に 示すように、第 1スリット光 171と、第 2スリット光 172とで別々のしきい値を用いないと 、背景レベルの変動にピーク値が坦もれてしまレ、、スリット光の軌跡を正確に検出で きない場合がある。このように、スリット光の軌跡の検出のために、背景ノイズに応じた しきい値設定を検出点個別に行うようになると、演算が多くなり非効率となるが、本実 施形態によればそのようなことは無い。
[0134] また、透明平板 24は、裏面に ARコートが施されていることにより、透明平板 24内に 入射したレーザー光線の透明平板 24から出射する際の反射が少なくなり、透明平板 24内でのレーザー光線の損失が少なくなるようになつている。
[0135] 透明平板 124は、透明平板 124で反射するレーザー光線の割合を、透明平板 124 の材質の屈折率より決まる表面反射率 5%として設定することにより、通常のハーフミ ラーで実現する場合に必要な、反射面に金属蒸着膜を形成する製造プロセスを行わ ないでも良いようにできる。
[0136] 本発明の実施形態としての 3次元形状検出装置に関し、レーザーダイオード 21が 光出力手段のうちの光源に相当し、透明平板 24が光出力手段のうちの分割手段に 相当する。スリット光投光ユニット 120は、パターン光投光手段に相当し、結像レンズ
31、 CCD画像センサ 32が投光像撮像手段に相当し、プロセッサ 40における S140 から S160の処理が 3次元形状演算手段に相当する。
[0137] 本発明の撮像装置に対して、結像レンズ 31、 CCD画像センサ 32が撮像手段に相 当し、プロセッサ 40における S170の処理が画像補正手段に相当し、 RAM43が記 憶手段に相当する。
[0138] 以上、本発明の実施形態について説明したが、本発明は上記の具体的な実施形 態に限定されず、このほかにも様々な形態で実施することができる。以下、第 2の実 施形態の変形例について説明する。
[0139] 例えば、撮像装置 201で撮像する対象物体は、シート状の原稿 Pの他にも、個体ブ ロックの滑らかな表面であったり、場合によっては稜線をもつ物体の表面であっても 良い。すなわち、撮像装置 201は、 2列のスリット光の軌跡から、その 3次元空間にお ける 3次元形状を希求したレ、用途に関してはほぼすベて同様に、対象物体の 3次元 形状を検出する効果を発揮することができる。
[0140] 但し、本実施例のように、対象物体がシート状の原稿 Pであれば、第 1スリット光の軌 跡 171aを原稿 Pの断面形状であるとして、原稿 Pの全体の形状を推定し、原稿 の 湾曲などの形状変形に対する画像補正をすることができる。また、対象物体がスリット 光の長手方向に対する直交方向に略均一な 3次元形状であれば、スリット光を投光 する位置に含まれる対象物体の突起部など特異な形状により生じる検出姿勢のずれ などを考慮しなくて良ぐスリット光が投光される箇所に気をつかわないでも良いように できる。 [0141] 本実施形態の撮像装置 201では、スリット光投光ユニット 120が、第 1スリット光 171 と、第 2スリット光 172の 2列のスリット光を出射するように構成されているが、出射する スリット光は、 2列に限らず、 3列以上を出射するように構成されていても良い。例えば 、スリット光投光ユニット 120は、図 18 (b)に示す原稿 Pのスリット光の軌跡画像のよう に、第 1スリット光 171及び第 2スリット光 172に加えて、第 2スリット光 172と同様の第 3スリット光力 原稿 Pにて第 2スリット光 172の上方に投光されるように構成されてい ても良い。このように構成することによって、第 1一第 3スリット光のスリット光の軌跡の 各点の位置から、原稿 Pの縦方向の湾曲形状に対しても推定することができる。した 力 Sつてこの場合、スリット無し画像を補正して、更に見やすい画像を生成することがで きる。
[0142] 本実施形態では光源として、赤色レーザー光線を放射するレーザーダイオード 21 が用いられている力 光源は、面発光レーザー、 LED, EL素子など、光ビームを放 射することのできる様々なものを用いることができる。
[0143] 本実施形態では、分割手段として、所定割合を反射する透明平板 124を用いてい る力 透明平板 124と同等の機能を、入射するレーザービームのパワーの所定の割 合を所定方向に回折する回折格子を 1面に形成した透明平板によって実現すること ができる。この場合、回折格子で回折された 1次光のレーザー光線を第 2スリット光 17 2とし、そのまま透過する 0次光のレーザー光線を第 1スリット光 171とすることができる
[0144] 図 23に示すように、反射型の回折格子 128を用いて第 1および第 2のスリット光 17 1および 172を生成することもできる。この場合、反射型回折格子 128は上述の実施 形態における反射ミラー 26の変わりとしての役割も担うことができる。この場合、反射 型回折格子 128の回折格子で回折された 1次光のレーザー光線を第 2スリット光 172 とし、そのまま反射する 0次光のレーザー光線を第 1スリット光 171とすることできる。こ のような回折格子は、その断面形状により、 0次光と高次光のパワー配分比率を変え ることができるため、分割手段としては好適である。
[0145] スリット光投光ユニット 120から出射されるスリット光は、長手方向に直交する方向に 、急峻に絞り込まれた細線の他に、一定の幅を備えたストライプ状の光パターンでも 良い。
[0146] 第 1スリット光 171と、第 2スリット光 172の位置関係は逆転しても良レ、。すなわち、第 1の方向つまり撮像装置 201から見て下側に第 2スリット光 172が配置され、第 2の方 向に第 1スリット光 171が配置されるように、各光学素子が配設されても良い。
[0147] 撮像装置 201は、スリット光有り画像及びスリット光無し画像を、結像レンズ 31及び CCD画像センサ 32を用いて撮像するよう構成されている。これに対して、撮像装置 2 01に内に、結像レンズ 31及び CCD画像センサ 32の他に、スリット有り画像を撮像す るための結像レンズ及び CCD画像センサを別途追加しても良い。このように構成す ることにより、スリット光有り画像とスリット光無し画像とを撮像する間の時間経過（CC D画像センサ 32の画像データを転送する時間など）を無くすることができる。この場 合、スリット光有り画像に対してスリット光無し画像の撮像範囲のずれが無ぐ検出す る対象物体の 3次元形状の精度が高いものとすることができる。但し、本実施形態の 撮像装置 201の方が、構成部品が少なぐ小型で安価なものとすることができる。
[0148] 本発明の一つの実施形態において、前記パターン光投光手段は、光を出力する光 出力手段を有すると共に、前記光出力手段による光を所定の角度幅で平面状に放 射される光束に変換し、前記光束の前記所定の角度幅方向における一部を偏向し、 該偏向により前記光束の前記所定の角度幅方向の一部が欠落する第 1のパターン 光と、前記第 1のパターン光に対して偏向される第 2のパターン光とを形成して出射 するよう構成されていても良い。
[0149] この 3次元形状検出装置では、パターン光投光手段の位置と、投光像撮像手段の 位置との間が一定距離で、パターン光投光手段から出射するスリット光の角度は一 定 (物理的構成上既知)である。故に、 3次元形状演算手段にて、投光像撮像手段 で撮像された対象物体の画像により、対象物体上のパターン光の反射位置 (スリット 光の軌跡)の所定の点と投光像撮像手段とを結ぶ線の、投光像撮像手段の光軸方 向に対する角度を求め、この角度を用いてパターン光の軌跡の所定の点と、パター ン光投光手段と、投光像撮像手段とを結ぶ三角形の形状を定める、いわゆる三角測 量により、スリット光の軌跡の所定の点の 3次元空間位置を求めて、スリット光の軌跡 の各点について 3次元空間位置を求めることにより、対象物体に投光されたスリット光 の位置を求めることができる。尚、第 1パターン光の軌跡の欠落箇所の 3次元形状は 、欠落箇所以外の近似曲線などにより類推できる。
[0150] 第 1パターン光の軌跡と、第 2パターン光の軌跡とが対象物体の同一平面上に形 成されることから、対象物体をパターン光の長さ方向に対する直交方向に略均一な 3 次元形状のものと仮定すれば、 3次元形状演算手段にて、第 1パターン光の軌跡に ついて求めた 3次元空間位置による形状を、第 2パターン光の軌跡の方向へ伸ばし たものを対象物体の 3次元形状として類推し、対象物体の 3次元形状を求めることが できる。
[0151] 上記構成の 3次元形状検出装置によれば、対象物体に接触することなぐ対象物 体の 3次元形状を検出することができる。光ビームを変換した 1列のパターン光の一 部を偏向して第 1パターン光と第 2パターン光とを形成しているため、第 1パターン光 及び第 2パターン光の角度幅あたりのパワーを、パターン光 (スリット光）が 1列の時と 同じにすることができ、従来のように全出射パワーを上昇することなぐ 2列のスリット 光でもスリット光の軌跡の弁別を確実にできる。
[0152] 本発明の一つの実施形態において、前記パターン光投光手段は、光を所定角度 で反射する第 1反射面により、前記光束を反射して前記第 1のパターン光を出射し、 前記第 1反射面に対して前記第 1のパターン光の光路方向に対して所定角度傾斜し て光を反射する第 2反射面により、前記光束を反射して前記第 2のパターン光を出射 するように構成されてレ、ても良レ、。
[0153] このような構成の 3次元形状検出装置によれば、光ビームを変換したパターン光の 第 1パターン光及び第 2パターン光への形成を、 2つの鏡などによる構成で行うことが でき、プリズムや回折格子などの光ビームを分割するデバイスを用いる場合に対して 、簡易で安価な構成にできる。
[0154] ところで、 3次元形状演算手段にて 3次元形状を一部が欠落されたパターン光によ つて欠落部を補間することで求める場合には、第 1パターン光が対象物体上へ、その 両端部が投光されている画像からそのパターン光の軌跡に基づいて欠落部のデー タを補間して演算した方が、 3次元形状の補間精度は高くなる。そのため、本発明の 一つの実施形態において、前記パターン光投光手段が出射する第 1のパターン光は 、前記偏向により欠落する箇所が、前記光束の端部を含まない構成であっても良い。
[0155] つまり、このようにすると、第 1パターン光は、第 2パターン光形成のために、パター ン光の端部が欠落して角度幅が狭くなることなぐ光ビームから変換したパターン光 の角度幅となる。このため、対象物体に照射される段階で、極力広い角度幅の第 1パ ターン光を投光することができる。
[0156] また、投光像撮像手段で撮像されるパターン光の軌跡 (つまり反射光）には、図 11 ( a)に示すように対象物体にて正反射された正反射光によるものと、対象物体で拡散 された拡散光によるものとがある。拡散光によるパターン光の軌跡に対して正反射光 によるスリット光の軌跡の方が、撮像される画像の輝度は格段に高くなる。特に、投光 像撮像手段が、パターン光投光手段に対しパターン光の平面の上下方向に並ぶ場 合などに、パターン光投光手段から出射されるパターン光は、その略中央部分が正 反射として投光像撮像手段に入射されやすい。
[0157] 投光像撮像手段にて、画像を撮像するために CCD素子などの光電変換素子を用 いている場合、著しく高輝度の箇所を撮像すると、ある素子に一定以上の過剰な信 号が入力され、その周囲の素子に対して光の漏れ込みが発生して、画像信号の処 理過程での縦あるいは横方向の画素信号が全体的に変化し、図 11 (b)に示す様に 画像に光の筋が入るスミアという現象を生じる。このスミアが発生すると、スリット光の 軌跡を正しく弁別できず、 3次元形状を正しく検出できないという場合がある。
[0158] このため、投光像撮像手段にて、スリット光の軌跡によるスミアが発生しにくいように するには、 3次元形状検出装置は、次のように構成されていても良レ、。すなわち、前 記パターン光投光手段にて出射される前記第 1のパターン光は、前記所定の角度幅 方向における略中央部の光束が欠落して形成されてレ、ても良レ、。
[0159] このようにすることにより、第 1パターン光の正反射光となりやすい略中央部が欠落 箇所となるため、投光像撮像手段に対して正反射光が入射されにくぐスミアの発生 を卬えることができる。
[0160] 本発明の一つの実施形態において、 3次元形状検出装置は、前記複数のパターン 光の投光方向に対して交差する方向に略均一な 3次元形状を持った対象物体の 3 次元形状を検出するために用いられても良レ、。 [0161] このような構成によれば、パターン光が投光される部分の形状を、パターン光の投 光方向に対して交差する方向に略均一な 3次元形状であるとして、パターン光の軌 跡の上下も、このパターン光の軌跡と同様の形状となっているとするなど、対象物体 全体又は一部の形状を推定して 3次元形状を検出することができる。
[0162] また、対象物体が、パターン光の方向に対する直交方向に略均一な 3次元形状で あれば、パターン光を投光する位置に含まれる対象物体の突起部など特異な形状に より検出される 3次元形状に生じるずれなどを考慮しなくて良ぐ 3次元形状を検出す る際のパターン光が投光される箇所に気をつかわずとも良いようにできる。
[0163] 本発明の一つの実施形態において、前記複数のパターン光の投光方向に対して 交差する方向に略均一な 3次元形状を持った対象物体は、略シート状であっても良 い。
[0164] 本発明の一つの実施形態において、前記パターン光投光手段は、複数の光ビーム を出力する光出力手段を有すると共に、前記複数の光ビームを前記複数のパターン 光に変換する構成であっても良い。この場合、前記複数のパターン光は少なくとも所 定の角度幅を有する長パターン光と該長パターン光より相対的に角度幅の狭い短パ ターン光とを含んでいても良い。
[0165] このように構成された 3次元形状検出装置では、パターン光投光手段の位置と、投 光像撮像手段の位置との間が一定距離で、パターン光投光手段から出射するパタ ーン光の角度は一定 (物理的構成上既知）である。 3次元形状演算手段にて、投光 像撮像手段で撮像された対象物体の画像により、対象物体上のパターン光の反射 位置 (パターン光の軌跡)の所定の点と投光像撮像手段とを結ぶ線の、投光像撮像 手段の光軸方向に対する角度を求める。次に、この角度を用いてパターン光の軌跡 の所定の点と、パターン光投光手段と、投光像撮像手段とを結ぶ三角形の形状を定 める、いわゆる三角測量により、パターン光の軌跡の所定の点の 3次元空間位置を 求めて、パターン光の軌跡の各点について 3次元空間位置を求めることにより、対象 物体に投光されたパターン光の位置を求めることができる。
[0166] 対象物体の 3次元形状は、長パターン光の長手方向に対する直交方向に略均一 な 3次元形状を持った対象物体と仮定すれば、長パターン光によるパターン光の軌 跡の形状が、短パターン光の軌跡の方向へ伸びてレ、るとして類推して求めることがで き、対象物体の 3次元形状を検出できる。
[0167] この結果、上記構成の 3次元形状検出装置によれば、対象物体に接触することなく
、対象物体の 3次元形状を検出することができる。さらに、対象物体に照射するパタ 一ン光を長パターン光と、短パターン光とにすることによって、パターン光の全長を短 くできるため、 2列の長いパターン光を投光する場合に比べて、 3次元形状検出装置 としての全出射パワーを少ないものにできる。
[0168] 本発明の一つの実施形態において、前記光出力手段は、前記短パターン光となる 光ビームを、前記長パターン光となる光ビームと比べて少ないパワーで出力するよう 構成されていても良い。
[0169] このような構成によれば、短パターン光のパワーを少なくした分、光ビームの全出射 ノ^ーを効率的に各パターン光に分配した 3次元姿勢検出装置とすることができる。
[0170] 本発明の一つの実施形態において、前記光出力手段が出力する各光ビームのパ ヮー比は、該光ビーム各々が前記パターン光投光手段にて変換される前記パターン 光毎の角度幅の比と略同等であっても良い。
[0171] このような構成によれば、長パターン光及び短パターン光の単位角度幅あたりのパ ヮ一が等しくなるので、対象物体上のパターン光の軌跡の輝度もほぼ同じになる。こ れにより、 3次元形状演算手段にて、パターン光の軌跡を識別する際の基準値を、長 パターン光と短パターン光とに対し同様にして行えるため、パターン光の軌跡を正確 で効率的に識別することができる。
[0172] また、パターン光投光手段にて、光ビームをパターン光に変換する方法は種々ある 。例えば、光ビームを所定の面に均一に拡散させて、所定の大きさの長穴を空けたス リットを通してスリット光とする方法や、回転するポリゴンミラーに光ビームを照射し、走 查してスリット光にする方法などがある。
[0173] 本発明の一つの実施形態において、前記パターン光投光手段は、前記複数の光 ビームがそれぞれ変換される前記複数のパターン光の角度幅に応じた焦点距離の シリンドリカルレンズを用いて、前記複数の光ビームを前記複数のパターン光に変換 するように構成されてレ、ても良レ、。 [0174] このような構成によれば、パターン光投光手段を、光源のパワー損失が小さぐ小型 で簡便にできる。つまり、前述のスリットを通してスリット光とする方法では、スリットに 遮られる光が多ぐ光ビームのパワー損失が大きい。また、ポリゴンミラーの回転により 走査する方法の場合、ポリゴンミラーの駆動機構を設ける必要があり、装置が複雑と なり小型化しにくい。これらに対して、シリンドリカルレンズを用いた場合は、光ビーム のパワー損失が少なぐ駆動機構なども無く構成が簡易で、小型化しやすい。
[0175] また、光出力手段は、変換されるパターン光の角度幅に応じてパワーが違う光ビー ムを出力するように、それぞれに光源を設けても良いが、そうすると光源の数及び種 類が多くなり装置が大きぐ高価になってしまう。
[0176] そのため、本発明の一つの実施形態において、前記光出力手段は、 1つの光ビー ムを生成する光源と、該光源からの光ビームを、複数に分割して出力する分割手段と 力 構成されていても良い。
[0177] このような構成によれば、光源が最小個数で済み、 3次元形状検出装置を小型化 及び低価格化することができる。また、この構成においては、短パターン光となる光ビ ームのパワーを少なくし、光出力手段からの光ビームの全出射パワーが抑えられるた め光源の出力が大きくなりにくぐ一つの光源とするのに適している。
[0178] 本発明の一つの実施形態において、前記分割手段は、少なくとも片面に無反射処 理を施した略透明平板で光ビームを分割するよう構成されていても良い。
[0179] このような構成によれば、略透明平板により光ビームを、略透明平板に入射する際 に反射する光ビームと、略透明平板を透過する光ビームとに分割でき、略透明平板 の反射率を変えることによって光ビームのパワー配分を設定することができる。また、 無反射処理が施されているため略透明平板を透過する際の反射による損失が少なく 、プリズムなどに比べて軽量であり、この略透明平板を用いることにより、小型軽量で 安価な分割手段を実現できる。
[0180] 本発明の一つの実施形態において、 3次元形状検出装置は、前記長パターン光の 投光方向に対して交差する方向に略均一な 3次元形状を持った対象物体の 3次元 形状を検出するために用いられても良い。
[0181] このような構成によれば、パターン光が投光された部分を投光方向に対して交差す る方向に略均一な 3次元形状であると前提することができ、パターン光の軌跡の上下 も、このパターン光の軌跡に対応する 3次元形状と同様の形状となっているとするな ど、対象物体全体又は一部の形状を推定することができる。
[0182] また、対象物体が、パターン光の投光方向に対して交差する方向に略均一な 3次 元形状であれば、パターン光を投光する位置に含まれる対象物体の突起部など特 異な形状により検出される 3次元形状に生じるずれなどを考慮しなくて良ぐ 3次元形 状を検出する際のパターン光が投光される箇所に気をつかわずとも良いようにできる
[0183] 本発明の一つの実施形態において、前記長パターン光の投光方向に対して交差 する方向に略均一な 3次元形状を持った対象物体は、略シート状であっても良い。
[0184] 本発明の一つの実施形態としての撮像装置において、前記パターン光投光手段は 、光を出力する光出力手段を有すると共に、前記光出力手段による光を所定の角度 幅で平面状に放射される光束に変換し、前記光束の前記所定の角度幅方向におけ る一部を偏向し、該偏向により前記光束の前記所定の角度幅方向の一部が欠落す る第 1のパターン光と、前記第 1のパターン光に対して偏向されたる第 2のパターン光 とを形成して出射するよう構成されていても良い。
[0185] 本発明の一つの実施形態としての撮像装置において、前記パターン光投光手段は 、複数の光ビームを出力する光出力手段を有すると共に、前記複数の光ビームを前 記複数のパターン光に変換するよう構成されていても良い。この場合、前記複数のパ ターン光は少なくとも所定の角度幅を有する長パターン光と該長パターン光より相対 的に角度幅の狭い短パターン光とを含んでいても良い。
[0186] 本発明の一つの実施形態において、前記撮像手段、前記記憶手段、前記 3次元 形状取得手段、及び、前記画像補正手段を、当該撮像装置の本体ケース内に内蔵 するよう構成されていても良い。
[0187] なお、以上説明した実施形態は、例示的なものであり、本発明は、上記実施形態の 内容により限定されるものではなぐ請求の範囲に記載された内容に基づいて理解さ れるべきものである。

Claims

請求の範囲
[1] 角度幅の異なる 2つのパターン光を含む複数のパターン光を投光するパターン光 投光手段と、
前記複数のパターン光が投光された対象物体の画像を、前記パターン光投光手段 から一定距離離れた位置から撮像する撮像手段と、
前記撮像手段で撮像された画像に基づき、前記対象物体に投光された前記複数 のパターン光の位置を算出して前記対象物体の 3次元形状を求める 3次元形状演算 手段と、を備えることを特徴とする 3次元形状検出装置。
[2] 前記パターン光投光手段は、光を出力する光出力手段を有すると共に、
前記光出力手段による光を所定の角度幅で平面状に放射される光束に変換し、前 記光束の前記所定の角度幅方向における一部を偏向し、該偏向により前記光束の 前記所定の角度幅方向の一部が欠落する第 1のパターン光と、前記第 1のパターン 光に対して偏向される第 2のパターン光とを形成して出射すること、
を特徴とする請求項 1に記載の 3次元形状検出装置。
[3] 前記パターン光投光手段は、
光を所定角度で反射する第 1反射面により、前記光束を反射して前記第 1のパター ン光を出射し、
前記第 1反射面に対して前記第 1のパターン光の光路方向に対して所定角度傾斜 して光を反射する第 2反射面により、前記光束を反射して前記第 2のパターン光を出 射すること、
を特徴とする請求項 2に記載の 3次元形状検出装置。
[4] 前記パターン光投光手段が出射する第 1のパターン光は、
前記偏向により欠落する箇所が、前記光束の端部を含まないこと、を特徴とする請 求項 2に記載の 3次元形状検出装置。
[5] 前記パターン光投光手段にて出射される前記第 1のパターン光は、
前記所定の角度幅方向における略中央部の光束が欠落して形成される、 ことを特徴とする請求項 2に記載の 3次元形状検出装置。
[6] 前記複数のパターン光の投光方向に対して交差する方向に略均一な 3次元形状を 持った対象物体の 3次元形状を検出するために用いられることを特徴とする請求項 1 に記載の 3次元形状検出装置。
[7] 前記複数のパターン光の投光方向に対して交差する方向に略均一な 3次元形状を 持った対象物体が、略シート状であることを特徴とする請求項 6に記載の 3次元形状 検出装置。
[8] 前記パターン光投光手段は、複数の光ビームを出力する光出力手段を有すると共 に、前記複数の光ビームを前記複数のパターン光に変換し、
前記複数のパターン光は少なくとも所定の角度幅を有する長パターン光と該長パタ ーン光より相対的に角度幅の狭い短パターン光とを含むこと、を特徴とする請求項 1 に記載の 3次元形状検出装置。
[9] 前記光出力手段は、
前記短パターン光となる光ビームを、前記長パターン光となる光ビームと比べて少 ないパワーで出力することを特徴とする請求項 8に記載の 3次元形状検出装置。
[10] 前記光出力手段が出力する各光ビームのパワー比は、
該光ビーム各々が前記パターン光投光手段にて変換される前記パターン光毎の角 度幅の比と略同等であることを特徴とする請求項 8に記載の 3次元形状検出装置。
[11] 前記パターン光投光手段は、
前記複数の光ビームがそれぞれ変換される前記複数のパターン光の角度幅に応じ た焦点距離のシリンドリカルレンズを用いて、前記複数の光ビームを前記複数のパタ ーン光に変換すること、を特徴とする請求項 8に記載の 3次元形状検出装置。
[12] 前記光出力手段は、
1つの光ビームを生成する光源と、
該光源からの光ビームを、複数に分割して出力する分割手段と、
からなることを特徴とする請求項 8に記載の 3次元形状検出装置。
[13] 前記分割手段は、
少なくとも片面に無反射処理を施した略透明平板で光ビームを分割するよう構成さ れることを特徴とする請求項 12に記載の 3次元形状検出装置。
[14] 前記長パターン光の投光方向に対して交差する方向に略均一な 3次元形状を持つ た対象物体の 3次元形状を検出するために用いられることを特徴とする請求項 8に記 載の 3次元形状検出装置。
[15] 前記長パターン光の投光方向に対して交差する方向に略均一な 3次元形状を持つ た対象物体が、略シート状であることを特徴とする請求項 14に記載の 3次元形状検
[16] 対象物体の所定の面を任意の方向から撮像するための撮像手段と、
該撮像手段で撮像された画像を画像データとして記憶する記憶手段と、 対象物体の 3次元形状を取得する 3次元形状取得手段と、
該 3次元形状取得手段で取得された対象物体の 3次元形状を基に、前記記憶手段 に記憶された画像データに対して、対象物体の所定の面の略鉛直方向から観察さ れる平面画像データとなるように補正する画像補正手段とを備え、
前記 3次元形状取得手段は、角度幅の異なる 2つのパターン光を含む複数のパタ ーン光を投光するパターン光投光手段を備え、
前記撮像手段は、前記複数のパターン光が投光された対象物体の画像を、前記パ ターン光投光手段から一定距離離れた位置から撮像し、
さらに、前記 3次元形状取得手段は、前記撮像手段で撮像された画像に基づき、 前記対象物体に投光された前記複数のパターン光の位置を算出して前記対象物体 の 3次元形状を求める 3次元形状演算手段を備えること、
を特徴とする撮像装置。
[17] 前記パターン光投光手段は、光を出力する光出力手段を有すると共に、
前記光出力手段による光を所定の角度幅で平面状に放射される光束に変換し、前 記光束の前記所定の角度幅方向における一部を偏向し、該偏向により前記光束の 前記所定の角度幅方向の一部が欠落する第 1のパターン光と、前記第 1のパターン 光に対して偏向されたる第 2のパターン光とを形成して出射すること、
を特徴とする請求項 16に記載の撮像装置。
[18] 前記パターン光投光手段は、複数の光ビームを出力する光出力手段を有すると共 に、前記複数の光ビームを前記複数のパターン光に変換し、
前記複数のパターン光は少なくとも所定の角度幅を有する長パターン光と該長パタ ーン光より相対的に角度幅の狭い短パターン光とを含むこと、を特徴とする請求項 1 6に記載の撮像装置。
[19] 前記撮像手段、前記記憶手段、前記 3次元形状取得手段、及び、前記画像補正手 段を、当該撮像装置の本体ケース内に内蔵させたことを特徴とする請求項 16に記載
[20] 対象物体の 3次元形状を検出する 3次元形状検出方法であって、
光ビームを出力し、
該光ビームを所定の角度幅で平面状に放射される光束であるパターン光に変換し て、対象物体へ投光するために該パターン光を出射し、
出射される前記パターン光に対して一定距離離れた位置から、前記パターン光が 投光された対象物体の画像を撮像し、
撮像された画像に基づき、対象物体に投光された前記パターン光の位置を算出し て、対象物体の 3次元形状を求める演算を行うことからなり、
出射される前記パターン光は、角度幅の異なる第 1と第 2のパターン光を含むこと、 を特徴とする 3次元形状検出方法。
[21] 前記第 1のパターン光は、所定の角度幅で平面状に放射される光束の前記所定の 角度幅方向における一部を偏向することにより前記光束の前記所定の角度幅方向 の一部が欠落した状態で形成され、前記第 2のパターン光は前記第 1のパターン光 に対して偏向されること、を特徴とする請求項 20に記載の 3次元形状検出方法。
[22] 前記第 1のパターン光は所定の角度幅を有し、前記第 2のパターン光は前記第 1の パターン光より相対的に角度幅の狭いこと、を特徴とする請求項 20に記載の 3次元 形状検出方法。
PCT/JP2004/010298 2003-07-23 2004-07-20 ３次元形状検出装置、撮像装置、及び、３次元形状検出方法 Ceased WO2005008174A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/296,347 US7440119B2 (en) 2003-07-23 2005-12-08 Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003-278411 2003-07-23
JP2003278410A JP4360145B2 (ja) 2003-07-23 2003-07-23 ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
JP2003278411A JP4608855B2 (ja) 2003-07-23 2003-07-23 ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
JP2003-278410 2003-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/296,347 Continuation-In-Part US7440119B2 (en) 2003-07-23 2005-12-08 Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting method

Publications (1)

Publication Number Publication Date
WO2005008174A1 true WO2005008174A1 (ja) 2005-01-27

Family

ID=34082389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/010298 Ceased WO2005008174A1 (ja) 2003-07-23 2004-07-20 ３次元形状検出装置、撮像装置、及び、３次元形状検出方法

Country Status (2)

Country Link
US (1) US7440119B2 (ja)
WO (1) WO2005008174A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292748A (zh) * 2013-01-05 2013-09-11 中国航空工业集团公司西安飞机设计研究所 一种基于激光测量的多基板拼合检测方法
CN106651959A (zh) * 2016-11-15 2017-05-10 东南大学 一种光场相机微透镜阵列几何参数的标定方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5092738B2 (ja) * 2007-12-26 2012-12-05 ソニー株式会社 画像処理装置及び方法、並びにプログラム
DE102008010965B4 (de) * 2008-02-25 2016-03-31 Mathias Reiter Roboter-Bahnführung
US8432395B2 (en) * 2009-06-16 2013-04-30 Apple Inc. Method and apparatus for surface contour mapping
JP2014044060A (ja) * 2012-08-24 2014-03-13 Canon Inc 形状測定装置、および形状測定方法
KR102025716B1 (ko) * 2013-03-21 2019-09-26 삼성전자주식회사 3차원 형상 측정장치
US11169268B1 (en) 2017-12-12 2021-11-09 Philip Raymond Schaefer System and method for measuring the position of a moving object
GB201721451D0 (en) * 2017-12-20 2018-01-31 Univ Manchester Apparatus and method for determining spectral information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309132A (ja) * 2000-04-26 2001-11-02 Minolta Co Ltd 読み取り装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4130237A1 (de) * 1991-09-11 1993-03-18 Zeiss Carl Fa Verfahren und vorrichtung zur dreidimensionalen optischen vermessung von objektoberflaechen
US5636025A (en) * 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5668631A (en) * 1993-12-20 1997-09-16 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
JPH07318315A (ja) 1994-05-27 1995-12-08 Minolta Co Ltd 測定器の姿勢検出装置
JPH0827176A (ja) 1994-07-15 1996-01-30 Taiyo Kagaku Co Ltd シアリルリン脂質の製造方法
US5825495A (en) * 1995-02-27 1998-10-20 Lockheed Martin Corporation Bright field illumination system
JP2000076460A (ja) * 1998-06-18 2000-03-14 Minolta Co Ltd モニタ表示装置
US6291817B1 (en) * 1998-06-23 2001-09-18 Fuji Photo Optical Co., Ltd. Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other
US6553138B2 (en) * 1998-12-30 2003-04-22 New York University Method and apparatus for generating three-dimensional representations of objects
JP4298155B2 (ja) * 2000-11-17 2009-07-15 本田技研工業株式会社 距離測定装置、及び距離測定方法
KR100389017B1 (ko) * 2000-11-22 2003-06-25 (주) 인텍플러스 모아레무늬 발생기를 적용한 위상천이 영사식 모아레방법및 장치
JP2002296020A (ja) * 2001-03-30 2002-10-09 Nidek Co Ltd 表面形状測定装置
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
US7061628B2 (en) * 2001-06-27 2006-06-13 Southwest Research Institute Non-contact apparatus and method for measuring surface profile

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309132A (ja) * 2000-04-26 2001-11-02 Minolta Co Ltd 読み取り装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292748A (zh) * 2013-01-05 2013-09-11 中国航空工业集团公司西安飞机设计研究所 一种基于激光测量的多基板拼合检测方法
CN103292748B (zh) * 2013-01-05 2015-12-02 中国航空工业集团公司西安飞机设计研究所 一种基于激光测量的多基板拼合检测方法
CN106651959A (zh) * 2016-11-15 2017-05-10 东南大学 一种光场相机微透镜阵列几何参数的标定方法
CN106651959B (zh) * 2016-11-15 2019-05-31 东南大学 一种光场相机微透镜阵列几何参数的标定方法

Also Published As

Publication number Publication date
US7440119B2 (en) 2008-10-21
US20060152738A1 (en) 2006-07-13

Similar Documents

Publication Publication Date Title
US7627196B2 (en) Image processing device and image capturing device
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
US7161682B2 (en) Method and device for optical navigation
JP3877058B2 (ja) 小型装置およびその製造方法
JPH1065882A (ja) 媒体表面形状データ取得方法
JP4379056B2 (ja) 三次元画像撮像装置および方法
JPH1183459A (ja) 凹凸面情報検出装置
WO2005008174A1 (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
EP3353489B1 (en) Method and apparatus for measuring the height of a surface
JP4360145B2 (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
JP3991501B2 (ja) ３次元入力装置
TWI258706B (en) Method and device for optical navigation
CN208921064U (zh) 一种激光相机及其光学成像系统
JP4608855B2 (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
US7391522B2 (en) Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program
US7365301B2 (en) Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program
JP2005148813A5 (ja)
US7372580B2 (en) Three-dimensional shape detecting device, three-dimensional shape detecting system, and three-dimensional shape detecting program
JP3360505B2 (ja) ３次元計測方法及び装置
KR101332024B1 (ko) 반사 선택적 집적 영상 소자, 이를 이용한 영상 디스플레이 장치 및 그 방법
JP2005189021A (ja) 撮像装置
JP2005128006A (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
WO2005080915A1 (ja) ３次元形状検出装置および撮像装置
JP2005092629A (ja) 画像処理装置、及び、撮像装置
JP2005092629A5 (ja)

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11296347

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 11296347

Country of ref document: US

122 Ep: pct application non-entry in european phase