[go: up one dir, main page]

WO2018163530A1 - ３次元形状計測装置、３次元形状計測方法、及びプログラム - Google Patents

３次元形状計測装置、３次元形状計測方法、及びプログラム Download PDF

Info

Publication number
WO2018163530A1
WO2018163530A1 PCT/JP2017/042490 JP2017042490W WO2018163530A1 WO 2018163530 A1 WO2018163530 A1 WO 2018163530A1 JP 2017042490 W JP2017042490 W JP 2017042490W WO 2018163530 A1 WO2018163530 A1 WO 2018163530A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
observation
phase
dimensional shape
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/042490
Other languages
English (en)
French (fr)
Inventor
剣之介 林
康裕 大西
正樹 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to CN201780085657.4A priority Critical patent/CN110268223B/zh
Priority to US16/484,134 priority patent/US11055863B2/en
Priority to EP17900273.8A priority patent/EP3594618B1/en
Priority to KR1020197022561A priority patent/KR102149707B1/ko
Publication of WO2018163530A1 publication Critical patent/WO2018163530A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02001—Interferometers characterised by controlling or generating intrinsic radiation properties
    • G01B9/0201—Interferometers characterised by controlling or generating intrinsic radiation properties using temporal phase variation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Definitions

  • the present invention relates to a technique for projecting a periodic pattern on a measurement object and measuring the three-dimensional shape of the measurement object using an observed image.
  • a phase shift method is known as a technique for measuring the three-dimensional shape of an object using an image.
  • the phase shift method projects a periodic pattern onto a measurement object using a projector and analyzes the distortion (phase shift) of the projection pattern that occurs depending on the unevenness of the object surface. Is a way to restore.
  • MPS Micro phase shifting
  • An improved method of the phase shift method see Non-Patent Document 1.
  • FIG. 6 shows a measurement system using the imaging device 200 and the projector 201.
  • Light 201L having a predetermined pattern is projected from the projector 201 onto the measurement object 202, and a projection pattern reflected on the surface of the measurement object 202 is imaged by the imaging apparatus 200.
  • the distortion of the projection pattern due to the surface unevenness of the measurement object 202 appears as a change in luminance of the image.
  • the positional relationship between the projector 201 and points on the surface of the measurement target 202 and the imaging device 200 is specified based on the change in luminance of the image, and the height of the surface of the measurement target 202 (three-dimensional) is determined from the principle of triangulation. Position) can be calculated.
  • a highly specular object for example, a metal object
  • the reflected light 203L may illuminate the surface of the measurement object 202.
  • the reflected light 201R of the light 201L of the projector 201 referred to as primary reflected light
  • the reflected light 203R secondary reflected
  • this secondary reflected light 203R is superimposed as noise on the projection pattern on the surface of the measurement object 202, it adversely affects the analysis of the projection pattern (that is, calculation of the phase value of the observation light) and causes measurement errors. It will end up. Such a phenomenon is called “secondary reflection” or “multiple reflection”.
  • Patent Document 1 proposes a method of specifying a portion that causes multiple reflection and performing imaging in a state in which the projection pattern projected onto that portion is dimmed or extinguished. Yes.
  • a portion which a three-dimensional shape cannot be measured may occur.
  • this method is difficult to implement in an actual apparatus because multiple reflection cannot be effectively suppressed unless the part that causes multiple reflection (the part where the projection pattern should be dimmed or extinguished) can be accurately specified in advance. There is also a problem.
  • the present invention has been made in view of the above circumstances, and in the method of measuring a three-dimensional shape based on the phase of a pattern projected onto a measurement object, in order to reduce the influence of multiple reflections and improve measurement accuracy.
  • the purpose is to provide the technology.
  • a phase error due to multiple reflection is estimated based on a plurality of samples of luminance amplitude values of observation light, and the phase value of observation light is calculated using the phase error.
  • the configuration of correcting is adopted.
  • a three-dimensional shape measurement apparatus includes a projection apparatus that projects a pattern having periodicity in a time direction and a spatial direction on a measurement object, and an imaging apparatus that images the measurement object.
  • a control device that measures a three-dimensional shape of the measurement object using a plurality of observation images captured by the imaging device while changing a phase of a pattern projected from the projection device.
  • the control device is configured such that the observation light observed by the imaging device is reflected from the light projected from the projection device at a measurement point on the measurement target and incident on the imaging device, and the projection.
  • the plurality of observations Based on the image, obtain three or more samples for the luminance amplitude value of the observation light, and calculate the phase error caused by the secondary reflected light by solving the following equation using the three or more samples.
  • a phase value of the observation light is calculated based on the plurality of observation images, a correction phase value is calculated by correcting the phase value of the observation light using the phase error, and based on the correction phase value.
  • ⁇ phase error due to secondary reflected light a: luminance amplitude value of primary reflected light b: luminance amplitude value of secondary reflected light c: luminance amplitude value of observation light ⁇ : primary reflected light and secondary reflected light Phase difference
  • the method of the present invention does not hinder measurement of a three-dimensional shape unlike the conventional method, and can be applied regardless of whether or not multiple reflection is actually occurring. There is also an advantage that it is easy to implement.
  • the three or more samples may be samples having different conditions in at least one of a pixel position on the observation image and a frequency in the spatial direction of the pattern.
  • the three or more samples are luminance amplitude values observed using a pattern of one kind of frequency for three or more pixels on the observation image, and the three or more pixels are the pattern It is preferable that the pixels have different phases. This is because only one type of pattern frequency is required, so that the number of times of observation image capturing is reduced.
  • the three or more pixels may be selected from a local region on the observation image. This is because a pixel in a local region (a small region that can be approximated by a plane) can be regarded as having the same conditions such as the reflectance of the measurement target surface.
  • the three or more pixels may be pixels arranged in a direction parallel to the epipolar line on the observation image. This is because the phase error can be accurately calculated from as few samples as possible by selecting the samples in this way.
  • the three or more samples may be luminance amplitude values observed using patterns of three or more kinds of frequencies for one pixel on the observation image.
  • the samples related to the same pixel the same measurement point
  • the estimation accuracy of the phase error can be further improved.
  • the control device includes: a first index related to a luminance amplitude value; a second index related to a spatial frequency of a pattern to be projected; and a third index related to a phase difference between the primary reflected light and the secondary reflected light.
  • Reference information defining the relationship is stored, and the primary reflected light and the secondary light are based on the three or more samples, the spatial frequency of the pattern projected during observation of each sample, and the reference information.
  • the phase difference of the reflected light may be obtained. According to this method, the value of the phase difference between the primary reflected light and the secondary reflected light can be calculated easily and accurately from the values of three or more samples.
  • the control device may calculate a three-dimensional position of the measurement point on the measurement object based on the correction phase value by a phase shift method or MPS (Micro Phase Shifting).
  • the other reflecting surface may be a specular reflecting surface.
  • the present invention can be understood as a three-dimensional shape measuring apparatus or an image processing apparatus having at least a part of the above configuration or function.
  • the present invention can also be understood as an inspection apparatus, a three-dimensional scanner, or an object recognition apparatus provided with such a three-dimensional shape measuring apparatus.
  • the present invention also includes a three-dimensional shape measurement method, an image processing method, an inspection method, an object recognition method, a program for causing a computer to execute these methods, or such It can also be understood as a computer-readable recording medium in which the program is recorded non-temporarily.
  • the influence of multiple reflection can be reduced and the measurement accuracy can be improved.
  • FIG. 1 is a schematic diagram showing a hardware configuration of a three-dimensional shape measuring apparatus.
  • FIG. 2 is a block diagram showing functions related to three-dimensional shape measurement.
  • FIG. 3 is a schematic diagram showing a model of multiple reflection and observation light.
  • FIG. 4 is a flowchart showing the flow of three-dimensional shape measurement.
  • FIG. 5 is a diagram conceptually showing the relationship between the values of the first to third indices in the reference information.
  • FIG. 6 is a diagram illustrating multiple reflection.
  • the present invention relates to a three-dimensional shape measurement technique for measuring a three-dimensional shape based on a change in the phase of a pattern projected onto a measurement object, and in particular, to reduce the influence of multiple reflections caused by reflection surfaces existing around the measurement object. And a method for improving measurement accuracy.
  • the present invention can be preferably applied to three-dimensional shape measurement using a phase shift method and MPS (Micro phase shifting) which is an improvement thereof.
  • the three-dimensional shape measurement according to the present invention includes, for example, a three-dimensional scanner that measures the surface shape of an object, an inspection device that inspects an object based on the measured three-dimensional shape, and object recognition and individual identification based on the measured three-dimensional shape. It can be applied to various devices such as a device that performs the above. For example, in the appearance inspection apparatus for a surface-mounted substrate, the multiple reflection by metal parts on the substrate may cause a decrease in inspection accuracy, so that the three-dimensional shape measurement according to the present invention can be particularly preferably applied.
  • FIG. 1 is a schematic diagram showing a hardware configuration of a three-dimensional shape measuring apparatus.
  • the three-dimensional shape measuring apparatus 1 is an apparatus for measuring the three-dimensional shape of the measurement object O.
  • the three-dimensional shape measuring apparatus 1 includes a projection device (projector) 10, an imaging device (camera) 11, and a control device (computer) 12. It is configured.
  • the projection apparatus 10 is a projection unit that projects a pattern having periodicity in the time direction and the spatial direction onto the measurement object O.
  • the number of the projection devices 10 may be one, a plurality of projection devices 10 may be provided so that a pattern can be projected onto the projection device 10 from a plurality of directions.
  • a DLP (Digital Light Processing) projector using a digital mirror device can be preferably used. This is because the DLP projector can easily change the projection pattern.
  • the imaging device 11 is means for photographing the measurement object O in a state where the pattern is projected and outputting a digital image.
  • the imaging device 11 includes, for example, an optical system and an image sensor. When performing three-dimensional shape measurement, the imaging device 11 captures a plurality of images while changing the phase of the pattern projected from the projection device 10 (or changing the pattern frequency when performing phase connection).
  • an image of the measurement object O captured by the imaging device 11 is referred to as an “observation image”.
  • the control device 12 is a unit having functions such as control of the projection device 10 and the imaging device 11, processing of an image captured from the imaging device 11, and measurement of a three-dimensional shape.
  • the control device 12 includes a CPU (processor), a memory, a nonvolatile storage device (for example, a hard disk or a flash memory), an input device (for example, a keyboard, a mouse, a touch panel), and a display device (for example, a liquid crystal display). It can be configured by a computer.
  • the function of the control device 12 to be described later can be realized by loading a program stored in a nonvolatile storage device into the memory and executing the program by the CPU.
  • all or part of the functions of the control device 12 may be replaced with an ASIC, FPGA, or dedicated hardware. Further, the functions of the control device 12 may be realized by cooperation of a plurality of computers by using distributed computing or cloud computing technology.
  • FIG. 2 is a block diagram showing functions related to the three-dimensional shape measurement of the control device 12.
  • the control device 12 includes an image acquisition unit 20, a region setting unit 21, a phase calculation unit 22, and a three-dimensional restoration unit 23 as functions related to three-dimensional shape measurement.
  • the image acquisition unit 20 has a function of capturing a plurality of observation images used for 3D shape measurement from the imaging device 11.
  • the area setting unit 21 has a function of setting an area (hereinafter referred to as “correction area”) to be subjected to multiple reflection correction described later in the field of view of the observed image.
  • the phase calculation unit 22 has a function of calculating the phase value of the pattern at each pixel on the observation image (that is, each measurement point on the surface of the measurement object O) by analyzing the observation image.
  • the three-dimensional restoration unit 23 is a function that calculates the three-dimensional position of each pixel on the observation image (that is, each measurement point on the surface of the measurement object O) based on the phase value calculated by the phase calculation unit 22. is there. Details of these functions will be described later.
  • FIG. 3 shows a model of multiple reflection and observation light.
  • the observation light I O observed by the imaging device 11 is light (primary reflected light) I that is incident on the imaging device 11 after the light L1 projected from the projection device 10 is reflected (diffuse reflected) at the measurement point P. 1 and light L20 projected from the projection device 10 and reflected by the reflection surface R (specular reflection) is reflected (diffuse reflection) at the measurement point P and incident on the imaging device 11 (secondary reflected light) I 2 . It can be assumed that it is a combined light and can be modeled as follows.
  • c is a brightness amplitude value of the observation light I O
  • a phase value of the observation light I O a 1 is the maximum luminance of the stripe pattern
  • R 1 is the reflectance of the measurement point P
  • R 2 is the reflectance of the reflecting surface R.
  • w f is the angular velocity of the fringe pattern
  • t is time.
  • k f is the wave number of the fringe pattern
  • x 1 is the position of the projection light source of the light L1
  • x 2 is the position of the projection light of the light source L2.
  • ⁇ is the initial phase of the fringe pattern.
  • the unknown ones are R 1 , R 2 , x 1 , x 2 .
  • the luminance amplitude value “a 1 R 1 ” of the primary reflected light I 1 is changed to “a”
  • the luminance amplitude value “a 1 R 1 R 2 ” of the secondary reflected light I 2 is changed to “b”
  • phase value of the primary reflection beam I 1 "w f t + k f x 1 + ⁇ " and "theta true”
  • the phase difference between the primary reflection beam I 1 and the secondary reflection beam I 2 'k f (x 2 -x 1 ) ” is“ ⁇ ”
  • the equations (1) to (4) are rearranged, the equation (1) can be expressed as the following equation.
  • ⁇ is a phase error caused by the secondary reflected light I 2 , It is.
  • the equation (8) can be solved by measuring three or more samples having different conditions for the luminance amplitude value c of the observation light IO. it can. Then, by substituting the values of a, b, and ⁇ obtained from the equation (8) into the equation (7), the phase error ⁇ caused by the secondary reflected light I 2 can be derived, and the observed phase value ⁇ M and the equation The true value ⁇ true of the phase can be obtained from (6).
  • the operation for calculating the true value of the phase (the phase value when there is no influence of the secondary reflected light I 2 ) ⁇ true by the model described above is called “multiple reflection correction”.
  • the control device 12 controls the projection device 10 and the imaging device 11 to capture a plurality of observation images.
  • a stripe pattern maximum luminance: a 1 , wave number k f
  • the observation image may be repeatedly captured by changing the wave number (frequency) of the fringe pattern.
  • imaging is performed with a high-frequency stripe pattern for measurement and a low-frequency stripe pattern for connection, and in the case of MPS, imaging is performed with a plurality of types of high-frequency stripe patterns.
  • the observation image data is taken into the control device 12 by the image acquisition unit 20 and stored in a memory or a non-volatile storage device.
  • the area setting unit 21 sets a correction area from the field of view of the observation image. Any method may be used for setting the correction area. For example, an image captured from the imaging device 11 may be displayed on a display device, and the user may designate an area using the input device. Alternatively, the region setting unit 21 may analyze the observation image, detect (estimate) a region where multiple reflections occur, and automatically set the correction region. Alternatively, if the measurement object is an industrial product such as a surface mount board, the presence or absence of the reflection surface R and the region where multiple reflections may occur are detected based on design data (CAD data), and the correction region is determined. It may be set automatically.
  • CAD data design data
  • step S41 by limiting the region where multiple reflection correction is performed in this way, the processing load required for multiple reflection correction can be reduced, and the processing time of three-dimensional shape measurement can be shortened. If it is not necessary to shorten the processing time, multiple reflection correction may be performed on the entire area of the observation image. In that case, the process of step S41 can be omitted.
  • step S42 the phase calculation unit 22 performs FFT (Fast Fourier Transform) on a plurality of observation images captured by changing the phase, and the luminance amplitude value c and the phase value ⁇ M of the observation light in each pixel on the observation image. Is calculated.
  • FFT Fast Fourier Transform
  • step S43 the phase calculation unit 22 selects a pixel to be processed (hereinafter referred to as “target pixel p 0 ”) from the correction region set in step S41.
  • step S44 the phase calculation unit 22, with respect to the target pixel p 0, to obtain samples of the luminance amplitude c of the observation optical three or more.
  • Three or more samples of the luminance amplitude value c of the observation light may be selected so that at least one of the “position of the pixel on the observation image” and the “frequency in the spatial direction of the stripe pattern” is different. .
  • each of the target pixel p 0 and its neighboring pixels p 1 , p 2 may be selected as three or more samples.
  • the neighboring pixels p 1 , p 2 since only one type of wave number of the fringe pattern is required, there is an advantage that the number of times of taking an observation image can be reduced.
  • the neighboring pixels p 1 , p 2 ...
  • the pixels p 0 , p 1 , p 2 May be selected from a local region near the target pixel p 0 . This is because if the pixels p 0 , p 1 , p 2 ... In the local region (a small region that can be approximated by a plane) are used, the conditions such as the reflectance of the measurement target surface can be regarded as the same.
  • the pixels p 0 , p 1 , p 2 More preferably, the pixels are arranged in a direction parallel to the epipolar line on the observation image. By selecting samples in this way, the phase error can be calculated with high accuracy from as few samples as possible.
  • the luminance amplitude values c 00 , c 10 , c 20 ... Observed with three or more types of stripe patterns of wave numbers k f0 , k f1 , k f2 ...
  • the target pixel p 0 may be selected as three or more samples. .
  • this method since the samples related to the same pixel (the same measurement point) are used, the estimation accuracy of the phase error can be further improved. In particular, this method is more suitable when the shape (unevenness) and reflectance of the surface of the measurement object are not uniform.
  • the luminance amplitude value of the target pixel p 0 observed using three or more types of high-frequency stripe patterns can be used as it is as three or more samples.
  • the luminance amplitude values c 00 , c 11 , c 22 ... which have different conditions for both the pixel position and the stripe pattern wave number, are used as three or more samples. You may choose. That is, you may use the sample which changed the conditions of both the position of a pixel and the frequency of the spatial direction of a fringe pattern.
  • steps S43 to S46 described above are performed for all the pixels in the correction area (step S47).
  • step S48 the three-dimensional restoration unit 23 calculates each pixel on the observation image (that is, the corrected phase value for the pixels in the correction region) based on the phase value of each pixel calculated by the phase calculation unit 22 (that is, The three-dimensional position of each measurement point on the surface of the measurement object is calculated. Thereby, the three-dimensional shape of the measurement object surface can be restored.
  • a method for calculating the three-dimensional shape from the phase value for example, a phase shift method, MPS, or the like can be used. Since these algorithms are publicly known, a detailed description is omitted here.
  • the three-dimensional shape is calculated based on the phase value obtained by correcting the phase error caused by the secondary reflected light, so that the influence of the multiple reflection is reduced with high accuracy.
  • Three-dimensional shape measurement can be realized.
  • the multiple reflection correction of the present embodiment does not hinder measurement of a three-dimensional shape as in the conventional method, and can be applied regardless of whether or not multiple reflection actually occurs. There is also an advantage that it can be easily mounted on an actual device.
  • FIG. 5 is a diagram conceptually showing the relationship between the values of the first to third indices in the reference information.
  • the horizontal axis is the value of the third index x 2 -x 1
  • the vertical axis is the value of the second index 1 / k f
  • the density is the value of the first index c 2 .
  • the luminance amplitude values c 00 , c 10 , c 20 , and c 30 observed with four types of stripe patterns of wave numbers k f0 , k f1 , k f2 , and k f3 are acquired as samples for the target pixel p 0. To do.
  • the phase calculation unit 22 searches the reference information by a scale-independent search algorithm such as normalized cross-correlation to thereby obtain the second index values 1 / k f0 , 1 / k f1 , 1 / k f2 , 1 / A third index value x 2 ⁇ x 1 is obtained, in which the ratio of the first index value corresponding to k f3 is closest to c 00 2 : c 10 2 : c 20 2 : c 30 2 .
  • the phase calculation unit 22 sets the following determinant (10) from equation (9).
  • the phase calculation unit 22 finds the values of a 2 , b 2 , 2ab by solving the determinant (10) by the least square method, and further finds a combination of a, b that satisfies those values.
  • -X 1 is calculated, and the phase error ⁇ is calculated by substituting the value of ⁇ and the values of a and b obtained from the determinant (10) into the equation (7).
  • the values of the phase difference ⁇ and the phase error ⁇ can be calculated easily and accurately from a plurality of samples of the luminance amplitude value c.
  • O measurement object
  • P measurement point
  • 10 projection device
  • 11 imaging device
  • 12 control device 20: image acquisition unit
  • 21 region setting unit
  • 22 Phase calculation unit
  • 23 three-dimensional restoration unit 100: panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

制御装置は、撮像装置で観測される観測光が、投影装置から投影された光が計測対象物上の計測点で反射し撮像装置に入射する１次反射光と、投影装置から投影され他の反射面で反射された光が計測対象物上の計測点で反射し撮像装置に入射する２次反射光との合成光であると仮定する。制御装置は、観測光の輝度振幅値について３つ以上のサンプルを取得し、これらのサンプルを用いて２次反射光に起因する位相誤差を算出し、位相誤差を用いて観測光の位相値を補正することにより補正位相値を算出し、補正位相値に基づいて計測対象物上の計測点の３次元位置を算出する。

Description

３次元形状計測装置、３次元形状計測方法、及びプログラム
　本発明は、計測対象物に周期性を有するパターンを投影し、観測される画像を用いて当該計測対象物の３次元形状を計測する技術に関する。
　画像を用いて物体の三次元形状を計測する技術として、位相シフト法が知られている。位相シフト法とは、プロジェクタにより計測対象物に周期性を有するパターンを投影し、物体表面の凹凸に依存して生じる投影パターンの歪み（位相ずれ）を解析することで、物体表面の三次元形状を復元する方法である。また、位相シフト法の改良手法としてＭＰＳ（Micro phase shifting）と呼ばれる手法も知られている（非特許文献１参照）。
　これらの方法においては、計測対象物の周囲に存在する他の物体での反射光が計測精度を低下させるという現象が生じることがある。この現象について図６を参照して説明する。図６は、撮像装置２００とプロジェクタ２０１を用いた計測系を示している。プロジェクタ２０１から所定のパターンをもつ光２０１Ｌを計測対象物２０２に投影し、計測対象物２０２の表面に映る投影パターンを撮像装置２００で撮像する。このとき、計測対象物２０２の表面凹凸による投影パターンの歪みは、画像の輝度変化となって現れる。よって、画像の輝度変化を基に、プロジェクタ２０１と計測対象物２０２の表面上の点と撮像装置２００の位置関係を特定し、三角測量の原理から計測対象物２０２の表面の高さ（３次元位置）を算出することができる。
　しかしながら、図６に示すように、計測対象物２０２の近傍に鏡面性の高い物体（例えば金属製の物体）２０３が存在すると、プロジェクタ２０１から投影された光が物体２０３の側面で反射し、その反射光２０３Ｌが計測対象物２０２の表面を照らしてしまうことがある。そうすると、撮像装置２００で観測される観測光の中に、プロジェクタ２０１の光２０１Ｌの反射光２０１Ｒ（１次反射光とよぶ）だけでなく、物体２０３からの光２０３Ｌの反射光２０３Ｒ（２次反射光又は多重反射光とよぶ）も含まれることとなる。この２次反射光２０３Ｒは、計測対象物２０２の表面上の投影パターンにノイズとして重畳されるため、投影パターンの解析（つまり観測光の位相値の算出）に悪影響を与え、計測誤差を生じさせてしまうのである。このような現象は「２次反射」又は「多重反射」と呼ばれる。
　多重反射の影響を低減する方法として、特許文献１では、多重反射を生じさせる部分を特定し、その部分に投影される投影パターンを減光もしくは消光した状態で撮像を行うという方法が提案されている。しかしながら、この方法のように投影パターンを減光もしくは消光してしまうと、３次元形状を計測できない部分（いわゆる死角）が発生する可能性がある。また、この方法は、多重反射を生じさせる部分（投影パターンを減光もしくは消光すべき部分）を予め正確に特定できなければ多重反射を効果的に抑制できないため、現実の装置への実装が難しいという問題もある。
特開２００８－３０９５５１号公報
Gupta, Mohit, and Shree K. Nayar. "Micro phase shifting." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
　本発明は上記実情に鑑みてなされたものであって、計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、多重反射の影響を低減し、計測精度を向上するための技術を提供することを目的とする。
　上記目的を達成するために、本発明では、観測光の輝度振幅値の複数点のサンプルを基に、多重反射に起因する位相誤差を推定し、その位相誤差を用いて観測光の位相値を補正する、という構成を採用する。
　具体的には、本発明に係る３次元形状計測装置は、計測対象物に対し、時間方向と空間方向に周期性を有するパターンを投影する投影装置と、前記計測対象物を撮像する撮像装置と、前記投影装置から投影するパターンの位相を変えながら前記撮像装置によって撮像された複数の観測画像を用いて前記計測対象物の３次元形状を計測する制御装置と、を有する。前記制御装置は、前記撮像装置で観測される観測光が、前記投影装置から投影された光が前記計測対象物上の計測点で反射し前記撮像装置に入射する１次反射光と、前記投影装置から投影され他の反射面で反射された光が前記計測対象物上の前記計測点で反射し前記撮像装置に入射する２次反射光との合成光であると仮定し、前記複数の観測画像に基づいて、前記観測光の輝度振幅値について３つ以上のサンプルを取得し、前記３つ以上のサンプルを用いて下記式を解くことにより、前記２次反射光に起因する位相誤差を算出し、前記複数の観測画像に基づいて前記観測光の位相値を算出し、前記位相誤差を用いて前記観測光の位相値を補正することにより補正位相値を算出し、前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出する。
Figure JPOXMLDOC01-appb-M000003
　Δθ：２次反射光に起因する位相誤差
　ａ：１次反射光の輝度振幅値
　ｂ：２次反射光の輝度振幅値
　ｃ：観測光の輝度振幅値
　α：１次反射光と２次反射光の位相差
　この構成によれば、２次反射光に起因する位相誤差を補正した位相値を基に３次元形状を算出するので、多重反射の影響が低減された高精度な３次元形状計測が実現できる。しかも本発明の方法は、従来方法のように３次元形状の計測を阻害することはないし、また多重反射が実際に生じている部分か否かにかかわらず適用することができるため、現実の装置への実装が容易であるという利点もある。
　前記３つ以上のサンプルは、前記観測画像上の画素の位置、及び、前記パターンの空間方向の周波数、のうち少なくともいずれか一方の条件が異なるサンプルであるとよい。
　例えば、前記３つ以上のサンプルは、前記観測画像上の３つ以上の画素について、１種類の周波数のパターンを用いて観測された輝度振幅値であり、前記３つ以上の画素は、前記パターンの位相が互いに異なる位置にある画素であるとよい。パターンの周波数が１種類でよいため、観測画像の撮影回数が少なくて済むからである。
　前記３つ以上の画素は、前記観測画像上の局所領域から選択されるとよい。局所領域（平面で近似できる微小領域）内の画素であれば、計測対象物表面の反射率などの条件が同一とみなせるからである。
　前記３つ以上の画素は、前記観測画像上のエピポーラ線に平行な方向に並ぶ画素であるとよい。このようにサンプルを選ぶことにより、できるだけ少ないサンプルから精度良く位相誤差を算出することができるからである。
　前記３つ以上のサンプルは、前記観測画像上の１つの画素について、３種類以上の周波数のパターンを用いて観測された輝度振幅値であるとよい。この方法の場合、同じ画素（同じ計測点）に関するサンプルを用いるため、位相誤差の推定精度をより向上できる。
　前記制御装置は、輝度振幅値に関する第１の指標と、投影するパターンの空間方向の周波数に関する第２の指標と、１次反射光と２次反射光の位相差に関する第３の指標と、の関係を定義するリファレンス情報を記憶しており、前記３つ以上のサンプルと、各サンプルの観測時に投影したパターンの空間方向の周波数と、前記リファレンス情報とに基づいて、１次反射光と２次反射光の位相差を求めるとよい。この方法によれば、３つ以上のサンプルの値から、１次反射光と２次反射光の位相差の値の簡単かつ精度良く計算することができる。
　前記制御装置は、位相シフト法又はＭＰＳ（Ｍｉｃｒｏ　Ｐｈａｓｅ　Ｓｉｆｔｉｎｇ）により、前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出するとよい。前記他の反射面は、鏡面性の反射面であるとよい。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する３次元形状計測装置又は画像処理装置として捉えることができる。また、本発明は、かかる３次元形状計測装置を備える検査装置や３次元スキャナや物体認識装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む、３次元形状計測方法、画像処理方法、検査方法、物体認識方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、多重反射の影響を低減し、計測精度を向上することができる。
図１は３次元形状計測装置のハードウェア構成を示す模式図である。 図２は３次元形状計測に関わる機能を示すブロック図である。 図３は多重反射と観測光のモデルを示す模式図である。 図４は３次元形状計測の流れを示すフローチャートである。 図５はリファレンス情報における第１～第３の指標の値の関係を概念的に示す図である。 図６は多重反射を説明する図。
　本発明は、計測対象物に投影したパターンの位相の変化を基に３次元形状を計測する３次元形状計測技術に関し、特に、計測対象物の周囲に存在する反射面による多重反射の影響を低減し、計測精度を向上するための方法に関する。本発明は、位相シフト法やその改良であるＭＰＳ（Micro phase shifting）を利用した３次元形状計測に好ましく適用できる。本発明に係る３次元形状計測は、例えば、物体の表面形状を計測する３次元スキャナ、計測した３次元形状に基づき物体の検査を行う検査装置、計測した３次元形状に基づき物体認識や個体識別を行う装置など、様々な装置に応用可能である。例えば、表面実装基板の外観検査装置では、基板上の金属製部品による多重反射が検査精度の低下を招く可能性があるため、本発明に係る３次元形状計測を特に好ましく適用することができる。
　以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　（３次元形状計測装置の構成）
　図１を参照して、本実施形態に係る３次元形状計測装置の全体構成について説明する。図１は３次元形状計測装置のハードウェア構成を示す模式図である。３次元形状計測装置１は計測対象物Ｏの３次元形状を計測するための装置であり、主な構成として、投影装置（プロジェクタ）１０、撮像装置（カメラ）１１、制御装置（コンピュータ）１２を有して構成される。
　投影装置１０は、計測対象物Ｏに対し時間方向と空間方向に周期性を有するパターンを投影する投影手段である。投影装置１０の数は一つでもよいが、複数の方向から投影装置１０に対しパターンを投影可能なように複数の投影装置１０を設けてもよい。投影装置１０としては、デジタルミラーデバイスを用いた方式のＤＬＰ（Digital Light Processing）プロジェクタを好ましく利用できる。ＤＬＰプロジェクタは投影パターンの変更が容易だからである。
　撮像装置１１は、パターンが投影された状態の計測対象物Ｏを撮影し、デジタル画像を出力する手段である。撮像装置１１は、例えば、光学系とイメージセンサを有して構成される。３次元形状計測を行う際は、投影装置１０から投影するパターンの位相を変えながら（位相接続を行う場合はさらにパターンの周波数を変えながら）、撮像装置１１によって複数枚の画像を取り込む。以後、撮像装置１１によって撮像される計測対象物Ｏの画像を「観測画像」とよぶ。
　制御装置１２は、投影装置１０及び撮像装置１１の制御、撮像装置１１から取り込まれた画像に対する処理、３次元形状の計測などの機能を有する手段である。制御装置１２は、ＣＰＵ（プロセッサ）、メモリ、不揮発性の記憶装置（例えば、ハードディスクやフラッシュメモリ）、入力装置（例えば、キーボード、マウス、タッチパネルなど）、表示装置（例えば、液晶ディスプレイなど）を備えるコンピュータにより構成することができる。後述する制御装置１２の機能は、不揮発性の記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することにより実現することができる。ただし、制御装置１２の機能の全部又は一部を、ＡＳＩＣやＦＰＧＡや専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置１２の機能を複数のコンピュータの協働により実現しても構わない。
　図２は、制御装置１２の３次元形状計測に関わる機能を示すブロック図である。制御装置１２は、３次元形状計測に関わる機能として、画像取得部２０、領域設定部２１、位相算出部２２、３次元復元部２３を有している。
　画像取得部２０は、撮像装置１１から３次元形状計測に用いる複数の観測画像を取り込む機能である。領域設定部２１は、観測画像の視野のうち、後述する多重反射補正を施す領域（以後「補正領域」とよぶ）を設定する機能である。位相算出部２２は、観測画像を解析することにより、観測画像上の各画素（つまり計測対象物Ｏの表面上の各計測点）におけるパターンの位相値を算出する機能である。３次元復元部２３は、位相算出部２２で算出された位相値に基づいて、観測画像上の各画素（つまり計測対象物Ｏの表面上の各計測点）の３次元位置を算出する機能である。これらの機能の詳細は後述する。
　（観測光のモデルと多重反射補正）
　図３に、多重反射と観測光のモデルを示す。
　計測対象物Ｏの近傍に鏡面性の高い反射面Ｒ（例えば金属製の物体の表面）が存在する系を考える。投影装置１０から正弦波状の縞パターンを投影した場合に、計測対象物Ｏ上の計測点Ｐに、投影装置１０のパネル１００上の点ｘ１から発せられた光Ｌ１（直接光）と、投影装置１０のパネル１００上の点ｘ２から発せられた光Ｌ２の反射面Ｒでの反射光Ｌ２０と、が到達すると仮定する。以後の説明において、投影装置１０のパネル１００上の点ｘを点光源とみなし、「投影光源ｘ」とよぶ。
　このとき、撮像装置１１で観測される観測光ＩＯは、投影装置１０から投影された光Ｌ１が計測点Ｐで反射（拡散反射）し撮像装置１１に入射した光（１次反射光）Ｉ１と、投影装置１０から投影され反射面Ｒで反射（鏡面反射）された光Ｌ２０が計測点Ｐで反射（拡散反射）し撮像装置１１に入射した光（２次反射光）Ｉ２との合成光であると仮定でき、次のようにモデル化できる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ただし、ｃは、観測光ＩＯの輝度振幅値であり、θＭは、観測光ＩＯの位相値である。ａ１は、縞パターンの最大輝度であり、Ｒ１は、計測点Ｐの反射率であり、Ｒ２は、反射面Ｒの反射率である。ｗｆは、縞パターンの角速度であり、ｔは、時間である。ｋｆは、縞パターンの波数であり、ｘ１は、光Ｌ１の投影光源の位置であり、ｘ２は、光Ｌ２の投影光源の位置である。φは、縞パターンの初期位相である。なお、これらの変数のうち未知のものは、Ｒ１，Ｒ２，ｘ１，ｘ２である。
　ここで、１次反射光Ｉ１の輝度振幅値「ａ１Ｒ１」を「ａ」、２次反射光Ｉ２の輝度振幅値「ａ１Ｒ１Ｒ２」を「ｂ」とおきなおし、１次反射光Ｉ１の位相値「ｗｆｔ＋ｋｆｘ１＋φ」を「θｔｒｕｅ」、１次反射光Ｉ１と２次反射光Ｉ２の間の位相差「ｋｆ（ｘ２－ｘ１）」を「α」とおいて、式（１）～式（４）を整理すると、式（１）は下記式のように表すことができる。
Figure JPOXMLDOC01-appb-M000006
　ただし、Δθは、２次反射光Ｉ２に起因する位相誤差であり、
Figure JPOXMLDOC01-appb-M000007
である。
　式（５）と合成の定理から下記式を導出することができる。
Figure JPOXMLDOC01-appb-M000008
　式（８）の未知数はａ，ｂ，αの３つであるから、観測光ＩＯの輝度振幅値ｃについて条件の異なる３つ以上のサンプルを実測すれば、式（８）を解くことができる。そして、式（８）から求めたａ，ｂ，αの値を式（７）に代入すれば、２次反射光Ｉ２に起因する位相誤差Δθを導出でき、さらに観測位相値θＭと式（６）から位相の真値θｔｒｕｅを求めることができる。以上述べたモデルにより、位相の真値（２次反射光Ｉ２の影響が無い場合の位相値）θｔｒｕｅを算出する操作を「多重反射補正」とよぶ。
　（３次元形状計測）
　図４のフローチャートに沿って、３次元形状計測の処理の流れを説明する。
　ステップＳ４０では、制御装置１２が投影装置１０及び撮像装置１１を制御し、複数の観測画像を撮影する。例えば、正弦波状に輝度が変化する縞パターン（最大輝度：ａ１、波数ｋｆ）をπ／４ずつ位相を変えながら４回投影し、４枚の観測画像を撮影してもよい。さらに、計測範囲拡大のために位相接続を行う場合には、縞パターンの波数（周波数）を変えて、観測画像の撮影を繰り返してもよい。例えば一般的な位相接続の場合は、計測用の高周波の縞パターンと接続用の低周波の縞パターンによる撮影を行い、ＭＰＳの場合は、複数種類の高周波の縞パターンによる撮影を行う。観測画像のデータは、画像取得部２０によって制御装置１２に取り込まれ、メモリ又は不揮発性の記憶装置に格納される。
　ステップＳ４１では、領域設定部２１が、観測画像の視野のうちから補正領域を設定する。補正領域の設定はいかなる方法を用いてもよい。例えば、撮像装置１１から取り込まれた画像を表示装置に表示し、入力装置を用いてユーザに領域を指定させてもよい。あるいは、領域設定部２１が、観測画像を解析して、多重反射が発生している領域を検出（推定）し、補正領域を自動で設定してもよい。あるいは、計測対象物が表面実装基板のような工業製品の場合であれば、設計データ（ＣＡＤデータ）などに基づいて反射面Ｒの有無及び多重反射が発生し得る領域を検出し、補正領域を自動で設定してもよい。
　本実施形態では、このように多重反射補正を行う領域を限定することによって、多重反射補正に要する処理負荷を低減し、３次元形状計測の処理時間の短縮を図ることができる。なお、処理時間の短縮を図る必要がなければ、観測画像の全領域に多重反射補正を行ってもかまわない。その場合はステップＳ４１の処理は省略することができる。
　ステップＳ４２では、位相算出部２２が、位相を変えて撮影した複数の観測画像に対しＦＦＴ（高速フーリエ変換）を行い、観測画像上の各画素における観測光の輝度振幅値ｃ及び位相値θＭを算出する。
　ステップＳ４３では、位相算出部２２が、ステップＳ４１で設定された補正領域のうちから処理対象とする画素（以後「対象画素ｐ０」とよぶ）を選択する。次にステップＳ４４では、位相算出部２２が、対象画素ｐ０に関して、観測光の輝度振幅値ｃのサンプルを３つ以上取得する。
　観測光の輝度振幅値ｃの３つ以上のサンプルは、「観測画像上の画素の位置」と「縞パターンの空間方向の周波数」のうち少なくともいずれか一方の条件が異なるように選択すればよい。
　例えば、波数ｋｆｉの縞パターンを用いて観測された観測画像における画素ｐｊの輝度振幅値をｃｉｊと表記したときに、対象画素ｐ０とその近傍画素ｐ１，ｐ２…の各々について波数ｋｆ０の１種類の縞パターンで観測された輝度振幅値ｃ００，ｃ０１，ｃ０２…を３つ以上のサンプルとして選んでもよい。この方法の場合、縞パターンの波数が１種類でよいため、観測画像の撮影回数が少なくて済むという利点がある。ここで、近傍画素ｐ１，ｐ２…は対象画素ｐ０近傍の局所領域から選択するとよい。局所領域（平面で近似できる微小領域）内の画素ｐ０，ｐ１，ｐ２…であれば、計測対象物表面の反射率などの条件が同一とみなせるからである。また、画素ｐ０，ｐ１，ｐ２…は縞パターンの位相が互いに異なる位置から選択するとよい。さらに好ましくは、観測画像上のエピポーラ線に平行な方向に並ぶ画素であるとよい。このようにサンプルを選ぶことにより、できるだけ少ないサンプルから精度良く位相誤差を算出することができる。
　あるいは、対象画素ｐ０について波数ｋｆ０，ｋｆ１，ｋｆ２…の３種類以上の縞パターンで観測された輝度振幅値ｃ００，ｃ１０，ｃ２０…を３つ以上のサンプルとして選んでもよい。この方法の場合、同じ画素（同じ計測点）に関するサンプルを用いるため、位相誤差の推定精度をより向上できる。特に、計測対象物表面の形状（凹凸）や反射率が均一でない場合には、この方法のほうが適している。ここで、波数ｋｆ０，ｋｆ１，ｋｆ２…は、いずれかの波数が他の波数の整数倍にならないように選択する。ＭＰＳの場合は、３種類以上の高周波の縞パターンを用いて観測された対象画素ｐ０の輝度振幅値をそのまま３つ以上のサンプルとして利用することができる。
　あるいは、画素の位置と縞パターンの波数の両方の条件が異なる輝度振幅値ｃ００，ｃ０１，ｃ１１…とか、輝度振幅値ｃ００，ｃ１１，ｃ２２…を、３つ以上のサンプルとして選んでもよい。すなわち、画素の位置と縞パターンの空間方向の周波数の両方の条件を変えたサンプルを用いてもよい。
　ステップＳ４５では、位相算出部２２が、ステップＳ４４で取得した輝度振幅値の３つ以上のサンプルを用いて式（７）及び式（８）を解くことにより、２次反射光に起因する位相誤差Δθを算出する。そして、ステップＳ４６では、位相算出部２２が、位相誤差Δθを用いて位相値θＭを補正することにより、対象画素ｐ０の補正位相値θｔｒｕｅを算出する。本実施形態では、観測位相値θＭから位相誤差Δθを減算した値を補正位相値θｔｒｕｅとする（θｔｒｕｅ＝θＭ－Δθ）。
　上述したステップＳ４３～Ｓ４６の処理は、補正領域内の全ての画素について行われる（ステップＳ４７）。
　その後、ステップＳ４８において、３次元復元部２３が、位相算出部２２で算出された各画素の位相値（補正領域内の画素については補正位相値）に基づいて、観測画像上の各画素（つまり計測対象物の表面上の各計測点）の３次元位置を算出する。これにより、計測対象物表面の３次元形状を復元できる。位相値から３次元形状を計算する方法には、例えば、位相シフト法、ＭＰＳなどを用いることができる。これらのアルゴリズムは公知のためここでは詳しい説明は割愛する。
　以上述べた本実施形態の多重反射補正によれば、２次反射光に起因する位相誤差を補正した位相値を基に３次元形状を算出するので、多重反射の影響が低減された高精度な３次元形状計測が実現できる。しかも本実施形態の多重反射補正は、従来方法のように３次元形状の計測を阻害することはないし、また多重反射が実際に生じている部分か否かにかかわらず適用することができるため、現実の装置への実装が容易であるという利点もある。
　（位相誤差の計算方法の例）
　次に、位相算出部２２による位相誤差の計算方法、すなわち、式（７）及び式（８）の具体的な解法の一例を説明する。
　式（８）を変形すると、
Figure JPOXMLDOC01-appb-M000009
が得られる。ここで、ａ，ｂは（未知であるが）定数であるから、観測光の輝度振幅値ｃは、ｋｆとｘ２－ｘ１との関数として表せることがわかる。
　そこで本例では、輝度振幅値に関する第１の指標として「ｃ２」を、投影する縞パターンの空間方向の周波数に関する第２の指標として「１／ｋｆ」を、１次反射光と２次反射光の位相差に関する第３の指標として「ｘ２－ｘ１」をそれぞれ選択する。そして、ａ，ｂに適当な定数を設定して、式（９）を満たす第１～第３の指標の値の組み合わせを計算することにより、第１～第３の指標の関係を定義するリファレンス情報（３次元のテーブル）を作成し、制御装置１２の記憶装置にあらかじめ格納しておく。図５は、リファレンス情報における第１～第３の指標の値の関係を概念的に示す図である。横軸が第３の指標ｘ２－ｘ１の値であり、縦軸が第２の指標１／ｋｆの値であり、濃度が第１の指標ｃ２の値である。
　例えば、対象画素ｐ０について、波数ｋｆ０，ｋｆ１，ｋｆ２，ｋｆ３の４種類の縞パターンで観測された輝度振幅値ｃ００，ｃ１０，ｃ２０，ｃ３０がサンプルとして取得されたとする。位相算出部２２は、正規化相互相関のようなスケール依存しない探索アルゴリズムによりリファレンス情報を探索することによって、第２の指標の値１／ｋｆ０，１／ｋｆ１，１／ｋｆ２，１／ｋｆ３に対応する第１の指標の値の比がｃ００ ２：ｃ１０ ２：ｃ２０ ２：ｃ３０ ２に最も近似する、第３の指標の値ｘ２－ｘ１を求める。
　次に、未知数ａ，ｂを求めるため、位相算出部２２は、式（９）より次のような行列式（１０）をおく。
Figure JPOXMLDOC01-appb-M000010
　位相算出部２２は、行列式（１０）を最小二乗法で解くことでａ２，ｂ２，２ａｂの値を求め、さらにそれらの値を満たすａ，ｂの組み合わせを求める。
　その後、位相算出部２２は、以上の計算で得られたｘ２－ｘ１の値と３次元形状計測に用いる波数ｋｆの値（例えばｋｆ０）とから位相差α＝ｋｆ（ｘ２－ｘ１）を計算し、このαの値と行列式（１０）から求めたａ，ｂの値を式（７）に代入することで、位相誤差Δθを計算する。
　以上述べた計算方法によれば、輝度振幅値ｃの複数のサンプルから、位相差α及び位相誤差Δθの値を簡単かつ精度良く計算することができる。
　なお、上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記計算例では４つのサンプルを用いて探索処理及び行列計算を行ったが、３つ又は５つ以上のサンプルを用いて同様の計算を行ってもよい。また、リファレンス情報を用いず、非線形最適化により式（７）を直接解いてもよい。
Ｏ：計測対象物、Ｐ：計測点、Ｒ：反射面
１：３次元形状計測装置、１０：投影装置、１１：撮像装置、１２：制御装置
２０：画像取得部、２１：領域設定部、２２：位相算出部、２３：３次元復元部
１００：パネル

Claims (11)

  1. 　計測対象物に対し、時間方向と空間方向に周期性を有するパターンを投影する投影装置と、
    　前記計測対象物を撮像する撮像装置と、
    　前記投影装置から投影するパターンの位相を変えながら前記撮像装置によって撮像された複数の観測画像を用いて前記計測対象物の３次元形状を計測する制御装置と、を有し、
    　前記制御装置は、
    　　前記撮像装置で観測される観測光が、前記投影装置から投影された光が前記計測対象物上の計測点で反射し前記撮像装置に入射する１次反射光と、前記投影装置から投影され他の反射面で反射された光が前記計測対象物上の前記計測点で反射し前記撮像装置に入射する２次反射光との合成光であると仮定し、
    　前記複数の観測画像に基づいて、前記観測光の輝度振幅値について３つ以上のサンプルを取得し、
    　　前記３つ以上のサンプルを用いて下記式を解くことにより、前記２次反射光に起因する位相誤差を算出し、
    　　前記複数の観測画像に基づいて前記観測光の位相値を算出し、
    　　前記位相誤差を用いて前記観測光の位相値を補正することにより補正位相値を算出し、
    　　前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出することを特徴とする３次元形状計測装置。
    Figure JPOXMLDOC01-appb-M000001
    　Δθ：２次反射光に起因する位相誤差
    　ａ：１次反射光の輝度振幅値
    　ｂ：２次反射光の輝度振幅値
    　ｃ：観測光の輝度振幅値
    　α：１次反射光と２次反射光の位相差
  2. 　前記３つ以上のサンプルは、前記観測画像上の画素の位置、及び、前記パターンの空間方向の周波数、のうち少なくともいずれか一方の条件が異なるサンプルである
    ことを特徴とする請求項１に記載の３次元形状計測装置。
  3. 　前記３つ以上のサンプルは、前記観測画像上の３つ以上の画素について、１種類の周波数のパターンを用いて観測された輝度振幅値であり、
    　前記３つ以上の画素は、前記パターンの位相が互いに異なる位置にある画素である
    ことを特徴とする請求項１又は２に記載の３次元形状計測装置。
  4. 　前記３つ以上の画素は、前記観測画像上の局所領域から選択される
    ことを特徴とする請求項３に記載の３次元形状計測装置。
  5. 　前記３つ以上の画素は、前記観測画像上のエピポーラ線に平行な方向に並ぶ画素であることを特徴とする請求項３又は４に記載の３次元形状計測装置。
  6. 　前記３つ以上のサンプルは、前記観測画像上の１つの画素について、３種類以上の周波数のパターンを用いて観測された輝度振幅値である
    ことを特徴とする請求項１又は２に記載の３次元形状計測装置。
  7. 　前記制御装置は、
    　　輝度振幅値に関する第１の指標と、投影するパターンの空間方向の周波数に関する第２の指標と、１次反射光と２次反射光の位相差に関する第３の指標と、の関係を定義するリファレンス情報を記憶しており、
    　　前記３つ以上のサンプルと、各サンプルの観測時に投影したパターンの空間方向の周波数と、前記リファレンス情報とに基づいて、１次反射光と２次反射光の位相差を求めることを特徴とする請求項１～６のうちいずれか１項に記載の３次元形状計測装置。
  8. 　前記制御装置は、位相シフト法又はＭＰＳ（Ｍｉｃｒｏ　Ｐｈａｓｅ　Ｓｉｆｔｉｎｇ）により、前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出する
    ことを特徴とする請求項１～７のうちいずれか１項に記載の３次元形状計測装置。
  9. 　前記他の反射面は、鏡面性の反射面である
    ことを特徴とする請求項１～８のうちいずれか１項に記載の３次元形状計測装置。
  10. 　投影装置から投影するパターンの位相を変えながら撮像装置によって撮像された複数の観測画像を用いて計測対象物の３次元形状を計測する３次元形状計測方法において、
    　前記パターンは、時間方向と空間方向に周期性を有するパターンであり、
    　前記撮像装置で観測される観測光が、前記投影装置から投影された光が前記計測対象物上の計測点で反射し前記撮像装置に入射する１次反射光と、前記投影装置から投影され他の反射面で反射された光が前記計測対象物上の前記計測点で反射し前記撮像装置に入射する２次反射光との合成光であると仮定し、
    　前記３次元形状計測方法が、
    　前記複数の観測画像に基づいて、前記観測光の輝度振幅値について３つ以上のサンプルを取得するステップと、
    　前記３つ以上のサンプルを用いて下記式を解くことにより、前記２次反射光に起因する位相誤差を算出するステップと、
    　前記複数の観測画像に基づいて前記観測光の位相値を算出するステップと、
    　前記位相誤差を用いて前記観測光の位相値を補正することにより補正位相値を算出するステップと、
    　前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出するステップと、
    を含むことを特徴とする３次元形状計測方法。
    Figure JPOXMLDOC01-appb-M000002
    　Δθ：２次反射光に起因する位相誤差
    　ａ：１次反射光の輝度振幅値
    　ｂ：２次反射光の輝度振幅値
    　ｃ：観測光の輝度振幅値
    　α：１次反射光と２次反射光の位相差
  11. 　請求項１０に記載の３次元形状計測方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2017/042490 2017-03-07 2017-11-28 ３次元形状計測装置、３次元形状計測方法、及びプログラム Ceased WO2018163530A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780085657.4A CN110268223B (zh) 2017-03-07 2017-11-28 三维形状计测装置、三维形状计测方法以及非暂时性存储介质
US16/484,134 US11055863B2 (en) 2017-03-07 2017-11-28 Three-dimensional shape measurement device, three-dimensional shape measurement method, and program
EP17900273.8A EP3594618B1 (en) 2017-03-07 2017-11-28 Three-dimensional shape measurement device, three-dimensional shape measurement method, and program
KR1020197022561A KR102149707B1 (ko) 2017-03-07 2017-11-28 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-043115 2017-03-07
JP2017043115A JP2018146449A (ja) 2017-03-07 2017-03-07 ３次元形状計測装置及び３次元形状計測方法

Publications (1)

Publication Number Publication Date
WO2018163530A1 true WO2018163530A1 (ja) 2018-09-13

Family

ID=63447483

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042490 Ceased WO2018163530A1 (ja) 2017-03-07 2017-11-28 ３次元形状計測装置、３次元形状計測方法、及びプログラム

Country Status (6)

Country Link
US (1) US11055863B2 (ja)
EP (1) EP3594618B1 (ja)
JP (1) JP2018146449A (ja)
KR (1) KR102149707B1 (ja)
CN (1) CN110268223B (ja)
WO (1) WO2018163530A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186019B2 (ja) * 2017-06-20 2022-12-08 株式会社ミツトヨ 三次元形状計測装置及び三次元形状計測方法
US10656780B2 (en) * 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
JP2021018219A (ja) * 2019-07-24 2021-02-15 株式会社デンソーアイティーラボラトリ ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム
US11486700B2 (en) * 2019-07-29 2022-11-01 Korea Research Institute Of Standards And Science System and method for 3D shape measurement of freeform surface based on high-speed deflectometry using composite patterns
JP6797340B1 (ja) * 2020-03-24 2020-12-09 三菱電機株式会社 信号処理装置、レーダ装置および信号処理方法
WO2022108338A1 (ko) * 2020-11-19 2022-05-27 주식회사 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
US11270418B1 (en) 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
KR102374439B1 (ko) * 2020-11-19 2022-03-15 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
CN113960067A (zh) * 2021-10-25 2022-01-21 慧三维智能科技(苏州)有限公司 一种高亮面表面缺陷检测装置
CN118742784A (zh) * 2022-03-09 2024-10-01 雅马哈发动机株式会社 三维计测用运算装置、三维计测用程序、记录介质、三维计测装置及三维计测用运算方法
JP2024117880A (ja) 2023-02-20 2024-08-30 Juki株式会社 ３次元計測装置及び３次元計測方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062063A (ja) * 2003-08-18 2005-03-10 Ricoh Co Ltd 物体形状測定装置
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd ３次元形状測定方法及び測定装置
JP2008309551A (ja) 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP2009019941A (ja) * 2007-07-11 2009-01-29 Nikon Corp 形状測定方法
JP2011021970A (ja) * 2009-07-15 2011-02-03 Nikon Corp 三次元形状測定装置および三次元形状測定方法
JP2015021862A (ja) * 2013-07-19 2015-02-02 株式会社三次元メディア ３次元計測装置及び３次元計測方法
WO2016076796A1 (en) * 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016130663A (ja) * 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200604494A (en) * 2004-04-22 2006-02-01 Univ Electro Communications Small displacement measuring method and instrument
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2006023178A (ja) * 2004-07-07 2006-01-26 Olympus Corp ３次元計測方法及び装置
JP2007114071A (ja) * 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US20080013090A1 (en) * 2006-03-29 2008-01-17 Nikon Corporation Measurement method, measurement unit, processing unit, pattern forming method , and device manufacturing method
JP2014106110A (ja) * 2012-11-27 2014-06-09 Canon Inc 計測方法及び計測装置
JP2014115109A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
US9189705B2 (en) * 2013-08-08 2015-11-17 JSMSW Technology LLC Phase-controlled model-based overlay measurement systems and methods
CN103398675B (zh) * 2013-08-10 2016-06-15 南昌航空大学 一种基于条纹周期校正的复杂大物体三维测量方法
DE102013017500B3 (de) * 2013-10-17 2015-04-02 Faro Technologies, Inc. Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Szene
JP6364777B2 (ja) * 2014-01-10 2018-08-01 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法
JP2016000139A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 位相情報取得装置及び撮像システム
CN105761243A (zh) * 2016-01-28 2016-07-13 四川川大智胜软件股份有限公司 基于结构光投影的三维全脸照相系统及其照相方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062063A (ja) * 2003-08-18 2005-03-10 Ricoh Co Ltd 物体形状測定装置
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd ３次元形状測定方法及び測定装置
JP2008309551A (ja) 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP2009019941A (ja) * 2007-07-11 2009-01-29 Nikon Corp 形状測定方法
JP2011021970A (ja) * 2009-07-15 2011-02-03 Nikon Corp 三次元形状測定装置および三次元形状測定方法
JP2015021862A (ja) * 2013-07-19 2015-02-02 株式会社三次元メディア ３次元計測装置及び３次元計測方法
WO2016076796A1 (en) * 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016130663A (ja) * 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUPTA, MOHITSHREE K. NAYAR: "Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on", 2012, IEEE, article "Micro phase shifting"
See also references of EP3594618A4

Also Published As

Publication number Publication date
KR20190104367A (ko) 2019-09-09
JP2018146449A (ja) 2018-09-20
KR102149707B1 (ko) 2020-08-31
CN110268223B (zh) 2021-02-09
EP3594618B1 (en) 2021-11-17
EP3594618A4 (en) 2021-01-27
US20200020119A1 (en) 2020-01-16
CN110268223A (zh) 2019-09-20
EP3594618A1 (en) 2020-01-15
US11055863B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
KR102149707B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
KR102170029B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
JP5123522B2 (ja) ３次元計測方法及びそれを用いた３次元形状計測装置
JP5016520B2 (ja) ３次元形状計測方法および装置
EP1643210A1 (en) Method and apparatus for measuring shape of an object
TWI567364B (zh) 結構光產生裝置、量測系統及其方法
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
KR102218215B1 (ko) 상호 반사 검출 장치, 상호 반사 검출 방법 및 프로그램
JP2014115108A (ja) 距離計測装置
JP2014059164A (ja) 形状計測装置及び形状計測方法
CN112747686A (zh) 三维形貌测量装置
JP2014020870A (ja) 表面形状検査装置及び表面形状検査方法
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム
JP2020046229A (ja) 三次元形状測定装置及び三次元形状測定方法
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP6486010B2 (ja) 形状計測装置および形状計測方法
JP2016109580A (ja) 計測装置および計測方法
JP2008170282A (ja) 形状測定装置
JP2012211905A (ja) 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
CN118518028A (zh) 3维测量装置及3维测量方法
JP2021139644A (ja) 形状測定装置及び形状測定方法
JP2009014571A (ja) 三次元形状計測装置、三次元形状計測方法
JPH07208950A (ja) 表面形状３次元計測方法
JP2017184038A (ja) 投影制御装置、プログラム、及び投影システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900273

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197022561

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017900273

Country of ref document: EP

Effective date: 20191007