[go: up one dir, main page]

WO2018012130A1 - 画像処理方法、画像処理装置、撮像装置および撮像方法 - Google Patents

画像処理方法、画像処理装置、撮像装置および撮像方法 Download PDF

Info

Publication number
WO2018012130A1
WO2018012130A1 PCT/JP2017/020066 JP2017020066W WO2018012130A1 WO 2018012130 A1 WO2018012130 A1 WO 2018012130A1 JP 2017020066 W JP2017020066 W JP 2017020066W WO 2018012130 A1 WO2018012130 A1 WO 2018012130A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
camera
image processing
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/020066
Other languages
English (en)
French (fr)
Inventor
拓矢 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016138163A external-priority patent/JP6353872B2/ja
Priority claimed from JP2016181225A external-priority patent/JP6263589B1/ja
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to EP17827263.9A priority Critical patent/EP3487163B1/en
Priority to US16/313,805 priority patent/US10789679B2/en
Priority to CN201780040590.2A priority patent/CN109417602B/zh
Publication of WO2018012130A1 publication Critical patent/WO2018012130A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Definitions

  • the present invention relates to an image processing method, an image processing device, an imaging device, and an imaging method for generating an omnifocal image based on a plurality of captured images.
  • Patent Document 1 describes an apparatus for observing the culture state of a cell by photographing the cell with high resolution.
  • the apparatus of Patent Document 1 photographs a cell held together with a culture solution in a container with a camera.
  • it may be difficult to focus on all the cells in the culture medium in one image. For this reason, a plurality of shots are taken by changing the focal position of the camera, and a plurality of obtained images are combined to generate an omnifocal image that is in focus as a whole.
  • Patent Document 2 describes a conventional technique related to generation of an omnifocal image.
  • the apparatus of Patent Document 2 since the optical system from the specimen to the imaging means is non-telecentric, the magnification of the image changes when the focal position of the camera is changed. For this reason, the apparatus of Patent Document 2 generates an omnifocal image after unifying the magnification of the image by correction (see FIG. 2 of Patent Document 2).
  • the magnification correction is performed based on preliminarily stored design information of the magnifying optical system and sample position information (see paragraph 0054 of Patent Document 2).
  • the present invention has been made in view of such circumstances, and an image processing method, an image processing apparatus, and an image processing method that can accurately generate an omnifocal image even when the magnification of the image varies depending on the focal position of the camera.
  • An object is to provide an imaging device and an imaging method.
  • a first invention of the present application is an image processing method for generating an omnifocal image based on a plurality of captured images, and a) an object is changed while changing a focal position along an optical axis.
  • a second invention of the present application is an image processing device that generates an omnifocal image based on a plurality of photographed images, and is obtained by photographing a target object while changing a focal position along the optical axis.
  • An image storage unit that stores captured images, a magnification variation acquisition unit that acquires magnification variation between the plurality of captured images, and a pixel corresponding to each other between the plurality of captured images based on the magnification variation
  • An image reference value determining unit that determines an image reference value that is a number of the captured image to be referred to as a luminance value of each coordinate of the omnifocal image by comparing the sharpness between the corresponding pixels;
  • an omnifocal image generation unit that generates an omnifocal image with reference to the luminance value of the captured image indicated by the image reference value.
  • a third invention of the present application is an imaging device that shoots an object and generates an omnifocal image, a camera that shoots the object, a light projecting unit that irradiates light toward the object, A moving mechanism that changes the focal position of the camera along the optical axis; and a controller that controls the camera, the light projecting unit, and the moving mechanism, and that processes an image acquired by the camera, and
  • the control unit includes a) a step of acquiring a plurality of captured images by performing imaging with the camera while changing the focal position by the moving mechanism, and b) calculating a variation in magnification among the plurality of captured images. C) a step of reversely correcting the magnification variation for each of the plurality of photographed images; and d) generating an omnifocal image using the plurality of photographed images after the reverse correction. And performing a process.
  • a fourth invention of the present application is an imaging method for generating an omnifocal image by capturing an object, and a) capturing the object by the camera while changing a focal position of the camera along the optical axis. Performing a step of obtaining a plurality of photographed images; b) calculating a magnification variation between the plurality of photographed images; and c) reverse correction of the magnification variation for each of the plurality of photographed images. And d) generating an omnifocal image using the plurality of captured images after the reverse correction.
  • an omnifocal image can be generated with high accuracy.
  • FIG. 1 is a perspective view illustrating an example of a well plate set in the imaging apparatus.
  • FIG. 2 is a diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating connections between the control unit and each unit in the imaging apparatus.
  • FIG. 4 is a flowchart showing a flow of photographing processing in the imaging apparatus.
  • FIG. 5 is a diagram showing a state of the photographing process in one well.
  • FIG. 6 is a diagram showing an example of five captured images acquired for one well.
  • FIG. 7 is a diagram illustrating an example of a omnifocal image (comparative example) when a captured image is simply combined.
  • FIG. 8 is a flowchart showing a flow of image processing for generating one omnifocal image from five captured images.
  • FIG. 9 is a flowchart showing an example of processing in step S7.
  • FIG. 10 is a diagram conceptually showing a state of processing when obtaining a magnification variation amount and a parallel movement amount for two photographed images.
  • FIG. 11 is a diagram illustrating an example of five captured images after reverse correction.
  • FIG. 12 is a diagram illustrating an example of an omnifocal image when a captured image after reverse correction is combined.
  • FIG. 13 is a diagram illustrating a configuration of the imaging apparatus.
  • FIG. 14 is a block diagram illustrating a connection between the control unit and each unit in the imaging apparatus.
  • FIG. 15 is a block diagram conceptually showing functions realized in the control unit.
  • FIG. 16 is a flowchart showing a flow of photographing processing in the imaging apparatus.
  • FIG. 17 is a diagram showing a state of the photographing process in one well.
  • FIG. 18 is a diagram showing five photographed images photographed at the second photographing position in FIG.
  • FIG. 19 is a flowchart showing a flow of image processing for generating one omnifocal image from five captured images.
  • FIG. 20 is a flowchart showing an example of processing in step S21.
  • FIG. 21 is a diagram conceptually showing the state of the process in step S21.
  • FIG. 22 is a flowchart illustrating an example of shadow removal processing.
  • FIG. 23 is a diagram conceptually showing the state of shadow removal processing.
  • FIG. 24 is a diagram conceptually showing the relationship between five captured images and generated omnifocal images.
  • FIG. 1 is a perspective view showing an example of a well plate 9 set in the imaging apparatus 1.
  • the well plate 9 is a substantially plate-shaped sample container having a plurality of wells (recesses) 91.
  • a transparent resin that transmits light is used as the material of the well plate 9.
  • the plurality of wells 91 are regularly arranged on the upper surface of the well plate 9.
  • a plurality of cells 93 to be photographed are held together with the culture solution 92.
  • the shape of the well 91 in the top view may be a circle as shown in FIG. 1 or may be another shape such as a rectangle.
  • FIG. 2 is a diagram showing a configuration of the imaging apparatus 1 according to an embodiment of the present invention.
  • the imaging apparatus 1 captures a plurality of cells 93 in the well plate 9 a plurality of times while changing the focal position of the camera 40, combines the plurality of captured images obtained, and focuses on all the cells 93.
  • This is an apparatus that generates a combined image (omnifocal image) for observation with little blur.
  • the imaging device 1 is used, for example, in a screening process for narrowing down compounds that are drug candidates in the field of pharmaceutical research and development.
  • the person in charge of the screening process adds compounds having different concentrations or compositions to the plurality of wells 91 of the well plate 9.
  • the imaging device 1 the image of the cell 93 in each well 91 of the well plate 9 is acquired. Thereafter, the effectiveness of the compound added to the culture solution 92 is verified by comparing and analyzing the culture state of the cells 93 based on the obtained image.
  • the imaging device 1 may be used for observing cell differentiation in research and development of pluripotent stem cells such as IPS cells or ES cells.
  • the imaging apparatus 1 of this embodiment includes a stage 10, a light projecting unit 20, a light projecting unit moving mechanism 30, a camera 40, a camera moving mechanism 50, and a control unit 60.
  • the stage 10 is a mounting table that holds the well plate 9.
  • the position of the stage 10 in the imaging device 1 is fixed at least during photographing.
  • a rectangular opening 11 penetrating vertically is provided in the center of the stage 10.
  • the stage 10 has an annular support surface 12 at the edge of the opening 11.
  • the well plate 9 is fitted into the opening 11 and is supported horizontally by the support surface 12. Therefore, the upper and lower portions of each well 91 are exposed without being blocked by the stage 10.
  • the light projecting unit 20 is disposed above the well plate 9 held on the stage 10.
  • the light projecting unit 20 has a light source such as an LED.
  • the light source in the light projecting unit 20 emits light. Thereby, light is irradiated from the light projecting unit 20 downward.
  • the light projecting unit 20 only needs to irradiate light from the side opposite to the camera 40 toward the well plate 9. Therefore, the light source itself of the light projecting unit 20 may be arranged at a position off the upper side of the well plate 9, and the well plate 9 may be irradiated with light via an optical system such as a mirror.
  • the light projecting unit moving mechanism 30 is a mechanism for moving the light projecting unit 20 horizontally along the upper surface of the well plate 9 held on the stage 10.
  • a mechanism that converts the rotational motion of the motor into a straight motion via a ball screw is used for the light projecting unit moving mechanism 30.
  • the imaging apparatus 1 can arrange the light projecting unit 20 at a position above each well 91 by operating the light projecting unit moving mechanism 30. In FIG. 2, only one direction of arrow A ⁇ b> 1 is shown as the moving direction of the light projecting unit 20. However, the light projecting unit moving mechanism 30 may move the light projecting unit 20 in two directions (left and right direction and depth direction in FIG. 2) along the upper surface of the well plate 9.
  • the camera 40 is disposed below the well plate 9 held on the stage 10.
  • the camera 40 has an optical system such as a lens and an image sensor such as a CCD or CMOS.
  • the camera 40 photographs the portion of the well plate 9 while irradiating light from the light projecting unit 20 toward a portion of the well plate 9.
  • the image of the cell 93 in the well plate 9 can be acquired as digital data.
  • the acquired captured image is input from the camera 40 to the control unit 60.
  • the camera moving mechanism 50 is a mechanism that changes the height and horizontal position of the camera 40 while maintaining the posture of the camera 40. As shown in FIG. 2, the camera moving mechanism 50 includes an elevation moving mechanism 51 and a horizontal moving mechanism 52.
  • the elevating / lowering mechanism 51 is a mechanism for moving the camera 40 up and down.
  • the up-and-down movement mechanism 51 for example, a mechanism that converts the rotational movement of the motor into a straight movement through a ball screw is used.
  • the elevation moving mechanism 51 When the elevation moving mechanism 51 is operated, the height of the camera 40 changes.
  • the distance between the well plate 9 held on the stage 10 and the camera 40 that is, the imaging distance between the cell 93 and the camera 40) changes.
  • the camera 40 of this embodiment has a fixed focal length. For this reason, when the position of the camera 40 moves up and down, the focal position of the camera 40 also moves up and down along the optical axis.
  • the horizontal movement mechanism 52 is a mechanism for moving the camera 40 and the lifting / lowering movement mechanism 51 horizontally as a unit.
  • the imaging apparatus 1 can place the camera 40 at a position below each well 91 by operating the horizontal movement mechanism 52.
  • FIG. 2 only one direction of arrow A ⁇ b> 2 is shown as the moving direction of the camera 40 by the horizontal moving mechanism 52.
  • the camera moving mechanism 50 may move the camera 40 in two directions (the left-right direction and the depth direction in FIG. 2) along the lower surface of the well plate 9.
  • the light projecting unit moving mechanism 30 and the horizontal moving mechanism 52 described above are driven synchronously. Thereby, the light projection part 20 and the camera 40 are always arrange
  • the control unit 60 is configured by a computer, for example.
  • the control unit 60 has a function of controlling the operation of each unit in the imaging apparatus 1 and a function as an image processing apparatus that generates an omnifocal image based on a plurality of captured images input from the camera 40.
  • FIG. 3 is a block diagram illustrating the connection between the control unit 60 and each unit in the imaging apparatus 1.
  • the control unit 60 includes a processor 61 such as a CPU, a memory 62 such as a RAM, and a storage unit 63 such as a hard disk drive.
  • the storage unit 63 there are a control program P1 for controlling the operation of each unit in the imaging apparatus 1, and an image processing program P2 for generating an omnifocal image based on a captured image input from the camera 40. It is remembered.
  • control unit 60 is connected to the above-described light projecting unit 20, the light projecting unit moving mechanism 30, the camera 40, the lifting / lowering moving mechanism 51, and the horizontal moving mechanism 52 so as to communicate with each other. Yes.
  • the control unit 60 controls the operation of each unit described above according to the control program P1. Thereby, the imaging process of the cells 93 held in each well 91 of the well plate 9 proceeds.
  • the control unit 60 processes the captured image input from the camera 40 according to the image processing program P2, thereby generating an omnifocal image.
  • FIG. 4 is a flowchart showing a flow of photographing processing in the imaging apparatus 1.
  • FIG. 5 is a diagram showing the state of the photographing process in one well 91.
  • step S1 When the well plate 9 is set on the stage 10 of the imaging apparatus 1 and an operation start instruction is input to the control unit 60, the control unit 60 first operates the up-and-down movement mechanism 51. Thereby, the camera 40 is arranged at a predetermined height (step S1). As shown in FIG. 5, in this embodiment, it is assumed that the height of the camera 40 can be changed in five stages (first height H1 to fifth height H5). At the start of the photographing process, first, the camera 40 is arranged at the highest first height H1.
  • control unit 60 operates the light projecting unit moving mechanism 30 and the horizontal moving mechanism 52. Thereby, the light projection part 20 and the camera 40 are moved up and down the well 91 to be imaged (step S2). Then, the control unit 60 operates the light projecting unit 20 and the camera 40 to photograph the cells 93 held in the well 91 (step S3). That is, while the light L is radiated downward from the light projecting unit 20, the camera 40 performs photographing. Thereby, a photographed image from the first height H1 of the cell 93 held in the well 91 is obtained.
  • the control unit 60 determines whether or not there is a next well 91 to be imaged (step S4).
  • the light projecting unit moving mechanism 30 and the horizontal moving mechanism 52 are operated. Thereby, the light projection part 20 and the camera 40 are moved up and down the next well 91 (step S2).
  • the control unit 60 operates the light projecting unit 20 and the camera 40 to photograph the cells 93 held in the well 91 (step S3).
  • control unit 60 repeats the movement of the light projecting unit 20 and the camera 40 (step S2) and the photographing (step S3).
  • a photographed image photographed from the first height H1 is acquired for all the wells 91 to be photographed of the well plate 9.
  • step S5 determines whether or not to change the height of the camera 40.
  • a height that has not yet been photographed remains among the five heights H1 to H5 prepared in advance, it is determined that the height of the camera 40 should be changed (yes in step S5).
  • the control unit 60 determines that the height of the camera 40 should be changed to the second height H2 that is the next height.
  • the control part 60 When changing the height of the camera 40, the control part 60 operates the raising / lowering moving mechanism 51, and moves the camera 40 to the height which should be changed (step S1). Thereby, the focal position of the camera 40 is changed. Then, the processes in steps S2 to S4 described above are repeated. Thereby, the captured image of the cell 93 photographed from the height after the change is acquired for each well 91 of the well plate 9.
  • control unit 60 repeats the change of the height of the camera 40 (step S1) and the acquisition of captured images for the plurality of wells 91 (steps S2 to S4). As a result, five photographed images taken from the five heights H1 to H5 are obtained for each of the plurality of wells 91 of the well plate 9.
  • FIG. 6 is a diagram showing an example of five photographed images D1 to D5 acquired for one well 91.
  • the captured images D1 to D5 are captured images of the camera 40 arranged at the heights H1 to H5, respectively.
  • Each of the photographed images D1 to D5 includes one or two images of the two cells 93 held in the well 91.
  • the cell 93 on the right side in the figure is most focused in the captured image D2 of the camera 40 arranged at the height H2.
  • the cell 93 on the left side in the drawing is most focused on the captured image D4 of the camera 40 arranged at the height H4.
  • FIG. 7 is a diagram illustrating an example of a omnifocal image (comparative example) when a captured image is simply combined.
  • FIG. 8 is a flowchart showing a flow of image processing for generating one omnifocal image DA from five photographed images D1 to D5.
  • the control unit 60 first corrects errors of the captured images D1 to D5 (step S6).
  • the variation in the position of each of the captured images D1 to D5 due to the mechanical error of the imaging apparatus 1 is corrected.
  • the positions of the captured images D1 to D5 are corrected by the amount of the positioning error.
  • the magnification fluctuation amount and the parallel movement amount between the five photographed images D1 to D5 can be calculated more accurately.
  • control unit 60 calculates the magnification variation amount and the parallel movement amount between the five captured images D1 to D5 (step S7).
  • it is detected how much the size of the cell 93 or the position of the cell 93 has changed between the five captured images D1 to D5.
  • the magnitude of the magnification fluctuation caused by the meniscus of the culture solution 92 is calculated.
  • FIG. 9 is a flowchart showing an example of processing in step S7.
  • the magnification variation amount and the parallel movement amount are obtained for every two adjacent images when the five captured images D1 to D5 are arranged in the order of the focal positions.
  • FIG. 10 is a diagram conceptually showing a state of processing when obtaining the magnification variation amount and the parallel movement amount for the two photographed images D2 and D3.
  • step S7 first, one of the two photographed images is enlarged or reduced for each preset magnification to create a plurality of candidate images (step S71).
  • the photographed image D3 having the larger magnification is reduced for each preset magnification, and a plurality of candidate images D31, D32, D33,... Are created.
  • template matching is performed between the other of the two photographed images and each of the plurality of created candidate images (step S72).
  • template matching is performed between the captured image D2 and each of the plurality of candidate images D31, D32, D33,.
  • the candidate images D31, D32, D33,... are translated with respect to the captured image D2.
  • a matching score at each position is calculated.
  • the matching score is an image calculated by a known method such as SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), NCC (Normalized Cross-Correlation), ZNCC (Zero-mean Normalized Cross-Correlation).
  • An evaluation value representing the degree of similarity may be used.
  • the control unit 60 obtains the maximum value S of the matching score and the translation amount M at that time for each of the candidate images D31, D32, D33,... (Step S73). Then, the candidate image having the largest matching score maximum value S is set as a selected image for the captured image D3 (step S74). When the selected image is determined, the control unit 60 determines the magnification of the selected image as a magnification variation amount between the two captured images D2 and D3. Further, the translation amount M when the matching score of the selected image reaches the maximum value S is determined as the translation amount between the two photographed images D2 and D3 (step S75).
  • the control unit 60 executes the processes of steps S71 to S75 described above for every two adjacent images when the five captured images D1 to D5 are arranged in the order of the focal positions. Thereby, the magnification variation amount and the parallel movement amount are determined for every two images.
  • the control unit 60 uses one of the five photographed images D1 to D5 (for example, the photographed image D1) as a reference image, and performs another process for the reference image.
  • a magnification variation amount and a parallel movement amount of the photographed image are calculated (step S76).
  • the magnification variation amount of the photographed image D3 with respect to the photographed image D1 is a value obtained by multiplying the magnification variation amount between the two photographed images D1 and D2 and the magnification variation amount between the two photographed images D2 and D3.
  • the parallel movement amount of the photographed image D3 with respect to the photographed image D1 is the parallel movement amount between the two photographed images D1 and D2 and the parallel movement amount between the two photographed images D2 and D3. After correction, add the values.
  • step S7 the control unit 60 then selects a captured image other than the reference image among the five captured images D1 to D5 based on the magnification variation amount and the parallel movement amount calculated in step S76. Then, reverse correction is performed (step S8).
  • FIG. 11 is a diagram showing an example of five captured images D1 to D5 after reverse correction. In the example of FIG. 11, the other four photographed images D2 to D5 are reduced based on the magnification variation amount and translated based on the parallel displacement amount with reference to the photographed image D1 having the smallest magnification. Yes.
  • the control unit 60 generates the omnifocal image DA using the reference image and the four captured images after the reverse correction (step S9).
  • the reverse correction in step S8 described above is performed, the positions of the cells 93 in the captured images D1 to D5 coincide as shown in FIG. Therefore, by combining these captured images D1 to D5, an omnifocal image DA with less blur can be obtained as shown in FIG.
  • FIG. 12 is a diagram illustrating an example of an omnifocal image when a captured image after reverse correction is combined.
  • the imaging apparatus 1 does not store the magnification fluctuation amount and the parallel movement amount in the control unit 60 in advance, but based on the captured images D1 to D5 input from the camera 40, the magnification fluctuation amount and the parallel movement. Calculate the amount. Therefore, even if the magnification fluctuation amount and the parallel movement amount change depending on the shape of the meniscus of the culture solution 92, the omnifocal image DA can be generated in consideration of the magnification fluctuation amount and the parallel movement amount. Therefore, a high-quality omnifocal image DA can be generated for each well 91 of the well plate 9.
  • Second Embodiment> The imaging device according to the second embodiment will be described below. The description of the same members as those in the first embodiment is omitted.
  • FIG. 13 is a diagram illustrating a configuration of the imaging apparatus 2.
  • the imaging apparatus 2 of the present embodiment includes a stage 10, a light projecting unit 20, a light projecting unit moving mechanism 30, a camera 40, a focus moving mechanism 70, a camera moving mechanism 50, and a control unit 60. ing.
  • the camera 40 has an optical system 41 such as a lens and an image sensor 42 such as a CCD or CMOS.
  • the focal point moving mechanism 70 is a mechanism that changes the focal position of the camera 40.
  • the focal point moving mechanism 70 of the present embodiment moves some optical components included in the optical system 41 of the camera 40. Thereby, the focal position of the camera 40 is changed along the optical axis.
  • the focal point moving mechanism 70 can finely change the focal position of the camera 40 up and down in the vicinity of the cell 93 in the well plate 9.
  • a small motor is used for the focal point moving mechanism 70.
  • the camera moving mechanism 50 is a mechanism that changes the position of the camera 40 in the horizontal direction while maintaining the posture of the camera 40.
  • the camera moving mechanism 50 moves the camera 40 and the focus moving mechanism 70 horizontally as a unit.
  • As the camera moving mechanism 50 for example, a mechanism that converts the rotational motion of the motor into a straight motion via a ball screw is used.
  • the imaging apparatus 2 can place the camera 40 at a specified position below the well 91 by operating the camera moving mechanism 50. In FIG. 13, only one direction of arrow A2 is shown as the moving direction of the camera 40 by the camera moving mechanism 50. However, the camera moving mechanism 50 may move the camera 40 in two directions (the left-right direction and the depth direction in FIG. 13) along the lower surface of the well plate 9.
  • the light projecting unit moving mechanism 30 and the camera moving mechanism 50 described above are driven synchronously. Thereby, the light projection part 20 and the camera 40 are always arrange
  • the control unit 60 is configured by a computer, for example.
  • the control unit 60 has a function as a control device that controls the operation of each unit in the imaging device 2 and a function as an image processing device that generates an omnifocal image based on a plurality of captured images input from the camera 40.
  • FIG. 14 is a block diagram illustrating the connection between the control unit 60 and each unit in the imaging apparatus 2. As illustrated in FIG. 14, the control unit 60 is connected to the above-described light projecting unit 20, the light projecting unit moving mechanism 30, the camera 40, the focus moving mechanism 70, and the camera moving mechanism 50 so that they can communicate with each other.
  • FIG. 15 is a block diagram conceptually showing functions realized in the control unit 60.
  • the control unit 60 includes an imaging control unit 601 and an image processing unit 602.
  • the imaging control unit 601 controls operations of the light projecting unit 20, the light projecting unit moving mechanism 30, the camera 40, the focus moving mechanism 70, and the camera moving mechanism 50 according to the control program P1. Thereby, the imaging process of the cells 93 held in each well 91 of the well plate 9 proceeds.
  • the image processing unit 602 generates an omnifocal image by processing a plurality of captured images input from the camera 40 according to the image processing program P2.
  • the image processing unit 602 includes an image storage unit 621, an error correction unit 622, a magnification variation acquisition unit 623, an image reference value determination unit 624, a shadow removal processing unit 625, and an omnifocal image generation unit 626. And a tiling processing unit 627. Specific processing performed by each of these units will be described later.
  • FIG. 16 is a flowchart showing the flow of shooting processing in the image pickup apparatus 2.
  • FIG. 17 is a diagram showing a state of the photographing process in one well 91.
  • the imaging control unit 601 of the control unit 60 first operates the focus moving mechanism 70. Thereby, the focus position of the camera 40 is adjusted to a predetermined height (step S11). As shown in FIG. 17, in this embodiment, it is assumed that the focus position of the camera 40 can be changed in five stages (first focus position H1 to fifth focus position H5). At the start of the photographing process, first, the camera 40 is focused on the highest first focus position H1.
  • step S ⁇ b> 1 ends, the control unit 60 operates the light projecting unit moving mechanism 30 and the camera moving mechanism 50 based on the coordinate information. As a result, the camera 40 is moved to the first shooting position X1 where the first shooting should be performed, and the light projecting unit 20 is moved above the first shooting position X1 (step S12).
  • control unit 60 operates the light projecting unit 20 and the camera 40 to perform imaging from the first imaging position X1 (step S13). That is, the camera 40 takes a picture while irradiating light downward from the light projecting unit 20. As a result, a photographed image at the first focal position H1 photographed from the first photographing position X1 is obtained.
  • the control unit 60 determines whether or not there is a next shooting position to be shot (step S14).
  • the light projecting unit moving mechanism 30 and the camera moving mechanism 50 are operated. Accordingly, the camera 40 is moved to the next second shooting position X2, and the light projecting unit 20 is moved above the second shooting position X2 (step S12).
  • the control part 60 operates the light projection part 20 and the camera 40, and image
  • control unit 60 repeats the movement of the light projecting unit 20 and the camera 40 (step S12) and the photographing (step S13).
  • the captured images at the first focal position H1 are acquired at all the preset capturing positions.
  • step S15 the control unit 60 determines whether or not to change the focal position of the camera 40 (step S15).
  • a focus position that has not yet been photographed remains among the five focus positions H1 to H5
  • it is determined that the focus position of the camera 40 should be changed yes in step S15.
  • the control unit 60 determines that the focal position of the camera 40 should be changed to the second focal position H2 that is the next focal position.
  • control unit 60 When changing the focal position of the camera 40, the control unit 60 operates the focal point moving mechanism 70 to move the focal position of the camera 40 to a position to be changed (step S11). Then, the processes in steps S12 to S14 described above are repeated. Thereby, the photographic images at the changed focal positions are acquired at all the photographing positions set in advance.
  • control unit 60 repeats the change of the focal position of the camera 40 (step S11) and the acquisition of captured images from a plurality of shooting positions (steps S12 to S14). As a result, five photographed images photographed at the five focal positions H1 to H5 are obtained at each of a plurality of preset photographing positions.
  • FIG. 18 is a view showing five photographed images D1 to D5 photographed at the second photographing position X2 in FIG.
  • the first captured image D1 to the fifth captured image D5 in FIG. 18 are captured images at the first focal position H1 to the fifth focal position H5 in FIG. 17, respectively.
  • Each of the photographed images D1 to D5 includes one or two images of the two cells 93 held in the well 91.
  • the cell 93 on the right side in the drawing is most focused in the second photographed image D2 photographed at the second focal position H2.
  • the cell 93 on the left side in the drawing is most focused in the fourth captured image D4 captured at the fourth focal position H4.
  • the observation of the cell 93 is preferably performed at a focal position where the cell is in focus.
  • the control unit 60 of the imaging apparatus 2 combines the luminance values of the pixels included in the plurality of captured images D1 to D5 to generate an all-in-focus image with less blur that is in focus on all the cells 93.
  • the magnification of the captured images D1 to D5 increases as the focal position height decreases. Therefore, among the five photographed images D1 to D5, the first photographed image D1 has the smallest magnification, and the fifth photographed image D5 has the largest magnification.
  • the position of the cell 93 or the size of the cell 93 in each captured image changes according to the magnification of the captured image.
  • the control unit 60 of the imaging device 2 generates an omnifocal image in consideration of such magnification variation.
  • FIG. 19 is a flowchart showing a flow of image processing for generating one omnifocal image from five photographed images D1 to D5.
  • the control unit 60 stores a plurality of captured images D1 to D5 obtained by the above-described imaging processing in the image storage unit 621 (step S16). Further, the error correction unit 622 of the control unit 60 corrects the errors of the captured images D1 to D5 (step S17).
  • variations in the positions of the captured images D1 to D5 due to the mechanical error of the imaging device 2 are corrected. For example, when there is a known positioning error in the camera moving mechanism 50, the positions of the captured images D1 to D5 are corrected by the positioning error. Thereby, in the next step S18, the magnification fluctuation amount and the parallel movement amount between the five captured images D1 to D5 can be calculated more accurately.
  • the magnification variation acquisition unit 623 of the control unit 60 calculates a magnification variation amount and a parallel movement amount between the five captured images D1 to D5 (step S18). Here, it is detected how much the size of the cell 93 or the position of the cell 93 has changed between the five captured images D1 to D5. Thereby, the magnitude of the magnification fluctuation caused by the meniscus of the culture solution 92 is calculated.
  • step S18 The example of the process in step S18 is the same as in FIG. In step S18, the magnification fluctuation acquisition unit 623 executes the process shown in FIG.
  • the image reference value determination unit 624 of the control unit 60 specifies corresponding pixels among the five captured images D1 to D5 (step S19).
  • the pixels determined to be the same position in the well 91 in each of the captured images D1 to D5 are specified as corresponding pixels.
  • the image reference value determination unit 624 of the control unit 60 calculates the sharpness at each of the corresponding pixels of the five captured images D1 to D5 (step S20).
  • the sharpness is an index indicating the sharpness of the image in the vicinity of the pixel.
  • the sharpness is calculated based on, for example, a change in luminance of a pixel in a certain area centered on the pixel.
  • a dispersion value of luminance of peripheral pixels, a maximum value of luminance, a minimum value of luminance, a luminance value of the pixel itself, or the like may be used.
  • the image reference value determination unit 624 of the control unit 60 compares the sharpness of the corresponding pixels of the five captured images D1 to D5. Based on the comparison result, an image reference value is determined for each coordinate of the omnifocal image (step S21).
  • the image reference value is a parameter indicating the number of the captured image to be referred to as the luminance value of each coordinate of the omnifocal image. For example, when the luminance value of the first captured image D1 should be referred to for a certain coordinate of the omnifocal image, the image reference value is set to “1”.
  • FIG. 20 is a flowchart showing an example of processing in step S21.
  • FIG. 21 is a diagram conceptually showing the state of the process in step S21.
  • step S21 first, the sharpness is compared between the target pixel Pa located at the same coordinate in the plurality of captured images and the corresponding pixel Pb in another captured image corresponding to the target pixel Pa (step S21a).
  • the target pixel Pa is indicated by a black circle
  • the corresponding pixel Pb is indicated by a white circle.
  • the target pixel Pa and the corresponding pixel Pb in another captured image corresponding to the target pixel Pa are connected by a broken line.
  • five photographed images D1 to D5 are acquired at one photographing position. For this reason, as shown in FIG. 21, five target pixels Pa and 20 corresponding pixels Pb are set for one coordinate.
  • the image reference value determination unit 624 determines the sharpness of the corresponding pixel Pb for each target pixel Pa (that is, for each group including one target pixel Pa and four corresponding pixels Pb corresponding thereto).
  • An evaluation value indicating the strength of the sharpness of the pixel of interest Pa is calculated (step S21b).
  • the evaluation value may be calculated, for example, by dividing the sharpness of the target pixel Pa by the total value of the sharpness of the four corresponding pixels Pb.
  • the evaluation value calculation method is not limited to this.
  • the image reference value determination unit 624 sets, as the image reference value, the number of the captured image to which the target pixel Pa having the largest evaluation value among the target pixels Pa in the five captured images D1 to D5 belongs (step S21c). . For example, if the evaluation value of the target pixel Pa set in the fourth captured image D4 is the largest among the five target pixels Pa illustrated in FIG. 21, the image reference value at this coordinate is set to “4”. . Thereby, an image reference value at one coordinate is determined. The image reference value determination unit 624 executes the processes in steps S21a to S21c for each coordinate. As a result, an image reference value indicating a captured image to be referred to is determined for each coordinate of the omnifocal image DA.
  • the above image processing involves coordinate calculation based on the amount of magnification variation. For this reason, when determining the image reference value in step S ⁇ b> 21, it is likely that the pixel in the blurred portion is selected. Then, in the omnifocal image DA generated in step S23 to be described later, for example, a shadow-like region is generated around the focused cell 93.
  • FIG. 22 is a flowchart illustrating an example of shadow removal processing.
  • FIG. 23 is a diagram conceptually showing the state of shadow removal processing. In the upper part of FIG. 23, an example of the omnifocal image DA generated without executing the shadow removal process is shown. In the omnifocal image DA, an image of the unfocused cell 93 in the first photographed image D1 that should not be selected appears in the vicinity of the right cell 93.
  • the shadow removal processing unit 625 first, for each coordinate, the image reference value In and the sharpness En of the coordinate itself, and the distance corresponding to the magnification change in the direction of the magnification change with respect to the coordinate.
  • the image reference value Ip and sharpness Ep of other distant coordinates and their peripheral coordinates are compared (step S12a).
  • the image reference value In of the coordinate Pn of interest is “1”, and the sharpness En is “25”.
  • the image reference value Ip of the coordinates Pp to be compared is “2”, and the sharpness Ep is “80”.
  • the shadow removal processing unit 625 determines whether the relationship between the image reference value In of the coordinate Pn of interest and the image reference value Ip of the coordinate Pp to be compared corresponds to the distance Mp between the two coordinates. Judgment is made (step S22b). Specifically, it is determined whether or not the magnification variation amount between the captured images referred to by the image reference values In and Ip corresponds to the distance Mp between the two coordinates. If it is determined that they do not correspond, the image reference value In of the coordinate Pn of interest is held without being changed.
  • step S22b if it is determined in step S22b that the relationship between the image reference values In and Ip corresponds to the distance Mp between the two coordinates, the shadow removal processing unit 625 next selects the coordinates to be compared. It is determined whether the sharpness Ep of Pp and its peripheral coordinates is sufficiently larger than the sharpness En of the coordinate Pn itself of interest (step S22c). Specifically, it is determined whether or not the coordinates Pp to be compared and the sharpness Ep of the peripheral coordinates are all greater than a predetermined threshold value than the sharpness En of the coordinate of interest itself. If it is determined that the sharpness Ep is not sufficiently greater than the sharpness En, the image reference value In of the coordinate Pn of interest is held without being changed.
  • step S22d when it is determined in step S22d that the sharpness Ep of the coordinate Pp to be compared and its peripheral coordinates is sufficiently larger than the sharpness En of the coordinate Pn itself, the image of the coordinate Pn of interest The reference value In is replaced with the image reference value Ip of the coordinates Pp to be compared (step S22d).
  • the image reference value In of the coordinate Pn of interest is rewritten from 1 to 2.
  • the blurred portion of the cell 93 when the blurred portion of the cell 93 is adopted in the omnifocal image DA, the blurred portion is converted into a captured image at the in-focus position (in the example of FIG. 2 can be replaced with the luminance value of the captured image D2).
  • a shadow generated in the omnifocal image DA can be removed as shown in the lower diagram of FIG.
  • step S22 may be executed after the omnifocal image is generated in step S23.
  • the omnifocal image generation unit 626 of the control unit 60 subsequently generates an omnifocal image (step S23).
  • the luminance value is determined with reference to the luminance value of the captured image indicated by the image reference value determined in steps S21 to S22.
  • the luminance value of each coordinate of the omnifocal image may be the luminance value itself of the target pixel Pa of the captured image indicated by the image reference value, or another value calculated based on the luminance value of the target pixel Pa. Also good.
  • FIG. 24 is a diagram conceptually showing the relationship between the five captured images D1 to D5 and the generated omnifocal image DA.
  • pixels corresponding to each other for example, pixels connected by a broken line in FIG. 24
  • an image reference value is determined for each coordinate of the omnifocal image DA.
  • an omnifocal image is generated with reference to the luminance value of the captured image indicated by the image reference value for each coordinate.
  • the omnifocal image DA can be generated even when there is a variation in magnification between the plurality of captured images.
  • an omnifocal image DA that accurately reflects the position and size of the cell 93 can be generated.
  • the tiling processing unit 627 of the control unit 60 arranges (tiles) a plurality of omnifocal images DA having different fields of view obtained by photographing from different photographing positions. Thereby, one result image representing the whole well 91 is generated (step S24).
  • an omnifocal image DA that accurately reflects the position and size of the cell 93 can be generated. For this reason, when performing tiling, the positions and sizes of the cells 93 are accurately aligned between adjacent omnifocal images DA. Accordingly, it is possible to suppress image disturbance at the boundary of the omnifocal image DA in the result image.
  • the reverse correction of the parallel movement amount may be omitted in step S8 or step S18 described above.
  • the center position of the magnification fluctuation is likely to fluctuate, it is better to reversely correct each captured image with respect to both the magnification fluctuation amount and the parallel movement amount as in the above-described embodiment. .
  • the position of the cell 93 in each of the captured images D1 to D5 can be matched with high accuracy.
  • both the magnification fluctuation amount and the parallel movement amount are calculated as in the above embodiment, and in step S9, the magnification fluctuation amount and the parallel movement amount are calculated. It is better to identify the corresponding pixels between the captured images based on the amount of movement. Thereby, the corresponding pixel of each captured image can be identified more accurately.
  • the magnification variation amount and the parallel movement amount are obtained for every two adjacent images when the five photographed images D1 to D5 are arranged in the order of the focal positions.
  • the magnification variation amount and the parallel movement amount may be obtained between two images separated from each other.
  • the change of the cell 93 in each captured image is small between two adjacent images. For this reason, it is easy to associate the same cell 93 between two captured images. Therefore, the magnification fluctuation amount and the parallel movement amount can be obtained with higher accuracy by template matching in step S72.
  • step S75 the magnification and the translation amount of the selected image itself are set as the magnification variation amount and the translation amount between the two images.
  • the magnification fluctuation amount and the parallel movement amount may be calculated with higher accuracy by function approximation such as parabolic fitting.
  • step S8 or step S9 the other captured images D2 to D5 are reduced with the captured image D1 having the smallest magnification as a reference. In this way, the resolution of the captured images D2 to D5 does not decrease, and it is not necessary to perform interpolation processing.
  • step S8 any one of the captured images D2 to D5 may be used as a reference image, and the other images may be enlarged or reduced.
  • the calculation load on the control unit 60 may be reduced by reducing the captured images D1 to D5.
  • the magnification fluctuation amount between the captured images is calculated after acquiring a plurality of captured images.
  • the magnification variation amount may be stored in the control unit 60 in advance.
  • the cells 93 to be observed are held in the plurality of wells 91 of the well plate 9.
  • the cell 93 may be held in a container other than the well plate 9.
  • the cell 93 may be held in a petri dish.
  • the individual wells 91 in which the cells 93 are held are relatively small. Therefore, the meniscus of the culture solution 92 is more likely to affect the captured image. Therefore, the present invention is particularly useful.
  • the cells 93 are held together with the culture solution 92 in the well plate 9.
  • the cells 93 may be held together with a gel-like medium.
  • the surface shape of the gel medium is not constant. For this reason, the magnification fluctuation of the photographed image with respect to the photographing distance occurs due to the influence of the surface shape of the culture medium. Therefore, a beautiful omnifocal image cannot be obtained by simply combining the captured images.
  • the position of the cells 93 in each captured image can be aligned by obtaining the magnification variation amount and the parallel movement amount and performing reverse correction. Therefore, an omnifocal image with less blur can be generated.
  • the single cell 93 is the object to be photographed.
  • the object to be imaged may be a cell cluster (spheroid) in which a plurality of cells are gathered three-dimensionally.
  • the object to be imaged may be an object other than a cell that is held in a container together with a liquid or gel substance.
  • the light projecting unit 20 is disposed above the object to be photographed, and the camera 40 is disposed below the object to be photographed.
  • the light projecting unit 20 may be disposed below the photographing object, and the camera 40 may be disposed above the photographing object.
  • the light projecting unit 20 and the camera 40 may be arranged on the same side with respect to the object to be photographed, and the reflected light of the light emitted from the light projecting unit 20 may enter the camera 40.
  • the focal position of the camera 40 is changed along the optical axis by moving the camera 40 up and down.
  • the focal position of the camera 40 may be changed along the optical axis by fixing the position of the camera 40 and moving an optical system such as a lens.
  • the focal position of the camera 40 is changed by moving some optical components included in the optical system 41 of the camera 40.
  • the focal position of the camera 40 in the well 91 may be changed along the optical axis by moving the entire camera 40 up and down.
  • the focal position of the camera 40 relative to the container may be changed relatively by moving the container holding the object to be photographed up and down.
  • the “movement mechanism” in the present invention may be any of a mechanism for moving some optical components in the camera 40, a mechanism for moving the entire camera 40, and a mechanism for moving the container.
  • the position of the container that holds the object to be photographed is fixed, and the light projecting unit 20 and the camera 40 are moved in the horizontal direction.
  • the positions of the light projecting unit 20 and the camera 40 may be fixed and the container may be moved in the horizontal direction.
  • the position of the object to be imaged is fixed as in the above embodiment.
  • the height of the camera 40 can be changed in five stages, and five captured images are acquired for each well 91.
  • the number of captured images for each well 91 may be two to four, or may be six or more.
  • the focal position of the camera 40 can be changed in five stages, and five captured images D1 to D5 are acquired for one field of view.
  • the number of captured images acquired for one field of view may be two to four, or may be six or more.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

まず、焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像（Ｄ１～Ｄ５）を取得する。次に、複数の撮影画像（Ｄ１～Ｄ５）の間における倍率変動を取得する。続いて、倍率変動に基づき、複数の撮影画像（Ｄ１～Ｄ５）の間において、互いに対応する画素を特定するとともに、対応する画素同士で、鮮鋭度を比較する。そして、鮮鋭度の比較結果に基づいて、全焦点画像（ＤＡ）の各座標の輝度値として参照すべき撮影画像の番号である画像参照値を決定する。その後、座標毎に、画像参照値が示す撮影画像の輝度値を参照して、全焦点画像（ＤＡ）を生成する。これにより、対象物の位置および大きさを精度よく反映した全焦点画像（ＤＡ）を生成できる。

Description

画像処理方法、画像処理装置、撮像装置および撮像方法
　本発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理方法、画像処理装置、撮像装置および撮像方法に関する。
　特許文献１には、細胞を高解像度で撮影することによって、細胞の培養状態を観察する装置が記載されている。特許文献１の装置は、容器内に培養液とともに保持された細胞を、カメラで撮影する。このような装置では、１回の撮影で、培養液中の全ての細胞に焦点を合わせることが難しい場合がある。このため、カメラの焦点位置を変えて複数回の撮影を行い、得られた複数の画像を合成することによって、全体に焦点が合ったような全焦点画像を生成する。
　特許文献２には、全焦点画像の生成に関する従来の技術が記載されている。特許文献２の装置では、標本から撮像手段までの光学系が非テレセントリックであるため、カメラの焦点位置を変えると画像の倍率が変化する。このため、特許文献２の装置は、画像の倍率を補正により統一した上で、全焦点画像を生成している（特許文献２の図２等参照）。倍率の補正は、予め保存された拡大光学系の設計情報と、標本の位置情報とに基づいて、行われている（特許文献２の段落００５４等参照）。
特開２０１６－１４９７４号公報 特開２０１１－７８７２号公報
　特許文献１の装置のように、培養液中の細胞を撮影する場合には、表面張力によって、培養液の表面が凹状のメニスカスを形成する。このため、培養液の表面において光が屈折する。その結果、カメラの焦点位置によって、画像の倍率（視野の広さ）が変動する。したがって、全焦点画像の生成にあたっては、複数回の撮影により得られた画像間の倍率変動を考慮しなければならない。
　例えば、複数回の撮影により得られた画像間の倍率変動量に応じて、特許文献２のように、各画像の倍率を補正して、全焦点画像を生成することが考えられる。しかしながら、各画像の倍率を補正すると、画像中の細胞の大きさ、または複数の細胞の間隔が変化してしまうという問題がある。
　特に、異なる視野において得られた複数の全焦点画像を配列して、１つの結果画像を生成する場合には、隣り合う全焦点画像の間で、細胞の位置および大きさを整合させる必要がある。しかしながら、上記のように、画像ごとに倍率を補正すると、隣り合う全焦点画像の間で、細胞の位置および大きさが、精度よく整合しない。このため、結果画像中の全焦点画像の境目において、画像の乱れが生じる。
　また、メニスカスの影響は、容器の形状、培養液の種類、経過時間、培養環境などの様々な条件によって変化する。このため、特許文献２のように、予め用意された情報に基づいて、画像の倍率を補正することはできない。
　本発明は、このような事情に鑑みなされたものであり、カメラの焦点位置によって画像の倍率が変動する場合であっても、精度よく全焦点画像を生成できる画像処理方法、画像処理装置、および撮像装置および撮像方法を提供することを目的とする。
　上記課題を解決するため、本願の第１発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理方法であって、ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像間における倍率変動を取得する工程と、ｃ）前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較する工程と、ｄ）前記工程ｃ）の比較結果に基づいて、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する工程と、ｅ）座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する工程と、を有する。
　本願の第２発明は、複数の撮影画像に基づいて全焦点画像を生成する画像処理装置であって、焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、前記複数の撮影画像間における倍率変動を取得する倍率変動取得部と、前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較することによって、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する全焦点画像生成部と、を有する。
　本願の第３発明は、対象物を撮影して全焦点画像を生成する撮像装置であって、前記対象物を撮影するカメラと、前記対象物に向けて光を照射する投光部と、前記カメラの焦点位置を光軸に沿って変化させる移動機構と、前記カメラ、前記投光部、および前記移動機構を制御するとともに、前記カメラが取得した画像を処理する制御部と、を備え、前記制御部は、ａ）前記移動機構により前記焦点位置を変化させつつ、前記カメラによる撮影を行うことにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像間における倍率変動を算出する工程と、ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、を実行する。
　本願の第４発明は、対象物を撮影して全焦点画像を生成する撮像方法であって、ａ）カメラの焦点位置を光軸に沿って変化させつつ、前記カメラによる前記対象物の撮影を行うことにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像間における倍率変動を算出する工程と、ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、を有する。
　本発明によれば、精度よく全焦点画像を生成できる。
図１は、撮像装置にセットされるウェルプレートの一例を示す斜視図である。 図２は、本発明の一実施形態に係る撮像装置の構成を示した図である。 図３は、制御部と、撮像装置内の各部との接続を示したブロック図である。 図４は、撮像装置おける撮影処理の流れを示したフローチャートである。 図５は、１つのウェルにおける撮影処理の様子を示した図である。 図６は、１つのウェルについて取得された５つの撮影画像の例を示した図である。 図７は、撮影画像を単純に合成した場合の全焦点画像の例（比較例）を示した図である。 図８は、５つの撮影画像から、１つの全焦点画像を生成するための画像処理の流れを示したフローチャートである。 図９は、ステップＳ７における処理の例を示したフローチャートである。 図１０は、２つの撮影画像について、倍率変動量と平行移動量とを求めるときの処理の様子を、概念的に示した図である。 図１１は、逆補正後の５つの撮影画像の例を示した図である。 図１２は、逆補正後の撮影画像を合成した場合の全焦点画像の例を示した図である。 図１３は、撮像装置の構成を示した図である。 図１４は、制御部と、撮像装置内の各部との接続を示したブロック図である。 図１５は、制御部内において実現される機能を、概念的に示したブロック図である。 図１６は、撮像装置おける撮影処理の流れを示したフローチャートである。 図１７は、１つのウェルにおける撮影処理の様子を示した図である。 図１８は、図１７の第２撮影位置において撮影された５つの撮影画像を示した図である。 図１９は、５つの撮影画像から、１つの全焦点画像を生成するための画像処理の流れを示したフローチャートである。 図２０は、ステップＳ２１における処理の例を示したフローチャートである。 図２１は、ステップＳ２１の処理の様子を、概念的に示した図である。 図２２は、影除去処理の例を示したフローチャートである。 図２３は、影除去処理の様子を、概念的に示した図である。 図２４は、５つの撮影画像と、生成される全焦点画像との関係を、概念的に示した図である。
　以下、本発明の好適な実施形態について、図面を参照しつつ説明する。
　＜１．実施形態１＞
　＜１．１．撮像装置の構成＞
　図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。ウェルプレート９は、複数のウェル（窪部）９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。図１に示すように、複数のウェル９１は、ウェルプレート９の上面に、規則的に配列されている。各ウェル９１内には、培養液９２とともに、撮影対象物となる複数の細胞９３が保持される。なお、上面視におけるウェル９１の形状は、図１のような円形であってもよく、矩形等の他の形状であってもよい。
　図２は、本発明の一実施形態に係る撮像装置１の構成を示した図である。この撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影し、得られた複数の撮影画像を合成して、全ての細胞９３に焦点が合ったようなボケの少ない観察用の合成画像（全焦点画像）を生成する装置である。
　撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度または組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像を取得する。その後、得られた画像に基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。
　ただし、撮像装置１は、ＩＰＳ細胞またはＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。
　図２に示すように、本実施形態の撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、カメラ移動機構５０、および制御部６０を備えている。
　ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。
　投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。後述する撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、カメラ４０とは反対側からウェルプレート９に向けて、光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。
　投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。
　カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系と、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有する。後述する撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部６０へ入力される。
　カメラ移動機構５０は、カメラ４０の姿勢を維持しつつ、カメラ４０の高さおよび水平方向の位置を変化させる機構である。図２に示すように、カメラ移動機構５０は、昇降移動機構５１と水平移動機構５２とを有する。
　昇降移動機構５１は、カメラ４０を上下に移動させる機構である。昇降移動機構５１には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。昇降移動機構５１を動作させると、カメラ４０の高さが変化する。これにより、ステージ１０に保持されたウェルプレート９とカメラ４０との距離（すなわち、細胞９３とカメラ４０との間の撮影距離）が変化する。本実施形態のカメラ４０は、一定の焦点距離を有する。このため、カメラ４０の位置が上下に移動すると、カメラ４０の焦点位置も、光軸に沿って上下に移動する。
　水平移動機構５２は、カメラ４０および昇降移動機構５１を、一体として水平に移動させる機構である。水平移動機構５２には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、水平移動機構５２を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、水平移動機構５２によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構５０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。
　なお、上述した投光部移動機構３０と、水平移動機構５２とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。
　制御部６０は、例えば、コンピュータにより構成される。制御部６０は、撮像装置１内の各部を動作制御する機能と、カメラ４０から入力された複数の撮影画像に基づいて全焦点画像を生成する画像処理装置としての機能と、を有する。図３は、制御部６０と、撮像装置１内の各部との接続を示したブロック図である。図３中に概念的に示したように、制御部６０は、ＣＰＵ等のプロセッサ６１、ＲＡＭ等のメモリ６２、およびハードディスクドライブ等の記憶部６３を有する。記憶部６３内には、撮像装置１内の各部を動作制御するための制御プログラムＰ１と、カメラ４０から入力された撮影画像に基づいて全焦点画像を生成するための画像処理プログラムＰ２と、が記憶されている。
　また、図３に示すように、制御部６０は、上述した投光部２０、投光部移動機構３０、カメラ４０、昇降移動機構５１、および水平移動機構５２と、それぞれ通信可能に接続されている。制御部６０は、制御プログラムＰ１に従って、上記の各部を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。また、制御部６０は、カメラ４０から入力された撮影画像を、画像処理プログラムＰ２に従って処理することにより、全焦点画像を生成する。
　＜１．２．撮影処理について＞
　続いて、上述した撮像装置１の動作について、説明する。図４は、撮像装置１おける撮影処理の流れを示したフローチャートである。図５は、１つのウェル９１における撮影処理の様子を示した図である。
　撮像装置１のステージ１０に、ウェルプレート９がセットされて、制御部６０に動作開始の指示が入力されると、制御部６０は、まず、昇降移動機構５１を動作させる。これにより、カメラ４０を所定の高さに配置する（ステップＳ１）。図５に示すように、本実施形態では、カメラ４０の高さを５段階（第１高さＨ１～第５高さＨ５）に変更できるものとする。撮影処理の開始時には、まず、最も高い第１高さＨ１にカメラ４０が配置される。
　次に、制御部６０は、投光部移動機構３０および水平移動機構５２を、動作させる。これにより、投光部２０およびカメラ４０を、撮影すべきウェル９１の上下に移動させる（ステップＳ２）。そして、制御部６０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。すなわち、投光部２０から下方へ向けて光Ｌを照射しつつ、カメラ４０による撮影を行う。これにより、当該ウェル９１内に保持された細胞９３の、第１高さＨ１からの撮影画像が得られる。
　続いて、制御部６０は、撮影対象となる次のウェル９１があるか否かを判断する（ステップＳ４）。次のウェル９１がある場合には（ステップＳ４においてｙｅｓ）、投光部移動機構３０および水平移動機構５２を、動作させる。これにより、投光部２０およびカメラ４０を、次のウェル９１の上下に移動させる（ステップＳ２）。そして、制御部６０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。
　このように、制御部６０は、投光部２０およびカメラ４０の移動（ステップＳ２）と、撮影（ステップＳ３）とを繰り返す。これにより、ウェルプレート９の撮影対象となる全てのウェル９１について、第１高さＨ１から撮影した撮影画像を取得する。
　やがて、未撮影のウェル９１が無くなると（ステップＳ４においてｎｏ）、制御部６０は、カメラ４０の高さを変更するか否かを判断する（ステップＳ５）。ここでは、予め用意された５つの高さＨ１～Ｈ５のうち、まだ撮影を行っていない高さが残っていれば、カメラ４０の高さを変更すべきと判断する（ステップＳ５においてｙｅｓ）。例えば、第１高さＨ１における撮影処理が終了すると、制御部６０は、次の高さである第２高さＨ２に、カメラ４０の高さを変更すべきと判断する。
　カメラ４０の高さを変更する場合、制御部６０は、昇降移動機構５１を動作させて、カメラ４０を、変更すべき高さに移動させる（ステップＳ１）。これにより、カメラ４０の焦点位置を変化させる。そして、上述したステップＳ２～Ｓ４の処理を繰り返す。これにより、ウェルプレート９の各ウェル９１について、変更後の高さから撮影した細胞９３の撮影画像を取得する。
　以上のように、制御部６０は、カメラ４０の高さの変更（ステップＳ１）と、複数のウェル９１についての撮影画像の取得（ステップＳ２～Ｓ４）とを繰り返す。これにより、ウェルプレート９の複数のウェル９１のそれぞれについて、５つの高さＨ１～Ｈ５から撮影した５つ撮影画像が得られる。
　＜１．３．全焦点画像の生成について＞
　続いて、カメラ４０から入力された複数の撮影画像に基づいて、全焦点画像を生成するための画像処理について説明する。
　上述したステップＳ１～Ｓ５が終了すると、ウェルプレート９のウェル９１毎に、撮影距離の異なる５つの撮影画像Ｄ１～Ｄ５が得られる。ただし、図５に示すように、ウェル９１内の培養液９２の表面は、表面張力の影響で凹状のメニスカスを形成する。このため、投光部２０から照射された光Ｌは、培養液９２の表面を通過する際に屈折して、拡散光となる。したがって、５つの撮影画像Ｄ１～Ｄ５は、互いに倍率が異なる。また、光Ｌの拡散の大きさは、ウェル９１毎に異なる。したがって、５つの撮影画像Ｄ１～Ｄ５の倍率変動量も、ウェル９１毎に相違する。
　図６は、１つのウェル９１について取得された５つの撮影画像Ｄ１～Ｄ５の例を示した図である。撮影画像Ｄ１～Ｄ５は、それぞれ、高さＨ１～Ｈ５に配置されたカメラ４０の撮影画像である。各撮影画像Ｄ１～Ｄ５には、ウェル９１内に保持された２つの細胞９３のうちの１つまたは２つの画像が含まれている。図中右側の細胞９３は、高さＨ２に配置されたカメラ４０の撮影画像Ｄ２において、最も焦点が合っている。図中左側の細胞９３は、高さＨ４に配置されたカメラ４０の撮影画像Ｄ４においてに、最も焦点が合っている。
　また、上述したメニスカスの影響により、撮影画像Ｄ１～Ｄ５の倍率は、カメラ４０の高さが低くなるにつれて（すなわち、細胞９３とカメラ４０との間の撮影距離が長くなるにつれて）拡大する。したがって、５つの撮影画像Ｄ１～Ｄ５のうち、撮影画像Ｄ１は最も倍率が小さく、撮影画像Ｄ５は最も倍率が大きい。このため、これらの撮影画像Ｄ１～Ｄ５を単純に合成すると、図７の全焦点画像ＤＡ（比較例）のように、各細胞９３の周囲においてボケが大きくなる。図７は、撮影画像を単純に合成した場合の全焦点画像の例（比較例）を示した図である。
　図８は、５つの撮影画像Ｄ１～Ｄ５から、１つの全焦点画像ＤＡを生成するための画像処理の流れを示したフローチャートである。
　５つの撮影画像Ｄ１～Ｄ５が得られると、制御部６０は、まず、各撮影画像Ｄ１～Ｄ５の誤差を補正する（ステップＳ６）。ここでは、撮像装置１の機械的誤差に起因する各撮影画像Ｄ１～Ｄ５の位置のばらつきを補正する。例えば、水平移動機構５２に既知の位置決め誤差がある場合には、その位置決め誤差の分だけ、各撮影画像Ｄ１～Ｄ５の位置を補正する。これにより、次のステップＳ７において、５つの撮影画像Ｄ１～Ｄ５の間の倍率変動量および平行移動量を、より正確に算出できる。
　次に、制御部６０は、５つの撮影画像Ｄ１～Ｄ５の間の倍率変動量および平行移動量を算出する（ステップＳ７）。ここでは、５つの撮影画像Ｄ１～Ｄ５の間で、細胞９３の大きさまたは細胞９３の位置が、どれだけ変化しているかを検出する。これにより、培養液９２のメニスカスに起因する倍率変動の大きさを算出する。
　図９は、ステップＳ７における処理の例を示したフローチャートである。本実施形態では、５つの撮影画像Ｄ１～Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、倍率変動量と平行移動量とを求める。図１０は、２つの撮影画像Ｄ２，Ｄ３について、倍率変動量と平行移動量とを求めるときの処理の様子を、概念的に示した図である。
　ステップＳ７では、まず、２つの撮影画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する（ステップＳ７１）。図１０の例では、２つの撮影画像Ｄ２，Ｄ３のうち、倍率の大きい（視野が狭い）方の撮影画像Ｄ３を、予め設定された倍率ごとに縮小して、複数の候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・を作成している。
　次に、２つの撮影画像の他方と、作成された複数の候補画像のそれぞれとの間で、テンプレートマッチングを行う（ステップＳ７２）。図１０の例では、矢印Ｔのように、撮影画像Ｄ２と、複数の候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・のそれぞれとの間で、テンプレートマッチングを行う。具体的には、撮影画像Ｄ２に対して、各候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・を平行移動させる。そして、各位置におけるマッチングスコアを算出する。マッチングスコアには、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などの既知の手法により算出される、画像の類似度を表す評価値を用いればよい。
　制御部６０は、候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・ごとに、マッチングスコアの最大値Ｓと、そのときの平行移動量Ｍとを求める（ステップＳ７３）。そして、マッチングスコアの最大値Ｓが最も大きい候補画像を、その撮影画像Ｄ３についての選択画像とする（ステップＳ７４）。選択画像が決まると、制御部６０は、選択画像の倍率を、２つの撮影画像Ｄ２，Ｄ３の間の倍率変動量として決定する。また、選択画像の上記のマッチングスコアが最大値Ｓとなるときの平行移動量Ｍを、２つの撮影画像Ｄ２，Ｄ３の間の平行移動量として決定する（ステップＳ７５）。
　制御部６０は、５つの撮影画像Ｄ１～Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、以上のステップＳ７１～Ｓ７５の処理を実行する。これにより、２画像ごとに、倍率変動量と平行移動量とを決定する。
　２画像間の倍率変動量と平行移動量とが決まると、制御部６０は、５つの撮影画像Ｄ１～Ｄ５のうちの１つ（例えば撮影画像Ｄ１）を基準画像として、その基準画像に対する他の撮影画像の倍率変動量と平行移動量とを、算出する（ステップＳ７６）。例えば、撮影画像Ｄ１に対する撮影画像Ｄ３の倍率変動量は、２つの撮影画像Ｄ１，Ｄ２の間の倍率変動量と、２つの撮影画像Ｄ２，Ｄ３の間の倍率変動量とを、掛け合わせた値とする。また、撮影画像Ｄ１に対する撮影画像Ｄ３の平行移動量は、２つの撮影画像Ｄ１，Ｄ２の間の平行移動量と、２つの撮影画像Ｄ２，Ｄ３の間の平行移動量とを、倍率変動量を補正した上で、足し合わせた値とする。
　図８に戻る。ステップＳ７の処理が終わると、次に、制御部６０は、５つの撮影画像Ｄ１～Ｄ５のうち、基準画像以外の撮影画像を、ステップＳ７６で算出された倍率変動量および平行移動量に基づいて、逆補正する（ステップＳ８）。図１１は、逆補正後の５つの撮影画像Ｄ１～Ｄ５の例を示した図である。図１１の例では、倍率が最も小さい撮影画像Ｄ１を基準として、他の４つの撮影画像Ｄ２～Ｄ５を、それぞれ、倍率変動量に基づいて縮小させるとともに、平行移動量に基づいて平行移動させている。
　その後、制御部６０は、基準画像と、逆補正後の４つの撮影画像とを用いて、全焦点画像ＤＡを生成する（ステップＳ９）。上述したステップＳ８の逆補正を行うと、図１１のように、各撮影画像Ｄ１～Ｄ５における細胞９３の位置は一致する。このため、これらの撮影画像Ｄ１～Ｄ５を合成することによって、図１２のように、ボケの少ない全焦点画像ＤＡを得ることができる。図１２は、逆補正後の撮影画像を合成した場合の全焦点画像の例を示した図である。
　特に、この撮像装置１は、倍率変動量および平行移動量を、予め制御部６０内に記憶するのではなく、カメラ４０から入力された撮影画像Ｄ１～Ｄ５に基づいて、倍率変動量および平行移動量を算出する。このため、培養液９２のメニスカスの形状によって、倍率変動量および平行移動量が変化しても、その倍率変動量および平行移動量を考慮して、全焦点画像ＤＡを生成できる。したがって、ウェルプレート９のウェル９１毎に、高品質な全焦点画像ＤＡを生成することができる。
　＜２．実施形態２＞
　以下に、実施形態２に係る撮像装置について説明する。なお、実施形態１と同様の部材については、その説明を省略する。
　＜２．１．撮像装置の構成＞
　図１３は、撮像装置２の構成を示した図である。図１３に示すように、本実施形態の撮像装置２は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構７０、カメラ移動機構５０、および制御部６０を備えている。
　カメラ４０は、レンズ等の光学系４１と、ＣＣＤまたはＣＭＯＳ等の撮像素子４２とを有する。
　焦点移動機構７０は、カメラ４０の焦点位置を変化させる機構である。本実施形態の焦点移動機構７０は、カメラ４０の光学系４１に含まれる一部の光学部品を移動させる。これにより、カメラ４０の焦点位置を光軸に沿って変化させる。焦点移動機構７０は、ウェルプレート９内の細胞９３の付近において、カメラ４０の焦点位置を、上下に細かく変化させることができる。焦点移動機構７０には、例えば、小型のモータが用いられる。
　カメラ移動機構５０は、カメラ４０の姿勢を維持しつつ、カメラ４０の水平方向の位置を変化させる機構である。カメラ移動機構５０は、カメラ４０および焦点移動機構７０を、一体として水平に移動させる。カメラ移動機構５０には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置２は、カメラ移動機構５０を動作させることにより、ウェル９１の下方の指定された位置に、カメラ４０を配置することができる。なお、図１３では、カメラ移動機構５０によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構５０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図１３中の左右方向および奥行き方向）に移動させるものであってもよい。
　上述した投光部移動機構３０と、カメラ移動機構５０とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、ある細胞９３の下方位置にカメラ４０が配置されたときには、必ず、その細胞９３の上方位置に投光部２０が配置される。
　制御部６０は、例えば、コンピュータにより構成される。制御部６０は、撮像装置２内の各部を動作制御する制御装置としての機能と、カメラ４０から入力された複数の撮影画像に基づいて全焦点画像を生成する画像処理装置としての機能と、を有する。図１４は、制御部６０と、撮像装置２内の各部との接続を示したブロック図である。図１４に示すように、制御部６０は、上述した投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構７０、およびカメラ移動機構５０と、それぞれ通信可能に接続されている。
　図１５は、制御部６０内において実現される機能を、概念的に示したブロック図である。図４に示すように、制御部６０は、撮像制御部６０１と画像処理部６０２とを有する。撮像制御部６０１は、制御プログラムＰ１に従って、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構７０、およびカメラ移動機構５０を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。画像処理部６０２は、カメラ４０から入力された複数の撮影画像を、画像処理プログラムＰ２に従って処理することにより、全焦点画像を生成する。
　また、図１５に示すように、画像処理部６０２は、画像記憶部６２１、誤差補正部６２２、倍率変動取得部６２３、画像参照値決定部６２４、影除去処理部６２５、全焦点画像生成部６２６、およびタイリング処理部６２７を有する。これらの各部が行う具体的な処理については、後述する。
　＜２．２．撮影処理について＞
　続いて、上述した撮像装置２の動作について、説明する。図１６は、撮像装置２おける撮影処理の流れを示したフローチャートである。図１７は、１つのウェル９１における撮影処理の様子を示した図である。
　撮像装置２のステージ１０に、ウェルプレート９がセットされて、制御部６０に動作開始の指示が入力されると、制御部６０の撮像制御部６０１は、まず、焦点移動機構７０を動作させる。これにより、カメラ４０の焦点位置を、所定の高さに合わせる（ステップＳ１１）。図１７に示すように、本実施形態では、カメラ４０の焦点位置を５段階（第１焦点位置Ｈ１～第５焦点位置Ｈ５）に変更できるものとする。撮影処理の開始時には、まず、最も高い第１焦点位置Ｈ１に、カメラ４０の焦点を合わせる。
　また、この撮像装置２では、１つのウェル９１を、複数の領域に分けて撮影する。制御部６０内には、各領域を撮影するための撮影位置の座標情報が、予め記憶されている。ステップＳ１が終了すると、制御部６０は、当該座標情報に基づいて、投光部移動機構３０およびカメラ移動機構５０を、動作させる。これにより、カメラ４０を、最初に撮影を行うべき第１撮影位置Ｘ１に移動させるとともに、投光部２０を第１撮影位置Ｘ１の上方に移動させる（ステップＳ１２）。
　続いて、制御部６０は、投光部２０およびカメラ４０を動作させて、第１撮影位置Ｘ１からの撮影を行う（ステップＳ１３）。すなわち、投光部２０から下方へ向けて光を照射しつつ、カメラ４０による撮影を行う。これにより、第１撮影位置Ｘ１から撮影した、第１焦点位置Ｈ１の撮影画像が得られる。
　続いて、制御部６０は、撮影を行うべき次の撮影位置があるか否かを判断する（ステップＳ１４）。次の撮影位置がある場合には（ステップＳ１４においてｙｅｓ）、投光部移動機構３０およびカメラ移動機構５０を、動作させる。これにより、カメラ４０を次の第２撮影位置Ｘ２に移動させるとともに、投光部２０を第２撮影位置Ｘ２の上方に移動させる（ステップＳ１２）。そして、制御部６０は、投光部２０およびカメラ４０を動作させて、第２撮影位置Ｘ２からの撮影を行う（ステップＳ１３）。
　このように、制御部６０は、投光部２０およびカメラ４０の移動（ステップＳ１２）と、撮影（ステップＳ１３）とを繰り返す。これにより、予め設定された全ての撮影位置において、第１焦点位置Ｈ１の撮影画像を取得する。
　やがて、未撮影の撮影位置が無くなると（ステップＳ１４においてｎｏ）、制御部６０は、カメラ４０の焦点位置を変更するか否かを判断する（ステップＳ１５）。ここでは、５つの焦点位置Ｈ１～Ｈ５のうち、まだ撮影を行っていない焦点位置が残っていれば、カメラ４０の焦点位置を変更すべきと判断する（ステップＳ１５においてｙｅｓ）。例えば、第１焦点位置Ｈ１における撮影処理が終了すると、制御部６０は、次の焦点位置である第２焦点位置Ｈ２に、カメラ４０の焦点位置を変更すべきと判断する。
　カメラ４０の焦点位置を変更する場合、制御部６０は、焦点移動機構７０を動作させて、カメラ４０の焦点位置を、変更すべき位置に移動させる（ステップＳ１１）。そして、上述したステップＳ１２～Ｓ１４の処理を繰り返す。これにより、予め設定された全ての撮影位置において、変更後の焦点位置の撮影画像を取得する。
　以上のように、制御部６０は、カメラ４０の焦点位置の変更（ステップＳ１１）と、複数の撮影位置からの撮影画像の取得（ステップＳ１２～Ｓ１４）とを繰り返す。これにより、予め設定された複数の撮影位置のそれぞれにおいて、５つの焦点位置Ｈ１～Ｈ５で撮影された５つの撮影画像が得られる。
　＜２．３．画像処理について＞
　続いて、カメラ４０から入力された複数の撮影画像に基づいて、全焦点画像を生成するための画像処理について説明する。
　上述したステップＳ１１～Ｓ１５が終了すると、撮影位置毎に、焦点位置の異なる５つの撮影画像Ｄ１～Ｄ５が得られる。ただし、図１７に示すように、ウェル９１内の培養液９２の表面は、表面張力の影響で凹状のメニスカスを形成する。このため、投光部２０から照射された光Ｌは、培養液９２の表面を通過する際に屈折して、拡散光となる。したがって、５つの撮影画像Ｄ１～Ｄ５は、互いに倍率が異なる。また、光Ｌの拡散の大きさは、撮影位置毎に異なる。このため、５つの撮影画像Ｄ１～Ｄ５の倍率変動量も、撮影位置毎に相違する。
　図１８は、図１７の第２撮影位置Ｘ２において撮影された５つの撮影画像Ｄ１～Ｄ５を示した図である。図１８の第１撮影画像Ｄ１～第５撮影画像Ｄ５は、それぞれ、図１７の第１焦点位置Ｈ１～第５焦点位置Ｈ５における撮影画像である。各撮影画像Ｄ１～Ｄ５には、ウェル９１内に保持された２つの細胞９３のうちの１つまたは２つの画像が含まれている。図中右側の細胞９３は、第２焦点位置Ｈ２で撮影された第２撮影画像Ｄ２において、最も焦点が合っている。図中左側の細胞９３は、第４焦点位置Ｈ４で撮影された第４撮影画像Ｄ４において、最も焦点が合っている。
　細胞９３の観察は、細胞に焦点が合った合焦点位置で行うことが好ましい。しかしながら、図６のように、１つのウェル９１に含まれる複数の細胞９３の高さ（光軸方向の位置）が異なる場合、１つの撮影画像で、全ての細胞９３に焦点を合わせることはできない。このため、この撮像装置２の制御部６０は、複数の撮影画像Ｄ１～Ｄ５に含まれる画素の輝度値を組み合わせて、全ての細胞９３に焦点が合ったボケの少ない全焦点画像を生成する。
　また、上述したメニスカスの影響により、撮影画像Ｄ１～Ｄ５の倍率は、焦点位置の高さが低くなるにつれて拡大する。したがって、５つの撮影画像Ｄ１～Ｄ５のうち、第１撮影画像Ｄ１は最も倍率が小さく、第５撮影画像Ｄ５は最も倍率が大きくなる。各撮影画像内における細胞９３の位置または細胞９３の大きさは、撮影画像の倍率に応じて変化する。撮像装置２の制御部６０は、このような倍率変動を考慮して、全焦点画像の生成を行う。
　図１９は、５つの撮影画像Ｄ１～Ｄ５から、１つの全焦点画像を生成するための画像処理の流れを示したフローチャートである。
　全焦点画像を生成するときには、まず、制御部６０が、上述した撮影処理によって得られた複数の撮影画像Ｄ１～Ｄ５を、画像記憶部６２１に記憶させる（ステップＳ１６）。また、制御部６０の誤差補正部６２２が、各撮影画像Ｄ１～Ｄ５の誤差を補正する（ステップＳ１７）。ここでは、撮像装置２の機械的誤差に起因する各撮影画像Ｄ１～Ｄ５の位置のばらつきを補正する。例えば、カメラ移動機構５０に既知の位置決め誤差がある場合には、その位置決め誤差の分だけ、各撮影画像Ｄ１～Ｄ５の位置を補正する。これにより、次のステップＳ１８において、５つの撮影画像Ｄ１～Ｄ５の間の倍率変動量および平行移動量を、より正確に算出できる。
　次に、制御部６０の倍率変動取得部６２３が、５つの撮影画像Ｄ１～Ｄ５の間の倍率変動量および平行移動量を算出する（ステップＳ１８）。ここでは、５つの撮影画像Ｄ１～Ｄ５の間で、細胞９３の大きさまたは細胞９３の位置が、どれだけ変化しているかを検出する。これにより、培養液９２のメニスカスに起因する倍率変動の大きさを算出する。
　ステップＳ１８における処理の例は、図９と同じである。ステップＳ１８では、倍率変動取得部６２３が、図９に示す処理を実行する。
　次に、制御部６０の画像参照値決定部６２４は、５つの撮影画像Ｄ１～Ｄ５の間において、互いに対応する画素を特定する（ステップＳ１９）。ここでは、ステップＳ１８で得られた倍率変動量と平行移動量とに基づいて、各撮影画像Ｄ１～Ｄ５において、ウェル９１内の同一の位置と判断される画素を、対応する画素として特定する。
　続いて、制御部６０の画像参照値決定部６２４が、５つの撮影画像Ｄ１～Ｄ５の互いに対応する画素において、それぞれ鮮鋭度を算出する（ステップＳ２０）。鮮鋭度は、その画素付近における画像の明瞭さ（sharpness）を示す指標である。鮮鋭度は、例えば、その画素を中心とする一定の領域における画素の輝度変化に基づいて計算される。ただし、鮮鋭度に、周辺画素の輝度の分散値、輝度の最大値、輝度の最小値、画素そのものの輝度値などが用いられてもよい。
　制御部６０の画像参照値決定部６２４は、５つの撮影画像Ｄ１～Ｄ５の対応する画素同士で、鮮鋭度を比較する。そして、その比較結果に基づいて、全焦点画像の座標ごとに、画像参照値を決定する（ステップＳ２１）。画像参照値は、全焦点画像の各座標の輝度値として参照すべき撮影画像の番号を示すパラメータである。例えば、全焦点画像のある座標について、第１撮影画像Ｄ１の輝度値を参照すべき場合は、画像参照値を「１」とする。
　図２０は、ステップＳ２１における処理の例を示したフローチャートである。図２１は、ステップＳ２１の処理の様子を、概念的に示した図である。ステップＳ２１では、まず、複数の撮影画像中の同一の座標に位置する注目画素Ｐａと、注目画素Ｐａに対応する他の撮影画像中の対応画素Ｐｂとで、鮮鋭度を比較する（ステップＳ２１ａ）。図２１においては、注目画素Ｐａを黒丸で示し、対応画素Ｐｂを白丸で示している。また、図２１においては、注目画素Ｐａとそれに対応する他の撮影画像中の対応画素Ｐｂとが、破線で結ばれている。
　本実施形態では、１つの撮影位置において、５つの撮影画像Ｄ１～Ｄ５が取得される。このため、図２１のように、１つの座標に対して、５つの注目画素Ｐａと、２０個の対応画素Ｐｂとが設定される。
　次に、画像参照値決定部６２４は、注目画素Ｐａごとに（すなわち、１つの注目画素Ｐａとそれに対応する４つの対応画素Ｐｂとで構成されるグループごとに）、対応画素Ｐｂの鮮鋭度に対する注目画素Ｐａの鮮鋭度の強さを示す評価値を算出する（ステップＳ２１ｂ）。評価値は、例えば、注目画素Ｐａの鮮鋭度を、４つの対応画素Ｐｂの鮮鋭度の合計値で除算することにより算出すればよい。ただし、評価値の算出方法は、これに限定されるものではない。
　そして、画像参照値決定部６２４は、５つの撮影画像Ｄ１～Ｄ５中の注目画素Ｐａのうち、評価値が最も大きい注目画素Ｐａが属する撮影画像の番号を、画像参照値とする（ステップＳ２１ｃ）。例えば、図２１中に例示した５つの注目画素Ｐａの中で、第４撮影画像Ｄ４中に設定された注目画素Ｐａの評価値が最も大きければ、この座標における画像参照値を「４」とする。これにより、１つの座標における画像参照値が決まる。画像参照値決定部６２４は、このようなステップＳ２１ａ～Ｓ２１ｃの処理を、座標毎に実行する。その結果、全焦点画像ＤＡの座標毎に、参照すべき撮影画像を示す画像参照値が決定される。
　ただし、上記の画像処理は、倍率変動量に基づく座標計算を伴う。このため、ステップＳ２１の画像参照値の決定の際に、ボケ部分の画素を選択してしまうことが起こりやすい。そうすると、後述するステップＳ２３において生成される全焦点画像ＤＡ中に、例えば、ピントの合った細胞９３の周辺に影のような領域が生じてしまう。
　このような問題を解消するために、制御部６０の影除去処理部６２５は、一旦決定された画像参照値を調整する影除去処理を行う（ステップＳ２２）。図２２は、影除去処理の例を示したフローチャートである。図２３は、影除去処理の様子を、概念的に示した図である。図２３の上部には、影除去処理を実行せずに生成した全焦点画像ＤＡの例が示されている。当該全焦点画像ＤＡでは、右側の細胞９３の近傍に、本来選択すべきでない第１撮影画像Ｄ１中の焦点が合っていない細胞９３の画像が現れている。
　図２２に示すように、影除去処理部６２５は、まず、座標毎に、座標自身の画像参照値Ｉｎおよび鮮鋭度Ｅｎと、その座標に対して倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の画像参照値Ｉｐおよび鮮鋭度Ｅｐとを比較する（ステップＳ１２ａ）。図２３の上図では、着目する座標Ｐｎの画像参照値Ｉｎが「１」、鮮鋭度Ｅｎが「２５」となっている。これに対し、比較対象となる座標Ｐｐの画像参照値Ｉｐが「２」、鮮鋭度Ｅｐが「８０」となっている。
　影除去処理部６２５は、まず、着目する座標Ｐｎ自身の画像参照値Ｉｎと、比較対象となる座標Ｐｐの画像参照値Ｉｐとの関係が、両座標間の距離Ｍｐに対応しているかどうかを判断する（ステップＳ２２ｂ）。具体的には、画像参照値Ｉｎ，Ｉｐによって参照される撮影画像の間における倍率変動量が、両座標間の距離Ｍｐに対応しているかどうかを判断する。そして、対応していないと判断される場合には、着目する座標Ｐｎの画像参照値Ｉｎを変更することなく保持する。
　一方、ステップＳ２２ｂにおいて、画像参照値Ｉｎ，Ｉｐの関係が、両座標間の距離Ｍｐに対応していると判断される場合には、影除去処理部６２５は、次に、比較対象となる座標Ｐｐおよびその周辺座標の鮮鋭度Ｅｐが、着目する座標Ｐｎ自身の鮮鋭度Ｅｎよりも十分に大きいかどうかを判断する（ステップＳ２２ｃ）。具体的には、比較対象となる座標Ｐｐおよびその周辺座標の鮮鋭度Ｅｐが、全て、着目する座標自身の鮮鋭度Ｅｎよりも、予め設定された閾値以上に大きいかどうかを判断する。そして、鮮鋭度Ｅｐが鮮鋭度Ｅｎよりも十分に大きくないと判断される場合には、着目する座標Ｐｎの画像参照値Ｉｎを変更することなく保持する。
　一方、ステップＳ２２ｄにおいて、比較対象となる座標Ｐｐおよびその周辺座標の鮮鋭度Ｅｐが、着目する座標Ｐｎ自身の鮮鋭度Ｅｎよりも十分に大きいと判断される場合には、着目する座標Ｐｎの画像参照値Ｉｎを、比較対象となる座標Ｐｐの画像参照値Ｉｐに置き換える（ステップＳ２２ｄ）。図２３の例では、着目する座標Ｐｎの画像参照値Ｉｎを、１から２に書き換える。このようにすれば、図２３の上図ように、細胞９３のボケ部分が全焦点画像ＤＡに採用されてしまう場合に、そのボケ部分を合焦点位置の撮影画像（図２３の例では、第２撮影画像Ｄ２）の輝度値に置き換えることができる。このような処理を各座標で実行することで、図２３の下図のように、全焦点画像ＤＡ中に生じる影を除去できる。
　なお、ステップＳ２２の影除去処理は、ステップＳ２３において全焦点画像が生成された後に、実行されてもよい。
　図１９に戻る。各座標の画像参照値が確定すると、続いて、制御部６０の全焦点画像生成部６２６が、全焦点画像を生成する（ステップＳ２３）。ここでは、全焦点画像の各座標について、ステップＳ２１～Ｓ２２で決定された画像参照値が示す撮影画像の輝度値を参照して、輝度値を決定する。全焦点画像の各座標の輝度値は、画像参照値が示す撮影画像の注目画素Ｐａの輝度値そのものであってもよく、注目画素Ｐａの輝度値に基づいて算出される他の値であってもよい。
　図２４は、５つの撮影画像Ｄ１～Ｄ５と、生成される全焦点画像ＤＡとの関係を、概念的に示した図である。図２４に示すように、本実施形態の手法では、複数の撮影画像間において、倍率変動を考慮して、互いに対応する画素（例えば、図２４において破線で結ばれた画素）が特定される。そして、対応する画素同士で鮮鋭度を比較することによって、全焦点画像ＤＡの座標毎に画像参照値が決定される。その後、座標毎に、画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する。このようにすれば、複数の撮影画像間に倍率変動がある場合でも、全焦点画像ＤＡを生成できる。また、撮影画像の拡大または縮小を行わないため、細胞９３の位置および大きさを精度よく反映した全焦点画像ＤＡを生成できる。
　図１９に戻る。その後、制御部６０のタイリング処理部６２７が、異なる撮影位置からの撮影により得られた視野の異なる複数の全焦点画像ＤＡを配列（タイリング）する。これにより、ウェル９１の全体を表す１つの結果画像を生成する（ステップＳ２４）。上述の通り、本実施形態の画像処理では、細胞９３の位置および大きさを精度よく反映した全焦点画像ＤＡを生成できる。このため、タイリングを行うときに、隣り合う全焦点画像ＤＡの間で、細胞９３の位置および大きさが、精度よく整合する。したがって、結果画像中の全焦点画像ＤＡの境目における画像の乱れを抑制できる。
　＜３．変形例＞
　以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
　撮影画像の倍率変動の中心が、ほぼ一定の位置となる場合には、上述したステップＳ８またはステップＳ１８において、平行移動量の逆補正を省略してもよい。ただし、実施形態１において、倍率変動の中心位置が変動しやすい場合には、上記の実施形態のように、各撮影画像を、倍率変動量および平行移動量の双方について、逆補正する方がよい。これにより、各撮影画像Ｄ１～Ｄ５中の細胞９３の位置を、高精度に一致させることができる。また、実施形態２において、倍率変動の中心位置が変動しやすい場合には、上記の実施形態のように、倍率変動量および平行移動量の双方を算出し、ステップＳ９において、倍率変動量および平行移動量に基づいて、撮影画像間の対応する画素を特定する方がよい。これにより、各撮影画像の対応する画素を、より精度よく特定できる。
　また、上記の実施形態では、５つの撮影画像Ｄ１～Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、倍率変動量と平行移動量とを求めていた。しかしながら、互いに離れた２画像の間で、倍率変動量と平行移動量とを求めてもよい。ただし、隣り合う２画像の間では、各撮影画像中の細胞９３の変化が小さい。このため、２つの撮影画像の間で、同一の細胞９３を対応付けやすい。したがって、ステップＳ７２のテンプレートマッチングによって、倍率変動量と平行移動量とを、より精度よく求めることができる。
　また、上記の実施形態では、ステップＳ７５において、選択画像の倍率および平行移動量の値そのものを、２画像間の倍率変動量および平行移動量としていた。しかしながら、倍率変動量および平行移動量は、パラボラフィッティング等の関数近似によって、より高精度に算出してもよい。
　また、上記の実施形態では、ステップＳ８またはステップＳ９において、最も倍率の小さい撮影画像Ｄ１を基準として、他の撮影画像Ｄ２～Ｄ５を縮小していた。このようにすれば、撮影画像Ｄ２～Ｄ５の解像度が低下せず、補間処理を行う必要もない。しかしながら、ステップＳ８にでは、撮影画像Ｄ２～Ｄ５のうちのいずれか１つを基準画像として、他の画像を拡大または縮小してもよい。
　また、上記のステップＳ７またはステップＳ１８の処理を行う際に、撮影画像Ｄ１～Ｄ５を縮小しておくことによって、制御部６０の演算負担を減らすようにしてもよい。
　また、上記の実施形態では、複数の撮影画像の取得後に、撮影画像間の倍率変動量を算出していた。しかしながら、光学系の特性によって撮影画像間の倍率変動が生じる場合などのように、倍率変動量が変化しない場合には、制御部６０に、予め倍率変動量が記憶されていてもよい。
　また、上記の実施形態では、観察対象となる細胞９３が、ウェルプレート９の複数のウェル９１内に保持されていた。しかしながら、細胞９３は、ウェルプレート９以外の容器に保持されていてもよい。例えば、細胞９３は、シャーレ内に保持されていてもよい。ただし、上記の実施形態のように、ウェルプレート９を使用する場合には、細胞９３が保持される個々のウェル９１が、比較的小さい。したがって、培養液９２のメニスカスが、より撮影画像に影響しやすくなる。したがって、本発明が特に有用である。
　また、上記の実施形態では、ウェルプレート９内に培養液９２とともに細胞９３が保持されていた。しかしながら、細胞９３は、ゲル状の培地とともに保持されていてもよい。ゲル状の培地も、表面形状が一定にはならない。このため、培地の表面形状の影響で、撮影距離に対する撮影画像の倍率変動が生じる。したがって、撮影画像を単純に合成するだけでは、綺麗な全焦点画像が得られない。しかしながら、上記の実施形態と同様に、倍率変動量および平行移動量を求めて逆補正を行えば、各撮影画像中の細胞９３の位置を、揃えることができる。したがって、ボケの少ない全焦点画像を生成することができる。
　また、上記の実施形態では、単体の細胞９３を撮影対象物としていた。しかしながら、撮影対象物は、複数の細胞が立体的に集合した細胞集塊（スフェロイド）であってもよい。また、撮影対象物は、容器内に液体またはゲル状の物質とともに保持される、細胞以外の物体であってもよい。
　また、上記の実施形態では、撮影対象物の上方に投光部２０が配置され、撮影対象物の下方にカメラ４０が配置されていた。しかしながら、撮影対象物の下方に投光部２０が配置され、撮影対象物の上方にカメラ４０が配置されていてもよい。また、投光部２０とカメラ４０とが、撮影対象物に対して同じ側に配置され、投光部２０から出射された光の反射光が、カメラ４０に入射する構成であってもよい。
　また、上記の実施形態１では、カメラ４０自体を昇降移動させることにより、カメラ４０の焦点位置を光軸に沿って変化させていた。しかしながら、カメラ４０の位置を固定して、レンズ等の光学系を移動させることにより、カメラ４０の焦点位置を光軸に沿って変化させてもよい。また、上記の実施形態２では、カメラ４０の光学系４１に含まれる一部の光学部品を移動させることにより、カメラ４０の焦点位置を変化させていた。しかしながら、カメラ４０全体を昇降移動させることにより、ウェル９１内におけるカメラ４０の焦点位置を、光軸に沿って変化させてもよい。
　また、撮影対象物を保持する容器を昇降移動させることにより、容器に対するカメラ４０の焦点位置を、相対的に変化させてもよい。すなわち、本発明における「移動機構」は、カメラ４０内の一部の光学部品を移動させる機構、カメラ４０全体を移動させる機構、および容器を移動させる機構のいずれであってもよい。
　また、上記の実施形態では、撮影対象物を保持する容器の位置が固定され、投光部２０およびカメラ４０が水平方向に移動していた。しかしながら、投光部２０およびカメラ４０の位置を固定して、容器を水平方向に移動させてもよい。ただし、撮影の途中で培養液９２の表面形状が変化すると、撮影画像の倍率変動量および平行移動量を、正確に算出しにくい。このため、上記の実施形態のように、撮影対象物の位置は、固定されていることが好ましい。
　また、上記の実施形態１では、カメラ４０の高さが５段階に変更可能であり、各ウェル９１について、５つの撮影画像を取得していた。しかしながら、ウェル９１毎の撮影画像の数は、２～４つであってもよく、６つ以上であってもよい。また、上記の実施形態２では、カメラ４０の焦点位置が５段階に変更可能であり、１つの視野について、５つの撮影画像Ｄ１～Ｄ５を取得していた。しかしながら、１つの視野について取得する撮影画像の数は、２～４つであってもよく、６つ以上であってもよい。
　また、上記の実施形態または変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
　１、２　撮像装置
　９　ウェルプレート
　１０　ステージ
　２０　投光部
　３０　投光部移動機構
　４０　カメラ
　５０　カメラ移動機構
　５１　昇降移動機構
　５２　水平移動機構
　６０　制御部
　９１　ウェル
　９２　培養液
　９３　細胞
　６２１　画像記憶部
　６２２　誤差補正部
　６２３　倍率変動取得部
　６２４　画像参照値決定部
　６２５　影除去処理部
　６２６　全焦点画像生成部
　６２７　タイリング処理部
　Ｐ１　制御プログラム
　Ｐ２　画像処理プログラム
　Ｌ　光
　Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５　撮影画像
　Ｄ３１，Ｄ３２，Ｄ３３　候補画像
　ＤＡ　全焦点画像
　Ｓ　マッチングスコアの最大値
　Ｍ　平行移動量

Claims (35)

  1. 　複数の撮影画像に基づいて全焦点画像を生成する画像処理方法であって、
    　ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、
    　ｂ）前記複数の撮影画像間における倍率変動を取得する工程と、
    　ｃ）前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較する工程と、
    　ｄ）前記工程ｃ）の比較結果に基づいて、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する工程と、
    　ｅ）座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する工程と、
    を有する画像処理方法。
  2. 　請求項１に記載の画像処理方法であって、
    　前記工程ｂ）では、前記複数の撮影画像間における倍率変動量と平行移動量とを取得し、
    　前記工程ｃ）では、前記倍率変動量および前記平行移動量に基づき、前記複数の撮影画像間において、互いに対応する画素を特定する画像処理方法。
  3. 　請求項１または請求項２に記載の画像処理方法であって、
    　前記工程ｃ）は、
    　　ｃ１）前記複数の撮影画像中の同一の座標に位置する注目画素と、前記注目画素に対応する他の撮影画像中の対応画素とで、鮮鋭度を比較する工程と、
    　　ｃ２）前記注目画素ごとに、前記対応画素の鮮鋭度に対する前記注目画素の鮮鋭度の強さを示す評価値を算出する工程と、
    を有し、
    　前記工程ｄ）では、前記複数の撮影画像中の前記注目画素のうち、前記評価値が最も大きい注目画素が属する撮影画像の番号を、前記画像参照値として決定する画像処理方法。
  4. 　請求項１から請求項３までのいずれか１項に記載の画像処方法であって、
    　前記工程ｄ）の後に、
    　ｆ）座標毎に、前記座標自身の鮮鋭度および画像参照値と、前記座標に対して前記倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の鮮鋭度および画像参照値とを比較し、前記他の座標およびその周辺座標の鮮鋭度が、前記座標自身の鮮鋭度よりも十分に大きく、かつ、前記座標自身の画像参照値と、前記他の座標の画像参照値との関係が、前記距離と対応している場合、前記座標の画像参照値を、前記他の座標の画像参照値に置き換える工程
    をさらに有する画像処理方法。
  5. 　請求項１から請求項４までのいずれか１項に記載の画像処理方法であって、
    　ｇ）異なる視野において得られた複数の前記全焦点画像を配列して、１つの結果画像を生成する工程
    をさらに有する画像処理方法。
  6. 　請求項１から請求項５までのいずれか１項に記載の画像処理方法であって、
    　前記対象物は、容器内に液体またはゲル状の物質とともに保持される画像処理方法。
  7. 　請求項６に記載の画像処理方法であって、
    　前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である画像処理方法。
  8. 　複数の撮影画像に基づいて全焦点画像を生成する画像処理装置であって、
    　焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、
    　前記複数の撮影画像間における倍率変動を取得する倍率変動取得部と、
    　前記倍率変動に基づき、前記複数の撮影画像間において、互いに対応する画素を特定するとともに、前記対応する画素同士で、鮮鋭度を比較することによって、全焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、
    　座標毎に、前記画像参照値が示す撮影画像の輝度値を参照して、全焦点画像を生成する全焦点画像生成部と、
    を有する画像処理装置。
  9. 　請求項８に記載の画像処理装置であって、
    　前記倍率変動取得部は、前記複数の撮影画像間における倍率変動量と平行移動量とを取得し、
    　前記画像参照値決定部は、前記倍率変動量および前記平行移動量に基づき、前記複数の撮影画像間において、互いに対応する画素を特定する画像処理装置。
  10. 　請求項８または請求項９に記載の画像処理装置であって、
    　前記画像参照値決定部は、
    　１）前記複数の撮影画像中の同一の座標に位置する注目画素と、前記注目画素に対応する他の撮影画像中の対応画素とで、鮮鋭度を比較する処理と、
    　２）前記注目画素ごとに、前記対応画素の鮮鋭度に対する前記注目画素の鮮鋭度の強さを示す評価値を算出する処理と、
    　３）前記複数の撮影画像中の前記注目画素のうち、前記評価値が最も大きい注目画素が属する撮影画像の番号を、前記画像参照値として決定する処理と、
    を実行する画像処理装置。
  11. 　請求項８から請求項１０までのいずれか１項に記載の画像処理装置であって、
    　座標毎に、前記座標自身の鮮鋭度および画像参照値と、前記座標に対して前記倍率変動の方向に倍率変動に対応する距離だけ離れた他の座標およびその周辺座標の鮮鋭度および画像参照値とを比較し、前記他の座標およびその周辺座標の鮮鋭度が、前記座標自身の鮮鋭度よりも十分に大きく、かつ、前記座標自身の画像参照値と、前記他の座標の画像参照値との関係が、前記距離と対応している場合、前記座標の画像参照値を、前記他の座標の画像参照値に置き換える影除去処理部
    をさらに有する画像処理装置。
  12. 　請求項８から請求項１１までのいずれか１項に記載の画像処理装置であって、
    　異なる視野において得られた複数の前記全焦点画像を配列して、１つの結果画像を生成するタイリング処理部
    をさらに有する画像処理装置。
  13. 　請求項８から請求項１２までのいずれか１項に記載の画像処理装置であって、
    　前記対象物は、容器内に液体またはゲル状の物質とともに保持される画像処理装置。
  14. 　請求項１３に記載の画像処理装置であって、
    　前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である画像処理装置。
  15. 　請求項８から請求項１４までのいずれか１項に記載の画像処理装置と、
    　前記対象物を撮影するカメラと、
    　前記対象物に向けて光を照射する投光部と、
    　前記カメラの焦点位置を光軸に沿って変化させる移動機構と、
    を有する撮像装置。
  16. 　対象物を撮影して全焦点画像を生成する撮像装置であって、
    　前記対象物を撮影するカメラと、
    　前記対象物に向けて光を照射する投光部と、
    　前記カメラの焦点位置を光軸に沿って変化させる移動機構と、
    　前記カメラ、前記投光部、および前記移動機構を制御するとともに、前記カメラが取得した画像を処理する制御部と、
    を備え、
    　前記制御部は、
    　ａ）前記移動機構により前記焦点位置を変化させつつ、前記カメラによる撮影を行うことにより、複数の撮影画像を取得する工程と、
    　ｂ）前記複数の撮影画像間における倍率変動を算出する工程と、
    　ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、
    　ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、
    を実行する撮像装置。
  17. 　請求項１６に記載の撮像装置であって、
    　前記工程ｂ）では、前記複数の撮影画像中の２画像ごとに、倍率変動量と平行移動量とを求める撮像装置。
  18. 　請求項１７に記載の撮像装置であって、
    　前記工程ｂ）は、
    　ｂ－１）前記２画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する工程と、
    　ｂ－２）前記２画像の他方に対して前記候補画像を平行移動させて、前記候補画像ごとに、マッチングスコアが最大値となる平行移動量を求める工程と、
    　ｂ－３）前記マッチングスコアの前記最大値が最も大きい前記候補画像を選択画像とする工程と、
    　ｂ－４）前記選択画像の倍率を、前記２画像間の倍率変動量として決定し、前記選択画像の前記平行移動量を、前記２画像間の平行移動量として決定する工程と、
    を有する撮像装置。
  19. 　請求項１７または請求項１８に記載の撮像装置であって、
    　前記２画像は、前記複数の撮影画像を前記焦点位置順に並べた場合の隣り合う２画像である撮像装置。
  20. 　請求項１６から請求項１９までのいずれか１項に記載の撮像装置であって、
    　前記工程ｃ）では、倍率が最も小さい前記撮影画像を基準として、他の前記撮影画像を縮小する撮像装置。
  21. 　請求項１６から請求項２０までのいずれか１項に記載の撮像装置であって、
    　前記制御部は、前記工程ａ）の後かつ前記工程ｂ）の前に、前記撮像装置の機械的誤差に起因する前記撮影画像の位置のばらつきを補正する工程をさらに実行する撮像装置。
  22. 　請求項１６から請求項２１までのいずれか１項に記載の撮像装置であって、
    　前記移動機構は、静止した前記対象物に対して前記カメラを移動させる撮像装置。
  23. 　請求項１６から請求項２２までのいずれか１項に記載の撮像装置であって、
    　容器を保持するステージ
    をさらに有し、
    　前記対象物は、前記容器内に液体またはゲル状の物質とともに保持される撮像装置。
  24. 　請求項２３に記載の撮像装置であって、
    　前記容器は、ウェルプレートである撮像装置。
  25. 　請求項２３または請求項２４に記載の撮像装置であって、
    　前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である撮像装置。
  26. 　対象物を撮影して全焦点画像を生成する撮像方法であって、
    　ａ）カメラの焦点位置を光軸に沿って変化させつつ、前記カメラによる前記対象物の撮影を行うことにより、複数の撮影画像を取得する工程と、
    　ｂ）前記複数の撮影画像間における倍率変動を算出する工程と、
    　ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、
    　ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、
    を有する撮像方法。
  27. 　請求項２６に記載の撮像方法であって、
    　前記工程ｂ）では、前記複数の撮影画像中の２画像ごとに、倍率変動量と平行移動量とを求める撮像方法。
  28. 　請求項２７に記載の撮像方法であって、
    　前記工程ｂ）は、
    　ｂ－１）前記２画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する工程と、
    　ｂ－２）前記２画像の他方に対して前記候補画像を平行移動させて、前記候補画像ごとに、マッチングスコアが最大値となる平行移動量を求める工程と、
    　ｂ－３）前記マッチングスコアの前記最大値が最も大きい前記候補画像を選択画像とする工程と、
    　ｂ－４）前記選択画像の倍率を、前記２画像間の倍率変動量として決定し、前記選択画像の前記平行移動量を、前記２画像間の平行移動量として決定する工程と、
    を有する撮像方法。
  29. 　請求項２７または請求項２８に記載の撮像方法であって、
    　前記２画像は、前記複数の撮影画像を前記焦点位置順に並べた場合の隣り合う２画像である撮像方法。
  30. 　請求項２６から請求項２９までのいずれか１項に記載の撮像方法であって、
    　前記工程ｃ）では、倍率が最も小さい前記撮影画像を基準として、他の前記撮影画像を縮小する撮像方法。
  31. 　請求項２６から請求項３０までのいずれか１項に記載の撮像方法であって、
    　前記工程ａ）の後かつ前記工程ｂ）の前に、前記撮像装置の機械的誤差に起因する前記撮影画像の位置のばらつきを補正する工程をさらに有する撮像方法。
  32. 　請求項２６から請求項３１までのいずれか１項に記載の撮像方法であって、
    　前記工程ａ）では、静止した前記対象物に対して前記カメラを移動させる撮像方法。
  33. 　請求項２６から請求項３２までのいずれか１項に記載の撮像方法であって、
    　前記対象物は、容器内に液体またはゲル状の物質とともに保持される撮像方法。
  34. 　請求項３３に記載の撮像方法であって、
    　前記容器は、ウェルプレートである撮像方法。
  35. 　請求項３３または請求項３４に記載の撮像方法であって、
    　前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である撮像方法。
PCT/JP2017/020066 2016-07-13 2017-05-30 画像処理方法、画像処理装置、撮像装置および撮像方法 Ceased WO2018012130A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17827263.9A EP3487163B1 (en) 2016-07-13 2017-05-30 Image processing method, image processor, and imaging captureing device
US16/313,805 US10789679B2 (en) 2016-07-13 2017-05-30 Image processing method, image processor, image capturing device, and image capturing method for generating omnifocal image
CN201780040590.2A CN109417602B (zh) 2016-07-13 2017-05-30 图像处理方法、图像处理装置、摄像装置及摄像方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-138163 2016-07-13
JP2016138163A JP6353872B2 (ja) 2016-07-13 2016-07-13 撮像装置および撮像方法
JP2016181225A JP6263589B1 (ja) 2016-09-16 2016-09-16 画像処理方法、画像処理装置、および撮像装置
JP2016-181225 2016-09-16

Publications (1)

Publication Number Publication Date
WO2018012130A1 true WO2018012130A1 (ja) 2018-01-18

Family

ID=60952509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020066 Ceased WO2018012130A1 (ja) 2016-07-13 2017-05-30 画像処理方法、画像処理装置、撮像装置および撮像方法

Country Status (4)

Country Link
US (1) US10789679B2 (ja)
EP (1) EP3487163B1 (ja)
CN (1) CN109417602B (ja)
WO (1) WO2018012130A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383042A (zh) * 2017-03-10 2019-10-25 雅马哈发动机株式会社 摄像系统
EP3629285A1 (en) * 2018-09-25 2020-04-01 SCREEN Holdings Co., Ltd. Image processing method and image processing apparatus
WO2022059442A1 (ja) * 2020-09-18 2022-03-24 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
JPWO2024014079A1 (ja) * 2022-07-15 2024-01-18

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3674686B1 (en) * 2017-08-25 2023-11-01 FUJIFILM Corporation Learning device, method, and program for discriminator
US11172189B1 (en) 2018-12-28 2021-11-09 Facebook, Inc. User detection for projection-based augmented reality system
US11196985B1 (en) 2018-12-28 2021-12-07 Facebook, Inc. Surface adaptation for projection-based augmented reality system
CN110996003B (zh) * 2019-12-16 2022-03-25 Tcl移动通信科技（宁波）有限公司 一种拍照定位方法、装置及移动终端
TWI781490B (zh) * 2020-02-27 2022-10-21 日商斯庫林集團股份有限公司 對焦位置檢測方法、對焦位置檢測裝置、記錄媒體及對焦位置檢測用程式
WO2021177245A1 (ja) * 2020-03-05 2021-09-10 ファナック株式会社 画像処理装置、作業指示作成システム、作業指示作成方法
TWI785582B (zh) * 2020-05-08 2022-12-01 荷蘭商Ａｓｍｌ荷蘭公司 用於在帶電粒子束檢測系統中增強檢測影像之方法、影像增強裝置及其相關非暫時性電腦可讀媒體
KR20210149542A (ko) * 2020-06-02 2021-12-09 삼성에스디에스 주식회사 이미지 촬영 및 판독 방법, 이를 위한 장치
WO2022076361A1 (en) * 2020-10-05 2022-04-14 Thrive Bioscience, Inc. Method and apparatus for displaying cultured cells
SE2250140A1 (en) * 2022-02-11 2023-08-12 Cellink Bioprinting Ab Imaging apparatus and method for determning a focal point of a well-plate
CN117576490B (zh) * 2024-01-16 2024-04-05 口碑(上海)信息技术有限公司 一种后厨环境检测方法和装置、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011007872A (ja) 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
WO2015020038A1 (ja) * 2013-08-07 2015-02-12 シャープ株式会社 撮像装置
JP2016014974A (ja) 2014-07-01 2016-01-28 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60319095T2 (de) * 2003-11-10 2009-02-12 Leica Microsystems Cms Gmbh Verfahren zur Verzerrungskorrektur von Multifokus-Bilderstapeln
US8477206B2 (en) * 2008-09-30 2013-07-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method for performing image restoration using restoration filter
JP5154392B2 (ja) * 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
JP2011095685A (ja) 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
CN103384998B (zh) * 2011-03-31 2015-07-15 富士胶片株式会社 摄像装置、及摄像方法
JP5730696B2 (ja) * 2011-07-12 2015-06-10 オリンパス株式会社 画像処理装置および画像表示システム
JP2015216485A (ja) 2014-05-09 2015-12-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2016015567A (ja) * 2014-07-01 2016-01-28 株式会社東芝 電子機器、処理方法およびプログラム
US9723831B2 (en) * 2014-07-30 2017-08-08 The Governing Council Of The University Of Toronto System and methods for automated vitrification of biological materials
JP6654688B2 (ja) * 2016-03-25 2020-02-26 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011007872A (ja) 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
WO2015020038A1 (ja) * 2013-08-07 2015-02-12 シャープ株式会社 撮像装置
JP2016014974A (ja) 2014-07-01 2016-01-28 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3487163A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383042A (zh) * 2017-03-10 2019-10-25 雅马哈发动机株式会社 摄像系统
US11525995B2 (en) 2017-03-10 2022-12-13 Yamaha Hatsudoki Kabushiki Kaisha Imaging system
CN110383042B (zh) * 2017-03-10 2023-02-03 雅马哈发动机株式会社 摄像系统
EP3629285A1 (en) * 2018-09-25 2020-04-01 SCREEN Holdings Co., Ltd. Image processing method and image processing apparatus
CN110958380A (zh) * 2018-09-25 2020-04-03 株式会社斯库林集团 图像处理方法及图像处理装置
CN110958380B (zh) * 2018-09-25 2021-04-09 株式会社斯库林集团 图像处理方法及图像处理装置
WO2022059442A1 (ja) * 2020-09-18 2022-03-24 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
JP2022051091A (ja) * 2020-09-18 2022-03-31 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
JP7476067B2 (ja) 2020-09-18 2024-04-30 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置および撮像方法
JPWO2024014079A1 (ja) * 2022-07-15 2024-01-18
WO2024014079A1 (ja) * 2022-07-15 2024-01-18 株式会社片岡製作所 細胞観察装置および細胞観察装置で用いられる撮像方法

Also Published As

Publication number Publication date
CN109417602A (zh) 2019-03-01
CN109417602B (zh) 2020-12-22
US10789679B2 (en) 2020-09-29
EP3487163A1 (en) 2019-05-22
EP3487163A4 (en) 2019-09-25
US20200013146A1 (en) 2020-01-09
EP3487163B1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
WO2018012130A1 (ja) 画像処理方法、画像処理装置、撮像装置および撮像方法
US10353190B2 (en) Sensor for microscopy
US9088729B2 (en) Imaging apparatus and method of controlling same
JP6301416B2 (ja) 画像処理方法、画像処理装置、および撮像装置
CN108873290B (zh) 用于扫描显微镜载玻片的装置和方法
US20210149170A1 (en) Method and apparatus for z-stack acquisition for microscopic slide scanner
US20190075247A1 (en) System for generating a synthetic 2d image with an enhanced depth of field of a biological sample
CN104853105B (zh) 基于可控制镜头倾斜的摄像装置的三维快速自动对焦方法
CN112505910B (zh) 用显微镜拍摄试样图像的方法、系统、设备及介质
CN112415733A (zh) 控制显微镜拍摄试样图像的方法、系统、设备及介质
JP6263589B1 (ja) 画像処理方法、画像処理装置、および撮像装置
JP2018000102A (ja) 撮影装置および方法並びに撮影制御プログラム
CN105651699B (zh) 一种基于面阵相机的动态跟焦方法
JP6136019B2 (ja) 動画像撮影装置、および、動画像撮影装置の合焦方法
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
US20180059398A1 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
JP2017037017A (ja) 距離測定装置及び距離測定方法
JP6353872B2 (ja) 撮像装置および撮像方法
JP6333318B2 (ja) 画像処理方法、画像処理装置、および撮像装置
US8736706B1 (en) Method and system for generating high resolution composite images
JP2019008215A (ja) 観察装置および観察装置のフォーカス制御方法
CN117969471B (zh) 一种荧光扫描仪软件闭环扫描控制方法和荧光扫描仪
JPWO2019088034A1 (ja) 観察領域設定装置、撮像制御装置、観察領域設定装置の作動方法、及び観察領域設定プログラム
JP2008275542A (ja) ３次元形状復元処理装置及び方法並びにそのプログラム
JP2006189510A (ja) 顕微鏡装置及び拡大画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827263

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017827263

Country of ref document: EP

Effective date: 20190213