[go: up one dir, main page]

WO2019159326A1 - 算出装置、算出プログラム及び算出方法 - Google Patents

算出装置、算出プログラム及び算出方法 Download PDF

Info

Publication number
WO2019159326A1
WO2019159326A1 PCT/JP2018/005511 JP2018005511W WO2019159326A1 WO 2019159326 A1 WO2019159326 A1 WO 2019159326A1 JP 2018005511 W JP2018005511 W JP 2018005511W WO 2019159326 A1 WO2019159326 A1 WO 2019159326A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
comparison
calculation unit
unit
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/005511
Other languages
English (en)
French (fr)
Inventor
磨生 八藤
伸一 古田
真美子 舛谷
世莉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2019571915A priority Critical patent/JP7064720B2/ja
Priority to PCT/JP2018/005511 priority patent/WO2019159326A1/ja
Priority to EP18906635.0A priority patent/EP3754595A4/en
Publication of WO2019159326A1 publication Critical patent/WO2019159326A1/ja
Priority to US16/992,386 priority patent/US20200372652A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate

Definitions

  • the present invention relates to a calculation device, a calculation program, and a calculation method.
  • a reference image acquisition unit that acquires a plurality of reference images in which cells are imaged; a comparison image acquisition unit that acquires a comparison image in which comparison cells to be compared with cells that are imaged in the plurality of reference images are acquired; And a calculating unit that calculates a difference between the feature amount calculated using the reference image and the feature amount calculated using the comparison image.
  • a computer captures a reference image acquisition step of acquiring a plurality of reference images in which cells are imaged, and a comparison cell to be compared with cells captured in the plurality of reference images.
  • reference image acquisition means for acquiring a plurality of reference images in which cells are imaged, and a comparative image in which comparative cells to be compared with cells imaged in the plurality of reference images are imaged
  • comparison image acquisition means for acquiring the difference between the feature amount calculated using the plurality of reference images and the feature amount calculated using the comparison image
  • FIG. 1st Embodiment of this invention It is a figure which shows an example of a structure of the microscope observation system by 1st Embodiment of this invention. It is a block diagram which shows an example of a function structure of each part with which the calculation apparatus of this embodiment is provided. It is a figure which shows an example of the calculation procedure of the calculation of the reference
  • FIG. 1 is a diagram showing an example of the configuration of the microscope observation system 1 according to the first embodiment of the present invention.
  • the microscope observation system 1 performs image processing on an image acquired by imaging a cell or the like. In the following description, an image acquired by imaging a cell or the like is also simply referred to as a cell image.
  • the microscope observation system 1 includes a calculation device 10, a microscope device 20, and a display unit 30.
  • the microscope apparatus 20 is a biological microscope and includes an electric stage 21 and an imaging unit 22 (not shown).
  • the electric stage 21 can arbitrarily operate the position of the imaging target in a predetermined direction (for example, a certain direction in a horizontal two-dimensional plane, a vertical direction, or an axial rotation direction).
  • the imaging unit 22 includes an imaging element such as a charge-coupled device (CCD) and a complementary MOS (CMOS), and images an imaging target on the electric stage 21.
  • CCD charge-coupled device
  • CMOS complementary MOS
  • the microscope apparatus 20 may not include the electric stage 21 and may be a stage in which the stage does not operate in a predetermined direction or a stage that manually operates in the predetermined direction.
  • the microscope apparatus 20 includes, for example, a differential interference microscope (DIC), a phase contrast microscope, a fluorescence microscope, a confocal microscope, a super-resolution microscope, a two-photon excitation fluorescence microscope, and a light sheet microscope. , A light field microscope, a holographic microscope, an optical coherence tomography (OCT), and the like.
  • the microscope apparatus 20 images the culture vessel placed on the electric stage 21. Examples of the culture container include a well plate WP and a slide chamber.
  • the microscope apparatus 20 irradiates the cells cultured in the many wells W included in the well plate WP with light, and thereby captures the light transmitted or reflected through the cells as an image of the cells.
  • the microscope apparatus 20 can acquire images such as a transmission DIC image of a cell, a phase difference image, a dark field image, and a bright field image. Furthermore, by irradiating the cells with excitation light, the microscope apparatus 20 captures fluorescence emitted from the fluorescent substance as an image of the cells. Further, the microscope apparatus 20 captures light emission or phosphorescence from a luminescent substance in the cell as an image of the cell.
  • cells are dyed while they are alive, and time-lapse imaging is performed to acquire a cell change image after cell stimulation.
  • a cell image is obtained by expressing a fluorescent fusion protein or staining a cell with a chemical reagent or the like while alive.
  • the cells are fixed and stained to obtain a cell image.
  • the fixed cells stop metabolizing. Therefore, in order to observe changes with time in fixed cells after stimulating the cells, it is necessary to prepare a plurality of cell culture containers seeded with the cells. For example, when there are a plurality of wells in the plate, the wells may be used as cell culture containers. In this case, you may prepare the fixed cell of the different elapsed time with respect to irritation
  • the microscope apparatus 20 captures, as the above-described cell image, luminescence or fluorescence from the coloring material itself taken into the biological material, or luminescence or fluorescence generated when the substance having the chromophore is bound to the biological material. May be.
  • the microscope observation system 1 can acquire a fluorescence image, a confocal image, a super-resolution image, and a two-photon excitation fluorescence microscope image.
  • the method of acquiring the cell image is not limited to the optical microscope.
  • the method for acquiring the cell image may be an electron microscope, that is, the type of cell image may be selected as appropriate.
  • the cells in this embodiment are, for example, primary culture cells, established culture cells, tissue section cells, and the like.
  • a sample to be observed may be obtained by observing an aggregate of cells, a tissue sample, an organ, or an individual (animal, etc.) and obtaining an image including cells.
  • the state of the cell is not particularly limited, and may be a living state or a fixed state. Of course, you may combine the information of the living state and the fixed information.
  • the cells may be treated with a chemiluminescent or fluorescent protein (for example, a chemiluminescent or fluorescent protein expressed from an introduced gene (such as green fluorescent protein (GFP))) and observed.
  • a chemiluminescent or fluorescent protein for example, a chemiluminescent or fluorescent protein expressed from an introduced gene (such as green fluorescent protein (GFP)
  • the cells may be observed using immunostaining or staining with chemical reagents. You may observe combining them.
  • a photoprotein to be used according to the type for discriminating the intracellular nuclear structure (eg, Golgi apparatus).
  • the well plate WP has one or a plurality of wells W.
  • the well plate WP has 8 ⁇ 12 96 wells W as shown in FIG.
  • the number of wells W included in the well plate WP is not limited to this, and 6 ⁇ 8 48 wells W, 6 ⁇ 4 24 wells W, 3 ⁇ 4 12 wells W, 2 ⁇ 3 6
  • Cells are cultured in wells W under certain experimental conditions. Specific experimental conditions include temperature, humidity, culture period, elapsed time since stimulation was applied, type and intensity of stimulation applied, concentration, amount, presence or absence of stimulation, induction of biological characteristics, etc. Including.
  • the stimulus is, for example, a physical stimulus such as electricity, sound wave, magnetism, or light, or a chemical stimulus caused by administration of a substance or a drug.
  • Biological characteristics are characteristics that indicate the stage of cell differentiation, morphology, number of cells, behavior of molecules in cells, morphology and behavior of organelles, behavior of nuclear structures, behavior of DNA molecules, etc. is there.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of each unit included in the calculation apparatus 10 of the present embodiment.
  • the calculation device 10 is a computer device that analyzes an image acquired by the microscope device 20.
  • the calculation device 10 includes a calculation unit 100, a storage unit 200, and a result output unit 300.
  • the image processed by the calculation device 10 is not limited to an image captured by the microscope device 20, and for example, an image stored in advance in the storage unit 200 included in the calculation device 10 or an external storage (not shown). It may be an image stored in advance in the apparatus.
  • the calculation unit 100 functions when the processor executes a program stored in the storage unit 200. Also, some or all of the functional units of the arithmetic unit 100 may be configured by hardware such as LSI (Large Scale Integration) or ASIC (Application Specific Integrated Circuit).
  • the calculation unit 100 includes a reference image acquisition unit 101, a comparative image acquisition unit 102, and a calculation unit 103.
  • the reference image acquisition unit 101 acquires a plurality of reference images stored in the reference image storage unit 202 of the storage unit 200, and supplies the acquired plurality of reference images to the calculation unit 103.
  • the reference image is an image in which cells are captured and is an image used for comparison with a comparative image.
  • the plurality of reference images are a plurality of images in which cells are cultured under the same experimental conditions.
  • the plurality of reference images are preferably images of cells that have not been stimulated.
  • the comparison image acquisition unit 102 acquires one or more cell images captured by the imaging unit 22 as one or more comparison images, and supplies the acquired one or more comparison images to the calculation unit 103.
  • the comparative image is an image in which a comparative cell that is a target to be compared with cells captured in a plurality of reference images is captured.
  • the comparative image is, for example, an image of a cell after a predetermined time has elapsed since a stimulus is applied.
  • Experimental conditions in which the cells imaged in the comparative image were cultured (experimental conditions other than the target items to be compared, such as stimuli) and experimental conditions in which the cells imaged in the reference image were cultured (targets to be compared, including stimuli)
  • the experimental conditions other than the items are preferably the same.
  • the experimental conditions for the cells imaged in the comparative image and the experimental conditions for the cells imaged in the reference image are preferably the same except for the items to be compared.
  • the experimental condition such as the culture condition for the cell imaged in the reference image and the culture condition for the cell imaged in the comparison image
  • the experimental conditions are the same.
  • the stimulation condition for example, the reference image is a cell image under a condition in which no stimulation is applied to the cell
  • the comparative image is a cell image under a condition in which the stimulation is applied to the cell.
  • the stimulation condition may be, for example, different types of chemical solutions as stimulation applied to the cells.
  • a plurality of reference images may be referred to as a reference image group.
  • One or more comparison images may be referred to as a comparison image group.
  • the calculation unit 103 calculates a difference between a feature amount calculated based on a plurality of reference images and a feature amount calculated based on one comparison image.
  • the calculation unit 103 sets one or more comparison images supplied from the comparison image acquisition unit 102 to the calculation unit 103 as targets of calculation processing one by one in order.
  • the feature amount calculated based on the reference image is a value that reflects the image feature of the cell included in the reference image.
  • the image characteristics of the cell include, for example, the brightness of the cell image, the cell area in the image, the dispersion of the brightness of the cell image in the image, and the shape. That is, the feature amount is a feature derived from information acquired from the cell image to be captured.
  • the feature amount includes an image feature amount related to the cell.
  • the feature amount calculated using the reference image includes a plurality of feature amounts.
  • the feature amount calculated based on the reference image includes a plurality of types of feature amounts.
  • the plurality of types of feature amounts are feature amounts representing a plurality of features extracted from the cell image, such as the brightness of the cell image and the cell area in the image.
  • the feature amount calculated based on the plurality of reference images includes a plurality of feature amounts. Note that, in a method for calculating a feature value described later, a feature value to be extracted from a cell image may be determined in advance. For example, it may be determined that at least the cell area in the image is extracted, and the calculated feature value is at least a feature value that reflects the cell area in the image.
  • the cell image includes images of a plurality of types of biological tissues having different sizes such as genes, proteins, and organelles. Therefore, the element which comprises the cell contained in a cell image is determined. The feature amount extracted from the cell image is calculated for each determination result of the elements constituting the cell.
  • cell components include cell organelles (organelles) such as cell nuclei, lysosomes, Golgi bodies, mitochondria, and proteins that constitute organelles.
  • the feature amount calculated using the comparison image is the same as the feature amount calculated using the reference image. Therefore, the feature amount calculated based on the plurality of comparison images includes a plurality of feature amounts.
  • the calculation unit 103 includes a reference feature value calculation unit 1031, a comparison feature value calculation unit 1032, a representative feature value calculation unit 1033, and a distance calculation unit 1034.
  • the reference feature amount calculation unit 1031 calculates each feature amount of the reference image included in the reference image group supplied by the reference image acquisition unit 101 as a plurality of reference feature amounts.
  • the reference feature value calculation unit 1031 supplies the calculated plurality of reference feature values to the representative feature value calculation unit 1033.
  • the comparison feature quantity calculation unit 1032 calculates the feature quantity of the comparison image included in one or more comparison images supplied by the comparison image acquisition unit 102 as the comparison feature quantity.
  • the comparison feature amount calculation unit 1032 supplies the calculated comparison feature amount to the distance calculation unit 1034.
  • the reference feature amount calculation unit 1031 calculates the reference feature amount by reducing the dimensions of the reference image.
  • the comparison feature amount calculation unit 1032 calculates a comparison feature amount by reducing the dimensions of the comparison image.
  • the dimension reduction method in which the reference feature amount calculation unit 1031 calculates the reference feature amount and the dimension reduction method in which the comparison feature amount calculation unit 1032 calculates the comparison feature amount are mutually different in images for which the feature amount is calculated. It is the same except for differences. Details of the dimension reduction will be described later.
  • the representative feature amount calculation unit 1033 calculates a reference representative feature amount based on a plurality of reference feature amounts supplied by the reference feature amount calculation unit 1031.
  • the reference representative feature amount is a representative value of a distribution of a plurality of reference feature amounts.
  • the representative feature amount calculation unit 1033 supplies the calculated reference representative feature amount to the distance calculation unit 1034.
  • the distance calculation unit 1034 calculates the distance between the reference representative feature value and the comparison feature value using the reference representative feature value supplied by the representative feature value calculation unit 1033 and the comparison feature value supplied by the comparison feature value calculation unit 1032. calculate.
  • the calculated distance expresses the difference between the plurality of reference images and the comparison image.
  • a representative value calculated from each reference feature amount of a plurality of reference images is used, a difference between an image corresponding to the reference representative feature amount and a comparison image is expressed.
  • the magnitude of the difference between the plurality of reference images and the comparison image represents the magnitude of the difference between the state of the cells captured in the plurality of reference images and the state of the cells captured in the comparison image. .
  • the distance calculation unit 1034 supplies the calculated distance to the result output unit 300.
  • the distance calculated by the distance calculation unit 1034 is, for example, a Euclidean distance between one or more values indicating the feature amount.
  • the difference calculated by the calculation unit 103 is one or more values indicating feature amounts calculated using a plurality of reference images, and one or more values indicating feature amounts calculated using a comparison image. This is a value calculated based on the difference between corresponding values. That is, the difference calculated by the calculation unit 103 is that one or more values indicating the feature amount calculated using a plurality of reference images and one or more values indicating the feature amount calculated using the comparison image. , A value calculated based on the relationship between corresponding values.
  • the distance calculated by the distance calculation unit 1034 may be other than the Euclidean distance.
  • the distance calculated by the distance calculation unit 1034 may be, for example, a standard Euclidean distance, Mahalanobis distance, Manhattan distance, Chebyshev distance, Minkowski distance, cosine similarity, and Pearson product moment correlation.
  • the distance calculated by the distance calculation unit 1034 may be a distance obtained by applying an outer product (wedge product).
  • the distance using the outer product (wedge product) is calculated as follows. First, a two-dimensional value is extracted from an N-dimensional vector A and an N-dimensional vector B to create a two-dimensional vector a and a two-dimensional vector b.
  • the area of a triangle or parallelogram having two sides of a two-dimensional vector a and a two-dimensional vector b is calculated.
  • the above operation is repeated as many times as when two dimensions are selected from the N dimensions, and the above-mentioned area is calculated for N C two- dimensional combinations from the N- dimensional vector A and the N-dimensional vector B.
  • the number when two dimensions are selected from the N dimensions is represented as N C 2 .
  • the representative value of the calculated area is used as the distance between the N-dimensional vector A and the N-dimensional vector B.
  • the storage unit 200 includes a dimension reduction information storage unit 201 and a reference image storage unit 202.
  • the dimension reduction information storage unit 201 stores information indicating a dimension reduction procedure used when the reference feature amount calculation unit 1031 and the comparison feature amount calculation unit 1032 calculate the feature amount of the cell image. Information indicating this dimension reduction procedure will be described later.
  • a reference image group is stored in the reference image storage unit 202.
  • the result output unit 300 outputs the distance supplied by the calculation unit 103 to the display unit 30.
  • the result output unit 300 may output the distance supplied by the calculation unit 103 to an output device other than the display unit 30, a storage device, or the like.
  • the display unit 30 displays the distance output by the result output unit 300.
  • FIG. 3 is a flowchart illustrating an example of a calculation procedure for calculating the reference feature value of the calculation unit 100 according to the present embodiment. Note that the calculation procedure shown here is an example, and the calculation procedure may be omitted or added.
  • the reference image acquisition unit 101 acquires the reference image group S1 stored in the reference image storage unit 202 (step S100).
  • the reference image acquisition unit 101 supplies the acquired reference image group S1 to the reference feature amount calculation unit 1031.
  • the reference feature amount calculation unit 1031 calculates each reference feature amount of the reference image included in the reference image group S1 supplied by the reference image acquisition unit 101 (step S101).
  • the reference feature amount calculation unit 1031 calculates the reference feature amount by reducing the dimensions of the reference image.
  • the reference feature value calculation unit 1031 supplies the calculated plurality of reference feature values to the representative feature value calculation unit 1033.
  • the reference feature amount calculation unit 1031 calculates a reference feature amount using a multilayer neural network.
  • a multilayer neural network is a neural network that includes one or more intermediate layers.
  • FIG. 4 is a diagram illustrating an example of a feature amount calculation method using the neural network according to the present embodiment.
  • the neural network N includes a plurality of layers of an input layer, one or more intermediate layers, and an output layer.
  • nodes in each layer transmit information weighted with a predetermined weight for each node to nodes in the next layer and subsequent layers.
  • the input image being input to the input layer means that the luminance values of the pixels of the input image are respectively input to the input layer. Therefore, the number of nodes constituting the input layer of the neural network N is equal to the number of pixels constituting the input image.
  • the neural network N classifies the input image into a predetermined number of categories based on the information transmitted to the output layer.
  • the number of nodes in the output layer is equal to the number of categories classified by the neural network N.
  • the number of nodes in the output layer of the neural network N is 1000 as an example.
  • the neural network N may be an auto encoder in which the number of nodes in the input layer is equal to the number of nodes in the output layer.
  • the number of nodes in the intermediate layer is smaller than the number of nodes in the input layer, so that the features of the input image can be efficiently extracted in the intermediate layer.
  • the neural network N may be an auto encoder in which the number of input layers and the number of output layers are different.
  • the neural network N is, for example, a convolutional neural network (CNN), and includes a convolution layer, a pooling layer, a connection layer, a dropout layer, and the like as an intermediate layer.
  • CNN convolutional neural network
  • features of the input image are extracted.
  • higher-order features are extracted as the intermediate layer is closer to the output layer.
  • simple pattern features such as edges of the input image are extracted as features of the input image.
  • features of complex patterns are extracted as features of the input image.
  • the characteristics of the input image extracted in the intermediate layer are represented by a set of values output from the nodes constituting the intermediate layer.
  • a set of values output from each node of the intermediate layer L1 adjacent to the output layer of the neural network N is calculated as the feature amount of the cell image C1.
  • FIG. 6 is a diagram illustrating an example of a process for quantifying the difference between a plurality of reference images and one comparison image.
  • the reference feature amount calculation unit 1031 inputs the reference image included in the reference image group S1 to the neural network N.
  • the reference feature amount calculation unit 1031 uses the neural network N stored in the dimension reduction information storage unit 201.
  • the neural network N stored in the dimension reduction information storage unit 201 is a neural network in which 12 million pieces of learning data are learned as an example.
  • the learning image included in the learning data may be a cell image or a general image other than the cell image.
  • the reference feature amount calculation unit 1031 includes a plurality of hierarchies of an input layer, one or more intermediate layers, and an output layer, and nodes in each layer are predetermined for each node with respect to the nodes following the next layer.
  • the feature amount calculated by reducing the dimension of the input image is used by using a neural network that transmits the information weighted with the.
  • the reference feature amount calculation unit 1031 calculates a set of values output from each node of the intermediate layer L1 adjacent to the final output layer of the neural network N as the reference feature amount of the reference image.
  • the dimension of the reference feature amount is equal to the number of nodes of the intermediate layer L1 of the neural network N.
  • the number of nodes in the input layer is 65536 as an example
  • the number of nodes in the intermediate layer L1 is 2048 as an example. That is, the 65536-dimensional luminance information of the input image is reduced to the standard feature amount of 2048 dimensions.
  • the dimension of the reference feature amount is not limited to 2048.
  • the dimension of the reference feature amount is desirably 50 or more.
  • the representative feature quantity calculation unit 1033 calculates a reference representative feature quantity FC for each dimension of the reference feature quantity from the plurality of reference feature quantities supplied by the reference feature quantity calculation unit 1031 (step S102).
  • the representative feature amount calculation unit 1033 generates a plurality of reference feature amount distributions for each dimension of the reference feature amounts, and calculates the representative values of the generated distributions as reference representative feature amounts FC, respectively.
  • the representative feature quantity calculating unit 1033 generates a distribution related to the reference feature quantity from a plurality of reference feature quantity values, and calculates a reference representative feature quantity FC using the generated representative value of the distribution.
  • the representative value of the distribution is, for example, an average value of the distribution. The median value or the mode value may be used as the representative value of the distribution.
  • the representative feature quantity calculation unit 1033 supplies the calculated reference representative feature quantity FC to the distance calculation unit 1034.
  • FIG. 5 is a flowchart illustrating an example of a calculation procedure for quantifying the difference between a plurality of reference images and one comparison image in the calculation unit 100 of the present embodiment.
  • the comparative image acquisition unit 102 acquires the cell image captured by the imaging unit 22 as a comparative image (step S200).
  • the comparison image acquisition unit 102 supplies the acquired one comparison image to the comparison feature amount calculation unit 1032.
  • the comparison feature amount calculation unit 1032 calculates a comparison feature amount of one comparison image P1 out of one or more comparison image groups G1 supplied by the comparison image acquisition unit 102 (step S201).
  • the comparison feature amount calculation unit 1032 calculates a comparison feature amount FA1 of the comparison image P1 using a neural network as a dimension reduction method. Processing for quantifying the difference between a plurality of reference images and one comparison image P1 will be described with reference to FIG.
  • the comparison feature amount calculation unit 1032 inputs the comparison image P1 included in the comparison image group G1 to the neural network N.
  • the comparison feature amount calculation unit 1032 calculates the feature amount using the neural network N stored in the dimension reduction information storage unit 201.
  • the comparison feature amount FA1 calculated by the comparison feature amount calculation unit 1032 is a set of values output from each node of the intermediate layer L1 when the comparison image P1 is input to the neural network N.
  • the dimension of the comparison feature FA1 is equal to the number of nodes in the intermediate layer L1 of the neural network N.
  • the comparison feature amount calculation unit 1032 supplies the calculated comparison feature amount FA1 to the distance calculation unit 1034.
  • the distance calculation unit 1034 calculates the distance between the reference representative feature value FC supplied by the representative feature value calculation unit 1033 and the comparison feature value FA1 supplied by the comparison feature value calculation unit 1032 (step S202).
  • the reference representative feature amount is a feature amount calculated based on a plurality of reference images.
  • the comparison feature amount is a feature amount calculated based on the comparison image. Therefore, the calculation unit 103 uses the reference representative feature value calculated by the representative feature value calculation unit 1033 and the comparison feature value calculation unit from the feature values obtained by dimension reduction of the reference image calculated by the reference feature value calculation unit 1031. The difference is calculated using the feature amount obtained by reducing the dimensions of the comparison image calculated by 1032.
  • the calculation unit 103 uses the reference image acquired by the reference image acquisition unit 101, the comparison image acquired by the comparison image acquisition unit 102, and the feature amount obtained by dimension reduction of the reference image and the comparison image.
  • the difference between the feature amount calculated using the plurality of reference images and the feature amount calculated using the comparison image is calculated.
  • the difference is a difference between a representative feature amount calculated based on a plurality of reference images and a feature amount calculated based on a comparative image.
  • the distance calculation unit 1034 supplies the calculated distance to the result output unit 300.
  • the result output unit 300 outputs the result by causing the display unit 30 to display the distance supplied by the distance calculation unit 1034 (step S203).
  • the reference feature value calculation unit 1031 and the comparison feature value calculation unit 1032 calculate the value output from each node of the intermediate layer L1 of the neural network N as the feature value of the input cell image. As described above, the reference feature value calculation unit 1031 and the comparison feature value calculation unit 1032 use the values output from the nodes of the intermediate layer of the neural network N other than the intermediate layer L1 as the feature values of the input cell image. May be calculated as That is, the calculation unit 103 may use the output of any one of the intermediate layers constituting the neural network N.
  • the calculation unit 103 may use a value output from the output layer of the neural network N as a feature amount. That is, the calculation unit 103 may use the deep learning determination result as the feature amount. Further, there is no intermediate layer constituting the neural network N, and the neural network N may be composed of only an input layer and an output layer.
  • the luminance value of the cell image is input as the input of the neural network N.
  • the average luminance or area of cells obtained by image analysis may be input as the feature amount.
  • the HOG feature value, the filtered feature value, the SIFT feature value, the SURF feature value, and the like of the input image may be input to the neural network N.
  • a dimension reduction technique other than the neural network may be used.
  • methods such as principal component analysis, random projection, linear discriminant analysis, multidimensional scale construction method, random forest, Isometric Mapping, Locally Linear Embedding, and Spectral Embedding may be used.
  • the calculation apparatus 10 includes the reference image acquisition unit 101, the comparative image acquisition unit 102, and the calculation unit 103.
  • the reference image acquisition unit 101 acquires a plurality of reference images that are a plurality of images in which cells are captured.
  • the comparative image acquisition unit 102 acquires a comparative image that is an image in which a comparative cell that is a target to be compared with cells captured in a plurality of reference images.
  • the calculation unit 103 calculates a difference between a feature amount calculated using a plurality of reference images and a feature amount calculated using a comparison image.
  • the calculation device 10 can quantify the difference between the plurality of reference images and the comparison image, and thus can stably quantify compared to the case where there is only one reference image.
  • the image may not be an image representing a typical cell representing a cell under experimental conditions for a cell captured in the reference image.
  • a plurality of cells in the culture vessel in which the reference image is captured may not be uniform due to inherent differences between cells and variations in experimental conditions for the cells.
  • Variations in experimental conditions are variations in the cell staining process and variations in the cell culture process.
  • the characteristic quantities representing the cells such as the brightness of the protein in the captured cell image
  • the characteristic quantities representing the cells may differ. Therefore, in the present embodiment, since feature amounts calculated based on a plurality of reference images are used, a plurality of reference images are compared with a case where feature amounts calculated based on a single reference are used. Since it uses, the feature-value showing the average of the some cell in the culture container in which a reference
  • the feature amount calculated based on the plurality of reference images includes a plurality of feature amounts.
  • the calculation device 10 can quantify the difference between the plurality of reference images and the plurality of comparison images using, for example, feature quantities reflecting the brightness of the cell image and the cell area in the image.
  • the calculation unit 103 calculates a reference image acquired by the reference image acquisition unit 101, a comparison image acquired by the comparison image acquisition unit 102, and a feature amount obtained by dimension reduction of the reference image and the comparison image.
  • the difference between the reference image group and the comparison image is calculated.
  • the calculation device 10 can quantify the difference without using the extraction results of cells and the like that were unstable in the conventional method, so that the calculation device 10 is more stable than in the case of general image feature value calculation. Can be quantified.
  • the calculation unit 103 can reduce the dimension of the reference image acquired by the reference image acquisition unit 101.
  • the dimension of an image in which cells are imaged is the value of a pixel that constitutes an image in which cells are imaged.
  • the image in which the cells are imaged is 200 pixels in the vertical direction and 200 pixels in the horizontal direction
  • the number of dimensions of an image in which cells are imaged is 40000.
  • the dimension of the image is the number of elements constituting the image. That is, since the image of the cell imaged by using 40,000 values is represented, each of 40,000 values is an element constituting the image.
  • a value obtained by reducing the dimension is calculated from 40000 dimensions.
  • the value obtained by reducing the dimension is a value of 2048 dimensions.
  • the image in which the cell is imaged is expressed using the value of 40000 pixels, but it is possible to express the image in which the cell is imaged even with the 2048-dimensional value with reduced dimensions.
  • the values of the pixels constituting the image are expressed with 256 gradations.
  • the values of the pixels constituting the image are not limited to 256 gradations.
  • the calculation unit 103 includes a plurality of hierarchies of an input layer, one or more intermediate layers, and an output layer, and information in which nodes in each layer give a predetermined weight to each node in the next layer
  • the difference is calculated by using the feature amount reduced in dimension by the neural network N that transmits.
  • the calculation device 10 can quantify the difference between the cell images using a dimension reduction technique using an optimized neural network by learning, and thus quantifies the characteristics derived from the cell images. It becomes possible to do.
  • the quantification it is possible to change the calculated distance according to the cell imaged in the image and the similarity. In the present embodiment, the distance between cells having high image similarity is close, and the distance between cells having low image similarity can be increased. Further, in the present embodiment, by reducing the dimensions using a neural network, it is possible to obtain feature quantities with reduced dimensions without deteriorating the characteristics of cells derived from the image to be used.
  • the calculation unit 103 uses the output of any one of the intermediate layers constituting the neural network N.
  • the calculation device 10 can use the feature values of the intermediate layer before being aggregated as the determination result output from the final output layer of the neural network N. Therefore, different experiments are performed using the feature values of the cell image. The difference between cell images cultured under conditions can be quantified.
  • the difference calculated by the calculation unit 103 is that one or more values indicating feature amounts calculated using a plurality of reference images and one or more values indicating feature amounts calculated using a comparison image. , A value calculated based on the relationship between corresponding values.
  • the calculation device 10 can quantify the difference between cell images cultured under different experimental conditions using a distance such as the Euclidean distance.
  • the feature amount of the present embodiment includes an image feature amount related to the cell.
  • the calculation device 10 can quantify the difference between the plurality of reference images and the comparison image based on features derived from information acquired from the captured cell image.
  • FIG. 7 is a flowchart illustrating an example of a calculation procedure of the calculation unit for a plurality of comparison images.
  • the comparative image acquisition unit 102 acquires a plurality of cell images captured by the imaging unit 22 as a plurality of comparative images (step S300).
  • the comparison image acquisition unit 102 supplies the acquired plurality of comparison images to the comparison feature amount calculation unit 1032 as a comparison image group G1.
  • the comparison feature amount calculation unit 1032 calculates the comparison feature amount of each of the comparison images P11 to P19 included in the comparison image group G1 supplied by the comparison image acquisition unit 102 (step S301).
  • FIG. 8B a process for quantifying the difference between the plurality of reference images and the plurality of comparison images will be described.
  • FIG. 8 is a diagram illustrating an example of a process for quantifying differences between a plurality of reference images and a plurality of comparison images according to the present embodiment.
  • the comparison feature amount calculation unit 1032 inputs the comparison images P11 to P19 included in the comparison image group G1 to the neural network N.
  • the comparison feature amount calculation unit 1032 calculates a comparison feature amount for each of the comparison images P11 to P19 using a neural network as a dimension reduction method.
  • the comparison feature amount calculation unit 1032 supplies the calculated plurality of comparison feature amounts to the representative feature amount calculation unit 1033.
  • the representative feature quantity calculation unit 1033 calculates a comparative representative feature quantity FA for each dimension of the comparison feature quantity from the plurality of comparison feature quantities supplied by the comparison feature quantity calculation unit 1032 (step S302).
  • the comparative representative feature amount FA is a representative value of a plurality of comparative feature amounts.
  • the representative feature quantity calculation unit 1033 supplies the calculated comparative representative feature quantity FA to the distance calculation unit 1034.
  • the distance calculation unit 1034 determines the distance between the reference representative feature value FC supplied by the representative feature value calculation unit 1033 and the comparative representative feature value FA supplied by the representative feature value calculation unit 1033, as a plurality of reference images and a plurality of comparison images.
  • the difference is calculated (step S303). That is, the calculation unit 103 calculates a difference between a feature amount calculated using a plurality of reference images and a feature amount calculated using a plurality of comparison images.
  • the result output unit 300 outputs the result by causing the display unit 30 to display the distance supplied by the distance calculation unit 1034 (step S304).
  • the comparison feature amount calculation unit 1032 acquires a plurality of comparison images.
  • the calculation unit 103 calculates a difference between a feature amount calculated based on a plurality of reference images and a feature amount calculated based on a plurality of comparison images.
  • the difference between the plurality of reference images and the plurality of comparison images can be determined by using the representative value of the feature amount calculated from the plurality of reference images and the representative value of the feature amount calculated from the plurality of comparison images. Can be calculated. Therefore, the difference between the plurality of reference images and the plurality of comparison images can be expressed by the difference in the representative value.
  • the feature amount calculated based on the plurality of comparison images includes a plurality of feature amounts.
  • the calculation device 10 can quantify the difference between the plurality of reference images and the comparison image using, for example, a feature amount that reflects the brightness of the cell image, the cell area in the image, and the like.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of each unit included in the calculation apparatus 10a according to the present embodiment. Comparing the calculation device 10a according to the present embodiment (FIG. 9) with the calculation device 10 according to the first embodiment (FIG. 2), the presence / absence of the selection unit 104, the ratio calculation unit 105, and the position determination unit 106 is determined. Different. However, the functions of other components are the same as those in the first embodiment. The description of the same functions as those in the first embodiment will be omitted, and in the second embodiment, description will be made focusing on parts different from the first embodiment.
  • the selection unit 104 selects a comparison image in which the distance calculated by the distance calculation unit 1034 is greater than a predetermined value.
  • the selection unit 104 supplies the selected result to the ratio calculation unit 105, the position determination unit 106, and the result output unit 300.
  • the ratio calculation unit 105 calculates the ratio of comparison images in which the distance calculated by the distance calculation unit 1034 is greater than a predetermined value from a plurality of comparison images.
  • the ratio calculation unit 105 supplies the calculated result to the result output unit 300.
  • the position determination unit 106 determines the position of the well W corresponding to the comparison image in which the distance calculated by the distance calculation unit 1034 is greater than a predetermined value based on the result selected by the selection unit 104.
  • the position determination unit 106 supplies the determination result to the result output unit 300.
  • FIG. 10 is a flowchart illustrating an example of a calculation procedure of the calculation unit 100a for a plurality of comparison images according to the present embodiment.
  • the selection unit 104 selects a comparison image in which the distance calculated by the distance calculation unit 1034 is greater than a predetermined value (step S403). That is, the selection unit 104 selects a comparison image in which the difference calculated by the distance calculation unit 1034 is greater than a predetermined value.
  • the selection unit 104 supplies information indicating the selected comparison image to the ratio calculation unit 105.
  • the ratio calculation unit 105 calculates a ratio of the comparison images in which the distance calculated by the distance calculation unit 1034 is larger than a predetermined value from the plurality of comparison images P21 to P29. It is calculated as the ratio of the comparative image in which cells showing the response to the applied stimulus are imaged (step SS404). That is, the ratio calculation unit 105 calculates the ratio of comparison images in which the difference calculated by the calculation unit 103 is larger than a predetermined value from a plurality of comparison images using the result selected by the selection unit 104. The ratio calculation unit 105 supplies information indicating the calculated ratio to the result output unit 300.
  • the process of calculating the reaction ratio of a plurality of comparative images will be described.
  • FIG. 11 is a diagram illustrating an example of calculation of reaction ratios of a plurality of comparative images according to the present embodiment.
  • the comparison feature amount calculation unit 1032 calculates a comparison feature amount for each of the comparison images P21 to P29.
  • the distance calculation unit 1034 calculates the distances d1 to d9 from the reference representative feature amount calculated from the reference image group S1 for each of the comparison feature amounts calculated by the comparison feature amount calculation unit 1032.
  • the selection unit 104 determines a distance that is equal to or greater than a predetermined value from the distances d1 to d9 calculated by the distance calculation unit 1034.
  • the predetermined value is 3.0, for example. In the example shown in FIG.
  • d2, d3, d4, d5, and d9 are greater than or equal to a predetermined value.
  • the selection unit 104 selects the comparison image P22, the comparison image P23, the comparison image P24, the comparison image P25, and the comparison image P29 corresponding to each of d2, d3, d4, d5, and d9 from the comparison images P21 to P29. select.
  • the ratio calculation unit 105 calculates the ratio of the comparative images whose distance is greater than a predetermined value as 5/9.
  • the display unit 30 highlights and displays only comparison images having a distance equal to or greater than a predetermined threshold among wells including a plurality of comparison images. For example, in FIG. 11, P22, P23, P24, P25, and P29 are displayed in cooperation among the plurality of comparative images P21 to P29.
  • the selection unit 104 selects the comparison image having the maximum distance calculated by the distance calculation unit 1034 (step S405).
  • the selection unit 104 outputs information indicating the comparison image having the maximum selected distance to the position determination unit 106 and the result output unit 300.
  • the position determination unit 106 determines the position of the well W corresponding to the comparison image with the maximum distance calculated by the distance calculation unit 1034 based on the information indicating the comparison image with the maximum distance supplied by the selection unit 104. (Step S406). That is, the position determination unit 106 uses the result selected by the selection unit 104 to determine a position corresponding to a comparison image in which the difference calculated by the calculation unit 103 is greater than a predetermined value. However, each of the plurality of comparative images corresponds to a plurality of positions of the culture container in which the cells are cultured. The position determination unit 106 supplies information indicating the determined position of the well W to the result output unit 300.
  • the result output unit 300 outputs information indicating the calculation result supplied by the calculation unit 100a to the display unit 30 (step S407).
  • the information indicating the calculation result supplied by the calculation unit 100a includes information indicating the ratio supplied by the ratio calculation unit 105, information indicating the selected comparison image supplied by the selection unit 104, and supply by the position determination unit 106. This is information indicating the position of the well W.
  • FIGS. 12 and 13 a process of selecting a comparison image having the maximum distance and a process of determining a position in the well will be described.
  • FIG. 12 is a diagram illustrating an example of processing for selecting a comparison image according to the present embodiment. In the example shown in FIG.
  • d3 is the maximum among the distances d1 to d9 calculated by the distance calculation unit 1034.
  • the selection unit 104 selects the comparison image P23 as the comparison image having the maximum distance calculated by the distance calculation unit 1034.
  • the display unit 30 displays the comparison image P23 as the cell image C2.
  • FIG. 13 is a diagram illustrating an example of processing for determining a position in a well according to the present embodiment.
  • the position determination unit 106 determines the in-well position corresponding to the comparison image having the maximum distance from the reference image group S1, based on the information indicating the comparison image P23 that is the comparison image having the maximum distance from the reference image group S1. WP23 is determined.
  • the display unit 30 displays the in-well position WP23.
  • the calculation device 10a of this embodiment includes the selection unit 104, the ratio calculation unit 105, and the position determination unit 106.
  • the selection unit 104 selects a comparison image in which the difference calculated by the calculation unit 103 is larger than a predetermined value.
  • the ratio calculation unit 105 calculates a ratio of comparison images in which the difference calculated by the calculation unit 103 is larger than a predetermined value from a plurality of comparison images using the result selected by the image selection unit (selection unit 104). According to this configuration, since the ratio of the comparative images whose difference from the plurality of reference images is larger than a predetermined value can be calculated, it is possible to calculate the ratio of the cell images of cells having a large response to the applied stimulus from the cell images.
  • Each of the plurality of comparative images corresponds to a plurality of positions of the culture container in which the cells are cultured, and the position determination unit 106 uses the result selected by the image selection unit to determine whether the difference calculated by the calculation unit is The position corresponding to the comparison image greater than a predetermined value is determined.
  • the third embodiment of the present invention will be described below with reference to the drawings.
  • the calculation device selects a comparison image in which the difference between the quantified reference image and the comparison image is greater than a predetermined value.
  • the calculation device calculates a time-series change, a change with respect to the concentration of a compound added to a cell, and a change with respect to the type of the difference between the reference image group and the comparison image group.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of each unit included in the calculation apparatus 10b according to the third embodiment of the present invention.
  • the calculation device 10b (FIG. 14) according to the present embodiment is compared with the calculation device 10a (FIG. 9) according to the second embodiment, in the calculation unit 100b, the analysis image acquisition unit 107, the reference image acquisition unit 101b, The comparison image acquisition unit 102b, the calculation unit 103b, and the analysis unit 108 are different, and the storage unit 200b is not required to include the reference image storage unit 202.
  • the functions of other components are the same as in the second embodiment.
  • the description of the same function as in the second embodiment is omitted, and in the third embodiment, the description will focus on parts that are different from the second embodiment.
  • the calculation unit 100b includes a reference image acquisition unit 101b, a comparison image acquisition unit 102b, a calculation unit 103b, a selection unit 104, a ratio calculation unit 105, a position determination unit 106, an analysis image acquisition unit 107, and an analysis unit. 108.
  • the analysis image acquisition unit 107 acquires the analysis image group captured by the imaging unit 22.
  • This analysis image group includes a time-series analysis image group, a density change analysis image group, and a type change analysis image group.
  • the time-series analysis image group is a plurality of cell images obtained by time-lapse imaging of cells after cell stimulation.
  • the time series analysis image group includes an image group T0, an image group T1,..., An image group Tn.
  • the image group T0, the image group T1,..., The image group Tn correspond to the time series of time-lapse shooting in this order.
  • the image group T0, the image group T1,..., The image group Tn may not be cell images of cells cultured in the same well.
  • Each of the image group T0, the image group T1,..., And the image group Tn may be one cell image.
  • the analysis image acquisition unit 107 sets the image group T0 as a time-series reference image group and supplies it to the reference image acquisition unit 101b.
  • the analysis image acquisition unit 107 sets the image group T1, the image group T2,..., The image group Tn as a time-series comparison image group, and supplies the comparison image acquisition unit 102b. That is, the comparison images included in the time series comparison image group are images taken in time series.
  • a density change analysis image group is a plurality of cell images for each concentration of a compound added to a cell.
  • the density change analysis image group includes an image group X0, an image group X1,..., An image group Xn.
  • the image group X0, the image group X1,..., The image group Xn correspond to the order in which the concentration of the compound added to the cells increases in this order.
  • the image group X0, the image group X1,..., And the image group Xn may each be one cell image.
  • the analysis image acquisition unit 107 sets the image group X0 as a density change reference image group and supplies the density change reference image group to the reference image acquisition unit 101b.
  • the analysis image acquisition unit 107 sets the image group X1, the image group X2,..., The image group Xn as a density change comparison image group and supplies the density change comparison image group to the comparison image acquisition unit 102b. That is, the comparison image included in the concentration change comparison image group is an image of the comparison cell imaged for each concentration of the compound added to the comparison cell.
  • the type change analysis image group is a plurality of cell images for each type of compound added to the cell.
  • the type change analysis image group includes an image group Y0, an image group Y1,..., An image group Yn.
  • the image group Y0, the image group Y1,..., The image group Yn correspond to the types of compounds added to the cells.
  • Each of the image group Y0, the image group Y1,..., And the image group Yn may be one cell image.
  • the analysis image acquisition unit 107 sets the image group Y0 as a type change reference image group, and supplies it to the reference image acquisition unit 101b.
  • the analysis image acquisition unit 107 supplies the image group Y1, the image group Y2,..., The image group Yn to the calculation unit 103b. That is, the comparison image included in the type change comparison image group is an image of a cell imaged for each type of compound added to the comparison cell.
  • the reference image acquisition unit 101b acquires the time series change reference image group supplied by the analysis image acquisition unit 107 and supplies the time series change reference image group to the calculation unit 103b.
  • the reference image acquisition unit 101b acquires the density change reference image group supplied by the analysis image acquisition unit 107, and supplies it to the calculation unit 103b.
  • the reference image acquisition unit 101b acquires the type change reference image group supplied by the analysis image acquisition unit 107 and supplies it to the calculation unit 103b.
  • the comparison image acquisition unit 102b acquires the time-series change comparison image group supplied by the analysis image acquisition unit 107, and supplies it to the calculation unit 103b.
  • the comparison image acquisition unit 102b acquires the density change comparison image group supplied by the analysis image acquisition unit 107 and supplies it to the calculation unit 103b.
  • the comparison image acquisition unit 102b acquires the type change reference image group supplied by the analysis image acquisition unit 107 and supplies the acquired type change reference image group to the calculation unit 103b.
  • the calculation unit 103b is a reference representative feature amount calculated based on the image group T0 which is a time series reference image group supplied by the reference image acquisition unit 101b, and a time series analysis image group supplied by the comparison image acquisition unit 102b. A distance from each of the comparative representative feature amounts calculated based on the image group T1, the image group T2,..., And the image group Tn is calculated as a time series distance.
  • the calculation unit 103b supplies the calculated time series distance to the time series calculation unit 1081 of the analysis unit 108.
  • the calculation unit 103b is a reference representative feature amount calculated based on the image group X0 that is a density change reference image group supplied by the reference image acquisition unit 101b, and a density change analysis image group supplied by the comparison image acquisition unit 102b.
  • the calculation unit 103b supplies the calculated density change distance to the density change calculation unit 1082 of the analysis unit 108.
  • the calculation unit 103b is a reference representative feature amount calculated based on the image group Y0, which is a type change reference image group supplied by the reference image acquisition unit 101b, and a type change analysis image group supplied by the comparison image acquisition unit 102b.
  • a distance from each of the comparative representative feature amounts calculated based on the image group Y1, the image group Y2,..., The image group Yn is calculated as a type change distance.
  • the calculation unit 103b supplies the calculated type change distance to the type change calculation unit 1083 of the analysis unit 108.
  • the comparison image group includes a single comparison image, the calculation unit 103 does not have to include the representative feature amount calculation unit 1033.
  • the analysis unit 108 calculates a time-series change, a change with respect to the concentration of the compound added to the cell, and a change with respect to the type of the difference between the reference image group and the comparison image group.
  • the analysis unit 108 supplies the calculated time-series change, the change with respect to the concentration of the compound added to the cell, and the change with respect to the type to the result output unit 300.
  • the analysis unit 108 includes a time series calculation unit 1081, a density change calculation unit 1082, and a type change calculation unit 1083.
  • the time-series calculation unit 1081 calculates the feature amount calculated based on the image group T0, the image group T1, the image group T2,.
  • the difference from the feature amount calculated based on the image group Tn is calculated. That is, the time series calculation unit 1081 uses the difference supplied by the calculation unit 103b, and is calculated based on the feature amount calculated based on the plurality of reference images and the plurality of comparison images for each time in the time series. The difference from the feature amount is calculated.
  • the density change calculation unit 1082 calculates the feature amount calculated based on the image group X0, the image group X1, and the image group for each concentration of the compound added to the cell based on the density change distance supplied by the calculation unit 103b. X2,..., The difference from the feature amount calculated based on the image group Xn is calculated. In other words, the concentration change calculation unit 1082 uses the difference calculated by the calculation unit 103b to calculate the feature amount calculated based on the plurality of reference images and the plurality of comparison images for each concentration of the compound added to the comparison cell. The difference calculated based on is calculated.
  • the type change calculation unit 1083 calculates the feature amount calculated based on the image group Y0, the image group Y1, and the image group for each type of compound added to the cell based on the type change distance supplied by the calculation unit 103b. Y2,..., The difference from the feature amount calculated based on the image group Yn is calculated. That is, the type change calculation unit 1083 uses the difference calculated by the calculation unit 103b to calculate a feature amount calculated based on a plurality of reference images and a plurality of comparison images for each type of compound added to the comparison cell. The difference calculated based on is calculated.
  • the ratio calculation unit 105 may calculate a ratio of comparison images in which the difference calculated by the calculation unit 103 is larger than a predetermined value from the comparison image group. For example, the ratio calculation unit 105 may calculate, from the time-series analysis image group, the ratio of comparison images in which the difference calculated by the calculation unit 103 is larger than a predetermined value for each time-series time. The ratio calculation unit 105 supplies the calculated time-series ratio for each time to the time-series calculation unit 1081. The ratio calculation unit 105 may calculate, for each concentration of the compound added to the cell, the ratio of the comparison image in which the difference calculated by the calculation unit 103 is larger than a predetermined value from the concentration change analysis image group.
  • the ratio calculation unit 105 supplies the calculated ratio for each density to the density change calculation unit 1082.
  • the ratio calculation unit 105 may calculate a ratio of comparison images in which the difference calculated by the calculation unit 103 is greater than a predetermined value from the type change analysis image group for each type of compound added to the cell.
  • the ratio calculation unit 105 supplies the calculated ratio for each type to the type change calculation unit 1083.
  • FIG. 15 is a flowchart illustrating an example of a calculation procedure of the calculation unit 100b according to the present embodiment. Note that the processes of step S503, step S504, step S505, and step S506 are the same as the processes of step S300, step S301, step S302, and step S303 in FIG.
  • the analysis image acquisition unit 107 acquires a type of analysis image group corresponding to the change captured by the imaging unit 22 (step S500).
  • the analysis image acquisition unit 107 acquires one type of analysis image group from the time-series analysis image group, the density change analysis image group, and the type change analysis image group according to the change analyzed by the calculation device 10b. Which of the time series change, the compound concentration change, and the compound type change is analyzed by the calculation device 10b may be designated by the user of the calculation device 10b.
  • the analysis image acquisition unit 107 sets the image group T0 as the time series reference image group and supplies the time group analysis image group to the reference image acquisition unit 101b.
  • the analysis image acquisition unit 107 sets the image group T1, the image group T2,..., The image group Tn as a time series comparison image group, and supplies the comparison image acquisition unit 102b.
  • the analysis image acquisition unit 107 sets the image group X0 as the density change reference image group and supplies it to the reference image acquisition unit 101b.
  • the analysis image acquisition unit 107 sets the image group X1, the image group X2,..., The image group Xn as a density change comparison image group, and supplies the density change comparison image group to the comparison image acquisition unit 102b.
  • the analysis image acquisition unit 107 sets the image group Y0 as the type change reference image group and supplies the type change analysis image group to the reference image acquisition unit 101b.
  • the analysis image acquisition unit 107 supplies the image group Y1, the image group Y2,..., The image group Yn to the calculation unit 103b.
  • the reference image acquisition unit 101b and the calculation unit 103b perform processing on the reference image group (step S501).
  • the processing performed on the reference image group is the same as the processing from step S100 to step S102 in FIG.
  • the calculation unit 103b starts processing for each change according to the change to be analyzed (step S502).
  • the calculation unit 103b repeats the processing of step S503, step S504, step S505, and step S506 for each change, and calculates the distance between the reference representative feature value and the comparative representative feature value for each change.
  • the calculation unit 103 calculates the reference representative feature amount calculated from the image group T0 and the comparative representative feature calculated from the time-series comparison image group corresponding to this time for each time-series time. Calculate the distance to the quantity.
  • the calculation unit 103 calculates a reference representative feature amount calculated from the image group X0 and a comparative representative calculated from the density change comparison image group corresponding to this concentration for each concentration of the compound. The distance from the feature amount is calculated.
  • the calculation unit 103 calculates, for each type of compound, a reference representative feature amount calculated from the image group Y0 and a comparative representative calculated from the type change comparison image group corresponding to this type. The distance from the feature amount is calculated.
  • the calculation unit 103b ends the process for each change (step S507).
  • the calculation unit 103b supplies the calculated distance for each change to the analysis image acquisition unit 107.
  • the analysis unit 108 calculates a change in the difference between the reference image group and the comparison image group in accordance with the change analyzed by the calculation device 10b (step S508).
  • the change in the difference between the reference image group and the comparison image group is a set of a difference between the reference image group and the comparison image group and an index indicating the change. This is the distance between the representative reference feature value calculated from the reference image group and the comparative representative feature value calculated from the comparison image group.
  • the index indicating change is an index indicating time in time series, compound concentration, and compound type.
  • the time series calculation unit 1081 supplies the acquired distance and the time series time corresponding to this distance to the result output unit 300 as a set.
  • the concentration change calculation unit 1082 acquires a distance for each concentration of the compound supplied by the calculation unit 103b.
  • the density change calculation unit 1082 supplies the acquired distance and the density corresponding to this distance as a set to the result output unit 300.
  • the type change calculation unit 1083 acquires a distance for each type of compound supplied by the calculation unit 103b.
  • the type change calculation unit 1083 supplies the acquired distance and the type corresponding to the distance as a set to the result output unit 300.
  • the result output unit 300 outputs the result by causing the display unit 30 to display a set of the distance supplied by the analysis unit 108 and the index indicating the change (step S509).
  • the display unit 30 displays a graph in which the distance supplied by the analysis unit 108 is plotted with respect to an index indicating a change.
  • FIG. 16 is a diagram illustrating an example of a difference between a plurality of reference images and a plurality of comparative images for each time series according to the present embodiment.
  • FIG. 16 there is a graph in which the difference between the image group T0, which is the reference image group, and the image group T1, the image group T2,... It is displayed.
  • the image group T0 is a cell image obtained by imaging the cell immediately before the compound is added.
  • FIG. 17 is a diagram illustrating an example of a difference between a plurality of reference images and a plurality of comparative images for each concentration of the compound according to the present embodiment.
  • FIG. 17 shows a graph in which the difference between the image group X0, which is the reference image group, and the image group X1, the image group X2,... Has been.
  • the image group X0 is a cell image obtained by imaging cells to which no compound is added.
  • FIG. 18 is a diagram illustrating an example of a difference between a plurality of reference images and a plurality of comparative images for each type of compound of the present embodiment.
  • FIG. 18 shows a graph in which the difference between the image group Y0 as the reference image group and the image group Y1, the image group Y2,..., The image group Yn as the comparison image group corresponding to each type of compound is plotted for each type.
  • the image group Y0 is a cell image obtained by imaging cells to which no compound is added.
  • the calculation device 10b may calculate a change in the reaction rate.
  • the reaction ratio is a ratio of comparison images in which a distance from the reference image group is larger than a predetermined value among a plurality of comparison images included in the comparison image group. That is, the calculation device 10b may calculate a time-series change in the reaction rate, may calculate a change in the reaction rate with respect to the concentration of the compound, or may calculate a change in the reaction rate with respect to the type of compound. It may be calculated.
  • the calculation device 10b may display the calculated change in the reaction ratio on the display unit 30.
  • calculation device 10b may determine, for each change, the position of the well W of the well plate WP corresponding to the comparison image whose distance from the reference image group is larger than a predetermined value.
  • the calculation device 10b may display the determined position of the well W on the display unit 30.
  • the calculation device 10b when the change analyzed by the calculation device 10b is a change in the type of a compound, the calculation device 10b is an image group Y0 that is a type change reference image group and a type change comparison image group.
  • the calculation device 10b calculates the scores of the image group Y1, the image group Y2,. May be.
  • the score is the distance between the image group that is the target for calculating the score and the image group other than the image group that is the target for calculating the score among the image group Y1, the image group Y2,. It is the value which calculated
  • the calculation device 10b may display a graph in which the calculated score is plotted for each type of compound on the display unit 30.
  • the distance between the reference image group and the comparison image group is plotted against the index indicating the change in accordance with the change analyzed by the calculation device 10b.
  • the result of combining two types of changes may be plotted against a two-dimensional plane.
  • the calculation device 10b calculates, for example, a time-series change in the distance between the reference image group and the comparison image group for each compound concentration, and plots the calculated results against the compound concentration and time-series time 2
  • a dimensional graph may be displayed on the display unit 30.
  • the calculation device 10b calculates, for example, a time-series change in the distance between the reference image group and the comparison image group for each type of compound, and plots the calculated result against the compound type and time-series time.
  • the displayed two-dimensional graph may be displayed on the display unit 30.
  • the calculation device 10b calculates, for example, the distance between the reference image group and the comparison image group when the concentration of the compound is changed for each type of compound, and the calculated result is used as the type of compound and the concentration of compound.
  • a two-dimensional graph plotted on the display unit 30 may be displayed.
  • the calculation device 10b of this embodiment includes the time series calculation unit 1081, the density change calculation unit 1082, and the type change calculation unit 1083.
  • the time series calculation unit 1081 calculates the difference for each time in the time series using the difference calculated by the calculation unit 103b.
  • the difference calculated by the calculation unit 103b is a difference between a feature amount calculated based on a plurality of reference images and a feature amount calculated based on a comparative image that is an image captured in time series. .
  • the calculation device 10b can quantify the difference between the cell image before the stimulus is applied and the cell image after the stimulus is applied in the time series after the stimulus is applied. It is possible to quantify changes in the time series of cellular responses after the lapse of time.
  • the concentration change calculation unit 1082 calculates the difference for each concentration of the compound added to the comparative cell, using the difference calculated by the calculation unit 103b.
  • the difference calculated by the calculation unit 103b is based on a feature amount calculated based on a plurality of reference images and a comparison image that is an image of a cell captured for each concentration of a compound added to a comparison cell. This is a difference from the calculated feature value.
  • the calculation device 10b can quantify the difference between the cell image before the addition of the compound and the cell image after the addition of the compound with respect to the change in the concentration of the compound. Cell response can be quantified.
  • the type change calculation unit 1083 calculates the difference for each type of compound added to the comparative cell, using the difference calculated by the calculation unit 103b.
  • the difference calculated by the calculation unit 103b is based on a feature amount calculated based on a plurality of reference images and a comparison image that is an image of a cell captured for each type of compound added to the comparison cell. This is a difference from the calculated feature value.
  • the calculation device 10b can quantify the difference between the cell image before the compound is added and the cell image after the compound is added with respect to the change in the type of the compound. Cell response can be quantified.
  • FIG. 19 is a block diagram illustrating an example of a functional configuration of each unit included in the calculation apparatus 10c according to the present embodiment.
  • the calculation device 10c (FIG. 19) according to the present embodiment is compared with the calculation device 10a (FIG. 9) according to the second embodiment, in the calculation unit 100c, the classification reference image acquisition unit 101c and the target image acquisition unit. 102c, the calculation unit 103c, and the classification unit 109 are different, and the storage unit 200c is different.
  • the functions of other components are the same as in the second embodiment.
  • the description of the same function as in the second embodiment is omitted, and in the third embodiment, the description will focus on parts that are different from the second embodiment.
  • the classification reference image acquisition unit 101c acquires the classification reference image group stored in the classification reference image storage unit 202c of the storage unit 200c, and supplies the acquired classification reference image group to the calculation unit 103c.
  • the classification reference image acquisition unit 101c acquires a classification reference image group corresponding to a class in which the calculation device 10c classifies cell images. That is, the classification reference image acquisition unit 101c acquires a plurality of types of reference images.
  • the classification reference image group is a plurality of types of reference image groups for classifying cell images into classes.
  • the class into which the cell image is classified is, for example, a class classified for each cell type.
  • the cell type may be, for example, a cell type for each organ of a living organism such as a cardiac muscle cell or a brain cell.
  • the type of cell may be the type of cell constituting a specific organ of the organism.
  • the cells that constitute a specific organ of an organism are, for example, astrocytes, glial cells, oligodendrocytes, and neurons that constitute the nervous system.
  • the cell type may be epithelial cells or mesenchymal cells.
  • the cell type may be a cancer cell and a healthy cell.
  • the class into which cell images are classified may be a class in which cells are classified for each stage of differentiation. This class may be a class in which iPS (Induced Pluripotent stem cells) cells are classified for each stage of differentiation.
  • the class into which the cell image is classified may be a class in which cells are classified for each division cycle. Therefore, for example, when the calculation device 10c classifies cell images into cancer cells and healthy cells, the classification reference image acquisition unit 101c corresponds to classification reference image groups corresponding to cancer cells and healthy cells. A reference image group for classification is acquired.
  • the target image acquisition unit 102c acquires one or more cell images captured by the imaging unit 22 as one or more target images, and supplies the acquired one or more target images to the calculation unit 103c.
  • the calculation unit 103c calculates the distance between the classification reference image group supplied by the classification reference image acquisition unit 101c and one or more target images supplied by the target image acquisition unit 102c.
  • the classification reference image groups are a plurality of types of reference image groups, and the plurality of types of reference image groups correspond to classes into which the calculation device 10c classifies cell images.
  • the calculation unit 103c calculates the distance using the target image as a comparison image. That is, the calculation unit 103c calculates differences between a plurality of types of reference images and comparison images.
  • the calculation unit 103c supplies each distance corresponding to the calculated class to the classification unit 109.
  • the classification unit 109 classifies the target image using a plurality of distances supplied by the calculation unit 103c. That is, the classification unit 109 classifies the comparative images using a plurality of differences calculated by the calculation unit.
  • the storage unit 200c includes a dimension reduction information storage unit 201 and a classification reference image storage unit 202c.
  • the classification reference image storage unit 202c stores a plurality of types of classification reference image groups respectively corresponding to classes into which the calculation device 10c classifies cell images.
  • FIG. 20 is a flowchart illustrating an example of a procedure for calculating the reference feature amount by the calculation unit of the present embodiment.
  • the calculation unit 100c starts processing for each class in which the calculation device 10c classifies cell images (step S600).
  • the classification reference image acquisition unit 101c acquires a classification reference image group stored in the classification reference image storage unit 202c of the storage unit 200c (step S601).
  • the classification reference image acquisition unit 101c supplies the acquired classification reference image group to the calculation unit 103c. Since each process of step S602 and step S603 is the same as each process of step S101 and step S102 in FIG. 3, description is abbreviate
  • the computing unit 100c ends the process for each class (step S604).
  • FIG. 21 is a flowchart illustrating an example of a calculation procedure for classifying target images into classes by the calculation unit according to the present embodiment.
  • the target image acquisition unit 102c acquires one or more cell images captured by the imaging unit 22 as one or more target images (step S700).
  • the target image acquisition unit 102c supplies one or more acquired target images to the calculation unit 103c. Since each process of step S701 and step S702 is the same as each process of step S201 and step S202 in FIG. 5, description is abbreviate
  • the calculation unit 103c calculates a distance from each of the plurality of classification reference image groups using the target image as a comparison image.
  • the calculation unit 103c supplies each distance corresponding to the calculated class to the classification unit 109.
  • the calculation unit 103c may calculate the representative comparison feature amount from the plurality of target images.
  • the calculation unit 103c calculates the distance between the calculated representative comparison feature value and the representative reference feature value calculated from each of a plurality of types of reference image groups.
  • the classification unit 109 classifies the target image based on the plurality of distances supplied by the calculation unit 103c (step S703).
  • the classification unit 109 classifies the target image group into classes corresponding to the classification reference image group that minimizes the distance from the classification reference image group.
  • the classification unit 109 supplies the classified result to the result output unit 300.
  • FIG. 22 is a diagram illustrating an example of target image classification processing according to the present embodiment.
  • the calculation device 10c classifies the target image group G22 into two classes of cancer cells and healthy cells.
  • the classification reference image group S221 is a reference image group in which cancer cells are imaged.
  • the classification reference image group S222 is a reference image group in which healthy cells are imaged.
  • the target image group G22 includes target images P221 to P229.
  • the distance between the target image P221 and the classification reference image group S221 is smaller than the distance between the target image P221 and the classification reference image group S221 and the distance between the target image P221 and the classification reference image group S222. Therefore, the classification unit 109 classifies the target image P221 into a cancer cell class that is a class corresponding to the classification reference image group S221.
  • the calculation device 10c may classify each of the target images P221 to P229 included in the target image group G22 in order.
  • the target image P221, the target image P222, the target image P226, and the target image P227 are classified as cancer cells, and the remaining target images are classified as healthy cells.
  • the result output unit 300 displays the classification result supplied from the classification unit 109 on the display unit 30 (step S704).
  • the calculation device 10c of this embodiment includes the classification reference image acquisition unit 101c, the calculation unit 103c, and the classification unit 109.
  • the classification reference image acquisition unit 101c acquires a plurality of types of reference images.
  • the calculation unit 103c calculates each difference between a plurality of types of reference images and a comparison image.
  • the classification unit 109 classifies the comparative images using the plurality of differences calculated by the calculation unit 103c.
  • the calculation device 10c can calculate a difference between a plurality of types of reference images and a cell image, and thus can classify cell images for each cell type.
  • FIG. 23 is a block diagram illustrating an example of a functional configuration of each unit included in the calculation device 10d according to the fifth embodiment of the present invention.
  • the comparison image acquisition unit 102d and the comparison image difference calculation unit are compared.
  • the abnormal image selection unit 104d, and the culture state determination unit 110 are different.
  • the storage unit 200b is different in that it does not need to include a reference image storage unit.
  • the functions of other components are the same as in the second embodiment. The description of the same function as in the second embodiment is omitted, and in the fifth embodiment, a description will be given focusing on parts different from the second embodiment.
  • the comparison image acquisition unit 102d acquires a well comparison image group as a comparison image group for the plurality of well plates captured by the imaging unit 22, and supplies the acquired comparison image group to the comparison image difference calculation unit 103d.
  • the well comparison image group is a plurality of cell images in which cells are imaged at predetermined positions of the well.
  • the comparison image difference calculation unit 103d calculates the distance between the comparison images included in the well comparison image group supplied by the comparison image acquisition unit 102d. That is, the comparison image difference calculation unit 103d calculates the difference between the comparison images.
  • the comparison image difference calculation unit 103d includes a comparison feature amount calculation unit 1032 and a distance calculation unit 1034d.
  • the distance calculation unit 1034d calculates, for each comparison image included in the well comparison image group supplied by the comparison image acquisition unit 102d, an in-image group distance that is a distance from the image group including the comparison images other than the comparison image.
  • the distance calculation unit 1034d supplies the calculated intra-image group distance to the abnormal image selection unit 104d.
  • the distance calculation unit 1034d divides a plurality of comparison images included in the well comparison image group into two comparison image groups, and calculates an in-well distance that is a distance between the two comparison image groups.
  • the distance calculation unit 1034d calculates an inter-well distance that is a distance between well comparison image groups for different wells.
  • the distance calculation unit 1034d calculates an inter-plate distance that is a distance between well comparison image groups with respect to wells of different well plates.
  • the distance calculation unit 1034 supplies the calculated intra-well distance, inter-well distance, and inter-plate distance to the culture state determination unit 110.
  • the abnormal image selection unit 104d selects, as an abnormal image, a comparison image in which the image group distance supplied by the comparative image difference calculation unit 103d is greater than a predetermined value. That is, the abnormal image selection unit 104d selects, as an abnormal image, a comparison image in which the difference between the comparison images calculated by the comparison image difference calculation unit 103d is greater than a predetermined value.
  • the abnormal image is, for example, a cell image captured in the following case.
  • An abnormal image is, for example, a cell image obtained by imaging a dividing cell.
  • An abnormal image is, for example, a cell image obtained by capturing dead cells.
  • An abnormal image is, for example, a cell image captured when the density of cells in the well is extremely small.
  • An abnormal image is, for example, a cell image that is captured while objects other than cells are mixed in the well.
  • the culture state determination unit 110 determines whether the comparison image difference calculation unit 103d supplies the cells captured in the comparison image based on whether the in-well distance, the inter-well distance, and the inter-plate distance are within a predetermined range. Determine the culture state. That is, the culture state determination unit 110 determines the culture state of the comparative cells captured in the comparison image based on whether or not the difference between the comparison images is within a predetermined range.
  • FIG. 24 is a diagram illustrating an example of a calculation procedure for determining the culture state of the calculation unit 100d of the present embodiment. Since each process of step S801 and step S802 is the same as each process of step S301 and step S302 in FIG. 7, description is abbreviate
  • the comparison image acquisition unit 102d the imaging unit 22 acquires a well comparison image group for a plurality of well plates (step S800). The comparison image acquisition unit 102d supplies the acquired well comparison image group to the comparison image difference calculation unit 103d.
  • the distance calculation unit 1034d calculates an in-image group distance for each of the comparison images included in the well comparison image group supplied by the comparison image acquisition unit 102d (step S803).
  • the distance calculation unit 1034d supplies the calculated intra-image group distance to the abnormal image selection unit 104d.
  • the abnormal image selecting unit 104d selects, as an abnormal image, a comparative image in which the distance within the image group supplied by the comparative image difference calculating unit 103d is greater than a predetermined value (step S804).
  • the abnormal image selection unit 104d supplies information indicating the selected abnormal image to the result output unit 300.
  • the position determination unit 106 may determine the position of the abnormal image in the well based on the information indicating the abnormal image selected by the abnormal image selection unit 104d and supply the result to the result output unit 300.
  • the distance calculation unit 1034d calculates the intra-well distance, the inter-well distance, and the inter-plate distance calculation (step S805).
  • the distance calculation unit 1034d divides a plurality of comparison images included in the well comparison image group into two comparison image groups, and calculates the in-well distance.
  • the distance calculation unit 1034d divides the plurality of comparison images included in the well comparison image group into two comparison image groups, for example, so that the number of comparison images included in the two comparison image groups is equal. Divide.
  • the distance calculation unit 1034d causes the difference in the number of comparison images included in the two comparison image groups to be one.
  • the distance calculation unit 1034d divides images for adjacent positions in the well into the same comparison image group, for example.
  • the distance calculation unit 1034d may divide images for positions that are not adjacent as much as possible in the well into the same comparison image group.
  • the distance calculation unit 1034d calculates the inter-well distance between the well comparison image groups for all wells. For example, the distance calculation unit 1034d may select one or all positions from each well and calculate the inter-well distance between the well comparison image groups with respect to the selected position.
  • the distance calculation unit 1034d calculates the inter-plate distance between the well comparison image groups for all well plates. For example, the distance calculation unit 1034d selects one well from each well plate, selects one or all positions from the selected wells, and calculates the inter-plate distance between the well comparison image groups with respect to the selected position. You can do it. The distance calculation unit 1034d selects, for example, all wells from each well plate, selects one or all positions from each selected well, and plates of well comparison image groups for each selected position. An inter-distance may be calculated. The distance calculation unit 1034d supplies the calculated in-well distance, inter-well distance, and inter-plate distance calculation to the culture state determination unit 110.
  • the culture state determination unit 110 cultures the cells imaged in the comparative image based on whether the in-well distance, the inter-well distance, and the inter-plate distance supplied by the distance calculation unit 1034d are within a predetermined range. The state is determined (step S806). The culture state determination unit 110 supplies the determination result to the result output unit 300.
  • FIG. 25 is a diagram illustrating an example of a culture state determination process according to the present embodiment.
  • the culture state determination unit 110 determines whether or not all of the intra-well distance DW, the inter-well distance DB, and the inter-plate distance DP are equal to or less than a predetermined threshold.
  • the culture state determination unit 110 determines that the culture state is appropriate when determining that all of the in-well distance DW, the inter-well distance DB, and the inter-plate distance DP are equal to or less than a predetermined threshold.
  • the culture state determination unit 110 compares, for example, the sizes of the intra-well distance DW, the inter-well distance DB, and the inter-plate distance DP, and the intra-well distance DW, the inter-well distance DB, and the inter-plate distance DP increase in this order. It may be determined whether or not. When determining that the in-well distance DW, the inter-well distance DB, and the inter-plate distance DP are increased in this order, the culture state determination unit 110 determines that the culture state is appropriate.
  • the culture state determination unit 110 uses, for example, the inter-well distance DB for each well in the well plate WP1 using the inter-well distance DB for the well W11 and the well W12 that are a set of wells of the well plate WP1 as a reference value. However, it may be determined whether or not the value is equal to or less than the reference value. When determining that the inter-well distance DB for each well in the well plate WP1 is equal to or less than the reference value, the culture state determination unit 110 determines that the culture state is appropriate.
  • the culture state determination unit 110 calculates, for example, the average for the other wells of the well plate WP1 of the inter-well distance DB between the well W11 with the well plate WP1 and the other wells of the well plate WP1 as the score of the well W11.
  • the culture state may be determined based on this score.
  • the culture state determination unit 110 calculates scores for all wells in the well plate WP1, and calculates an average value of scores for all wells in the well plate WP1.
  • the culture state determination unit 110 determines whether or not the difference between the scores of all wells in the well plate WP1 and the average value of the scores is within a predetermined threshold. When determining that the difference between the scores of all wells in the well plate WP1 and the average value of the scores is within a predetermined threshold, the culture state determination unit 110 determines that the culture state is appropriate.
  • the result output unit 300 displays the result supplied from the calculation unit 100d on the display unit 30 (step S807).
  • the result output unit 300 causes the display unit 30 to display an abnormal image based on information indicating the abnormal image supplied by the abnormal image selection unit 104d.
  • the result output unit 300 may display the position in the well of the abnormal image supplied by the position determination unit 106 on the display unit 30.
  • the result output unit 300 displays the determination result of the culture state supplied by the culture state determination unit 110 on the display unit 30.
  • the abnormal image selection unit 104d selects an abnormal image based on the intra-image group distance calculated for each comparison image included in the comparison images included in the well comparison image group has been described.
  • the abnormal image selection unit 104d may select an abnormal well based on the distance between wells.
  • the representative feature amount calculation unit 1033 determines whether to select a well AW in the well plate as an abnormal image, for example, the representative comparison feature of the well comparison image group for all other wells in the well plate except the well AW. Each amount is calculated.
  • the representative feature amount calculation unit 1033 calculates a representative value of the calculated distribution of the plurality of representative comparison feature amounts as a plate representative feature amount.
  • the distance calculation unit 1034d calculates the distance between the comparison representative feature amount of the well comparison image group for the well AW and the plate representative feature amount.
  • the abnormal image selection unit 104d determines the well AW as an abnormal well when the distance between the comparison representative feature amount of the well comparison image group with respect to the well AW and the plate representative feature amount is equal to or greater than a predetermined value. Further, the distance calculation unit 1034d calculates the comparison representative feature amount of the well comparison image group with respect to the well AW and the distance between the comparison representative feature amount of the well comparison image group with respect to all other wells in the well plate excluding the well AW. You may calculate the value which added the difference about all the other wells. The abnormal image selection unit 104d may determine that the well AW is an abnormal well when this value is equal to or greater than a predetermined value.
  • the comparison image acquisition unit 102 may acquire a plurality of comparison images instead of the well comparison image.
  • the abnormal image selection unit 104d may select an abnormal image from a plurality of comparison images acquired by the comparison image acquisition unit 102.
  • the case where the well comparison image group is used for the determination of the cell culture state has been described. However, instead of the well comparison image group, one cell image for a certain position in the well is used as the comparison image. It may be used to determine the culture state of the cells. Further, in the present embodiment, the case where the distance between the representative feature amounts of the well comparison image group is used for the determination of the cell culture state, but instead of the distance between the representative feature amounts of the well comparison image group, The reaction ratio in the well comparison image group may be used to determine the culture state of the cells. When the reaction ratio in the well comparison image group is used for determination of the culture state of the cell, the calculation device 10d may include a ratio calculation unit 105.
  • the reaction ratio in the well comparison image group is compared for a plurality of positions in the well, and whether the reaction ratio at a certain position is within a predetermined range compared to the average value of the reaction ratios at other positions in the well. May be calculated.
  • the calculation device 10d may determine that the culture state is appropriate for each position in the well when the reaction ratio is within a predetermined range compared to the average value of the reaction ratios at other positions in the well. .
  • the reaction ratio in the well comparison image group is compared for a plurality of wells in the well plate, and the reaction ratio of one well is within a predetermined range compared to the average value of the reaction ratios of other wells in the well plate. You may calculate whether it exists.
  • the culture state may be determined to be appropriate.
  • the reaction ratio in the well comparison image group is compared for a plurality of well plates in the whole well plate, and the reaction ratio in one well plate is compared with the average value of the reaction ratios in other well plates in the whole well plate. You may calculate whether it is in a predetermined range. When the reaction rate of a well plate is within a predetermined range compared to the average value of the reaction rates of other well plates in the whole well plate, the culture state may be determined to be appropriate.
  • the calculation device 10d of the present embodiment includes the comparative image difference calculation unit 103d and the abnormal image selection unit 104d.
  • the comparison image difference calculation unit 103d calculates a difference between the comparison images.
  • the abnormal image selection unit 104d selects, as an abnormal image, a comparison image in which the difference between the comparison images calculated by the comparison image difference calculation unit 103d is larger than a predetermined value among the comparison images.
  • the calculation device 10d can compare the value obtained by quantifying the difference between the comparison images with a predetermined value, and thus can select an abnormal image from the cell images corresponding to the respective positions in the well. .
  • the calculation device 10d of the present embodiment includes a culture state determination unit 110.
  • the culture state determination unit 110 determines the culture state of the comparison cells captured in the comparison image based on whether or not the difference between the comparison images is within a predetermined range. With this configuration, since the calculation device 10d can determine whether the value obtained by quantifying the difference between the comparison images is within a predetermined range, the culture state is determined for each well, for each well plate, or for a plurality of well plates. It can be determined whether it is appropriate.
  • the calculation device 10d calculates the difference between the cell images of the cells cultured in the well has been described, but as a modification, the calculation device 10d has three-dimensionally aggregated cells.
  • a lump colony
  • a case where a difference in spheroids is calculated will be described. Below, it demonstrates centering on a different part from said 5th Embodiment.
  • An example of a three-dimensionally aggregated cell mass other than spheroids is an organoid cultured to simulate tissue.
  • FIG. 26 is a diagram illustrating a modification of the calculation procedure of the calculation unit 100d of the present embodiment.
  • the comparative image acquisition unit 102d acquires cross-sectional images PZ0 to PZn obtained by imaging each cross section of the spheroid (step S900).
  • a cross-sectional image of the spheroid will be described with reference to FIG.
  • FIG. 27 is a diagram illustrating an example of a cross-sectional image of the spheroid of the present embodiment.
  • a spheroid is a cell mass (colony) aggregated in three dimensions. Spheroids can reproduce an environment closer to the living body than two-dimensional culture.
  • FIG. 27 shows a directional uniform spheroid image SFZ, which is a three-dimensional image in which spheroids that are expected to be uniform in the Z-axis direction are captured.
  • the area AP is different in nature from other areas.
  • the cross-sectional images PZ0 to PZn are two-dimensional images in which cross-sections corresponding to the respective positions on the Z axis of the directional uniform spheroid image SFZ are extracted.
  • the cross-sectional image PZi and the cross-sectional image PZj are two-dimensional images in which cross sections corresponding to the upper and lower surfaces in the Z-axis direction of the region R of the directional uniform spheroid image SFZ are extracted.
  • the number of cross-sectional images PZ0 to PZn is, for example, 1000.
  • the comparison image acquisition unit 102d divides each of the acquired cross-sectional images PZ0 to PZn into predetermined regions, and supplies them to the comparison feature amount calculation unit 1032 as a comparison image group including a plurality of regions.
  • the distance calculation unit 1034d calculates the distance between the comparative representative feature amounts calculated by the representative feature amount calculation unit 1033d (step S903). Here, the distance calculation unit 1034d calculates the distance between the comparative representative feature values for all combinations of the comparative representative feature values calculated from the cross-sectional images PZ0 to PZn. The distance calculation unit 1034d supplies the calculated plurality of distances to the abnormal image selection unit 104d.
  • the abnormal image selection unit 104d selects, from the cross-sectional images PZ0 to PZn, a cross-sectional image whose distance is equal to or greater than a predetermined value based on the plurality of distances supplied by the distance calculation unit 1034d (step S904).
  • the abnormal image selection unit 104d selects a cross-sectional image PZi and a cross-sectional image PZj that are different from other regions of the direction-uniform spheroid image SFZ.
  • the abnormal image selection unit 104d supplies information indicating the selected cross-sectional image to the position determination unit 106.
  • the position determination unit 106 determines the position of the cross-sectional image in the three-dimensional spheroid image based on the information indicating the cross-sectional image supplied by the abnormal image selection unit 104d (step S905).
  • the position determination unit 106 supplies information indicating the determined position to the result output unit 300.
  • the result output unit 300 causes the display unit 30 to display the position of a region different from other regions in the three-dimensional spheroid image based on the information indicating the position supplied by the position determination unit 106 (step S906).
  • a sixth embodiment of the present invention will be described with reference to the drawings.
  • the calculation device quantifies the difference between cell images corresponding to positions in the well.
  • This embodiment demonstrates the case where a calculation apparatus quantifies the difference between the three-dimensional images by which the spheroid was imaged.
  • FIG. 28 is a block diagram illustrating an example of a functional configuration of each unit included in 10e according to the sixth embodiment of the present invention.
  • the cell image for which the calculation unit 100e calculates the difference is a three-dimensional spheroid image. Different. Except for the point of calculating the difference between the three-dimensional spheroid images, the function of the calculation device 10e (FIG. 28) according to the present embodiment is similar to that of the fifth embodiment.
  • the description of the same function as in the fifth embodiment is omitted, and in the sixth embodiment, a description will be given focusing on parts different from the fifth embodiment.
  • the analysis image acquisition unit 107e acquires the analysis image group captured by the imaging unit 22.
  • This analysis image group is a spheroid image group which is a plurality of spheroid images.
  • a spheroid image is a set of a plurality of voxels that can be obtained by extracting a predetermined number of voxels of a predetermined size from each of three-dimensional images in which spheroids produced by the same method are captured.
  • the predetermined size is 100 ⁇ 100 ⁇ 100 pixels as an example
  • the predetermined number is 5 ⁇ 5 ⁇ 5 as an example.
  • the spheroid image group is a set in which a plurality of sets of a plurality of voxels extracted from a three-dimensional image of one spheroid are collected.
  • the analysis image acquisition unit 107e includes a spheroid image SF0, a spheroid image SF1, a spheroid image SF2, and a spheroid image SF3.
  • the analysis image acquisition unit 107e sets the spheroid image SF0 as a reference image group and supplies the spheroid image SF0 to the reference image acquisition unit 101e.
  • the analysis image acquisition unit 107e sets the spheroid image SF1, the spheroid image SF2, and the spheroid image SF3 as a comparison image group, and supplies the comparison image acquisition unit 102e with the comparison image group.
  • the reference image acquisition unit 101e acquires the reference image group supplied by the analysis image acquisition unit 107e and supplies the reference image difference calculation unit 103e.
  • the comparison image acquisition unit 102e acquires the comparison image group supplied by the analysis image acquisition unit 107e and supplies the comparison image group to the comparison image difference calculation unit 103e.
  • the comparison image difference calculation unit 103e calculates a difference between a reference image group that is a plurality of three-dimensional images and a comparison image group that is a plurality of three-dimensional images.
  • the comparison image difference calculation unit 103e includes a reference feature value calculation unit 1031e, a comparison feature value calculation unit 1032e, a representative feature value calculation unit 1033e, and a distance calculation unit 1034e.
  • the reference feature amount calculation unit 1031e calculates each feature amount of the voxel included in the spheroid image SF0 that is the reference image group supplied by the reference image acquisition unit 101e as a plurality of reference feature amounts.
  • the feature amount of the voxel is a tensor that can be obtained by dividing the voxel into cross-sectional views that are two-dimensional images at predetermined intervals of a certain axis and combining the feature amounts calculated for the respective cross-sectional views.
  • the feature quantity of the voxel may be referred to as a feature quantity tensor.
  • the reference feature quantity calculation unit 1031e supplies a plurality of feature quantity tensors calculated for each voxel of the spheroid image SF0 to the representative feature quantity calculation unit 1033e.
  • the comparison feature amount calculation unit 1032e uses, as a plurality of comparison feature amounts, the feature amount tensors of the spheroid images included in the spheroid image SF1, spheroid image SF2, and spheroid image SF3 that are comparison image groups supplied by the reference image acquisition unit 101e. calculate.
  • the comparison feature amount calculation unit 1032e supplies the plurality of calculated comparison feature amounts calculated for the voxels of the spheroid image SF1, spheroid image SF2, and spheroid image SF3 to the representative feature amount calculation unit 1033e.
  • the representative feature quantity calculation unit 1033e calculates a representative feature quantity tensor from a plurality of feature quantity tensors of the spheroid image SF0 supplied by the reference feature quantity calculation unit 1031e, and sets it as the reference representative feature quantity tensor.
  • the representative feature quantity tensor is a tensor composed of a representative value of distribution for each component of a plurality of feature quantity tensors.
  • the representative value is, for example, a median value or an average value.
  • the representative feature quantity calculation unit 1033e supplies the calculated reference representative feature quantity tensor to the distance calculation unit 1034e.
  • the representative feature amount calculation unit 1033e calculates a representative feature amount tensor from a plurality of feature amount tensors for each of the spheroid image SF1, spheroid image SF2, and spheroid image SF3 supplied by the comparison feature amount calculation unit 1032e, and compares the representative feature amount tensor. A quantity tensor.
  • the representative feature quantity calculation unit 1033e supplies the calculated comparative representative feature quantity tensor to the distance calculation unit 1034e.
  • the distance calculation unit 1034e calculates the distance between the reference representative feature quantity tensor supplied by the representative feature quantity calculation unit 1033e and the plurality of comparative representative feature quantity tensors, and supplies the calculated distance to the image selection unit 104e.
  • the image selection unit 104e selects a spheroid image from the comparison image group based on the distances to the plurality of distances supplied by the distance calculation unit 1034e.
  • the image selection unit 104e supplies the selected spheroid image to the result output unit 300.
  • FIG. 29 is a diagram illustrating an example of a calculation procedure for selecting an image by the calculation unit 100e of the present embodiment.
  • the analysis image acquisition unit 107e acquires a spheroid image SF0, a spheroid image SF1, a spheroid image SF2, and a spheroid image SF3 which are analysis image groups captured by the imaging unit 22 (step S1000).
  • a spheroid image will be described with reference to FIG.
  • FIG. 30 is a diagram illustrating an example of a spheroid image according to the present embodiment.
  • a three-dimensional image in which each spheroid is imaged is called a spheroid image.
  • the spheroid image SF0, spheroid image SF1, spheroid image SF2, and spheroid image SF3 are three-dimensional images obtained by imaging a plurality of spheroids cultured under the same conditions.
  • the spheroid image SF0, spheroid image SF1, spheroid image SF2, and spheroid image SF3 are three-dimensional images in which spheroids that are non-uniform in each of the X-axis, Y-axis, and Z-axis directions are captured.
  • the analysis image acquisition unit 107e sets the spheroid image SF0 as a reference image group and supplies the spheroid image SF0 to the reference image acquisition unit 101e.
  • the spheroid images that are analysis image groups captured by the imaging unit 22, which spheroid image the analysis image acquisition unit 107e uses as the reference image group may be designated in advance by the user of the calculation device 10e.
  • the analysis image acquisition unit 107e sets the spheroid image SF1, the spheroid image SF2, and the spheroid image SF3 as a comparison image group, and supplies the comparison image acquisition unit 102e with the comparison image group.
  • the reference image acquisition unit 101e and the comparative image difference calculation unit 103e execute a process of calculating a reference representative feature amount from the reference image group (step S1001).
  • the process of calculating the reference representative feature amount will be described.
  • FIG. 31 is a flowchart illustrating an example of a calculation procedure for calculating a reference representative feature amount by the calculation unit 100e according to the present embodiment.
  • the reference image acquisition unit 101e acquires a spheroid image SF0 that is a reference image group supplied by the analysis image acquisition unit 107e (step S110).
  • the reference image acquisition unit 101e supplies the acquired spheroid image SF0 to the reference feature amount calculation unit 1031e.
  • the reference feature amount calculation unit 1031e calculates a reference feature amount from the spheroid image SF0 supplied by the reference image acquisition unit 101e (step S111).
  • the reference feature amount calculation unit 1031e calculates a feature amount tensor as a reference feature amount for each voxel extracted from the spheroid image SF0.
  • the reference feature value calculation unit 1031e supplies the calculated feature value tensors to the representative feature value calculation unit 1033e.
  • the representative feature quantity calculation unit 1033e calculates a reference representative feature quantity tensor from a plurality of feature quantity tensors of the spheroid image SF0 supplied by the reference feature quantity calculation unit 1031e (step S112).
  • the representative feature quantity calculation unit 1033e supplies the calculated reference representative feature quantity tensor to the distance calculation unit 1034e.
  • the comparison image acquisition unit 102e acquires the spheroid image SF1, spheroid image SF2, and spheroid image SF3 supplied by the analysis image acquisition unit 107e as a comparison image group (step S1002).
  • the comparison image acquisition unit 102e supplies the acquired spheroid image SF1, spheroid image SF2, and spheroid image SF3 to the comparison feature amount calculation unit 1032e.
  • the comparison feature amount calculation unit 1032e uses, as a plurality of comparison feature amounts, the feature amount tensors of the spheroid images included in the spheroid image SF1, spheroid image SF2, and spheroid image SF3 that are comparison image groups supplied by the reference image acquisition unit 101e. Calculate (step S1003).
  • the comparison feature amount calculation unit 1032e supplies the calculated plurality of comparison feature amounts to the distance calculation unit 1034e.
  • the representative feature quantity calculating unit 1033e calculates a comparative representative feature quantity tensor from a plurality of feature quantity tensors for each spheroid image SF1, spheroid image SF2, and spheroid image SF3 supplied by the comparative feature quantity calculating unit 1032e (step S1004). ).
  • the representative feature quantity calculation unit 1033e supplies the calculated plurality of comparative representative feature quantity tensors to the distance calculation unit 1034e.
  • the distance calculation unit 1034e calculates the distance between the reference representative feature quantity tensor supplied by the representative feature quantity calculation unit 1033e and the plurality of comparative representative feature quantity tensors (step S1005).
  • the distance between the feature quantity tensors is, for example, a Euclidean distance calculated based on the difference between the component values of the feature quantity tensors. Note that the distance between feature quantity tensors may be other than the Euclidean distance.
  • the distance calculation unit 1034e supplies the calculated plurality of distances to the image selection unit 104e.
  • the image selection unit 104e selects a spheroid image from the comparison image group based on the plurality of distances supplied by the distance calculation unit 1034e (step S1006).
  • the image selection unit 104e determines the smallest distance from among a plurality of distances supplied by the distance calculation unit 1034e.
  • the image selection unit 104e selects a spheroid image that is a comparison image group corresponding to the determined smallest distance.
  • the image selection unit 104e supplies information indicating the selected spheroid image to the result output unit 300. Note that the image selection unit 104e may determine the largest distance among the plurality of distances supplied by the distance calculation unit 1034e and select a spheroid image from the comparison image group.
  • the result output unit 300 displays the spheroid image indicated by this information on the display unit 30 based on the information indicating the spheroid image supplied by the image selection unit 104e (step S1007).
  • “based on” may be used instead of “used” in descriptions such as “features calculated using a plurality of reference images”. That is, in this example, the description “a feature amount calculated using a plurality of reference images” may be “a feature amount calculated based on a plurality of reference images”. That is, in the above-described embodiment, the description in which “use” and “based on” are interchanged is also included in the description of the embodiment.
  • a program for executing each process of the calculation device 10 in the embodiment of the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed.
  • the various processes described above may be performed.
  • the “computer system” referred to here may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
  • the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc. that hold a program for a certain period of time.
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

算出装置は、細胞が撮像された基準画像を複数枚取得する基準画像取得部と、複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得部と、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する算出部とを備える。

Description

算出装置、算出プログラム及び算出方法
 本発明は、算出装置、算出プログラム及び算出方法に関するものである。
 生物科学や医学等において、生物の健康や疾患等の状態は、例えば、細胞や細胞内の小器官等の状態と関連性があることが知られている。そのため、これら関連性を解析することは、生物科学や医学等の諸処の課題を解決する一つの手段になる。細胞や細胞内の小器官等の状態を知るために、細胞や細胞の小器官等の状態を観察することが行われる。しかし、観察者の目視による細胞の観察は観察者の主観によるところが大きく、客観的な解析結果を得ることが困難である。細胞や組織片等を客観的に解析する技術として、例えば、画像処理を用いた技術が知られている(例えば、特許文献1参照)。従来から、細胞や組織片等を客観的に解析するための方法として、細胞や組織片等の画像の違いを定量化することが望まれていた。
米国特許第9280698号明細書
 細胞が撮像された基準画像を複数取得する基準画像取得部と、前記複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得部と、前記複数の基準画像を用いて算出される特徴量と、前記比較画像を用いて算出される特徴量との違いを算出する算出部とを備える、算出装置である。
 本発明の第2の態様によると、コンピュータに、細胞が撮像された基準画像を複数枚取得する基準画像取得ステップと、前記複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得ステップと、前記複数の基準画像を用いて算出される特徴量と、前記比較画像を用いて算出される特徴量との違いを算出する算出ステップとを実行させるための、算出プログラムである。
 本発明の第3の態様によると、細胞が撮像された基準画像を複数枚取得する基準画像取得手段と、前記複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得手段と、前記複数の基準画像を用いて算出される特徴量と、前記比較画像を用いて算出される特徴量との違いを算出する算出手段とを実行させるための、算出方法である。
本発明の第1実施形態による顕微鏡観察システムの構成の一例を示す図である。 本実施形態の算出装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の演算部の基準特徴量の算出の演算手順の一例を示す図である。 本実施形態のニューラルネットワークを用いた特徴量の算出方法の一例を示す図である。 本実施形態の演算部の複数の基準画像と1枚の比較画像との違いを定量化する演算手順の一例を示す流れ図である。 本実施形態の複数の基準画像と1枚の比較画像との違いを定量化する処理の一例を示す図である。 本実施形態の複数の比較画像に対する演算部の演算手順の一例を示す流れ図である。 本実施形態の複数の基準画像と複数の比較画像との違いを定量化する処理の一例を示す図である。 本発明の第2実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の複数の比較画像に対する演算部の演算手順の一例を示す流れ図である。 本実施形態の複数の比較画像の反応割合の算出の一例を示す図である。 本実施形態の比較画像を選択する処理の一例を示す図である。 本実施形態のウェル内の位置を判定する処理の一例を示す図である。 本発明の第3実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の演算部の演算手順の一例を示す流れ図である。 本実施形態の時系列毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。 本実施形態の化合物の濃度毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。 本実施形態の化合物の種類毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。 本発明の第4実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の算出部による基準特徴量の算出手順の一例を示す流れ図である。 本実施形態の演算部による対象画像をクラスに分類する演算手順の一例を示す流れ図である。 本実施形態の対象画像の分類処理の一例を示す図である。 本発明の第5実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の演算部100dの培養状態を判定する演算手順の一例を示す図である。 本実施形態の培養状態判定処理の一例を示す図である。 本実施形態の演算部の演算手順の変形例を示す図である。 本実施形態のスフェロイドの断面画像の一例を示す図である。 本発明の第6実施形態による算出装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の演算部100eによる画像を選択する演算手順の一例を示す図である。 本実施形態のスフェロイド画像の一例を示す図である。 本実施形態の演算部による基準代表特徴量を算出する演算手順の一例を示す流れ図である。
 [第1実施形態]
 以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の第1実施形態による顕微鏡観察システム1の構成の一例を示す図である。
 顕微鏡観察システム1は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。
 顕微鏡観察システム1は、算出装置10と、顕微鏡装置20と、表示部30とを備える。
 顕微鏡装置20は、生物顕微鏡であり、電動ステージ21と、撮像部22(不図示)とを備える。電動ステージ21は、所定の方向(例えば、水平方向の二次元平面内のある方向あるいは、垂直方向、軸回転方向)に、撮像対象物の位置を任意に稼働可能である。
 撮像部22は、CCD(Charge-Coupled Device)やCMOS(Complementary MOS)などの撮像素子を備えており、電動ステージ21上の撮像対象物を撮像する。なお、顕微鏡装置20に電動ステージ21を備えていなくてもよく、ステージが所定方向に稼働しないステージ、もしくは、手動にて所定方向に稼働するステージとしても構わない。
 より具体的には、顕微鏡装置20は、例えば、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡、ライトシート顕微鏡、ライトフィールド顕微鏡、ホログラフィック顕微鏡、光干渉断層撮像法(Optical Coherence Tomography ;OCT)等の機能を有する。
 顕微鏡装置20は、電動ステージ21上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートWPやスライドチャンバ―などがある。顕微鏡装置20は、ウェルプレートWPが有する多数のウェルWの中に培養された細胞に光を照射することで、細胞を透過もしくは反射した光を細胞の画像として撮像する。これによって、顕微鏡装置20は、細胞の透過DIC画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。
 さらに、細胞に励起光を照射することで、顕微鏡装置20は、蛍光物質から発せられる蛍光を細胞の画像として撮像する。さらに、顕微鏡装置20は、細胞中の発光物質からの発光あるいは燐光を細胞の画像として撮像する。
 本実施形態では、細胞を生きたまま染色し、タイムラプス撮影することで、細胞刺激後の細胞の変化画像を取得する。本実施形態においては、蛍光融合タンパク質を発現させるか、もしくは細胞を生きたままで化学試薬などで染色するなどし、細胞画像を取得する。更に別の本実施形態では、細胞を固定して染色し、細胞画像を取得する。固定された細胞は代謝が止まる。したがって、細胞に刺激を加えた後、細胞内の経時変化を固定細胞で観察する場合には、細胞を播種した複数の細胞培養容器を用意する必要がある。例えば、プレートの中に複数のウェルがある場合には、ウェルを細胞培養容器としても構わない。この場合に、プレートの中のウェル毎に、刺激に対する異なる経過時間の固定細胞を用意しても構わない。もちろん、プレート毎に、刺激に対する異なる経過時間の固定細胞を用意しても構わない。
 また、顕微鏡装置20は、生体物質内に取り込まれた発色物質そのものから発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した細胞の画像として撮像してもよい。これにより、顕微鏡観察システム1は、蛍光画像、共焦点画像、超解像画像、二光子励起蛍光顕微鏡画像を取得することができる。
 なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、細胞の画像を取得する方法は、電子顕微鏡でも構わないすなわち、細胞の画像の種類は適宜選択しても構わない。
 本実施形態における細胞は、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は、細胞の集合体や組織試料、臓器、個体(動物など)を用い観察し、細胞を含む画像として取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよい。もちろん、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
 また、細胞を、化学発光或いは蛍光タンパク質(例えば、導入された遺伝子(緑色蛍光タンパク質(GFP)など)から発現された化学発光或いは蛍光タンパク質)で処理し、観察しても構わない。あるいは、細胞を、免疫染色や化学試薬による染色を用いて観察しても構わない。それらを組み合わせて観察しても構わない。例えば、細胞内の核内構造(例えば、ゴルジ体など)を判別する種類に応じて、用いる発光タンパク質を選択することも可能である。
 ウェルプレートWPは、1個ないし複数のウェルWを有する。この一例では、ウェルプレートWPは、図1に示すように8×12の96個のウェルWを有する。ウェルプレートWPが有するウェルWの数はこれに限られず、6×8の48個のウェルW、6×4の24個のウェルW、3×4の12個のウェルW、2×3の6個のウェルW、12×32の384個のウェルW、あるいは32×48の1536個のウェルWを有していても構わない。細胞は、ウェルWの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、濃度、量、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数、細胞内の分子の挙動、オルガネラの形態や挙動、核内構造体の挙動、DNA分子の挙動等を示す特徴である。
 図2は、本実施形態の算出装置10が備える各部の機能構成の一例を示すブロック図である。算出装置10は、顕微鏡装置20によって取得された画像を解析するコンピュータ装置である。
 算出装置10は、演算部100と、記憶部200と、結果出力部300とを備える。
 なお、算出装置10によって画像処理される画像は、顕微鏡装置20によって撮像される画像だけに限らず、例えば、算出装置10が備える記憶部200に予め記憶されている画像や、不図示の外部記憶装置に予め記憶されている画像であってもよい。
 演算部100は、プロセッサが記憶部200に格納されたプログラムを実行することにより機能する。また、これらの演算部100の各機能部のうちの一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアによって構成されていてもよい。演算部100は、基準画像取得部101と、比較画像取得部102と、算出部103とを備える。
 基準画像取得部101は、記憶部200の基準画像記憶部202に記憶される複数の基準画像を取得し、取得した複数の基準画像を算出部103に供給する。ここで、基準画像とは、細胞が撮像されている画像であり、比較画像との比較に用いられる画像である。複数の基準画像は、同一の実験条件において細胞が培養された複数の画像である。複数の基準画像は、刺激が加えられていない細胞の画像であることが好ましい。
 比較画像取得部102は、撮像部22が撮像したひとつ以上の細胞画像をひとつ以上の比較画像として取得し、取得したひとつ以上の比較画像を算出部103に供給する。ここで、比較画像とは、複数の基準画像に撮像されている細胞と比較する対象である比較細胞が撮像されている画像である。比較画像は、例えば、刺激が加えられて所定の時間が経過した後の細胞の画像である。比較画像に撮像された細胞が培養された実験条件(刺激など、比較検討したい対象項目以外の実験条件)と、基準画像に撮像された細胞が培養された実験条件(刺激など、比較検討したい対象項目以外の実験条件)とは同じであることが好ましい。比較画像に撮像された細胞に対する実験条件と、基準画像に撮像された細胞に対する実験条件とは、比較検討したい項目以外は同じであることが好ましい。例えば、基準画像と比較画像とで、刺激を変えた場合には、刺激の条件以外は、基準画像に撮像された細胞に対する培養条件などの実験条件と、比較画像に撮像された細胞に対する培養条件などの実験条件とは同じであることが好ましい。刺激の条件としては、例えば、基準画像は細胞に刺激が加えられない条件の細胞画像で、比較画像は細胞に刺激が加えられた条件の細胞画像である。もちろん、刺激の条件としては、例えば、細胞に加えられる刺激としての薬液の種類が異なることでも構わない。
 なお、以下では複数の基準画像を基準画像群と呼ぶことがある。また、ひとつ以上の比較画像を比較画像群と呼ぶことがある。
 算出部103は、複数の基準画像に基づいて算出される特徴量と、1枚の比較画像に基づいて算出される特徴量との違いを算出する。算出部103は、比較画像取得部102が算出部103に供給するひとつ以上の比較画像のそれぞれを、順番に1枚ずつ算出処理の対象とする。本実施形態においては、基準画像に基づいて算出される特徴量は、基準画像に含まれている、細胞の画像特徴を反映した値である。細胞の画像特徴とは、例えば、細胞画像の輝度、画像中の細胞面積、画像中の細胞画像の輝度の分散、形などが含まれる。すなわち、特徴量は、撮像される細胞画像から取得される情報から導出される特徴である。このように、特徴量には、細胞に関する画像特徴量が含まれる。
 本実施形態においては、基準画像を用いて算出される特徴量には、複数の特徴量を含む。本実施形態においては、基準画像に基づいて算出される特徴量には、複数種類の特徴量を含む。ここで複数種類の特徴量とは、例えば、細胞画像の輝度や、画像中の細胞面積など、細胞画像から抽出される複数の特徴を表す特徴量である。このように、複数の基準画像に基づいて算出される特徴量には、複数の特徴量を含む。
 なお、後述する特徴量を算出する方法において、細胞画像から抽出する特徴量をあらかじめ決めても構わない。例えば、少なくとも画像中の細胞面積を抽出することを決めて、算出される特徴量が少なくも画像中の細胞面積を反映する特徴量となるように算出しても構わない。また、細胞画像には、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織の画像が含まれている。したがって、細胞画像に含まれる細胞を構成する要素を判定する。細胞を構成する要素の判定結果ごとに、細胞画像から抽出される特徴量を算出する。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)やオルガネラを構成するタンパク質などが含まれる。
 なお、比較画像を用いて算出される特徴量に関しても、基準画像を用いて算出される特徴量と同様である。したがって、複数の比較画像に基づいて算出される特徴量は、複数の特徴量を含む。
 算出部103は、基準特徴量算出部1031と、比較特徴量算出部1032と、代表特徴量算出部1033と、距離算出部1034とを備える。
 基準特徴量算出部1031は、基準画像取得部101が供給する基準画像群に含まれる基準画像のそれぞれの特徴量を、複数の基準特徴量として算出する。基準特徴量算出部1031は、算出した複数の基準特徴量を代表特徴量算出部1033に供給する。
 比較特徴量算出部1032は、比較画像取得部102が供給するひとつ以上の比較画像に含まれる比較画像の特徴量を、比較特徴量として算出する。比較特徴量算出部1032は、算出した比較特徴量を距離算出部1034に供給する。
 基準特徴量算出部1031は、基準画像を次元削減することによって、基準特徴量を算出する。比較特徴量算出部1032は、比較画像を次元削減することによって、比較特徴量を算出する。基準特徴量算出部1031が基準特徴量を算出する次元削減の方法と、比較特徴量算出部1032が比較特徴量を算出する次元削減の方法とは、特徴量を算出する対象となる画像が互いに異なる点を除けば同じである。この次元削減の詳細については後述する。
 代表特徴量算出部1033は、基準特徴量算出部1031が供給する複数の基準特徴量に基づいて、基準代表特徴量を算出する。ここで基準代表特徴量とは、複数の基準特徴量の分布の代表値である。代表特徴量算出部1033は、算出した基準代表特徴量を距離算出部1034に供給する。
 距離算出部1034は、代表特徴量算出部1033が供給する基準代表特徴量と、比較特徴量算出部1032が供給する比較特徴量とを用いて、基準代表特徴量と比較特徴量との距離を算出する。算出される距離は、複数の基準画像と比較画像との違いを表現している。本実施形態においては、複数の基準画像のそれぞれの基準特徴量から算出される代表値を用いているので、その基準代表特徴量に相当する画像と、比較画像との違いを表現している。ここで、複数の基準画像と比較画像との違いの大きさは、複数の基準画像に撮像された細胞の状態と、比較画像に撮像された細胞の状態との違いの大きさを表している。したがって、複数の基準画像と比較画像との違いの大きさが大きくなると、複数の基準画像に撮像された細胞の状態と、比較画像に撮像された細胞の状態とがより違う状態となる。ここで、細胞の状態の違いとは、例えば、細胞の刺激に対する反応の違いである。距離算出部1034は、算出した距離を結果出力部300に供給する。
 ここで距離算出部1034が算出する距離とは、一例として、特徴量を示すひとつ以上の値同士のユークリッド距離である。この場合、算出部103が算出する違いとは、複数の基準画像を用いて算出される特徴量を示すひとつ以上の値と、比較画像を用いて算出される特徴量を示すひとつ以上の値との、対応する値同士の差に基づいて算出される値である。つまり、算出部103が算出する違いとは、複数の基準画像を用いて算出される特徴量を示すひとつ以上の値と、比較画像を用いて算出される特徴量を示すひとつ以上の値との、対応する値同士の関係に基づいて算出される値である。
 なお、距離算出部1034が算出する距離は、ユークリッド距離以外であってもよい。距離算出部1034が算出する距離は、例えば、標準ユークリッド距離、マハラノビス距離、マンハッタン距離、チェビシェフ距離、ミンコフスキー距離、コサイン類似度、ピアソンの積率相関であってもよい。
 また、距離算出部1034が算出する距離は、外積(ウェッジ積)を応用した距離であってもよい。外積(ウェッジ積)を応用した距離は、以下のように算出される。まず、N次元のベクトルAとN次元のベクトルBとから、2つの次元の値を取り出し、2次元のベクトルaと2次元のベクトルbとを作る。次に、2次元のベクトルaと2次元のベクトルbとを2辺とする三角形もしくは平行四辺形の面積を算出する。上記の操作を、Nつの次元から2つの次元を選ぶ場合の数だけ繰り返し、N次元のベクトルAとN次元のベクトルBとから、通りの次元の組合せについて上記の面積を算出する。ここで、Nつの次元から2つの次元を選ぶ場合の数をと表した。最後に、算出した面積の代表値(合計、平均または中央値など)をN次元のベクトルAとN次元のベクトルBとの距離とする。
 記憶部200は、次元削減情報記憶部201と、基準画像記憶部202とを備える。次元削減情報記憶部201には、基準特徴量算出部1031及び比較特徴量算出部1032が細胞画像の特徴量を算出する際に用いる次元削減の手続きを示す情報が記憶される。この次元削減の手続きを示す情報については後述する。基準画像記憶部202には、基準画像群が記憶される。
 結果出力部300は、算出部103が供給する距離を表示部30に出力する。なお、結果出力部300は、算出部103が供給する距離を、表示部30以外の出力装置や、記憶装置などに出力してもよい。
 表示部30は、結果出力部300が出力する距離を表示する。
 図3は、本実施形態の演算部100の基準特徴量の算出の演算手順の一例を示す流れ図である。なお、ここに示す演算手順は、一例であって、演算手順の省略や演算手順の追加が行われてもよい。
 基準画像取得部101は、基準画像記憶部202に記憶される基準画像群S1を取得する(ステップS100)。基準画像取得部101は、取得した基準画像群S1を基準特徴量算出部1031に供給する。
 基準特徴量算出部1031は、基準画像取得部101が供給する基準画像群S1に含まれる基準画像のそれぞれの基準特徴量を算出する(ステップS101)。ここで基準特徴量算出部1031は、基準画像を次元削減することによって、基準特徴量を算出する。基準特徴量算出部1031は、算出した複数の基準特徴量を代表特徴量算出部1033に供給する。
 本実施形態では、基準特徴量算出部1031は、多層ニューラルネットワークを用いて基準特徴量を算出する。多層ニューラルネットワークとは、ひとつ以上の中間層を含むニューラルネットワークである。ここで図4を参照し、基準特徴量算出部1031の基準特徴量の算出方法について説明する。
 図4は、本実施形態のニューラルネットワークを用いた特徴量の算出方法の一例を示す図である。
 ニューラルネットワークNは、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含む。ニューラルネットワークNは、入力画像が入力層に入力されると、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達する。ここで、入力画像が入力層に入力されるとは、入力画像の画素の輝度値がそれぞれ入力層に入力されることである。したがって、ニューラルネットワークNの入力層を構成するノードの数は、入力画像を構成する画素の数に等しい。ニューラルネットワークNは、出力層まで伝達した情報に基づいて入力画像を所定の数のカテゴリに分類する。出力層のノードの数は、ニューラルネットワークNが分類するカテゴリの数と等しい。本実施形態では、ニューラルネットワークNの出力層のノードの数は、一例として1000である。
 また、ニューラルネットワークNは、入力層のノードの数と出力層のノードの数とが等しいオートエンコーダーでもよい。一般的に、オートエンコーダーでは、中間層のノードの数は入力層のノードの数よりも少ないため、中間層において入力画像の特徴を効率的に抽出することができる。さらに、ニューラルネットワークNは、入力層の数と出力層の数とが異なるオートエンコーダーでもよい。
 ニューラルネットワークNは、一例として、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)であり、中間層として、畳み込み層、プーリング層、連結層、及びドロップアウト層などを有する。中間層では、入力画像の特徴が抽出される。中間層において抽出される入力画像の特徴は、中間層が出力層の側に近いほど高次の特徴が抽出される。例えば、入力層に近い中間層では、入力画像の特徴として入力画像のエッジなど単純なパターンの特徴が抽出される。一方、出力層に近い中間層では、入力画像の特徴として複雑なパターンの特徴が抽出される。中間層において抽出される入力画像の特徴は、この中間層を構成するノードから出力される値の組によって表される。
 本実施形態では、ニューラルネットワークNの出力層と隣接する中間層L1の各ノードから出力される値の組が、細胞画像C1の特徴量として算出される。
 図3に戻って、演算部100の基準特徴量の算出の演算手順の説明を続ける。ここで演算部100の基準特徴量の算出の演算手順を、図6を参照しながら説明する。
 図6は、複数の基準画像と1枚の比較画像との違いを定量化する処理の一例を示す図である。図6(A)において、基準特徴量算出部1031は、基準画像群S1に含まれる基準画像をニューラルネットワークNに入力する。ここで、基準特徴量算出部1031は、次元削減情報記憶部201に記憶されたニューラルネットワークNを用いる。次元削減情報記憶部201に記憶されたニューラルネットワークNは、一例として1200万個の学習データを学習させたニューラルネットワークである。学習データに含まれる学習画像は、細胞画像であってもよいし、細胞画像以外の一般の画像であってもよい。このように、基準特徴量算出部1031は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークを用いることにより、入力された画像を次元削減することによって算出した特徴量を用いる。
 例えば、基準特徴量算出部1031は、ニューラルネットワークNの最終出力層と隣接する中間層L1の各ノードから出力される値の組を、基準画像の基準特徴量として算出する。ここで基準特徴量の次元は、ニューラルネットワークNの中間層L1のノードの数に等しい。本実施形態では、入力層のノードの数は、一例として65536であり、中間層L1のノードの数は、一例として2048である。すなわち、入力画像の65536次元の輝度情報が、基準特徴量の2048次元に次元削減される。基準特徴量の次元は2048に限られない。例えば、基準特徴量の次元は、50以上が望ましい。
 代表特徴量算出部1033は、基準特徴量算出部1031が供給する複数の基準特徴量から、基準特徴量の次元ごとに基準代表特徴量FCを算出する(ステップS102)。代表特徴量算出部1033は、基準特徴量の次元ごとに複数の基準特徴量の分布を生成し、生成した分布の代表値をそれぞれ基準代表特徴量FCとして算出する。代表特徴量算出部1033は、複数の基準特徴量の値から基準特徴量に関する分布を生成し、生成した分布の代表値を用い、基準代表特徴量FCを算出する。ここで分布の代表値は、例えば分布の平均値である。なお、分布の代表値として中央値や最頻値が用いられてもよい。代表特徴量算出部1033は、算出した基準代表特徴量FCを距離算出部1034に供給する。
 図5は、本実施形態の演算部100の複数の基準画像と1枚の比較画像との違いを定量化する演算手順の一例を示す流れ図である。
 比較画像取得部102は、撮像部22が撮像した細胞画像を比較画像として取得する(ステップS200)。比較画像取得部102は、取得した1枚の比較画像を比較特徴量算出部1032に供給する。
 比較特徴量算出部1032は、比較画像取得部102が供給するひとつ以上の比較画像群G1のうち1枚の比較画像P1の比較特徴量を算出する(ステップS201)。比較特徴量算出部1032は、次元削減手法としてニューラルネットワークを用いて比較画像P1の比較特徴量FA1を算出する。
 図6(B)を参照しながら、複数の基準画像と1枚の比較画像P1との違いを定量化する処理について説明する。比較特徴量算出部1032は、比較画像群G1に含まれる比較画像P1をニューラルネットワークNに入力する。ここで、比較特徴量算出部1032は、次元削減情報記憶部201に記憶されたニューラルネットワークNを用いて特徴量を算出する。
 比較特徴量算出部1032が算出する比較特徴量FA1とは、比較画像P1をニューラルネットワークNに入力したときに中間層L1の各ノードから出力される値の組である。比較特徴量FA1の次元は、ニューラルネットワークNの中間層L1のノードの数に等しい。比較特徴量算出部1032は、算出した比較特徴量FA1を距離算出部1034に供給する。
 図5に戻って、演算部100の演算手順の説明を続ける。
 距離算出部1034は、代表特徴量算出部1033が供給する基準代表特徴量FCと、比較特徴量算出部1032が供給する比較特徴量FA1との距離を算出する(ステップS202)。ここで、基準代表特徴量は、複数の基準画像に基づいて算出される特徴量である。また、比較特徴量は、比較画像に基づいて算出される特徴量である。したがって、算出部103は、基準特徴量算出部1031が算出する基準画像を次元削減することによって得られる特徴量から、代表特徴量算出部1033が算出する基準代表特徴量と、比較特徴量算出部1032が算出する比較画像を次元削減することによって得られる特徴量とを用いて、違いを算出する。つまり、算出部103は、基準画像取得部101が取得する基準画像と、比較画像取得部102が取得する比較画像と、基準画像および比較画像を次元削減することによって得られる特徴量とを用いて、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する。ここで違いとは、複数の基準画像に基づいて算出される代表特徴量と、比較画像に基づいて算出される特徴量との違いである。距離算出部1034は、算出した距離を結果出力部300に供給する。
 結果出力部300は、距離算出部1034が供給する距離を表示部30に表示させることにより結果を出力する(ステップS203)。
 なお、本実施形態では、基準特徴量算出部1031及び比較特徴量算出部1032が、ニューラルネットワークNの中間層L1の各ノードから出力される値を、入力された細胞画像の特徴量として算出する場合について説明したが、基準特徴量算出部1031及び比較特徴量算出部1032は、中間層L1以外のニューラルネットワークNの中間層の各ノードから出力される値を、入力された細胞画像の特徴量として算出してもよい。つまり、算出部103は、ニューラルネットワークNを構成する中間層のうちいずれかの中間層の出力を用いてよい。
 また、算出部103は、ニューラルネットワークNの出力層から出力される値を特徴量としてもよい。つまり、算出部103は、深層学習の判定結果を特徴量として用いてもよい。
 また、ニューラルネットワークNを構成する中間層はなく、入力層と出力層のみで構成されてもよい。
 なお、本実施形態では、ニューラルネットワークNの入力として、細胞画像の輝度値を入力する場合について説明したが、ニューラルネットワークNには細胞画像の輝度値以外が入力されてもよい。例えば、画像解析により得られた細胞の平均輝度や面積を特徴量として入力してもよい。また、入力画像のHOG特徴量、フィルタ処理した特徴量、SIFT特徴量、SURF特徴量などをニューラルネットワークNに入力してもよい。
 なお、本実施形態では次元削減手法としてニューラルネットワークが用いられる場合について説明したが、ニューラルネットワーク以外の次元削減手法が用いられてもよい。例えば、主成分分析、ランダムプロジェクション、線形判別分析、多次元尺度構成法、ランダムフォレスト、Isometric Mapping、Locally Linear Embededding、Spectral Embededdingなどの手法が用いられてもよい。
 以上説明したように、本実施形態の算出装置10は、基準画像取得部101と、比較画像取得部102と、算出部103とを備える。基準画像取得部101は、細胞がそれぞれ撮像されている複数の画像である複数の基準画像を取得する。比較画像取得部102は、複数の基準画像に撮像されている細胞と比較する対象である比較細胞が撮像されている画像である比較画像を取得する。算出部103は、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する。
 この構成により、算出装置10は、複数の基準画像と比較画像との違いを定量化できるため、基準画像が1枚の場合に比較して、安定して定量化することが可能となる。例えば、1枚の基準画像に基づいて特徴量を算出する場合では、基準画像に撮像された細胞に対する実験条件の細胞を表す典型的な細胞を表す画像でない場合ある。例えば、細胞の固有の違いや、細胞に対する実験条件のばらつきにより、基準画像が撮像される培養容器内の複数の細胞が均一ではない可能である。実験条件のばらつきとは、細胞の染色工程でのばらつき、細胞の培養工程でのばらつきである。例えば、細胞により染色度合が異なり、結果としてそれらの細胞を撮像した場合に、撮像される細胞画像のタンパク質の輝度などの細胞を表す特徴量が異なる場合がある。そこで、本実施形態においては、複数の基準画像に基づいて算出される特徴量を用いることから、1枚の基準に基づいて算出される特徴量を用いる場合と比較して、複数の基準画像を用いるので、基準画像が撮像される培養容器内の複数の細胞の平均を表す特徴量を算出することができる。
 また、複数の基準画像に基づいて算出される特徴量は、複数の特徴量を含む。この構成により、算出装置10は、例えば、細胞画像の輝度や、画像中の細胞面積などを反映した特徴量を用いて、複数の基準画像と複数の比較画像との違いを定量化できる。
 また、算出部103は、基準画像取得部101が取得する基準画像と、比較画像取得部102が取得する比較画像と、前記基準画像および前記比較画像を次元削減することによって得られる特徴量とを用いて、基準画像群と比較画像との違いを算出する。
 この構成により、算出装置10は、従来手法では不安定だった細胞等の抽出結果を利用することなく、違いを定量化できるため、一般的な画像特徴量の算出による場合に比べて、安定して定量化することが可能となる。また、算出部103は、基準画像取得部101が取得する基準画像の次元を削減することができる。本実施形態では、細胞が撮像された画像の次元とは、細胞が撮像された画像を構成するピクセルの値である。例えば、細胞が撮像された画像が縦200ピクセル、横200ピクセルである場合には、細胞が撮像された画像40000個のピクセルの値がある。したがって、細胞が撮像された画像の次元は40000個である。ここで、画像の次元とは画像を構成する要素の数である。すなわち、40000個の値を用いることで撮像された細胞の画像を表しているので、40000個の値のそれぞれは、画像を構成する要素である。本実施形態においては、40000次元から、次元を削減した値を算出する。次元を削減した値とは2048次元の値である。細胞が撮像された画像は40000個のピクセルの値を用いて表現されていたが、次元を削減した2048次元の値でも細胞が撮像された画像を表現することが可能となった。なお、本実施形態では、画像を構成するピクセルの値は、256階調で表現されている。もちろん、画像を構成するピクセルの値は256階調に限られない。
 また、算出部103は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークNによって次元削減された特徴量を用いて、違いを算出する。
 この構成により、算出装置10は、学習により、最適化したニューラルネットワークを利用した次元削減手法を用いて、細胞画像同士の違いを定量化できるため、細胞画像から導出される特徴を反映した定量化をすることが可能となる。さらに、定量化においては、画像に撮像された細胞と類似度とに応じて、算出される距離を変えることが可能となる。本実施形態においては、画像の類似度が高い細胞同士の距離は近く、画像の類似度が低い細胞同士の距離は遠くすることが可能である。また、本実施形態においては、ニューラルネットワークを用いて次元を削減することで、用いる画像から導出される細胞の特徴を損なうことなく、次元を削減した特徴量とすることが可能となる。
 また、算出部103は、ニューラルネットワークNを構成する中間層のうちいずれかの中間層の出力を用いる。この構成により、算出装置10は、ニューラルネットワークNの最終出力層から出力される判定結果として集約される前の中間層の特徴量を用いることができるため、細胞画像の特徴量を用いて異なる実験条件の下において培養された細胞画像同士の違いを定量化できる。
 また、算出部103が算出する違いとは、複数の基準画像を用いて算出される特徴量を示すひとつ以上の値と、比較画像を用いて算出される特徴量を示すひとつ以上の値との、対応する値同士の関係に基づいて算出される値である。この構成により、算出装置10は、異なる実験条件の下において培養された細胞画像同士の違いを、ユークリッド距離などの距離を用いて定量化できる。
 また、本実施形態の特徴量には、細胞に関する画像特徴量が含まれる。この構成により、算出装置10は、撮像される細胞画像から取得される情報から導出される特徴に基づいて、複数の基準画像と比較画像との違いを定量化できる。
[第1実施形態の変形例]
 上記の実施形態においては、算出装置10が、複数の基準画像に基づいて算出される特徴量と、1枚の比較画像に基づいて算出される特徴量との違いを算出する場合について説明した。ここでは変形例として、比較画像が複数ある場合、すなわち算出装置10が、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する場合について説明する。以下では上記の実施形態と異なる部分を中心に説明する。
 図7は、複数の比較画像に対する演算部の演算手順の一例を示す流れ図である。
 比較画像取得部102は、撮像部22が撮像した複数の細胞画像を複数の比較画像として取得する(ステップS300)。比較画像取得部102は、取得した複数の比較画像を比較画像群G1として比較特徴量算出部1032に供給する。
 比較特徴量算出部1032は、比較画像取得部102が供給する比較画像群G1に含まれる比較画像P11~P19それぞれの比較特徴量を算出する(ステップS301)。
 ここで図8(B)を参照し、複数の基準画像と複数の比較画像との違いを定量化する処理について説明する。
 図8は、本実施形態の複数の基準画像と複数の比較画像との違いを定量化する処理の一例を示す図である。比較特徴量算出部1032は、比較画像群G1に含まれる比較画像P11~P19をニューラルネットワークNに入力する。比較特徴量算出部1032は、次元削減手法としてニューラルネットワークを用いて比較画像P11~P19毎に比較特徴量をそれぞれ算出する。
 図7に戻って複数の比較画像に対する演算部の演算手順の説明を続ける。
 比較特徴量算出部1032は、算出した複数の比較特徴量を代表特徴量算出部1033に供給する。
 代表特徴量算出部1033は、比較特徴量算出部1032が供給する複数の比較特徴量から、比較特徴量の次元ごとに比較代表特徴量FAを算出する(ステップS302)。ここで比較代表特徴量FAとは、複数の比較特徴量の代表値である。代表特徴量算出部1033は、算出した比較代表特徴量FAを距離算出部1034に供給する。
 距離算出部1034は、代表特徴量算出部1033が供給する基準代表特徴量FCと、代表特徴量算出部1033が供給する比較代表特徴量FAとの距離を、複数の基準画像と複数の比較画像の違いとして算出する(ステップS303)。つまり、算出部103は、複数の基準画像にを用いて算出される特徴量と、複数の比較画像を用いて算出される特徴量との違いを算出する。
 結果出力部300は、距離算出部1034が供給する距離を表示部30に表示させることにより結果を出力する(ステップS304)。
 以上説明したように、本変形例では、比較特徴量算出部1032は、複数の比較画像を取得する。算出部103は、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する。
 この構成により、複数の基準画像から算出される特徴量の代表値と、複数の比較画像から算出される特徴量の代表値とを用いて、複数の基準画像と複数の比較画像との違いを算出することができる。したがって、複数の基準画像と複数の比較画像との違いを、代表値の違いにより表現することができる。複数の基準画像と、複数の基準画像との違いをそれぞれの代表値を用い、違いを定量化させることで、例えば、基準画像のそれぞれの違いによる定量化への影響を抑制することができる。
 また、複数の比較画像に基づいて算出される特徴量は、複数の特徴量を含む。この構成により、算出装置10は、例えば、細胞画像の輝度や、画像中の細胞面積などを反映した特徴量を用いて、複数の基準画像と比較画像との違いを定量化できる。
 [第2実施形態]
 以下、図面を参照しながら本発明の第2の実施形態について説明する。
 上記第1の実施形態では、算出装置が、複数の基準画像と比較画像との違いを定量化する場合について説明した。本実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明する。
 図9は、本実施形態による算出装置10aが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置10a(図9)と、第1の実施形態に係る算出装置10(図2)とを比較すると、選択部104、割合算出部105、及び位置判定部106の有無が異なる。しかし、他の構成要素が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略し、第2の実施形態では、第1の実施形態と異なる部分を中心に説明する。
 選択部104は、距離算出部1034が算出した距離が所定の値より大きい比較画像を選択する。選択部104は、選択した結果を割合算出部105、位置判定部106、及び結果出力部300に供給する。
 割合算出部105は、選択部104が選択した結果に基づいて、複数の比較画像から、距離算出部1034が算出した距離が所定の値より大きい比較画像の割合を算出する。割合算出部105は、算出した結果を結果出力部300に供給する。
 位置判定部106は、選択部104が選択した結果に基づいて、距離算出部1034が算出した距離が所定の値より大きい比較画像に対応するウェルWの位置を判定する。位置判定部106は、判定した結果を結果出力部300に供給する。
 図10は、本実施形態の複数の比較画像に対する演算部100aの演算手順の一例を示す流れ図である。なお、ステップS400、ステップS401及びステップS402の各処理は、図7におけるステップS300及びステップS301、及びステップS302の各処理と同様であるため、説明を省略する。
 選択部104は、距離算出部1034が算出した距離が所定の値より大きい比較画像を選択する(ステップS403)。つまり、選択部104は、距離算出部1034が算出した違いが所定の値より大きい比較画像を選択する。選択部104は、選択した比較画像を示す情報を割合算出部105に供給する。
 割合算出部105は、選択部104が供給する比較画像を示す情報に基づいて、複数の比較画像P21~P29から、距離算出部1034が算出した距離が所定の値より大きい比較画像の割合を、加えられた刺激に対する反応を示す細胞が撮像されている比較画像の割合として算出する(ステップSS404)。つまり、割合算出部105は、選択部104が選択した結果を用いて、複数の比較画像から、算出部103が算出した違いが所定の値より大きい比較画像の割合を算出する。割合算出部105は、算出した割合を示す情報を結果出力部300に供給する。
 ここで図11を参照し、複数の比較画像の反応割合の算出の処理について説明する。
 図11は、本実施形態の複数の比較画像の反応割合の算出の一例を示す図である。比較特徴量算出部1032は、比較画像P21~P29のそれぞれについて比較特徴量を算出する。距離算出部1034は、比較特徴量算出部1032が算出した比較特徴量それぞれについて、基準画像群S1から算出される基準代表特徴量との距離d1~d9を算出する。選択部104は、距離算出部1034が算出した距離d1~d9のなかから所定の値以上である距離を判定する。ここで所定の値とは例えば3.0である。図11に示す例では、d2、d3、d4、d5、及びd9が所定の値以上である。選択部104は、比較画像P21~P29の中から、d2、d3、d4、d5、及びd9のそれぞれに対応する比較画像P22、比較画像P23、比較画像P24、比較画像P25、及び比較画像P29を選択する。図11に示す例では、割合算出部105は、距離が所定の値より大きい比較画像の割合を、9分の5として算出する。
 図10に戻って、複数の比較画像に対する演算部100aの演算手順の説明を続ける。
 表示部30は、複数の比較画像が含まれるウェルのうち、所定の閾値以上の距離を持つ比較画像のみを強調して表示する。例えば、図11においては、P21からP29の複数の比較画像のうち、P22、P23、P24、P25及びP29が協調して表示されている。
 選択部104は、距離算出部1034が算出した距離が最大である比較画像を選択する(ステップS405)。選択部104は、選択した距離が最大である比較画像を示す情報を、位置判定部106及び結果出力部300に出力する。
 位置判定部106は、選択部104が供給する距離が最大である比較画像を示す情報に基づいて、距離算出部1034が算出した距離が最大である比較画像に対応するウェルWの位置を判定する(ステップS406)。つまり、位置判定部106は、選択部104が選択した結果を用いて、算出部103が算出した違いが所定の値より大きい比較画像に対応する位置を判定する。ただし、複数の比較画像の各々は、細胞が培養される培養容器の複数の位置にそれぞれ対応する。位置判定部106は、判定したウェルWの位置を示す情報を結果出力部300に供給する。
 結果出力部300は、演算部100aが供給する演算結果を示す情報を表示部30に出力する(ステップS407)。ここで演算部100aが供給する演算結果を示す情報とは、割合算出部105が供給する割合を示す情報、選択部104が供給する選択した比較画像を示す情報、及び位置判定部106が供給するウェルWの位置を示す情報である。
 ここで図12、図13を参照し距離が最大である比較画像を選択する処理、及びウェル内の位置を判定する処理について説明する。
 図12は、本実施形態の比較画像を選択する処理の一例を示す図である。図12に示す例では、距離算出部1034が算出した距離d1~d9のうちd3が最大である。選択部104は、距離算出部1034が算出した距離が最大である比較画像として、比較画像P23を選択する。表示部30は、比較画像P23を細胞画像C2として表示する。
 図13は、本実施形態のウェル内の位置を判定する処理の一例を示す図である。位置判定部106は、基準画像群S1との距離が最大である比較画像である比較画像P23を示す情報に基づいて、基準画像群S1との距離が最大である比較画像に対応するウェル内位置WP23を判定する。表示部30は、ウェル内位置WP23を表示する。
 以上説明したように、本実施形態の算出装置10aは、選択部104と、割合算出部105と、位置判定部106とを備える。
 選択部104は、算出部103が算出した違いが所定の値より大きい比較画像を選択する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像を選択できるため、細胞画像のなかから、加えられた刺激に対する反応が大きい細胞の細胞画像を選択できる。
 割合算出部105は、画像選択部(選択部104)が選択した結果を用いて、複数の比較画像から、算出部103が算出した違いが所定の値より大きい比較画像の割合を算出する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像の割合を算出できるため、細胞画像のなかから、加えられた刺激に対する反応が大きい細胞の細胞画像の割合を算出できる。
 複数の比較画像の各々は、細胞が培養される培養容器の複数の位置にそれぞれ対応し、位置判定部106は、画像選択部が選択した結果を用いて、前記算出部が算出した前記違いが所定の値より大きい前記比較画像に対応する前記位置を判定する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像が撮像されたウェルW内の位置を判定できるため、ウェルW内の複数の細胞のうち加えられた刺激に対する反応が大きい細胞が存在する位置を判定できる。
 [第3実施形態]
 以下、図面を参照しながら本発明の第3の実施形態について説明する。
 上記第2の実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明した。本実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明する。
 図14は、本発明の第3実施形態による算出装置10bが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置10b(図14)と、第2の実施形態に係る算出装置10a(図9)とを比較すると、演算部100bにおいて、解析画像取得部107、基準画像取得部101b、比較画像取得部102b、算出部103b、及び解析部108が異なり、また、記憶部200bが基準画像記憶部202を備えていなくてよい点が異なる。しかし、他の構成要素が持つ機能は第2の実施形態と同じである。第2の実施形態と同じ機能の説明は省略し、第3の実施形態では、第2の実施形態と異なる部分を中心に説明する。
 演算部100bは、基準画像取得部101bと、比較画像取得部102bと、算出部103bと、選択部104と、割合算出部105と、位置判定部106と、解析画像取得部107と、解析部108とを備える。
 解析画像取得部107は、撮像部22が撮像した解析画像群を取得する。この解析画像群は、時系列解析画像群、濃度変化解析画像群、及び種類変化解析画像群を含む。
 時系列解析画像群とは、細胞刺激後の細胞がタイムラプス撮影された複数の細胞画像である。時系列解析画像群は、画像群T0、画像群T1、…、画像群Tnからなる。画像群T0、画像群T1、…、画像群Tnは、この順にタイムラプス撮影の時系列に対応している。なお、画像群T0、画像群T1、…、画像群Tnは、同じウェルにおいて培養された細胞の細胞画像でなくてもよい。また、画像群T0、画像群T1、…、画像群Tnは、それぞれ1枚の細胞画像であってもよい。
 解析画像取得部107は、画像群T0を時系列基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、画像群T1、画像群T2、…、画像群Tnを時系列比較画像群とし、比較画像取得部102bに供給する。つまり、時系列比較画像群に含まれる比較画像とは、時系列に撮像された画像である。
 濃度変化解析画像群とは、細胞に添加される化合物の濃度ごとの複数の細胞画像である。濃度変化解析画像群は、画像群X0、画像群X1、…、画像群Xnからなる。画像群X0、画像群X1、…、画像群Xnは、この順に細胞に添加される化合物の濃度が大きくなる順に対応している。なお、画像群X0、画像群X1、…、画像群Xnは、それぞれ1枚の細胞画像であってもよい。
 解析画像取得部107は、画像群X0を濃度変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、画像群X1、画像群X2、…、画像群Xnを濃度変化比較画像群とし、比較画像取得部102bに供給する。つまり濃度変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の濃度毎に撮像された比較細胞の画像である。
 種類変化解析画像群とは、細胞に添加される化合物の種類ごとの複数の細胞画像である。種類変化解析画像群は、画像群Y0、画像群Y1、…、画像群Ynからなる。画像群Y0、画像群Y1、…、画像群Ynは、細胞に添加される化合物の種類に対応している。画像群Y0、画像群Y1、…、画像群Ynは、それぞれ1枚の細胞画像であってもよい。
 解析画像取得部107は、画像群Y0を種類変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、画像群Y1、画像群Y2、…、画像群Ynを算出部103bに供給する。つまり、種類変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の種類毎に撮像された細胞の画像である。
 基準画像取得部101bは、解析画像取得部107が供給する時系列変化基準画像群を取得し、算出部103bに供給する。基準画像取得部101bは、解析画像取得部107が供給する濃度変化基準画像群を取得し、算出部103bに供給する。基準画像取得部101bは、解析画像取得部107が供給する種類変化基準画像群を取得し、算出部103bに供給する。
 比較画像取得部102bは、解析画像取得部107が供給する時系列変化比較画像群を取得し、算出部103bに供給する。比較画像取得部102bは、解析画像取得部107が供給する濃度変化比較画像群を取得し、算出部103bに供給する。比較画像取得部102bは、解析画像取得部107が供給する種類変化基準画像群を取得し、算出部103bに供給する。
 算出部103bは、基準画像取得部101bが供給する時系列基準画像群である画像群T0に基づいて算出される基準代表特徴量と、比較画像取得部102bが供給する時系列解析画像群である画像群T1、画像群T2、…、画像群Tnに基づいて算出される比較代表特徴量それぞれとの距離を、時系列距離として算出する。算出部103bは、算出した時系列距離を解析部108の時系列算出部1081に供給する。
 算出部103bは、基準画像取得部101bが供給する濃度変化基準画像群である画像群X0に基づいて算出される基準代表特徴量と、比較画像取得部102bが供給する濃度変化解析画像群である画像群X1、画像群X2、…、画像群Xnに基づいて算出される比較代表特徴量それぞれとの距離を濃度変化距離として算出する。算出部103bは、算出した濃度変化距離を解析部108の濃度変化算出部1082に供給する。
 算出部103bは、基準画像取得部101bが供給する種類変化基準画像群である画像群Y0に基づいて算出される基準代表特徴量と、比較画像取得部102bが供給する種類変化解析画像群である画像群Y1、画像群Y2、…、画像群Ynに基づいて算出される比較代表特徴量それぞれとの距離を種類変化距離として算出する。算出部103bは、算出した種類変化距離を解析部108の種類変化算出部1083に供給する。
 なお、比較画像群が1枚の比較画像からなる場合、算出部103は、代表特徴量算出部1033を備えていなくてもよい。
 解析部108は、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する。解析部108は、算出した時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を、結果出力部300に供給する。解析部108は、時系列算出部1081と、濃度変化算出部1082と、種類変化算出部1083とを備える。
 時系列算出部1081は、算出部103bが供給する時系列距離に基づいて、時系列における時刻毎の、画像群T0に基づいて算出される特徴量と、画像群T1、画像群T2、…、画像群Tnに基づいてそれぞれ算出される特徴量との違いを算出する。つまり、時系列算出部1081は、算出部103bが供給する違いを用い、時系列における時刻毎の、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する。
 濃度変化算出部1082は、算出部103bが供給する濃度変化距離に基づいて、細胞に添加される化合物の濃度毎の、画像群X0に基づいて算出される特徴量と、画像群X1、画像群X2、…、画像群Xnに基づいてそれぞれ算出される特徴量との違いを算出する。つまり、濃度変化算出部1082は、算出部103bが算出した違いを用い、比較細胞に添加された化合物の濃度毎の、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される違いを算出する。
 種類変化算出部1083は、算出部103bが供給する種類変化距離に基づいて、細胞に添加される化合物の種類毎の、画像群Y0に基づいて算出される特徴量と、画像群Y1、画像群Y2、…、画像群Ynに基づいてそれぞれ算出される特徴量との違いを算出する。つまり、種類変化算出部1083は、算出部103bが算出した違いを用い、比較細胞に添加された化合物の種類毎の、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される違いを算出する。
 なお、割合算出部105は、比較画像群から、算出部103が算出した違いが所定の値より大きい比較画像の割合を算出してもよい。例えば、割合算出部105は、時系列解析画像群から、算出部103が算出した違いが所定の値より大きい比較画像の割合を時系列の時刻毎に算出してもよい。割合算出部105は、算出した時系列の時刻毎の割合を時系列算出部1081に供給する。割合算出部105は、濃度変化解析画像群から、算出部103が算出した違いが所定の値より大きい比較画像の割合を細胞に添加された化合物の濃度毎に算出してもよい。割合算出部105は、算出した濃度毎の割合を濃度変化算出部1082に供給する。割合算出部105は、種類変化解析画像群から、算出部103が算出した違いが所定の値より大きい比較画像の割合を細胞に添加された化合物の種類毎に算出してもよい。割合算出部105は、算出した種類毎の割合を種類変化算出部1083に供給する。
 算出装置10bが、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する処理について説明する。
 図15は、本実施形態の演算部100bの演算手順の一例を示す流れ図である。なお、ステップS503、ステップS504、ステップS505及びステップS506の各処理は、図7における、ステップS300、ステップS301、ステップS302、及びステップS303の各処理と同様であるため、説明を省略する。
 解析画像取得部107は、撮像部22が撮像した変化に応じた種類の解析画像群を取得する(ステップS500)。解析画像取得部107は、算出装置10bが解析する変化に応じて、時系列解析画像群、濃度変化解析画像群、及び種類変化解析画像群の中から1種類の解析画像群を取得する。算出装置10bが時系列変化、化合物の濃度の変化、及び化合物の種類の変化のいずれを解析するかは、算出装置10bの使用者によって指定されてよい。
 解析画像取得部107は、時系列解析画像群を取得した場合、画像群T0を時系列基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、時系列解析画像群を取得した場合、画像群T1、画像群T2、…、画像群Tnを時系列比較画像群とし、比較画像取得部102bに供給する。
 解析画像取得部107は、濃度変化解析画像群を取得した場合、画像群X0を濃度変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、濃度変化解析画像群を取得した場合、画像群X1、画像群X2、…、画像群Xnを濃度変化比較画像群とし、比較画像取得部102bに供給する。
 解析画像取得部107は、種類変化解析画像群を取得した場合、画像群Y0を種類変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、種類変化解析画像群を取得した場合、画像群Y1、画像群Y2、…、画像群Ynを算出部103bに供給する。
 基準画像取得部101b及び算出部103bは、基準画像群に対して処理を行う(ステップS501)。ここで基準画像群に対して行われる処理とは、図3のステップS100からステップS102の各処理と同様である。
 算出部103bは、解析する変化に応じて、変化毎の処理を開始する(ステップS502)。算出部103bは、変化毎にステップS503、ステップS504、ステップS505、及びステップS506の処理を繰り返し、変化毎に基準代表特徴量と比較代表特徴量との距離を算出する。
 算出部103は、時系列変化を解析する場合、時系列の時刻毎に、画像群T0から算出される基準代表特徴量と、この時刻に対応する時系列比較画像群から算出される比較代表特徴量との距離を算出する。
 算出部103は、化合物の濃度の変化を解析する場合、化合物の濃度毎に、画像群X0から算出される基準代表特徴量と、この濃度に対応する濃度変化比較画像群から算出される比較代表特徴量との距離を算出する。
 算出部103は、化合物の種類の変化を解析する場合、化合物の種類毎に、画像群Y0から算出される基準代表特徴量と、この種類に対応する種類変化比較画像群から算出される比較代表特徴量との距離を算出する。
 算出部103bは、変化毎の処理を終了する(ステップS507)。算出部103bは、算出した変化毎の距離を解析画像取得部107に供給する。
 解析部108は、算出装置10bが解析する変化に応じて、基準画像群と比較画像群との違いの変化を算出する(ステップS508)。ここで、基準画像群と比較画像群との違いの変化とは、基準画像群と比較画像群との違いと、変化を示す指標との組である。基準画像群から算出された代表基準特徴量と、比較画像群から算出された比較代表特徴量との距離である。変化を示す指標とは、時系列の時刻、化合物の濃度、及び化合物の種類を示す指標である。
 算出装置10bが時系列の変化を解析する場合、時系列算出部1081は算出部103bが供給する時系列の時刻毎の距離を取得する。時系列算出部1081は、取得した距離と、この距離に対応する時系列の時刻とを組にして結果出力部300に供給する。
 算出装置10bが化合物の濃度の変化を解析する場合、濃度変化算出部1082は算出部103bが供給する化合物の濃度毎の距離を取得する。濃度変化算出部1082は、取得した距離と、この距離に対応する濃度とを組にして結果出力部300に供給する。
 算出装置10bが化合物の種類の変化を解析する場合、種類変化算出部1083は算出部103bが供給する化合物の種類毎の距離を取得する。種類変化算出部1083は、取得した距離と、この距離に対応する種類とを組にして結果出力部300に供給する。
 結果出力部300は、解析部108が供給する距離と変化を示す指標との組を表示部30に表示させることにより結果を出力する(ステップS509)。表示部30は、解析部108が供給する距離を、変化を示す指標に対してプロットしたグラフを表示する。
 ここで図16~18を参照し、解析部108が算出する基準画像群と比較画像群との違いの変化の例について説明する。
 図16は、本実施形態の時系列毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。図16では、基準画像群である画像群T0と、時系列の各時刻に対応する比較画像群である画像群T1、画像群T2…、画像群Tnとの違いを時刻毎にプロットしたグラフが表示されている。画像群T0は、化合物が添加される直前の細胞が撮像された細胞画像である。
 図17は、本実施形態の化合物の濃度毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。図17では、基準画像群である画像群X0と、化合物の各濃度に対応する比較画像群である画像群X1、画像群X2…、画像群Xnとの違いが濃度毎にプロットしたグラフが表示されている。画像群X0は、化合物が添加されていない細胞が撮像された細胞画像である。
 図18は、本実施形態の化合物の種類毎の複数の基準画像と複数の比較画像との違いの一例を示す図である。図18では、基準画像群である画像群Y0と、化合物の各種類に対応する比較画像群である画像群Y1、画像群Y2…、画像群Ynとの違いが種類毎にプロットしたグラフが表示されている。画像群Y0は、化合物が添加されていない細胞が撮像された細胞画像である。
 なお、本実施形態においては、算出装置10bが基準画像群と比較画像群との違いの変化を算出する場合について説明したが、算出装置10bは、反応の割合の変化を算出してもよい。ここで反応の割合とは、比較画像群に含まれる複数の比較画像のうち、基準画像群との距離が所定の値より大きい比較画像の割合である。つまり、算出装置10bは、反応の割合の時系列の変化を算出してもよいし、化合物の濃度について反応の割合の変化を算出してもよいし、化合物の種類について反応の割合の変化を算出してもよい。算出装置10bは、算出した反応の割合の変化を表示部30に表示させてよい。
 なお、算出装置10bは、基準画像群との距離が所定の値より大きい比較画像に対応するウェルプレートWPのウェルWの位置を、変化ごとに判定してもよい。算出装置10bは、判定したウェルWの位置を表示部30に表示させてよい。
 なお、本実施形態においては、算出装置10bが解析する変化が化合物の種類の変化である場合に、算出装置10bは、種類変化基準画像群である画像群Y0と、種類変化比較画像群である画像群Y1、画像群Y2、…、画像群Ynとの違いをそれぞれ算出する場合について説明したが、算出装置10bは、画像群Y1、画像群Y2、…、画像群Ynそれぞれのスコアを算出してもよい。ここでスコアとは、スコアを算出する対象である画像群と、画像群Y1、画像群Y2、…、画像群Ynのうち、スコアを算出する対象である画像群以外の画像群との距離をそれぞれ求め、求めた距離の平均値を算出した値である。算出装置10bは、算出したスコアを化合物の種類毎に対してプロットしたグラフを表示部30に表示させてよい。
 なお、本実施形態においては、図16~18において説明したように、算出装置10bが解析する変化に応じて、基準画像群と比較画像群との距離を、変化を示す指標に対してプロットしたグラフが表示される場合を説明したが、2種類の変化を組み合わせた結果が2次元平面に対してプロットされてもよい。算出装置10bは、例えば、化合物の濃度ごとに基準画像群と比較画像群との距離の時系列の変化を算出し、算出した結果を化合物の濃度と時系列の時刻とに対してプロットした2次元のグラフを表示部30に表示させてもよい。また、算出装置10bは、例えば、化合物の種類ごとに基準画像群と比較画像群との距離の時系列の変化を算出し、算出した結果を化合物の種類と時系列の時刻とに対してプロットした2次元のグラフを表示部30に表示させてもよい。また、算出装置10bは、例えば、化合物の種類ごとに化合物の濃度を変化させた場合の基準画像群と比較画像群との距離を算出し、算出した結果を化合物の種類と化合物の濃度とに対してプロットした2次元のグラフを表示部30に表示させてもよい。
 以上説明したように、本実施形態の算出装置10bは、時系列算出部1081と、濃度変化算出部1082と、種類変化算出部1083とを備える。
 時系列算出部1081は、算出部103bが算出した違いを用い、時系列における時刻毎の前記違いを算出する。ここで算出部103bが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、時系列に撮像された画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置10bは、刺激が加えられる前の細胞画像と刺激が加えられた後の細胞画像との違いを刺激が加えられてからの時系列において定量化できるため、刺激が加えられてからの細胞の反応の時系列の変化を定量化できる。
 また、濃度変化算出部1082は、算出部103bが算出した違いを用い、比較細胞に添加された化合物の濃度毎の違いを算出する。ここで算出部103bが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、比較細胞に添加された化合物の濃度毎に撮像された細胞の画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置10bは、化合物が添加される前の細胞画像と化合物が添加された後の細胞画像との違いを化合物の濃度の変化について定量化できるため、添加される化合物の濃度に対する細胞の反応を定量化できる。
 また、種類変化算出部1083は、算出部103bが算出した違いを用い、比較細胞に添加された化合物の種類毎の違いを算出する。ここで算出部103bが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、比較細胞に添加された化合物の種類毎に撮像された細胞の画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置10bは、化合物が添加される前の細胞画像と化合物が添加された後の細胞画像との違いを化合物の種類の変化について定量化できるため、添加される化合物の種類毎に細胞の反応を定量化できる。
 [第4実施形態]
 以下、図面を参照しながら本発明の第4の実施形態について説明する。
 上記第3の実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明した。本実施形態では、算出装置が、細胞画像を分類する場合について説明する。
 図19は、本実施形態による算出装置10cが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置10c(図19)と、第2の実施形態に係る算出装置10a(図9)とを比較すると、演算部100cにおいて、分類用基準画像取得部101c、対象画像取得部102c、算出部103c及び分類部109が異なり、また、記憶部200cが異なる。しかし、他の構成要素が持つ機能は第2の実施形態と同じである。第2の実施形態と同じ機能の説明は省略し、第3の実施形態では、第2の実施形態と異なる部分を中心に説明する。
 分類用基準画像取得部101cは、記憶部200cの分類用基準画像記憶部202cに記憶される分類用基準画像群を取得し、取得した分類用基準画像群を算出部103cに供給する。ここで分類用基準画像取得部101cは、算出装置10cが細胞画像を分類するクラスに対応する分類用基準画像群を取得する。つまり、分類用基準画像取得部101cは、複数の種類の基準画像を取得する。
 ここで、分類用基準画像群とは、細胞画像をクラスに分類するための複数の種類の基準画像群である。細胞画像が分類されるクラスとは、例えば、細胞の種類ごとに分類したクラスである。細胞の種類は、例えば、心筋細胞や、脳細胞など、生物の器官ごとの細胞の種類であってよい。細胞の種類は、生物の特定の器官を構成する細胞の種類であってもよい。生物の特定の器官を構成する細胞とは、例えば、神経系を構成するアストロサイト、グリア細胞、オリゴデンドロサイト、及びニューロンである。細胞の種類は、上皮細胞や間葉細胞であってもよい。細胞の種類は、がん細胞及び健常細胞であってもよい。また、細胞画像が分類されるクラスは、分化の段階ごとに細胞を分類したクラスであってもよい。このクラスはiPS(induced pluripotent stem cells)細胞を分化の段階ごとに分類したクラスであってもよい。また、細胞画像が分類されるクラスは、分裂周期ごとに細胞を分類したクラスであってもよい。
 したがって、例えば、算出装置10cが細胞画像をがん細胞と健常細胞とに分類する場合、分類用基準画像取得部101cは、がん細胞に対応する分類用基準画像群と、健常細胞に対応する分類用基準画像群とを取得する。
 対象画像取得部102cは、撮像部22が撮像したひとつ以上の細胞画像をひとつ以上の対象画像として取得し、取得したひとつ以上の対象画像を算出部103cに供給する。
 算出部103cは、分類用基準画像取得部101cが供給する分類用基準画像群と、対象画像取得部102cが供給するひとつ以上の対象画像とのそれぞれの距離を算出する。ここで分類用基準画像群は、複数の種類の基準画像群であり、複数の種類の基準画像群は、算出装置10cが細胞画像を分類するクラスにそれぞれ対応する。算出部103cは、対象画像を比較画像として距離を算出する。つまり、算出部103cは、複数の種類の基準画像と比較画像とのそれぞれの違いを算出する。算出部103cは、算出したクラスに対応するそれぞれの距離を分類部109に供給する。
 分類部109は、算出部103cが供給する複数の距離を用い、対象画像を分類する。つまり、分類部109は、算出部が算出した複数の違いを用い、比較画像を分類する。
 記憶部200cは、次元削減情報記憶部201と、分類用基準画像記憶部202cとを備える。分類用基準画像記憶部202cには、算出装置10cが細胞画像を分類するクラスにそれぞれ対応する複数の種類の分類用基準画像群が記憶される。
 図20、21を参照し演算部100cの演算手順について説明する。
 図20は、本実施形態の算出部による基準特徴量の算出手順の一例を示す流れ図である。
 演算部100cは、算出装置10cが細胞画像を分類するクラス毎に処理を開始する(ステップS600)。
 分類用基準画像取得部101cは、記憶部200cの分類用基準画像記憶部202cに記憶される分類用基準画像群を取得する(ステップS601)。分類用基準画像取得部101cは、取得した分類用基準画像群を算出部103cに供給する。
 ステップS602及びステップS603の各処理は、図3におけるステップS101及びステップS102の各処理と同様であるため、説明を省略する。
 演算部100cは、クラス毎の処理を終了する(ステップS604)。
 図21は、本実施形態の演算部による対象画像をクラスに分類する演算手順の一例を示す流れ図である。
 対象画像取得部102cは、撮像部22が撮像したひとつ以上の細胞画像をひとつ以上の対象画像として取得する(ステップS700)。対象画像取得部102cは、取得したひとつ以上の対象画像を算出部103cに供給する。
 ステップS701及びステップS702の各処理は、図5におけるステップS201及びステップS202の各処理と同様であるため、説明を省略する。ただし、算出部103cは、対象画像を比較画像として、複数の分類用基準画像群それぞれとの距離を算出する。算出部103cは、算出したクラスに対応するそれぞれの距離を分類部109に供給する。
 なお、算出部103cは、分類用基準画像取得部101cが供給する対象画像が複数である場合、それらの複数の対象画像から代表比較特徴量を算出してよい。算出部103cは、算出した代表比較特徴量と、複数の種類の基準画像群それぞれから算出される代表基準特徴量との距離をそれぞれ算出する。
 分類部109は、算出部103cが供給する複数の距離に基づいて、対象画像を分類する(ステップS703)。分類部109は、対象画像群を、分類用基準画像群との距離が最少となる分類用基準画像群に対応するクラスに分類する。分類部109は、分類した結果を結果出力部300に供給する。
 ここで図22を参照し、分類部109が対象画像を分類する処理について説明する。図22は、本実施形態の対象画像の分類処理の一例を示す図である。図22に示す例では、算出装置10cは、対象画像群G22を、がん細胞と健常細胞との2つのクラスに分類する。分類用基準画像群S221は、がん細胞が撮像された基準画像群である。分類用基準画像群S222は、健常細胞が撮像された基準画像群である。対象画像群G22は、対象画像P221~P229を含む。
 対象画像P221と分類用基準画像群S221との距離と、対象画像P221と分類用基準画像群S222との距離とでは、対象画像P221と分類用基準画像群S221との距離の方が小さい。したがって、分類部109は、対象画像P221を分類用基準画像群S221に対応するクラスであるがん細胞のクラスに分類する。
 算出装置10cは、対象画像群G22に含まれる対象画像P221~P229のそれぞれを順に分類してよい。図22に示す例では、対象画像P221、対象画像P222、対象画像P226、及び対象画像P227ががん細胞に分類され、残りの対象画像が健常細胞に分類されている。
 図21に戻って、演算部の演算手順の説明を続ける。
 結果出力部300は、分類部109が供給する分類結果を表示部30に表示させる(ステップS704)。
 以上説明したように、本実施形態の算出装置10cは、分類用基準画像取得部101cと、算出部103cと、分類部109とを備える。分類用基準画像取得部101cは、複数の種類の基準画像を取得する。算出部103cは、複数の種類の基準画像と比較画像とのそれぞれの違いを算出する。分類部109は、算出部103cが算出した複数の違いを用い、比較画像を分類する。この構成により、算出装置10cは、複数の種類の基準画像と、細胞画像との違いを算出できるため、細胞画像を細胞の種類毎に分類できる。
 [第5実施形態]
 以下、図面を参照しながら本発明の第5の実施形態について説明する。
 上記実施形態では、算出装置が、基準画像群と比較画像群との違いを算出する場合について説明した。本実施形態では、算出装置が、比較画像群同士の距離を算出することにより、ウェル内において異常画像を選択したり、細胞の培養状態を判定したりする場合について説明する。
 図23は、本発明の第5実施形態による算出装置10dが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置10d(図23)と、第2の実施形態に係る算出装置10a(図9)とを比較すると、演算部100dにおいて、比較画像取得部102dと、比較画像違い算出部103d、異常画像選択部104d、及び培養状態判定部110が異なる。また、第3の実施形態に係る算出装置10b(図14)と同様に、記憶部200bは、基準画像記憶部を備える必要がない点が異なる。しかし、他の構成要素が持つ機能は第2の実施形態と同じである。第2の実施形態と同じ機能の説明は省略し、第5の実施形態では、第2の実施形態と異なる部分を中心に説明する。
 比較画像取得部102dは、撮像部22が撮像した複数のウェルプレートについてウェル比較画像群を比較画像群として取得し、取得した比較画像群を比較画像違い算出部103dに供給する。ウェル比較画像群とは、ウェルの所定の位置毎に細胞が撮像された複数の細胞画像である。
 比較画像違い算出部103dは、比較画像取得部102dが供給するウェル比較画像群に含まれる比較画像同士の距離を算出する。つまり、比較画像違い算出部103dは、比較画像同士の違いを算出する。比較画像違い算出部103dは、比較特徴量算出部1032と、距離算出部1034dとを備える。
 距離算出部1034dは、比較画像取得部102dが供給するウェル比較画像群に含まれる比較画像それぞれについて、この比較画像以外の比較画像からなる画像群との距離である画像群内距離を算出する。距離算出部1034dは、算出した画像群内距離を異常画像選択部104dに供給する。
 距離算出部1034dは、ウェル比較画像群に含まれる複数の比較画像を2つの比較画像群に分け、この2つの比較画像群同士の距離であるウェル内距離を算出する。距離算出部1034dは、異なるウェルに対するウェル比較画像群同士の距離であるウェル間距離を算出する。距離算出部1034dは、異なるウェルプレートのウェルに対するウェル比較画像群同士の距離であるプレート間距離を算出する。距離算出部1034は、算出したウェル内距離、ウェル間距離、及びプレート間距離を培養状態判定部110に供給する。
 異常画像選択部104dは、比較画像違い算出部103dが供給する画像群内距離が所定の値より大きい比較画像を、異常画像として選択する。つまり、異常画像選択部104dは、比較画像のうち比較画像違い算出部103dが算出した比較画像同士の違いが所定の値より大きい比較画像を、異常画像として選択する。
 ここで異常画像とは、例えば、以下のような場合に撮像された細胞画像である。異常画像とは、例えば、分裂中の細胞が撮像された細胞画像である。異常画像とは、例えば、死滅した細胞が撮像された細胞画像である。異常画像とは、例えば、ウェル内において細胞の密度が極端に小さい場合に撮像された細胞画像である。異常画像とは、例えば、細胞以外の物体がウェル内に混在したまま撮像された細胞画像である。
 培養状態判定部110は、比較画像違い算出部103dが供給するウェル内距離、ウェル間距離、及びプレート間距離が所定の範囲内であるか否かに基づいて、比較画像に撮像されている細胞の培養状態を判定する。つまり、培養状態判定部110は、比較画像同士の違いが所定の範囲内であるか否かに基づいて、比較画像に撮像されている比較細胞の培養状態を判定する。
 ここで図24を参照し、演算部100dが異常画像として選択する処理、及び細胞の培養状態を判定する処理について説明する。
 図24は、本実施形態の演算部100dの培養状態を判定する演算手順の一例を示す図である。ステップS801及びステップS802の各処理は、図7におけるステップS301及びステップS302の各処理と同様であるため、説明を省略する。
 比較画像取得部102dは、撮像部22が複数のウェルプレートについてウェル比較画像群を取得する(ステップS800)。比較画像取得部102dは、取得したウェル比較画像群を比較画像違い算出部103dに供給する。
 距離算出部1034dは、比較画像取得部102dが供給するウェル比較画像群に含まれる比較画像それぞれについて、画像群内距離を算出する(ステップS803)。距離算出部1034dは、算出した画像群内距離を異常画像選択部104dに供給する。
 異常画像選択部104dは、比較画像違い算出部103dが供給する画像群内距離が所定の値より大きい比較画像を、異常画像として選択する(ステップS804)。異常画像選択部104dは、選択した異常画像を示す情報を結果出力部300に供給する。なお、位置判定部106は、異常画像選択部104dが選択した異常画像を示す情報に基づいて、この異常画像のウェル内の位置を判定し、結果出力部300に供給してもよい。
 距離算出部1034dは、ウェル内距離、ウェル間距離、及びプレート間距離算出を算出する(ステップS805)。ここで距離算出部1034dは、ウェル比較画像群に含まれる複数の比較画像を2つの比較画像群に分け、ウェル内距離を算出する。ここで距離算出部1034dは、ウェル比較画像群に含まれる複数の比較画像を2つの比較画像群に分ける場合に、例えば、2つの比較画像群に含まれる比較画像の数が均等になるように分ける。ここで例えば、距離算出部1034dは、ウェル比較画像群に含まれる複数の比較画像の枚数が奇数である場合、2つの比較画像群に含まれる比較画像の枚数の差が1枚となるように分ける。また、距離算出部1034dは、例えば、ウェル内において隣接する位置に対する画像同士を同じ比較画像群に分ける。距離算出部1034dは、ウェル内においてなるべく隣接しない位置に対する画像同士を同じ比較画像群に分けてもよい。
 距離算出部1034dは、全てウェルに対するウェル比較画像群同士のウェル間距離を算出する。距離算出部1034dは、例えば、それぞれのウェルから1つあるいは全ての位置を選択し、選択した位置に対するウェル比較画像群同士のウェル間距離を算出してよい。
 距離算出部1034dは、全てウェルプレートに対するウェル比較画像群同士のプレート間距離を算出する。距離算出部1034dは、例えば、それぞれのウェルプレートから1つのウェルを選択し、さらに選択したウェルから1つあるいは全ての位置を選択し、選択した位置に対するウェル比較画像群同士のプレート間距離を算出してよい。距離算出部1034dは、例えば、それぞれのウェルプレートから全てのウェルを選択し、選択したそれぞれのウェルから、1つあるいは全ての位置を選択し、選択したそれぞれの位置に対するウェル比較画像群同士のプレート間距離を算出してよい。
 距離算出部1034dは、算出したウェル内距離、ウェル間距離、及びプレート間距離算出を培養状態判定部110に供給する。
 培養状態判定部110は、距離算出部1034dが供給するウェル内距離、ウェル間距離、及びプレート間距離が所定の範囲内であるか否かに基づいて、比較画像に撮像されている細胞の培養状態を判定する(ステップS806)。培養状態判定部110は、判定結果を結果出力部300に供給する。
 ここで図25を参照し、培養状態判定部110の培養状態の判定処理について説明する。
 図25は、本実施形態の培養状態判定処理の一例を示す図である。培養状態判定部110は、例えば、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPの全てが所定の閾値以下であるか否かを判定する。培養状態判定部110は、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPの全てが所定の閾値以下であると判定する場合、培養状態は適切であると判定する。
 培養状態判定部110は、例えば、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPの大小を比較し、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPがこの順において大きくなっているか否かを判定してもよい。培養状態判定部110は、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPがこの順において大きくなっていると判定する場合、培養状態は適切であると判定する。
 培養状態判定部110は、例えば、ウェルプレートWP1の1組のウェルであるウェルW11とウェルW12とについてのウェル間距離DBを基準値として、ウェルプレートWP1内のそれぞれのウェルについてのウェル間距離DBが、この基準値以下であるか否かを判定してもよい。培養状態判定部110は、ウェルプレートWP1内のそれぞれのウェルについてのウェル間距離DBが基準値以下であると判定する場合、培養状態は適切であると判定する。
 培養状態判定部110は、例えば、ウェルプレートWP1のあるウェルW11とウェルプレートWP1の他のウェルとのウェル間距離DBの、ウェルプレートWP1の他のウェルについての平均をウェルW11のスコアとして算出し、このスコアに基づいて培養状態を判定してもよい。培養状態判定部110は、ウェルプレートWP1内の全てのウェルについてスコアを算出し、ウェルプレートWP1の全てのウェルについてスコアの平均値を算出する。培養状態判定部110は、ウェルプレートWP1内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であるか否かを判定する。培養状態判定部110は、ウェルプレートWP1内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であると判定する場合、培養状態は適切であると判定する。
 図24に戻って演算部100dの処理の説明を続ける。
 結果出力部300は、演算部100dが供給する結果を表示部30に表示させる(ステップS807)。結果出力部300は、異常画像選択部104dが供給する異常画像を示す情報に基づき、異常画像を表示部30に表示させる。結果出力部300は、位置判定部106が供給する異常画像のウェル内の位置を表示部30に表示させてもよい。結果出力部300は、培養状態判定部110が供給する培養状態の判定結果を表示部30に表示させる。
 なお、本実施形態においては、異常画像選択部104dが、ウェル比較画像群に含まれる比較画像に含まれる比較画像それぞれについて算出された画像群内距離に基づいて異常画像を選択する場合について説明したが、異常画像選択部104dは、ウェル間距離に基づいて異常ウェルを選択してもよい。代表特徴量算出部1033は、ウェルプレート内のあるウェルAWを異常画像として選択するか判定する場合、例えば、ウェルAWを除くウェルプレート内の他の全てのウェルに対するウェル比較画像群の代表比較特徴量をそれぞれ算出する。代表特徴量算出部1033は、算出した複数の代表比較特徴量の分布の代表値をプレート代表特徴量として算出する。距離算出部1034dは、ウェルAWに対するウェル比較画像群の比較代表特徴量と、プレート代表特徴量との距離を算出する。異常画像選択部104dは、ウェルAWに対するウェル比較画像群の比較代表特徴量と、プレート代表特徴量との距離が所定の値以上である場合、ウェルAWを異常ウェルとして判定する。
 また、距離算出部1034dは、ウェルAWに対するウェル比較画像群の比較代表特徴量と、ウェルAWを除くウェルプレート内の他の全てのウェルに対するウェル比較画像群の比較代表特徴量との距離との差を、他の全てのウェルについて合計した値を算出してもよい。異常画像選択部104dは、この値が所定の値以上である場合、ウェルAWを異常ウェルとして判定してもよい。
 なお、異常画像を選択する場合には、比較画像取得部102は、ウェル比較画像の代わりに、複数の比較画像を取得してもよい。異常画像選択部104dは、比較画像取得部102が取得した複数の比較画像の中から異常画像を選択してもよい。
 なお、本実施形態においては、細胞の培養状態の判定にウェル比較画像群が用いられる場合について説明したが、ウェル比較画像群の代わりにウェル内のある位置に対する1枚の細胞画像が比較画像として用いられ、細胞の培養状態の判定が行われてもよい。
 また、本実施形態においては、細胞の培養状態の判定にウェル比較画像群の代表特徴量同士の距離が用いられる場合について説明したが、ウェル比較画像群の代表特徴量同士の距離の代わりに、ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられてもよい。ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられる場合、算出装置10dは、割合算出部105を備えてよい。例えば、ウェル比較画像群における反応割合を、ウェル内の複数の位置同士について比較し、ある位置の反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。算出装置10dは、ウェル内のそれぞれの位置について、反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定してよい。
 または、ウェル比較画像群における反応割合を、ウェルプレート内の複数のウェル同士について比較し、あるウェルの反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。ウェルプレート内のそれぞれのウェルについて、反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
 あるいは、ウェル比較画像群における反応割合を、ウェルプレート全体内の複数のウェルプレート同士について比較し、あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
 以上説明したように、本実施形態の算出装置10dは、比較画像違い算出部103dと、異常画像選択部104dとを備える。比較画像違い算出部103dは、比較画像同士の違いを算出する。異常画像選択部104dは、比較画像のうち比較画像違い算出部103dが算出した比較画像同士の違いが所定の値より大きい比較画像を、異常画像として選択する。この構成により、算出装置10dは、比較画像同士の違いを定量化した値を所定の値と比較できるため、ウェル内のそれぞれの位置に対応する細胞画像のなかから異常画像を選択することができる。
 また、本実施形態の算出装置10dは、培養状態判定部110を備える。培養状態判定部110は、比較画像同士の違いが所定の範囲内であるか否かに基づいて、比較画像に撮像されている比較細胞の培養状態を判定する。この構成により、算出装置10dは、比較画像同士の違いを定量化した値が所定の範囲内であるかを判定できるため、ウェル毎、またはウェルプレート毎、または複数のウェルプレート全体について培養状態が適切か否かを判定できる。
[第5実施形態の変形例]
 上記の第5実施形態においては、算出装置10dが、ウェルにおいて培養される細胞の細胞画像同士の違いを算出する場合について説明したが、変形例として、算出装置10dが、3次元に凝集した細胞塊(コロニー)の一例として、スフェロイドの違いを算出する場合について説明する。以下では上記の第5実施形態と異なる部分を中心に説明する。なお、スフェロイド以外の3次元に凝集した細胞塊の例としては、組織を模して培養されたオルガノイドがある。
 図26は、本実施形態の演算部100dの演算手順の変形例を示す図である。なお、ステップS901、及びステップS902の各処理は、図24におけるステップS801、及びステップS802の各処理と同様であるため、説明を省略する。
 比較画像取得部102dは、スフェロイドの各断面を撮像した断面画像PZ0~PZnを取得する(ステップS900)。
 ここで図27を参照し、スフェロイドの断面画像について説明する。
 図27は、本実施形態のスフェロイドの断面画像の一例を示す図である。スフェロイドとは、3次元に凝集した細胞塊(コロニー)である。スフェロイドでは、2次元培養と比べより生体内に近い環境を再現できる。図27では、Z軸の方向に均一であることが期待されるスフェロイドが撮像された3次元画像である方向均一スフェロイド画像SFZが示されている。ただし、方向均一スフェロイド画像SFZにおいて領域APは、他の領域と性質が異なっている。断面画像PZ0~PZnは、方向均一スフェロイド画像SFZのZ軸の各位置に対応する断面が取り出された2次元画像である。断面画像PZiと断面画像PZjとは、それぞれ方向均一スフェロイド画像SFZの領域RのZ軸方向の上面と下面に対応する断面が取り出された2次元画像である。断面画像PZ0~PZnの枚数は、例えば1000枚である。
 図26に戻って、演算部100dの演算手順の説明を続ける。
 比較画像取得部102dは、取得した断面画像PZ0~PZnのそれぞれを所定の領域に分割し、複数の領域からなる比較画像群として比較特徴量算出部1032に供給する。
 距離算出部1034dは、代表特徴量算出部1033dが算出した比較代表特徴量同士の距離を算出する(ステップS903)。ここで距離算出部1034dは、断面画像PZ0~PZnからそれぞれ算出された比較代表特徴量の全ての組合せについて比較代表特徴量同士の距離を算出する。距離算出部1034dは、算出した複数の距離を異常画像選択部104dに供給する。
 異常画像選択部104dは、距離算出部1034dが供給する複数の距離に基づいて、距離が所定の値以上である断面画像を断面画像PZ0~PZnの中から選択する(ステップS904)。図27に示した例では、異常画像選択部104dは、方向均一スフェロイド画像SFZの他の領域とは異なる断面画像PZi及び断面画像PZjを選択する。異常画像選択部104dは、選択した断面画像を示す情報を位置判定部106に供給する。
 位置判定部106は、異常画像選択部104dが供給する断面画像を示す情報に基づいて、この断面画像の3次元のスフェロイドの画像内の位置を判定する(ステップS905)。位置判定部106は、判定した位置を示す情報を結果出力部300に供給する。
 結果出力部300は、位置判定部106が供給する位置を示す情報に基づいて、3次元のスフェロイドの画像内の他の領域と異なる領域の位置を表示部30に表示させる(ステップS906)。
 [第6実施形態]
 以下、図面を参照しながら本発明の第6の実施形態について説明する。
 上記実施形態では、算出装置が、ウェル内の位置に対応する細胞画像同士の違いを定量化する場合について説明した。本実施形態では、算出装置が、スフェロイドが撮像された3次元画像同士の違いを定量化する場合について説明する。
 図28は、本発明の第6実施形態による10eが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置10e(図28)と、第1~5の実施形態に係る算出装置とを比較すると、演算部100eが違いを算出する細胞画像が3次元のスフェロイド画像である点が異なる。3次元のスフェロイド画像同士の違いを算出する点を除ければ、本実施形態に係る算出装置10e(図28)の機能は、第5の実施形態と類似する。第5の実施形態と同じ機能の説明は省略し、第6の実施形態では、第5の実施形態と異なる部分を中心に説明する。
 解析画像取得部107eは、撮像部22が撮像した解析画像群を取得する。この解析画像群は、複数のスフェロイド画像であるスフェロイド画像群である。スフェロイド画像とは、同様の手法で作製されたスフェロイドが撮像された3次元画像それぞれから、所定のサイズのボクセルを所定の個数だけ取り出してできる複数のボクセルの組である。ここで所定のサイズとは、一例として100×100×100ピクセルであり、所定の個数とは、一例として5×5×5個である。したがって、スフェロイド画像群とは、1つのスフェロイドの3次元画像から取り出された複数のボクセルの組をさらに複数集めた集合である。
 解析画像取得部107eは、スフェロイド画像SF0、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3からなる。
 解析画像取得部107eは、スフェロイド画像SF0を基準画像群とし、基準画像取得部101eに供給する。解析画像取得部107eは、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3をそれぞれ比較画像群とし、比較画像取得部102eに供給する。
 基準画像取得部101eは、解析画像取得部107eが供給する基準画像群を取得し、比較画像違い算出部103eに供給する。
 比較画像取得部102eは、解析画像取得部107eが供給する比較画像群を取得し、比較画像違い算出部103eに供給する。
 比較画像違い算出部103eは、複数の3次元画像である基準画像群と、複数の3次元画像である比較画像群との違いを算出する。比較画像違い算出部103eは、基準特徴量算出部1031eと、比較特徴量算出部1032eと、代表特徴量算出部1033eと、距離算出部1034eとを備える。
 基準特徴量算出部1031eは、基準画像取得部101eが供給する基準画像群であるスフェロイド画像SF0に含まれるボクセルのそれぞれの特徴量を、複数の基準特徴量として算出する。ここでボクセルの特徴量とは、ボクセルをある軸の所定の間隔毎に2次元画像である断面図に分割し、それぞれの断面図について算出した特徴量を組にしてできるテンソルである。以下では、ボクセルの特徴量を特徴量テンソルと呼ぶ場合がある。基準特徴量算出部1031eは、スフェロイド画像SF0のボクセルそれぞれについて算出した複数の特徴量テンソルを代表特徴量算出部1033eに供給する。
 比較特徴量算出部1032eは、基準画像取得部101eが供給する比較画像群であるスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3に含まれるスフェロイド画像の特徴量テンソルを、複数の比較特徴量として算出する。比較特徴量算出部1032eは、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3のボクセルそれぞれについて算出した複数の算出した複数の比較特徴量を代表特徴量算出部1033eに供給する。
 代表特徴量算出部1033eは、基準特徴量算出部1031eが供給するスフェロイド画像SF0の複数の特徴量テンソルから代表特徴量テンソルを算出し、基準代表特徴量テンソルとする。ここで代表特徴量テンソルとは、複数の特徴量テンソルの成分ごとの分布の代表値からなるテンソルである。ここで代表値とは、例えば、中央値や平均値である。代表特徴量算出部1033eは、算出した基準代表特徴量テンソルを距離算出部1034eに供給する。
 代表特徴量算出部1033eは、比較特徴量算出部1032eが供給するスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3毎に複数の特徴量テンソルから代表特徴量テンソルをそれぞれ算出し、それぞれ比較代表特徴量テンソルとする。代表特徴量算出部1033eは、算出した比較代表特徴量テンソルを距離算出部1034eに供給する。
 距離算出部1034eは、代表特徴量算出部1033eが供給する基準代表特徴量テンソルと、複数の比較代表特徴量テンソルとの距離をそれぞれ算出し、画像選択部104eに供給する。
 画像選択部104eは、距離算出部1034eが供給する複数の距離に距離に基づいて、比較画像群の中からスフェロイド画像を選択する。画像選択部104eは、選択したスフェロイド画像を結果出力部300に供給する。
 ここで図29を参照し、演算部100eが基準画像群であるスフェロイド画像との違いが最も小さいスフェロイド画像を比較画像群のなかから選択する処理について説明する。
 図29は、本実施形態の演算部100eによる画像を選択する演算手順の一例を示す図である。
 解析画像取得部107eは、撮像部22が撮像した解析画像群であるスフェロイド画像SF0、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3を取得する(ステップS1000)。ここで図30を参照し、スフェロイド画像について説明する。
 図30は、本実施形態のスフェロイド画像の一例を示す図である。図30では、スフェロイドがそれぞれ撮像された3次元画像をスフェロイド画像と呼ぶ。スフェロイド画像SF0、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3は、同一条件下で培養された複数のスフェロイドがそれぞれ撮像された3次元画像である。スフェロイド画像SF0、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3は、X軸、Y軸、Z軸の各方向に不均一であるスフェロイドが撮像された3次元画像である。
 図29に戻って、演算部100eの処理の説明を続ける。
解析画像取得部107eは、スフェロイド画像SF0を基準画像群とし、基準画像取得部101eに供給する。撮像部22が撮像した解析画像群であるスフェロイド画像のうち、解析画像取得部107eがいずれのスフェロイド画像を基準画像群とするかは、算出装置10eの使用者によって予め指定されてよい。
 解析画像取得部107eは、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3をそれぞれ比較画像群とし、比較画像取得部102eに供給する。
 基準画像取得部101e及び比較画像違い算出部103eは、基準画像群から基準代表特徴量を算出する処理を実行する(ステップS1001)。ここで図31を参照し、この基準代表特徴量を算出する処理について説明する。
 図31は、本実施形態の演算部100eによる基準代表特徴量を算出する演算手順の一例を示す流れ図である。
 基準画像取得部101eは、解析画像取得部107eが供給する基準画像群であるスフェロイド画像SF0を取得する(ステップS110)。基準画像取得部101eは、取得したスフェロイド画像SF0を基準特徴量算出部1031eに供給する。
 基準特徴量算出部1031eは、基準画像取得部101eが供給するスフェロイド画像SF0から基準特徴量を算出する(ステップS111)。ここで基準特徴量算出部1031eは、スフェロイド画像SF0から取り出されるボクセルのそれぞれについて特徴量テンソルを基準特徴量として算出する。基準特徴量算出部1031eは、算出した複数の特徴量テンソルを代表特徴量算出部1033eに供給する。
 代表特徴量算出部1033eは、基準特徴量算出部1031eが供給するスフェロイド画像SF0の複数の特徴量テンソルから基準代表特徴量テンソルを算出する(ステップS112)。代表特徴量算出部1033eは、算出した基準代表特徴量テンソルを距離算出部1034eに供給する。
 図29に戻って、演算部100eの処理の説明を続ける。
 比較画像取得部102eは、解析画像取得部107eが供給するスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3を比較画像群として取得する(ステップS1002)。比較画像取得部102eは、取得したスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3を比較特徴量算出部1032eに供給する。
 比較特徴量算出部1032eは、基準画像取得部101eが供給する比較画像群であるスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3に含まれるスフェロイド画像の特徴量テンソルを、複数の比較特徴量として算出する(ステップS1003)。比較特徴量算出部1032eは、算出した複数の比較特徴量を距離算出部1034eに供給する。
 代表特徴量算出部1033eは、比較特徴量算出部1032eが供給するスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3毎に、複数の特徴量テンソルから比較代表特徴量テンソルをそれぞれ算出する(ステップS1004)。代表特徴量算出部1033eは、算出した複数の比較代表特徴量テンソルを距離算出部1034eに供給する。
 距離算出部1034eは、代表特徴量算出部1033eが供給する基準代表特徴量テンソルと、複数の比較代表特徴量テンソルとの距離をそれぞれ算出する(ステップS1005)。ここで特徴量テンソル同士の距離は、例えば、特徴量テンソルそれぞれの成分の値同士の差に基づいて算出されるユークリッド距離である。なお、特徴量テンソル同士の距離は、ユークリッド距離以外であってもよい。距離算出部1034eは、算出した複数の距離を画像選択部104eに供給する。
 画像選択部104eは、距離算出部1034eが供給する複数の距離に基づいて、比較画像群の中からスフェロイド画像を選択する(ステップS1006)。ここで画像選択部104eは、距離算出部1034eが供給する複数の距離のなかから最も小さい距離を判定する。画像選択部104eは、判定した最も小さい距離に対応する比較画像群であるスフェロイド画像を選択する。画像選択部104eは、選択したスフェロイド画像を示す情報を結果出力部300に供給する。
 なお、画像選択部104eは、距離算出部1034eが供給する複数の距離のなかから最も大きい距離を判定し、比較画像群の中からスフェロイド画像を選択してもよい。
 結果出力部300は、画像選択部104eが供給するスフェロイド画像を示す情報に基づいて、この情報が示すスフェロイド画像を表示部30に表示させる(ステップS1007)。
 なお、上記の実施形態においては、「複数の基準画像を用いて算出される特徴量」などの記載において、「用いて」の代わりに「基づいて」としてもよい。すなわち、この一例の場合において、「複数の基準画像を用いて算出される特徴量」との記載を「複数の基準画像を基づいて算出される特徴量」としてもよい。つまり、上記の実施形態においては、「用いて」と「基づいて」とを互いに入れ替えた記載についても、実施形態の記載に含まれる。
 なお、本発明の実施形態における算出装置10の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
 なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
 さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
 以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 1…顕微鏡観察システム、10、10a、10b、10c、10d、10e…算出装置、20…顕微鏡装置、30…表示部、100、100a、100b、100c、100e…演算部、101、101b、101e…基準画像取得部、101c…分類用基準画像取得部、102、102b、102d、102e…比較画像取得部、102c…対象画像取得部、103、103b、103c、…算出部、103d、103e…比較画像違い算出部、104…選択部、104d…異常画像選択部、104e…画像選択部、105…割合算出部、106、106e…位置判定部、107、107e…解析画像取得部、108…解析部、109…分類部、110…培養状態判定部、1031、1031b、1031e…基準特徴量算出部、1031c…分類用基準特徴量算出部、1032、1032e…比較特徴量算出部、1033、1033e…代表特徴量算出部、1034、1034d、1034e…距離算出部、1081…時系列算出部、1082…濃度変化算出部、1083…種類変化算出部、200、200c…記憶部、201…次元削減情報記憶部、202、202b…基準画像記憶部、202c…分類用基準画像記憶部、300…結果出力部

Claims (20)

  1.  細胞が撮像された基準画像を複数取得する基準画像取得部と、
     前記複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得部と、
     前記複数の基準画像を用いて算出される特徴量と、前記比較画像を用いて算出される特徴量との違いを算出する算出部とを備える、算出装置。
  2.  前記比較画像取得部は、複数の前記比較画像を取得し、
     前記算出部は、前記複数の基準画像を用いて算出される特徴量と、
     前記複数の比較画像を用いて算出される特徴量との違いを算出する、請求項1に記載の算出装置。
  3.  前記複数の前記比較画像に基づいて算出される特徴量は、複数の特徴量を含む、請求項2に記載の算出装置。
  4.  前記複数の前記基準画像に基づいて算出される特徴量は、複数の特徴量を含む、請求項1から3のいずれか一項に記載の算出装置。
  5.  前記算出部は、基準画像取得部が取得する前記基準画像と、前記比較画像取得部が取得する前記比較画像と、前記基準画像および前記比較画像を次元削減することによって得られる特徴量とを用いて、前記違いを算出する、請求項1から4のいずれ一項に記載の算出装置。
  6.  前記算出部は、
     入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークによって次元削減された特徴量を用いて、前記違い算出する、請求項5に記載の算出装置。
  7.  前記算出部は、前記ニューラルネットワークを構成する前記中間層のうちいずれかの前記中間層の出力を用いる、請求項6に記載の算出装置。
  8.  前記算出部が算出する前記違いとは、前記複数の基準画像を用いて算出される前記特徴量を示すひとつ以上の値と、前記比較画像を用いて算出される前記特徴量を示すひとつ以上の値との、対応する値同士の関係に基づいて算出される値である、請求項1から請求項7のいずれか一項に記載の算出装置。
  9.  前記算出部が算出した前記違いが所定の値より大きい前記比較画像を選択する画像選択部を備える、請求項1から請求項8のいずれか一項に記載の算出装置。
  10.  前記画像選択部が選択した結果を用いて、複数の前記比較画像から、前記算出部が算出した前記違いが所定の値より大きい前記比較画像の割合を算出する割合算出部を備える、請求項9に記載の算出装置。
  11.  複数の前記比較画像の各々は、前記細胞が培養される培養容器の複数の位置にそれぞれ対応し、
     前記画像選択部が選択した結果を用いて、前記算出部が算出した前記違いが所定の値より大きい前記比較画像に対応する前記位置を判定する位置判定部を備える、請求項9または請求項10に記載の算出装置。
  12.  前記比較画像とは、時系列に撮像された画像であり、
     前記算出部が算出した前記違いを用い、前記時系列における時刻毎の前記違いを算出する時系列算出部を備える、請求項1から請求項11のいずれか一項に記載の算出装置。
  13.  前記比較画像とは、前記比較細胞に添加された化合物の濃度毎に撮像された前記細胞の画像であり、
     前記算出部が算出した前記違いを用い、前記濃度毎の前記違いを算出する濃度変化算出部を備える、請求項1から請求項12のいずれか一項に記載の算出装置。
  14.  前記比較画像とは、前記比較細胞に添加された化合物の種類毎に撮像された前記細胞の画像であり、
     前記算出部が算出した前記違いを用い、前記種類毎の前記違いを算出する種類変化算出部を備える、請求項1から請求項13のいずれか一項に記載の算出装置。
  15.  前記基準画像取得部は、複数の種類の前記基準画像を取得し、
     前記算出部は、前記複数の種類の基準画像と前記比較画像とのそれぞれの違いを算出し、
     前記算出部が算出した複数の前記違いを用い、前記比較画像を分類する分類部を備える、請求項1から請求項14のいずれか一項に記載の算出装置。
  16.  前記比較画像同士の違いを算出する比較画像違い算出部と、
     前記比較画像のうち前記比較画像違い算出部が算出した前記比較画像同士の前記違いが所定の値より大きい前記比較画像を、異常画像として選択する異常画像選択部とを備える、請求項1から請求項15のいずれか一項に記載の算出装置。
  17.  前記比較画像同士の前記違いが所定の範囲内であるか否かに基づいて、前記比較画像に撮像されている前記比較細胞の培養状態を判定する培養状態判定部を備える、請求項1から請求項16のいずれか一項に記載の算出装置。
  18.  前記特徴量には、前記細胞に関する画像特徴量が含まれる、請求項1から17のいずれ一項に記載の算出装置。
  19.  コンピュータに、
     細胞が撮像された基準画像を複数枚取得する基準画像取得ステップと、
     前記複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得ステップと、
     前記複数の基準画像を用いて算出される特徴量と、前記比較画像を用いて算出される特徴量との違いを算出する算出ステップとを実行させるための、算出プログラム。
  20.  細胞が撮像された基準画像を複数枚取得する基準画像取得手段と、
     前記複数の基準画像に撮像されている細胞と比較する比較細胞が撮像された比較画像を取得する比較画像取得手段と、
     前記複数の基準画像を用いて算出される特徴量と、前記比較画像を用いて算出される特徴量との違いを算出する算出手段とを実行させるための、算出方法。
PCT/JP2018/005511 2018-02-16 2018-02-16 算出装置、算出プログラム及び算出方法 Ceased WO2019159326A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019571915A JP7064720B2 (ja) 2018-02-16 2018-02-16 算出装置、算出プログラム及び算出方法
PCT/JP2018/005511 WO2019159326A1 (ja) 2018-02-16 2018-02-16 算出装置、算出プログラム及び算出方法
EP18906635.0A EP3754595A4 (en) 2018-02-16 2018-02-16 DEVICE, PROGRAM AND CALCULATION PROCESS
US16/992,386 US20200372652A1 (en) 2018-02-16 2020-08-13 Calculation device, calculation program, and calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/005511 WO2019159326A1 (ja) 2018-02-16 2018-02-16 算出装置、算出プログラム及び算出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/992,386 Continuation US20200372652A1 (en) 2018-02-16 2020-08-13 Calculation device, calculation program, and calculation method

Publications (1)

Publication Number Publication Date
WO2019159326A1 true WO2019159326A1 (ja) 2019-08-22

Family

ID=67619911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005511 Ceased WO2019159326A1 (ja) 2018-02-16 2018-02-16 算出装置、算出プログラム及び算出方法

Country Status (4)

Country Link
US (1) US20200372652A1 (ja)
EP (1) EP3754595A4 (ja)
JP (1) JP7064720B2 (ja)
WO (1) WO2019159326A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059487A1 (ja) * 2019-09-27 2021-04-01 株式会社ニコン 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761109B (zh) * 2021-03-04 2022-04-11 鴻海精密工業股份有限公司 細胞密度分群方法、裝置、電子設備及電腦存儲介質
JP2023015674A (ja) * 2021-07-20 2023-02-01 株式会社エビデント 細胞塊の内部予測方法、プログラム、及び、画像処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080136A (ja) * 2005-09-16 2007-03-29 Seiko Epson Corp 画像内に表現された被写体の特定
JP2010157073A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 顔認識装置、顔認識方法及び顔認識プログラム
US9280698B2 (en) 2011-06-20 2016-03-08 Nikon Corporation Image processing apparatus, method, and program
JP2016523550A (ja) * 2013-07-03 2016-08-12 コイン アイピー ホールディングス、 エルエルシー 化学的または生物学的物質に対する応答の予測方法
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 血液学用デジタルホログラフィ顕微鏡検査データ分析

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885913B2 (en) * 1999-01-25 2014-11-11 Amnis Corporation Detection of circulating tumor cells using imaging flow cytometry
WO2001036939A2 (de) * 1999-11-04 2001-05-25 Meltec Multi-Epitope-Ligand-Technologies Gmbh Verfahren zur automatischen analyse von mikroskopaufnahmen
US7016787B2 (en) * 2001-02-20 2006-03-21 Cytokinetics, Inc. Characterizing biological stimuli by response curves
US20030229278A1 (en) * 2002-06-06 2003-12-11 Usha Sinha Method and system for knowledge extraction from image data
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
JP4968595B2 (ja) * 2008-07-23 2012-07-04 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
WO2018154924A1 (ja) * 2017-02-27 2018-08-30 富士フイルム株式会社 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080136A (ja) * 2005-09-16 2007-03-29 Seiko Epson Corp 画像内に表現された被写体の特定
JP2010157073A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 顔認識装置、顔認識方法及び顔認識プログラム
US9280698B2 (en) 2011-06-20 2016-03-08 Nikon Corporation Image processing apparatus, method, and program
JP2016523550A (ja) * 2013-07-03 2016-08-12 コイン アイピー ホールディングス、 エルエルシー 化学的または生物学的物質に対する応答の予測方法
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 血液学用デジタルホログラフィ顕微鏡検査データ分析

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKUI HIROSHI ET AL.,: "Cloud-Type Face Verification System Using Deep Convolutional Neural Network with Consideration for Privacy", 22ND SYMPOSIUM ON SENSING VIA IMAGE INFORMATION SSII2016; 13-15/12/2016, 31 December 2016 (2016-12-31), pages 1 - 6, XP009522280 *
See also references of EP3754595A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059487A1 (ja) * 2019-09-27 2021-04-01 株式会社ニコン 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
EP4036839A4 (en) * 2019-09-27 2023-06-14 Nikon Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING SYSTEM
US12367618B2 (en) 2019-09-27 2025-07-22 Nikon Corporation Information processing device, information processing method, information processing program, and information processing system

Also Published As

Publication number Publication date
JP7064720B2 (ja) 2022-05-11
JPWO2019159326A1 (ja) 2021-01-28
EP3754595A1 (en) 2020-12-23
EP3754595A4 (en) 2021-09-08
US20200372652A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP7744340B2 (ja) ハイスループット薬物スクリーニングのためのシステムおよび方法
Jo et al. Quantitative phase imaging and artificial intelligence: a review
Melanthota et al. Deep learning-based image processing in optical microscopy
US20210271853A1 (en) Method of characterizing and imaging microscopic objects
US11321836B2 (en) Image-processing device, image-processing method, and image-processing program for setting cell analysis area based on captured image
JP6756339B2 (ja) 画像処理装置、及び画像処理方法
US11379983B2 (en) Analysis device, analysis program, and analysis method
JP7064720B2 (ja) 算出装置、算出プログラム及び算出方法
Shaw et al. Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy
Sheneman et al. Deep learning classification of lipid droplets in quantitative phase images
Yadlapalli et al. Intelligent classification of lung malignancies using deep learning techniques
Benisty et al. Review of data processing of functional optical microscopy for neuroscience
Hartmann et al. Assessing the role of random forests in medical image segmentation
Wang et al. A novel dual-network architecture for mixed-supervised medical image segmentation
WO2018003063A1 (ja) 解析装置、解析方法、解析プログラム及び表示装置
WO2018193612A1 (ja) 相関算出装置、相関算出方法及び相関算出プログラム
Rahkonen et al. Multilabel segmentation of cancer cell culture on vascular structures with deep neural networks
JP6999118B2 (ja) 画像処理装置
WO2018109826A1 (ja) 解析装置、解析プログラム及び解析方法
Kubach et al. Same same but different: a web-based deep learning application for the histopathologic distinction of cortical malformations
Cheraghi et al. Classification of Trypanosoma brucei mammalian life cycle stages using Deep Learning Algorithms
Jiao Modeling and Analysis of Subcellular Protein Localization in Hyper-Dimensional Fluorescent Microscopy Images Using Deep Learning Methods
WO2019159247A1 (ja) 算出装置、解析プログラム及び解析方法
WO2018122908A1 (ja) 解析装置、解析プログラム及び解析方法
Hay Identifying Gut Bacteria and Their Interactions Using Deep Learning Based Image Analysis and Gnotobiotic Experiments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906635

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019571915

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018906635

Country of ref document: EP

Effective date: 20200916