[go: up one dir, main page]

WO2024185572A1 - 細胞画像解析方法およびプログラム - Google Patents

細胞画像解析方法およびプログラム Download PDF

Info

Publication number
WO2024185572A1
WO2024185572A1 PCT/JP2024/006992 JP2024006992W WO2024185572A1 WO 2024185572 A1 WO2024185572 A1 WO 2024185572A1 JP 2024006992 W JP2024006992 W JP 2024006992W WO 2024185572 A1 WO2024185572 A1 WO 2024185572A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell
information
autofluorescence
analysis method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/006992
Other languages
English (en)
French (fr)
Inventor
修平 鳥羽
伊知郎 原田
好克 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of WO2024185572A1 publication Critical patent/WO2024185572A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06—Quantitative determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts

Definitions

  • the present invention relates to a cell image analysis method and program.
  • Non-Patent Document 1 nicotinamide adenine dinucleotide (NADH) and flavin adenine dinucleotide (FAD), which are coenzymes whose fluorescence intensity varies depending on the redox state of biological tissues, and have developed a system that calculates the intensity ratio of the fluorescence wavelengths of NADH and FAD from images of organs and determines the redox state of biological tissues.
  • NADH nicotinamide adenine dinucleotide
  • FAD flavin adenine dinucleotide
  • Non-Patent Document 1 It is expected that the technology for acquiring autofluorescence information as described in Non-Patent Document 1 will make it possible to analyze functional information such as the metabolic state of cells in a non-invasive manner without the need for staining. Since the substances that cause cellular autofluorescence are coenzymes involved in metabolism, by estimating their amounts, it becomes possible to distinguish cell types, infer the detailed metabolic state of cells, and infer the health of cells without staining.
  • FACS Fluorescence-Activated Cell Sorting
  • FACS Fluorescence-Activated Cell Sorting
  • FACS Fluorescence-Activated Cell Sorting
  • Patent Document 1 There is a demand for analytical techniques that use image data to non-invasively obtain information on cell morphology and autofluorescence simultaneously.
  • Patent Document 1 a technique is developed for simultaneously observing cell morphology and autofluorescence by acquiring a phase contrast image and an autofluorescence image, and displaying the images in a synthesized form.
  • Patent Document 2 an image (defocused image) that is out of focus from the in-focus position is used to extract the contours of cells.
  • Patent Document 1 displays a composite image of a phase contrast image and an autofluorescence image, but does not obtain morphological information of individual cells, and therefore cannot analyze autofluorescence information for individual cells or individual cell clumps in culture. Furthermore, in the technique described in Patent Document 2, the autofluorescence image is not acquired simultaneously with the defocused image, and therefore autofluorescence information of the cells cannot be acquired.
  • the present invention has been made to solve the above problems. That is, the object of the present invention is to provide a cell image analysis method that makes it possible to simultaneously obtain morphological information and autofluorescence information of individual cells or cell clumps in cell culture.
  • a cell image analysis method is characterized by comprising a morphological information image acquisition step of acquiring a morphological information image including morphological information of a cell, an autofluorescence image acquisition step of acquiring an autofluorescence image obtained by photographing the autofluorescence of the cell, the autofluorescence image including the same field of view as the morphological information image, a cell region extraction step of extracting one or more cell regions from the morphological information image, and a luminance information extraction step of extracting luminance information of two or more mutually different wavelength regions from the autofluorescence image for the cell regions.
  • a further aspect of the present invention is a program for causing a computer to execute the above-mentioned cell image analysis method.
  • a cell image analysis device is characterized in that it has an image data acquisition unit that acquires a morphological information image including morphological information of a cell, and an autofluorescence image obtained by capturing the autofluorescence of the cell, the autofluorescence image including the same field of view as the morphological information image, a cell region extraction unit that extracts one or more cell regions from the morphological information image, and a luminance information extraction unit that extracts luminance information of two or more mutually different wavelength regions from the autofluorescence image for the cell regions.
  • the present invention provides a cell image analysis method that makes it possible to simultaneously obtain morphological information and autofluorescence information of individual cells or cell clusters in culture.
  • FIG. 1 is a functional block diagram of an information processing system according to a first embodiment.
  • FIG. 2 is a flow diagram of a cell image analyzing method according to the first embodiment.
  • FIG. 4 is a flowchart showing an example of a method for extracting a cell region in the first embodiment.
  • FIG. 1 is a diagram showing an example of a grayscale image generated by performing grayscale processing on a defocused image captured by an RGB color camera.
  • FIG. 13 is a diagram showing an example of a non-cellular region mask image generated from the grayscale image obtained in step S301.
  • FIG. 13 is a diagram showing an example of a cell outline image.
  • FIG. 13 is a scatter diagram showing the relationship between the B component and the G component of autofluorescence information of a cellular region in an example of the first embodiment.
  • FIG. 13 is a box plot showing the ratio of B component to G component of autofluorescence information of a cellular region in an example of the first embodiment.
  • FIG. 11 is a functional block diagram of an information processing system according to a second embodiment.
  • FIG. 11 is a flowchart of a cell image analyzing method according to a second embodiment.
  • FIG. 13 is a diagram showing the result of displaying the G component in grayscale for an image generated based on autofluorescence information in an example of the second embodiment.
  • FIG. 13 is a diagram showing the result of displaying the B component in grayscale for an image generated based on autofluorescence information in an example of the second embodiment.
  • FIG. 11 is a functional block diagram of an information processing system according to a second embodiment.
  • FIG. 11 is a flowchart of a cell image analyzing method according to a second embodiment.
  • FIG. 13 is a diagram showing the result of displaying the G component in grayscale for an image generated based on autofluorescence information in an example of
  • FIG. 13 is a diagram showing the results of a grayscale display of a ratio image generated based on the G and B components for an image generated based on autofluorescence information in an example of the second embodiment.
  • 1 is a diagram showing a configuration of an information processing system capable of executing a program according to the present invention.
  • the cell image analyzing method according to the first embodiment will be described below.
  • 1 shows a functional block diagram of an information processing system as a cell-image analyzing apparatus for executing a cell-image analyzing method and a program according to the present embodiment.
  • the information processing system 100 has an image data acquiring unit 101, a cell region extracting unit 102, a luminance information extracting unit 103, a display unit 104, and a storage unit 105.
  • the image data acquisition unit 101 acquires a morphological information image and an autofluorescence image.
  • the morphological information image is an image characterized by an emphasis on the contrast of the contours of cells relative to non-cellular regions.
  • the autofluorescence image is an image obtained by capturing the autofluorescence of cells irradiated with excitation light of a specific wavelength, and includes the same field of view as the morphological information image.
  • the image data acquired by the image data acquisition unit 101 may be image data previously stored in the storage unit 105, or may be acquired from an external storage area such as a HDD or cloud storage.
  • the cell region extraction unit 102 extracts one or more cell regions from the morphological information image acquired by the image data acquisition unit 101.
  • extracting a cell region means extracting and acquiring morphological information of each individual cell that exists discretely within the observation field, or extracting and acquiring morphological information of each cell and the entire cluster within a group of cells that exist in close contact with each other in a cluster.
  • the luminance information extraction unit 103 extracts luminance information as autofluorescence information from the autofluorescence image acquired by the image data acquisition unit 101 for the cellular region extracted by the cellular region extraction unit 102.
  • the luminance information is information on luminance values corresponding to at least two or more mutually different wavelength regions in the spectrum of the autofluorescence.
  • the display unit 104 displays the luminance information extracted by the luminance information extraction unit 103 on a monitor in the form of a histogram, a scatter diagram, or a box-and-whisker plot.
  • FIG. 2 shows a flow diagram of the cell image analyzing method according to the first embodiment. Hereinafter, the flow shown in FIG. 2 will be described, along with details of each function of the information processing system 100.
  • the image data acquisition unit 101 acquires a morphological information image including morphological information of the cell.
  • the morphological information image is, for example, an image of the cell obtained at the focal point position. or a bright-field image taken at a certain distance from the focal point along the optical axis (hereafter referred to as a defocused image).
  • the image has a feature that the contours of objects such as cells are emphasized to be high or low in brightness.
  • the image acquired in this step has a feature that the contrast of the contours of cells is emphasized relative to non-cellular regions.
  • the morphological information image is an image captured by a phase contrast microscope or an oblique illumination system, or an image captured by an optical system between an object and an imaging device.
  • the deviation of the defocused image from the focal position is the position where the contrast of the cell outline is most emphasized. It is preferred.
  • the image data acquisition unit 101 acquires an autofluorescence image of the cell.
  • the autofluorescence image is an image obtained by irradiating the cell with excitation light of a predetermined wavelength to excite a fluorescent substance inherent in the cell, and capturing the fluorescence through a filter that cuts off light of the wavelength of the excitation light.
  • the wavelength of the excitation light and the type of cut filter are preferably selected according to the fluorescence characteristics of the endogenous component to be observed.
  • the endogenous component is nicotinamide adenine dinucleotide (phosphate) (NAD(P)H)
  • NAD(P)H nicotinamide adenine dinucleotide
  • a combination of 360 nm excitation light and a 430 nm long-pass filter can be used.
  • the endogenous component is a flavin (FAD, etc.)
  • FAD flavin
  • Other endogenous components that can be subject to autofluorescence observation include autofluorescent molecules produced within cells, such as collagen, fibronectin, tryptophan, and folic acid, but other fluorescent endogenous components may also be used.
  • the autofluorescence image is an image including the same field of view as the morphological information image acquired in step S201.
  • the autofluorescence image is assumed to have been captured in the same field of view as the morphological information image.
  • the autofluorescence image may be captured by a camera equipped with a two-dimensional image sensor in which n types (n ⁇ 2) of pixels having detection sensitivity in different wavelength regions are regularly arranged.
  • the luminance information extracted in the luminance information extraction step described below is the luminance value recorded by the two-dimensional image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • RGB RGB color camera using a CMOS sensor as an RGB color sensor in which three types of pixels are regularly arranged.
  • the optical sensor that can be used in the present invention is not limited to a CMOS sensor, and may be, for example, a CCD (Charge Coupled Device) sensor.
  • CCD Charge Coupled Device
  • FIG. 3 shows a flow diagram of cell region extraction when a defocused image captured by an RGB color camera is acquired as a morphological information image.
  • step S301 an RGB image acquired by an RGB color camera is converted into one channel.
  • a general grayscale process can be used for the conversion process.
  • a channel corresponding to any one of the R, G, and B components may be extracted. The following process will be described assuming that a grayscale image is generated by the grayscale process in step S301.
  • FIG. 4A shows an example of a grayscale image generated by performing grayscale processing on a defocused image captured by an RGB color camera.
  • a non-cellular region mask image is created to identify non-cellular regions where no cells exist.
  • the non-cellular region mask image is an image in which pixel values corresponding to non-cellular regions and other regions are expressed by two different values. The two values may be any values, and here the non-cellular region is expressed by 1 and the rest is expressed by 0.
  • the non-cellular region mask image is obtained by generating a differential image from the grayscale image obtained in step S301 and performing a binarization process. First, a differential image is generated by applying a differential filter to the grayscale image. A differential image is created by calculating the amount of difference in brightness between each pixel and its surrounding pixels and expressing it as an image.
  • the differential image will have high brightness values at the cell outlines and inside the cell.
  • a binarization process is performed on the differential image to extract areas with high brightness values in the differential image to generate a non-cellular region mask image.
  • an arbitrary threshold is set, and the value of each pixel in the differential image is replaced with a value of 0 if it is equal to or greater than the threshold, and with a value of 1 if it is less than the threshold.
  • the method of binarization is not limited to a method of setting an arbitrary threshold. For example, a method of automatically determining a threshold such as Otsu's binarization or Li's binarization may be used.
  • FIG. 4B shows an example of a non-cellular region mask image generated from the grayscale image obtained in step S301.
  • the non-cellular region mask image there is a possibility that undesirable regions due to the internal structure of a cell, dust, scratches on the culture vessel, and the like may be captured as cellular or non-cellular regions.
  • the non-cellular region mask image may be corrected by morphological processing or hole filling processing.
  • step S303 a cell outline image showing the outline of a cell is generated using the grayscale image generated in step S301.
  • a grayscale image is subjected to a binarization process to generate a mask image for identifying the area corresponding to the outline of the cell.
  • the threshold value in the binarization process here may be any value, or may be determined based on the luminance distribution of the grayscale image.
  • the created mask image is subjected to a thinning process, which is a process of removing white areas of the mask image to generate a line image with a width of one pixel.
  • Figure 4C shows an example of a cell contour image generated from the grayscale image obtained in step S301.
  • step S304 labeling processing of individual cell regions is performed based on the non-cellular region mask image generated in step S302 and the cell outline image generated in step S303.
  • the labeling processing a region where white pixels are connected is searched for in an image obtained by inverting the black and white of the cell outline image, and the connected region is repeatedly labeled as one cell region.
  • the non-cellular region mask image generated in step S302 is referenced, and the non-cellular region is excluded from the labeling target.
  • an independent region formed by multiple cells may be regarded as one cell region.
  • the generation of the cell outline image in step S303 is omitted, and the labeling process is performed using an image obtained by inverting the non-cellular region mask image.
  • Whether or not a cell is a multinucleated cell or forms a cell clump may be determined by an operator by looking at the morphological information image, or may be determined according to the cell type.
  • individual cell regions are extracted from the morphological information image by the processing of steps S301 to S304.
  • the cell region extraction process can be applied to images in which the contrast of the cell outlines relative to non-cellular regions is emphasized.
  • the image on which the cell region extraction process is performed may be an image acquired by a phase contrast microscope, or an image that has been subjected to image processing so as to emphasize the cell outlines.
  • the luminance information extraction unit 103 acquires autofluorescence information corresponding to each cellular region from the autofluorescence image obtained in step S202 for the cellular regions acquired in step S203. Specifically, luminance information of two or more mutually different wavelength regions is extracted for each cellular region from the autofluorescence image.
  • the autofluorescence image may be captured by a camera equipped with a two-dimensional image sensor in which n types of pixels (n ⁇ 2) having detection sensitivities in different wavelength regions are regularly arranged.
  • the luminance information extracted in the luminance information extraction step is the luminance value recorded by the two-dimensional image sensor.
  • the luminance information extraction step in step S204 may include separating the data of the autofluorescence image obtained in step S202 into n types of components corresponding to the n types of pixels in the two-dimensional image sensor.
  • the luminance information may also be luminance values recorded by a two-dimensional image sensor having a spectroscopic element (e.g., a filter, a prism, a diffraction grating, etc.) capable of separating light into n different wavelength regions (where n is greater than or equal to 2), and consisting of one type of pixel.
  • a spectroscopic element e.g., a filter, a prism, a diffraction grating, etc.
  • the luminance information extraction process in step S204 may include separating the data of the autofluorescence image obtained in step S202 into n components corresponding to the light in the above-mentioned n wavelength regions. Then, by calculating the brightness average value, standard deviation, or median, which is the brightness statistic for each of the n types of components in the cellular region, the brightness information can be extracted.
  • the brightness information extraction step may further include calculating the sum, difference, or ratio of the brightness statistics of two types of components among the brightness statistics of the n types of components.
  • an autofluorescence image captured by an RGB color camera is acquired in step S202.
  • the Bayer array data of the autofluorescence image is separated into an image having three channels corresponding to the R, G, and B components.
  • the Bayer array data is two-dimensional array data that records the luminance values received by the CMOS color sensor.
  • the luminance value of the Bayer array data is separated into the components of each color filter corresponding to the three wavelength regions, and separated into three components R, G, and B.
  • the Bayer array data has luminance value information of one of the components R, G, and B for each pixel, it may be complemented so that all pixels have luminance value information of the three components R, G, and B.
  • pre-processing such as black level correction processing for subtracting a dark current value from each pixel value and filter processing for noise reduction may be performed.
  • the luminance information is the luminance statistics of each of the R, G, and B components in each cell region.
  • the luminance statistics are, for example, the average value, the standard deviation, or the median.
  • the luminance statistics may be calculated for only the significant components of the R, G, and B components depending on the characteristics of the cut filter used when the autofluorescence image was captured.
  • the luminance information of the cellular region may be calculated by calculating the sum, difference or ratio of two of the three components R, G and B. For example, the luminance average value of the G component divided by the luminance average value of the B component is calculated.
  • the display unit 104 displays the acquired brightness information of each cell region in the form of a histogram or box-and-whisker plot, or displays the relationship between the brightness information of any two components in the form of a scatter plot.
  • the visualization is performed by displaying the combinations. The operator may be able to select any two components, or all combinations may be displayed.
  • steps S201 to S205 have been described. Modifications of steps S201 to S205 of the first embodiment will be described below. Note that steps not mentioned in each modification are similar to those in the first embodiment, and therefore will not be described.
  • step S202 if the morphological information image and the autofluorescence image do not have the same field of view, a registration process is performed on the morphological information image and the autofluorescence image data.
  • the alignment process can be performed using marking-based or image processing methods.
  • the marking-based method is carried out by an operator. In the marking-based method, the operator marks the positions of the same cells in the morphological information image and the autofluorescence image at multiple points, and aligns the images by calculating an affine transformation matrix based on the coordinates of the marked points. Here, it is preferable that nine or more points are marked.
  • alignment is performed using a mask image generated by threshold processing of the autofluorescence image and a non-cellular region mask image generated from the defocused image in step S302.
  • a method such as template matching or phase-only correlation can be used to align the two mask images.
  • step S202 two or more autofluorescence images may be acquired that have different combinations of excitation light wavelengths and observation-side cutoff filter characteristics.
  • the luminance information extraction process in step S204 is performed on each of the autofluorescence images.
  • one cellular region has luminance information under each of the autofluorescence imaging conditions.
  • the acquired autofluorescence images may be moving images or time-lapse images.
  • the luminance information extraction process in step S204 is performed on the autofluorescence images at each image capture time.
  • one cellular region has luminance information for each image capture time.
  • a graph showing the time change of each component and each cellular region may be further displayed.
  • step S204 a method for extracting R, G, and B components from the Bayer array data has been described, but the luminance information may be a value obtained by converting the R, G, and B components into a color space or color system different from the RGB color space.
  • Examples of color spaces or color systems different from the RGB color space include color spaces such as sRGB and AdobeRGB, and color systems such as Lab, XYZ, and HSV.
  • the luminance information extraction process has been described using an RGB color camera using a CMOS sensor as an example, but a camera having a light sensor suitable for the observation wavelength other than the RGB color camera may be used. That is, in the luminance information extraction process, for example, an image acquired using a spectroscopic camera such as a multiband spectrum camera or a hyperspectral camera may be used.
  • a spectroscopic camera such as a multiband spectrum camera or a hyperspectral camera
  • the light sensor for example, a sensor using Si, Ge, or InGaAs as a material constituting the sensor, or a CMOS type, CCD type, APD (avalanche photodiode array) type, or bolometer type sensor as a sensor structure may be used.
  • the image is separated into images of a plurality of components corresponding to the plurality of wavelength filters possessed by the camera.
  • the cell image analysis method according to the first embodiment can be used in cell cultures in which the boundaries between cells are clearly depicted in morphological information images, such as cancer cells.
  • morphological information images such as cancer cells.
  • human lung cancer cells SK-LU1 and human lung cancer cells NCI-H322 are used as targets.
  • Human lung cancer cells SK-LU1 were cultured in cell culture medium No. 104 (KAC Corporation)
  • Human lung cancer cells NCI-H322 were cultured in cell culture medium No. 103 (KAC Corporation)
  • a 35 mm glass bottom dish was used as the cell culture vessel.
  • a defocused image shifted by ⁇ 100 ⁇ m from the focal point was obtained using an RGB color camera equipped with a CMOS sensor, etc.
  • the image was captured through a double-telecentric lens.
  • the R, G, and B components of the Bayer array data were obtained, and three pieces of brightness information were calculated for each cellular region: the average brightness value of the G component, the average brightness value of the B component, and the average brightness value of the G component divided by the average brightness value of the B component.
  • Figure 5 shows a scatter diagram plotting the relationship between the average brightness value of the B component and the average brightness value of the G component for each cell region.
  • the vertical axis is the average brightness value of the G component, and the horizontal axis is the average brightness value of the B component.
  • the dark gray indicates the NCI-H322 cell sample, and the light gray indicates the SK-LU1 cell sample.
  • the distribution slopes are different, suggesting that differences in cell types are also manifested as differences in the brightness of the wavelength components of the autofluorescence spectrum.
  • Figure 6 shows the results of creating a box plot for the brightness information of the average brightness of the G component divided by the average brightness of the B component.
  • the first embodiment is not limited to cancer cells, but can also be used for normal cells, mixed cultures of cancer cells and normal cells, mixed cultures of cancer cells and normal cells, and tissue slices in which they are mixed.
  • Second Embodiment In the first embodiment, a method has been described in which autofluorescence information corresponding to each cellular region is extracted and the autofluorescence information of each cell is displayed in the form of a histogram, a box plot, or a scatter diagram. In this embodiment, a method is described in which a ratio image is created based on the brightness information of the autofluorescence information, and a grayscale image or heat map image is displayed that visualizes local changes in the relationships between the components of the autofluorescence information within the imaging field of view. 7 shows a functional block diagram of an information processing system that executes the cell image analysis method and program according to the second embodiment.
  • the information processing system 700 includes an image data acquisition unit 101, a cell region extraction unit 102, a brightness information extraction unit 103, a display unit 104, a storage unit 105, and a ratio image generation unit 706.
  • the image data acquisition unit 101, the cellular region extraction unit 102, the luminance information extraction unit 103, and the storage unit 105 are similar to those in the first embodiment, and therefore description thereof will be omitted.
  • the image generating unit 706 generates an image showing a change in the imaging field of view regarding the relationship between the luminance information of two or more different wavelength regions, based on the cellular region extracted by the cellular region extracting unit 102 and the luminance information extracted by the luminance information extracting unit 103. For example, a ratio image is generated by calculating the ratio of the luminance information in two different wavelength regions.
  • the display unit 104 displays the image generated by the image generating unit 706 as a grayscale image or a heat map image on a monitor or the like.
  • FIG. 8 shows a flow diagram of the cell image analyzing method according to the second embodiment. Hereinafter, the flow of FIG. 8 will be described, along with details of each function of the information processing system 700. Steps S201, S202, S203, and S204 are similar to steps S201 to S204 in the first embodiment, and therefore description thereof will be omitted.
  • the image generating unit 706 In the image generating process of step S805, the image generating unit 706 generates an image showing a change in the imaging field of view regarding the relationship between the luminance information of two or more different wavelength regions based on the luminance information extracted in step S204.
  • a ratio image is generated by calculating the ratio of the luminance information in two different wavelength regions.
  • an autofluorescence image captured by an RGB color camera is acquired in step S202, as in the first embodiment.
  • a ratio image is created by calculating the ratio of the images of any two of the three channel images separated into R, G, and B components in step S204.
  • the two arbitrary channels may be selected according to the characteristics of the cut filter used when the autofluorescence image is captured. For example, in the case of an autofluorescence image captured by irradiating a sample with 360 nm excitation light through a 430 nm long-pass filter, the B component and the G component are selected. In this case, the image obtained by dividing the luminance value of the G component by the luminance value of the B component for each pixel is the ratio image.
  • the ratio image may be created after performing noise reduction processing such as using a mean filter or a median filter on each component.
  • the display unit 104 displays the ratio image generated in step S805 in the form of a grayscale image or a heat map image on a monitor, etc.
  • a grayscale image is an image in which the magnitude of pixel values of the ratio image is expressed by black and white shading
  • a heat map image is an image in which specific colors are assigned according to the magnitude of pixel values of the ratio image. It should be noted that only the cellular regions may be displayed based on the cellular regions extracted in step S203. In this case, for example, the non-cellular regions are displayed with black pixels.
  • the dynamic range for displaying the ratio image may be adjusted by an operator by simultaneously displaying the distribution of pixel values of the ratio image as a histogram, or may be automatically determined based on the distribution of pixel values.
  • the dynamic range is automatically determined, for example, the minimum and maximum values are determined so that the region occupies 80% of the number of pixels in the cell region based on the mode.
  • step S805 a ratio image was created by calculating the ratio of pixel values of any two channels, but the ratio of brightness statistics for each cell region may be calculated and mapped to pixels corresponding to each cell region to create a ratio image. For example, the average brightness value of the G component in a cell region divided by the average brightness value of the B component is calculated and applied to all pixel values corresponding to the cell region, and this is performed for all cell regions.
  • step S805 a ratio image was created by calculating the ratio of pixel values of any two channels, but the method of visualizing local changes in the relationship between components of autofluorescence information is not limited to the method of calculating a ratio.
  • an image showing changes in the relationship between luminance information in two or more different wavelength regions within the imaging field of view may be an image in which the sum or difference of any two channels is calculated and applied as a pixel value.
  • Mouse myoblast C2C12 cells were grown and cultured in DMEM containing 10% fetal bovine serum until 90% confluence. The medium was then replaced with DMEM containing 2% horse serum, and the same culture medium was replaced every two days for five days to obtain skeletal muscle cells that were induced to differentiate through myotube formation. This differentiation induces a mixture of slow-muscle-like skeletal muscle cells expressing myosin specific to slow muscles and fast-muscle-like skeletal muscle cells expressing myosin specific to fast muscles. It is known that slow muscles have a higher expression of mitochondria than fast muscles, and therefore have different metabolic pathways that dominate between glycolysis and respiration. Therefore, it is expected that the difference in brightness information will not be uniform for differentiated skeletal muscle cells.
  • a defocused image shifted by ⁇ 100 ⁇ m from the focal point was obtained using an RGB color camera equipped with a CMOS sensor, etc.
  • the image was captured through a double-telecentric lens.
  • a ratio image was generated by dividing the brightness value of the G component of the autofluorescence image by the brightness value of the B component.
  • Fig. 9A shows the result of displaying the G component in grayscale
  • Fig. 9B shows the result of displaying the B component in grayscale
  • Fig. 9C shows the result of displaying the ratio image generated based on the G and B components in grayscale. Note that the ratio image displays non-cellular regions as black pixels.
  • the components of the autofluorescence spectrum of differentiated skeletal muscle are heterogeneous throughout the culture system, making it possible to distinguish domains with different metabolic states after differentiation.
  • the cell types can be distinguished by using the cell image analysis method according to the second embodiment.
  • the above describes the results of application to skeletal muscle cells as a preferred example of the cell image analysis method according to the second embodiment.
  • This embodiment is not limited to skeletal muscle cells, but can also be used for multinucleated cells such as skeletal muscle and liver cells, or cells that form cell clusters. It should be noted that the above-mentioned embodiments are merely examples of the implementation of the present invention, and the technical scope of the present invention should not be interpreted as being limited by these embodiments. In other words, the present invention can be implemented in various forms without departing from its technical concept or main features.
  • the program according to the present invention is a program for causing a computer to execute the cell image analysis method according to the present invention described above.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of an information processing system serving as a cell image analyzing apparatus capable of executing the program according to the present invention.
  • the information processing system 1000 has a function of a computer.
  • the information processing system 1000 may be integrated with a desktop personal computer (PC), a laptop PC, a tablet PC, a smartphone, or the like.
  • the information processing system 1000 includes a CPU (Central Processing Unit) 1001, a RAM (Random Access Memory) 1002, a ROM (Read Only Memory) 1003, and a HDD (Hard Disk Drive) 1004.
  • the information processing system 1000 also includes a communication I/F (interface) 1005, a display device 1006, and an input device 1007.
  • the CPU 1001, the RAM 1002, the ROM 1003, the HDD 1004, the communication I/F 1005, the display device 1006, and the input device 1007 are connected to each other via a bus 1010.
  • the display device 1006 and the input device 1007 may be connected to the bus 1010 via a drive device (not shown) for driving these devices.
  • the components constituting the information processing system 1000 are illustrated as an integrated device, but some of these functions may be configured by external devices.
  • the display device 1006 and the input device 1007 may be external devices separate from the components constituting the functions of the computer including the CPU 1001, etc.
  • the CPU 1001 performs predetermined operations according to programs stored in the RAM 1002, the HDD 1004, etc., and also has a function of controlling each unit of the information processing system 1000.
  • the processing performed by the CPU may include obtaining morphological information images and autofluorescence images, extracting cellular regions, extracting brightness information, generating ratio images, etc.
  • the RAM 1002 is composed of a volatile storage medium, and provides a temporary memory area necessary for the operation of the CPU 1001.
  • the ROM 1003 is composed of a non-volatile storage medium, and stores necessary information such as programs used for the operation of the information processing system 1000.
  • the HDD 1004 is a non-volatile storage medium, and is a storage device that stores morphological information images, autofluorescence images, luminance information, and the like.
  • the communication I/F 1005 is a communication interface based on standards such as Wi-Fi (registered trademark) and 4G, and is a module for communicating with other devices.
  • the display device 1006 is a liquid crystal display, an OLED (Organic Light Emitting Diode) display, or the like, and is used to display moving images, still images, characters, and the like.
  • the input device 1007 is a button, a touch panel, a keyboard, a pointing device, or the like, and is used by a user to operate the information processing system 1000.
  • the display device 1006 and the input device 1007 may be integrally formed as a touch panel.
  • HDD 1004 may be replaced with an SSD (Solid State Drive) that uses semiconductor elements such as flash memory, or may be replaced with cloud storage.
  • SSD Solid State Drive
  • Image generation unit 100, 700, 1000 Information processing system (cell image analyzer) 101 Image data acquisition unit 102 Cell area extraction unit 103 Luminance information extraction unit 104 Display unit 105 Storage unit 706 Image generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biotechnology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Genetics & Genomics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microbiology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Toxicology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Sustainable Development (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

細胞の形態情報を含む形態情報画像を取得する形態情報画像取得工程と、前記細胞の自家蛍光を撮影して得た自家蛍光画像であって、前記形態情報画像と同一の視野を含む前記自家蛍光画像を取得する自家蛍光画像取得工程と、前記形態情報画像から１つ以上の細胞領域を抽出する細胞領域取得工程と、前記細胞領域に対して、前記自家蛍光画像から互いに異なる２つ以上の波長領域の輝度情報を抽出する輝度情報抽出工程とを有する細胞画像解析方法。

Description

細胞画像解析方法およびプログラム
　本発明は、細胞画像解析方法およびプログラムに関する。
　細胞内には自家蛍光を発する物質が複数存在し、これら蛍光物質のうち複数の補酵素は、細胞内の酸化還元状態や代謝状態の情報を表現することが知られている。
　長谷川らは、特に生体組織の酸化還元状態により蛍光輝度が上下する補酵素であるニコチンアミドアデニンジヌクレオチド（ＮＡＤＨ）およびフラビンアデニンジヌクレオチド（ＦＡＤ）に着目している。そして、ＮＡＤＨおよびＦＡＤのそれぞれの蛍光波長の輝度比を臓器の撮影画像から算出し、生体組織の酸化還元状態の判断を行うシステムの開発を行った（非特許文献１）。
　非特許文献１に記載されているような自家蛍光情報を取得する技術によって、染色不要で非侵襲に、細胞の代謝状態といった機能情報を分析することが可能になると期待される。
　細胞の自家蛍光情報は自家蛍光に起因する原因物質が代謝に関与する補酵素であることから、それらの量を推測することにより、結果として細胞種の弁別や細胞の代謝状態の詳細、細胞の健康状態を染色することなしに推測することができるようになる。
　細胞の自家蛍光情報を定量する技術としてＦＡＣＳ（Ｆｌｕｏｒｅｓｃｅｎｃｅ－Ａｃｔｉｖａｔｅｄ　Ｃｅｌｌ　Ｓｏｒｔｉｎｇ）が知られている。しかし、ＦＡＣＳはフローサイトメトリーの技術であり、細胞の位置および形状を示す情報（以下、形態情報という）を取得できない。そのため、培養中細胞における自家蛍光情報の解析やモニタリングといった用途に活用することはできない。
　非侵襲に細胞の形態情報および自家蛍光情報を同時に取得する方法として、画像データを用いた解析技術が求められる。
　特許文献１では、位相差画像と自家蛍光画像を取得し、合成表示することにより、細胞の形態と自家蛍光を同時に観察する技術を開発している。
　また、特許文献２では、合焦点位置からピントをずらした画像（デフォーカス画像）を用いて、細胞の輪郭抽出を実施している。
特開２０１６－１６１４１７号公報 特開２００７－１５５９８２号公報
長谷川　克也、小笠原　康夫著　可視化情報学会論文集　２０１０，３０，１１，７３－７９
　特許文献１に記載の技術では、位相差画像と自家蛍光画像との合成表示を行っており、個々の細胞の形態情報を取得していない。そのため、培養中の個々の細胞あるいは独立した細胞集塊といった単位で自家蛍光情報を解析することはできない。
　また、特許文献２に記載の技術では、自家蛍光画像をデフォーカス画像と同時に取得しておらず、細胞の自家蛍光情報を取得することができない。
　本発明は、上記課題を解決するためになされたものである。すなわち、本発明は、細胞培養における個々の細胞あるいは細胞集塊の形態情報と自家蛍光情報とを同時に取得することを可能にする細胞画像解析方法を提供することを目的とする。
　本発明の一態様に係る細胞画像解析方法は、細胞の形態情報を含む形態情報画像を取得する形態情報画像取得工程と、前記細胞の自家蛍光を撮影して得た自家蛍光画像であって、前記形態情報画像と同一の視野を含む前記自家蛍光画像を取得する自家蛍光画像取得工程と、前記形態情報画像から１つ以上の細胞領域を抽出する細胞領域抽出工程と、前記細胞領域に対して、前記自家蛍光画像から互いに異なる２つ以上の波長領域の輝度情報を抽出する輝度情報抽出工程と、を有することを特徴としている。
　また、本発明の別の態様に係るプログラムは、上記細胞画像解析方法をコンピュータに実行させるためのプログラムである。
　また、本発明の別の態様に係る細胞画像解析装置は、細胞の形態情報を含む形態情報画像、および、前記細胞の自家蛍光を撮影して得た自家蛍光画像であって、前記形態情報画像と同一の視野を含む前記自家蛍光画像を取得する画像データ取得部と、前記形態情報画像から１つ以上の細胞領域を抽出する細胞領域抽出部と、前記細胞領域に対して、前記自家蛍光画像から互いに異なる２つ以上の波長領域の輝度情報を抽出する輝度情報抽出部と、を有することを特徴としている。
　本発明によれば、培養における個々の細胞あるいは細胞集塊の形態情報と自家蛍光情報とを同時に取得することを可能にする細胞画像解析方法が提供される。
第１の実施形態に係る情報処理システムの機能ブロック図である。 第１の実施形態に係る細胞画像解析方法のフロー図である。 第１の実施形態において細胞領域を抽出する方法の一例を示すフロー図である。 ＲＧＢ型カラーカメラにより撮影したデフォーカス画像に対してグレースケール化処理して生成したグレースケール画像の一例を示す図である。 ステップＳ３０１で得られたグレースケール画像から生成した非細胞領域マスク画像の一例を示す図である。 細胞輪郭画像の一例を示す図である。 第１の実施形態の実施例において、細胞領域の自家蛍光情報のＢ成分とＧ成分の関係性を散布図で示した図である。 第１の実施形態の実施例において、細胞領域の自家蛍光情報のＢ成分とＧ成分との比を箱ひげ図で示した図である。 第２の実施形態に係る情報処理システムの機能ブロック図である。 第２の実施形態に係る細胞画像解析方法のフロー図である。 第２の実施形態の実施例において自家蛍光情報に基づいて生成した画像について、Ｇ成分をグレースケール表示した結果を示す図である。 第２の実施形態の実施例において自家蛍光情報に基づいて生成した画像について、Ｂ成分をグレースケール表示した結果を示す図である。 第２の実施形態の実施例において自家蛍光情報に基づいて生成した画像について、Ｇ成分およびＢ成分に基づいて生成した比画像をグレースケール表示した結果を示す図である。 本発明に係るプログラムを実行可能な情報処理システムの構成を示す図である。
　以下、添付図面を参照して本発明の実施形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。
　［第１の実施形態］
　以下、第１の実施形態に係る細胞画像解析方法について説明する。
　図１に、本実施形態に係る細胞画像解析方法およびプログラムを実行する細胞画像解析装置としての情報処理システムの機能ブロック図を示す。情報処理システム１００は、画像データ取得部１０１、細胞領域抽出部１０２、輝度情報抽出部１０３、表示部１０４、および記憶部１０５を有する。
　（画像データ取得部）
　画像データ取得部１０１は、形態情報画像、および、自家蛍光画像を取得する。形態情報画像は、非細胞領域に対して細胞の輪郭部のコントラストが強調されている特徴を有する画像である。また、自家蛍光画像は、特定波長の励起光を照射した細胞の自家蛍光を撮影して得た画像であって、上記形態情報画像と同一の視野を含む画像である。画像データ取得部１０１で取得する画像データは、記憶部１０５にあらかじめ記憶された画像データでもよいし、ＨＤＤやクラウドストレージといった外部の記憶領域から取得してもよい。
　また、本実施形態における情報処理システム１００を通信Ｉ／Ｆを介して細胞画像観察装置と接続し、細胞画像観察装置が撮像した画像を取得することも可能である。
　（細胞領域抽出部）
　細胞領域抽出部１０２は、画像データ取得部１０１で取得した形態情報画像から１つ以上の細胞領域を抽出する。ここで、“細胞領域を抽出する”とは、観察視野内において、離散的に存在する個々の細胞の形態情報をそれぞれ抽出して取得する、もしくは密接して塊状態で存在する細胞群の中の個々の細胞および塊全体の形態情報を抽出して取得することを意味する。
　（輝度情報抽出部）
　輝度情報抽出部１０３は、細胞領域抽出部１０２において抽出した細胞領域に対して、画像データ取得部１０１で取得した自家蛍光画像から自家蛍光情報として輝度情報を抽出する。ここで、輝度情報は、自家蛍光のスペクトル中の互いに異なる少なくとも２つ以上の波長領域に対応した輝度値の情報である。
　（表示部）
　表示部１０４は、輝度情報抽出部１０３で抽出した輝度情報をヒストグラム、散布図あるいは箱ひげ図といった形式で、モニタに表示する。
　図２に、第１の実施形態に係る細胞画像解析方法のフロー図を示す。
　以降、図２に示すフローの説明とともに、情報処理システム１００が持つ各機能の詳細を説明する。
　（形態情報画像取得工程）
　ステップＳ２０１の形態情報画像取得工程において、画像データ取得部１０１は、細胞の形態情報を含む形態情報画像を取得する。ここで、形態情報画像は、例えば、合焦点位置で得られた細胞の画像、もしくは合焦点位置から光軸方向に沿って一定の距離だけずらして撮影された明視野画像（以降、デフォーカス画像と呼称する）である。デフォーカス画像においては、非細胞領域と比較して、細胞等の物体の輪郭部が高輝度あるいは低輝度に強調される特徴がある。本ステップにおいて取得する画像は、非細胞領域に対して細胞の輪郭部のコントラストが強調されている特徴を有する画像であればよい。具体的には例えば、形態情報画像は、位相差顕微鏡、偏斜照明系において撮像された画像、もしくは、対象物と撮像装置間の光学系において、物体側と像側とがテレセントリックな光学系（両側テレセントリック光学系）において撮像された画像を用いることができる。なお、デフォーカス画像の合焦点位置からのずれは、細胞輪郭部のコントラストが最も強調されている位置であることが好ましい。
　（自家蛍光画像取得工程）
　ステップＳ２０２の自家蛍光画像取得工程において、画像データ取得部１０１は、細胞の自家蛍光画像を取得する。ここで自家蛍光画像は、細胞に対して所定波長の励起光を照射して細胞内因性の蛍光物質を励起させ、その蛍光を、励起光の波長の光をカットするフィルタを通して撮像することにより得られる画像である。
　励起光の波長およびカットフィルタの種類は、観察する内因性成分の蛍光特性に応じたものが好ましい。例えば、励起光波長とカットフィルタとの組み合わせとしては、内因性成分がニコチンアミドアデニンジヌクレオチド（リン酸）（ＮＡＤ（Ｐ）Ｈ）の場合は、３６０ｎｍの励起光および４３０ｎｍのロングパスフィルタの組み合わせが挙げられる。
　また、内因性成分がフラビン類（ＦＡＤ等）の場合は、４５０ｎｍの励起光および５３０ｎｍのロングパスフィルタの組み合わせが挙げられる。
　自家蛍光観察の対象とする内因性成分としては、他にもコラーゲン、フィブロネクチン、トリプトファン、および葉酸等の、細胞内で産生される自家蛍光分子があげられるが、これら以外の蛍光性内因性成分でも構わない。
　自家蛍光画像は、ステップＳ２０１において取得した形態情報画像と同一の視野を含む画像である。以降、本実施形態において、自家蛍光画像は形態情報画像と同一の視野で撮影されたものとする。自家蛍光画像は、互いに異なる波長領域に検出感度を有するｎ種類（ただしｎ≧２である）の画素が規則的に配置された２次元イメージセンサーを備えたカメラで撮像されたものであってよい。このとき、後述の輝度情報抽出工程で抽出する輝度情報は、上記２次元イメージセンサーが記録する輝度値である。
　上記２次元イメージセンサーとしては、例えば、光センサーとしてのＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーが挙げられる。そして、上記２次元イメージセンサーを備えたカメラとしては、３種類の画素が規則的に配置されたＲＧＢ型カラーセンサーとして、ＣＭＯＳセンサーを用いたＲＧＢ型カラーカメラが挙げられる。
　ただし、本発明において用いることができる光センサーは、ＣＭＯＳセンサーに限定されず、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサーであってもよい。また、自家蛍光画像の取得においては、観察する細胞が発する光の波長に応じて、適切なセンサーもしくはそれを用いたカメラを用いることが好ましい。
　（細胞領域抽出工程）
　ステップＳ２０３の細胞領域抽出工程において、細胞領域抽出部１０２は、ステップＳ２０１において取得した形態情報画像から１つ以上の細胞領域を抽出する。
　図３に、形態情報画像としてＲＧＢ型カラーカメラにより撮影したデフォーカス画像を取得した場合の細胞領域抽出のフロー図を示す。
　（細胞領域抽出処理１、単一チャンネル化）
　ステップＳ３０１において、ＲＧＢ型カラーカメラによって取得したＲＧＢ画像を１チャンネルに変換する。変換処理には、一般的なグレースケール化処理を用いることができる。また、特定の波長領域の光を発する光源を用いて、あるいは、特定の波長領域の光のみ透過するフィルタを介して撮影された画像の場合は、Ｒ、Ｇ、およびＢのうち任意の１つの成分に対応するチャンネルを取り出してもよい。以降の処理は、ステップＳ３０１において、グレースケール化処理によってグレースケール画像を生成したものとして説明する。
　図４Ａに、ＲＧＢ型カラーカメラにより撮影したデフォーカス画像に対してグレースケール化処理して生成したグレースケール画像の一例を示す。
　（細胞領域抽出処理２、非細胞領域マスク画像の作成）
　ステップＳ３０２において、細胞が存在しない非細胞領域を識別するための非細胞領域マスク画像を作成する。非細胞領域マスク画像は、非細胞領域とそれ以外の領域とのそれぞれに対応する画素値を互いに異なる２つの値で表現した画像である。当該２つの値は任意の値でよく、ここでは非細胞領域は１、それ以外は０で表すものとする。非細胞領域マスク画像は、ステップＳ３０１で得られたグレースケール画像から微分画像を生成し、二値化処理を施すことによって得られる。
　まず、グレースケール画像に微分フィルタを適用することで微分画像を生成する。微分画像は、各画素において周辺画素との輝度値の変化量を計算し、画像として表現したものである。微分画像は、細胞画像であれば、細胞の輪郭部分や細胞内部において高い輝度値を持つ画像となる。
　続いて、微分画像に対して二値化処理をすることにより微分画像において高い輝度値を持つ領域を抽出して非細胞領域マスク画像を生成する。二値化処理では、任意の閾値を設定し、微分画像の各画素の値に対して、閾値以上であれば値を０、閾値未満であれば値を１と数値を置き換える。ここで、二値化処理の方法は、任意の閾値を設定する方法に限定しない。例えば、大津の二値化やＬｉの二値化といった閾値を自動的に決める方法を用いてもよい。
　図４Ｂに、ステップＳ３０１で得られたグレースケール画像から生成した非細胞領域マスク画像の一例を示す。
　ここで、非細胞領域マスク画像においては、細胞の内部構造やごみ、培養容器の傷等によって好ましくない領域も細胞領域あるいは非細胞領域として捉えている可能性がある。
　その場合、モルフォロジー処理やフィルホール処理によって、非細胞領域マスク画像を修正してもよい。
　（細胞領域抽出処理３、輪郭抽出）
　ステップＳ３０３において、ステップＳ３０１で生成したグレースケール画像を用いて細胞の輪郭を示す細胞輪郭画像を生成する。
　まず、グレースケール画像に二値化処理を施すことによって、細胞の輪郭部分に該当する領域を識別するためのマスク画像を生成する。ここでの二値化処理における閾値は、任意の値でもよいし、グレースケール画像の輝度分布に基づいて決定してもよい。
　続いて、作成したマスク画像に細線化処理を実施する。細線化処理は、マスク画像の白領域を削っていき、幅１画素の線画像を生成する処理である。
　図４Ｃに、ステップＳ３０１で得られたグレースケール画像から生成した細胞輪郭画像の一例を示す。
　（細胞領域抽出処理４、ラベリング処理）
　ステップＳ３０４において、ステップＳ３０２で生成した非細胞領域マスク画像およびステップＳ３０３で生成した細胞輪郭画像に基づいて、個々の細胞領域のラベリング処理を行う。ラベリング処理では、細胞輪郭画像を白黒反転した画像のうち白画素が連結する領域を探索し、連結する領域を１つの細胞領域としてラベリングをすることを繰り返す。
　この際に、ステップＳ３０２で生成した非細胞領域マスク画像を参照し、非細胞領域はラベリング対象から除外する。
　なお、細胞が多核細胞であること、あるいは細胞集塊を形成していることにより、形態情報画像における個々の細胞の境界が不明瞭である場合、複数の細胞によって形成された独立した領域を１つの細胞領域としてもよい。その場合、ステップＳ３０３における細胞輪郭画像の生成を省略し、非細胞領域マスク画像を反転した画像を用いてラベリング処理を行う。細胞が多核細胞であるか否か、あるいは細胞集塊を形成しているか否かは、形態情報画像を見て作業者が判断してもよいし、細胞種に応じて決定してもよい。
　以上、ステップＳ３０１からＳ３０４の処理により、形態情報画像から個々の細胞領域を抽出する。なお、ＲＧＢ型カラーカメラにより撮影したデフォーカス画像を用いたフローを例に説明したが、細胞領域抽出処理は、非細胞領域に対する細胞の輪郭部のコントラストが強調される画像に対して適用可能である。例えば、細胞領域抽出処理を行う画像として、位相差顕微鏡により取得した画像や、細胞の輪郭部が強調されるように画像処理を施した画像を用いてもよい。
　（輝度情報抽出工程）
　ステップＳ２０４の輝度情報抽出工程において、輝度情報抽出部１０３は、ステップＳ２０３によって取得した細胞領域に対して、ステップＳ２０２で得られた自家蛍光画像から個々の細胞領域に対応する自家蛍光情報を取得する。具体的には、自家蛍光画像から細胞領域ごとに互いに異なる２つ以上の波長領域の輝度情報を抽出する。
　先に述べたように、自家蛍光画像は、互いに異なる波長領域に検出感度を有するｎ種類（ただしｎ≧２である）の画素が規則的に配置された２次元イメージセンサーを備えたカメラで撮像されたものであってもよい。このとき、輝度情報抽出工程で抽出する輝度情報は、上記２次元イメージセンサーが記録する輝度値である。そして、ステップＳ２０４の輝度情報抽出工程は、ステップＳ２０２で得られた自家蛍光画像のデータを、上記２次元イメージセンサー中の前記ｎ種類の画素に対応するｎ種類の成分に分離することを含むことができる。
　また、輝度情報は、互いに異なるｎ種類（ただしｎ≧２である）の波長領域の光に分離可能な分光素子（例えば、フィルタ、プリズム、および回折格子等）を有し、１種類の画素からなる２次元イメージセンサーが記録する輝度値であってもよい。このとき、ステップＳ２０４の輝度情報抽出工程は、ステップＳ２０２で得られた自家蛍光画像のデータを、上記ｎ種類の波長領域の光に対応するｎ種類の成分に分離することを含むことができる。
　そして、細胞領域において上記ｎ種類の成分それぞれに対して輝度統計量である輝度平均値、標準偏差または中央値を算出することで、輝度情報を抽出することができる。また、輝度情報抽出工程はさらに、上記ｎ種類の成分の輝度統計量のうち２種類の成分の輝度統計量の和、差あるいは比を算出することを含んでもよい。
　例として、ステップＳ２０２において、ＲＧＢ型カラーカメラにより撮影した自家蛍光画像を取得した場合について説明する。
　まず、自家蛍光画像のベイヤー配列データをＲ、Ｇ、およびＢ成分のそれぞれに対応した３チャンネルを有する画像に分離する。ベイヤー配列データは、ＣＭＯＳカラーセンサーが受信した輝度値を記録した２次元配列データである。
　続いて、ベイヤー配列データの輝度値を、３つの波長領域に対応した各カラーフィルタの成分に分離することで、Ｒ、Ｇ、およびＢの３つの成分に分離する。なお、ベイヤー配列データは１つの画素がＲ、Ｇ、およびＢのいずれか１つの成分の輝度値の情報を持つが、全ての画素がＲ、Ｇ、およびＢ成分の３つの成分の輝度値の情報を持つように補完をしてもよい。また、各画素値から暗電流値を引くブラックレベル補正処理やノイズ低減のためのフィルタ処理等の前処理を実施してもよい。
　続いて、ステップＳ２０３において取得したそれぞれの細胞領域における輝度情報を抽出する。ここで輝度情報は、各細胞領域においてＲ、Ｇ、およびＢ成分のそれぞれの輝度統計量である。輝度統計量は、例えば、平均値、標準偏差あるいは中央値である。なお、自家蛍光画像を撮影した際のカットフィルタの特性に応じて、Ｒ、Ｇ、およびＢ成分のうち有意な成分のみについて輝度統計量を計算するようにしてもよい。
　ここで、Ｒ、Ｇ、およびＢの３つの成分のうち、２つの成分の和、差あるいは比を計算して、細胞領域の輝度情報としてもよい。例えば、Ｇ成分の輝度平均値÷Ｂ成分の輝度平均値を計算する。
　（輝度情報可視化工程）
　ステップＳ２０５の輝度情報可視化工程において、表示部１０４は、取得した各細胞領域の輝度情報を、ヒストグラムまたは箱ひげ図といった形式、あるいは任意の２つの成分の輝度情報の関係性を散布図の形式で表示することで可視化する。任意の２つの成分は、作業者が選択できてもよいし、全ての組み合わせを表示してもよい。
　以上、ステップＳ２０１からステップＳ２０５により、細胞培養における個々の細胞の形態情報と自家蛍光情報を同時に取得し、細胞の自家蛍光情報を表示する方法を説明した。
　以下、第１の実施形態のステップＳ２０１からステップＳ２０５における変形例について説明する。なお、それぞれの変形例において言及されないステップに関しては第１の実施形態と同様であるため説明を省略する。
　［第１の実施形態の変形例１］
　ステップＳ２０２において、形態情報画像と自家蛍光画像とが同一視野ではない場合、形態情報画像および自家蛍光画像データに対して位置合わせ処理を実施する。
　位置合わせ処理は、マーキングに基づいた方法や画像処理による方法で実施する。
　マーキングに基づいた方法は、作業者によって実施される。マーキングに基づいた方法では、作業者は形態情報画像と自家蛍光画像とのそれぞれにおいて同一の細胞の位置を複数点マーキングし、マーキングした点の座標に基づいてアフィン変換行列を計算することで位置合わせを行う。ここで、マーキングする点は９点以上であることが好ましい。
　画像処理による方法で実施する場合は、例えば、自家蛍光画像に対する閾値処理によって生成したマスク画像と、ステップＳ３０２においてデフォーカス画像から生成した非細胞領域マスク画像とを用いて位置合わせを行う。ここで、２枚のマスク画像の位置合わせには、テンプレートマッチングや位相限定相関法といった手法を用いることができる。
　［第１の実施形態の変形例２］
　ステップＳ２０２において、励起光の波長および観察側のカットフィルタの特性の組み合わせが異なる２枚以上の自家蛍光画像を取得してもよい。その場合、ステップＳ２０４における輝度情報抽出処理をそれぞれの自家蛍光画像に対して実施する。これにより、１つの細胞領域は、各自家蛍光撮影条件での輝度情報を持つこととなる。
　［第１の実施形態の変形例３］
　ステップＳ２０２において、取得する自家蛍光画像は、動画像あるいはタイムラプス画像であってもよい。その場合、ステップＳ２０４における輝度情報抽出処理をそれぞれの撮影時刻における自家蛍光画像に対して実施する。これにより、１つの細胞領域は、撮影時刻ごとの輝度情報を持つこととなる。
　本変形例による撮影時刻の情報を持ったデータを取得した場合、ステップＳ２０５において、各成分および各細胞領域の時間変化を示すグラフをさらに表示してもよい。
　［第１の実施形態の変形例４］
　ステップＳ２０４において、ベイヤー配列データからＲ、Ｇ、およびＢ成分を抽出する方法を説明したが、輝度情報は、Ｒ、Ｇ、およびＢ成分を、ＲＧＢ色空間とは異なる色空間または表色系に変換した値であってもよい。ＲＧＢ色空間とは異なる色空間または表色系としては、例えば、ｓＲＧＢ、ＡｄｏｂｅＲＧＢといった色空間や、Ｌａｂ、ＸＹＺ、ＨＳＶといった表色系が挙げられる。
　［第１の実施形態の変形例５］
　本実施形態において、ＣＭＯＳセンサーを用いたＲＧＢ型カラーカメラを例に輝度情報抽出工程を説明したが、ＲＧＢ型カラーカメラ以外の観察波長に適した光センサーを有するカメラを用いてもよい。すなわち、輝度情報抽出工程では例えば、マルチバンドスペクトルカメラ、ハイパースペクトルカメラといった分光スペクトルカメラを用いて取得した画像を用いてもよい。光センサーとしては、例えば、センサーを構成する材料として、Ｓｉ、Ｇｅ、ＩｎＧａＡｓを用いたセンサーや、センサーの構造としてＣＭＯＳ型、ＣＣＤ型、ＡＰＤ（アバランシェフォトダイオードアレー）型、ボロメータ型のセンサー等を用いることができる。
　その場合、ステップＳ２０４において、カメラの有する複数の波長フィルタに対応した複数の成分の画像に分離する。
　［第１の実施形態の実施例］
　第１の実施形態による細胞画像解析方法は、がん細胞といった形態情報画像において明瞭な細胞同士の境界が描写される細胞培養において利用可能である。以下、ヒト肺がん細胞ＳＫ－ＬＵ１とヒト肺がん細胞ＮＣＩ－Ｈ３２２細胞を対象とした例を説明する。
　（対象細胞と培養）
　以下の２つのサンプルを用意した。
　・ヒト肺がん細胞ＳＫ－ＬＵ１を細胞培養用培地Ｎｏ．１０４（ケーエーシー株式会社製）中で培養したもの
　・ヒト肺がん細胞ＮＣＩ－Ｈ３２２を細胞培養用培地Ｎｏ．１０３（ケーエーシー株式会社製）中で培養したもの
　細胞培養容器としては３５ｍｍガラスボトムディッシュを用いた。
　（形態情報画像）
　ＣＭＯＳセンサー等を備えたＲＧＢ型カラーカメラにより合焦点位置より－１００μｍだけずらしたデフォーカス画像を取得した。撮像は両側テレセントリックレンズを介して行った。
　（自家蛍光画像）
　３６５ｎｍのＬＥＤ光源を励起光としてサンプルに対し撮像側から落射照明として照射し、蛍光は４３０ｎｍロングパスフィルタ通して、形態情報画像と同一のＲＧＢ型カラーカメラにより形態情報画像と同一の視野を撮影した画像を取得した。
　（輝度情報抽出処理）
　ベイヤー配列データのＲ、Ｇ、およびＢ成分を取得し、各細胞領域においてそれぞれのＧ成分の輝度平均値、Ｂ成分の輝度平均値、Ｇ成分の輝度平均値÷Ｂ成分の輝度平均値の３つの輝度情報を算出した。
　（自家蛍光情報の表示）
　各細胞領域のＢ成分の輝度平均値およびＧ成分の輝度平均値の関係性を散布図の形式でプロットした図を図５に示す。縦軸はＧ成分の輝度平均値、横軸はＢ成分の輝度平均値である。濃い灰色はＮＣＩ－Ｈ３２２細胞サンプル、薄い灰色はＳＫ－ＬＵ１細胞サンプルを示している。分布の傾きが異なっており、細胞種の違いが自家蛍光スペクトルの波長成分の輝度の違いとしても現れていることが示唆される。
　このように、実験サンプル間の細胞の状態の差が特定の自家蛍光スペクトルの成分の輝度の関係性に現れることが示唆される場合、各細胞の２つの成分の比を計算し、箱ひげ図といった形式で表示することも有効である。図６に、Ｇ成分の輝度平均値÷Ｂ成分の輝度平均値の輝度情報について箱ひげ図を作成した結果を示す。
　以上、第１の実施形態による細胞画像解析方法の好適な実施例として、２種の肺がん細胞における例を示した。なお、第１の実施形態はがん細胞に限らず、正常細胞、がん細胞と正常細胞との混合培養やがん細胞同士、正常細胞同士の混合培養、それらが混在した組織片においても利用が可能である。
　［第２の実施形態］
　第１の実施形態において、各細胞領域に対応する自家蛍光情報を抽出し、各細胞の自家蛍光情報をヒストグラム、箱ひげ図あるいは散布図といった形式で表示する方法を説明した。
　本実施形態では、自家蛍光情報の輝度情報に基づいて比画像を作成し、撮像視野内における自家蛍光情報の成分同士の関係性の局所的な変化を可視化したグレースケール画像あるいはヒートマップ画像を表示する方法を説明する。
　図７に、第２の実施形態に係る細胞画像解析方法およびプログラムを実行する情報処理システムの機能ブロック図を示す。情報処理システム７００は、画像データ取得部１０１、細胞領域抽出部１０２、輝度情報抽出部１０３、表示部１０４、記憶部１０５、比画像生成部７０６を有する。
　画像データ取得部１０１、細胞領域抽出部１０２、輝度情報抽出部１０３および記憶部１０５については、第１の実施形態と同様であるため説明を省略する。
　（画像生成部）
　画像生成部７０６は、細胞領域抽出部１０２において抽出した細胞領域および輝度情報抽出部１０３において抽出した輝度情報に基づいて、互いに異なる２つ以上の波長領域の輝度情報の関係性について撮像視野内における変化を示す画像を生成する。例えば、互いに異なる２つの波長領域における輝度情報の比を計算した比画像を生成する。
　（表示部）
　本実施形態において表示部１０４は、画像生成部７０６で生成した画像をグレースケール画像あるいはヒートマップ画像としてモニタ等に表示する。
　図８に、第２の実施形態に係る細胞画像解析方法のフロー図を示す。
　以降、図８のフローの説明とともに、情報処理システム７００が持つ各機能の詳細を説明する。
　ステップＳ２０１、Ｓ２０２、Ｓ２０３およびＳ２０４については、第１の実施形態に係る各ステップＳ２０１～ステップＳ２０４と同様であるため説明を省略する。
　（画像生成工程）
　ステップＳ８０５の画像生成工程において、画像生成部７０６は、ステップＳ２０４で抽出した輝度情報に基づいて、互いに異なる２つ以上の波長領域の輝度情報の関係性について撮像視野内における変化を示す画像を生成する。ここでは、互いに異なる２つの波長領域における輝度情報の比を計算した比画像を生成する場合について説明する。
　例として、第１の実施形態と同様に、ステップＳ２０２において、ＲＧＢ型カラーカメラにより撮影した自家蛍光画像を取得した場合について説明する。
　まず、ステップＳ２０４においてＲ、Ｇ、およびＢ成分に分離した３チャンネルの画像のうち、任意の２つのチャンネルの画像の比を計算した比画像を作成する。ここで、任意の２つのチャンネルは、自家蛍光画像を撮影した際のカットフィルタの特性に応じて選択すればよい。例えば、３６０ｎｍの励起光を照射したサンプルを４３０ｎｍのロングパスフィルタ通して撮影された自家蛍光画像の場合は、Ｂ成分とＧ成分を選択する。その場合、各画素に対してＧ成分の輝度値÷Ｂ成分の輝度値を計算した画像が比画像となる。
　なお、比画像の作成は、平均値フィルタ、中央値フィルタといったノイズ削減処理を各成分に対して実施した後に行ってもよい。
　（比画像表示工程）
　ステップＳ８０６の画像表示工程において、表示部１０４は、ステップＳ８０５で生成した比画像をグレースケール画像あるいはヒートマップ画像の形式でモニタ等に表示する。グレースケール画像は、比画像の画素値の大小を白黒の濃淡で表現した画像であり、ヒートマップ画像は、比画像の画素値の大小に応じた特定の色を当てはめた画像である。
　なお、ステップＳ２０３で抽出した細胞領域に基づいて、細胞領域のみを表示するようにしてもよい。その場合、例えば、非細胞領域は黒画素で表示されるようにする。
　比画像を表示するダイナミックレンジは、比画像の画素値の分布をヒストグラムとして同時に表示させ、作業者が調整できるようにしてもよいし、画素値の分布に基づいて自動で決定してもよい。ダイナミックレンジを自動で決定する場合、例えば、最頻値を基準として細胞領域の画素数の８０％を占める領域となるように最小値および最大値を決定する。
　以下、第２の実施形態の変形例について説明する。なお、それぞれの変形例において言及されないステップに関しては第２の実施形態と同様であるため説明を省略する。
　［第２の実施形態の変形例１］
　ステップＳ８０５において、任意の２つのチャンネルの画素値の比を計算することで比画像を作成したが、細胞領域ごとの輝度統計量の比を計算し、それぞれの細胞領域に対応した画素にマッピングし、比画像としてもよい。例えば、細胞領域におけるＧ成分の輝度平均値÷Ｂ成分の輝度平均値を計算した値を細胞領域に対応する全ての画素値に当てはめることを全ての細胞領域に対して行う。
　［第２の実施形態の変形例２］
　ステップＳ８０５において、任意の２つのチャンネルの画素値の比を計算することで比画像を作成したが、自家蛍光情報の成分同士の関係性の局所的な変化を可視化する方法は、比を計算する方法に限定されない。例えば、互いに異なる２つ以上の波長領域の輝度情報の関係性について撮像視野内における変化を示す画像は、任意の２つのチャンネルの和あるいは差を計算して画素値として当てはめた画像でもよい。
　［第２の実施形態の実施例］
　以下、第２の実施形態に係る細胞画像解析方法の好適に実施例として、骨格筋細胞を対象とした結果を説明する。
　（対象細胞と培養）
　マウス筋芽細胞であるＣ２Ｃ１２細胞を９０％コンフルエントまで１０％ウシ胎児血清を含むＤＭＥＭ中で増殖培養させた。その後、２％ウマ血清を含むＤＭＥＭに置換し、同じ培養液に２日毎に交換して５日間培養することで筋菅形成が進み分化誘導された骨格筋細胞を得た。この分化誘導では遅筋固有のミオシンを発現する遅筋様の骨格筋細胞と、速筋固有のミオシンを発現する速筋様の骨格筋細胞とが入り混じった状態となる。遅筋は速筋に比べてミトコンドリアの発現量が多いため、解糖系と呼吸とで優位となる代謝経路が異なることが知られている。そのため、輝度情報における差異は分化骨格筋細胞に対して一様にはならないことが期待できる。
　（形態情報画像）
　ＣＭＯＳセンサー等を備えたＲＧＢ型カラーカメラにより合焦点位置より－１００μｍだけずらしたデフォーカス画像を取得した。撮像は両側テレセントリックレンズを介して行った。
　（自家蛍光画像）
　３６５ｎｍのＬＥＤ光源を励起光としてサンプルに対し撮像側から落射照明として照射し、蛍光は４３０ｎｍロングパスフィルタ通して、形態情報画像と同一のＲＧＢ型カラーカメラにより形態情報画像と同一の視野を撮影した画像を取得した。
　（比画像の生成と表示）
　自家蛍光画像のＧ成分の輝度値÷Ｂ成分の輝度値を計算することにより比画像を生成した。図９Ａは、Ｇ成分をグレースケール表示した結果であり、図９Ｂは、Ｂ成分をグレースケール表示した結果である。また、図９Ｃは、Ｇ成分およびＢ成分に基づいて生成した比画像をグレースケール表示した結果である。なお、比画像は、非細胞領域を黒画素として表示している。
　図９Ａ～図９Ｃに示されるように、分化した骨格筋の自家蛍光スペクトルの成分は培養系全体で不均一であり、分化後の代謝状態の異なるドメインを識別することができる。また代謝状態の差異は分化後の骨格筋種の違いを反映するため、第２の実施形態に係る細胞画像解析方法を用いることで細胞種を見分けることができる。
　以上、第２の実施形態に係る細胞画像解析方法の好適な実施例として、骨格筋細胞への適用結果を説明した。本実施形態は、骨格筋細胞に限らず骨格筋、肝細胞といった多核細胞、あるいは細胞集塊を形成する細胞において利用可能である。
　なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　＜プログラム＞
　本発明に係るプログラムは、これまで述べてきた本発明に係る細胞画像解析方法をコンピュータに実行させるためのプログラムである。
　図１０は、本発明に係るプログラムを実行可能な細胞画像解析装置としての情報処理システムのハードウェア構成例を示すブロック図である。
　情報処理システム１０００は、コンピュータの機能を有する。例えば、情報処理システム１０００は、デスクトップＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣ、タブレットＰＣ、スマートフォン等と一体に構成されていてもよい。
　情報処理システム１０００は、演算および記憶を行うコンピュータとしての機能を実現するため、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００３およびＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１００４を備える。また、情報処理システム１０００は、通信Ｉ／Ｆ（インターフェース）１００５、表示装置１００６、および入力装置１００７を備える。ＣＰＵ１００１、ＲＡＭ１００２、ＲＯＭ１００３、ＨＤＤ１００４、通信Ｉ／Ｆ１００５、表示装置１００６、および入力装置１００７は、バス１０１０を介して相互に接続される。なお、表示装置１００６および入力装置１００７は、これらの装置を駆動するための不図示の駆動装置を介してバス１０１０に接続されてもよい。
　図１０では、情報処理システム１０００を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により構成されていてもよい。例えば、表示装置１００６および入力装置１００７は、ＣＰＵ１００１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
　ＣＰＵ１００１は、ＲＡＭ１００２、ＨＤＤ１００４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム１０００の各部を制御する機能をも有する。ＣＰＵが行う処理は、形態情報画像および自家蛍光画像の取得、細胞領域の抽出、輝度情報の抽出および比画像の生成等を含み得る。
　ＲＡＭ１００２は、揮発性記憶媒体から構成され、ＣＰＵ１００１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１００３は、不揮発性記憶媒体から構成され、情報処理システム１０００の動作に用いられるプログラム等の必要な情報を記憶する。
　ＨＤＤ１００４は、不揮発性記憶媒体から構成され、形態情報画像、自家蛍光画像、および輝度情報等の記憶を行う記憶装置である。
　通信Ｉ／Ｆ１００５は、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１００６は、液晶ディスプレイ、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ等であって、動画、静止画、文字等の表示に用いられる。入力装置１００７は、ボタン、タッチパネル、キーボード、ポインティングデバイス等であって、利用者が情報処理システム１０００を操作するために用いられる。表示装置１００６および入力装置１００７は、タッチパネルとして一体に形成されていてもよい。
　なお、図１０に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態を構成する機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１００４は、フラッシュメモリ等の半導体素子を用いたＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）に置換されていてもよく、クラウドストレージに置換されていてもよい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２３年３月７日提出の日本国特許出願特願２０２３－０３４８８３を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
１００、７００、１０００　情報処理システム（細胞画像解析装置）
１０１　画像データ取得部
１０２　細胞領域抽出部
１０３　輝度情報抽出部
１０４　表示部
１０５　記憶部
７０６　画像生成部

Claims (15)

  1. 　細胞の形態情報を含む形態情報画像を取得する形態情報画像取得工程と、
    　前記細胞の自家蛍光を撮影して得た自家蛍光画像であって、前記形態情報画像と同一の視野を含む前記自家蛍光画像を取得する自家蛍光画像取得工程と、
    　前記形態情報画像から１つ以上の細胞領域を抽出する細胞領域抽出工程と、
    　前記細胞領域に対して、前記自家蛍光画像から互いに異なる２つ以上の波長領域の輝度情報を抽出する輝度情報抽出工程と、
    を有する細胞画像解析方法。
  2. 　前記輝度情報は、互いに異なる波長領域に検出感度を有するｎ種類（ただしｎ≧２である）の画素が規則的に配置された２次元イメージセンサーが記録する輝度値である、請求項１に記載の細胞画像解析方法。
  3. 　前記輝度情報抽出工程は、前記自家蛍光画像のデータを、前記２次元イメージセンサー中の前記ｎ種類の画素に対応するｎ種類の成分に分離することを含む、請求項２に記載の細胞画像解析方法。
  4. 　前記輝度情報抽出工程は、前記２次元イメージセンサーが、３種類の画素が規則的に配置されたＲＧＢ型カラーセンサーである場合、前記自家蛍光画像のデータを、Ｒ、Ｇ、およびＢの３つの成分に分離することを含む、請求項３に記載の細胞画像解析方法。
  5. 　前記輝度情報は、前記Ｒ、Ｇ、およびＢの３つの成分を、ＲＧＢ色空間とは異なる色空間または表色系に変換した値である、請求項４に記載の細胞画像解析方法。
  6. 　前記輝度情報は、互いに異なるｎ種類（ただしｎ≧２である）の波長領域の光に分離可能な分光素子を有し、１種類の画素からなる２次元イメージセンサーが記録する輝度値である、請求項１に記載の細胞画像解析方法。
  7. 　前記輝度情報抽出工程は、前記自家蛍光画像のデータを、前記ｎ種類の波長領域の光に対応するｎ種類の成分に分離することを含む、請求項６に記載の細胞画像解析方法。
  8. 　前記輝度情報抽出工程は、前記細胞領域において前記ｎ種類の成分それぞれに対して輝度統計量である輝度平均値、標準偏差または中央値を算出することを含む、請求項３乃至５および７のいずれか１項に記載の細胞画像解析方法。
  9. 　前記輝度情報抽出工程は、前記ｎ種類の成分の輝度統計量のうち２種類の成分の輝度統計量の和、差あるいは比を算出することを含む、請求項８に記載の細胞画像解析方法。
  10. 　前記２次元イメージセンサーは、ＣＭＯＳセンサーである請求項２乃至９のいずれか１項に記載の細胞画像解析方法。
  11. 　前記輝度情報に基づいて、前記互いに異なる２つ以上の波長領域の輝度情報の関係性について撮像視野内における変化を示す画像を生成する画像生成工程と、
    　前記画像生成工程で生成した画像をグレースケール画像あるいはヒートマップ画像として表示する画像表示工程と、
    をさらに備える、請求項１乃至１０のいずれか１項に記載の細胞画像解析方法。
  12. 　前記輝度情報に基づいて、前記互いに異なる２つ以上の波長の輝度情報の関係性について撮像視野内における変化を示す画像を生成する画像生成工程と、
    　前記画像生成工程で生成した画像をグレースケール画像あるいはヒートマップ画像として表示する画像表示工程と、
    をさらに備え、
    　前記画像生成工程は、各画素に対応した前記ｎ種類の成分のうち２つの成分の輝度値の和、差あるいは比を計算した値を画素値として有する画像を生成することを含む、請求項２乃至１０のいずれか１項に記載の細胞画像解析方法。
  13. 　請求項１乃至１２のいずれか１項に記載の細胞画像解析方法をコンピュータに実行させるためのプログラム。
  14. 　細胞の形態情報を含む形態情報画像、および、前記細胞の自家蛍光を撮影して得た自家蛍光画像であって、前記形態情報画像と同一の視野を含む前記自家蛍光画像を取得する画像データ取得部と、
    　前記形態情報画像から１つ以上の細胞領域を抽出する細胞領域抽出部と、
    　前記細胞領域に対して、前記自家蛍光画像から互いに異なる２つ以上の波長領域の輝度情報を抽出する輝度情報抽出部と、
    を有する細胞画像解析装置。
  15. 　前記輝度情報に基づいて、前記互いに異なる２つ以上の波長領域の輝度情報の関係性について撮像視野内における変化を示す画像を生成する画像生成部をさらに有する、請求項１４に記載の細胞画像解析装置。
PCT/JP2024/006992 2023-03-07 2024-02-27 細胞画像解析方法およびプログラム Pending WO2024185572A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023034883A JP2024126487A (ja) 2023-03-07 2023-03-07 細胞画像解析方法およびプログラム
JP2023-034883 2023-03-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/315,925 Continuation US20250384554A1 (en) 2023-03-07 2025-09-02 Cell image analysis method and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2024185572A1 true WO2024185572A1 (ja) 2024-09-12

Family

ID=92674949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/006992 Pending WO2024185572A1 (ja) 2023-03-07 2024-02-27 細胞画像解析方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2024126487A (ja)
WO (1) WO2024185572A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155982A (ja) 2005-12-02 2007-06-21 Kawasaki Heavy Ind Ltd 位相物体検出装置及び位相物体検出方法
WO2015045516A1 (ja) * 2013-09-27 2015-04-02 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
JP2016161417A (ja) 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
WO2022270179A1 (ja) * 2021-06-24 2022-12-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023008369A1 (ja) * 2021-07-30 2023-02-02 キヤノン株式会社 細胞自家蛍光の画像を用いて細胞を分類する方法及び解析装置
JP2023034883A (ja) 2021-08-31 2023-03-13 中国電力株式会社 電力ケーブル接続作業用覆い具

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155982A (ja) 2005-12-02 2007-06-21 Kawasaki Heavy Ind Ltd 位相物体検出装置及び位相物体検出方法
WO2015045516A1 (ja) * 2013-09-27 2015-04-02 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
JP2016161417A (ja) 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
WO2022270179A1 (ja) * 2021-06-24 2022-12-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023008369A1 (ja) * 2021-07-30 2023-02-02 キヤノン株式会社 細胞自家蛍光の画像を用いて細胞を分類する方法及び解析装置
JP2023034883A (ja) 2021-08-31 2023-03-13 中国電力株式会社 電力ケーブル接続作業用覆い具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KATSUYA HASEGAWAYASUO OGASAWARA ET AL., TRANSACTIONS OF THE VISUALIZATION SOCIETY OF JAPAN, vol. 30, no. 11, 2010, pages 73 - 79

Also Published As

Publication number Publication date
JP2024126487A (ja) 2024-09-20

Similar Documents

Publication Publication Date Title
US11869176B2 (en) Hyperspectral imaging system
US12189112B2 (en) Artificial generation of color blood smear image
JP6660712B2 (ja) 分類器構成方法および細胞の生死判定方法
US10803558B2 (en) Hyperspectral imaging system
US8849006B2 (en) Darkfield imaging system and methods for automated screening of cells
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20240169530A1 (en) Method for classifying cells using cell autofluorescence image, and analysis device
WO2024039406A9 (en) A hyperspectral imaging system with hybrid unmixing
US20240393248A1 (en) Information processing device, biological sample observation system, and image generation method
Tweel et al. Automated whole slide imaging for label-free histology using photon absorption remote sensing microscopy
US20250139772A1 (en) Information processing apparatus, biological sample observation system, and image generation method
US20250140385A1 (en) Information processing device, biological sample analysis system, and biological sample analysis method
Maloney et al. Structured light imaging for breast-conserving surgery, part I: optical scatter and color analysis
EP4318402A1 (en) Information processing device, information processing method, information processing system and conversion model
WO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
WO2024185572A1 (ja) 細胞画像解析方法およびプログラム
US20250384554A1 (en) Cell image analysis method and non-transitory storage medium
US20250198924A1 (en) Information processing device, biological sample analysis system, and biological sample analysis method
US20240371042A1 (en) Information processing device, biological sample observation system, and image generation method
EP4667581A1 (en) Cell image analysis method and program
Gao et al. Evaluation of GAN architectures for visualisation of HPV viruses from microscopic images
JP2025087607A (ja) 細胞画像処理システム、および細胞画像処理方法
JP7452544B2 (ja) 情報処理装置およびプログラム
WO2024209965A1 (ja) 陽性判定方法、画像解析システムおよび情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24766943

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024766943

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024766943

Country of ref document: EP

Effective date: 20250919