[go: up one dir, main page]

WO2015145644A1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2015145644A1
WO2015145644A1 PCT/JP2014/058725 JP2014058725W WO2015145644A1 WO 2015145644 A1 WO2015145644 A1 WO 2015145644A1 JP 2014058725 W JP2014058725 W JP 2014058725W WO 2015145644 A1 WO2015145644 A1 WO 2015145644A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescent
image processing
cell nucleus
image
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/058725
Other languages
English (en)
French (fr)
Inventor
一谷　修司
遠山　修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to EP14885851.7A priority Critical patent/EP3124956B1/en
Priority to PCT/JP2014/058725 priority patent/WO2015145644A1/ja
Priority to JP2015506957A priority patent/JP5768948B1/ja
Priority to US14/778,427 priority patent/US9558393B2/en
Publication of WO2015145644A1 publication Critical patent/WO2015145644A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B82—NANOTECHNOLOGY
    • B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y30/00—Nanotechnology for materials or surface science, e.g. nanocomposites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing apparatus and an image processing program, and more particularly to image processing used for pathological diagnosis.
  • a cell membrane is stained with a certain phosphor, and a biological substance existing on the cell membrane is stained with another phosphor different from that to measure the number of bright spots of the phosphor on the cell membrane.
  • the expression level of the biological substance in the cell membrane is evaluated (see paragraphs 0012 to 0013, 0060 to 0066, 0107, etc.).
  • tissue sections are usually stained with hematoxylin (H stain) or hematoxylin-eosin (HE stain), and the technique for staining cell membranes as in Patent Document 1 is special. It takes time and effort.
  • the tissue section is stained with HE to determine the expression level of the biological material (see paragraphs 0019, 0029, 0085, etc.).
  • a tissue section is HE-stained to obtain a bright field image
  • a cell nucleus region is extracted from the bright field image
  • a predetermined range is estimated as a cell region from the center of gravity of the extracted cell nucleus region.
  • the expression level of the biological substance in the cell region is determined based on the cell nucleus and the number of fluorescent bright spots contained in the cell region (see paragraphs 0092 to 0104, FIGS. 20A, 0128, etc.).
  • a circular region having a predetermined radius from the center of gravity of the cell nucleus 202 of the cell 200 is estimated as the cell region 210, and the fluorescent bright spots (204a, 204c, 224a and 224b), the fluorescent spots 224a and 224b should belong to the cell nucleus 222 of the cell 220, and the neighboring areas different from the true cell 220 to which the fluorescent spots 224a and 224b should belong.
  • Cell (fake cell) 200 Conversely, when a tissue section after HE staining is placed on a slide and observed with a microscope, as shown in FIG.
  • a main object of the present invention is to provide an image processing apparatus and an image processing program capable of accurately assigning a fluorescent bright spot to a true cell.
  • the fluorescent bright spot since the cell nucleus to which the fluorescent bright spot belongs should be specified based on the actual distance between the cell nucleus and the fluorescent bright spot, the fluorescent bright spot can be accurately assigned to the true cell.
  • FIG. 1 is a diagram schematically showing a configuration of a pathological diagnosis support system. It is a block diagram which shows roughly the functional structure of an image processing apparatus. It is a flowchart which shows roughly the flow of the image analysis process concerning 1st Embodiment. It is a flowchart which shows roughly the flow of the extraction process of a cell nucleus. It is a flowchart which shows roughly the flow of the extraction process of a fluorescent luminescent spot. It is a figure which illustrates roughly the calculation of the distance of the surface of a cell nucleus, and a fluorescent luminescent spot. It is a figure which shows roughly the cell nucleus of the shortest distance from a fluorescent luminescent point.
  • FIG. 10 is a flowchart showing a modification of the image analysis processing according to the first to fourth embodiments. It is a figure which illustrates the problem of a prior art schematically. It is a figure which roughly compares and demonstrates a prior art and embodiment of this invention. It is a figure which illustrates a prior art schematically. It is a figure which illustrates the problem of a prior art schematically. It is a figure which roughly compares and demonstrates a prior art and embodiment of this invention.
  • FIG. 1 shows an example of the overall configuration of the pathological diagnosis support system 10.
  • the pathological diagnosis support system 10 acquires a microscopic image of a tissue section of a human body stained with a predetermined staining reagent, and analyzes the acquired microscopic image, thereby expressing the expression of a specific biological material in the tissue section to be observed. This is a system that outputs feature quantities quantitatively.
  • the pathological diagnosis support system 10 is configured by connecting a microscope image acquisition device 1A and an image processing device 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
  • the connection method between the microscope image acquisition apparatus 1A and the image processing apparatus 2A is not particularly limited.
  • the microscope image acquisition device 1A and the image processing device 2A may be connected via a LAN (Local Area Network) or may be connected wirelessly.
  • LAN Local Area Network
  • the microscope image acquisition apparatus 1A is a known optical microscope with a camera, and acquires a microscope image of a tissue section on a slide placed on a slide fixing stage and transmits it to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means includes a light source, a filter, and the like, and irradiates the tissue section on the slide placed on the slide fixing stage with light.
  • the image forming means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section on the slide by the irradiated light.
  • the image pickup means is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, picks up an image formed on the image forming surface by the image forming means, and generates digital image data of the microscope image.
  • the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes a bright field unit that combines an irradiation unit and an imaging unit suitable for bright field observation, and a fluorescence unit that combines an irradiation unit and an imaging unit suitable for fluorescence observation. It is possible to switch between bright field / fluorescence by switching.
  • the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
  • a virtual microscope slide creation apparatus for example, a special microscope scan apparatus that acquires a microscope image of an entire tissue section by scanning a slide on a microscope slide fixing stage). Table 2002-514319
  • the virtual microscope slide creation device it is possible to acquire image data that allows a display unit to view a whole tissue section on a slide at a time.
  • the image processing apparatus 2A calculates the expression distribution of a specific biological material in the tissue section to be observed by analyzing the microscope image transmitted from the microscope image acquisition apparatus 1A.
  • FIG. 2 shows a functional configuration example of the image processing apparatus 2A.
  • the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation.
  • the control unit 21 executes image analysis processing (see FIG. 3) in cooperation with the image processing program stored in the storage unit 25, and includes a first extraction unit, a second extraction unit, an attribution unit, A function as an exclusion means is realized.
  • the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse, and includes a key press signal pressed by the keyboard and an operation signal by the mouse. Is output to the control unit 21 as an input signal.
  • the display unit 23 includes a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens in accordance with display signal instructions input from the control unit 21.
  • a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display)
  • LCD Liquid Crystal Display
  • the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
  • the communication I / F 24 functions as an input unit for a bright field image and a fluorescence image.
  • the storage unit 25 is configured by, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs and various data.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like, and be connected to an external device via a communication network such as a LAN.
  • the image processing apparatus 2A performs analysis using the bright field image and the fluorescence image transmitted from the microscope image acquisition apparatus 1A.
  • “Bright field image” refers to a tissue section stained with a hematoxylin staining reagent (H staining reagent) and a hematoxylin-eosin staining reagent (HE staining reagent) in the bright field in the microscope image acquisition apparatus 1A. It is a microscope image obtained by imaging
  • Hematoxylin (H) is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, etc.
  • E is a red to pink pigment that stains cytoplasm, connective tissue of soft tissues, erythrocytes, fibrin, endocrine granules (acidophilic tissues, etc.).
  • Fluorescence image means that tissue sections stained with a fluorescent staining reagent are irradiated with excitation light of a predetermined wavelength in the microscope image acquisition apparatus 1A to emit fluorescence, and this fluorescence is enlarged and imaged and photographed. It is the microscope image obtained by this.
  • Fluorescent staining reagent is a staining reagent containing fluorescent substance-encapsulating nanoparticles bound with a biological substance recognition site that specifically binds and / or reacts with a specific biological substance.
  • Fluorescent substance-encapsulating nanoparticles It is a nanoparticle containing a fluorescent substance. Fluorescence that appears in the fluorescence image is emitted when the fluorescent substance-containing nanoparticles (fluorescent substance) of the fluorescent staining reagent are excited, and indicates the expression of a specific biological substance corresponding to the biological substance recognition site in the tissue section It is.
  • Fluorescent substance examples include fluorescent organic dyes and quantum dots (semiconductor particles). When excited by ultraviolet to near infrared light having a wavelength in the range of 200 to 700 nm, it preferably emits visible to near infrared light having a wavelength in the range of 400 to 1100 nm.
  • fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
  • fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
  • examples include molecules, NBD dye molecules, pyrene dye molecules, Texas Red dye molecules, and cyanine dye molecules.
  • Quantum dots include II-VI group compounds, III-V group compounds, or quantum dots containing group IV elements as components ("II-VI group quantum dots”, "III-V group quantum dots”, “ Or “Group IV quantum dots”). These quantum dots may be used alone or in combination of a plurality of types. Specific examples include, but are not limited to, CdSe, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, and Ge.
  • a quantum dot having the above quantum dot as a core and a shell provided thereon.
  • the core is CdSe and the shell is ZnS
  • CdSe / ZnS when the core is CdSe and the shell is ZnS, it is expressed as CdSe / ZnS.
  • CdSe / ZnS, CdS / ZnS, InP / ZnS, InGaP / ZnS, Si / SiO 2 , Si / ZnS, Ge / GeO 2 , Ge / ZnS, and the like can be used, but are not limited thereto.
  • Quantum dots may be subjected to surface treatment with an organic polymer or the like as necessary.
  • organic polymer or the like as necessary. Examples thereof include CdSe / ZnS having a surface carboxy group (manufactured by Invitrogen), CdSe / ZnS having a surface amino group (manufactured by Invitrogen), and the like.
  • Fluorescent substance-encapsulated nanoparticles are nanoparticles encapsulating a fluorescent substance as described above, and more specifically, those in which a fluorescent substance is dispersed inside the nanoparticle.
  • the substance and the nanoparticle itself may be chemically bonded or may not be bonded.
  • the material constituting the nanoparticles is not particularly limited, and examples thereof include silica, polystyrene, polylactic acid, and melamine.
  • the fluorescent substance-containing nanoparticles can be produced by a known method.
  • silica nanoparticles encapsulating a fluorescent organic dye can be synthesized with reference to the synthesis of FITC-encapsulated silica particles described in Langmuir 8, Vol. 2921 (1992).
  • Various fluorescent organic dye-containing silica nanoparticles can be synthesized by using a desired fluorescent organic dye in place of FITC.
  • Silica nanoparticles encapsulating quantum dots can be synthesized with reference to the synthesis of CdTe-encapsulated silica nanoparticles described in New Journal of Chemistry, Vol. 33, p. 561 (2009).
  • Polystyrene nanoparticles encapsulating a fluorescent organic dye may be copolymerized using an organic dye having a polymerizable functional group described in US Pat. No. 4,326,008 (1982) or polystyrene described in US Pat. No. 5,326,692 (1992). It can be produced using a method of impregnating nanoparticles with a fluorescent organic dye.
  • the polymer nanoparticles encapsulating the quantum dots can be prepared by using the method of impregnating the quantum nanoparticles into polystyrene nanoparticles described in Nature Biotechnology, Vol. 19, page 631 (2001).
  • the average particle diameter is obtained by taking an electron micrograph using a scanning electron microscope (SEM), measuring the cross-sectional area of a sufficient number of particles, and taking each measured value as the area of the circle. It is the value calculated as. In this embodiment, the arithmetic average of the particle diameters of 1000 particles is defined as the average particle diameter.
  • the coefficient of variation is also a value calculated from the particle size distribution of 1000 particles.
  • Bio material recognition site is a site that specifically binds and / or reacts with a specific biological material.
  • the specific biological substance is not particularly limited as long as a substance that specifically binds to the specific biological substance exists, but typically includes proteins (peptides) and nucleic acids (oligonucleotides, polynucleotides). It is done. Therefore, examples of the biological substance recognition site include an antibody that recognizes the protein as an antigen, another protein that specifically binds to the protein, and a nucleic acid having a base sequence that hybridizes to the nucleic acid.
  • Specific biological substance recognition sites include anti-HER2 antibody that specifically binds to HER2, which is a protein present on the cell surface, anti-ER antibody that specifically binds to estrogen receptor (ER) present in the cell nucleus, cells An anti-actin antibody that specifically binds to actin forming the skeleton is exemplified.
  • anti-HER2 antibody and anti-ER antibody combined with fluorescent substance-encapsulating nanoparticles can be used for breast cancer medication selection and are preferable.
  • the mode of binding between the biological substance recognition site and the fluorescent substance-encapsulating nanoparticles is not particularly limited, and examples thereof include covalent bonding, ionic bonding, hydrogen bonding, coordination bonding, physical adsorption, and chemical adsorption.
  • a bond having a strong bonding force such as a covalent bond is preferable from the viewpoint of bond stability.
  • SM PEG 12 manufactured by Thermo Scientific can be used.
  • a silane coupling agent that is a compound widely used for bonding an inorganic substance and an organic substance can be used.
  • This silane coupling agent is a compound having an alkoxysilyl group that gives a silanol group by hydrolysis at one end of the molecule and a functional group such as a carboxyl group, an amino group, an epoxy group, an aldehyde group at the other end, Bonding with an inorganic substance through an oxygen atom of the silanol group.
  • silane coupling agent having a polyethylene glycol chain (for example, PEG-silane no. SIM6492.7 manufactured by Gelest), etc. Is mentioned.
  • silane coupling agent you may use 2 or more types together.
  • a known procedure can be used for the reaction procedure of the fluorescent organic dye-encapsulated silica nanoparticles and the silane coupling agent.
  • the obtained fluorescent organic dye-encapsulated silica nanoparticles are dispersed in pure water, aminopropyltriethoxysilane is added, and the mixture is reacted at room temperature for 12 hours.
  • fluorescent organic dye-encapsulated silica nanoparticles whose surface is modified with an aminopropyl group can be obtained by centrifugation or filtration.
  • the antibody can be bound to the fluorescent organic dye-encapsulated silica nanoparticles via an amide bond.
  • a condensing agent such as EDC (1-Ethyl-3- [3-Dimethylaminopropyl] carbohydrate Hydrochloride: Pierce (registered trademark)
  • EDC 1-Ethyl-3- [3-Dimethylaminopropyl] carbohydrate Hydrochloride: Pierce (registered trademark)
  • a linker compound having a site that can be directly bonded to the fluorescent organic dye-encapsulated silica nanoparticles modified with organic molecules and a site that can be bonded to the molecular target substance can be used.
  • sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidomethyl] -cyclohexane-1-carboxylate: manufactured by Pierce
  • sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidomethyl] -cyclohexane-1-carboxylate: manufactured by Pierce
  • fluorescent substance-encapsulated polystyrene nanoparticles When binding a biological material recognition site to fluorescent substance-encapsulated polystyrene nanoparticles, the same procedure can be applied regardless of whether the fluorescent substance is a fluorescent organic dye or a quantum dot. That is, by impregnating a fluorescent organic dye or quantum dot into polystyrene nanoparticles having a functional group such as an amino group, fluorescent substance-containing polystyrene nanoparticles having a functional group can be obtained, and thereafter using EDC or sulfo-SMCC. Thus, antibody-bound fluorescent substance-encapsulated polystyrene nanoparticles can be produced.
  • biological substance recognition sites include antibodies that recognize specific antigens: M. actin, MS actin, SM actin, ACTH, Alk-1, ⁇ 1-antichymotrypsin, ⁇ 1-antitrypsin, AFP, bcl-2, bcl -6, ⁇ -catenin, BCA 225, CA19-9, CA125, calcitonin, calretinin, CD1a, CD3, CD4, CD5, CD8, CD10, CD15, CD20, CD21, CD23, CD30, CD31, CD34, CD43, CD45, CD45R, CD56, CD57, CD61, CD68, CD79a, "CD99, MIC2", CD138, chromogranin, c-KIT, c-MET, collagen type IV, Cox-2, cyclin D1, keratin, cytokeratin (high molecular weight), Pankeratin, Pankeratin (high molecular weight), Pankeratin, Pankeratin (high molecular weight
  • HBc antigen HBs antigen
  • hepatocyte specific antigen HER2
  • HSV -I, HSV -II, HHV-8 IgA, IgG, IgM, IGF-1R, inhibin, insulin, kappa L chain, Ki67, lambda L chain, LH, lysozyme, macrophage, melan A, MLH-1, MSH-2, myeloperoxidase, myogenin, myoglobin, myosin, neurofilament, NSE, p27 (Kip1), p53, p53, P63, PAX 5, PLAP, pneumosis Tis Carini, podoplanin (D2-40), PGR, prolactin, PSA, prostatic acid phosphatase, Renal Cell Carcinoma, S100, somatostatin, spectrin, synaptophysin, TAG-72, TdT, thyroglobulin, T
  • the following staining method is not limited to a pathological tissue section, but can also be applied to cultured cells.
  • the method for preparing the tissue section is not particularly limited, and a tissue slice prepared by a known method can be used.
  • a tissue section is immersed in a container containing xylene to remove paraffin.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, xylene may be exchanged during the immersion.
  • the tissue section is immersed in a container containing ethanol to remove xylene.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, ethanol may be exchanged during the immersion.
  • the tissue section is immersed in a container containing water to remove ethanol.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, water may be exchanged during the immersion.
  • the activation process of the biological material of a tissue section is performed according to a known method.
  • the activation conditions are not particularly defined, but as the activation liquid, 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer, etc. are used. be able to.
  • An autoclave, a microwave, a pressure cooker, a water bath, etc. can be used for a heating apparatus.
  • the temperature is not particularly limited, but can be performed at room temperature. The temperature can be 50-130 ° C. and the time can be 5-30 minutes.
  • the tissue section after the activation treatment is immersed in a container containing PBS (Phosphate Buffered Saline) and washed.
  • PBS Phosphate Buffered Saline
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, PBS may be exchanged during immersion.
  • each fluorescent substance-encapsulated nanoparticle PBS dispersion may be mixed in advance, or sequentially separately. It may be placed on a tissue section.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the reaction time is preferably 30 minutes or more and 24 hours or less.
  • a known blocking agent such as BSA-containing PBS
  • a fluorescent staining reagent it is preferable to drop a known blocking agent such as BSA-containing PBS before staining with a fluorescent staining reagent.
  • the stained tissue section is immersed in a container containing PBS, and unreacted fluorescent substance-containing nanoparticles are removed.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter.
  • PBS may be exchanged during immersion.
  • a cover glass is placed on the tissue section and sealed.
  • a commercially available encapsulant may be used as necessary. Note that HE staining using an HE staining reagent is performed before sealing with a cover glass.
  • a microscope image (fluorescence image) with a wide field of view is acquired from the stained tissue section using the microscope image acquisition device 1A.
  • an excitation light source and an optical filter for fluorescence detection corresponding to the absorption maximum wavelength and fluorescence wavelength of the fluorescent material used for the fluorescent staining reagent are selected.
  • the visual field of the fluorescent image is preferably 3 mm 2 or more, more preferably 30 mm 2 or more, and further preferably 300 mm 2 or more.
  • the operator stains the same tissue section using two types of staining reagents, an HE staining reagent and a fluorescent staining reagent (fluorescent substance-encapsulating nanoparticles bound with an anti-HER2 antibody). Thereafter, the bright field image and the fluorescence image are acquired by the procedure (a1) to (a5) using the microscope image acquisition apparatus 1A.
  • A1 The operator places the tissue sections stained with the HE staining reagent and the fluorescent staining reagent on the slide, and places the slide on the slide fixing stage of the microscope image acquisition apparatus 1A.
  • A2 The unit is set as a bright field unit, the imaging magnification and the focus are adjusted, and the region to be observed on the tissue section is placed in the field of view.
  • A3 Shooting is performed by the imaging unit to generate bright field image data, and the image data is transmitted to the image processing apparatus 2A.
  • A4) Change the unit to a fluorescent unit.
  • A5) Shooting is performed by the imaging means without changing the field of view and the shooting magnification to generate image data of the fluorescent image, and the image data is transmitted to the image processing apparatus 2A.
  • FIG. 3 shows a flowchart of image analysis processing in the image processing apparatus 2A.
  • the image analysis processing shown in FIG. 3 is executed in cooperation with the control unit 21 and the image processing program stored in the storage unit 25, and the control unit 21 executes the following processing according to the image processing program.
  • step S10 when a bright field image and a fluorescence image are input from the microscope image acquisition apparatus 1A through the communication I / F 24 (step S10), cell nuclei are extracted from the bright field image (step S20).
  • step S20 as shown in FIG. 4, the bright-field image is converted into a monochrome image (step S201), and threshold processing is performed on the monochrome image with a predetermined threshold to binarize each pixel value (step S202). ) Noise processing is executed on the binary image (step S203).
  • the noise process can be performed by performing a closing process on the binary image.
  • the closing process is a process in which the contraction process is performed the same number of times after the expansion process is performed.
  • the expansion process is a process of replacing a target pixel with white when at least one pixel in the range of n ⁇ n pixels (n is an integer of 2 or more) from the target pixel is white.
  • the contraction process is a process of replacing a target pixel with black when at least one pixel in the range of n ⁇ n pixels from the target pixel contains black.
  • step S30 a color component corresponding to the wavelength of the fluorescent bright spot is extracted from the fluorescent image (step S301), and threshold processing is performed on the fluorescent image after the color component extraction to generate a binary image.
  • step S301 for example, when the emission wavelength of the fluorescent particles is 550 nm, only the fluorescent bright spot having the wavelength component is extracted as an image.
  • steps S301 to S302 an image (fluorescent luminescent spot image) from which fluorescent luminescent spots are extracted can be generated. Note that noise removal processing such as cell autofluorescence and other unnecessary signal components may be performed before the threshold processing in step S302.
  • the order of step S20 and step S30 may also be changed.
  • step S40 the process returns to the process of FIG. 3 and the addition process of the cell nucleus image and the fluorescent luminescent spot image is executed, and the cell nucleus image and the fluorescent luminescent spot image are superimposed (step S40).
  • the distance between the cell nucleus and the fluorescent bright spot is calculated on the superimposed image after the addition processing (step S50), and based on the distance, the cell nucleus to which the fluorescent bright spot belongs is specified and the fluorescent bright spot is determined. Assign to the cell nucleus (step S60).
  • step S50 the distance from the fluorescent bright spot 30 to the surface of the cell nucleus 40, 42, 44 is calculated. Such distance calculation is performed for all the pixels of the cell nuclei 40, 42, and 44.
  • step S60 as shown in FIG. 6B, among the calculated distances, the shortest distance from the fluorescent bright spot 30 to the surface of the cell nucleus 40, 42, 44 is calculated, and the cell nucleus 42 with the shortest distance from the fluorescent bright spot 30 is specified.
  • the fluorescent bright spot 30 is assigned to the cell nucleus 42.
  • FIG. 7 is a diagram illustrating an example of a state in which fluorescent luminescent spots are assigned to cell nuclei.
  • the fluorescent luminescent spot is accurately assigned to a true cell. It can be attributed to an accurate pathological diagnosis. Even in comparison with the technique of Patent Document 2, the technique of Patent Document 2 needs to estimate the cell region 210 as shown in FIG. 18A, and if the range of the cell region 210 is excessively widened, the fluorescence bright spot is false.
  • 18B according to the first embodiment, as shown in FIG. 18B, the cell region estimation process itself is not necessary, and the fluorescent bright spots 204a to 204d are also fluorescent bright spots 224a and 224b.
  • the fluorescent bright spots 224a and 224b can be prevented from belonging to the false cells 200.
  • the fluorescent bright spot 244 can be attributed to the fake cell 230 by the cross section of the cells 230, 240, whereas according to the first embodiment, FIG. As shown, the fluorescent bright spot 244 can be attributed to the true cell 240 regardless of the cross section of the cells 230, 240.
  • the second embodiment is different from the first embodiment mainly in the following points, and is otherwise the same as the first embodiment.
  • the distance calculated in step S50 is corrected based on the morphology of the cell nucleus (step S52).
  • the distance 64 to the surface may be shorter than the distance 54.
  • step S52 the area of the cell nucleus 52 and the area of the cell nucleus 62 are calculated, and the distance 54 and the distance 64 are corrected based on these areas. Specifically, the distance 54 and the distance 64 are corrected according to the correction expressions (1) and (2).
  • step S60 the fluorescent bright spot 30 can be attributed to the cell nucleus 52 on the side having the smaller distance among the distance 54a and the distance 64a.
  • the cell 70 (cell nucleus 72) is crushed and partially expanded or contracted at the time of preparation or staining of a tissue section, and the distance 74 from the fluorescent bright spot 30 a to the surface of the cell nucleus 72, The distance 76 from the fluorescent bright spot 30b to the surface of the cell nucleus 72 may be significantly different.
  • the flatness of the cell nucleus 72 is calculated from the width W and height H of the cell nucleus 72, and the distance 74 and the distance 76 are corrected based on the flatness. Specifically, the distance 74 and the distance 76 are corrected according to the correction equations (3) and (4).
  • step S60 the fluorescent bright spot 30a and the fluorescent bright spot 30b can be attributed to the same cell nucleus 70 with reference to the distance 74a and the distance 76a.
  • the third embodiment differs from the first embodiment mainly in the following points, and is otherwise the same as the first embodiment.
  • a threshold is set for the distance between the cell nucleus and the fluorescent luminescent spot (step S42), and the cell nuclei to which the fluorescent luminescent spot should belong are limited (step S44).
  • step S50 the distance between the surface of the cell nucleus 40, 42, 44 and the fluorescent bright spot 30 is calculated for all pixels of other cell nuclei including the cell nucleus 40, 42, 44. Then, the calculation amount of the distance from the fluorescent bright spot 30 to the surface of the cell nucleus becomes enormous, and the processing can be delayed.
  • step S42 as shown in FIG. 12B, a threshold value (radial distance 46) is set in a certain circular range from the fluorescent bright spot 30, and in step S44, the cell nucleus to be subjected to the distance calculation in step S50 is set to the radial distance 46.
  • the cell nuclei 40, 42, 44 are limited to some or all of them, and these cell nuclei 40, 42, 44 are set as distance calculation targets in step S 50.
  • step S42 a square frame including cell nuclei is assumed and a threshold (total distance 48) is set to the total distance between the four vertices of the frame and the fluorescent luminescent spot.
  • step S44 FIG. As shown in FIG. 4, for each cell nucleus 40, 42, 44, the total distance between the vertex of the frame of the cell nucleus 40, 42, 44 and the fluorescent luminescent point 30 is calculated.
  • the cell nucleus 44 may be limited to the cell distance 44 within the limit distance 48, and the cell nucleus 44 may be a distance calculation target in step S50.
  • step S44 for the cell nuclei 40, 42 and 44, assuming a rectangular frame including them, the total distance between the four vertices of the frame and the fluorescent bright spot 30 is calculated. When the distance exceeds the limit distance 48, the calculation is stopped, and the cell nuclei 40 and 42 for which the calculation has been made are excluded from the distance calculation targets in step S50.
  • step S50 only cell nuclei having a fixed distance relationship from the fluorescent bright spot are subject to distance calculation, and the calculation of the distance between the surface of the cell nucleus and the fluorescent bright spot can be speeded up.
  • the radial distance 46 and the total distance 48 as the threshold values set in step S42 can be appropriately set based on the area of the cell nucleus, the area of the cell membrane, the N / C ratio (Nuclear-cytoplasm ratio), and the like. As shown in FIG. 13, the “N / C ratio” is the ratio of the area occupied by the cell nucleus 82 in the cytoplasm 80, and the range of the value is determined depending on the cell type and state.
  • the rectangular frame assumed in steps S42 and S44 may have any shape as long as it can include a cell nucleus.
  • the fourth embodiment is different from the first embodiment mainly in the following points, and is otherwise the same as the first embodiment.
  • the fluorescent spots after belonging are excluded from the fluorescent spots of the object to be assigned (step S62).
  • the fluorescent luminescent spots 30a to 30k correctly belong to the cell nucleus 92 of the cell 90, while the fluorescent luminescent spot 30x It may be mistakenly assigned to the cell nucleus 92 of the cell 90.
  • the average distance 104 between the surface of the cell nucleus 92 and the fluorescent luminescent spots 30a to 30k, 30x after the assignment is calculated, and the distance from the surface of the cell nucleus 92 is calculated from the average distance 104.
  • the fluorescent luminescent spots 30x that are remarkably separated are excluded from the fluorescent luminescent spots to be assigned.
  • a straight line is assumed between the two fluorescent light spots 30a to 30k and 30x, such as the fluorescent light spots 30a ⁇ 30b, 30b ⁇ 30c, 30c ⁇ ... ⁇ 30k, 30k ⁇ 30x, 30x ⁇ 30a.
  • the fluorescent luminescent spots 30x constituting the straight line may be excluded from the fluorescent luminescent spots to be assigned.
  • step S62 the accuracy of assigning the fluorescent luminescent spot to the cell nucleus can be improved, and the fluorescent luminescent spot can be more accurately assigned to the true cell.
  • the cell nucleus 102 falls off due to the cross section of the cell 100, and the fluorescent bright spot 30y of the cell 100 cannot be attributed to the cell nucleus 102. It can be attributed to 120.
  • the N / C ratio (see FIG. 13) is calculated for each of the cells 100, 110 to 120 once assigned with the fluorescent bright spot in step S60, and the N / C ratio is constant (for example, 70). %),
  • the fluorescent bright spot 30y attributed to the cell 100 is excluded from the fluorescent bright spots to be assigned. Even in such a case, in step S62, it is possible to improve the accuracy of assigning the fluorescent bright spot to the cell nucleus, and to assign the fluorescent bright spot to the true cell more accurately.
  • step S52 is performed after step S50 (second embodiment), and steps S42 and S44 are performed before step S50.
  • Step S62 (fourth embodiment) may be executed after step S60.
  • any three of the first to fourth embodiments may be combined, or any two of them may be combined.
  • the HER2 protein in breast cancer is mentioned as an example of the specific biological material, but is not limited thereto.
  • the target of pathological diagnosis is a tissue section collected from a human body.
  • the tissue includes a cultured tissue, and instead of the tissue, cells separated from the tissue or cultured It is also possible to use cells.
  • an HDD or a semiconductor non-volatile memory is used as a computer-readable medium of the image processing program according to the present invention, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave carrier wave
  • the detailed configuration and detailed operation of each device constituting the pathological diagnosis support system 10 can be changed as appropriate without departing from the spirit of the invention.
  • the present invention can be suitably used for image processing for pathological diagnosis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置では、細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力し（Ｓ１０）、前記細胞核画像から細胞核を抽出し（Ｓ２０）、前記蛍光画像から蛍光輝点を抽出し（Ｓ３０）、細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる（Ｓ５０、Ｓ６０）。

Description

画像処理装置および画像処理プログラム
　本発明は画像処理装置および画像処理プログラムに関し、特に病理診断に用いられる画像処理に関する。
　近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象細胞上の生体物質（たとえば抗原）の定量が求められている。生体物質の存在を確認する方法として、生体物質と、当該生体物質に結合する生体物質認識部位（たとえば抗体）が結合された蛍光物質との、結合に基づく組織分析方法が知られている。
　たとえば、特許文献１の技術では、一定の蛍光体を用いて細胞膜を染色するとともに、それとは異なる他の蛍光体で細胞膜に存在する生体物質を染色し、細胞膜上の蛍光体の輝点数を計測することにより、細胞膜における生体物質の発現レベルを評価している（段落００１２～００１３、００６０～００６６、０１０７など参照）。しかし、一般的な組織分析方法では、組織切片を、ヘマトキシリン染色（Ｈ染色）またはヘマトキシリン－エオジン染色（ＨＥ染色）するのが通常であり、特許文献１のように細胞膜を染色する技術は特殊で手間がかかる。
　これに対し、特許文献２の技術では、組織切片をＨＥ染色して生体物質の発現レベルを判定している（段落００１９、００２９、００８５など参照）。
　具体的に特許文献２の技術では、組織切片をＨＥ染色して明視野画像を取得し、明視野画像から細胞核の領域を抽出し、抽出した細胞核の領域の重心から所定範囲を細胞領域と推定し、その細胞領域に含まれる細胞核および蛍光輝点数に基づき、細胞領域における生体物質の発現レベルを判定している（段落００９２～０１０４、図２０Ａ、０１２８などご参照）。
特開２０１３－０５７６３１号公報 国際公開第２０１３／１４６８４３号
　しかしながら、特許文献２の技術では、図１８Ａに示すとおり、細胞２００の細胞核２０２の重心から所定半径の円領域を細胞領域２１０と推定し、細胞領域２１０に含まれる蛍光輝点（２０４ａ、２０４ｃ、２２４ａ、２２４ｂ）を特定するようになっているため、蛍光輝点２２４ａ、２２４ｂが細胞２２０の細胞核２２２に帰属すべきところ、蛍光輝点２２４ａ、２２４ｂが帰属すべき真の細胞２２０とは異なる隣の細胞（偽の細胞）２００に帰属することがある。
　また逆に、ＨＥ染色後の組織切片をスライドに載置して顕微鏡観察する場合、図１９Ａに示すとおり、細胞２３０、２４０ごとに断面が異なりその断面によって細胞核２３２、２４２の大きさが異なるため、図１９Ｂに示すとおり、蛍光輝点２４４が細胞２４０の細胞核２４２に帰属すべきところ、蛍光輝点２４４が帰属すべき真の細胞２４０とは異なる隣の細胞（偽の細胞）２３０に帰属することもある。
　したがって、本発明の主な目的は、蛍光輝点を真の細胞に正確に帰属させることができる画像処理装置および画像処理プログラムを提供することにある。
　上記課題を解決するため、本発明の一態様によれば、
　細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
　前記細胞核画像から細胞核を抽出する第１の抽出手段と、
　前記蛍光画像から蛍光輝点を抽出する第２の抽出手段と、
　細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段と、
　を備えることを特徴とする画像処理装置が提供される。
　本発明の他の態様によれば、
　コンピュータに、
　細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
　前記細胞核画像から細胞核を抽出する第１の抽出手段と、
　前記蛍光画像から蛍光輝点を抽出する第２の抽出手段と、
　細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段と、
　として機能させることを特徴とする画像処理プログラムが提供される。
　本発明によれば、細胞核と蛍光輝点との現実の距離に基づき、蛍光輝点が帰属すべき細胞核を特定するから、蛍光輝点を真の細胞に正確に帰属させることができる。
病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 第１の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 細胞核の抽出工程の流れを概略的に示すフローチャートである。 蛍光輝点の抽出工程の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の計算を概略的に説明する図である。 蛍光輝点から最短距離の細胞核を概略的に示す図である。 蛍光輝点を細胞核に帰属させた状態を概略的に示す図である。 第２の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の補正を概略的に説明する図である。 細胞核の表面と蛍光輝点との距離の補正を概略的に説明する図である。 第３の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の計算の問題点を概略的に説明する図である。 細胞核の表面と蛍光輝点との距離に対する閾値の設定を概略的に説明する図である。 細胞核の表面と蛍光輝点との距離に対する閾値の設定を概略的に説明する図である。 細胞のＮ／Ｃ比を概略的に示す図である。 第４の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 被帰属対象の蛍光輝点の除外を概略的に説明する図である。 被帰属対象の蛍光輝点の除外を概略的に説明する図である。 第１～第４の実施形態にかかる画像解析処理の変形例を示すフローチャートである。 従来技術の問題点を概略的に説明する図である。 従来技術と本発明の実施形態とを概略的に比較説明する図である。 従来技術を概略的に説明する図である。 従来技術の問題点を概略的に説明する図である。 従来技術と本発明の実施形態とを概略的に比較説明する図である。
　以下、図面を参照しながら本発明の好ましい実施形態について説明する。
［第１の実施形態］
＜病理診断支援システム１０の構成＞
　図１に、病理診断支援システム１０の全体構成例を示す。
　病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
　図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
　顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
　顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
　顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。
　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２－５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
　図２に、画像処理装置２Ａの機能構成例を示す。
　図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
　たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理（図３参照）を実行し、第１の抽出手段、第２の抽出手段、帰属手段、除外手段としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、明視野画像と蛍光画像との入力手段として機能する。
　記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
　本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された明視野画像および蛍光画像を用いて解析を行うようになっている。
　「明視野画像」とは、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。
　「蛍光画像」とは、蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光発光させ、この蛍光を拡大結像および撮影することにより得られる顕微鏡画像である。
　「蛍光染色試薬」とは、特定の生体物質と特異的に結合および／または反応する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬であり、「蛍光物質内包ナノ粒子」とは蛍光物質を内包したナノ粒子である。
　蛍光画像に現れる蛍光は、蛍光染色試薬の蛍光物質内包ナノ粒子（蛍光物質）が励起して発光したものであり、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。
＜蛍光染色試薬や染色方法など＞
　蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
（１）蛍光物質
　蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素および量子ドット（半導体粒子）を挙げることができる。２００～７００ｎｍの範囲内の波長の紫外～近赤外光により励起されたときに、４００～１１００ｎｍの範囲内の波長の可視～近赤外光の発光を示すことが好ましい。
　蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Ａｌｅｘａ　Ｆｌｕｏｒ（インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Ｔｅｘａｓ　Ｒｅｄ系色素分子、シアニン系色素分子などを挙げることができる。
　具体的には、５－カルボキシ－フルオレセイン、６－カルボキシ－フルオレセイン、５，６－ジカルボキシ－フルオレセイン、６－カルボキシ－２’，４，４’，５’，７，７’－ヘキサクロロフルオレセイン、６－カルボキシ－２’，４，７，７’－テトラクロロフルオレセイン、６－カルボキシ－４’，５’－ジクロロ－２’，７’－ジメトキシフルオレセイン、ナフトフルオレセイン、５－カルボキシ－ローダミン、６－カルボキシ－ローダミン、５，６－ジカルボキシ－ローダミン、ローダミン　６Ｇ、テトラメチルローダミン、Ｘ－ローダミン、およびＡｌｅｘａ　Ｆｌｕｏｒ　３５０、Ａｌｅｘａ　Ｆｌｕｏｒ　４０５、Ａｌｅｘａ　Ｆｌｕｏｒ　４３０、Ａｌｅｘａ　Ｆｌｕｏｒ　４８８、Ａｌｅｘａ　Ｆｌｕｏｒ　５００、Ａｌｅｘａ　Ｆｌｕｏｒ　５１４、Ａｌｅｘａ　Ｆｌｕｏｒ　５３２、Ａｌｅｘａ　Ｆｌｕｏｒ　５４６、Ａｌｅｘａ　Ｆｌｕｏｒ　５５５、Ａｌｅｘａ　Ｆｌｕｏｒ　５６８、Ａｌｅｘａ　Ｆｌｕｏｒ　５９４、Ａｌｅｘａ　Ｆｌｕｏｒ　６１０、Ａｌｅｘａ　Ｆｌｕｏｒ　６３３、Ａｌｅｘａ　Ｆｌｕｏｒ　６３５、Ａｌｅｘａ　Ｆｌｕｏｒ　６４７、Ａｌｅｘａ　Ｆｌｕｏｒ　６６０、Ａｌｅｘａ　Ｆｌｕｏｒ　６８０、Ａｌｅｘａ　Ｆｌｕｏｒ　７００、Ａｌｅｘａ　Ｆｌｕｏｒ　７５０、ＢＯＤＩＰＹ　ＦＬ、ＢＯＤＩＰＹ　ＴＭＲ、ＢＯＤＩＰＹ　４９３／５０３、ＢＯＤＩＰＹ　５３０／５５０、ＢＯＤＩＰＹ　５５８／５６８、ＢＯＤＩＰＹ　５６４／５７０、ＢＯＤＩＰＹ　５７６／５８９、ＢＯＤＩＰＹ　５８１／５９１、ＢＯＤＩＰＹ　６３０／６５０、ＢＯＤＩＰＹ　６５０／６６５（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Ｃｙ５、Ｃｙ５．５、Ｃｙ７などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
　量子ドットとしては、II－VI族化合物、III－V族化合物、またはIV族元素を成分として含有する量子ドット（それぞれ、「II－VI族量子ドット」、「III－V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。これら量子ドットも単独で使用されてもよいし、複数種を混合して使用されてもよい。
　具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
　上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。下記では、シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。
　たとえば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳなどを用いることができるが、これらに限定されない。
　量子ドットは必要に応じて、有機ポリマーなどにより表面処理が施されているものを用いてもよい。たとえば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）などが挙げられる。
（２）蛍光物質内包ナノ粒子
　「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
　ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
　蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。
　たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア　８巻　２９２１ページ（１９９２）に記載されているＦＩＴＣ内包シリカ粒子の合成を参考に合成することができる。ＦＩＴＣの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
　量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー　３３巻　５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。
　蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
　量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
　蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、３０～８００ｎｍ程度のものを用いることができる。また、粒径のばらつきを示す変動係数（＝（標準偏差／平均値）×１００％）は特に限定されないが、２０％以下のものを用いることが好ましい。
　平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、１０００個の粒子の粒径の算術平均を平均粒径とする。変動係数も、１０００個の粒子の粒径分布から算出した値とする。
（３）生体物質認識部位と蛍光物質内包ナノ粒子との結合
　「生体物質認識部位」とは、特定の生体物質と特異的に結合および／または反応する部位である。
　特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）などが挙げられる。
　したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、および前記核酸にハイブリタイズする塩基配列を有する核酸などが挙げられる。
　具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
　中でも、抗ＨＥＲ２抗体および抗ＥＲ抗体を蛍光物質内包ナノ粒子に結合させたもの（蛍光染色試薬）は、乳癌の投薬選定に用いることができ、好ましい。
　生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着および化学吸着などが挙げられる。結合の安定性から共有結合などの結合力の強い結合が好ましい。
　生体物質認識部位と蛍光物質内包ナノ粒子との間にはこれらを連結する有機分子があってもよい。たとえば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Ｔｈｅｒｍｏ　Ｓｃｉｅｎｔｉｆｉｃ社製ＳＭ（ＰＥＧ）１２を用いることができる。
　蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。
　たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
　具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（たとえば、Ｇｅｌｅｓｔ社製ＰＥＧ－ｓｉｌａｎｅ　ｎｏ．ＳＩＭ６４９２．７）などが挙げられる。
　シランカップリング剤を用いる場合、２種以上を併用してもよい。
　蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。
　たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離またはろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、ＥＤＣ（１－Ｅｔｈｙｌ－３－［３－Ｄｉｍｅｔｈｙｌａｍｉｎｏｐｒｏｐｙｌ］ｃａｒｂｏｄｉｉｍｉｄｅ　Ｈｙｄｒｏｃｈｌｏｒｉｄｅ：Ｐｉｅｒｃｅ（登録商標）社製）のような縮合剤を用いることもできる。
　必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつｓｕｌｆｏ－ＳＭＣＣ（Ｓｕｌｆｏｓｕｃｃｉｎｉｍｉｄｙｌ　４［Ｎ－ｍａｌｅｉｍｉｄｏｍｅｔｈｙｌ］－ｃｙｃｌｏｈｅｘａｎｅ－１－ｃａｒｂｏｘｙｌａｔｅ：Ｐｉｅｒｃｅ社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
　蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基などの官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降ＥＤＣまたはｓｕｌｆｏ－ＳＭＣＣを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
　生体物質認識部位の一例として、特定抗原を認識する抗体には、M.アクチン,M.S.アクチン,S.M.アクチン,ACTH,Alk-1,α1-アンチキモトリプシン,α1-アンチトリプシン,AFP,bcl-2,bcl-6,β-カテニン,BCA 225,CA19-9,CA125,カルシトニン,カルレチニン,CD1a,CD3,CD4,CD5,CD8,CD10,CD15,CD20,CD21,CD23,CD30,CD31,CD34,CD43,CD45,CD45R,CD56,CD57,CD61,CD68,CD79a,"CD99, MIC2",CD138,クロモグラニン,c-KIT,c-MET,コラーゲン タイプIV,Cox-2,サイクリンD1,ケラチン,サイトケラチン（高分子量）,パンケラチン,パンケラチン,サイトケラチン 5/6,サイトケラチン 7,サイトケラチン 8,サイトケラチン8/18,サイトケラチン 14,サイトケラチン 19,サイトケラチン 20,CMV,E-カドヘリン,EGFR,ER,EMA,EBV,第VIII因子関連抗原,ファッシン,FSH,ガレクチン-3,ガストリン,GFAP,グルカゴン,グリコフォリン A,グランザイムB,hCG,hGH,ヘリコバクターピロリ,HBc 抗原,HBs 抗原,ヘパトサイト特異抗原,HER2,HSV -I,HSV -II,HHV-8,IgA,IgG,IgM,IGF-1R,インヒビン,インスリン,カッパ L鎖,Ki67,ラムダ L鎖,LH,リゾチーム,マクロファージ,メランA,MLH-1,MSH-2,ミエロパーオキシダーゼ,ミオゲニン,ミオグロビン,ミオシン,ニューロフィラメント,NSE,p27 (Kip1),p53,p53,P63,PAX 5,PLAP,ニューモシスティス　カリニ,ポドプラニン（D2-40）,PGR,プロラクチン,PSA,前立腺酸性フォスファターゼ,Renal Cell Carcinoma,S100,ソマトスタチン,スペクトリン,シナプトフィジン,TAG-72,TdT,サイログロブリン,TSH,TTF-1,TRAcP,トリプターゼ,ビリン,ビメンチン,WT1,Zap-70が挙げられる。
（４）染色方法
　下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
　組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。
（４．１）脱パラフィン工程
　キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
　次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
　次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
（４．２）賦活化処理
　公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
　賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍクエン酸緩衝液（ｐＨ６．０）、１ｍＭＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０－１３０℃、時間は５－３０分で行うことができる。
　次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。
（４．３）蛍光染色試薬を用いた染色
　蛍光染色試薬のＰＢＳ分散液を組織切片に載せ、組織切片の生体物質と反応させる。
　蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
　蛍光染色試薬による染色を行う前に、ＢＳＡ含有ＰＢＳなど、公知のブロッキング剤を滴下することが好ましい。
　次いで、ＰＢＳを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
　なお、ＨＥ染色試薬を用いるＨＥ染色はカバーガラスによる封入前に行う。
（５）蛍光画像の取得
　染色した組織切片に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した励起光源と蛍光検出用光学フィルターとを選択する。
　蛍光画像の視野は、３ｍｍ2以上であることが好ましく、３０ｍｍ2以上であることがさらに好ましく、３００ｍｍ2以上であることがさらに好ましい。
＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
　以下、病理診断支援システム１０において、上記説明した明視野画像および蛍光画像を取得して解析を行う動作について説明する。
　ここでは、特定の生体物質として乳癌組織におけるＨＥＲ２タンパクを含む組織切片を観察対象とする場合を例にとり説明する。
　まず、操作者は、ＨＥ染色試薬と、蛍光染色試薬（抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子）との、２種の染色試薬を用いて同一の組織切片を染色する。
　その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）～（ａ５）の手順により明視野画像および蛍光画像を取得する。
（ａ１）操作者は、ＨＥ染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野および撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　その後、画像処理装置２Ａを用いて、明視野画像および蛍光画像に基づき画像解析処理を実行する。
　図３に、画像処理装置２Ａにおける画像解析処理のフローチャートを示す。
　図３に示す画像解析処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって下記の処理を実行する。
　まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの明視野画像および蛍光画像が入力されると（ステップＳ１０）、明視野画像から細胞核を抽出する（ステップＳ２０）。
　ステップＳ２０では、図４に示すとおり、明視野画像をモノクロ画像に変換し（ステップＳ２０１）、モノクロ画像に対し予め定められた閾値で閾値処理を施して各画素の値を二値化し（ステップＳ２０２）、二値画像にノイズ処理を実行する（ステップＳ２０３）。
　ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
　ステップＳ２０１～Ｓ２０３により、細胞核が抽出された画像（細胞核画像）を生成することができる。
　その後、図３の処理に戻って蛍光画像から蛍光輝点を抽出する（ステップＳ３０）。
　ステップＳ３０では、図５に示すとおり、蛍光画像から蛍光輝点の波長に応じた色成分を抽出し（ステップＳ３０１）、色成分抽出後の蛍光画像に閾値処理を施して二値画像を生成する（ステップＳ３０２）。
　ステップＳ３０１では、たとえば、蛍光粒子の発光波長が５５０ｎｍである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
　ステップＳ３０１～Ｓ３０２により、蛍光輝点が抽出された画像（蛍光輝点画像）を生成することができる。
　なお、ステップＳ３０２の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
　ステップＳ２０とステップＳ３０との順序も、入れ替えてもよい。
　その後、図３の処理に戻り、細胞核画像と蛍光輝点画像との加算処理を実行し、細胞核画像と蛍光輝点画像とを重ね合わせる（ステップＳ４０）。
　その後、加算処理後の重ね合わせ画像上で、細胞核と蛍光輝点との距離を計算し（ステップＳ５０）、その距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる（ステップＳ６０）。
　詳しくは、ステップＳ５０では、図６Ａに示すとおり、蛍光輝点３０から細胞核４０、４２、４４の表面までの距離を計算する。かかる距離の計算は、細胞核４０、４２、４４のすべての画素に対し行う。
　ステップＳ６０では、図６Ｂに示すとおり、計算した距離のうち、蛍光輝点３０から細胞核４０、４２、４４の表面までの最短距離を算出し、蛍光輝点３０から最短距離の細胞核４２を特定して蛍光輝点３０を細胞核４２に帰属させる。
　図７は、蛍光輝点を細胞核に帰属させた状態の一例を示す図である。
　以上の第１の実施形態によれば、現実に蛍光輝点から細胞核の表面までの最短距離を算出し、蛍光輝点が帰属すべき細胞核を特定するから、蛍光輝点を真の細胞に正確に帰属させることができ、ひいては正確な病理診断につなげることができる。
　特許文献２の技術と比較しても、特許文献２の技術では、図１８Ａに示すとおり、細胞領域２１０を推定する必要があるし、細胞領域２１０の範囲を過大に広げると蛍光輝点が偽の細胞に帰属しうるのに対し、第１の実施形態によれば、図１８Ｂに示すとおり、細胞領域の推定処理そのものが不要であるし、蛍光輝点２０４ａ～２０４ｄも蛍光輝点２２４ａ、２２４ｂもそれぞれ真の細胞２００、２２０に帰属し、蛍光輝点２２４ａ、２２４ｂが偽の細胞２００に帰属するのを防止することができる。
　さらに特許文献２の技術では、図１９Ｂに示すとおり、細胞２３０、２４０の断面によって蛍光輝点２４４が偽の細胞２３０に帰属しうるのに対し、第１の実施形態によれば、図１９Ｃに示すとおり、細胞２３０、２４０の断面によらずに蛍光輝点２４４を真の細胞２４０に帰属させることができる。
［第２の実施形態］
　第２の実施形態は主に下記の点で第１の実施形態と異なり、それ以外は第１の実施形態と同様である。
　図８に示すとおり、ステップＳ５０の後に、細胞核の形態に基づき、ステップＳ５０で計算した距離を補正する（ステップＳ５２）。
　たとえば、図９に示すとおり、蛍光輝点３０が細胞５０に帰属すべきところ、蛍光輝点３０から細胞５０の細胞核５２の表面までの距離５４と、蛍光輝点３０から細胞６０の細胞核６２の表面までの距離６４とで、距離６４が距離５４より短くなることがありうる。
　かかる場合、ステップＳ５２では、細胞核５２の面積と細胞核６２の面積とを算出してそれら面積に基づき、距離５４と距離６４とを補正する。
　詳しくは距離５４と距離６４とを補正式（１）、（２）にしたがって補正する。
　　　距離５４ａ＝距離５４／√（細胞核５２の面積）　…　（１）
　　　距離６４ａ＝距離６４／√（細胞核６２の面積）　…　（２）
　補正式（１）、（２）によれば、距離５４と距離６４との大小関係が、細胞核５２の面積と細胞核６２の面積とに反比例して逆転する。
　その結果、ステップＳ６０では、蛍光輝点３０を、距離５４ａと距離６４ａとのうち、当該距離の小さい側の細胞核５２に帰属させることができる。
　他方、図１０に示すとおり、組織切片の作製時や染色時などにおいて、細胞７０（細胞核７２）が潰れて一部伸長または収縮し、蛍光輝点３０ａから細胞核７２の表面までの距離７４と、蛍光輝点３０ｂから細胞核７２の表面までの距離７６とで、顕著に異なることもありうる。
　かかる場合、ステップＳ５２では、細胞核７２の幅Ｗと高さＨから細胞核７２の扁平率を算出してその扁平率に基づき、距離７４と距離７６とを補正する。
　詳しくは距離７４と距離７６とを補正式（３）、（４）にしたがって補正する。
　　　距離７４ａ＝距離７４×（高さＨ／幅Ｗ）　…　（３）
　　　距離７６ａ＝距離７６×（幅Ｗ／高さＨ）　…　（４）
　補正式（３）、（４）によれば、距離７４ａと距離７６ａとで距離差が緩和され、距離７４ａと距離７６ａとをほぼ同等に扱うことができる。
　その結果、ステップＳ６０では、距離７４ａと距離７６ａとを基準として、蛍光輝点３０ａも蛍光輝点３０ｂも、同一の細胞核７０に帰属させることができる。
［第３の実施形態］
　第３の実施形態は主に下記の点で第１の実施形態と異なり、それ以外は第１の実施形態と同様である。
　図１１に示すとおり、ステップＳ５０の前に、細胞核と蛍光輝点との距離に閾値を設定し（ステップＳ４２）、蛍光輝点が帰属すべき細胞核を制限する（ステップＳ４４）。
　たとえば、ステップＳ５０において、図１２Ａに示すとおり、細胞核４０、４２、４４の表面と蛍光輝点３０との距離の計算を、細胞核４０、４２、４４を含む他の細胞核のすべての画素に対し行うと、蛍光輝点３０から細胞核の表面までの距離の計算量が膨大となり、処理が遅延しうる。
　かかる場合、ステップＳ４２では、図１２Ｂに示すとおり、蛍光輝点３０から一定の円形範囲に閾値（半径距離４６）を設定し、ステップＳ４４では、ステップＳ５０の距離計算対象の細胞核を、半径距離４６のなかに一部または全部存在する細胞核４０、４２、４４に制限し、これら細胞核４０、４２、４４をステップＳ５０の距離計算対象とする。
　これに代えて、ステップＳ４２では、細胞核を包含する四角枠を仮定してその枠の４つの頂点と蛍光輝点との合計距離に閾値（合計距離４８）を設定し、ステップＳ４４では、図１２Ｃに示すとおり、細胞核４０、４２、４４ごとに、細胞核４０、４２、４４の枠の頂点と蛍光輝点３０との合計距離を計算し、ステップＳ５０の距離計算対象の細胞核を、その合計距離が制限距離４８以内の細胞核４４に制限し、細胞核４４をステップＳ５０の距離計算対象としてもよい。
　特にステップＳ４４では、細胞核４０、４２、４４に対し、これらを包含する四角枠を仮定してその枠の４つの頂点と蛍光輝点３０との合計距離を計算するが、その計算途中で、合計距離が制限距離４８を超えたときはその計算を中止し、当該計算がなされた細胞核４０、４２をステップＳ５０の距離計算対象から除外する。
　その結果、ステップＳ５０では、蛍光輝点から一定の距離関係にある細胞核のみが距離計算対象となり、細胞核の表面と蛍光輝点との距離の計算を、高速化することができる。
　なお、ステップＳ４２で設定する閾値としての半径距離４６および合計距離４８は、細胞核の面積や細胞膜の面積、Ｎ／Ｃ比（Nuclear-cytoplasm ratio）などに基づき適宜設定することができる。
　「Ｎ／Ｃ比」とは、図１３に示すとおり、細胞質８０における細胞核８２の占める面積の割合であり、細胞の種類や状態によってその値の範囲が定まっているものである。
　ステップＳ４２、Ｓ４４で仮定する四角枠は、細胞核を包含しうるものであれば、いかなる形状を呈していてもよい。
［第４の実施形態］
　第４の実施形態は主に下記の点で第１の実施形態と異なり、それ以外は第１の実施形態と同様である。
　図１４に示すとおり、ステップＳ６０の後に、帰属後の蛍光輝点を、被帰属対象の蛍光輝点から除外する（ステップＳ６２）。
　たとえば、図１５に示すとおり、蛍光輝点３０ｘが細胞９０以外の他の細胞に帰属すべきところ、蛍光輝点３０ａ～３０ｋは正しく細胞９０の細胞核９２に帰属する一方で、蛍光輝点３０ｘが誤って細胞９０の細胞核９２に帰属することがありうる。
　かかる場合、ステップＳ６２では、図１５に示すとおり、細胞核９２の表面と帰属後の蛍光輝点３０ａ～３０ｋ、３０ｘとの平均距離１０４を算出し、細胞核９２の表面との距離が平均距離１０４から顕著に離れた蛍光輝点３０ｘを、被帰属対象の蛍光輝点から除外する。
　これに代えて、蛍光輝点３０ａ→３０ｂ、３０ｂ→３０ｃ、３０ｃ→…→３０ｋ、３０ｋ→３０ｘ、３０ｘ→３０ａというように、蛍光輝点３０ａ～３０ｋ、３０ｘの２点間で直線を仮定し、隣り合う直線同士の傾きまたは角度を算出し、直線同士の傾きまたは角度を、蛍光輝点３０ａ→３０ｂ→…→３０ｋ→３０ｘ→３０ａの配置順に比較した場合において、急激な数値変化があったときに、その直線を構成する蛍光輝点３０ｘを、被帰属対象の蛍光輝点から除外してもよい。
　その結果、ステップＳ６２では、蛍光輝点の細胞核への帰属精度を向上させることができ、より正確に蛍光輝点を真の細胞に帰属させることができる。
　他方、図１６に示すとおり、細胞１００の断面によって細胞核１０２が抜け落ち、細胞１００の蛍光輝点３０ｙを細胞核１０２に帰属させることができず、蛍光輝点３０ｙが細胞１００以外の他の細胞１１０～１２０に帰属することがありうる。
　かかる場合、ステップＳ６０でいったん蛍光輝点を帰属させた細胞１００、１１０～１２０ごとにＮ／Ｃ比（図１３参照）を算出し、そのＮ／Ｃ比が一定のＮ／Ｃ比（たとえば７０％）未満である場合、その細胞１００に帰属させた蛍光輝点３０ｙを、被帰属対象の蛍光輝点から除外する。
　かかる場合でも、ステップＳ６２では、蛍光輝点の細胞核への帰属精度を向上させることができ、より正確に蛍光輝点を真の細胞に帰属させることができる。
　なお、第１～第４の実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
　たとえば、図１７に示すとおり、第１～第４の実施形態をすべて組み合わせ、画像解析処理では、ステップＳ５０の後にステップＳ５２を（第２の実施形態）、ステップＳ５０の前にステップＳ４２、Ｓ４４を（第３の実施形態）、ステップＳ６０の後にステップＳ６２を（第４の実施形態）、それぞれ実行してもよい。
　もちろん、第１～第４の実施形態のうち、いずれか３つの形態を組み合わせてもよいし、いずれか２つの形態を組み合わせてもよい。
　第１～第４の実施形態では、特定の生体物質の例として乳癌におけるＨＥＲ２タンパクを挙げたが、これに限定されない。診断対象となる病変（がん）種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた生体物質の発現を医師に提供することが可能となる。
　第１～第４の実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。
　上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
　その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　本発明は病理診断の画像処理に好適に利用することができる。
　１Ａ　顕微鏡画像取得装置
　２Ａ　画像処理装置
　３Ａ　ケーブル
　１０　病理診断支援システム
　２１　制御部
　２２　操作部
　２３　表示部
　２４　通信Ｉ／Ｆ
　２５　記憶部
　２６　バス
　３０、３０ａ～３０ｋ、３０ｘ、３０ｙ　蛍光輝点
　４０、４２、４４　細胞核
　４６　半径距離
　５０　細胞
　５２　細胞核
　５４　距離
　６０　細胞
　６２　細胞核
　６４　距離
　７０　細胞
　７２　細胞核
　７４、７６　距離
　８０　細胞質
　８２　細胞核
　９０　細胞
　９２　細胞核
　１００　細胞
　１０２　細胞核
　１１０、１１２、１１４、１１６、１１８、１２０　細胞

Claims (10)

  1. 　細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
    　前記細胞核画像から細胞核を抽出する第１の抽出手段と、
    　前記蛍光画像から蛍光輝点を抽出する第２の抽出手段と、
    　細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記帰属手段が、細胞核の表面と蛍光輝点との最短距離を算出し、蛍光輝点を最短距離の細胞核に帰属させることを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記帰属手段が、細胞核の表面と蛍光輝点との距離を細胞核の形態に基づき補正することを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記帰属手段が、細胞核の面積を算出してその面積に基づき前記距離を補正することを特徴とする画像処理装置。
  5. 　請求項３に記載の画像処理装置において、
    　前記帰属手段が、細胞核の扁平率を算出してその扁平率に基づき前記距離を補正することを特徴とする画像処理装置。
  6. 　請求項１に記載の画像処理装置において、
    　前記帰属手段が、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限することを特徴とする画像処理装置。
  7. 　請求項６に記載の画像処理装置において、
    　前記帰属手段が、前記閾値を、細胞核の面積または細胞のＮ／Ｃ比に基づき設定することを特徴とする画像処理装置。
  8. 　請求項６に記載の画像処理装置において、
    　前記帰属手段が、前記閾値を、細胞核を包含する一定の枠を仮定してその枠の頂点と蛍光輝点との距離に基づき設定することを特徴とする画像処理装置。
  9. 　請求項１～８のいずれか一項に記載の画像処理装置において、
    　細胞核の表面と帰属後の蛍光輝点との平均距離、帰属後の蛍光輝点間の直線同士の傾きもしくは角度、または蛍光輝点を帰属させた細胞のＮ／Ｃ比に基づき、帰属後の蛍光輝点を、被帰属対象の蛍光輝点から除外する除外手段を備えることを特徴とする画像処理装置。
  10. 　コンピュータに、
    　細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
    　前記細胞核画像から細胞核を抽出する第１の抽出手段と、
    　前記蛍光画像から蛍光輝点を抽出する第２の抽出手段と、
    　細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段と、
    　として機能させることを特徴とする画像処理プログラム。
PCT/JP2014/058725 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム Ceased WO2015145644A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14885851.7A EP3124956B1 (en) 2014-03-27 2014-03-27 Image processing device and image processing program
PCT/JP2014/058725 WO2015145644A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム
JP2015506957A JP5768948B1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム
US14/778,427 US9558393B2 (en) 2014-03-27 2014-03-27 Image processing device and storage medium for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/058725 WO2015145644A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2015145644A1 true WO2015145644A1 (ja) 2015-10-01

Family

ID=54187126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058725 Ceased WO2015145644A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム

Country Status (4)

Country Link
US (1) US9558393B2 (ja)
EP (1) EP3124956B1 (ja)
JP (1) JP5768948B1 (ja)
WO (1) WO2015145644A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2019065105A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 画像解析装置、方法およびプログラム
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221592A1 (ja) 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10430943B2 (en) * 2016-10-07 2019-10-01 Sony Corporation Automated nuclei area/number estimation for IHC image analysis
WO2019082788A1 (ja) * 2017-10-26 2019-05-02 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
WO2019172097A1 (ja) * 2018-03-07 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
US11906433B2 (en) * 2021-12-14 2024-02-20 Instituto Potosino de Investigación Científica y Tecnológica A.C. System and method for three-dimensional imaging of unstained samples using bright field microscopy

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326008A (en) 1976-08-27 1982-04-20 California Institute Of Technology Protein specific fluorescent microspheres for labelling a protein
US5326692A (en) 1992-05-13 1994-07-05 Molecular Probes, Inc. Fluorescent microparticles with controllable enhanced stokes shift
JP2001269195A (ja) * 2000-03-27 2001-10-02 Olympus Optical Co Ltd 細胞の画像解析方法，装置、及び記録媒体
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2005524090A (ja) * 2002-04-29 2005-08-11 アマシャム・バイオサイエンス・コーポレイション 生物学的試料のための光線画像分析
JP2007147563A (ja) * 2005-11-30 2007-06-14 Ge Healthcare Uk Ltd 生体画像処理方法
JP2009115599A (ja) * 2007-11-06 2009-05-28 Nec Corp 評価システム、評価方法および評価プログラム
JP2012198139A (ja) * 2011-03-22 2012-10-18 Olympus Corp 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
JP2013057631A (ja) 2011-09-09 2013-03-28 Konica Minolta Medical & Graphic Inc 生体物質発現レベル評価システム
WO2013146843A1 (ja) 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864082B1 (en) * 1995-11-30 2003-04-02 Chromavision Medical Systems, Inc. Method for automated image analysis of biological specimens
US6259807B1 (en) * 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US7050613B2 (en) * 2002-11-07 2006-05-23 Fujitsu Limited Method for supporting cell image analysis
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
US7697755B2 (en) * 2004-09-29 2010-04-13 Drvision Technologies Llc Method for robust analysis of biological activity in microscopy images
US7113625B2 (en) * 2004-10-01 2006-09-26 U.S. Pathology Labs, Inc. System and method for image analysis of slides
US7933435B2 (en) * 2005-11-21 2011-04-26 Vala Sciences, Inc. System, method, and kit for processing a magnified image of biological material to identify components of a biological object
US8428331B2 (en) * 2006-08-07 2013-04-23 Northeastern University Phase subtraction cell counting method
US9355445B2 (en) * 2007-03-01 2016-05-31 Nec Corporation Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program
US8199999B2 (en) * 2008-06-17 2012-06-12 Cambridge Research & Instrumentation, Inc. Image classifier training
US8644582B2 (en) * 2008-10-09 2014-02-04 Nec Corporation Support system for histopathological diagnosis, support program for histopathological diagnosis and support method for histopathological diagnosis
JP5058962B2 (ja) * 2008-12-22 2012-10-24 オリンパス株式会社 細胞画像解析装置、細胞画像解析方法、及びプログラム
US8335374B2 (en) * 2009-08-12 2012-12-18 Genetix Corporation Image segmentation
US8744164B2 (en) * 2010-04-06 2014-06-03 Institute For Systems Biology Automated analysis of images using bright field microscopy
US8300938B2 (en) * 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
JP5825641B2 (ja) * 2010-07-23 2015-12-02 国立研究開発法人産業技術総合研究所 病理組織画像の特徴抽出システム及び病理組織画像の特徴抽出方法
JP5682975B2 (ja) * 2010-09-02 2015-03-11 国立大学法人東北大学 がん発症又はがん発症リスクの判定方法
WO2012178069A1 (en) * 2011-06-22 2012-12-27 The Johns Hopkins University System and device for characterizing cells
EP2833123A4 (en) * 2012-03-30 2015-12-09 Konica Minolta Inc MEDICAL IMAGE PROCESSOR AND PROGRAM
US9384550B2 (en) * 2014-03-27 2016-07-05 Konica Minolta, Inc. Image processing device and storage medium for image processing

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326008A (en) 1976-08-27 1982-04-20 California Institute Of Technology Protein specific fluorescent microspheres for labelling a protein
US5326692A (en) 1992-05-13 1994-07-05 Molecular Probes, Inc. Fluorescent microparticles with controllable enhanced stokes shift
US5326692B1 (en) 1992-05-13 1996-04-30 Molecular Probes Inc Fluorescent microparticles with controllable enhanced stokes shift
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2001269195A (ja) * 2000-03-27 2001-10-02 Olympus Optical Co Ltd 細胞の画像解析方法，装置、及び記録媒体
JP2005524090A (ja) * 2002-04-29 2005-08-11 アマシャム・バイオサイエンス・コーポレイション 生物学的試料のための光線画像分析
JP2007147563A (ja) * 2005-11-30 2007-06-14 Ge Healthcare Uk Ltd 生体画像処理方法
JP2009115599A (ja) * 2007-11-06 2009-05-28 Nec Corp 評価システム、評価方法および評価プログラム
JP2012198139A (ja) * 2011-03-22 2012-10-18 Olympus Corp 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
JP2013057631A (ja) 2011-09-09 2013-03-28 Konica Minolta Medical & Graphic Inc 生体物質発現レベル評価システム
WO2013146843A1 (ja) 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LANGMUIR, vol. 8, 1992, pages 2921
NATURE BIOTECHNOLOGY, vol. 19, 2001, pages 631
NEW JOURNAL OF CHEMISTRY, vol. 33, 2009, pages 561
See also references of EP3124956A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2019065105A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 画像解析装置、方法およびプログラム
JPWO2019065105A1 (ja) * 2017-09-27 2020-11-26 富士フイルム株式会社 画像解析装置、方法およびプログラム
US11257301B2 (en) 2017-09-27 2022-02-22 Fujifilm Corporation Image analysis apparatus, image analysis method, and image analysis program
JP7026694B2 (ja) 2017-09-27 2022-02-28 富士フイルム株式会社 画像解析装置、方法およびプログラム
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム

Also Published As

Publication number Publication date
EP3124956A4 (en) 2017-09-13
JP5768948B1 (ja) 2015-08-26
EP3124956A1 (en) 2017-02-01
EP3124956B1 (en) 2018-12-26
US9558393B2 (en) 2017-01-31
JPWO2015145644A1 (ja) 2017-04-13
US20160275673A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
US11035844B2 (en) Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP5768948B1 (ja) 画像処理装置および画像処理プログラム
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JP7235036B2 (ja) 画像処理方法、画像処理装置及びプログラム
JPWO2017126420A1 (ja) 画像処理装置及びプログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6337629B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6702339B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015506957

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14778427

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014885851

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014885851

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14885851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE